Java处理不同的字符编码流

在实际开发中,可能会处理一些文本信息,我们可能使用

BufferedReader bfr = new BufferedReader(new InputStreamReader(bis,encoding));

这样的方式来处理输入流,然后就可以一行一行的处理信息了。

但是,这里的encoding一般都不会确定,有的是GBK格式,有的是UTF-8格式,可能还有其他格式的文件。

这时候,处理的方式很多,现在给大家介绍一种亲测有效的方法。

原理:使用文本文件头部信息,来确定使用哪种字符编码。

比如,UTF-8含BOM格式的文件前三个字节会是这样:EFBBBF

  Unicode文件前两个字节会是这样:FFFE

  GBK这类统一为ANSI文件,这种一般没有头信息,如果两个文件都是ANSI,一个是日语编码,一个是GBK,那这种办法就没有办法区分了。

代码:

  输入:InputStream

      BufferedReader bfr = null;
/*
             * 默认读取方式为GBK编码,先读取前三个字节,看是否为十六进制的“EFBBBF”
             * 如果是,则使用UTF-8方式读取
             * 否则则使用默认GBK方式读取
             */
            BufferedInputStream bis = new BufferedInputStream(is);
            String encoding = "gbk";
            bis.mark(3);
            byte[] bom = new byte[3];
            bis.read(bom);
            bis.reset();
            if(bom[0] == Integer.valueOf("EF",16).byteValue()
                    &&bom[1] == Integer.valueOf("BB",16).byteValue()
                    &&bom[2] == Integer.valueOf("BF",16).byteValue()){
                encoding = "utf-8";
            } else if(bom[0] == Integer.valueOf("FF",16).byteValue()
                    &&bom[1] == Integer.valueOf("FE",16).byteValue()) {
                encoding = "Unicode";
            }
            System.out.println(encoding);
            //正式读取文件开始
            bfr = new BufferedReader(new InputStreamReader(bis,encoding));
      //do somethig