关于RUBY处理多语言转字符编码的一点经验 nkf

最近做了一个用户上传文件，然后在服务器端解析上传文件的功能，由于不知道用户上传文件的编码类型所以必须进行强制转换。

原本用的方法是：

Iconv.conv('utf-8' , 'cp932', string)

这样可以强制把 'cp932'的字符编码转换为'utf-8'。过了阵子出现某些上传文件开头部分出现莫名字符的问题。查了一下,如果输入的是有签名的UTF-8就会出错：

UTF-8签名(UTF-8 signature)也叫做BOM(Byte Order Mark)，是UTF编码方案里用于标识编码的标准标记。如果多个文件设置了签名，在二进制流中就会包含多个UTF-8签名，而IE是无法识别多个UTF-8签名的，所以用一个空行来代替，在某些程序处理中还会出现一个类似“诺”的字符。

Iconv.conv只能将一种字符编码转换为另外一种，很不方便

后来发现ruby后来又加入了一个叫NKF类，可以将任何其他编码转换为指定的编码格式，这样就能彻底解决我的问题。

例： string= NKF.nkf("-w", string)

nkf库文件介绍：

nkf库文件由NKF模块提供。NKF模块原是用于UNIX而制作的nkf（Network Kanji code conversion Filter）的过滤器指令，现在在Ruby中也用得到。

在NKF模块中，通过指定文件编码，使用类似命令行选项的字符串。

NKF.nkf(可选字符串, string)

nkf的主要选项可参看下表:

选项 意义

-d 在换行文字中删除CR

-c 在换行文字中增加CR

-x 不对半角假名进行转换

-m0 限制对MIME的处理

-e 输出文字编码方式为EUC-JP

-s 输出文字编码方式为Shift_JIS

-j 输出文字编码方式为ISO-2022-JP

-w 输出文字编码方式为UTF-8(无BOM)

-w8 输出文字编码方式为UTF-8(有BOM)

-w80 输出文字编码方式为UTF-8(无BOM)

-w16 输出文字编码方式为UTF-16(Big Endian/无BOM)

-w16B 输出文字编码方式为UTF-16(Big Endian/有BOM)

-w16B0 输出文字编码方式为UTF-16(Big Endian/无BOM)

-w16L 输出文字编码方式为UTF-16(Little Endian/有BOM)

-w16L0 输出文字编码方式为UTF-16(Little Endian/无BOM)

-E 输出文字编码方式为EUC-JP

-S 输出文字编码方式为Shift_JIS

-J 输出文字编码方式为ISO-2022-JP

-W 输出文字编码方式为UTF-8(无BOM)

-W8 输出文字编码方式为UTF-8(有BOM)

-W80 输出文字编码方式为UTF-8(无BOM)

-W16 输出文字编码方式为UTF-16(Big Endian/无BOM)

-W16B 输出文字编码方式为UTF-16(Big Endian/有BOM)

-W16B0 输出文字编码方式为UTF-16(Big Endian/无BOM)

-W16L 输出文字编码方式为UTF-16(Little Endian/有BOM)

-W16L0 输出文字编码方式为UTF-16(Little Endian/无BOM)