linux下编码转换

Izhuceul

　　1.什么是编码？
　　关于编码的定义，我们可以查看百度全科http://baike.baidu.com/view/237708.htm
　　还可以参考：http://www.cnblogs.com/cocowool/archive/2009/04/25/1443529.html
　　2.linux下经常遇到的编码问题
　　如果你需要在Linux中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文
件格式是GBK（gb2312），而Linux一般都是UTF-8。

　　3.查看编码的方法
　　方法一：file filename
　　方法二：在Vim中可以直接查看文件编码
　　:set fileencoding
　　即可显示文件编码格式。
　　如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你可以在
　　~/.vimrc 文件中添加以下内容：
　　set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936
　　这样，就可以让vim自动识别文件编码（可以自动识别UTF-8或者GBK编码的文件），其实就是依照
fileencodings提供的编码列表尝试，如果没有找到合适的编码，就用latin-1（ASCII）编码打开。
　　

　　/etc/vim/vimrc
最后一行加上set encoding=utf8
　　

　　4.文件编码转换
　　多平台方法：
iconv        提供标准的程序和API来进行编码转换；
convert_encoding.py    基于Python的文本文件转换工具；
decodeh.py    提供算法和模块来谈测字符的编码；

Linux:
recode    转换文件编码；
Utrac    转换文件编码；
cstocs    转换文件编码；
convmv    转换文件名编码；
enca    分析给定文件的编码；

Windows:
cscvt    字符集转换工具；

　　linux下文件编码转换：
　　方法一：
　　在Vim中直接进行转换文件编码，比如将一个文件转换成utf-8格式
　　:set fileencoding=utf-8

　　方法二：
　　iconv 转换

　　5.案例：
　　假如说我们将windows下的一个UTF-8的文件传到linux环境下，linux环境下的系统编码是GB18030，我们cat的时候就会出现乱码，这个时候就应该想到转码了，下面我们来进行试验：
　　我们将windows下一个名为UTF-8.sh的文件传到linux系统中，其中UTF-8.sh的内容如下：
　　我是中文编码UTF-8模式~

　　而linux系统的系统语言设置为：
　　[root@sor-sys zy]# cat /etc/sysconfig/i18n
LANG=zh_CN.GB18030
SYSFONT="latarcyrheb-sun16"
这个时候查看一下文件的内容及编码：
　　[root@sor-sys zy]# file UTF-8.sh
UTF-8.sh: UTF-8 Unicode text, with no line terminators
[root@sor-sys zy]# cat UTF-8.sh
锘挎垜鏄腑鏂囩紪鐮乁TF-8妯″紡~[root@sor-sys zy]#
[root@sor-sys zy]#

　　这个时候我们就需要转换编码了，记得使用iconv
　　[root@sor-sys zy]# iconv -f UTF-8 -t GB18030 UTF-8.sh -o GB18030.sh
[root@sor-sys zy]# cat GB18030.sh
??我是中文编码UTF-8模式~[root@sor-sys zy]#
[root@sor-sys zy]# file GB18030.sh
GB18030.sh: Non-ISO extended-ASCII text, with no line terminators
[root@sor-sys zy]#