Unicode in Perl 初探

xuke123

Unicode 简介：
  　　Unicode 是标准的字符集，它的目的是对世界上任何文字系统里面的符号和其它一些符号进行编码。它为在任何一个其它character set standards 中的charater提供对应的code point。
　　unicode 中的character是一个抽象实体，Unicode是语言无关的和显示无关的，也就是说，每一个character对应一个唯一code point，如U+0639 是ARABIC LETTEN AIN(Normative name),而英语中A在Unicode中的code point 是U+0041. 同理，字符串“Hello”的Unicode 表示为”U+0048 U+0065 U+006C U+006C U+006F”。可以看出来，Hello字符中的Unicode只是一组code point串。
　　但是在内存中， Unicode串需要如何表示呢？这就涉及到Unicode编码（encoding）。
　　UCS : Unicode char set(ISO 标准)
　　UCS-2 和 UCS-4两种
　　UTF: Unicode Transform Format (Unicode 小组)
　　UTF-8, UTF-16, UTF-32 三种编码方式。
　　其中UTF-8 是变码长，目的是兼容ASCII。
  Unicode in PERL:
  　　从Perl 5.6.0 开始， perl可以处理unicode字符。在perl 5.6.0之前， perl中的字符串可以看成是byte序列。但是在perl5.6.0之后，perl中的character可能会比一个byte宽，所以，此时，应该将 perl中的字符串看出是一组number的序列，而不是一组byte序列。其中，number的取值范围是(0..2**32-1)。number的值越大，其所代表的抽象的character就越宽。perl5.6之后，内部基于UTF-8对unicode字符进行编码，所以每个character number可能占用一个byte，也可能占用多个byte。比如，/x{FFFF_FFFF_FFFF_FFFF}的char number为”18,446,744,073,709,551,615“，一个byte是不够的（事实上，它需要13个bytes）。但是如果字符串中 char number 在0-255之间，它就可以被存放到一个byte当中，所以在低七位，ASCII和UTF-8编码是相同的。
　　例子一：字符串的字符的char number在0-255之间，perl内部自动使用ASCII进行编码。
　　#perl -MDevel::Peek -e '$a="/x{31}"; Dump($a); '   
SV = PV(0x8f8b6d0) at 0x8fa72a0     
  REFCNT = 1     
  FLAGS = (POK,pPOK)     
  PV = 0x8fa2a00 "1"/0     
  CUR = 1     
  LEN = 4
　　例子二：字符串的字符的char number大于255，perl内部使用UTF-8进行编码。
　　U+6c49->“汉”
　　#perl -MDevel::Peek -e '$a="/x{6c49}"; Dump($a); '   
SV = PV(0x9c096d0) at 0x9c252a0     
  REFCNT = 1     
  FLAGS = (POK,pPOK,UTF8)     
  PV = 0x9c20a00 "/346/261/211"/0 [UTF8 "/x{6c49}"]     
  CUR = 3     
  LEN = 4
　　可以看出， Scalar的UTF8 flags被设置，说明使用utf-8 编码。同时PV = 0x9c20a00 "/346/261/211"/0 [UTF8 "/x{6c49}"], 其中“汉”的char code为U+6C49, 其对应的UTF-8编码为0xE6 0xB1 0x89， 其八进制是"/346/261/211" (查询code point对应的UTF-8编码，参见http://www.fileformat.info/info/unicode/char/6c49/index.htm)
  Perl 编解码流程：
  
　　关于PerlIO，详见http://perldoc.perl.org/PerlIO.html
　　参考资料：
　　[1] Perl unicode in 5 min.ppt 王辉
　　[2]http://www.joelonsoftware.com/articles/Unicode.html Joel on software
　　[3]http://www.fileformat.info/info/unicode/utf8.htm
　　[4]perluniintro
　　[5]perlunicode