Perl 的 utf8 与编码处理

ycycoco

　本文基于笔者查阅的 perldoc 和试验结果。鉴于经常有人被编码问题困扰，现笔者把所了解的关于 Perl utf8 与编码处理的资料总结一下。由于所知有限，可能会有讲错的地方，如有需要，可自行查阅：
perldoc Encode
perldoc PerlIO
perldoc utf8
perldoc encoding

下面用到这几个函数，能提供有用的帮助：
Encode::is_utf8($str)        # 当字符串 utf8 flag 为on时，返回真，否则返为假
utf8::is_utf8($str)        # 同上
Encode::_utf8_on($str)        # 手工设置 utf8 flag 为on
Encode::_utf8_off($str)        # 手工设置 utf8 flag 为off
PerlIO::get_layers(FP)        # 得到语柄的 layers
　　

一. 基本概念
　　Perl 以 ascii 方式或者 utf8 方式解释字符串，取决 Perl 字符串内部的 utf8 flag ，utf8 flag 影响着 Perl 对字符的定义。以下代码演示 utf8 flag 的影响：

   1. #!/bin/env perl
   2.

   3. # fileencoding: utf8
   4. # termencoding: gbk
   5.

   6. use strict;
   7. use warnings;
   8. use Encode;
   9. use Encode::CN;
  10.

  11. my $str = "中文字符串";
  12. &testing($str);
  13. Encode::_utf8_on($str);
  14. &testing($str);
  15.

  16. sub testing
  17. {
  18.         my ($str) = @_;
  19.         if (Encode::is_utf8($str))
  20.         {
  21.                 print "utf8: Yes\n";
  22.         }
  23.         else
  24.         {
  25.                 print "utf8: No\n";
  26.         }
  27.

  28.         print "Length: ", length($str), "\n";
  29.         while ($str =~ /(.)/g)
  30.         {
  31.                 print encode("gbk", $1), " ";
  32.         }
  33.

  34.         print "\n\n";
  35. }

复制代码
输出结果为：
utf8: No
Length: 15
? ? - ? ? ? ? - ? ? ? | ? ? 2

utf8: Yes
Length: 5
中 文 字 符 串

可以看到，当 utf8 flag 为 off 时，字符串按 ascii 处理；当为 on 时，则按 utf8 处理。注意 utf8 flag 跟字符串是否真为 utf8 编码无关，当字符串 utf8 flag 为 on 但非 utf8 编码时，print 会提示非法 utf8 字符。

二. Encode::encode ，Encode::decode ，PerlIO encoding layer
　　当 decode(ENCODING, $str) 时，字符串被按 ENCODING 解码为 utf8 编码并设置 utf8 flag 为 on ；当 encode(ENCODING, $str) 时，字符串被从 utf8 编码重新编码为 ENCODING 并设置 utf8 flag 为 off ；假如原字符串为 utf8 编码，而 Encode::_utf8_on($str) ，Encode::_utf8_off($str) 分别和 $str = decode("utf8", $str) ，$str = encode("utf8", $str) 起的作用一致，但速度更快。
　　可以给文件句柄加上 encoding(ENCODING) 的 layer ，则会在读入或者输出时自动处理。比如 open(FILE, "<+:encoding(gbk)", $location) 或者 binmode(FILE, ":encoding(gbk)") 时，则会在读入时自动调用 decode("gbk", ...) ，输出时自动调用 encode("gbk", ...) 。

三. use utf8 progma 与 use encoding ENCODING progma
　　当 use utf8 时，脚本里的字符串，若包含非 ascii 字符，而自动设置字符串 utf8 flag 为 on ：

   1. #!/bin/env perl
   2.

   3. # fileencoding: utf8
   4. # termencoding: gbk
   5.

   6. use strict;
   7. use warnings;
   8. use utf8;
   9.

  10. my $str = "abcd";
  11. my $str2 = "甲乙丙丁";
  12.

  13. foreach ($str, $str2)
  14. {
  15.         if (utf8::is_utf8($_))
  16.         {
  17.                 print "Yes\n";
  18.         }
  19.         else
  20.         {
  21.                 print "No\n";
  22.         }
  23. }

复制代码
输出结果为：
No
Yes

而 use encoding ENCODING 允许脚本为 ENCODING 编码而非一定为 utf8 编码。脚本里的字符串，自动按 ENCODING 转化为 utf8 编码并设置 utf8 flag 为 on ，就像自动调用了 decode(ENCODING, $str) 般，并自动给 STDIN 和 STDOUT 加上 encode(ENCODING) 的 layer ：

   1. #!/bin/env perl
   2.

   3. # fileencoding: gbk
   4. # termencoding: gbk
   5.

   6. use strict;
   7. use warnings;
   8. use encoding "gbk";
   9.

  10. my $str = "abcd";
  11. my $str2 = "甲乙丙丁";
  12.

  13. foreach ($str, $str2)
  14. {
  15.         if (utf8::is_utf8($_))
  16.         {
  17.                 print "Yes\n";
  18.         }
  19.         else
  20.         {
  21.                 print "No\n";
  22.         }
  23. }
  24.

  25. print "\n";
  26. print STDOUT $str2, "\n";
  27. print STDERR $str2, "\n";
  28.

  29. print "\n";
  30. binmode(STDERR, ":encoding(gbk)");
  31.

  32. print STDOUT $str2, "\n";
  33. print STDERR $str2, "\n";

复制代码
输出结果为：
Yes
Yes

甲乙丙丁
Wide character in print at D:\test.pl line 26.
鐢蹭箼涓欎竵

甲乙丙丁
甲乙丙丁

$str 和 $str2 的 utf8 flag 都为 on，由于 STDERR 没有被自动设置 encoding(ENCODING) ，所以第一个 print STDERR 打印为乱码，造成那个 warning 的原因是，print 发现字符串里包含非 ascii 字符而且 utf8 flag 为真。


四. 使用 use utf8 和 use encoding ENCODING 的建议
1. 如果不很了解这两个 progma 起的作用，最好别用。
2. 在 tk 和 gtk 里，为了显示中文，手工的 decode(ENCODING, $text) 可能是更好的选择。
3. 使用 use encoding ENCODING 时，要注意字符串实际上是存为 utf8 格式的，比如这个代码，用来测试中文目录是否存在：

   1. #!/bin/env perl
   2.

   3. # fileencoding: gbk
   4. # termencoding: gbk
   5.

   6. use strict;
   7. use warnings;
   8. use encoding "gbk";
   9. use Encode;
  10.

  11. my $dir = "d:/备份数据/";
  12.

  13. if (-d encode("gbk", $dir))
  14. {
  15.         print "$dir 存在\n";
  16. }

复制代码
在这里，用 -d 测试 $dir 存在，手工的 encode 是必要的


该死的编码。。。。。。