Perl 的 utf8 与编码处理
本文基于笔者查阅的 perldoc 和试验结果。鉴于经常有人被编码问题困扰，现笔者把所了解的关于 Perl utf8 与编码处理的资料总结一下。由于所知有限，可能会有讲错的地方，如有需要，可自行查阅：perldoc Encode
perldoc PerlIO
perldoc utf8
perldoc encoding
下面用到这几个函数，能提供有用的帮助：
Encode::is_utf8($str) # 当字符串 utf8 flag 为on时，返回真，否则返为假
utf8::is_utf8($str) # 同上
Encode::_utf8_on($str) # 手工设置 utf8 flag 为on
Encode::_utf8_off($str) # 手工设置 utf8 flag 为off
PerlIO::get_layers(FP) # 得到语柄的 layers
一. 基本概念
Perl 以 ascii 方式或者 utf8 方式解释字符串，取决 Perl 字符串内部的 utf8 flag ，utf8 flag 影响着 Perl 对字符的定义。以下代码演示 utf8 flag 的影响：
1. #!/bin/env perl
2.
3. # fileencoding: utf8
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use Encode;
9. use Encode::CN;
10.
11. my $str = "中文字符串";
12. &testing($str);
13. Encode::_utf8_on($str);
14. &testing($str);
15.
16. sub testing
17. {
18. my ($str) = @_;
19. if (Encode::is_utf8($str))
20. {
21. print "utf8: Yes\n";
22. }
23. else
24. {
25. print "utf8: No\n";
26. }
27.
28. print "Length: ", length($str), "\n";
29. while ($str =~ /(.)/g)
30. {
31. print encode("gbk", $1), " ";
32. }
33.
34. print "\n\n";
35. }
复制代码
输出结果为：
utf8: No
Length: 15
? ? - ? ? ? ? - ? ? ? | ? ? 2
utf8: Yes
Length: 5
中 文 字 符 串
可以看到，当 utf8 flag 为 off 时，字符串按 ascii 处理；当为 on 时，则按 utf8 处理。注意 utf8 flag 跟字符串是否真为 utf8 编码无关，当字符串 utf8 flag 为 on 但非 utf8 编码时，print 会提示非法 utf8 字符。
二. Encode::encode ，Encode::decode ，PerlIO encoding layer
当 decode(ENCODING, $str) 时，字符串被按 ENCODING 解码为 utf8 编码并设置 utf8 flag 为 on ；当 encode(ENCODING, $str) 时，字符串被从 utf8 编码重新编码为 ENCODING 并设置 utf8 flag 为 off ；假如原字符串为 utf8 编码，而 Encode::_utf8_on($str) ，Encode::_utf8_off($str) 分别和 $str = decode("utf8", $str) ，$str = encode("utf8", $str) 起的作用一致，但速度更快。
可以给文件句柄加上 encoding(ENCODING) 的 layer ，则会在读入或者输出时自动处理。比如 open(FILE, "<+:encoding(gbk)", $location) 或者 binmode(FILE, ":encoding(gbk)") 时，则会在读入时自动调用 decode("gbk", ...) ，输出时自动调用 encode("gbk", ...) 。
三. use utf8 progma 与 use encoding ENCODING progma
当 use utf8 时，脚本里的字符串，若包含非 ascii 字符，而自动设置字符串 utf8 flag 为 on ：
1. #!/bin/env perl
2.
3. # fileencoding: utf8
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use utf8;
9.
10. my $str = "abcd";
11. my $str2 = "甲乙丙丁";
12.
13. foreach ($str, $str2)
14. {
15. if (utf8::is_utf8($_))
16. {
17. print "Yes\n";
18. }
19. else
20. {
21. print "No\n";
22. }
23. }
复制代码
输出结果为：
No
Yes
而 use encoding ENCODING 允许脚本为 ENCODING 编码而非一定为 utf8 编码。脚本里的字符串，自动按 ENCODING 转化为 utf8 编码并设置 utf8 flag 为 on ，就像自动调用了 decode(ENCODING, $str) 般，并自动给 STDIN 和 STDOUT 加上 encode(ENCODING) 的 layer ：
1. #!/bin/env perl
2.
3. # fileencoding: gbk
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use encoding "gbk";
9.
10. my $str = "abcd";
11. my $str2 = "甲乙丙丁";
12.
13. foreach ($str, $str2)
14. {
15. if (utf8::is_utf8($_))
16. {
17. print "Yes\n";
18. }
19. else
20. {
21. print "No\n";
22. }
23. }
24.
25. print "\n";
26. print STDOUT $str2, "\n";
27. print STDERR $str2, "\n";
28.
29. print "\n";
30. binmode(STDERR, ":encoding(gbk)");
31.
32. print STDOUT $str2, "\n";
33. print STDERR $str2, "\n";
复制代码
输出结果为：
Yes
Yes
甲乙丙丁
Wide character in print at D:\test.pl line 26.
鐢蹭箼涓欎竵
甲乙丙丁
甲乙丙丁
$str 和 $str2 的 utf8 flag 都为 on，由于 STDERR 没有被自动设置 encoding(ENCODING) ，所以第一个 print STDERR 打印为乱码，造成那个 warning 的原因是，print 发现字符串里包含非 ascii 字符而且 utf8 flag 为真。
四. 使用 use utf8 和 use encoding ENCODING 的建议
1. 如果不很了解这两个 progma 起的作用，最好别用。
2. 在 tk 和 gtk 里，为了显示中文，手工的 decode(ENCODING, $text) 可能是更好的选择。
3. 使用 use encoding ENCODING 时，要注意字符串实际上是存为 utf8 格式的，比如这个代码，用来测试中文目录是否存在：
1. #!/bin/env perl
2.
3. # fileencoding: gbk
4. # termencoding: gbk
5.
6. use strict;
7. use warnings;
8. use encoding "gbk";
9. use Encode;
10.
11. my $dir = "d:/备份数据/";
12.
13. if (-d encode("gbk", $dir))
14. {
15. print "$dir 存在\n";
16. }
复制代码
在这里，用 -d 测试 $dir 存在，手工的 encode 是必要的
该死的编码。。。。。。
页:
[1]