【tomcat+nutch+jdk】“中文乱码”的原理和解决方法

jinquan26

【tomcat 乱码的解决】
在 Nutch 的搜索框中输入中文，点击“搜索”按钮之后，可以看到搜索框中的关键字是乱码，搜索结果也为空。网上有很多文章都谈到了这个现象，这不是 Nutch 的问题，而是 Tomcat 没有对 uri 做编码造成的。

【Java中文问题的由来】　　Java 的内核和 class 文件是基于 unicode 的，这使 Java 程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。
原因主要有两方面：
------------------------------------------------------------------------------------------------------------------------------------
①Java 和 JSP文件本身编译时产生的乱码问题；
　 　首先 Java（包括 JSP）源文件中很可能包含有中文，而 Java 和 JSP 源文件的保存方式是基于字节流的，如果 Java 和 JSP 编译成 class 文件过程中，使用的编码方式与源文件的编码不一致，就会出现乱码。基于这种乱码，建议在 Java 文件中尽量不要写中文（注释部分不参与编译，写中文没关系）， 如果必须写的话，尽量手动带参数 -ecoding GBK 或 -ecoding gb2312 编译；对于 JSP，在文件头加上<%@ page contentType="text/html;charset=GBK"%>或<%@ page contentType="text/html;charset=gb2312"%>基本上就能解决这类乱码问题。
------------------------------------------------------------------------------------------------------------------------------------
②Java程序于其他媒介交互产生的乱码问题。
　　本文要重点讨论的是第二类乱码，即 Java 程序与其他存储媒介交互时产生的乱码。
　　很多存储媒介，如数据库，文件，流等的存储方式都是基于字节流的，Java 程序与这些媒介交互时就会发生字符(char)与字节(byte)之间的转换，例如从页面提交表单中提交的数据在 Java 程序里显示乱码等情况。
　　如果在以上转换过程中使用的编码方式与字节原有的编码不一致，很可能就会出现乱码。
===================================================================================
【解决方法】
　　对于流行的 Tomcat 来说，有以下两种解决方法：
　　1) 更改 /tomcat/conf/server.xml，指定浏览器的编码格式为“简体中文”：
vi /qu6zhi/tomcat/conf/server.xml
在“Connector port=”8080″”那一节添加
<Connector URIEncoding="UTF-8" useBodyEncodingForURI="true" />
在文件的最下面添加 URIEncoding="UTF-8" useBodyEncodingForURI="true" 即可。否则搜索栏输入的字符默认编码将不能正确解析。
　　可以这样验证你的更改是否成功：在更改前，在你出现乱码的页面的浏览器，点击菜单“查看｜编码”，会发现“西欧(ISO)”处于选中状态。而更改后，点击菜单“查看｜编码”，会发现“简体中文(GB2312)”处于选中状态。
------------------------------------------------------------------------------------------------------------------------------------
　　2)更改 Java 程序，我的程序是这样的：
public class ThreeParams extends HttpServlet {
public void doGet(HttpServletRequest request, HttpServletResponse response)
   throws ServletException, IOException {
      response.setContentType("text/html; charset=GBK");
      ...
} 
}
　　粗体字是必需要有的，它的作用是让浏览器把Unicode字符转换为GBK字符。这样页面的内容和浏览器的显示模式都设成了GBK，就不会乱码了。
===================================================================================

【nutch 配置文件乱码的解决】

缓存乱码的解决：修改 search.jsp 中的代码行。
增加格式化搜索字符的函数，同时对 queryString 进行处理。

vi /qu6zhi/tomcat/webapps/search/search.jsp

将
String queryString = request.getParameter("query") 
改成
String queryString = new String(request.getParameter("query").getBytes("ISO-8859-1"),"UTF-8");

注意:经过以上处理，部分 UTF-8 的页面依然会出现乱码。要想彻底解决，需要将 Content 内容先做判断，如果 Meta 标签中有 charset="utf-8"标志，则

Content =new String(bean.getContent(details),"utf-8");

经过以上处理，基本上不会有乱码的缓存页面存在。



参考：
http://www.williamlong.info/archives/469.html
http://jerry.bloghome.cn/posts/25151.html
http://blog.csdn.net/boybluesky/archive/2009/02/04/3861548.aspx
http://www.myispace.cn/clips/014a970d45714f259733570546ad2261.htm