windows下nutch的安装配置以及与tomcat的集成

nics

Nutch是一个开源的、Java实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。

Nutch可以分为2个部分：

抓取部分crawler抓取程序抓取页面并把抓取回来的数据做成反向索引搜索部分searcher。搜索程序则对反向索引搜索回答用户的请求。

Nutch的爬虫有两种方式

爬行企业内部网(Intranet crawling)。针对少数网站进行，用crawl命令。

爬行整个互联网。使用低层的inject，generate，fetch和updatedb命令，具有更强的控制性。

研究了半天，终于在windows下面把nutch给跑起来了，看着跟百度谷歌相同的搜索结果，心里很欣慰，毕竟是忙了大半天才弄通的，现在我把这些配置过程大致的说一下，一方面作为备忘录，另一方面也让和我有同样兴趣爱好的朋友能够少

走弯路。
整个配置过程分为以下几个部分：

1、java安装及配置
从官方网站（如果官网不会下载，可以通过百度或迅雷）上下载java，下载后进行安装。这部分我就不用多说了，注意下面几项环境变量的配置（假定安装目录为：G:\Java\jdk1.6.0_14）：
JAVA_HOME = G:\Java\jdk1.6.0_14
path = %JAVA_HOME %\bin
CLASSPATH = .;%JAVA_HOME %\lib\dt.jar;%JAVA_HOME %\lib\tools.jar
2、tomcat安装及配置
从http://tomcat.apacher.org上面下载tomcat6，并解压至某个目录，我这里解压到G:\Tomcat6.0，则在环境变量里面配置：CATALINA_HOME = G:\Tomcat6.0
3、下载cygwin。这里安装配置过程可参考百度文库的一个文档http://wenku.baidu.com/view/c6fd2f4c2e3f5727a5e962ce.html假定安装目录为：G:\cygwin\
4、下载nutch-1.2并解压。我这里解压到G:\cygwin\nutch-1.2
5、集成过程

1）打开安装cygwin安装时生成的快捷方式，这样就能打开cygwin的命令行，里面能执行的当然都是Linux的命令

  cd进入nutch-1.2下面

  输入bin/nutch 出来nutch命令的一些选项提示 说明已成功一半

2）接下来是修改nutch-1.2/conf/nutch-site.xml

     修改后如下：

   <configuration>

   <property>

     <name>http.agent.name</name>

     <value>foxman</value>

     <description></description>

   </property>

   <property>

     <name>http.agent.description</name>

     <value></value>

     <description></description>

   </property>

   <property>

     <name>http.agent.url</name>

     <value></value>

     <description></description>

   </property>

   <property>

     <name>http.agent.email</name>

     <value></value>

     <description></description>

   </property>

</configuration>

注：http.agent.name段下的foxman值一定要给出（当然值是随意的）有兴趣的可以查看nutch-1.2/conf/nutch-default.xml这个文件，里面也有http.agent.name段，默认值为空，所以才要我们强制指明。
3）修改nutch-1.2/conf/crawl-urlfilter.txt倒数四行的代码修改成如下（只是修改了+^http://([a-z0-9]*\.)*163.com/）指明我们抓取的网站是http://www.163.com/下的网站。
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*163.com/
# skip everything else
-.
4）在nutch-1.2/下建立文件夹urls，然后在urls下面建立文件url.txt里面内容是http://www.163.com/
注：你要抓取的网站。

5）在cygwin中进入nutch-1.2目录

执行 bin/nutch crawl urls -dir crawl -depth 5 -threads 4 -topN 50

注：urls就是你之前建立的文件夹

      -dir crawl就是创建crawl文件夹来存储抓取的数据

      -depth 5 就是抓取的深度

      -threads 4 就是执行的线程数

      -topN 50 就是每层抓取数目

这样你的抓取数据都在crawl中了

可以执行 bin/nutch readdb sina/crawldb/ -stats

注：查看抓取信息。
6）把nutch-1.2文件夹下的nutch-1.2.war拷到tomcat的webapps文件下打开tomcat，nutch-1.2.war会自动被解压成同名的nutch-1.2文件夹。

7）配置nutch-1.2/WEB-INF/classes/nutch-site.xml

   修改后如下

  <configuration>

<property>

     <name>searcher.dir</name>

     <value>G:\cygwin\nutch-1.2\crawl</value>

</property>

</configuration>

注：G:\cygwin\nutch-1.2\crawl这个路径就是你之前抓取数据的存放路径。

8）中文乱码问题

配置tomcat的conf文件夹下的server.xml

修改如下

    <Connector port="8080" protocol="HTTP/1.1"

               connectionTimeout="20000"

               redirectPort="8443" URIEncoding="UTF-8"

useBodyEncodingForURI="true"/>

注：找到这一段，关键是添加URIEncoding="UTF-8"

useBodyEncodingForURI="true"。

最好重启一下Tomcat

浏览器中输入http://localhost:8080/nutch-1.2/就可以大功告成了




2、爬行整个互联网
2．1、爬行整个互联网。 使用低层的 inject, generate, fetch 和 updatedb 命令。具有更强的可控制性。
2．1．1、全网爬行
全网爬行设计去处理非常大量的爬行，它可能要花几个星期的时间才能完成，并起需要多台电脑来运行它。
2．1．2 下载 http://rdf.dmoz.org/rdf/content.rdf.u8.gz 然后解压 解压命令为： gunzip content.rdf.u8.gz
2．1．3 创建目录 mkdir dmoz
2．1．4 每搜索5000条URL记录选择一个存进urls文件: bin/nutch org.apache.nutch.tools. DmozParser content.rdf.u8 -subset 5000 > dmoz/urls
4.4 初始化crawldb: bin/nutch inject crawl/crawldb dmoz
4.5 从crawldb生成fetchlist: bin/nutch generate crawl/crawldb crawl/segments
4.6 fetchlist放置在重新创造的段目录，段目录根据指定的时间创建，我们保存这段变量s1:
s1=`ls -d crawl/segments/2* | tail -1`
echo $s1 显示结果如：crawl/segments/2006******* /*号部分表示是月日时的数字，如20060703150028
4.7 运行这段: bin/nutch fetch $s1
4.8 完成后更新数据结果: bin/nutch updatedb crawl/crawldb $s1
4.9现在数据库的参考页设在最初，接着来取得新的1000页:
bin/nutch generate crawl/crawldb crawl/segments -topN 1000
s2=`ls -d crawl/segments/2* | tail -1`
echo $s2
bin/nutch fetch $s2
bin/nutch updatedb crawl/crawldb $s2
4.10 让我们取得周围的更多:
bin/nutch generate crawl/crawldb crawl/segments -topN 1000
s3=`ls -d crawl/segments/2* | tail -1`
echo $s3
bin/nutch fetch $s3
bin/nutch updatedb crawl/crawldb $s3
4.11 创建索引:
bin/nutch invertlinks crawl/linkdb -dir crawl/segments
4.12 使用索引命令: bin/nutch index crawl/indexes crawl/crawldb crawl/linkdb crawl/segments/*