Apache Nutch 1.3 学习笔记二
1. Nutch 1.3 运行命令的一些介绍要看Nutch的命令说明，可执行如下命令bin/nutch
[*]
Usage: nutch [-core] COMMAND
[*]
where COMMAND is one of:
[*]
crawl one-step crawler for intranets
[*]
readdb read / dump crawl db
[*]
convdb convert crawl db from pre-0.9 format
[*]
mergedb merge crawldb-s, with optional filtering
[*]
readlinkdb read / dump link db
[*]
inject inject new urls into the database
[*]
generate generate new segments to fetch from crawl db
[*]
freegen generate new segments to fetch from text files
[*]
fetch fetch a segment's pages
[*]
parse parse a segment's pages
[*]
readseg read / dump segment data
[*]
mergesegs merge several segments, with optional filtering and slicing
[*]
updatedb update crawl db from segments after fetching
[*]
invertlinks create a linkdb from parsed segments
[*]
mergelinkdb merge linkdb-s, with optional filtering
[*]
solrindex run the solr indexer on parsed segments and linkdb
[*]
solrdedup remove duplicates from solr
[*]
solrclean remove HTTP 301 and 404 documents from solr
[*]
plugin load a plugin and run one of its classes main()
[*]
or
[*]
CLASSNAME run the class named CLASSNAME
[*]
Most commands print help when invoked w/o parameters.
[*]
[*]
[*]
Expert: -core option is for developers only. It avoids building the job jar,
[*]
instead it simply includes classes compiled with ant compile-core.
[*]
NOTE: this works only for jobs executed in 'local' mode
2. 单个命令的说明
2.1 bin/nutch crawl
Usage: Crawl-solr[-dir d] [-threads n] [-depth i] [-topN N]
这是用于对urls进行一键式抓取的命令
2.2 bin/nutch readdb
Usage: CrawlDbReader(-stats | -dump| -topN [] | -url )
这是用于对crawldb数据库进行读取的命令，主要是用于dump相应的url文件
2.3 bin/nutch convdb
这个命令主要用于把nutch 0.9的crawldb数据转换成1.3的格式
2.4 bin/nutch mergedb
Usage: CrawlDbMerger [...] [-normalize] [-filter]
这个命令主要用于合并多个crawldb数据库
2.5 bin/nutch readlinkdb
Usage: LinkDbReader{-dump| -url )
主要用于读取invertlinks产生的链接数据
2.6 bin/nutch inject
Usage: Injector
主要用于把url_dir中的url注入到crawldb数据库中去
2.7 bin/nutch generate
Usage: Generator [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter] [-noNorm][-maxNumSegments num]
用于产生准备抓取的url列表
2.8 bin/nutch freegen
Usage: FreeGenerator [-filter] [-normalize]
从文本文件中提取urls来产生新的抓取segment
2.9 bin/nutch fetch
Usage: Fetcher[-threads n] [-noParsing]
主要用来对generate产生的urls进行抓取，这里用到了Hadoop架构，使用了一个FetcherOutputFormat来对其结果进行多目录输出
2.10 bin/nutch parse
Usage: ParseSegment segment
主要是对抓取的内容进行分析
2.11 bin/nutch readseg
Usage: SegmentReader (-dump ... | -list ... | -get ...)
这个命令主要是输出segment的内容
2.12 bin/nutch invertlinks
Usage: LinkDb(-dir| ...) [-force] [-noNormalize] [-noFilter]
这个命令主要是得到抓取内容的外链接数据
2.13 bin/nutch solrindex
Usage: SolrIndexer ( ... | -dir )
对抓以的内容进行索引建立，前提是要有solr环境。
2.14 bin/nutch plugin
Usage: PluginRepository pluginId className
这个命令主要对插件进行测试，运行其main方法
作者：http://blog.iyunv.com/amuseme_lu
相关文章阅读及免费下载：
《Apache Nutch 1.3 学习笔记目录》
《Apache Nutch 1.3 学习笔记一》
《Apache Nutch 1.3 学习笔记二》
《Apache Nutch 1.3 学习笔记三（Inject）》
《Apache Nutch 1.3 学习笔记三（Inject CrawlDB Reader）》
《Apache Nutch 1.3 学习笔记四（Generate）》
《Apache Nutch 1.3 学习笔记四（SegmentReader分析）》
《Apache Nutch 1.3 学习笔记五（FetchThread）》
《Apache Nutch 1.3 学习笔记五（Fetcher流程）》
《Apache Nutch 1.3 学习笔记六（ParseSegment）》
《Apache Nutch 1.3 学习笔记七（CrawlDb - updatedb）》
《Apache Nutch 1.3 学习笔记八（LinkDb）》
《Apache Nutch 1.3 学习笔记九（SolrIndexer）》
《Apache Nutch 1.3 学习笔记十（Ntuch 插件机制简单介绍）》
《Apache Nutch 1.3 学习笔记十（插件扩展）》
《Apache Nutch 1.3 学习笔记十（插件机制分析）》
《Apache Nutch 1.3 学习笔记十一（页面评分机制 OPIC）》
《Apache Nutch 1.3 学习笔记十一（页面评分机制 LinkRank 介绍）》
《Apache Nutch 1.3 学习笔记十二（Nutch 2.0 的主要变化）》
更多《Apache Nutch文档》，尽在开卷有益360 http://www.docin.com/book_360
页:
[1]