设为首页 收藏本站
查看: 883|回复: 0

[经验分享] 如何配置在eclipse下配置Heritrix

[复制链接]

尚未签到

发表于 2017-3-1 09:26:33 | 显示全部楼层 |阅读模式
  在其他帖子上看到有Eclipse 配置 Heritrix 1.14.4的文章,这里有很多内容是引用自那里。如http://extjs2.javaeye.com/blog/699751
不过这里对配置有一些进一步的说明。
Eclipse 配置 Heritrix 1.14.4的配置过程如下:
1. 首先从http://sourceforge.net/projects/archive-crawler/ 中下载
heritrix-1.14.4.zip 和 heritrix-1.14.4-src.zip(Windows)
2. 在Eclipse 中创建一个java project的工程(可以命名为Heritrix)
3. 将heritrix-1.14.4-src.zip解压中的src/java 中的 com、org、st三个文件夹复制到工程src下。
4. 将heritrix-1.14.4-src.zip解压中src中conf文件夹复制到项目根目录。
5. 将heritrix-1.14.4-src.zip解压中lib文件夹复制到项目根目录。
6. 将heritrix-1.14.4-src.zip解压中src/resources/org/archive/util中tlds-alpha-by-domain.txt文件复制到工程中org.archive.util包下。
7. 将heritrix-1.14.4.zip解压中webapps文件夹复制到项目根目录。
如果文件夹名称不是webapps 需要在Heritrix.java中进行相应的更改。
  Java代码 :/**   * @throws IOException   * @return Returns the directory under which reside the WAR files   * we're to load into the servlet container.   */     public static File getWarsdir()  throws IOException {         return getSubDir("webapps");     }   
  /** * @throws IOException * @return Returns the directory under which reside the WAR files * we're to load into the servlet container. */ public static File getWarsdir() throws IOException { return getSubDir("webapps"); }
8. 配置文件进行修改,找到conf下heritrix.properties文件
  Java代码 :  //设置版本    heritrix.version = 1.14.4   
  //设置用户密码 heritrix.cmdline.admin = admin:admin
  //设置端口 heritrix.cmdline.port = 8080
9. 对工程进行jar包引入,将lib下面所有的jar包引入工程。
10.Eclipse中导入Heritrix,报错找不到类 sun.net.www.protocol.file.FileURLConnection,sun包是受保护的包,默认只有sun公司的软件才能使用。Eclipse会报错,把对保护使用warning就可以了。Windows -> Preferences -> Java -> Compiler -> Errors/Warnings-> Deprecated and trstricted API -> Forbidden reference (access rules): -> change to warning
11. 添加配置文件夹。如果你运行Heritrix时,在配置页面中没有可选项,这一步可以解决问题。在工程中找到org.archive.crawler.Heritrix.java右键选运行方式配置,选择Classpath ,选择User Entries -- Advanced ,选择Add Folders,将conf文件夹添加进去。
  点击Run 开始运行
  java代码 :
  16:17:09.500 EVENT  Starting Jetty/4.2.23
16:17:09.843 EVENT  Started WebApplicationContext[/,Heritrix Console]
16:17:09.968 EVENT  Started SocketListener on 127.0.0.1:8080
16:17:09.968 EVENT  Started
Heritrix version: 1.14.4
  来自:http://hanyuanbo.iteye.com/blog/777451

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-348618-1-1.html 上篇帖子: from: Java开发必须要知道的知识体系 下篇帖子: ActiveMQ应用笔记一:基本概念&安装
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表