设为首页 收藏本站
查看: 1421|回复: 0

[经验分享] 基于hadoop+nutch+solr的搜索引擎环境搭载<三>hadoop,nutch,solr整合到eclipse上开发

[复制链接]
累计签到:6 天
连续签到:1 天
发表于 2015-7-16 11:35:15 | 显示全部楼层 |阅读模式
  版本:
  eclipse:
  eclipse-jee-juno-SR2-linux-gtk
  tomcat7:
  apache-tomcat-7.0.39
  一,下载安装eclipse,tomcat
  下载安装eclipse后,解压,运行eclipse
  在菜单栏里
  window->preferences->server->runtime environment   
  add tomcat7
  二,集成hadoop。
  hadoop之前的版本有集成好的eclipse插件,现在需要自己编译,具体步骤可以百度。
  这里是我用的插件 。
  将hadoop-eclipse-plugin-1.0.4放在/eclipse/plugins下(如果是用软件中心安装的话是/usr/share/eclipse/plugins/)
  重启eclipse,然后可以看到在project Explorer中看到DFS locations
  window->show view->other->Map/Reduce Locations 确认后配置Hadoop installation directory即可
DSC0000.png          
  点“蓝色大象“新建
DSC0001.png
  修改参数
DSC0002.png
  此处Map/Reduce Master与mapred-site.xml对应
  DFS   Master与hadoop/conf/core-site.xml中对应
  重启eclipse,点开DFS location就可以看到hdfs(记得启动hadoop)
  
  三,nutch,solr集成在hadoop上
  nutch是一个应用程序,在我的这个项目里主要是做爬虫用,爬取后的内容存放在hdfs上,所以在hdfs整合模块已经整合上去了。
  solr:
  在eclipse新建动态网页项目,删除WebContent的所有内容。
  在solr/dist下(或者/solr3.6.2/example/webapps下)解压solr.war  将所有内容拷贝到WenContent里。
  修改WEB-INF里的web.xml
  添加




solr/home
/home/hadoop/solr3.6.2/example/solr
java.lang.String

  到最后的前。
  解释下这个地方是你的solr core的位置
  采用solr多核的话可以将

/home/hadoop/solr3.6.2/example/multicore,同时修改multicore中的solr.xml






  instanceDir为core的存放位置
  在server中新建tomcat7服务,然后添加你刚新建的动态网页工程
DSC0003.png
  启动tomcat7,在正常情况下,你可以选择运行wencontent下的index.jsp 避免你弄错url的路径。
DSC0004.png
  这样,hadoop+nutch+solr的eclipse环境就搭建好了。
  本系列文章也就结束了,这一两个月的摸索与学习,收获很多,比如MapReduce机制,信息检索的一些知识。
  当然后续还会继续主要学习hadoop。
  这应该是acm后第一个知识积累的阶段。很好,继续努力。
  Sleeper_qp,Fighting!!!
  梦想就在眼前了。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-87264-1-1.html 上篇帖子: EasyNet.Solr开发历程 下篇帖子: solr与zookeeper搭建solrcloud分布式索引服务实例
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表