设为首页 收藏本站
查看: 992|回复: 0

[经验分享] (5)基于hadoop的简单网盘应用实现1

[复制链接]

尚未签到

发表于 2016-12-12 09:07:44 | 显示全部楼层 |阅读模式
  hadoop网盘的最终效果见下面,可以实现简单的文件上传、删除、下载功能,不同用户可以登录到自己的页面进行管理。
DSC0000.jpg


一、准备的安装包资源
  (1)hadoop1.1.2安装包
DSC0001.jpg

  (2)bootmetro一个CSS开元框架,用来提高web前端的开发效率
DSC0002.jpg

  (3)mysql的Jdbc驱动包
DSC0003.jpg

  (4)上传组件
DSC0004.jpg

  (5)mysql安装包(我的电脑是x64,x86系统的请下载对应版本即可)
DSC0005.jpg

  


二、搭建hadoop集群环境
  教程见(2)虚拟机下hadoop1.1.2集群环境搭建
  


三、mysql5.6安装和eclipse上的配置
  (1)安装教程网上很多,这里就不详细列举,大家到网上搜索即可。
  A、安装好后,把mysql安装文件夹下的bin目录的路径添加到PATH环境变量里。
DSC0006.jpg

  B、然后打开cmd,输入mysqld,开启mysql服务。
  C、创建hadoop数据库
  打开cmd,输入:mysql -uroot -hlocalhost -p
  然后会提示输入密码:密码默认为空,所以直接回车就可以进入Mysql命令行。
  接下来输入:create database hadoop;就创建成功
  我们输入:show databases; 来查看
DSC0007.jpg

  

  (2)在eclipse上配置mysql
  A、首先打开eclipse,创建web工程。
DSC0008.jpg

  B、把mysql-connector-java-commercial-5.1.25.jar包复制到在WEB-INF/lib下。
DSC0009.jpg

  C、链接hadoop数据库
  在Window菜单栏下打开Open Perspertive,选择 Database Development。
DSC00010.jpg

  然后再Database Connections文件夹下邮件选择New ..;
DSC00011.jpg

  然后再URL上填上刚刚创建的hadoop数据库;
DSC00012.jpg

  点击 Test Connection,测试链接成功。
  


四、fileupload控件实现文件的上传
  (1)首先将commons-fileupload-1.3.1.jar和commons-io-2.4.jar复制到WEB-INF/lib目录下。
  (2)在WebContent/下创建inedx.jsp文件用于上传文件。

<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>Insert title here</title>
</head>
<body>
<form class="form-inline"  method="POST"  enctype="MULTIPART/FORM-DATA"   action="UploadServlet" >
<div style="line-height:50px;float:left;">
<input type="submit" name="submit" value="上传文件"  />
</div>  
<div style="line-height:50px;float:left;">
<input type="file" name="file1" size="30"/>
</div>  
</form>
</body>
</html>
  


然后再创建一个UploadServlet处理上传的文件。
DSC00013.jpg


package com.controller;
import java.io.File;
import java.io.IOException;
import java.util.Iterator;
import java.util.List;
import javax.servlet.ServletContext;
import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import javax.servlet.jsp.PageContext;
import org.apache.commons.fileupload.DiskFileUpload;
import org.apache.commons.fileupload.FileItem;
import org.apache.commons.fileupload.disk.DiskFileItemFactory;
import org.apache.commons.fileupload.servlet.ServletFileUpload;

/**
* Servlet implementation class UploadServlet
*/
public class UploadServlet extends HttpServlet {
/**
* @see HttpServlet#doGet(HttpServletRequest request, HttpServletResponse response)
*/
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
this.doPost(request, response);
}
/**
* @see HttpServlet#doPost(HttpServletRequest request, HttpServletResponse response)
*/
protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
request.setCharacterEncoding("UTF-8");
File file ;
int maxFileSize = 50 * 1024 *1024;  //50M
int maxMemSize = 50 * 1024 *1024;    //50M
ServletContext context = getServletContext();
String filePath = context.getInitParameter("file-upload");
System.out.println("source file path:"+filePath+"");
// 验证上传内容了类型
String contentType = request.getContentType();
if ((contentType.indexOf("multipart/form-data") >= 0)) {
DiskFileItemFactory factory = new DiskFileItemFactory();
// 设置内存中存储文件的最大值
factory.setSizeThreshold(maxMemSize);
// 本地存储的数据大于 maxMemSize.
factory.setRepository(new File("c:\\temp"));
// 创建一个新的文件上传处理程序
ServletFileUpload upload = new ServletFileUpload(factory);
// 设置最大上传的文件大小
upload.setSizeMax( maxFileSize );
try{
// 解析获取的文件
List fileItems = upload.parseRequest(request);
// 处理上传的文件
Iterator i = fileItems.iterator();
System.out.println("begin to upload file to tomcat server</p>");
while ( i.hasNext () )
{
FileItem fi = (FileItem)i.next();
if ( !fi.isFormField () )
{
// 获取上传文件的参数
String fieldName = fi.getFieldName();
String fileName = fi.getName();
String fn = fileName.substring( fileName.lastIndexOf("\\")+1);
System.out.println("<br>"+fn+"<br>");
boolean isInMemory = fi.isInMemory();
long sizeInBytes = fi.getSize();
// 写入文件
if( fileName.lastIndexOf("\\") >= 0 ){
file = new File( filePath ,
fileName.substring( fileName.lastIndexOf("\\"))) ;
//out.println("filename"+fileName.substring( fileName.lastIndexOf("\\"))+"||||||");
}else{
file = new File( filePath ,
fileName.substring(fileName.lastIndexOf("\\")+1)) ;
}
fi.write( file ) ;
System.out.println("upload file to tomcat server success!");
request.getRequestDispatcher("index.jsp").forward(request, response);
}
}
}catch(Exception ex) {
System.out.println(ex);
}
}else{
System.out.println("<p>No file uploaded</p>");
}
}
}



然后再web.xml下设置上传的路径:
<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" id="WebApp_ID" version="2.5">
<display-name>TestHadoop</display-name>
<welcome-file-list>
<welcome-file>index.html</welcome-file>
<welcome-file>index.htm</welcome-file>
<welcome-file>index.jsp</welcome-file>
<welcome-file>default.html</welcome-file>
<welcome-file>default.htm</welcome-file>
<welcome-file>default.jsp</welcome-file>
</welcome-file-list>
<servlet>
<description></description>
<display-name>UploadServlet</display-name>
<servlet-name>UploadServlet</servlet-name>
<servlet-class>com.controller.UploadServlet</servlet-class>
</servlet>
<context-param>
<description>Location to store uploaded file</description>
<param-name>file-upload</param-name>
<param-value>
D:\apache-tomcat-6.0.41\webapps\data
</param-value>
</context-param>
<servlet-mapping>
<servlet-name>UploadServlet</servlet-name>
<url-pattern>/UploadServlet</url-pattern>
</servlet-mapping>
</web-app>
  我们测试一下是否可以上传,我现在将上传(1)Centos6.5下hadoop1.1.2环境搭建(单机版).docx文件;
DSC00014.jpg

  我们到

D:\apache-tomcat-6.0.41\webapps\data
  可以看到文件已经上传成功。

DSC00015.jpg


  

  

  

  

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-313031-1-1.html 上篇帖子: Hadoop分布式环境下的数据抽样 下篇帖子: ubutun下eclipse调试hadoop的WordCount示例
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表