设为首页 收藏本站
查看: 1722|回复: 0

[经验分享] spring+mybatis实现csv批量上传

[复制链接]

尚未签到

发表于 2016-11-27 08:11:04 | 显示全部楼层 |阅读模式
  简单的一个小例子而已,测试了下9W多条数据导入如果不做批量插入很费时,后改为批量插入在6秒左右:
  上传jsp页面:

<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<script type="text/javascript" src="../js/jquery-1.11.0.min.js"></script>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>Insert title here</title>
<script type="text/javascript">
i = 1;
j = 1;
$(document).ready(function(){
$("#btn_add1").click(function(){
document.getElementById("newUpload1").innerHTML+='<div id="div_'+i+'"><input  name="file" type="file"  /><input type="button" value="删除"  /></div>';
i = i + 1;
});
$("#btn_add2").click(function(){
document.getElementById("newUpload2").innerHTML+='<div id="div_'+j+'"><input  name="file_'+j+'" type="file"  /><input type="button" value="删除"  /></div>';
j = j + 1;
});
});
function del_1(o){
document.getElementById("newUpload1").removeChild(document.getElementById("div_"+o));
}
function del_2(o){
document.getElementById("newUpload2").removeChild(document.getElementById("div_"+o));
}
</script>
</head>
<body>
<h1>springMVC字节流输入上传文件</h1>
<form name="userForm1" action="/file/upload" enctype="multipart/form-data" method="post">
<div id="newUpload1">
<input type="file" name="file">
</div>
<input type="button" id="btn_add1" value="增加一行" >
<input type="submit" value="上传" >
</form>
<br>
<br>
<hr align="left" width="60%" color="#FF0000" size="3">
<br>
<br>
<h1>springMVC包装类上传文件</h1>
<form name="userForm2" action="/file/upload2" enctype="multipart/form-data" method="post"">
<div id="newUpload2">
<input type="file" name="file">
</div>
<input type="button" id="btn_add2" value="增加一行" >
<input type="submit" value="上传" >

</form>
</body>
</html>
  action部分,每1000条执行一次

/**
* 更新csv数据
* @return
*/
@RequestMapping("/updatePayFeeData")
@ResponseBody
public Map<String, String> updatePayFeeData(HttpServletRequest request,HttpServletResponse response){
Map<String,String> map = new HashMap<String, String>();
//创建一个通用的多部分解析器  
CommonsMultipartResolver multipartResolver = new CommonsMultipartResolver(request.getSession().getServletContext());  
//判断 request 是否有文件上传,即多部分请求  
int pre = (int) System.currentTimeMillis();  
if(multipartResolver.isMultipart(request)){  
//转换成多部分request   
MultipartHttpServletRequest multiRequest = (MultipartHttpServletRequest)request;  
//取得request中的所有文件名  
Iterator<String> iter = multiRequest.getFileNames();  
while(iter.hasNext()){  
try {
MultipartFile file = multiRequest.getFile(iter.next());
InputStream is=file.getInputStream();
CsvUtil test = new CsvUtil(is);
List<List<String>> csvList = test.readCSVFile();
if (!csvList.isEmpty()) {
//                int resNum=payFeeService.deleteData();
payFeeService.deleteData();
//                int j=csvList.size();
List<PayFeeEntity> feeEntitiesList=new ArrayList<PayFeeEntity>();
for (List<String> list : csvList) {
PayFeeEntity payFeeEntity =new PayFeeEntity();
payFeeEntity.setYearMon(list.get(0));
payFeeEntity.setIdno(list.get(1));
payFeeEntity.setMonthPay(Integer.valueOf(list.get(2)));
payFeeEntity.setTotlePayfee(Long.valueOf(list.get(3)));
feeEntitiesList.add(payFeeEntity);
if (feeEntitiesList.size()==1000) {
//                int resultNum=payFeeService.insertPayFee(payFeeEntity);
int resultNum=payFeeService.addStudentPath(feeEntitiesList);
feeEntitiesList.clear();
}
}
if (feeEntitiesList.size()>0) {
//                int resultNum=payFeeService.insertPayFee(payFeeEntity);
int resultNum=payFeeService.addStudentPath(feeEntitiesList);
feeEntitiesList.clear();
}
int finaltime = (int) System.currentTimeMillis();  
System.out.println(finaltime - pre);  
map.put("code",Constant.getCode(Constant.SUCCESS));
map.put("result","success");
return map;
}else {
map.put("code",Constant.getCode(Constant.EMP_FILE));
map.put("result","false");
return map;
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
map.put("code",Constant.getCode(Constant.FILE_FAIL));
map.put("msg",e.getMessage());
map.put("result","fail");
return map;
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
map.put("code",Constant.getCode(Constant.FILE_FAIL));
map.put("msg",e.getMessage());
map.put("result","fail");
return map;
}
}
}
map.put("code",Constant.getCode(Constant.FILE_FAIL));
map.put("result","fail");
return map;
}
  mapper.xml

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd" >
<mapper namespace="com.thfund.dao.PayFeeEntityMapper">
<resultMap id="BaseResultMap" type="com.thfund.model.PayFeeEntity">
<id column="id" property="id" jdbcType="INTEGER" />
<result column="year_mon" property="yearMon" jdbcType="VARCHAR" />
<result column="idno" property="idno" jdbcType="VARCHAR" />
<result column="month_pay" property="monthPay" jdbcType="INTEGER" />
<result column="totle_payfee" property="totlePayfee" jdbcType="BIGINT" />
</resultMap>
<sql id="Base_Column_List">
id, year_mon, idno, month_pay, totle_payfee
</sql>
<insert id="addStudentPath" parameterType="java.util.List">
insert into pay_fee_info(year_mon, idno,
month_pay, totle_payfee)
values
<foreach collection="list" item="item" index="index" separator="," >  
(#{item.yearMon,jdbcType=VARCHAR},#{item.idno,jdbcType=VARCHAR},#{item.monthPay,jdbcType=INTEGER},#{item.totlePayfee,jdbcType=BIGINT})  
</foreach>  
</insert>
</mapper>
  mapper.java

int addStudentPath(List<PayFeeEntity> payFeeList);

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-305957-1-1.html 上篇帖子: [MyBatis]mapperLocations属性通配符的使用 下篇帖子: 关于ibatis 和 mybatis 在使用中的一点感触
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表