ameimeng 发表于 2015-11-6 11:06:35

通过quartz定时任务完成对FTP服务器上文档的下载

  一、FTP工具使用apache的FTPClient,jar包下载路径 http://download.iyunv.com/detail/enterys/9203257
  二、spring quartz定时任务配置
  

<!-- 任务 -->
<bean id=&quot;downFtp&quot; class=&quot;org.springframework.scheduling.quartz.JobDetailBean&quot;>
<property name=&quot;jobClass&quot; value=&quot;com.oec.tsm.ui.sim.ftp.task.FtpTask&quot;></property>
<property name=&quot;jobDataAsMap&quot;>
<map>
<entry key=&quot;timeout&quot; value=&quot;0&quot; ></entry>
</map>
</property>
</bean>
<!-- 触发器 -->
<bean id=&quot;cronTrigger&quot; class=&quot;org.springframework.scheduling.quartz.CronTriggerBean&quot;>
<property name=&quot;jobDetail&quot; ref=&quot;downFtp&quot;></property>
<property name=&quot;cronExpression&quot; value=&quot;0 * 14 * * ?&quot;></property>
</bean>
<!-- 调度 -->
<bean class=&quot;org.springframework.scheduling.quartz.SchedulerFactoryBean&quot;>
<property name=&quot;triggers&quot;>
<list>
<ref bean=&quot;cronTrigger&quot;></ref>
</list>
</property>
</bean>

三、定时任务执行类和实现FTP下载的方法,  
  package com.oec.tsm.ui.sim.ftp.task;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.springframework.scheduling.quartz.QuartzJobBean;

/**
* 定时在ftp服务器上获取漏扫报告
* @author ys
*
*/
public class FtpTask extends QuartzJobBean {
protected Log log = LogFactory.getLog(getClass());
private static String encoding = System.getProperty(&quot;file.encoding&quot;);
private int timeout ;
private static int i =0;
private static Properties properties;
private static long lastTime=0;
private static Map<String,String> map = new HashMap<String, String>();
public void setTimeout(int timeout){
this.timeout=timeout;
}
@Override
protected void executeInternal(JobExecutionContext arg0)
throws JobExecutionException {
log.error(&quot;开始执行FtpTask定时任务。。。。。。。&quot;+new Date());
isLoad();
//通过配置文件加载FTP服务器的信息
String url = properties.getProperty(&quot;url&quot;);
String path=properties.getProperty(&quot;path&quot;);
String username = properties.getProperty(&quot;username&quot;);
String password = properties.getProperty(&quot;password&quot;);
int host = Integer.valueOf(properties.getProperty(&quot;host&quot;));
//下载路径
String dowbpath = this.getClass().getClassLoader().getResource(&quot;&quot;).getPath();
dowbpath=dowbpath+&quot;/rsas&quot;;
OutputStream out =null;
try {
FTPClient client=new FTPClient();
client.connect(url, host);
client.setControlEncoding(encoding);
boolean login = client.login(username, password);
if(login){
log.error(&quot;ftp服务器登录成功:&quot;+url);
}else{
log.error(&quot;ftp服务器登录失败。。。。。&quot;);
}
//获取到所有的待下载文件
client.changeWorkingDirectory(new String(path.getBytes(encoding)));
FTPFile[] listFiles = client.listFiles();
//遍历待下载文件
for (FTPFile ftpFile : listFiles) {
String name = ftpFile.getName();
//判断该文件是否已经下载,如果已经在本地存在,则不下载
if(null==map.get(name)){
client.setFileType(FTPClient.BINARY_FILE_TYPE);
out = new BufferedOutputStream(new FileOutputStream(dowbpath+&quot;/&quot;+name));
boolean retrieveFile = client.retrieveFile(ftpFile.getName(), out);
if(!retrieveFile){
log.error(&quot;从FTP服务器下载文件&quot;+name+&quot;失败了。。。。&quot;);
}
log.info(&quot;从FTP服务器上下载&quot;+name+&quot;文件成功......&quot;);
}else{
log.info(&quot;FTP服务器上的&quot;+name+&quot;文件已经被下载.故不在重新下载.......&quot;);
}
}
client.logout();
} catch (IOException e) {
log.error(&quot;FTP服务器连接失败:&quot;+e,e);
}finally{
try {
if(null!=out){
out.close();
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
/**
* 判断是否要加载配置文件,避免频繁的加载配置文件,导出配置文件损坏
* 还要加载一次本地已经下载的文件,对从ftp上下载文件进行对比,如果存在则不下载
*/
protected void isLoad(){
File file =new File(&quot;../../../../conf/ftp.properties&quot;);
if(lastTime!=file.lastModified()){
loadProperties();
}
//获取所有本地已经下载的文件,装在map中,为下载时判断时候存在作为依据
String path = this.getClass().getClassLoader().getResource(&quot;&quot;).getPath();
path=path+&quot;/rsas&quot;;
File bd=new File(path);
File[] listFiles = bd.listFiles();
if(null!=listFiles){
map.clear();//每次加载时都清空
for (File file2 : listFiles) {
map.put(file2.getName(), path);
}
}
}
/**
* 加载配置ftp服务器信息的文件
*/
protected void loadProperties(){
properties=new Properties();
String url=&quot;../../../../conf/ftp.properties&quot;;
try {
InputStream in =new BufferedInputStream(new FileInputStream(url));
properties.load(in);
} catch (FileNotFoundException e) {
log.error(&quot;ftp.properties配置文件未找到:&quot;+e,e);
} catch (IOException e) {
log.error(&quot;ftp.properties配置文件读取失败:&quot;+e,e);
}
}
}

  
  在上述FTP下载文档,有太多的时间来解决乱码问题,博主各种搜索且各种尝试,终于让楼主找到了解决办法,



注意:     在FTP协议里面,规定文件名编码为iso-8859-1,所以目录名或文件名需要转码。接下来的问题是,我们应该将什么编码转换为此格式。因此,就有了第二种解决方案——把 GBK格式的转换为ISO-8859-1格式。而且,有的人还说,必须得这么转。其实,之所以他们能这么说,我觉得完全是巧合。它的真正原理是,既然 FTP协议规定的编码格式是“ISO-8859-1”,那么我们确实得将格式转换一下,然后等服务器收到文件时再自动转换为系统自带的编码格式,因此,关键不是规定为什么格式,而是取决于FTP服务器的编码格式。因此,如果FTP系统的编码格式为“GBK”时,第二种方式肯定会成功;但是,如果系统的编码格式为“UTF-8”时,那就会仍然出现乱码啦。所以,我们只能通过代码先获取系统的编码格式,然后通过此编码格式转换为ISO-8859-1的编码格式。获取方式如下:

private static String encoding = System.getProperty(&quot;file.encoding&quot;);

以上代码均通过自己测试,望能为大家解决一下问题!


  

版权声明:本文为博主原创文章,未经博主允许不得转载。
页: [1]
查看完整版本: 通过quartz定时任务完成对FTP服务器上文档的下载