通过quartz定时任务完成对FTP服务器上文档的下载

ameimeng · 发表于 2015-11-6 11:06:35

一、FTP工具使用apache的FTPClient，jar包下载路径 http://download.iyunv.com/detail/enterys/9203257
　　二、spring quartz定时任务配置
　　


<bean id="downFtp" class="org.springframework.scheduling.quartz.JobDetailBean">
<property name="jobClass" value="com.oec.tsm.ui.sim.ftp.task.FtpTask"></property>
<property name="jobDataAsMap">
<map>
<entry key="timeout" value="0" ></entry>
</map>
</property>
</bean>

<bean id="cronTrigger" class="org.springframework.scheduling.quartz.CronTriggerBean">
<property name="jobDetail" ref="downFtp"></property>
<property name="cronExpression" value="0 * 14 * * ?"></property>
</bean>

<bean class="org.springframework.scheduling.quartz.SchedulerFactoryBean">
<property name="triggers">
<list>
<ref bean="cronTrigger"></ref>
</list>
</property>
</bean>

三、定时任务执行类和实现FTP下载的方法,　　
　　package com.oec.tsm.ui.sim.ftp.task;
import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.FileWriter;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.Date;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.commons.net.ftp.FTPClient;
import org.apache.commons.net.ftp.FTPFile;
import org.quartz.JobExecutionContext;
import org.quartz.JobExecutionException;
import org.springframework.scheduling.quartz.QuartzJobBean;

/**
* 定时在ftp服务器上获取漏扫报告
* @author ys
*
*/
public class FtpTask extends QuartzJobBean {
protected Log log = LogFactory.getLog(getClass());
private static String encoding = System.getProperty("file.encoding");
private int timeout ;
private static int i =0;
private static Properties properties;
private static long lastTime=0;
private static Map<String,String> map = new HashMap<String, String>();
public void setTimeout(int timeout){
this.timeout=timeout;
}
@Override
protected void executeInternal(JobExecutionContext arg0)
throws JobExecutionException {
log.error("开始执行FtpTask定时任务。。。。。。。"+new Date());
isLoad();
//通过配置文件加载FTP服务器的信息
String url = properties.getProperty("url");
String path=properties.getProperty("path");
String username = properties.getProperty("username");
String password = properties.getProperty("password");
int host = Integer.valueOf(properties.getProperty("host"));
//下载路径
String dowbpath = this.getClass().getClassLoader().getResource("").getPath();
dowbpath=dowbpath+"/rsas";
OutputStream out =null;
try {
FTPClient client=new FTPClient();
client.connect(url, host);
client.setControlEncoding(encoding);
boolean login = client.login(username, password);
if(login){
log.error("ftp服务器登录成功："+url);
}else{
log.error("ftp服务器登录失败。。。。。");
}
//获取到所有的待下载文件
client.changeWorkingDirectory(new String(path.getBytes(encoding)));
FTPFile[] listFiles = client.listFiles();
//遍历待下载文件
for (FTPFile ftpFile : listFiles) {
String name = ftpFile.getName();
//判断该文件是否已经下载，如果已经在本地存在，则不下载
if(null==map.get(name)){
client.setFileType(FTPClient.BINARY_FILE_TYPE);
out = new BufferedOutputStream(new FileOutputStream(dowbpath+"/"+name));
boolean retrieveFile = client.retrieveFile(ftpFile.getName(), out);
if(!retrieveFile){
log.error("从FTP服务器下载文件"+name+"失败了。。。。");
}
log.info("从FTP服务器上下载"+name+"文件成功......");
}else{
log.info("FTP服务器上的"+name+"文件已经被下载.故不在重新下载.......");
}
}
client.logout();
} catch (IOException e) {
log.error("FTP服务器连接失败："+e,e);
}finally{
try {
if(null!=out){
out.close();
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
/**
* 判断是否要加载配置文件，避免频繁的加载配置文件，导出配置文件损坏
* 还要加载一次本地已经下载的文件，对从ftp上下载文件进行对比，如果存在则不下载
*/
protected void isLoad(){
File file =new File("../../../../conf/ftp.properties");
if(lastTime!=file.lastModified()){
loadProperties();
}
//获取所有本地已经下载的文件，装在map中，为下载时判断时候存在作为依据
String path = this.getClass().getClassLoader().getResource("").getPath();
path=path+"/rsas";
File bd=new File(path);
File[] listFiles = bd.listFiles();
if(null!=listFiles){
map.clear();//每次加载时都清空
for (File file2 : listFiles) {
map.put(file2.getName(), path);
}
}
}
/**
* 加载配置ftp服务器信息的文件
*/
protected void loadProperties(){
properties=new Properties();
String url="../../../../conf/ftp.properties";
try {
InputStream in =new BufferedInputStream(new FileInputStream(url));
properties.load(in);
} catch (FileNotFoundException e) {
log.error("ftp.properties配置文件未找到："+e,e);
} catch (IOException e) {
log.error("ftp.properties配置文件读取失败："+e,e);
}
}
}

　　
　　在上述FTP下载文档，有太多的时间来解决乱码问题，博主各种搜索且各种尝试，终于让楼主找到了解决办法，

注意：　　在FTP协议里面，规定文件名编码为iso-8859-1，所以目录名或文件名需要转码。接下来的问题是，我们应该将什么编码转换为此格式。因此，就有了第二种解决方案——把 GBK格式的转换为ISO-8859-1格式。而且，有的人还说，必须得这么转。其实，之所以他们能这么说，我觉得完全是巧合。它的真正原理是，既然 FTP协议规定的编码格式是“ISO-8859-1”，那么我们确实得将格式转换一下，然后等服务器收到文件时再自动转换为系统自带的编码格式，因此，关键不是规定为什么格式，而是取决于FTP服务器的编码格式。因此，如果FTP系统的编码格式为“GBK”时，第二种方式肯定会成功；但是，如果系统的编码格式为“UTF-8”时，那就会仍然出现乱码啦。所以，我们只能通过代码先获取系统的编码格式，然后通过此编码格式转换为ISO-8859-1的编码格式。获取方式如下：

private static String encoding = System.getProperty("file.encoding");

以上代码均通过自己测试，望能为大家解决一下问题！

　　

版权声明：本文为博主原创文章，未经博主允许不得转载。

账号		自动登录	找回密码
密码			立即注册

大疆运维招人啦，

C++ :try 语句块和异常处理

C++的多态

Red Hat RHCE 8 (EX294) Cert Guide

Java/C++ 区别：看完这一篇，就够用！

别再用过时库了！这 13 个顶级 C++ 库才是

c++ size_t 和 int 的区别

[经验分享] 通过quartz定时任务完成对FTP服务器上文档的下载

浏览过的版块

扫码加入运维网微信交流群