设为首页 收藏本站
查看: 2098|回复: 0

[经验分享] windows 下 forfiles 与rsync 同步指定文件夹下的文件

[复制链接]

尚未签到

发表于 2018-6-23 13:21:38 | 显示全部楼层 |阅读模式
  场景:windowds服务器,某一个目录下文件数有数万个。
  采用rsync 同步的时候 可以看出rsync 服务端卡在build filelist阶段 客户端 卡在receiving incremental file list 阶段。
  考虑到一个目录下文件太多,rsync在处理文件列表的时候可能会很慢,逐结合windows下的forfiles使用
  比如该文件夹路径为:
  e:\webroot\upload.xxx.com\upload\upload12\2014\
  DST的地址为 192.168.0.2::web_bak/webroot/upload.xxx.com/upload/upload12/2014/
  SRC为 /upload.ccc.com/upload/upload12/2014/
  则 同步命令可为
  forfiles /p e:\webroot\upload.xxx.com\upload\upload12\2014\ /c "cmd /c rsync -ztopg /upload.ccc.com/upload/upload12/2014/@file  192.168.0.2::web_bak/webroot/upload.xxx.com/upload/upload12/2014/@file"
  其中@file 是forfiles返回的变量 文件名
  其他forfiles 的变量还有 @path 文件的全路径  @fname 无扩展的文件名 @ext 文件的扩展名 @relpath  文件的相对路径 @fsize 文件的大小 @fdate 文件的上一次修改日期 @ftime 文件的修改时间
  ————————————————————————————————————————————
  事实证明用forlfiles 和rsync来配置实际是forfiles遍历目录,每个文件执行一次rsync 将会导致重复的rsync连接 断开,一个目录下数十万个文件下 速度更慢,是不可行的,唯一解决了的是 以前卡在filelist的阶段,并且卡到数小时不见开始传输(估计与文件系统和单目录下文件过多导致列不出文件有关) 而用forfiles可以马上开始传输,但是没有提高效率

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-529636-1-1.html 上篇帖子: CentOS-6.3挂载windows共享文件 下篇帖子: 企业内维护windows使用Ghost-muahao
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表