Linux工具集合之aria2-axel-curl-wget用法

rwrr322

================ axel 支持续下载多线程============
Axel，是 Linux 下一款不错的 HTTP 或 FTP 高速下载工具。支持多线程下载、断点续传，且可以从多个地址或者从一个地址的多个连接来下载同一个文件，适合网速不给力时多线程下载以提高下载速度。需要注意的是，该软件只有命令行界面。
1，下载地址：http://yunpan.cn/cjIydRLZcUxVX  访问密码 8ab7
也可以根据自己系统版本去官网下：http://pkgs.repoforge.org/axel/,
        2，安装：
1）yum安装：
#wget -c http://pkgs.repoforge.org/axel/axel-2.4-1.el6.rf.x86_64.rpm
        #rpm  -ivh  axel-2.4-1.el6.rf.x86_64.rpm
        2）源码安装
[iyunv@local local] tar xzf axel-2.4.tar.gz
        [iyunv@local axel-2.4]# ./configure  --script=0
        [iyunv@local axel-2.4]#make
        [iyunv@local axel-2.4]# cp axel /bin/ 复制到bin
        [iyunv@local /]# axel -n 3 -o /root http://192.168.1.1/ CentOS-5.11-i386-bin-DVD-1of2.iso测试下载
3，常用参数：
-n   指定线程数
-o   指定另存为目录
-s   指定每秒的最大比特数
-q   静默模式
        更多参数请#axel --help
=================== Aria2下载工具==================
Aria2是一个命令行下运行、多协议、多来源下载工具（HTTP/HTTPS、FTP、BitTorrent、Metalink），内建 XML-RPC 用户界面.轻量，平均4-9MB内存使用量，BitTorrent下载速度2.8MiB/s时CPU占用约6%。 全面的BitTorrent特性支持，包括 DHT, PEX, Encryption, Magnet URI, Web-Seeding，选择下载，本地资源探测。 Mtalink支持。包括File verification, HTTP/FTP/BitTorrent integration and Configuration for language, location, OS, 之类。
1，下载地址：http://pkgs.repoforge.org/aria2/
        #wget -c http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm
        #rpm -ivh aria2-1.16.4-1.el6.rf.x86_64.rpm
在安装过程有可能会出现缺少 libnettle.so.4 的错误提示。
2，CentOS 6.x 64 位下安装
#wget -c http://pkgs.repoforge.org/nettle/nettle-2.2-1.el6.rf.x86_64.rpm
        #wget -c http://pkgs.repoforge.org/nettle ... 1.el6.rf.x86_64.rpm
        #rpm -ivh nettle-2.2-1.el6.rf.x86_64.rpm
        #rpm -ivh nettle-devel-2.2-1.el6.rf.x86_64.rpm
        3，用法：
        直接
# aria2c http://example.org/mylinux.iso
从两个来源（更多也可以）
# aria2c http://a/f.iso ftp://b/f.iso
        BitTorrent
#aria2c http://example.org/mylinux.torrent
        BitTorrent Magnet URI
#aria2c 'magnet:?xt=urn:btih:248D0A1CD08284299DE78D5C1ED359BB46717D8C'
        Metalink
# aria2c http://example.org/mylinux.metalink
文本文件uri.text中的链接(URI)
# aria2c -i uri.txt
显示种子中包含了哪些文件
# aria2c -S bit.torrent
选择仅下载种子中编号为1，4，7的文件 $ aria2c --select-file 1,4,7 bit.terrent
        aria2还有web ui工具：具体参考https://github.com/ziahamza/webui-aria2
         
====================curl文件传输工具==================
它的参数众多，此处例句几个常用的参数：
        常用参数如下：
-c，--cookie-jar：将cookie写入到文件
-b，--cookie：从文件中读取cookie
-C，--continue-at：断点续传
-d，--data：http post方式传送数据
-D，--dump-header：把header信息写入到文件
-F，--from：模拟http表达提交数据
-s，--slient：减少输出信息
-o，--output：将信息输出到文件
-O，--remote-name：按照服务器上的文件名，存在本地
--l，--head：仅返回头部信息
-u，--user[user:pass]：设置http认证用户和密码
-T，--upload-file：上传文件
-e，--referer：指定引用地址
-x，--proxy：指定代理服务器地址和端口
-w，--write-out：输出指定格式内容
--retry：重试次数
--connect-timeout：指定尝试连接的最大时间/s
案例：
1,抓取指定页面的文件，若乱码可以使用iconv转码
# curl -o  qq.html  www.qq.comcurl
        # curl -s -o  qq.html www.qq.com | iconv -f utf-8
        2，伪装浏览器头（user-agent）
# curl -A  "Mozilla/3.0 (compatible;msie 6.0;windows NT5.0)"  www.qq.com
        3，获取http的相应头header
        # curl   -I www.qq.com
        # curl   -D ./header.txt  www.qq.com 将headers保存到文件中
        更多参数请#curl --help
==================wget文件下载工具====================
常用的参数如下：
1，启动参数：
-V：--version 显示版本号
-h： --help显示帮助
-b：--background启动后转入后台执行
2，日志记录和输入文件参数
-o：--output-file-file把记录写到file文件中
-a：--apped-output=file把记录追加到file文件中
-i：--input-file=file从file读取url来下载
3，下载参数：
-bind-address=address：指定本地使用的地址
-t：-tries=munber设置最大尝试连接次数
-c：-continue接着下载没有 下载完的文件
-O：-output-document=file将下载的文件写入到file中
-spider：不下载文件
-T：-timeout=sec 设置相应超时时间
-w：-wait=sec 两次尝试之间间隔时间
--limit-rate=rate：显示下载速率
-progress=type：设置进度条
4，目录参数：
-P：--directory-prefix=prefix将文件保存到指定目录
5，http参数
--http-user=user 设置用户
--http-passwd=pass设置密码
-U：--user-agnet=agent 伪装代理
-no-http-keep-alive：关闭http活动链接，变成永久链接
--cookie=off 不实用cookie
-load-cookie-file：在开始回话前从file文件加载cookie
-save-cookies=file：在会话结束后将cookie保存到file文件
6，ftp参数
-passive-ftp：默认值，使用被动模式
-active-ftp：使用主动模式
7，递归下载排除参数
-A：--accept=list分号分割被下载扩展的列表
-R：--reject=list 分号分割不被下载扩展的列表
-D：--domains=list 分号分割被下载域的列表
--exclude-domains=list：分号分割不被下载域的列表
        案例：
1）下载单个文件到当前目录，也可以-P指定到下载目录
# wget  http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm
        2）对于网络不稳定的用户可以使用-c和--tries参数，保证下载完成
# wget -c --tries=20  http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm
        3）下载大文件时候，可以让后台下载，这时候会生成wget-log文件保存下载进度
# wget -b http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm
        4）可以利用-spider参数判断网址是否有效
# wget --spider http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm
        5）自动从多个链接下载文件
        首先创建一个url文件：
#more url.txt
        http://pkgs.repoforge.org/nettle/nettle-2.2-1.el6.rf.x86_64.rpm http://pkgs.repoforge.org/nettle ... 1.el6.rf.x86_64.rpm
        #wget -I url.txt
        6）限制下载速度
#wget --limit-rate=1m http://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm
        7）登录ftp下载
#wget --ftp-user=user --ftp-password=pass ftp://pkgs.repoforge.org/aria2/aria2-1.16.4-1.el6.rf.x86_64.rpm