摘自：https://www.jianshu.com/p/59bb131bc2ab
wget 是在 Linux 下开发的开放源代码的软件，作者是Hrvoje Niksic，后来被移植到包括 Windows 在内的各个平台上。 wget 是一个下载文件的工具，它用在命令行下。对于 Linux 用户是必不可少的工具，尤其对于网络管理员，经常要下载一些软件或从远程服务器恢复备份到本地服务器。
wget 工具体积小但功能完善，它支持断点下载功能，同时支持 FTP 和 HTTP下载方式，支持代理服务器和设置起来方便简单。
它有以下功能和特点：
- （1）支持断点下传功能；这一点，也是网络蚂蚁和FlashGet当年最大的卖点，现在，Wget也可以使用此功能，那些网络不是太好的用户可以放心了；
- （2）同时支持FTP和HTTP下载方式；尽管现在大部分软件可以使用HTTP方式下载，但是，有些时候，仍然需要使用FTP方式下载软件；
- （3）支持代理服务器；对安全强度很高的系统而言，一般不会将自己的系统直接暴露在互联网上，所以，支持代理是下载软件必须有的功能；
- （4）设置方便简单；可能，习惯图形界面的用户已经不是太习惯命令行了，但是，命令行在设置上其实有更多的优点，最少，鼠标可以少点很多次，也不要担心是否错点鼠标；
- （5）程序小，完全免费；程序小可以考虑不计，因为现在的硬盘实在太大了；完全免费就不得不考虑了，即使网络上有很多免费软件，但是，这些软件的广告不是我们喜欢的；
wget 参数
更多参数：man wget
wget -h 或者 wget --help
1 | 命令格式： |
wget 使用示例
wget 虽然功能强大，但是使用起来还是比较简单的，基本的语法是：wget [参数列表] URL
下面就结合具体的例子来说明一下wget的用法。
使用 wget 下载单个文件
1 | 以下的例子是从网络下载一个文件并保存在当前目录 |
下载文件到指定的目录，并指定下载文件的重命名
1 | wget <url> -P <aimPath> -O fileName |
使用 wget -O 下载并以不同的文件名保存
1 | wget默认会以最后一个符合”/”的后面的字符来命令，对于动态链接的下载通常文件名会不正确。 |
使用 wget --limit -rate 限速下载
1 | 当你执行wget的时候，它默认会占用全部可能的宽带下载。但是当你准备下载一个大文件，而你还需要下载其它文件时就有必要限速了。 |
使用 wget -c 断点续传
1 | 当文件特别大或者网络特别慢的时候，往往一个文件还没有下载完，连接就已经被切断，此时就需要断点续传。 |
使用 wget -b 后台下载
1 | 对于下载非常大的文件的时候，我们可以使用参数-b进行后台下载。 |
使用代理服务器(proxy) 和 伪装代理(user-agent)名称下载
如果用户的网络需要经过代理服务器，那么可以让 wget 通过代理服务器进行文件的下载。
此时需要在当前用户的目录下创建一个 .wgetrc 文件。
文件中可以设置代理服务器：
http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080
分别表示http的代理服务器和ftp的代理服务器。
如果代理服务器需要密码，则使用这两个参数：
–proxy-user=USER 设置代理用户
–proxy-passwd=PASS 设置代理密码
使用参数 –proxy=on/off 使用或者关闭代理。
有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过 --user-agent 参数伪装。
1 | wget --user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ |
wget 还有很多有用的功能，需要用户去挖掘。
使用 wget --spider 测试下载链接
1 | 当你打算进行定时下载，你应该在预定时间测试下载链接是否有效。我们可以增加–spider参数进行检查。 |
使用 wget --tries 增加重试次数
1 | 如果网络有问题或下载一个大文件也有可能失败。wget默认重试20次连接下载文件。如果需要，你可以使用–tries增加重试次数。 |
使用 wget -i 下载多个文件 （批量下载）
如果有多个文件需要下载，那么可以生成一个文件，把每个文件的 URL 写一行。
例如，生成文件 download.txt，然后用命令：wget -i download.txt
这样就会把download.txt里面列出的每个URL都下载下来。（如果列的是文件就下载文件，如果列的是网站，那么下载首页）
1 | 首先，保存一份下载链接文件 |
使用 wget --mirror 镜像网站
1 | 下面的例子是下载整个网站到本地。 |
使用 wget --reject 过滤指定格式下载
1 | 可以指定让 wget 只下载一类文件，或者不下载什么文件。 |
使用 wget -o 把下载信息存入日志文件
1 | 你不希望下载信息直接显示在终端而是在一个日志文件，可以使用以下命令： |
使用 wget -Q 限制总下载文件大小
1 | 当你想要下载的文件超过5M而退出下载，你可以使用以下命令: |
使用 wget -r -A 下载指定格式文件
1 | 可以在以下情况使用该功能 |
下载整个 http 或者 wget FTP 下载
1 | wget http://place.your.url/here |
密码和认证
wget 可以处理利用 用户名/密码 方式限制访问的网站，可以利用两个参数：
--http-user=用户 设置 http 用户名为 <用户>
--http-password=密码 设置 http 密码为 <密码>
对于需要证书做认证的网站，就只能利用其他下载工具了，例如 curl
中文文件名在平常的情况下会被编码， 但是在 –cut-dirs 时又是正常的，
1 | wget -r -np -nH –cut-dirs=3 ftp://host/test/ |
测试.txt
wget -r -np -nH -nd ftp://host/test/
%B4%FA%B8%D5.txt
wget “ftp://host/test/*”
%B4%FA%B8%D5.txt
由于不知名的原因，可能是为了避开特殊文件名， wget 会自动将抓取文件名的部分用 encode_string 处理过，
所以该 patch 就把被 encode_string 处理成 “%3A” 这种东西， 用 decode_string 还原成 “:”，并套用在目录与文件名称的部分，
decode_string 是 wget 内建的函式。
1 | wget -t0 -c -nH -x -np -b -m -P /home/sunny/NOD32view/ http://downloads1.kaspersky-labs.com/bases/ -o wget.log |
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 小五的个人杂货铺！
微信- 支付宝
相关推荐
2023-06-16
镜像清理脚本
12345678910111213141516171819202122232425262728293031323334#!/usr/bin/env bash#删除过期镜像，保留最新${retain}个版本(需要确保版本号确实是越新的越大)retain=1cdate=$(date '+%Y-%m-%d_%H:%M:%S')# 镜像中的关键字keyword="docker.io"# 先删除异常停止的docker容器docker rm -f $(docker ps -a | grep Exited | awk '{print $1}')# 先删除名称或标签为none的镜像docker rmi -f $(docker images | grep '<none>' | awk '{print $3}')for service in $(docker images | grep...
2023-06-16
Centos恢复删除的文件
当意识到误删除文件后，切忌千万不要再频繁写入了，否则你的数据恢复的数量将会很少。 而我们要做的是，第一时间把服务器上的服务全部停掉，直接killall 进程名 或者 kill -9 pid 。 然后把误删除文件所在分区，重新挂载成ro，只读的 (mount -o ro /dev/sdb2 /data/)。 然后我们需要去下载和安装一个工具叫做 extundelete 1.安装依赖包# yum install e2fsprogs* -y 2.下载并安装extundelete 1234567wget https://sourceforge.net/projects/extundelete/files/extundelete/0.2.4/extundelete-0.2.4.tar.bz2/download?use_mirror=jaisttar -jxvf extundelete-0.2.4.tar.bz2cd extundelete-0.2.4./configure...
2024-07-15
Linux命令(长期)
常用命令进入个人的主目录1cd ~user1 返回上次所在的目录1cd - 查看目录中的文件1ls -F 显示文件和目录的详细资料1ls -l 显示隐藏文件1ls -a 显示包含数字的文件名和目录名1ls *[0-9]* 递归创建文件夹1mkdir -p /tmp/dir1/dir2 删除一个叫做 'dir1' 的目录'1rmdir dir1 同时删除两个目录及它们的内容1rm -rf dir1 dir2 命名/移动 一个目录1mv dir1 new_dir 复制一个文件1cp file1 file2 复制一个目录下的所有文件到当前工作目录1cp dir/* . 复制一个目录到当前工作目录1cp -a /tmp/dir1 . 复制一个目录1cp -a dir1 dir2 复制一个目录及子目录(递归)1cp -r dir1 dir2 源链接 目标链接 创建一个指向文件或目录的软链接 (不可以相对路径)1ln -s 源链接 目标链接 创建一个指向文件或目录的物理链接1ln file1 lnk1 从...