查看: 440|回复: 0

Linux wget命令整站下载做网站镜像

1839 主题	2255 帖子	1万积分

Rank: 9 Rank: 9 Rank: 9

发表于 2016-7-29 15:39:00 | 显示全部楼层 |阅读模式

在linux下完整的用wget命令整站采集网站做镜像
的命令是：

wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"

复制代码

wget命令
参数注释：

"-e robots=off" 让wget耍流氓无视robots.txt协议

-U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" 伪造agent信息

--EOF--