搜索
查看: 987|回复: 0

Linux wget命令整站下载做网站镜像

[复制链接]

1839

主题

2255

帖子

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
11913
发表于 2016-7-29 15:39:00 | 显示全部楼层 |阅读模式
在linux下完整的用wget命令整站采集网站做镜像
的命令是:
  1. wget -m -e robots=off -U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6" "http://www.example.com/"
复制代码
wget命令
参数注释:
"-e robots=off"  让wget耍流氓无视robots.txt协议

-U "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6"  伪造agent信息
--EOF--

过段时间可能会取消签到功能了
您需要登录后才可以回帖 登录 | Join BUC

本版积分规则

Powered by Discuz!

© 2012-2015 Baiker Union of China.

快速回复 返回顶部 返回列表