博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
wget整站抓取、网站抓取功能;下载整个网站;下载网站到本地
阅读量:5320 次
发布时间:2019-06-14

本文共 462 字,大约阅读时间需要 1 分钟。

wget -r   -p -np -k -E  http://www.xxx.com 抓取整站

wget -l 1 -p -np -k       http://www.xxx.com 抓取第一级

 

-r 递归抓取

-k 抓取之后修正链接,适合本地浏览

 

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

 

 

wget -m -e robots=off -k -E "http://www.abc.net/"

可以将全站下载以本地的当前工作目录,生成可访问、完整的镜像。
解释:
-m  //镜像,就是整站抓取
-e robots=off   //忽略robots协议,强制、流氓抓取
-k  //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存

 

https://futurestack.cn/cookbook/devops/wgetsite/

转载于:https://www.cnblogs.com/shengulong/p/8445828.html

你可能感兴趣的文章
ubuntu 18.04取消自动锁屏以及设置键盘快捷锁屏
查看>>
Leetcode 589. N-ary Tree Preorder Traversal
查看>>
机器学习/深度学习/其他开发环境搭建记录
查看>>
xml.exist() 实例演示
查看>>
判断是否为空然后赋值
查看>>
zabbix监控日志文件
查看>>
正则表达式
查看>>
pip install torch on windows, and the 'from torch._C import * ImportError: DLL load failed:' s...
查看>>
java基础(一):我对java的三个环境变量的简单理解和配置
查看>>
arcgis api 4.x for js 结合 Echarts4 实现散点图效果(附源码下载)
查看>>
YTU 2625: B 构造函数和析构函数
查看>>
apache自带压力测试工具ab的使用及解析
查看>>
C#使用Xamarin开发可移植移动应用(2.Xamarin.Forms布局,本篇很长,注意)附源码
查看>>
jenkins搭建
查看>>
C#中使用Split分隔字符串的技巧
查看>>
加固linux
查看>>
IPSP问题
查看>>
10.17动手动脑
查看>>
WPF中Image显示本地图片
查看>>
Windows Phone 7你不知道的8件事
查看>>