分享一个爬虫

admin · 发表于 2013-12-6 19:49:40

基本实现了多线程，深度控制，关键词。
记录方面，没有连数据库，只是做了文本处理。

目前存在问题，大型网站深入后，效率变慢问题。（具体原因可能是爬到一半后，请求的url返回值并不是200，所以导致线程等待一个timeout）
这个问题目前没想好解决方案

游客，如果您要查看本帖隐藏内容请回复

显示全部楼层 · 发表于 2013-12-6 20:41:36

有竞争才有进步嘛

显示全部楼层 · 发表于 2013-12-6 21:07:14

不知该说些什么。。。。。。就是谢谢

显示全部楼层 · 发表于 2013-12-7 16:04:02

干嘛用的啊

显示全部楼层 · 发表于 2013-12-7 19:55:05

支持支持