爬取freebuf个人收藏所有文章并保存到本地python脚本

admin

小弟代码拙劣，轻喷~

//爬取的是http://www.freebuf.com/user/myfavorites这里freebuf个人中心收藏的文章，如果你收藏的比较多，按需修改第七行代码处的“i = range(11)”。由于windows下文件名不能出现特殊符号，所以如果有特殊符号，则保存的文件名为数字.html。
如果不小心把爬取下载的窗口关了也没事，可重新运行，会判断文件是否存在，只会下载没下载过的。
图片没有分类，全部下载同一个目录里的，全部下载完了，记得把<img src>中的图片路径改成相对路径。

运行如图：

1. #coding = utf-8
   
2. import re,sys
   
3. import requests
   
4. import os
   
5. from bs4 import BeautifulSoup
   
6. import urllib
   
7. i = range(11)
   
8. shuzi = 1
   
9. for a in i:
   
10.         url = "http://www.freebuf.com/user/myfavorites/page/%s" %a
    
11.         headers = {"cookie":"zhelishicookie"}
    
12.         get1 = requests.get(url,headers=headers)
    
13.         regex = "\<a href=\'(.*?)\' title=\'(.*?)\'\>(.*?)\<\/a\>\<\/div\>"
    
14.         key = re.findall(regex,get1.content)
    
15.         try:
    
16.                 for k in key:
    
17.                         print get1.url
    
18.                         print k[0]
    
19.                         get2 = requests.get(k[0])
    
20.                         print get2.url
    
21.                         if os.path.exists(k[1].decode('utf-8') + '.html') ==False:
    
22.                                 print 'meiyou'*50
    
23.                                 bc = open(k[1].decode('utf-8') + '.html','w+')
    
24.                                 bc.write(get2.content)
    
25.                                 neirong2 = get2.content
    
26.                                 soup = BeautifulSoup(neirong2,from_encoding='gbk')
    
27.                                 img = soup.findAll('img')
    
28.                                 print img
    
29.                                 for m in img:
    
30.                                         g = m.get('src')
    
31.                                         print g
    
32.                                         try:
    
33.                                                 
    
34.                                                 imgg = g.split('/')[-1]
    
35.                                                 print imgg        
    
36.                                                 print 'a'*20
    
37.                                                 urllib.urlretrieve(g,imgg)
    
38.                                         except:
    
39.                                                 
    
40.                                                 break
    
41. 
    
42.         except:
    
43.                 for k in key:
    
44.                         print get1.url
    
45.                         print k[0]
    
46.                         get2 = requests.get(k[0])
    
47.                         print get2.url
    
48.                         if os.path.exists(str(shuzi) + '.html') ==False:
    
49.                                 print 'meiyou'*50
    
50.                                 bc = open(str(shuzi) + '.html','w+')
    
51.                                 bc.write(get2.content)
    
52.                                 shuzi+=1
    
53.                                 print shuzi
    
54.                                 neirong2 = get2.content
    
55.                                 soup = BeautifulSoup(neirong2,from_encoding='gbk')
    
56.                                 img = soup.findAll('img')
    
57.                                 print img
    
58.                                 for m in img:
    
59.                                         g = m.get('src')
    
60.                                         print g
    
61.                                         try:
    
62.                                                 
    
63.                                                 imgg = g.split('/')[-1]
    
64.                                                 print imgg        
    
65.                                                 print 'a'*20
    
66.                                                 urllib.urlretrieve(g,imgg)
    
67.                                         except:
    
68.                                        
    
69.                                                 break
    
70. 
    

复制代码

github地址：https://github.com/Jumbo-WJB/spi ... reebuf_favorites.py

973

freebuf个人收藏所有文章