爬取下载github所有fork的项目

admin

上次发了个帖，名字为爬取freebuf个人收藏所有文章并保存到本地python脚本，地址为https://www.chinabaiker.com/thread-2672-1-1.html

然后90sec 的 @火柴人 坛友说想要下载github fork的代码，说fork太多了
运行如图


那么代码来了

1. #coding = utf-8
   
2. import requests
   
3. import re
   
4. import urllib
   
5. page = range(1,5)
   
6. github_username = raw_input('github_username:')
   
7. for pg in page:
   
8.         url = 'https://github.com/%s?page=%s&tab=repositories' %(github_username,pg)
   
9.         get = requests.get(url)
   
10.         regex = '\<a href="/(.*?)" itemprop\="name codeRepository"\>'
    
11.         key = re.findall(regex,get.content)
    
12.         for k in key:
    
13.                 #print k
    
14.                 url2 = 'https://github.com/'
    
15.                 xiangmu_name = url2 + k
    
16.                 print xiangmu_name
    
17.                 url3 = '/archive/master.zip'
    
18.                 download = xiangmu_name + url3
    
19.                 print download
    
20.                 filename = urllib.urlopen(download)
    
21.                 info = filename.info()
    
22.                 filename_regex = 'Content-Disposition: attachment; filename=(.*)'
    
23.                 filename_down = re.findall(filename_regex,str(info))
    
24.                 #print filename_down
    
25.                 for filename1 in filename_down:
    
26.                         print filename1
    
27.                         filename2 = filename1.strip()
    
28.                         urllib.urlretrieve(download,filename2)

复制代码

github地址https://github.com/Jumbo-WJB/spi ... wn_github_master.py