Python爬虫实战入门五：获取JS动态内容—爬取今日头条

admin

之前我们爬取的网页，多是HTML静态生成的内容，直接从HTML源码中就能找到看到的数据和内容，然而并不是所有的网页都是这样的。
有一些网站的内容由前端的JS动态生成，由于呈现在网页上的内容是由JS生成而来，我们能够在浏览器上看得到，但是在HTML源码中却发现不了。比如今日头条：
浏览器呈现的网页是这样的：

今日头条

查看源码，却是这样的：

HTML源码

网页的新闻在HTML源码中一条都找不到，全是由JS动态生成加载。
遇到这种情况，我们应该如何对网页进行爬取呢？有两种方法：
1、从网页响应中找到JS脚本返回的JSON数据；2、使用Selenium对网页进行模拟访问
在此只对第一种方法作介绍，关于Selenium的使用，后面有专门的一篇。
一、从网页响应中找到JS脚本返回的JSON数据
即使网页内容是由JS动态生成加载的，JS也需要对某个接口进行调用，并根据接口返回的JSON数据再进行加载和渲染。
所以我们可以找到JS调用的数据接口，从数据接口中找到网页中最后呈现的数据。
就以今日头条为例来演示：
1、从找到JS请求的数据接口
F12打开网页调试工具

网页调试工具

选择“网络”选项卡后，发现有很多响应，我们筛选一下，只看XHR响应。
（XHR是Ajax中的概念，表示XMLHTTPrequest）
然后我们发现少了很多链接，随便点开一个看看：
我们选择city，预览中有一串json数据：

我们再点开看看：

原来全都是城市的列表，应该是加载地区新闻之用的。
现在大概了解了怎么找JS请求的接口的吧？但是刚刚我们并没有发现想要的新闻，再找找看：
有一个focus，我们点开看看：

与首页的图片新闻呈现的数据是一样的，那么数据应该就在这里面了。
看看其他的链接：

这应该是热搜关键词

这个就是图片新闻下面的新闻了。
我们打开一个接口链接看看：http://www.toutiao.com/api/pc/focus/

返回一串乱码，但从响应中查看的是正常的编码数据：

有了对应的数据接口，我们就可以仿照之前的方法对数据接口进行请求和获取响应了
2、请求和解析数据接口数据
先上完整代码：

1. # coding:utf-8
   
2. import requests
   
3. import json
   
4. 
   
5. url = 'http://www.toutiao.com/api/pc/focus/'
   
6. wbdata = requests.get(url).text
   
7. 
   
8. data = json.loads(wbdata)
   
9. news = data['data']['pc_feed_focus']
   
10. 
    
11. for n in news:   
    
12.   title = n['title']   
    
13.   img_url = n['image_url']   
    
14.   url = n['media_url']   
    
15.   print(url,title,img_url)

复制代码

返回出来的结果如下：

照例，稍微讲解一下代码：
代码分为四部分，
第一部分：引入相关的库

1. # coding：utf-8
   
2. import requests
   
3. import json

复制代码

第二部分：对数据接口进行http请求

1. url = 'http://www.toutiao.com/api/pc/focus/'
   
2. wbdata = requests.get(url).text

复制代码

第三部分：对HTTP响应的数据JSON化，并索引到新闻数据的位置

1. data = json.loads(wbdata)
   
2. news = data['data']['pc_feed_focus']

复制代码

第四部分：对索引出来的JSON数据进行遍历和提取

1. for n in news:   
   
2.   title = n['title']   
   
3.   img_url = n['image_url']   
   
4.   url = n['media_url']   
   
5.   print(url,title,img_url)

复制代码

如此，就完成了从JS网页中爬取数据。

from:http://www.jianshu.com/p/4fe8bb1ea984

哈士奇丶

看不懂。。。。。。。。学习中