第6章 Ajax数据爬取

本章我们的目的了解什么是AJAX以及如何去分析和抓取Ajax请求。

6.1 什么是Ajax

6.1.1 实例引入

6.1.2 基本原理

• 发送请求
• 解析内容
• 渲染网页

6.2 Ajax分析方法

6.2.1 查看请求

Elements选项卡可以查看网页源代码，右侧是节点样式。
Network选项卡，刷新页面，出现许多条目，这些事页面加载过程中浏览器和服务器之间发送Request和接收Response的所欲记录。

Ajax有特殊请求类型，叫做xhr, 可发现type为xhr的请求就是Ajax请求。
点击查看请求的详细信息。

• Request Header 中有一个信息为X-Requested-With:XMLHttpRequest 标记了此请求是Ajax请求。
• URL
• Response Header
• Preview

6.2.2 过滤请求

利用Chrome开发者工具筛选功能筛选出所欲的ajax请求。在请求的上方有一层筛选栏，点击XHR这样显示的所有请求就是AJAX请求。

6.2.3 结语

使用python实现Ajax请求模拟

6.3 Ajax结果提取

6.3.1 分析请求

6.3.2 分析响应

6.3.3 实战演练

6.4 分析Ajax爬取今日头条街拍美图

1. 准备工作

2. 抓取分析

3. 实战演练