爬虫ajax 爬虫ajax的url参数怎么找到

网络爬虫如何爬取分页的页面数据

一般简单的网页通过get参数进行分页 这种情况就通过构造url来进行分页，有些网站是通过post参数来进行分页，那就用代码post的相应的参数给网站，比较复杂的ajax的分页需要通过抓包来实现。

请问怎么通过python爬虫获取网页中的pdf文件

这部分内容应该是通过Ajax类似的技术获取到的。

有两种方式获得这部分内容:

1. 通过调试的方式获得API借口通过API发起请求获得相关数据。

2. 使用selenium等工具模拟浏览器，从而提取相关信息，具体使用可以参考官方文档。