扫码关注官方订阅号
如何爬取动态数据,就是ajax请求的数据比如说在代码中
开课课程信息 This page uses frames, but your browser doesn't support them.
This page uses frames, but your browser doesn't support them.
从代码中可以看出来源的数据是框架的akechengdw.asp,但是如何爬取这样的数据
光阴似箭催人老,日月如移越少年。
如果是ajax请求的数据的话,一般有两种思路。
1.是模拟浏览器去访问。具体的可以Google模拟浏览器 爬虫这个关键字,具体还是得自己实践。
2.去找相关的接口,去爬接口,注意一些请求头就可以了。
F12看ajax请求,注意伪装一下就行,比如user agent、referrer之类的。如果需要登录权限,那么加上识别用户的cookie就行,可以一个一个试试。如果有csrf防御机制,那就找出埋点的csrf token附带过去就行。
两种思路,补充楼上的
模拟浏览器,一般可以用一些 headless broswer,Node 的话有一些包可以,比如 https://github.com/amir20/pha...
你至少贴个url吧, 建议你先去百度一下 “提问的艺术”,别说了这么多, 都是口水话,提问题就要让别人看得懂。
phantomjs
微信扫码关注PHP中文网服务号
QQ扫码加入技术交流群
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
PHP学习
技术支持
返回顶部
如果是ajax请求的数据的话,一般有两种思路。
1.是模拟浏览器去访问。具体的可以Google模拟浏览器 爬虫这个关键字,具体还是得自己实践。
2.去找相关的接口,去爬接口,注意一些请求头就可以了。
F12看ajax请求,注意伪装一下就行,比如user agent、referrer之类的。
如果需要登录权限,那么加上识别用户的cookie就行,可以一个一个试试。
如果有csrf防御机制,那就找出埋点的csrf token附带过去就行。
两种思路,补充楼上的
模拟浏览器,一般可以用一些 headless broswer,Node 的话有一些包可以,比如 https://github.com/amir20/pha...
你至少贴个url吧, 建议你先去百度一下 “提问的艺术”,别说了这么多, 都是口水话,提问题就要让别人看得懂。
phantomjs