小弟想利用爬虫抓取东方财富网股吧的数据。股吧网页链接.
在获取'下一页'的链接时发现通过requests.get方法获得的源码中，部分能够在浏览器里显示的代码无法获得。
请问各位有什么好的解决方法。
通过浏览器能看到的网页源码如下:
2
503
使用requests.get或者直接下载网页源代码只能看到：
共有帖子数 49787752 篇
可以发现，
Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号
收藏
因为内容是用JS动态加载的。这种情况只能去找JS调用的API，然后直接去抓API。当然也可以用
PhantomJS之类的工具。js动态加载的内容,这两份资料对你有帮助。
https://www.zhihu.com/questio...
https://zhuanlan.zhihu.com/p/...