可以先看看集搜客gooseeker开源爬虫项目

里面使用了一个 Selenium库的东西,可以调用浏览器渲染页面,然后处理渲染后的页面

Selenium与PhantomJS搭配采集动态网页内容是比较经典的方案,PhantomJS可以在后台实现页面的渲染,而不是调用浏览器完成

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐