用requests_html代替requests库
requests_html库的reder()方法可以等待js加载

response = requests.get(table_link, headers=headers)

response .html.render()

等待js加载完毕后在使用正则或xpath等方法获取img地址
图片需要向下滑动才可以加载,可以使用response.html.render(scrolldown=页面向下滚动的次数)来加载图片。

 

response = requests.get(table_link, headers=headers)

response.html.render(scrolldown=页面向下滚动的次数)

print(response.text)

 

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐