• 问题描述

    爬虫任务中，所需内容在:

    <table class="table_search_">
    <tbody>
        <tr>...</tr>
        <tr>...</tr>
        <tr>...</tr>

    可以定位到table class="table_search_"，但是没有想要的内容。即，无法提取tbody内容。

  • 问题解析

    [爬虫]xpath无法定位tbody标签（已解决）

    tbody 不是必须存在的,Chrome的Elements标签页里一定会存在tbody(如果原生网页没有,chrome会自动添加),selenium返回的是chrome的Elements内容,因此也一定会存在tbody.

    而requests则不同,如果源html中未添加,则返回内容中就没有.

  • 解决方案

    《深入理解爬虫:网页分析||审查元素》

    从上文中“对于network抓包作用的理解”这部分中，可以理解本例问题中table下的内容不是当前网页直接返回的html，所以直接get当前网页，是无法解析出内容的。

    需要通过network抓包分析出所需内容是哪个链接给出的，然后对那个链接进行单独get。

    本例中headers里需要：Referer, User-Agent两项。关于其意义，参见《理解http request headers中Referer||User-Agent||Cookie…的意义》

  • References

  1. scrapy的xpath无法匹配tbody标签
  2. xpath解析网页中tbody问题
# beautifulsoup # chrome
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

树莓派Pico+MicroPython+MQTT+EMQX物联网数据上报实战

在物联网设备数据上报场景中，轻量级通信协议和高效开发语言至关重要。MQTT基于发布/订阅模型，具有QoS分级、心跳保活和遗嘱消息等机制，特别适合网络不稳定的嵌入式环境；MicroPython让开发者用接近Python的语法快速编写固件，降低嵌入式开发门槛；EMQX作为高性能开源Broker，提供可视化Dashboard和规则引擎，简化设备接入与数据处理。JSON凭借良好的可读性和跨语言解析特性，成

avatar 天工造物局

SmartTube 安装与使用：在 Android 电视上无广告播放的完整设置

SmartTube 是一款面向 Android 电视和电视盒的免费开源播放器，主打无广告播放 YouTube 等公开视频内容。它只跑在电视和盒子上，界面按遥控器设计，适合想把客厅大屏变成一台干净播放器的用户。## 先说清楚它是什么SmartTube 是开源免费的 Android TV 播放器，由一位开发者独立维护，没有公司背景。和官方 YouTube 电视版相比，它没有广告位，界面里不插横

avatar 天工造物局

Atmosphere 定制固件上手：从源码构建到上机启动的 5 个关键点

给 Switch 装完一次系统更新后，你可能发现老游戏开始闪退，或者你一直想玩金手指、跑 homebrew，又不想动真机 eMMC 里的存档。Atmosphere（Atmosphère）就是做这件事的 Switch 定制固件：它逐层替换系统组件，让你可以在 SD 卡上运行虚拟系统、注入自定义系统模块、管理金手指。这篇文章带你把它从源码构建成可运行的产物，并解释几个真正影响日常使用的配置。##

avatar 天工造物局