从上面可以看到，搜索出来的应用列表信息是在 id="J_SearchDefaultListBox" DOM 树下面。

查看当前网页的源码（使用快捷键 “Ctrl + U”）如下：

在源码中，发现元素 id="J_SearchDefaultListBox" 下面的内容为空，没有任何应用列表信息。

通过上面的分析可知，应用宝应用搜索页面中显示的应用列表是由 JS 动态生成加载的。

遇到这种情况，我们应该如何对网页内容进行爬取呢？一般有两种方法：

（1）从网页响应中找到 JS 脚本返回的数据（大多是 json 格式，也有 xml 格式。）；

（2）使用 Selenium 对网页进行模拟访问。

下面我们将介绍第一种方法。第二种方法可以参考这里。

1.2 从网页响应中找到 JS 脚本返回的数据   既然网页内容是由 JS 动态生成加载的，那么 JS 就需要先对某个接口进行调用，然后根据接口返回的数据再进行加载和渲染。那我们可以先找到 JS 调用的数据接口，从数据接口中找到网页中最后呈现的数据。   下面我们就以应用宝的搜索应用页面为例，进行说明。

1.2.1 找到 JS 请求的数据接口

---

按照如下步骤进行操作：

将看到如下信息：

• 打开应用宝的搜索页面（https://android.myapp.com/myapp/search.htm）

• 按 F12 打开网页调试工具

• 选择 “Network” 选项卡

• 选择 “XHR”（即 XMLHTTPRequest，是 Ajax（Asynchronous JavaScript and XML，异步的 JavaScript 和 XML） 中的概念。 ）

• 输入应用名（例如：微信）

在这里，我们看到只有一个 request（其他网页可能会存在多个）。点击这个 request，然后选择 “Preview”，可以看到如下数据：

在上面的数据中，我们发现了“微信”、“多开助手”等信息，这些就是搜索出来的应用列表信息。

通过上面的分析，可以知道搜索出来的应用列表信息正是通过这个 request 获取的。这个 request 对应 URL 为 https://android.myapp.com/myapp/searchAjax.htm?kw=%E5%BE%AE%E4%BF%A1&pns=&sid=（获取方法：将鼠标移动到这个 request 上 -> 然后右键单击 -> Copy -> Copy link address）。

将上面的 URL 在浏览器中打开，会返回一串数据。看起来似乎很乱，但实际上是 JSON 格式的数据。

这样，我们就找到了 JS 请求的数据接口。

1.2.2 URL 编码   上面我们找到的 JS 请求的数据接口是 https://android.myapp.com/myapp/searchAjax.htm?kw=%E5%BE%AE%E4%BF%A1&pns=&sid=，但是其中的 %E5%BE%AE%E4%BF%A1 代表什么意思呢？

实际上 %E5%BE%AE%E4%BF%A1 是中文 微信 的 URL 编码。在 Python 中，可以使用 urllib.parse.quote() 得到，即 '%E5%BE%AE%E4%BF%A1' = urllib.parse.quote('微信')。

按照标准，URL 中只允许包含英文字母、数字以及部分符号，其他字符（比如中文）是不符合 URL 标准的。这个时候就需要进行 URL 编码。

1.2.3 代码实现

---

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！