Python爬虫入门教程14：有声书音频爬取

Python爬虫入门教程15：音乐网站数据的爬取

Python爬虫入门教程17：音乐歌曲的爬取

Python爬虫入门教程18：好看视频的爬取

Python爬取入门教程19：YY短视频的爬取

Python爬虫入门教程20：IP代理的爬取使用

Python爬虫入门教程21：付费文档的爬取

Python爬虫入门教程22：百度翻译JS解密

Python爬虫入门教程23：A站视频的爬取，解密m3u8视频格式

PS：如有需要 Python学习资料 以及 解答 的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本开发环境💨

  • Python 3.6

  • Pycharm

相关模块的使用💨

import requests

import parsel

import re

import os

import pdfkit

安装Python并添加到环境变量，pip安装需要的相关模块即可。

需要使用到一个软件 wkhtmltopdf 这个软件的作用就是把html文件转成PDF

（软件可以点击上方链接在学习交流群中即可获取）

想要把文档内容保存成PDF， 首先保存成html文件， 然后把html文件转PDF

💥需求数据来源分析

写爬虫程序，对于数据来源的分析，是比较重要的，因为只有当你知道数据的来源你才能通过代码去实现

在这里插入图片描述

网站分类有比较多种， 也可以选择自己要爬取的。

这个网站如果你只是正常直接去复制文章内容的话，会直接弹出需要费的窗口…

在这里插入图片描述

但是这个网站上面的数据内容又非常好找， 因为网站本身仅仅只是静态网页数据，可以直接获取相关的内容。

在这里插入图片描述

通过上述内容，如果想要批量下载文章内容， 获取每篇文章的url地址即可， 想要获取每篇文章的url地址，这就需要去文章的列表页面找寻相关的数据内容了。

在这里插入图片描述

💥整体思路

  1. 发送请求，对于文章列表url地址发送请求

  2. 获取数据，获取网页源代码数据内容

  3. 解析数据，提取文章url地址

  4. 发送请求，对于文章url地址发送请求

  5. 获取数据，获取网页源代码数据内容

  6. 解析数据，提取文章标题以及文章内容

  7. 保存数据，把获取的数据内容保存成PDF

  8. 转成PDF文件

💥代码实现

import requests

import parsel

import re

import os

import pdfkit

html_filename = ‘html\’

if not os.path.exists(html_filename):

os.mkdir(html_filename)

pdf_filename = ‘pdf\’

if not os.path.exists(pdf_filename):

os.mkdir(pdf_filename)

html_str = “”"

<!doctype html>

Document

{article}

“”"

def change_title(name):

pattern = re.compile(r"[/\😗?“<>|]”) # ‘/ \ : * ? " < > |’

new_title = re.sub(pattern, “_”, name) # 替换为下划线

在这里插入图片描述

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

# python # 爬虫
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

树莓派Pico+MicroPython+MQTT+EMQX物联网数据上报实战

在物联网设备数据上报场景中，轻量级通信协议和高效开发语言至关重要。MQTT基于发布/订阅模型，具有QoS分级、心跳保活和遗嘱消息等机制，特别适合网络不稳定的嵌入式环境；MicroPython让开发者用接近Python的语法快速编写固件，降低嵌入式开发门槛；EMQX作为高性能开源Broker，提供可视化Dashboard和规则引擎，简化设备接入与数据处理。JSON凭借良好的可读性和跨语言解析特性，成

avatar 天工造物局

SmartTube 安装与使用：在 Android 电视上无广告播放的完整设置

SmartTube 是一款面向 Android 电视和电视盒的免费开源播放器，主打无广告播放 YouTube 等公开视频内容。它只跑在电视和盒子上，界面按遥控器设计，适合想把客厅大屏变成一台干净播放器的用户。## 先说清楚它是什么SmartTube 是开源免费的 Android TV 播放器，由一位开发者独立维护，没有公司背景。和官方 YouTube 电视版相比，它没有广告位，界面里不插横

avatar 天工造物局

Atmosphere 定制固件上手：从源码构建到上机启动的 5 个关键点

给 Switch 装完一次系统更新后，你可能发现老游戏开始闪退，或者你一直想玩金手指、跑 homebrew，又不想动真机 eMMC 里的存档。Atmosphere（Atmosphère）就是做这件事的 Switch 定制固件：它逐层替换系统组件，让你可以在 SD 卡上运行虚拟系统、注入自定义系统模块、管理金手指。这篇文章带你把它从源码构建成可运行的产物，并解释几个真正影响日常使用的配置。##

avatar 天工造物局