爬虫爬虫！手把手教你做一个“网络搬运工”

嗨，各位未来的代码魔法师们！今天要跟大家聊一个既“刺激”又“实用”，还能让你在朋友面前装个满分X的话题——Python 网络爬虫。

很多人一听到“爬虫”这两个字，脑海里浮现的可能是那种长满腿、黏糊糊的生物（别怕，咱们不养那个）。在程序员的字典里，爬虫其实就是一种自动化的“搬运工”。想象一下，你想要收集一万条豆瓣的高分电影影评，或者想把淘宝上某款衣服的价格走势全记录下来。如果靠人工一个个复制粘贴，那你不仅得把手搓出火星子，大概率还没干完就已经先去挂眼科了。

这时候，Python 爬虫就闪亮登场了！它就像是你雇佣的一群不知疲倦的小蚂蚁，只要你一声令下，它们就会帮你把互联网上的数据“搬”回来，整整齐齐地码放在你的硬盘里。

第一幕：HTTP，就是寄信的过程

在开始写代码之前，咱们得先搞懂互联网是怎么沟通的。这其实比你谈恋爱还要简单——无非就是“你问我答”。

当你输入一个网址并按下回车时，你的电脑（我们叫它“客户端”）会向那台存放网站的服务器发一封信。这封信有个专业的名字，叫 HTTP 请求。

信里写了啥？

• 我想去哪？（URL）
• 我是谁？（ User-Agent，有时候服务器会查户口，看看你是Chrome浏览器还是Python脚本）

服务器收到信后，如果心情不错（没崩溃），就会给你回一封信，叫 HTTP 响应。

• 状态码： 比如 200 OK，意思是“没问题，老铁，这是你要的东西”；如果是 404，那就是尴尬的“你找错地儿了，这页不存在”。
• 正文： 也就是我们看到的 HTML 代码，那是网页的骨架。

第二幕：工欲善其事，必先利其器

Python 之所以是爬虫界的扛把子，是因为它有两大神器：requests 和 BeautifulSoup。

• requests： 这是你的“快递员”。它负责跑腿，去服务器敲门，把网页背回来。
• BeautifulSoup： 这是你的“拆包专家”。网页背回来是一堆乱七八糟的 HTML 标签（<div>, <span>, <class>…），看着就头大。BeautifulSoup 能帮你把这堆代码变成一棵结构清晰的树，让你一眼就能找到藏在里面的“宝藏”（数据）。

第三幕：实战开始——爬取一个段子（假设的）

来，别光说不练，咱们把手弄脏（敲代码）。

假设我们要去一个（虚构的）段子网站，把首页所有的段子标题都扒下来。

第一步：敲门

import requests

# 目标网址
url = 'http://www.funny-jokes-example.com'

# 伪装一下！别直接告诉服务器我是Python，假装我是Chrome浏览器
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}

# 发送请求
response = requests.get(url, headers=headers)

# 看看服务器怎么说
print(response.status_code) 
# 如果打印 200，恭喜你，快递员成功送到货了！

这里有个小技巧：一定要伪装！ 很多网站很傲娇，看到 python-requests 的字样直接就把你拉黑了。穿上 User-Agent 这件马甲，服务器就会以为你是正经上网的人类。

第二步：拆包找宝藏

拿到 response.text（网页源码）后，我们就要用 BeautifulSoup 来“解剖”它了。

from bs4 import BeautifulSoup

# 把网页丢给汤里煮一下（解析），指定解析器为 'html.parser'
soup = BeautifulSoup(response.text, 'html.parser')

# 假设我们通过观察浏览器开发者工具（F12），发现所有段子标题都在 <h2 class="title"> 标签里
# 我们要用 find_all 把它们全都揪出来
joke_titles = soup.find_all('h2', class_='title')

# 遍历打印
for title in joke_titles:
    print(title.text.strip()) # .text 是拿标签里的文字，.strip() 是去掉多余的空格

看到了吗？就是这么简单！find 是找一个，find_all 是找一堆。就像去超市买菜，你要买“西红柿”，它就把货架上的所有西红柿都框给你。

第四幕：进阶——别把服务器搞崩了

作为有素质的“黑客”，我们在爬数据的时候要讲武德。

如果你用 for 循环一秒钟发了一千个请求，那服务器的防火墙肯定会以为你在发动 DDoS 攻击，然后二话不说就把你的 IP 封了。到时候你只能哭着换热点继续爬。

怎么办？加个“时间缓冲”！

import time

# ...在循环里...
for page in range(1, 10):
    print(f"正在爬取第 {page} 页...")
    # 爬取代码...
    
    # 喘口气！睡 2 秒再继续，做个绅士
    time.sleep(2) 

time.sleep(2) 的意思是：“程序大哥，你太累了，睡 2 秒钟再干活吧。” 这样既保护了对方的机器，也保护了你的 IP。

结语：数据就是石油

兄弟们，现在是大数据时代，数据就是石油，就是财富。掌握了爬虫，你就掌握了从互联网这个巨型金矿里挖金铲子的能力。

当然，爬虫技术博大精深，今天讲的只是最基础的“静态页面爬取”。如果遇到那些由 JavaScript 动态生成的页面（你一翻页网址没变的那种），你可能还得去学学 Selenium 或者 Pyppeteer，那又是另一场“人机大战”的戏码了。

不过别急，饭要一口一口吃。先把你手里的 requests 和 BeautifulSoup 玩熟，你就已经比 90% 的只会喊“666”的人强了。

赶紧打开你的 PyCharm 或 VS Code，开始你的第一次“搬运”之旅吧！祝大家代码无 Bug，爬取不封 IP！

---

《AI编程从开发到变现小白入门》手册
https://drgphlxsfa.feishu.cn/wiki/LK9pwfT7piXZuhkMHE0cokT3nXd

VicroCode，AI编程时代的代码部署交易平台。支持代码快速在线部署与发布，无需复杂配置，一键上线应用。同时搭建代码交易生态，让开发者的优质代码直接转化为收益，助力个人与企业高效实现技术价值，让每一段代码都能创造商业与实用价值。

网址：https://www.vicoco.cn