初学者如何用Python写第一个爬虫：从入门到实践

引言

在当今数据驱动的时代，网络爬虫已成为获取和分析互联网数据的强大工具。对于初学者而言，使用Python编写第一个爬虫可能会显得有些复杂，但掌握正确的步骤和工具后，这将是一个既有趣又实用的技能。本指南将详细介绍Python网络爬虫的基础知识、必备工具以及如何构建第一个简单的爬虫程序。

网络爬虫基本概念

什么是网络爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人）是一种按照特定规则自动抓取互联网信息的程序。它模拟浏览器发送网络请求，接收请求响应，从而获取网页内容。简单来说，就是让计算机自动执行我们手动完成的浏览和数据收集工作[0]。
网络爬虫的主要工作流程可以归纳为以下四步：

  1. 根据URL获取HTML数据
  2. 解析HTML
  3. 提取所需数据
  4. 按照一定规则继续获取新的数据[1]

爬虫的基本结构

一个基本的网络爬虫通常包含三个核心模块：

  1. 请求模块：负责发送HTTP请求并获取响应
  2. 解析模块：负责解析HTML内容，提取所需数据
  3. 存储模块：负责将提取的数据存储起来[85]

Python爬虫必备库

Requests库

Requests是Python中最常用的HTTP请求库，它能够简化发送HTTP请求的过程。使用Requests，我们可以轻松地发送GET、POST等类型的请求，处理Cookies，以及处理各种HTTP状态码。
基本使用示例：

import requests
response = requests.get('http://www.example.com')
print(response.status_code)  # 打印响应状态码
print(response.text)         # 打印响应内容

BeautifulSoup库

BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库。它能够帮助我们方便地从网页中提取所需信息，而无需手动解析复杂的HTML结构。
基本使用示例：

from bs4 import BeautifulSoup
html_content = '<html><head><title>示例</title></head><body><p>这是一个段落。</p></body></html>'
soup = BeautifulSoup(html_content, 'html.parser')
print(soup.title.text)  # 提取标题文本
print(soup.find('p').text)  # 提取第一个段落的文本

lxml库

lxml是另一个功能强大的HTML/XML解析器，它比BeautifulSoup更快，特别是在处理大型文档时。lxml支持XPath，这使得我们可以使用类似CSS的选择器来定位HTML元素。
基本使用示例：

from lxml import etree
html_content = '<html><head><title>示例</title></head><body><p>这是一个段落。</p></body></html>'
tree = etree.HTML(html_content)
print(tree.xpath('//title/text()'))  # 使用XPath提取标题文本
print(tree.xpath('//p/text()'))      # 使用XPath提取段落文本

正则表达式

Python的re模块提供了对正则表达式的支持，这在处理文本数据时非常有用。正则表达式可以帮助我们从HTML中提取特定模式的数据。
基本使用示例：

import re
html_content = '<html><body><h1>欢迎来到我的网站</h1></body></html>'
match = re.search(r'<h1>(.*?)</h1>', html_content)
if match:
    print(match.group(1))  # 提取<h1>标签内的文本

第一个Python爬虫

现在，我们来创建一个简单的Python爬虫，它将抓取指定网站的标题和所有链接。

步骤1：发送HTTP请求

我们需要使用Requests库发送HTTP GET请求以获取网页内容。

import requests
url = 'https://www.example.com'
response = requests.get(url)

步骤2：检查响应状态

在获取响应后，我们需要检查响应状态码以确保请求成功。

if response.status_code == 200:
    print("请求成功，状态码：", response.status_code)
else:
    print("请求失败，状态码：", response.status_code)

步骤3：解析HTML内容

接下来，我们使用BeautifulSoup解析HTML内容。

from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')

步骤4：提取所需数据

现在，我们可以提取网页标题和所有链接。

# 提取标题
title = soup.title.string
print("网页标题：", title)
# 提取所有链接
print("网页链接：")
for link in soup.find_all('a'):
    print(link.get('href'))

完整代码

将以上步骤整合成一个完整的Python脚本：

import requests
from bs4 import BeautifulSoup
def simple_crawler(url):
    try:
        response = requests.get(url)
        response.raise_for_status()  # 检查请求是否成功，否则抛出异常
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 提取并打印网页标题
        title = soup.find('title').text
        print(f'网页标题: {title}')
        
        # 提取并打印所有链接
        print('\n网页链接:')
        for link in soup.find_all('a'):
            print(link.get('href'))
            
    except requests.exceptions.RequestException as e:
        print(f'请求错误: {e}')
    except Exception as e:
        print(f'处理过程中出错: {e}')
        
# 要爬取的网站URL
url = "https://www.example.com"
simple_crawler(url)

这个简单的爬虫程序将抓取指定网站的标题和所有链接，并将结果打印到控制台。你可以将url变量替换为你想要爬取的任何网站URL。

处理动态网页

许多现代网站使用JavaScript动态加载内容，这使得传统的爬虫方法无法获取全部内容。对于初学者，这里介绍两种处理动态网页的方法：

方法1：分析真实请求地址

有些动态加载的内容可以通过分析浏览器的网络请求来找到直接获取数据的方式。

import requests
# 这是动态加载内容的真实API请求地址
api_url = 'https://api.example.com/data'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(api_url, headers=headers)
if response.status_code == 200:
    print(response.json())  # 假设API返回JSON格式的数据

方法2：使用Selenium模拟浏览器

Selenium是一个自动化测试工具，可以模拟浏览器行为，包括执行JavaScript。

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
# 设置Chrome选项，使其在后台运行
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式，不打开浏览器窗口
# 指定ChromeDriver的路径
service = Service('path/to/chromedriver')
# 创建webdriver对象
driver = webdriver.Chrome(service=service, options=chrome_options)
# 访问目标网站
driver.get('https://www.example.com')
# 等待页面加载完成
driver.implicitly_wait(10)  # 等待最多10秒
# 获取页面源代码
html_content = driver.page_source
# 关闭浏览器
driver.quit()
# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html_content, 'html.parser')
# 提取并打印网页标题
title = soup.find('title').text
print(f'网页标题: {title}')

网络爬虫的伦理和法律问题

在编写和使用网络爬虫时，我们必须遵守一些基本的伦理和法律原则：

遵守robots.txt规则

大多数网站会在根目录下放置一个robots.txt文件，规定哪些内容可以被爬虫访问。我们应该尊重这些规则。

import requests
from urllib.parse import urljoin
def get_robots_text(url):
    robots_url = urljoin(url, 'robots.txt')
    try:
        response = requests.get(robots_url)
        if response.status_code == 200:
            print("网站的robots.txt文件内容：")
            print(response.text)
        else:
            print(f"无法获取robots.txt文件，状态码：{response.status_code}")
    except requests.exceptions.RequestException as e:
        print(f"请求robots.txt文件时出错：{e}")
# 检查目标网站的robots.txt文件
get_robots_text('https://www.example.com')

控制请求频率

频繁的请求可能会对目标网站造成负担，因此我们应该控制请求频率。

import time
def crawl_with_delay(url, delay=1):
    try:
        response = requests.get(url)
        response.raise_for_status()
        print(f"成功获取 {url}")
        print("响应内容：", response.text[:200])  # 只打印前200个字符
        
        # 等待指定的时间（以秒为单位）
        time.sleep(delay)
        print(f"等待 {delay} 秒后继续...")
        
    except requests.exceptions.RequestException as e:
        print(f"请求 {url} 时出错：{e}")
# 设置请求间隔为2秒
crawl_with_delay('https://www.example.com', delay=2)

尊重隐私和版权

不要爬取包含个人隐私或受版权保护的数据。爬取的数据应该仅用于合法目的。

import requests
from bs4 import BeautifulSoup
def crawl_respectfully(url):
    try:
        # 添加User-Agent，模拟浏览器请求
        headers = {
            'User-Agent': 'MyCrawler/1.0 (+https://yourwebsite.com)'
        }
        
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 只爬取公开可用的数据，避免个人隐私信息
        public_data = soup.find_all('div', class_='public-content')
        for data in public_data:
            print(data.text)
            
    except requests.exceptions.RequestException as e:
        print(f"请求 {url} 时出错：{e}")
    except Exception as e:
        print(f"处理过程中出错：{e}")
# 尊重网站规则和用户隐私地爬取
crawl_respectfully('https://www.example.com')

学习资源推荐

为了帮助初学者系统地学习Python网络爬虫，这里推荐一些优质的学习资源：

视频教程

  1. Python爬虫视频教程全集（62P） - 这是一套完整的视频教程，总时长约6小时，适合从零开始学习Python爬虫的初学者[97]。
  2. 400集免费Python爬虫教程视频 - 这套教程包含51天课程，通过各种经典案例讲解Python爬虫如何抓取数据的全过程，适合希望系统学习的初学者[99]。
  3. Python爬虫入门教程（7节） - 这是一套针对零基础的Python爬虫免费教学课程，每节约45分钟，跟随课程内容可以自己爬取资源[101]。

文档和书籍

  1. Python官方文档 - Python官方文档提供了关于Requests、BeautifulSoup等库的详细使用说明。
  2. 《Python网络数据采集》 - 这是一本专门讲解Python网络爬虫的书籍，适合初学者和中级开发者[33]。
  3. 《Python编程：从入门到实践》 - 这本书适合零基础的初学者，内容涵盖Python基础和高级应用，包括网络爬虫[31]。

实践项目

  1. 爬取维基百科 - 维基百科因其庞大的内容库和相对规范的页面结构，是爬虫初学者的理想选择。在这里，可以学习到如何对网站的DOM结构进行解析，如何利用XPath或CSS选择器提取数据[90]。
  2. 爬取GitHub - GitHub开放性好，API丰富，是练习爬虫的好选择。你可以尝试爬取用户的个人信息、仓库信息等。
  3. 爬取新闻网站 - 选择一个结构简单的新闻网站，如新华网、人民网等，练习如何提取新闻标题、内容、发布时间等信息。

常见问题及解决方法

403 Forbidden错误

问题：爬虫程序返回403 Forbidden错误，这通常表示服务器拒绝了请求。
解决方法：

  1. 检查目标网站的robots.txt文件，确保你尝试爬取的内容是允许的。
  2. 添加User-Agent头，模拟浏览器请求：
    headers = {'User-Agent': 'MyCrawler/1.0'}
response = requests.get(url, headers=headers)
  3. 使用随机User-Agent，避免被网站识别为爬虫：
    import random
user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0',
    # 更多User-Agent...
]
headers = {'User-Agent': random.choice(user_agents)}

动态加载内容

问题：目标网站使用JavaScript动态加载内容，传统爬虫方法无法获取全部内容。
解决方法：

  1. 分析页面的API接口，直接请求API获取数据。
  2. 使用Selenium等工具模拟浏览器行为，执行JavaScript并获取最终的页面内容。

高频率请求限制

问题：爬虫发送过多请求，被目标网站限制或封IP。
解决方法：

  1. 在请求之间添加延时，控制爬取频率：
    import time

# 发送请求
response = requests.get(url)

# 等待2秒
time.sleep(2)
  2. 使用代理IP池，轮流使用不同的IP地址发送请求。

总结

通过本指南，初学者应该已经了解了如何使用Python编写第一个网络爬虫。从基本概念到实际代码，从工具选择到伦理规范，我们全面地介绍了Python网络爬虫的各个方面。
记住，网络爬虫是一项强大的技术，但也需要负责任地使用。在编写和使用爬虫时，请始终遵守相关法律法规和网站的使用条款。
希望这份指南能帮助你迈出Python网络爬虫学习的第一步。随着经验的积累和技能的提升，你可以尝试更复杂的爬虫项目，探索网络数据采集的无限可能。

参考资料

[0] Python爬虫超详细讲解（零基础入门，老年人都看的懂）. https://www.cnblogs.com/booksea/p/17570487.html.
[1] 小白如何入门Python 爬虫？ - 知乎专栏. https://zhuanlan.zhihu.com/p/77560712.
[31] 学习Python爬虫，必不可少的8本书原创 - CSDN博客. https://blog.csdn.net/DEVELOPERAA/article/details/134414021.
[33] python爬虫学习应该从哪本书深入 - PingCode. https://docs.pingcode.com/ask/179877.html.
[85] Python爬虫入门（一）：爬虫基本结构&简单实例 - 知乎专栏. https://zhuanlan.zhihu.com/p/21377121.
[90] 有哪些结构简单的网站适合用来练习Python爬虫 - PingCode. https://docs.pingcode.com/ask/ask-ask/316181.html.
[97] Python 爬虫视频教程全集（62P）| 6 小时从入门到精通. https://www.bilibili.com/video/BV1pt41137qK/.
[99] 如何入门Python 爬虫？400集免费教程视频带你从0到大神全面掌握原创. https://blog.csdn.net/weixin_50897235/article/details/108692946.
[101] 零基础入门Python爬虫不知道怎么学？这是入门的完整教程. https://developer.aliyun.com/article/602485.

# python # 爬虫 # 开发语言
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局