一、HTTP 请求工具

1. Requests (基础款)
  • 特点：简洁 API，支持同步 / 异步（需配合aiohttp）
  • 适用场景：静态页面爬取

import requests

response = requests.get('https://example.com')

print(response.text)

2. aiohttp (高性能异步)
  • 特点：基于 asyncio 实现异步请求，适合大规模并发
  • 性能：比 Requests 快 3-5 倍

import asyncio

import aiohttp

async def fetch(url):

    async with aiohttp.ClientSession() as session:

        async with session.get(url) as response:

            return await response.text()

asyncio.run(fetch('https://example.com'))

3. PyCurl (极致性能)
  • 特点：基于 libcurl，C 语言内核，适合超高频请求
  • 安装：pip install pycurl

二、HTML 解析工具

1. BeautifulSoup (全能选手)
  • 特点：支持多种解析器（lxml/html.parser），API 友好
  • 适用场景：复杂 HTML 结构解析

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'lxml')

title = soup.find('title').text

2. lxml (性能之王)
  • 特点：基于 libxml2，XPath/CSS 选择器支持
  • 性能：比 BeautifulSoup 快 5-10 倍

from lxml import etree

tree = etree.HTML(html_content)

title = tree.xpath('//title/text()')[0]

3. PyQuery (jQuery 风格)
  • 特点：语法与 jQuery 一致，适合前端转后端开发者

from pyquery import PyQuery as pq

doc = pq(html_content)

title = doc('title').text()

三、动态页面处理

1. Selenium (老牌自动化)
  • 特点：通过浏览器驱动操作页面，支持 JavaScript 渲染
  • 缺点：速度慢，需维护浏览器环境

from selenium import webdriver

driver = webdriver.Chrome()

driver.get('https://example.com')

element = driver.find_element_by_css_selector('h1')

2. Playwright (新秀崛起)
  • 特点：微软出品，支持多浏览器（Chrome/Firefox/Safari）
  • 优势：原生支持无头模式，API 更现代化

from playwright.sync_api import sync_playwright

with sync_playwright() as p:

    browser = p.chromium.launch(headless=True)

    page = browser.new_page()

    page.goto('https://example.com')

    print(page.title())

    browser.close()

3. Scrapy-Splash (Scrapy + 渲染服务)
  • 特点：Scrapy 插件，通过 Splash 服务渲染 JavaScript
  • 部署：需额外运行 Splash Docker 容器

# settings.py

SPLASH_URL = 'http://localhost:8050'

DOWNLOADER_MIDDLEWARES = {

    'scrapy_splash.SplashCookiesMiddleware': 723,

    'scrapy_splash.SplashMiddleware': 725,

}

四、爬虫框架

1. Scrapy (一站式解决方案)
  • 特点：高度集成的爬虫框架，内置调度、去重、管道等组件
  • 适用场景：大规模、结构化数据爬取

import scrapy

class ExampleSpider(scrapy.Spider):

    name = 'example'

    start_urls = ['https://example.com']

    

    def parse(self, response):

        for item in response.css('div.item'):

            yield {

                'title': item.css('h2::text').get(),

                'link': item.css('a::attr(href)').get()

            }

2. Crawlera (云爬虫服务)
  • 特点：Scrapy 官方云服务，内置代理池和反爬处理
  • 优势：无需管理基础设施，专注业务逻辑

五、浏览器自动化扩展

1. selenium-wire (请求拦截)
  • 特点：在 Selenium 基础上增加请求 / 响应拦截功能
  • 用途：修改请求头、监控 API 调用

from seleniumwire import webdriver

driver = webdriver.Chrome()

driver.get('https://example.com')

# 查看所有请求

for request in driver.requests:

    print(request.url, request.response.status_code)

2. MechanicalSoup (表单处理)
  • 特点：简化浏览器表单填写和提交流程

import mechanicalsoup

browser = mechanicalsoup.StatefulBrowser()

browser.open('https://example.com/login')

browser.select_form('form[action="/login"]')

browser['username'] = 'user'

browser['password'] = 'pass'

browser.submit_selected()

六、特殊场景工具

1. Newspaper3k (新闻内容提取)
  • 特点：自动提取文章标题、正文、日期等结构化信息

from newspaper import Article

url = 'https://example.com/article'

article = Article(url)

article.download()

article.parse()

print(article.title, article.text, article.publish_date)

2. ScrapingBee (API 化渲染)
  • 特点：通过 API 获取渲染后的页面，无需维护浏览器

import requests

response = requests.get(

    'https://api.scrapingbee.com/',

    params={

        'api_key': 'YOUR_API_KEY',

        'url': 'https://example.com',

        'render_js': 'true'

    }

)

print(response.text)

3. ProxyPool (代理 IP 管理)

七、选型决策树

  1. 静态页面 & 简单需求→ Requests + BeautifulSoup
  2. 动态页面 & 少量数据→ Playwright/Selenium + lxml
  3. 大规模结构化数据→ Scrapy + Scrapy-Playwright
  4. 高性能并发→ aiohttp + lxml
  5. 新闻媒体网站→ Newspaper3k + Requests
  6. 企业级项目→ Scrapy + Crawlera + ScrapeOps

八、反爬应对策略

  1. 请求头伪装

headers = {

    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...',

    'Referer': 'https://example.com'

}

response = requests.get(url, headers=headers)

  1. 代理 IP 池

proxies = {

    'http': 'http://user:pass@proxy.example.com:8080',

    'https': 'http://user:pass@proxy.example.com:8080'

}

  1. 请求频率控制

import random

import time

time.sleep(random.uniform(1, 3))  # 随机延时1-3秒

  1. 验证码处理
    • OCR 识别：pytesseract库
    • 第三方服务：打码平台 API

九、性能优化建议

  1. 异步化：使用aiohttp/Scrapy替代同步请求
  2. 连接池：复用 HTTP 连接（Session对象）
  3. 并行处理：多进程 / 多线程（concurrent.futures）
  4. 缓存机制：使用 Redis/Memcached 缓存已爬取内容
  5. 数据存储：使用非关系型数据库（MongoDB）提高写入速度

十、合法合规指南

  1. 遵守网站robots.txt规则
  2. 控制爬取频率（每秒不超过 1-2 次请求）
  3. 仅爬取公开数据，不涉及个人隐私
  4. 商业用途需获取网站方授权
  5. 数据使用遵守 CC 协议等知识产权规定

建议先从 Requests + BeautifulSoup 组合入门，掌握基础后根据需求逐步引入更复杂的工具。实际项目中通常需要多种工具协同工作，例如用 Scrapy 调度请求，Playwright 处理动态内容，最后用 pandas 清洗数据。

# python # 爬虫 # 开发语言
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

avatar 天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

avatar 天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能

avatar 天工造物局