本文还有配套的精品资源，点击获取 menu-r.4af5f7ec.gif

简介：该课程由清华知名讲师尹成主讲，旨在深入教授Python爬虫技术，包括基础语法、网络请求处理、数据解析、反爬策略以及数据存储等。课程采用理论与实践相结合的方式，使学员在学习中掌握自动化网络数据抓取的实战技巧。通过小项目实战，学员将能够巩固所学知识，并提升自身的实际操作能力。
Python爬虫

1. Python基础语法介绍与实战

Python语言以其简洁易读、开发效率高而著称，是IT行业广泛应用的编程语言之一。本章首先将向读者介绍Python的基础语法，包括变量声明、数据类型、控制结构等。在此基础上，我们将通过实际的例子来展示如何将这些基础知识应用于解决实际问题。

1.1 Python的基本数据类型

Python中的基本数据类型包括整数、浮点数、字符串、布尔值等。理解这些数据类型及其操作是编写任何Python程序的基础。 

# 示例：数据类型声明与基本操作
num_int = 10          # 整数
num_float = 3.14      # 浮点数
str_text = "Hello, Python!" # 字符串
bool_value = True     # 布尔值

1.2 控制结构与函数

控制结构如条件语句和循环语句，使得程序能够根据条件执行不同的代码块或重复执行某段代码。函数则是组织代码、实现代码复用的有效方式。 

# 示例：条件语句和函数定义
def max_value(a, b):
    if a > b:
        return a
    else:
        return b

max_num = max_value(5, 10) # 调用函数
print(f"The maximum number is: {max_num}")

1.3 实战案例：爬虫基础

我们将通过一个简单的爬虫示例来应用我们学到的基础知识。这个爬虫会从一个网页中抓取并打印出所有链接。 

import requests
from bs4 import BeautifulSoup

# 示例：简单的网页爬虫
url = 'http://example.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')

for link in soup.find_all('a'):
    print(link.get('href'))

以上代码展示了Python在处理网络请求、HTML解析和数据提取方面的能力，为后续章节中的深入探讨奠定基础。在后续的章节中，我们将学习更多关于Python在数据处理、网络编程、数据分析等方面的高级应用。

2. 网络请求库requests使用详解

2.1 requests库的基本使用

2.1.1 发起HTTP请求的基本方法

当开发者处理网络请求时，Python 的 requests 库是一个简单而强大的工具，它能够使你轻松地发起 HTTP 请求。 requests 库支持多种类型的请求方法，包括 GET、POST、PUT、DELETE 等，适用于多种 Web 服务交互场景。例如，使用 GET 方法获取网络资源是最常见的操作： 

import requests

# 使用 GET 方法请求一个网页的内容
response = requests.get('https://www.example.com')

# 输出响应的内容
print(response.text)

在此代码块中， requests.get() 方法发起了一个 GET 请求到指定的 URL。服务器的响应被封装在一个 Response 对象中，你可以通过 response.text 获取到 HTML 页面的文本内容。

2.1.2 请求与响应对象的处理

requests 库能够将服务器的响应封装成一个易于操作的对象。响应对象包含了一系列关于响应的元数据，比如状态码、头信息以及返回内容。 

# 检查响应的状态码
if response.status_code == 200:
    print('请求成功')
else:
    print('请求失败，状态码:', response.status_code)

# 输出响应头信息
print(response.headers)

# 使用 JSON 方法直接获取响应内容为 JSON 格式的数据
json_data = response.json()
print(json_data)

在上面的代码块中， response.status_code 属性返回响应的状态码。 response.headers 是一个 Python 字典，包含了所有响应头信息。如果响应的内容类型是 JSON， response.json() 方法能够直接解析 JSON 响应内容。

2.2 高级特性与定制化

2.2.1 会话保持与 Cookie 处理

在进行多次请求同一个域时，可以使用 requests.Session() 对象来保持会话状态，从而可以存储跨请求的参数，比如 Cookies。 

session = requests.Session()

# 第一次请求会话
session.get('https://www.example.com/login')

# 会话中发出的后续请求会自动携带 Cookies
response = session.get('https://www.example.com/profile')

print(response.cookies)

这个会话对象 session 会在请求时自动处理 Cookies，使得登录状态得以保持，对于需要登录认证的请求非常有用。

2.2.2 异常处理与超时设置

处理网络请求时，网络问题、服务端错误等都可能导致请求失败。 requests 库提供了异常处理机制来应对这些情况。 

try:
    # 设置超时时间为 5 秒
    response = requests.get('https://www.example.com', timeout=5)
except requests.exceptions.Timeout:
    print('请求超时')
except requests.exceptions.RequestException as e:
    print('请求失败:', e)

在上面的代码中， requests.exceptions.Timeout 异常被用来处理超时情况，而 requests.exceptions.RequestException 是所有请求相关异常的基类，任何请求中可能出现的问题都会被它捕获。

2.2.3 认证机制的应用

对于需要认证的资源， requests 库也提供了便捷的方式来添加认证信息。例如，HTTP 基本认证： 

from requests.auth import HTTPBasicAuth

response = requests.get('https://www.example.com/protected', auth=HTTPBasicAuth('username', 'password'))

print(response.status_code)

在这个例子中， HTTPBasicAuth 对象被用来提供 HTTP 基本认证所需的用户名和密码。服务器会根据提供的认证信息来授权请求。

2.3 请求的参数化与安全性

2.3.1 构造安全的查询参数

安全的网络请求不仅需要处理服务器的响应，还需要正确地构造请求，包括安全地处理查询参数。例如，对敏感信息进行编码： 

import requests
from urllib.parse import quote

params = {'key': 'value', 'search': 'Python & security'}

# 对参数进行编码，防止 URL 注入攻击
encoded_params = {k: quote(v) for k, v in params.items()}

response = requests.get('https://www.example.com/search', params=encoded_params)

print(response.text)

这里使用了 urllib.parse.quote 来对查询参数进行编码，防止潜在的 URL 注入攻击，确保了网络请求的安全性。

2.3.2 防止爬虫被检测的技巧

在进行网络爬虫工作时，网站可能会通过各种方式检测爬虫并阻止访问。因此，了解如何定制请求以模拟正常用户行为变得至关重要。 

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}

response = requests.get('https://www.example.com', headers=headers)

print(response.text)

在这段代码中，通过设置 User-Agent 头来模拟浏览器发起请求，这能够减少被网站检测为爬虫的几率。

注意： 尽管伪装成浏览器以减少被检测的风险是一个常见的做法，但应始终遵守网站的 robots.txt 文件以及相关的法律法规和网站使用协议，以合法合规的方式进行网络爬虫的开发和使用。

通过本章节的介绍，我们了解了如何使用 requests 库来发起网络请求，并通过示例代码学习了如何进行会话保持、异常处理、认证以及构造安全的请求。掌握这些技能对于任何需要进行网络交互的 Python 程序员来说都是基本且重要的。

3. HTML/XML文档解析库如BeautifulSoup或lxml

3.1 BeautifulSoup库的使用

3.1.1 解析HTML/XML文档的结构

在面对一个复杂的HTML或XML文档时，解析其结构是提取所需数据的关键步骤。BeautifulSoup库是Python中一个非常流行的库，用于解析HTML和XML文档。它提供了多种方法来遍历、搜索和修改解析树，使得处理和解析文档变得简单直观。

首先，我们通过安装 beautifulsoup4 包来使用BeautifulSoup库。在Python环境中，通常使用pip来安装： 

pip install beautifulsoup4

接下来，让我们看一个简单的例子，用BeautifulSoup来解析一个HTML文档： 

from bs4 import BeautifulSoup

# 示例HTML文档内容
html_doc = """
<html>
<head>
<title>Example Page</title>
</head>
<body>
<div class="container">
    <div id="main">
        <h1 class="title">My Header</h1>
        <p class="content">Hello, world!</p>
    </div>
</div>
</body>
</html>

# 创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser')

# 提取所有标题
titles = soup.find_all('h1')
print([title.text for title in titles])  # 输出: ['My Header']

上面的代码创建了一个BeautifulSoup对象，并使用 find_all 方法查找所有的 <h1> 标签。 find_all 方法返回一个列表，其中包含了所有匹配的元素。

BeautifulSoup还允许我们以类似于遍历DOM树的方式查找元素： 

# 遍历解析树
for h1 in soup.find_all('h1'):
    print(h1.text)  # 输出每个<h1>标签的文本内容

3.1.2 选择器的使用与数据提取

BeautifulSoup库支持多种选择器，包括CSS选择器和基于标签名、属性的简单选择器。这使得从文档中提取特定数据变得非常容易。以下是几种常用的选择器方法：

  • find() ：返回文档中第一个匹配的元素。
  • find_all() ：返回文档中所有匹配的元素组成的列表。
  • select() ：使用CSS选择器返回所有匹配的元素。
  • select_one() ：使用CSS选择器返回第一个匹配的元素。

例如，如果我们想提取具有特定id的元素的内容： 

# 使用find方法提取id为"main"的元素
main_div = soup.find(id="main")
print(main_div.text)  # 输出该div标签内的全部内容

使用CSS选择器提取特定类的元素： 

# 使用select方法提取所有class为"title"的<h1>标签
titles = soup.select('h1.title')
print([title.text for title in titles])  # 输出所有符合条件的标题文本

BeautifulSoup还允许我们通过标签属性进行选择： 

# 通过属性选择包含特定属性的元素
divs_with_data = soup.find_all('div', {'data-attribute': 'some-value'})
print(len(divs_with_data))  # 输出具有该属性的div标签数量

通过结合使用这些方法，我们可以非常灵活地从HTML/XML文档中提取所需数据。

表格：BeautifulSoup选择器及其用途
选择器 用途
find() 返回第一个匹配的元素
find_all() 返回所有匹配的元素列表
select() 使用CSS选择器返回所有匹配的元素列表
select_one() 使用CSS选择器返回第一个匹配的元素
findChildren() 返回当前元素下所有子元素
findParents() 返回当前元素的所有父元素

BeautifulSoup的选择器功能非常强大，通过灵活运用这些选择器，可以应对绝大多数HTML/XML文档解析的场景。接下来，我们将深入探讨另一个流行的HTML/XML解析库：lxml。

4. 反爬策略与应对方法

4.1 常见的反爬虫技术

在本章节中，我们将深入探讨网络爬虫在进行数据抓取时经常会遇到的一些反爬虫策略，这些策略是网站为了防止被自动化程序访问而采取的一系列技术手段。

4.1.1 用户代理识别与阻断

许多网站会检查访问者的用户代理（User-Agent）字符串，以此来辨识访问者是否为普通的浏览器用户。如果检测到非标准浏览器的用户代理，网站可能会直接拒绝服务。例如，一个典型的HTTP请求头可能包含如下用户代理信息： 

User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36

一个简单的Python脚本可以检查当前使用的用户代理字符串： 

import requests

headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:89.0) Gecko/20100101 Firefox/89.0'}
response = requests.get('http://example.com', headers=headers)

print(response.request.headers['User-Agent'])

如果网站检测到非正常浏览器的User-Agent，可能会返回错误信息或重定向到登录页面。为了应对这种情况，可以使用一些成熟的库，如 fake-useragent ，来模拟真实的用户代理字符串。

4.1.2 动态令牌和验证码机制

动态令牌和验证码机制是阻止自动化访问的另一手段。网站通过在客户端和服务器端验证动态令牌（Dynamic Token），或者通过验证码要求用户进行识别输入，来阻止自动化的爬虫程序。

应对策略包括：

  • 使用图像识别库，例如 tesseract ，对简单的验证码进行破解。
  • 对于复杂的验证码，可以使用第三方服务或人工介入方式来绕过。

4.2 应对反爬策略的技巧

为了有效地绕过反爬策略，爬虫开发者可以采用一些高级技巧，如模拟浏览器行为或部署分布式爬虫。

4.2.1 模拟浏览器行为

模拟浏览器行为意味着让爬虫模拟正常用户的行为，包括但不限于：

  • 在HTTP请求中添加各种浏览器特有的头信息，如 Referer , Accept-Language , Accept-Encoding 等。
  • 处理Cookies，模拟用户的登录状态。
  • 执行JavaScript代码，处理可能由JavaScript动态生成的内容。

代码示例展示如何使用 requests 库模拟浏览器的某些行为： 

from selenium import webdriver

# 创建一个无头模式的Chrome浏览器实例
browser = webdriver.Chrome(options=webdriver.ChromeOptions(), executable_path='/path/to/chromedriver')

# 设置浏览器的用户代理
browser.execute_cdp_cmd("Network.setUserAgentOverride", {"userAgent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"})

# 访问目标网站
browser.get("http://example.com")

# 提取页面内容
content = browser.page_source

# 关闭浏览器
browser.quit()

# 输出页面源代码
print(content)

4.2.2 分布式爬虫的部署

分布式爬虫使用多个工作节点来分散请求，从而减轻单个IP地址的压力。这种部署方式可以有效地应对IP封禁和请求频率限制的反爬策略。

分布式爬虫的实现可以通过多种方式，例如：

  • 使用消息队列，如 RabbitMQ 或 Kafka ，来管理任务队列和工作节点。
  • 使用 Scrapy 框架，它支持内置的分布式爬取功能。

这里，我们将展示一个使用 Scrapy 的分布式爬虫的简单部署方案。 

# 在主节点上执行
scrapy crawl my_spider -a 'url=http://example.com' -s LOG_FILE='my_spider.log' -s JOBDIR='jobs'

# 在多个工作节点上执行
scrapy crawl my_spider -a 'url=http://example.com' -s LOG_FILE='my_spider.log' -s JOBDIR='jobs' -s LATENCY=0.1

4.3 法律法规与伦理问题

在进行网络爬虫开发和数据抓取过程中，法律和伦理问题是不可忽视的一部分。本节将讨论爬虫活动的合法性和道德边界，以及数据使用的权利与责任。

4.3.1 爬虫的合法性与道德边界

在一些国家和地区，网站内容的爬取可能受到法律法规的限制。开发者在进行爬虫活动时，必须确保他们的行为遵守当地的相关法律，包括但不限于：

  • 《计算机欺诈和滥用法》（CFAA）: 在美国，CFAA禁止未授权访问计算机系统。
  • 欧盟的通用数据保护条例（GDPR）: 需要网站访问者同意对个人数据的处理。

道德边界方面，即使法律允许，开发者也应该考虑到对目标网站的影响，避免对其服务造成不必要的负担。

4.3.2 数据使用的权利与责任

获得数据后，开发者必须谨慎处理数据，并遵守数据使用许可和隐私保护规定。例如，当从公共API获取数据时，API的使用条款中可能包括对数据的使用限制。

开发者应当：

  • 只收集必需的数据，避免过度抓取。
  • 明确数据的来源，尊重数据原始所有者的权益。
  • 确保数据的安全性，采取适当措施防止数据泄露。

4.3.3 数据分析与可视化

对收集的数据进行分析和可视化可以帮助我们更好地理解数据，并为决策提供支持。使用Python的 matplotlib 和 seaborn 库可以创建各种图表。 

import matplotlib.pyplot as plt
import seaborn as sns

# 示例数据
data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# 使用matplotlib绘制直方图
plt.hist(data, bins=5)
plt.title('Histogram')
plt.xlabel('Data')
plt.ylabel('Frequency')
plt.show()

# 使用seaborn绘制箱形图
sns.boxplot(data)
plt.title('Boxplot')
plt.show()

4.3.4 总结

在本章中，我们详细讨论了网络爬虫遇到的常见反爬虫策略和应对方法。我们也强调了在进行数据爬取时需要考虑的法律法规和伦理问题，以及数据分析与可视化的重要性。理解并遵守这些原则，不仅能够帮助我们更好地进行开发工作，也能够确保我们的行为符合行业标准和道德规范。

5. 数据存储与分析：pandas库的应用

5.1 pandas库简介与数据结构

在数据分析的世界里，pandas库是一个强大的工具，它允许你处理结构化数据，无论是在学术研究还是商业应用中，都可以提高效率。pandas库的数据结构主要分为两大类： Series 和 DataFrame 。

5.1.1 pandas的数据结构：Series和DataFrame

  • Series 是一维的数据结构，它可以存储任何数据类型，支持整数、浮点数、字符串等多种数据，并且具有标签索引。
  • DataFrame 是二维的数据结构，可以看作是一个表格，由行和列组成，非常适合处理类似于电子表格或数据库的数据。

下面是一个简单的例子，展示了如何创建这两种结构： 

import pandas as pd

# 创建一个Series
s = pd.Series([1, 2, 3, 4])

# 创建一个DataFrame
df = pd.DataFrame({
    'A': ['foo', 'bar', 'baz', 'qux'],
    'B': [1, 2, 3, 4]
})

print(s)
print(df)

5.1.2 数据的选择与预处理

在处理数据之前，通常需要进行预处理，比如选择特定的列、过滤行或者数据类型转换。pandas提供了非常直观和便捷的方式来完成这些任务。 

# 选择DataFrame中的特定列
selected_column = df['A']

# 使用条件过滤行
filtered_rows = df[df['B'] > 2]

# 数据类型转换
df['A'] = df['A'].astype('category')

print(selected_column)
print(filtered_rows)

5.2 数据清洗与转换

5.2.1 缺失值处理

数据集中通常会存在一些缺失值，pandas提供了多种方法来处理这些缺失值。 

# 检查缺失值
missing_values = df.isnull().sum()

# 删除缺失值
df_dropped = df.dropna()

# 填充缺失值
df_filled = df.fillna(value='缺失')

print(missing_values)

5.2.2 数据类型转换与重构

在数据预处理中，正确地转换数据类型是至关重要的一步。有时候，数据类型的不同会导致无法进行某些操作。 

# 数据类型转换
df['B'] = df['B'].astype('float64')

# 重构数据结构，例如转置
df_transposed = df.T

print(df_transposed)

5.3 数据分析与可视化

5.3.1 描述性统计分析

描述性统计分析可以帮助我们了解数据集的基本信息，比如均值、中位数、标准差等。 

# 描述性统计分析
description = df.describe()

print(description)

5.3.2 基于matplotlib的数据可视化

为了更好地理解数据，可视化是一个很好的方式。pandas可以和matplotlib库无缝协作，快速生成图表。 

# 导入matplotlib库
import matplotlib.pyplot as plt

# 生成直方图
df['B'].plot.hist()
plt.title('Histogram of Column B')
plt.xlabel('Value')
plt.ylabel('Frequency')
plt.show()

在本章中，我们介绍了pandas库的基本概念、数据结构以及如何进行数据清洗和分析。pandas的使用是数据分析流程中的重要一环，接下来我们将介绍实战项目：新闻聚合器构建与社交媒体数据抓取。

本文还有配套的精品资源，点击获取 menu-r.4af5f7ec.gif

简介：该课程由清华知名讲师尹成主讲，旨在深入教授Python爬虫技术，包括基础语法、网络请求处理、数据解析、反爬策略以及数据存储等。课程采用理论与实践相结合的方式，使学员在学习中掌握自动化网络数据抓取的实战技巧。通过小项目实战，学员将能够巩固所学知识，并提升自身的实际操作能力。


本文还有配套的精品资源，点击获取
menu-r.4af5f7ec.gif

Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

graphify 视频音视频转写全流程解析：从 detect 结果到知识图谱文档的 Step 2.5

graphify 的核心能力是把任意语料（代码、文档、PDF、图片）转化为可查询的知识图谱，而视频与音频文件无法被直接阅读，必须先把它们转写成文本。本文围绕 `graphify` 运行手册中的转写参考文档 [transcribe.md](https://link.gitcode.com/i/d3285781588e0f1b84886dfdbc4fe7f6)，完整讲解 "Step 2.5 - Tra

avatar 天工造物局

ML-For-Beginners 终章：经典机器学习在金融、医疗、零售等八大行业中的真实落地场景

本篇技术指南基于开源课程仓库 ML-For-Beginners 的收尾课程《Postscript: Machine learning in the real world》（对应仓库目录 [9-Real-World/1-Applications](https://link.gitcode.com/i/6b23002df80861c20abf34d7db63ef41)）编写。该课此前 11 周的教学带

avatar 天工造物局

graphify 知识图谱查询实战：query / path / explain 与可审计的答案闭环

本指南以 graphify 的 Trae 版查询技能参考（[graphify/skills/trae/references/query.md](https://link.gitcode.com/i/72a7875d46ec6d3706d31791f3cdcbe0)）为主体，系统讲解如何针对**已构建好的知识图谱**执行三类查询：语义相关节点遍历（query）、两概念间最短路径（path）、单节点关

avatar 天工造物局