最近在帮学弟学妹看爬虫相关的毕业设计，发现大家遇到的坑都差不多：代码写着写着就成了一团乱麻，IP动不动就被封，数据格式五花八门清洗起来头疼，答辩时被老师问得哑口无言。正好我自己在尝试用一些AI编程工具，发现它们对于这类有固定模式但又繁琐的开发任务，简直是“外挂”般的存在。今天就来聊聊，怎么借助AI工具，高效地构建一个结构清晰、易于维护、还能直接拿去答辩的爬虫系统。

1. 爬虫毕设的“经典”痛点与AI破局思路

在动手之前，我们先明确问题。学生做爬虫毕设，常见痛点无非集中在几个方面：

• 反爬对抗疲于奔命：网站一更新，XPath或CSS选择器就失效，手动维护成本极高。IP被封后，缺乏自动化的代理轮换和重试机制，程序直接“躺平”。
• 代码结构“面条化”：所有逻辑都堆在一个文件里，数据爬取、解析、存储、异常处理混在一起。后期想加个功能或者改个逻辑，牵一发而动全身。
• 数据清洗“脏累活”：爬下来的数据格式不统一，包含大量空白、重复、乱码，清洗脚本写得随意，可复用性差。
• 缺乏工程化思维：没有日志记录，出错不知道在哪；没有配置管理，代理列表、请求头硬编码在代码里；不考虑性能与合规性，容易被目标网站拉黑。

AI辅助开发工具（如GitHub Copilot、Cursor、通义灵码）的核心价值，在于它能将我们从重复性的模板代码和琐碎的语法细节中解放出来，让我们更专注于架构设计和业务逻辑。它的作用不是替代我们写代码，而是作为一个超级智能的“结对编程”伙伴，加速从想法到可运行代码的过程。

2. 技术选型：Scrapy框架 vs. 轻量级组合 + AI微调

这是第一个关键决策点。我的建议是：

• 选择Scrapy：如果你的毕设目标是爬取一个结构复杂、页面众多、需要深度爬取（如全站爬取）的网站，并且你想展示对成熟框架的理解。Scrapy内置的异步处理、中间件管道、请求调度等机制非常强大。AI工具可以帮助你快速生成Spider模板、Item定义、Pipeline和Middleware的骨架代码，你只需要填充核心逻辑。
• 选择Requests + BeautifulSoup (或Parsel) + AI微调：如果你的目标网站相对简单，页面结构不深，或者你想更灵活地控制每一个请求和解析步骤。这个组合更轻量，学习曲线平缓。AI工具在这里可以大显身手，帮你快速写出带异常处理、重试、代理切换的请求函数，以及健壮的解析函数。

对于大多数本科毕设，我倾向于推荐第二种。因为它更透明，你能掌控每一个细节，也更容易向答辩老师解释清楚你的代码是如何工作的。AI的作用是帮你把每个细节都做得更规范、更健壮。

3. AI辅助下的模块化开发实战

我们以一个爬取某新闻网站列表页和详情页的毕设为例，看看AI如何介入每个环节。

第一步：需求分析与设计（与AI对话） 不要直接开始写代码。先打开你的AI工具（以Cursor为例），在项目根目录创建一个design.md文件，然后向AI描述你的需求：

“我需要一个爬虫，爬取XX新闻网站科技频道的文章。首先爬列表页获取文章链接和标题，然后进入详情页爬取发布时间、作者、正文。需要处理反爬，使用代理和随机User-Agent。数据要保存到JSON文件，并且清洗掉正文中的空白字符和无关标签。请帮我设计一个模块化的Python项目结构。”

AI可能会给你生成类似如下的建议结构：

news_crawler/
├── main.py               # 主程序入口
├── config.py             # 配置文件（代理池、User-Agent列表等）
├── crawler/
│   ├── __init__.py
│   ├── request_client.py # 封装的请求客户端，集成重试、代理
│   ├── parser.py         # 解析器，包含列表页和详情页解析函数
│   └── utils.py          # 工具函数，如清洗文本、生成随机延迟
├── pipeline/
│   ├── __init__.py
│   └── data_saver.py     # 数据存储管道
└── logs/                 # 日志目录
    └── crawler.log

第二步：实现核心请求客户端（让AI生成样板代码） 在crawler/request_client.py中，你可以让AI帮你填充一个健壮的请求类。你的提示词可以很具体：

“请用Python写一个RequestClient类，使用requests库。要求：1. 初始化时从config.py加载代理池和User-Agent列表。2. 有一个get方法，能自动随机切换User-Agent，支持代理轮换。3. 集成指数退避重试机制，遇到连接超时或状态码非200时重试，最多3次。4. 每次请求前随机延迟1-3秒。5. 记录详细的日志，包括请求的URL、使用的代理、状态码。”

AI生成的代码骨架会非常规范，你只需要检查逻辑，并填充从配置文件读取数据的部分。这避免了手动编写繁琐的异常处理、重试循环和日志记录代码。

第三步：实现解析器（让AI辅助编写选择器） 在crawler/parser.py中，当你需要解析HTML时，AI的“聊天编程”功能特别有用。你可以直接把一段HTML代码片段贴给AI，然后问：

“请帮我写一个Python函数，用BeautifulSoup从这段HTML中提取所有文章链接（<a>标签的href属性）和标题文本。链接可能是相对路径，需要拼接基础URL。请做好异常处理，如果某个元素找不到就返回None。”

AI不仅能给出正确的选择器，还会写出防御性很强的代码，比如使用find而不是find_all后直接取下标，避免IndexError。

第四步：数据清洗与存储（让AI优化逻辑） 在pipeline/data_saver.py中，你可以描述清洗规则：

“写一个函数clean_content(text)，输入是HTML字符串，需要：1. 用BeautifulSoup提取纯文本。2. 合并连续的空白字符为一个空格。3. 去除首尾空白。4. 过滤掉长度小于10的无效段落。”

AI会快速生成一个高效的清洗函数。对于存储，你可以让它生成将数据列表按日期分片保存为JSON文件的代码，并处理好中文编码问题。

第五步：主程序串联（AI帮你查漏补缺） 最后，在main.py中，你可以让AI根据已有的模块，生成主程序流程：

“请写一个主函数，使用request_client.py中的RequestClient，parser.py中的parse_list_page和parse_detail_page，以及data_saver.py中的save_to_json。流程是：先爬取列表页，得到文章链接列表；然后遍历每个链接，爬取详情页并解析；最后将数据保存。需要加入整体异常捕获和进度打印。”

4. 关键代码示例：中间件与管道思想

即使不使用Scrapy，我们也可以借鉴其“中间件”和“管道”的思想，让代码更清晰。以下是request_client.py的关键部分示例，展示了代理、User-Agent轮换和重试机制：

import requests
import random
import time
from typing import Optional, List
import logging
from config import PROXY_POOL, USER_AGENTS

logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)

class RequestClient:
    """封装HTTP请求的客户端，集成代理、User-Agent轮换和重试机制"""
    
    def __init__(self, use_proxy: bool = True):
        self.use_proxy = use_proxy
        self.session = requests.Session()
        # 适配器，优化连接池
        self.session.mount('http://', requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=100))
        self.session.mount('https://', requests.adapters.HTTPAdapter(pool_connections=10, pool_maxsize=100))
        
    def _get_random_headers(self) -> dict:
        """生成随机的请求头，主要替换User-Agent"""
        return {
            'User-Agent': random.choice(USER_AGENTS),
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
        }
    
    def _get_random_proxy(self) -> Optional[dict]:
        """从代理池中随机选择一个代理"""
        if not self.use_proxy or not PROXY_POOL:
            return None
        proxy_str = random.choice(PROXY_POOL)
        return {'http': proxy_str, 'https': proxy_str}
    
    def get_with_retry(self, url: str, max_retries: int = 3, **kwargs) -> Optional[requests.Response]:
        """带指数退避重试的GET请求"""
        for attempt in range(max_retries):
            try:
                # 随机延迟，模拟人工操作
                time.sleep(random.uniform(1, 3))
                
                headers = self._get_random_headers()
                proxies = self._get_random_proxy()
                
                logger.info(f"Attempt {attempt + 1}/{max_retries}: Fetching {url} | Proxy: {proxies}")
                
                resp = self.session.get(url, headers=headers, proxies=proxies, 
                                         timeout=10, **kwargs)
                resp.raise_for_status()  # 状态码非2xx会抛出HTTPError
                
                logger.info(f"Success: {url} - Status: {resp.status_code}")
                return resp
                
            except (requests.exceptions.RequestException, requests.exceptions.HTTPError) as e:
                logger.warning(f"Attempt {attempt + 1} failed for {url}: {e}")
                if attempt == max_retries - 1:
                    logger.error(f"All {max_retries} attempts failed for {url}")
                    return None
                # 指数退避等待
                wait_time = (2 ** attempt) + random.random()
                time.sleep(wait_time)
        return None

在config.py中，你可以这样管理配置：

# 用户代理列表，最好定期更新
USER_AGENTS = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ...',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 ...',
    # ... 更多UA
]

# 代理池，格式为 'http://ip:port'，可从免费代理网站获取，但毕设建议使用少量稳定代理或不用
PROXY_POOL = [
    # 'http://123.123.123.123:8080',
]

# 目标网站基础URL
BASE_URL = 'https://news.example.com'

5. 性能与合规性：做一个“友好”的爬虫

这是毕设答辩的加分项，体现你的工程素养。

• 遵守robots.txt：在项目开始时，用requests获取并解析目标网站的robots.txt。即使不完全遵循，也要在报告里说明你检查了它，并解释你的爬取范围为何是合理的（例如，只爬取公开的、非敏感的信息）。
• 控制请求频率：这是最重要的。在代码中务必加入随机延迟（如time.sleep(random.uniform(1, 5))），避免在短时间内发起大量请求。可以模拟人类浏览的随机间隔。
• 设置超时和重试：如上面代码所示，避免因单个请求卡死而阻塞整个程序。
• 识别并处理错误：对403、404、503等状态码要有不同的处理策略（如跳过、记录、报警）。
• 数据使用声明：在项目README和答辩报告中，明确说明爬取的数据仅用于毕业设计学术研究，不会用于商业用途或公开传播，尊重网站版权。

6. 生产环境避坑指南（毕设进阶思考）

• 动态渲染页面：如果目标网站大量使用JavaScript渲染（如Vue、React），requests只能拿到初始HTML。解决方案：1) 寻找隐藏的API接口（通过浏览器开发者工具Network面板分析）；2) 使用Selenium或Playwright模拟浏览器，但这会极大增加复杂度和资源消耗。AI可以帮助你编写Selenium的页面等待和元素定位代码。
• 验证码：这是一个边界。对于简单的图形验证码，可以尝试使用OCR库（如ddddocr），但成功率有限。对于复杂验证码（如点选、滑动），强烈建议在毕设中避开，或者采用手动处理、购买打码服务（仅作了解，不推荐）。更好的策略是优化请求频率和模拟行为，避免触发验证码。
• 数据存储选型：根据数据量选择。几千条数据用JSON或CSV文件足够了。如果数据量大（十万级以上），或需要复杂查询，可以考虑SQLite（轻量级数据库，无需安装服务器）或MongoDB（适合非结构化数据）。AI可以帮你生成SQL语句或Pymongo操作代码。
• 日志与监控：一定要记录日志！记录成功、失败、被跳过的URL，以及关键步骤。这不仅是调试的需要，也能在答辩时向老师展示程序的运行状况和你的排查思路。

写在最后

通过AI工具的辅助，我们可以把更多精力放在爬虫系统的整体设计、异常边界考虑和合规性上，而不是埋头苦写那些重复的、容易出错的样板代码。最终得到的项目结构清晰、模块分明、注释完整，无论是继续扩展功能还是写毕业论文，都游刃有余。

最后留一个思考题：我们讨论了很多技术手段来提升爬虫的鲁棒性（如代理、重试、随机延迟），但所有这些手段的前提，都是尊重目标网站的服务器压力和版权规定。在你的毕设中，如何在不违反网站服务条款的前提下，尽可能地保证爬虫的稳定运行和数据质量？除了技术手段，还有哪些非技术的沟通或策略可以考虑（例如，爬取前评估数据量、选择非高峰时段、限制并发数）？想清楚这些问题，你的毕设格局会更高。