一、项目背景与测试规划工作概述

我曾参与某大型电商平台订单系统的重构项目。该系统日均处理订单量超过百万级，涉及用户下单、支付回调、库存扣减、退款处理、物流同步等多个核心模块，业务逻辑复杂、上下游依赖众多。在项目中，我担任测试负责人，负责全流程的测试规划与质量保障工作。

传统测试模式下，每次版本迭代需投入3–5名测试工程师，耗时5–7个工作日完成用例设计、评审与执行。主要痛点集中在三个方面：效率低下——人工编写测试用例耗时费力，复杂系统需要投入大量人力进行需求分析和用例设计；覆盖不全——边界条件和异常场景容易遗漏，生产环境中73%的漏测Bug源于边界条件和异常场景的用例缺失；维护成本高——需求变更时需要同步更新大量测试用例。以订单退款功能为例，涉及支付渠道、退款金额、订单状态、库存回滚等多种组合，人工枚举全部等价类和边界值几乎不可能完成。

二、LLM生成测试用例的关键技术与工作流程

2.1 核心技术

当前利用LLM生成测试用例主要有两条技术路径：微调（Fine-tuning） 和提示词工程（Prompting） 。在我们的实践中，主要采用后者，并融合了检索增强生成（RAG）技术。

RAG（检索增强生成） 是提升生成质量的核心技术。其基本思想是在让大模型生成测试用例之前，先从企业知识库中检索最相关的信息（如PRD文档、API文档、历史用例库等），将这些信息作为上下文提供给模型，让模型基于“事实依据”生成答案。这有效解决了单纯依赖大模型时常见的“幻觉”问题——模型编造不存在的业务规则或API接口。

提示词工程（Prompt Engineering） 是引导模型输出高质量用例的关键。高质量的提示词需要包含角色设定、业务背景、技术栈、约束条件和输出格式五个要素。同时需要在提示词中显式引入测试设计方法论，如等价类划分、边界值分析、状态转换测试等，强制模型不仅关注正常路径，也覆盖异常和边界场景。少样本学习（Few-shot Learning）也是重要手段——在提示词中提供1–2个高质量的用例模板，让模型模仿其结构和颗粒度。

2.2 工作流程

我们的LLM测试用例生成流程分为五个阶段：

第一阶段：输入规范化。 推动需求文档（PRD）和接口文档的标准化，要求开发团队按照统一模板输出，包含功能描述、接口路径、请求参数、约束条件、业务规则等核心信息。规范化的输入是高质量生成的前提。

第二阶段：知识库构建。 系统性收集和整理PRD文档、API接口文档、历史测试用例库、踩坑记录、资损场景等，构建企业级测试知识库。将长文档切分为合理片段，使用嵌入模型（如BGE、M3E）进行向量化，存入向量数据库（如Milvus）。

第三阶段：智能检索与上下文增强。 当收到新的测试需求时，系统将需求文本向量化，在知识库中进行相似度检索，召回最相关的K个文档片段，作为上下文输入到大模型中。

第四阶段：结构化生成。 基于精心设计的提示词模板（包含角色设定、测试方法论要求、输出格式约束等），调用大模型生成结构化的测试用例。输出格式统一为包含用例标题、前置条件、测试步骤、输入数据、预期结果的表格或JSON格式。

第五阶段：质量验证与人工精修。 对生成结果进行自动化格式校验和逻辑验证，再由测试工程师进行人工审核，补充业务专属规则、调整跨模块集成场景，最终入库。

三、LLM生成测试用例的优势与现存缺陷

3.1 核心优势

效率提升显著。 LLM能够将测试用例生成从“小时级”缩短到“分钟级”。在我们的实践中，单接口的用例设计时间从平均2小时降至25分钟左右。

覆盖度改善。 LLM凭借其海量预训练知识，能够识别人工容易忽略的边界条件、异常场景和安全漏洞（如SQL注入、并发请求等）。有实践表明，AI辅助可将用例覆盖率提升24%。

知识沉淀与复用。 通过RAG知识库，将资深测试人员的经验（踩坑点、资损场景、特殊业务规则）系统化沉淀，实现知识的可复用。

3.2 现存缺陷

“幻觉”问题。 LLM可能生成看似合理但实际不存在的功能场景、错误的接口路径或不符合业务规则的断言。例如，生成调用/api/v3/createOrder的用例，但系统实际只有/v2/接口。

理解偏差与业务匹配度不足。 大模型对复杂业务规则的理解不够深入，跨模块、跨流程的上下文关联能力有限。在没有明确约束时，模型倾向于生成“看起来合理”而非“实际有用”的用例。

用例冗余。 批量生成模式下，模型不知道团队已有什麼、缺少什麼，容易生成大量重复或无效的用例。

正向用例偏向。 大模型倾向于生成正向测试用例，忽视负向测试、边界测试和异常处理等场景。需要在提示词中显式引导才能弥补这一缺陷。

编译与执行错误。 LLM生成的测试用例可能存在编译错误或不一致的性能表现。研究表明，企业级代码库中AI生成的端到端测试用例通过率仅为31%。

四、落地实践与缺陷规避策略

4.1 落地实施方案

我们采用了 “需求规范化 + Prompt工程 + 知识库RAG + 平台化集成” 的总体策略。

首先，推动需求输入规范化，要求PRD和接口文档按标准化模板输出，确保输入质量。其次，构建分层知识库，将业务背景、基线用例、踩坑点、资损场景等分类沉淀。第三，设计多阶段提示词策略，采用思维链（Chain-of-Thought）技术，通过中间推理步骤引导模型输出结构化用例。最后，将AI能力集成至用例管理平台，实现从需求输入到用例生成的端到端自动化。

4.2 规避AI生成缺陷的策略

针对LLM的固有缺陷，我们建立了四层“防幻觉护栏体系”：

输入层——强约束Prompt。 在提示词中嵌入接口文档的JSON Schema或数据字典，强制模型遵循数据结构；提供3个高质量的历史用例作为Few-shot示例；显式要求模型覆盖等价类、边界值及异常场景。

生成层——RAG增强与领域适配。 通过RAG技术为模型注入准确的业务上下文，从源头减少幻觉。同时使用企业内部历史测试用例对开源模型进行微调（如Qwen、ChatGLM），使其适应特定项目的测试风格。

验证层——自动化校验与人工审核双保险。 对生成结果进行格式校验、协议校验和业务规则校验。采用“AI生成初稿+人工精修”的协同模式——AI负责快速枚举等价类场景，人工负责校验业务逻辑一致性、补充领域专属规则。

反馈层——持续优化闭环。 将人工审核后的修正结果反馈至知识库和提示词模板，形成“生成→验证→修正→沉淀”的持续优化闭环。

4.3 实际收益

经过三个月的落地实践，我们取得了可量化的成效：

• 效率提升： 单接口用例设计耗时从平均2小时缩短至约25分钟，降幅约79%。

• 覆盖率提升： 用例的场景覆盖率从68%提升至92%以上，边界条件和异常场景的遗漏率大幅下降。

• 质量改善： 生产环境漏测Bug下降约75%，其中边界条件和异常场景相关的漏测几乎归零。

• 知识复用： 构建了包含2000+条历史用例、300+个踩坑点的知识库，新人上手周期从2周缩短至3天。

五、总结与展望

LLM技术在测试用例生成中的应用，本质上不是追求“AI一键生成完美用例”，而是将测试工程师的隐性经验工程化封装为可复用、可执行的智能能力。通过“AI生成初稿+人工精修”的协同模式，我们既发挥了LLM在场景枚举和效率上的优势，又通过人工审核保障了用例的业务贴合度。

未来，随着Agent智能体技术的成熟，测试用例生成将从单一的“生成”环节拓展为“需求分析→用例生成→数据构造→用例执行→结果验证”的全链路智能化。测试工程师的核心竞争力也将从“手动写用例”转向“构建AI可执行的测试资产”