前言

站在 2025 年的尾巴回望，如果不谈 AI，似乎这一年就更加乏善可陈。但恰恰是因为 AI，尤其是大语言模型（LLM）的井喷式发展，让这一年变得无比厚重且精彩。

作为一个技术人，我有幸身处这波浪潮的中心，见证了 Transformer 架构如何重塑无论是搜索、交互还是编程的范式。今天打开csdn网站，点开我的信息，惊喜的发现我入围了 CSDN 2025 年度创作影响力 TOP 300 博主。这个荣誉与其说是对我个人的认可，不如说是对整个 AI 技术社区热情探索的缩影。

---

一、 技术总结：在 LLM 的洪流中构建“工程化”壁垒

从 2022 年开始，人工智能进入以“大模型”为核心的快速发展阶段：这一年，大规模预训练语言模型（如以 Transformer 为基础的生成式模型）在通用理解与生成能力上实现质的飞跃，AI 开始在写作、编程、对话等任务中展现接近人类的综合能力；2023 年，多模态模型迅速成熟，AI 不再局限于文本，而是能够同时理解和生成图像、语音与视频，应用从效率工具扩展到创作、设计和科研领域；2024 年起，AI 进一步走向“智能体化”和产业化，模型开始具备更强的推理、规划和工具调用能力，在企业办公、软件开发、医疗、教育等场景中深度落地；到 2025 年前后，AI 的发展重点逐渐从“模型更大”转向“能力更可靠、成本更可控、与人协作更自然”，人工智能正从前沿技术演进为广泛嵌入社会与经济系统的基础能力。
在这场技术洪流中，我有幸亲身经历并完成了职业赛道的切换。不怕大家笑话，我也是这两年才从 CV（计算机视觉）转向 NLP 和 LLM 领域的。
还记得年初 DeepSeek 刚爆火时，那是我的一个转折点。当时我去面试，面试官问了一个现在看来很基础、当时却让我哑口无言的问题：
“你知道 DeepSeek 怎么部署吗？”
当时的我一无所知，甚至天真地以为它像普通软件一样，下载个 .exe 运行就行。
但如果让现在的我回答这个问题，我已经能给出从个人开发到企业生产的一整套解决方案。
1，如果是个人本地的机器，可以用ollma来部署，ollama的底层是llama.cpp，DeepSeek模型原本的格式可能是safetensors格式，pth格式等等，需要先转成gguf格式，然后再用量化方法量化，根据本机的配置选择量化级别，BF16，FP32，FP16，INT8等等，我甚至可以引出背后一系列的知识点。
2，如果是公司的生产环境，可以用vllm，vllm的优势就是底层的PagedAttention算法和动态批处理，之前的优化算法还有FlashAttention等等。还可以用Sglang，tensor-RT等等，不光是部署，还能做推理优化，还能用Xinferrence，LiteLLM做网关，做限流，做认证等等。
今年的我，其实是学了很多东西的，进步了很多，也很感谢如今的大模型AI时代，让我可以学到如此多的知识。随着时间飞逝，我的技术探索主线，也从最初的 “什么是大模型”，全面转向了 “如何构建稳定、可控、低成本的 LLM 应用”。从一个小白，变成了一个合格的从业者。

1. 祛魅底层：分词与提示词的绝对底层

很多人做大模型应用容易忽视基础，但我坚持认为，不懂 Tokenizer 就不算真正懂 LLM。

1.1 深入 Tokenizer：从句子到字节的分词演变

我今年花费了大量精力去学习 Tokenizer 的知识。从最早的基于句子（Sentence-Level） 的分词，到后来基于单词（Word-Level），再到如今主流的基于字节（Byte-Level / BPE） ——这是一条清晰的技术演进脉络。我将这些研究整理成了一篇系统性的博客：《Tokenizer 与词表扩充：原理与实战》。

• Token的本质：我深入分析了为什么 LLM 经常算不对"9.11 和 9.9 谁大"？为什么生僻字或专业术语会乱码？根源往往在于分词颗粒度（Token Granularity）。中文一个"的"字可能和标点符号被切在一起，英文的长单词可能被拆成无意义的字符碎片。理解了 Token 的本质，才能在 Prompt Engineering 中精准控制输入窗口，避免 Context Window Exceeded 这种低级错误。

• 词表扩充实战：为了解决开源模型在中文或特定领域（如医疗、法律）词表不足的问题，我开源了 Genesis-LLM 项目。这是一个开箱即用的大语言模型训练工具包，其中 tokenizer/ 模块提供了一套完整的词表扩充工作流：

  1. 提取基座 Tokenizer 配置
  2. 准备领域训练语料
  3. 使用 SentencePiece 训练辅助 Tokenizer
  4. 筛选新增 Token 并合并到基座 Tokenizer
  5. 调整模型 Embedding 层维度以适配新词表

  通过这套流程，可以有效减少专业术语被"碎片化"拆分的问题，降低 OOV (Out-of-Vocabulary) 率，从而提升模型在垂直领域的表现。这个我也不知道算不算是打广告了，但是毕竟都是我今年的成果，做的一个技术总结，以练代学，我觉得这个是一个很好的学习方法，也欢迎大家学习，fork，并且深度思考，提出一些改进的想法。

1.2 构建"提示工程全景"知识体系

从简单的"你可以吗"式的 提示词，我逐渐深入到了 Prompt Engineering 的系统性研究。我将我的学习成果整理在了 提示工程全景 | Notes on LLMs 中，构建了一个多层次的技术架构：下面的所有内容我都总结到了这个文档网站中，都是我对大模型相关知识的总结，也是我今年的知识总结。

• 基础层：上下文学习（In-Context Learning, ICL）

  • GPT-3 的问世标志着 AI 使用门槛从"训练模型"降低到"设计提示"。
  • ICL 是提示工程的物理基础——模型无需梯度更新，仅凭提示中的示例即可"学会"新任务。这解释了 Few-shot Prompting 为何有效。（之前的Clip为什么强，就是因为人们惊叹于他的Zero-shot能力，据说在Imagenet上的能力与训练后resnet也差不了多少）
  • 我总结了 CRISPE 结构化框架，将高效 Prompt 解构为六个核心组件：Capacity（能力）、Role（角色）、Insight（洞察）、Statement（陈述）、Personality（个性）、Experiment（实验/示例）。

• 进阶层：思维链与推理增强

  • CoT (Chain-of-Thought)：这是提示工程的里程碑。通过引导模型输出中间推理步骤，可以显著解锁复杂推理能力。一句神奇的"Let’s think step by step"就能激活 Zero-shot CoT。（这个也涉及到后面的一个知识点，就是思考推理模型的训练，如果要训练思考模型，思考数据是肯定少不了的，要么就利用思考模型蒸馏思考数据，要么就直接让模型生成思考数据）
  • ToT (Tree of Thoughts)：CoT 是线性的，一步错则步步错。ToT 引入了搜索算法，将推理过程从"链"变成"树"，允许模型在多个推理分支中进行探索和回溯。经典的 24 点游戏测试中，ToT 的成功率从 CoT 的 4% 飙升至 74%。
  • GoT (Graph of Thoughts)：ToT 的进一步扩展，思维节点不仅可以分叉，还可以合并。非常适合创意写作等场景——先发散生成多个草稿，再收敛合并最佳元素。
  • Self-Consistency（自洽性）：利用模型输出的随机性提升鲁棒性。对同一 Prompt 生成多个推理路径（如 40 个），通过多数投票选出最终答案。其原理是：正确推理路径趋于相似，错误路径则千奇百怪。

• 安全层：我也关注了提示注入攻击与DAN越狱模式等安全议题，并研究了指令层级防御与幻觉缓解策略。这个就是之前很火的一个概念，叫做大模型越狱，大家也可以去了解学习一下。所以就涉及到另外的一个概念，叫做大模型护栏，可以通过框架做输出后处理，也可以在训练层面做限制，避免模型生成一些不该输出的东西。

2. 破局 RAG：从"能搜到"到"搜得准"的最后一公里

检索增强生成（RAG） 是今年企业级应用的绝对主旋律。我将我的学习与实践成果整理在了 RAG 技术全景 | Notes on LLMs 中，构建了一个从原理到工程实践的完整体系。RAG 的入门很简单，LangChain 几行代码就能跑通。但要做到生产可用，我趟过了无数的坑，也总结了宝贵的经验。

2.1 理解本质：从参数化到非参数化记忆

传统 LLM 将知识隐式编码在数千亿参数中，这种参数化记忆存在显著缺陷：知识过时、无法更新、容易产生幻觉。RAG 的核心思想是引入非参数化记忆（外部知识库），让 AI 在生成前先检索相关信息。其核心优势在于：

• 知识可更新：修改知识库即可更新，无需重新训练模型。
• 可溯源验证：生成内容可追溯到具体文档，增强可信度。
• 私有数据支持：企业文档、内部知识库均可接入。
• 成本可控：相比全量微调，成本大幅降低。

2.2 架构演进：从 Naive RAG 到 Agentic RAG

我深入研究了 RAG 架构的四个演进阶段：

• Naive RAG（朴素 RAG）：最基础的"检索-读取-生成"线性流程。用户问题向量化后进行向量检索，找到 Top-K 文档作为上下文输入 LLM。局限性在于：检索质量完全依赖 Query 与文档的向量相似度，无法处理复杂的多跳推理问题，噪声文档会直接影响生成质量。
• Advanced RAG（高级 RAG）：引入预检索优化（Query 重写、HyDE 假设文档嵌入） 和后检索优化（Rerank 重排序）。高级 RAG 中的检索一般使用混合检索（Hybrid Search），稠密向量检索负责语义匹配，稀疏向量检索（BM25）负责关键词精确匹配，二者加权融合。
• Modular RAG（模块化 RAG）：将 RAG 拆解为可插拔的独立模块，支持灵活编排。核心模块包括路由（Router） 和上下文压缩（Context Compression）——路由决定下一步如何走（规则模型、BERT 小模型、LLM 兜底），上下文压缩则去除噪声数据，只保留关键信息，让模型获得更有效的上下文。
• Agentic RAG（代理 RAG）：LLM 作为智能代理，自主决策检索策略。它可以自主规划（决定是否需要检索、检索什么）、调用工具（搜索引擎、数据库、计算器）、多轮交互（反复与知识库交互直到满意）、自我反思（评估答案质量，必要时重新检索）。Agentic RAG 特别适合法律尽职调查、金融研报分析、医疗诊断辅助等需要多步推理的复杂任务。

2.3 数据准备：高质量 RAG 的基石

“Garbage In, Garbage Out”。数据质量决定了 RAG 的上限。

• ETL 流水线：企业数据通常是异构的非结构化数据（PDF、PPT、Word、扫描件）。ETL 流水线负责将其转化为可索引的清洁文本。现在有很多优秀的工具，如 Unstructured.io、LlamaParse、MinerU 等。这里面涉及复杂的流程：版面分析（使用 YOLO 等视觉模型识别标题、正文、表格）、OCR 识别（PaddleOCR、Tesseract）、公式识别、段落顺序识别等。
• 分块策略（Chunking Strategies）：分块是将长文档切分为小片段的过程。核心权衡是：块太小导致上下文缺失，块太大引入噪声。我对比了多种策略：
  1. 固定大小分块：按 Token 数量切分，带重叠窗口缓解边缘语义丢失。
  2. 递归字符分块（RecursiveCharacterTextSplitter）：使用层级分隔符（\n\n → \n → ）递归切分，是 LangChain 默认策略，较好地保留文本自然结构。
  3. 语义分块（Semantic Chunking）：利用 Embedding 模型计算相邻句子的语义相似度，在相似度骤降处切分。确保每个块是独立语义单元，检索相关性最高，但需要额外的 Embedding 计算开销。
  4. 代理分块（Agentic Chunking）：让 LLM 阅读文本并决定最佳切分点，适合高价值复杂文档。

2.4 索引构建：从扁平列表到多维结构

• 稠密向量 vs 稀疏向量：稠密向量（Dense）擅长语义匹配（“手机"≈"移动电话”），但专有名词、代码匹配弱；稀疏向量（Sparse/BM25）擅长关键词精确匹配（错误码、序列号），但缺乏语义理解。最佳实践是混合检索（Hybrid Search） 结合两者优势。
• RAPTOR：递归树状索引：解决传统 RAG 无法回答宏观概括类问题（如"这份文档主要讲什么？"）的痛点。其构建流程是：底层原始文本块作为叶子节点 → 使用 GMM 对相似块聚类 → LLM 对每个聚类生成摘要 → 将摘要作为新节点，重复聚类-摘要过程 → 检索时可从根部（宏观）或叶子（细节）检索。
• GraphRAG：知识图谱增强：微软提出的 GraphRAG 将文本转化为实体-关系知识图谱。传统 RAG 寻找"相似性"，难以连接分散在不同文档的关联信息；而 GraphRAG 寻找"关联性"，文档 A 提到"项目 X"，文档 B 提到"项目 X 由 Alice 负责"，图谱可连接两者。这对于处理多跳逻辑至关重要，类似的项目还有 LightRAG 等。

2.5 检索优化与重排序

• 混合检索与 RRF 融合：结合 BM25 和 Dense Vector，使用倒数排名融合（RRF） 公式加权。默认通常是稠密检索占 70%，稀疏检索占 30%，但这一直都是个"玄学"，需要根据具体场景调参。
• Query 优化：包括 Query 重写与扩展（将用户不专业的问题转换成专业、容易被大模型理解的问题）和 HyDE（假设性文档嵌入）——颠覆性思路：先让 LLM 编造"假设答案"，用假设答案的向量去搜真实答案，因为假设答案的语义结构、用词习惯与真实文档高度相似。
• Rerank 的魔力：在检索链路末端增加一个 Rerank 模型（如 bge-reranker、cohere-rerank）是提升精度的关键。Embedding 使用的是双编码器（Bi-Encoder），速度快但精度有限；Rerank 使用的是交叉编码器（Cross-Encoder），将 Query 和 Document 一起输入模型，能更好地捕捉语义交互。在我的实测中，Rerank 可以将 Top-3 的准确率提升 20% 以上。

2.6 RAG 评估体系

其实评估是很重要的，如果不评估，怎么证明这个系统好呢？但是很多企业都没有这个概念，没有这个数据飞轮的想法，我觉得这些东西其实是很重要的！

如何衡量一个 RAG 系统的好坏？我研究了主流的评估框架：

• RAG 三元组（The RAG Triad）：评估三个维度——Context Relevance（上下文相关性）、Groundedness（答案有据可依性）、Answer Relevance（答案与问题的相关性）。
• 自动化评估框架：RAGAS 和 TruLens 是两个优秀的开源框架，可以自动化地对 RAG 系统进行评估，帮助我们快速迭代优化。

3. 未来的形态：Agent 与 LangGraph 的多智能体进化

如果说 RAG 是给模型外挂了硬盘，那么 Agent（智能体） 就是给模型装上了手脚和大脑。我将我的学习与实践成果整理在了 AI Agent 全景 | Notes on LLMs 中。在下半年，我的重心全面转向了智能体领域，见证了开发框架的范式转移：从 LangChain 的线性链（Chain），进化到了 LangGraph 的图（Graph）。

3.1 核心公式：Agent = LLM + Planning + Memory + Tools

这是理解 Agent 的基石公式。规划（Planning） 是区分"聊天机器人"与"智能体"的分水岭。

• ReAct：推理 + 行动：ReAct 框架交织推理与行动，解决了纯推理易幻觉、纯行动缺目标的问题。其核心循环是：Thought → Action → Observation → Thought...。一个经典的例子是多跳问答：“亚里士多德的老师是谁的老师？” Agent 会先搜索亚里士多德的老师（柏拉图），再搜索柏拉图的老师（苏格拉底），最终给出答案。
• Reflexion：从错误中学习：Reflexion 在 ReAct 基础上引入了长期记忆维度的反思。当任务失败时，Agent 会将"教训"存入内存作为下次的上下文，实现无需微调的自我进化。这让我想到了人类的学习过程——我们也是在不断试错中成长的。

3.2 记忆系统（Memory）：Agent 的"海马体"

没有记忆的 Agent 只是一个无状态的函数。记忆系统赋予了 Agent 跨会话的连续性。

• 认知分层：类比人类认知，Agent 的记忆可以分为感觉记忆（当前输入）、短期记忆（上下文窗口） 和长期记忆（向量数据库/知识图谱）。

3.3 工具使用（Tool Use）：LLM 的"手脚"

让 LLM 学会调用外部工具（搜索引擎、计算器、代码执行器、API），是 Agent 能力的关键放大器。借助工具，可以让Agent做很多与环境交互的事情，从最开始的FunctionCall到后面的Mcp，到最近的Skill，都是这些东西，都可以私下去了解一下。

3.4 多智能体系统（Multi-Agent）：各司其职的力量

单一 Agent 往往难以胜任复杂任务。多智能体协作（Multi-Agent Systems） 是解决复杂工程问题的必然趋势。

• 协作架构：我研究了不同的协作模式——Supervisor（管理者-工人） 模式、Hierarchical Teams（层级团队） 模式、Peer-to-Peer（对等协作） 模式。让一个 Agent 写代码，一个 Review 代码，一个负责测试，分工明确，效率倍增。
• 主流框架对比：我深入实践了 AutoGen（微软出品，强调对话式多智能体）和 LangGraph（LangChain 出品，强调图结构和状态管理）。LangGraph 引入了循环机制（Cycles），允许 Agent 在"思考-行动-观察"的循环中自我修正，这是传统 DAG（有向无环图）无法实现的。

3.5 标杆应用：Agent 的"杀手级"产品

• Devin：AI 软件工程师：Cognition AI 发布的 Devin 震撼了整个行业。其核心架构包括沙箱环境（隔离 Linux 容器 + Shell + 浏览器 + 编辑器） 和长期规划器（动态任务列表）。在 SWE-bench 基准测试中，Devin 的解决率达到 13.86%，此前最好的模型不足 2%。
• Voyager：终身学习 Agent：在 Minecraft 中实现的 Voyager Agent 展示了终身学习（Lifelong Learning） 的潜力。其创新点包括自动课程（根据状态给自己提任务） 和技能库（将经验固化为可执行代码，检索复用）。Agent 不再是一次性的，而是能够不断积累和进化。

3.6 前沿趋势：Agent OS

一个令我兴奋的概念是 Agent OS——LLM 取代 CPU 成为新内核，Context Window 成为新 RAM。未来的操作系统可能不再是进程和线程的调度器，而是 Agent 和工具的编排者。这也是为什么 MCP（Model Context Protocol） 如此重要——它正在为这个未来奠定协议基础。就像最近的豆包手机，智谱开源的autoGLM是类似的概念，这两家公司，也是这个概念的先行者之一。

4. 走向硬核：微调、对齐与推理优化的"降本增效"

作为一名追求极致的工程师，光会调 API 是不够的。为了掌控算力和成本，我深入到了模型的更底层。我将我的学习与实践成果整理在了 LLM 训练全景 | Notes on LLMs 中。

4.1 训练流程全景：从 Base Model 到 Chat Model

理解大模型训练的完整链路是进行微调的前提。一个完整的 LLM 诞生需要经历三个阶段：

• Base Model（基座模型）：在万亿 Token 上进行预训练，学习语言的统计规律。此时模型只会"续写"，不会"对话"。
• SFT Model（指令微调模型）：在高质量的指令-回答数据集上进行监督微调（Supervised Fine-Tuning），让模型学会遵循指令。
• Chat/RLHF Model（对话/对齐模型）：通过人类反馈强化学习（RLHF） 或直接偏好优化（DPO） 进行对齐，使模型的输出更符合人类偏好——更有帮助、更安全、更诚实。

值得注意的是存在**“对齐税（Alignment Tax）”**：经过 RLHF 对齐的模型可能在某些任务（如 RAG 检索、代码生成）上表现不如基座模型。选择模型版本需根据具体场景权衡。

4.2 参数高效微调（PEFT）：LoRA 与 QLoRA

全量微调（Full Fine-Tuning）成本高昂，参数高效微调（PEFT） 技术应运而生。

• LoRA（低秩适配）：目前最主流的微调技术。其核心假设是权重更新量 $\Delta W$ 具有低秩特性。冻结预训练权重 $W_0$，注入两个低秩矩阵 $A$ 和 $B$：$W_{new}=W_0+BA$。LoRA 只需训练 0.1%~1% 的参数，就能达到接近全量微调的效果（GLUE 分数差距 < 1%）。在我的开源项目 Genesis-LLM 中，我提供了完整的 LoRA/QLoRA 训练流程。
• QLoRA：将 LoRA 与 4-bit 量化结合。基座模型以 4-bit 量化格式加载，LoRA 适配器保持 16-bit 精度训练。效果是：单张 48GB 显卡可微调 65B 模型，消费级 GPU 可微调数十亿参数模型，性能损失可忽略不计。

4.3 对齐技术：RLHF 与 DPO

让模型"听话"只是第一步，让模型"有价值观"才是对齐的目标。

• RLHF（人类反馈强化学习）：ChatGPT 背后的核心技术。分为三个阶段：SFT → 奖励模型（Reward Model）训练 → PPO（近端策略优化）。RLHF 涉及 4 个模型协同训练（Actor、Reference、Reward Model、Critic），超参敏感，极不稳定，对计算资源要求极高。
• DPO（直接偏好优化）：2023 年斯坦福提出的 PPO 简化版。核心洞察是：RLHF 的优化目标存在显式解，可以将奖励函数与最优策略建立解析映射。DPO 本质是将 RLHF 巧妙转化为类似 SFT 的监督学习，只需 2 个模型，无需在线采样，已成为开源社区的首选。
• Iterative-DPO：2024 年 Meta 提出的改进版，每轮训练后基于最新模型重新采样，缓解 DPO 的分布偏移问题。

4.4 分布式训练：驯服算力巨兽

训练/微调大模型离不开分布式技术：

• ZeRO（零冗余优化器）：DeepSpeed 的核心贡献。将模型参数、梯度、优化器状态分片存储到不同 GPU，需要时再收集。ZeRO Stage 3 配合 Offload 可以将参数卸载到 CPU/NVMe，无需模型并行即可训练任意大小的模型。
• 混合精度训练（BF16/FP16）：用更低精度的浮点数加速训练并节省显存。BF16 动态范围大、训练更稳定；FP16 精度更高但需要 Loss Scaling。
• 激活重算（Activation Checkpointing）：前向传播时不保存中间激活值，反向传播时重新计算。以约 30% 额外计算换取 5-10× 显存节省。

4.5 推理优化：vLLM 与 PagedAttention

训练完成后，如何高效地部署和推理是另一大挑战。

• KV Cache：自回归生成时，缓存历史 Token 的 Key/Value 避免重复计算。这是 LLM 推理加速的基础。
• PagedAttention 与 vLLM：UC Berkeley 开发的 vLLM 已成为 LLM 推理服务的事实标准。其核心是 PagedAttention——借鉴操作系统虚拟内存分页机制，将 KV Cache 分成固定大小的块，按需分配非连续物理内存。内存浪费从 60%+ 降到 < 4%，吞吐量提升 2-4×。在我的实践中，vLLM 的 OpenAI 兼容接口让本地部署变得极其简单。
• 投机采样（Speculative Decoding）：用小模型快速生成候选 Token，大模型一次前向传播并行验证。延迟降低 2-3倍，且数学上保证与大模型输出完全一致。

4.6 模型量化：AWQ 与 GPTQ

为了在有限显存下跑大模型，量化是必经之路。

• GPTQ：训练后量化（PTQ），使用校准数据集优化量化误差。
• AWQ（Activation-aware Weight Quantization）：观察到权重的重要性与激活值分布相关，对"重要"权重保留更高精度。在我的实测中，AWQ 在 4-bit 量化下的精度损失比 GPTQ 更小。
• 不仅是"变小"，更要"不傻"。结合 vLLM 这种高吞吐推理框架，我实现了本地部署 70B 模型并提供 OpenAI 兼容接口，这为私有化部署铺平了道路。

---

二、 总结盘点：从技术"搬运工"到知识"架构师"

技术不仅是代码，更是认知。入选"博客之星"，不仅是对我代码能力的认可，更是对我知识管理方法论的肯定。回顾这一年，我从一个埋头苦学的"技术搬运工"，逐渐蜕变成了一个有体系、有输出、有影响力的"知识架构师"。

1. 个人成长与突破盘点

1.1 从"学会"到"能教"的认知跃迁

过去，我的学习是线性的、流水的。看过、忘过、没留下痕迹。我曾以为自己"懂了"RAG，直到有一天我尝试给同事讲解，才发现自己连 BM25 和 Dense Retrieval 的本质区别都说不清楚。

今年，我强制自己遵循 “Input → Process → Output” 的闭环。费曼学习法告诉我："如果你不能简单地解释它，你就没有真正理解它。"每一次写博客，我都会假设读者是一个刚入门的自己：

• 为了解释清楚 Attention 机制，我不得不重读论文，去推导 Query、Key、Value 的矩阵运算。
• 为了讲明白 ReAct 模式，我不得不去翻 LangChain 的源码，看 AgentExecutor 到底是怎么跑的。

这种倒逼式输入，让我的技术深度呈现指数级增长。写作不再是负担，而是一种享受，一种与世界对话、也与自己对话的方式。

1.2 突破舒适区：从"只会调 API"到"敢碰底层"

年初的我，还是一个只会 pip install langchain 的"调包侠"。我曾对模型训练、CUDA 编程、分布式系统这些"硬核"领域望而生畏。

但 AI 时代不允许你只做表面功夫。我逼着自己啃下了 LoRA 的低秩分解数学原理、DPO 的梯度推导、vLLM 的 PagedAttention 实现。从怕到懂，从懂到用，再从用到能写出清晰的技术文章——这个过程，是今年我最引以为傲的突破。

2. 年度创作历程回顾

2.1 从零星输出到系统性专栏

回顾我的 CSDN 创作历程，今年是一个质变之年：

• 文章数量：从月均 2-3 篇提升到月均 8-10 篇，全年累计产出 100+ 篇技术文章。
• 内容深度：从碎片化的 Tips 分享，进化到成体系的专栏写作——RAG 系列、Agent 系列、微调系列，每个系列都是从原理到实战的完整闭环。
• GitHub 同步：我的 notes-on-llms 仓库成为了博客的后花园，Stars 数量稳步增长。每一篇文章都有对应的代码、配置和可复现的实验。

2.2 构建「第二大脑」的长期主义

查看我的 GitHub 仓库，你会发现那不是杂乱的堆砌，而是一个精心修剪的 “数字花园”：

• 结构化：所有的知识都被归类在 Agent、RAG、Embedding、Training 等目录下，形成清晰的知识图谱。
• 可检索：使用 VitePress 搭建的静态站点，支持全文搜索，任何时候需要查阅，都能快速定位。
• 持续迭代：知识不是一次性写完就完事。每当有新的论文、新的工具出现，我都会回去更新对应的章节。

这种**“把博客当产品写”**的态度，让我不仅收获了读者的认可，更让自己在大脑中建立了一座坚固的知识大厦。

2.3 家人的理解与支持

写博客是孤独的，但我很幸运有家人的理解。我的爱人从最初的不理解（“又在敲电脑？”），到后来主动帮我校对文章、提出读者视角的反馈，成为了我最重要的"第一读者"。

技术与生活，从来不是对立的。当你真正热爱一件事时，它会自然地融入你的生活，成为你生命的一部分。

---

三、 2025 年展望：保持敬畏，持续进化

AI 的迭代速度是以“周”为单位的。停下脚步，就是退步。
展望 2025，我的关键词是 “深水区”：

1. Agent Native 应用：不再满足于 Demo，而是探索 Agent 在复杂业务流（Workflow）中的真实落地。
2. 多模态融合（Multimodal）：视觉（Vision）与音频（Audio）将赋予模型更强的感知力。我计划开辟新的专栏，专门探索 VLM（视觉语言模型） 的应用。
3. 端侧智能（On-Device AI）：随着手机 NPU 的强大，让大模型跑在手机和笔电上将成为新常态。我将持续关注 MLC-LLM 等端侧推理技术。

感谢 CSDN 提供的平台，感谢每一位读者的陪伴。
这条通往 AGI 的路道阻且长，但我愿做那个永远热泪盈眶、永远在路上的赶路人。

2025，让我们一起，在代码的世界里，重塑未来。