1. 绪论与NLP基本范式：从规则到智能涌现

自然语言处理这门课，期末复习是不是感觉知识点又多又杂，像一团乱麻？别慌，我当年也是这么过来的。今天我就以一个过来人的身份，帮你把这团“麻”理清楚，顺便押几道我觉得大概率会考的题。咱们先从最根本的“道”说起——NLP到底在研究什么？简单说，就是让机器能“懂”人话，既能理解我们说的话（自然语言理解），也能生成我们能懂的话（自然语言生成）。听起来很科幻，但它的发展脉络其实非常清晰，就是一部计算机科学家们不断“偷懒”、让机器自己学习的进化史。

最早是基于规则的方法。这就像教小孩学语法，我们得先当“语言学家”，手动编写成千上万条规则，比如“看到‘吗’结尾就是疑问句”。我试过用这种方法做简单的聊天机器人，规则写了几百条，效果勉强能用，但一遇到“我差点没摔倒”和“我差点摔倒了”这种意思差不多但表述相反的句子，机器就彻底懵了。它的优点是很直观，我们人类能看懂每一条规则；缺点更明显，语言现象太复杂了，规则永远写不完，而且规则之间还经常打架，维护起来简直是噩梦。

于是大家转向了基于统计机器学习的方法。思路变了：我们不教规则了，我们给机器看海量的文本数据，让它自己从数据里找规律。这就像让小孩通过大量阅读来学语言，而不是死记语法书。这时候，特征工程成了核心。你得告诉机器，哪些“特征”可能是重要的，比如一个词的前后词是什么、它的词性是什么。我踩过的坑是，为了提升中文分词准确率0.5个百分点，我花了整整一周手工设计各种前后缀、字符组合特征，头发都掉了一把。这种方法效果比规则好多了，但它严重依赖专家的经验和海量的标注数据，换个领域（比如从新闻到医疗文本）就又得重新来一遍。

真正的革命是基于深度学习的方法。深度学习模型，比如各种神经网络，能自动从原始数据中学习特征表示。我们不用再吭哧吭哧做特征工程了，只需要把文本转换成数字（比如词向量）喂给模型就行。它学习到的是一种叫做“分布式表示”的东西，简单理解就是每个词不再是一个孤立的点（像One-Hot编码那样），而是高维空间中的一个向量，意思相近的词，它们的向量在空间里的位置也靠近。这解决了“词汇鸿沟”问题。实测下来，这种方法在大多数任务上效果碾压前两种，但它像个“黑盒子”，我们很难解释它为什么做出某个决策，而且同样需要大量数据。

现在最火的，无疑是基于大模型的方法。这可以看作是深度学习的“究极体”。它的流程分三步：首先，用互联网级别的海量文本，训练一个超大规模的通用语言模型（比如GPT、文心一言的基座）；然后，通过指令微调、人类反馈强化学习（RLHF）等方式，让这个“通才”学会遵循人类的指令；最后，我们只需要用少量例子或者简单的提示（Prompt），就能让它完成特定的任务，比如写邮件、做摘要、写代码。这彻底改变了范式：以前是我们为每个任务量身定制模型，现在是我们教一个“全能模型”如何理解我们的任务。复习这里一定要理解“预训练-提示-预测”这个新范式，以及它与传统“预训练-微调”范式的区别，这绝对是高频考点。

注意：无论方法如何演进，NLP的核心挑战始终是语言的歧义性。从语音、词语切分、词义、句法结构到指代，歧义无处不在。所有模型都是在和歧义作斗争。

2. 词汇与句法分析：从“认字”到“解构句子”

如果把理解一句话比作盖房子，那词汇和句法分析就是准备砖块和看懂设计图。

中文分词是NLP的第一道坎，因为英文有空格，中文没有。这道题必考。核心难点就三个：分词标准（“北京大学”是一个词还是两个词？）、歧义切分和未登录词识别。比如“结婚的和尚未结婚的”，你能立刻看出几种切分方式？经典的歧义类型“交集型”（如“研究生命”）、“组合型”（如“把手”）和“真歧义”（如“乒乓球拍卖完了”），你得能举例说明。算法上，从基于词典的最大匹配法，到基于序列标注的统计方法（CRF），再到现在的神经网络方法（BiLSTM+CRF），演进逻辑要清楚。CRF为什么比HMM更适合？因为CRF是判别式模型，能考虑全局特征和标签间的转移关系，而HMM是生成式模型，有严格的独立性假设。

词性标注可以看作是分词后的精细化，给每个词贴上“名词”“动词”等语法标签。它和分词一样，通常被建模为序列标注问题。这里的关键是处理未登录词（OOV）。比如“打call”这个词，词典里没有，模型怎么判断它的词性？我常用的策略是结合规则和统计：先用一些启发式规则（比如以“们”结尾的很可能是名词复数），再回退到用整个词表的词性分布来猜。在深度学习时代，我们可以用字符级CNN或BiLSTM来为未登录词生成一个表示，从而根据上下文来预测。

到了句法分析，我们开始看句子的“设计图”了。这里有两套主流理论：成分句法和依存句法。成分句法像一棵树，把句子拆分成层层嵌套的短语（NP, VP等），重点在“谁包含谁”；依存句法则像一张网，直接勾画出词与词之间的依赖关系（如“主谓”、“动宾”），重点在“谁修饰谁”。考试很可能会让你对比两者。我的经验是，成分树更符合人类的直觉，适合做句子结构的宏观分析；依存关系更直接，信息密度高，在关系抽取等下游任务中更方便。现在的主流是依存句法分析，因为它更简洁，并且与语义的对接更自然。你需要知道如何从一颗依存树中找出核心的谓语动词（root），以及“主谓宾定状补”这些成分大概对应哪些依存关系标签。

提示：句法分析的考题很可能给一个短句，让你画出它的依存树或成分树，或者分析其中的结构歧义，比如“咬死了猎人的狗”这种经典例子。

3. 语义表示与语言模型：让机器理解“意思”

前面都在分析结构，现在进入更本质的层面——语义。机器怎么理解“苹果”不是指水果就是那个科技公司？这就涉及到语义表示。

早期我们用符号表示，比如谓词逻辑 IsA(Apple, Fruit)，或者语义网络。这种方式精确、可解释，但太“脆”了，难以处理模糊性和大规模知识。后来，分布式表示（即词向量）成了绝对主流。Word2Vec的CBOW和Skip-gram模型是奠基之作，你一定要理解它们的核心思想：CBOW是用上下文预测中心词，训练快；Skip-gram是用中心词预测上下文，对生僻词效果好。它们都通过负采样或层次Softmax来优化训练。但Word2Vec有个问题：每个词只有一个静态向量，“苹果”在“我吃苹果”和“苹果手机很贵”里是同一个向量。这显然不对。

于是，预训练语言模型登场了。它们的关键突破是动态上下文词向量。ELMo最早用双向LSTM来根据上下文生成词向量，但它是“浅层”双向。GPT采用了Transformer解码器，进行单向（从左到右）的预训练，在生成任务上很强，但不能真正理解“下文”。BERT是里程碑，它用Transformer编码器，通过掩码语言模型（MLM） 和下一句预测（NSP） 进行深度双向预训练。我举个例子：对于句子“我想吃[MASK]”，BERT在预训练时，会随机盖住一些词（比如“饭”），然后根据全句上下文来预测它。这样训练出来的“想”这个词的向量，在“我想吃饭”和“我想你”两个句子里就是不同的。这就是“动态”的含义。

BERT之后，模型进入“军备竞赛”。GPT-3/4展现了自回归大模型的惊人生成能力；T5把一切任务都变成“文本到文本”的格式；而BART这类编码器-解码器架构，则在生成任务上表现优异。复习这部分，一定要理清这些主流模型（ELMo, GPT, BERT, T5, BART）的架构差异（编码器/解码器/编码解码器）、核心预训练任务（MLM, NSP, 自回归语言建模） 和各自的优缺点。比如，问“为什么BERT不适合直接做文本生成？”你就要答：因为它的双向注意力机制在训练时看到了全文，而在生成时是无法看到未来词的，这会导致训练和推理的不一致。

语义角色标注（SRL） 是一个经典的语义分析任务，它要回答“谁对谁做了什么，在何时何地”。比如“小明昨天在公园用手机拍了照片”，SRL会标注出“小明”是施事者（Agent），“拍”是谓词（Predicate），“照片”是受事者（Patient），“昨天”是时间（Time），“在公园”是地点（Location）。这为更深层的语义理解打下了基础。

4. 核心应用任务（上）：信息抽取与机器翻译

学了一身本事，总要拿来用。NLP的应用任务很多，期末考最常聚焦的就是信息抽取、机器翻译、情感分析、问答和摘要这几大块。

信息抽取是从非结构化文本中挖出结构化信息，主要包括命名实体识别（NER）、关系抽取和事件抽取。NER就是找文本里的人名、地名、机构名等。现在主流方法都把它当成序列标注问题（用BIO或BIOES标签）。难点在于嵌套实体（比如“北京大学生”中，“北京大学”是机构，“大学生”是身份，两者嵌套），解决思路有基于Span（片段）的方法，或者把它转化为阅读理解问题（给定文本，问“机构名是什么？”）。关系抽取是找出实体之间的关系（如“马云-创立-阿里巴巴”）。传统方法是“流水线式”：先做NER，再对实体对分类。问题在于错误会传递。现在流行“联合抽取”，用一个模型同时抽实体和关系，效果更好。另一个重点是远程监督，它利用现有知识库（如维基百科）自动标注数据，假设包含某两个实体的句子都表达了知识库中它们的关系。但这会引入大量噪声，所以如何降噪（比如用多示例学习、注意力机制）是考点。

机器翻译是NLP的“皇冠”任务。从早期的规则方法到统计方法，再到现在的神经机器翻译（NMT），核心模型已经统一为序列到序列（Seq2Seq） 框架。这个框架你必须吃透：编码器把源语言句子压缩成一个上下文向量（或一组状态），解码器再从这个向量中生成目标语言句子。早期的RNN+Attention架构存在并行计算困难的问题。Transformer的提出彻底解决了这个问题，它的完全基于自注意力（Self-Attention）的架构，既能捕捉长距离依赖，又能高效并行训练。Transformer的核心是多头注意力机制，它允许模型同时关注来自不同位置的不同表示子空间的信息。在复习时，你可以自己画一下Transformer编码器-解码器的结构图，标出多头注意力、前馈网络、残差连接和层归一化的位置。机器翻译的评估指标BLEU也要了解，它主要是通过比较机器译文和参考译文之间的n-gram重合度来打分。

5. 核心应用任务（下）：情感分析、问答与摘要

情感分析看似简单，实则层次很深。最基础的是篇章或句子级情感分类（正面/负面/中性）。但更实用的是属性级情感分析，比如“手机的拍照功能很好，但电池续航太差”。我们需要识别出评价对象（“拍照功能”、“电池续航”）和对应的情感倾向（正面、负面）。这通常被建模为一个序列标注（找对象）加分类（判情感）的联合任务。情感分析的一大挑战是讽刺和反语，比如“这手机真棒，一天充三次电”，这需要更深层的语义和常识理解。

智能问答系统类型很多。知识库问答（KBQA）像查数据库，把自然语言问题转化成结构化查询（如SPARQL）。阅读理解（MRC）是给定一段文本，从中找答案，模型需要做文本匹配和推理。开放域问答（ODQA）最难，它没有限定文本来源，需要先从海量文档中检索相关段落，再进行阅读理解。现在的趋势是开放生成式问答，也就是像ChatGPT那样，直接生成答案，而不是从原文摘抄。这要求模型不仅有信息，还要能组织语言。复习时，要能说清这几类问答的区别和各自的技术路线。

文本摘要分抽取式和生成式。抽取式就是从原文中挑出重要的句子组成摘要，TextRank算法（类似PageRank）是经典方法，它把句子当节点，句子相似度当边，迭代计算句子重要性。生成式则是像人一样“重写”摘要，会生成原文中没有的新词句。主流模型是Seq2Seq+Attention，现在则被基于BART、T5等预训练模型的微调方法所主导。生成式摘要的难点在于如何保证事实一致性（不瞎编）和连贯性。考试可能会让你对比两种方式的优劣：抽取式忠实于原文但可能不连贯；生成式更流畅但可能失真或引入错误信息。

6. 前沿与热点：大模型、提示工程与知识图谱

课程的最后，一定会触及当前的最前沿。这部分理解概念和思想比死记硬背模型结构更重要。

大语言模型（LLM） 不仅仅是模型变大，更带来了范式的变革。它的核心能力是涌现和指令遵循。涌现是指当模型参数超过某个阈值后，突然表现出一些小模型没有的能力，比如复杂的推理。指令遵循则是通过指令微调和基于人类反馈的强化学习（RLHF） 调教出来的。RLHF分三步：先用指令数据微调一个初始模型（SFT）；然后训练一个奖励模型（RM）来学习人类对回答的偏好；最后用强化学习（如PPO）根据RM的奖励进一步优化模型。这个过程让模型输出更符合人类价值观和偏好。

提示工程（Prompt Engineering） 是我们与大模型交互的新方式。好的提示词能极大激发模型潜力。它包括设计清晰的指令、提供少量示例（小样本学习）、指定输出格式等。思维链（CoT） 提示是让模型“一步步思考”，对于数学、推理问题特别有效。比如在问题后加上“让我们一步步思考”，模型输出的答案正确率会显著提升。另一个技巧是自洽性（Self-Consistency），即让模型对同一个问题生成多个思维链和答案，然后投票选择最一致的答案，这能提高复杂问题的可靠性。

知识图谱是用图结构来存储知识，节点是实体，边是关系。它让知识变得可计算。构建知识图谱的关键技术就是前面讲的信息抽取。而知识表示学习（如TransE模型）把实体和关系也映射成向量，通过向量运算（如“国王 - 男人 + 女人 ≈ 女王”）来推理新知识，非常巧妙。知识图谱问答（KBQA）则是NLP与知识图谱的结合，通常先做实体链接，把问题中的词对应到图谱中的实体，再根据问题类型生成查询或直接检索答案。

7. 期末实战预测与备考策略

说了这么多理论，最后来点实在的，预测一下考题和分享我的备考心得。

根据往年真题和知识重点，我预测计算题/推导题很可能出现在以下几个地方：1) 语言模型概率计算：给定一个小的语料库，计算某个句子的n-gram概率，并应用一种平滑算法（如加一平滑）重新计算。2) 维特比算法解码：给出一个简单的HMM模型（状态转移矩阵、发射矩阵、初始概率）和一个观测序列，让你用维特比算法找出最可能的状态路径。3) 注意力分数计算：给一个小型的Query, Key, Value矩阵，手动计算一下注意力权重和输出。4) Transformer位置编码：根据正弦余弦公式，计算某个位置的位置编码向量。5) 评估指标计算：给一个分类结果混淆矩阵，计算准确率、精确率、召回率、F1值，或者画一下ROC曲线的关键点。

简答题/论述题的高频考点包括：1) 对比类题目：如RNN/LSTM/GRU的结构与优劣对比；Transformer与RNN/CNN在序列建模上的对比；GPT（自回归）与BERT（自编码）的预训练目标、架构与应用场景对比；流水线与联合信息抽取模型的优缺点。2) 机制阐述题：详细解释Self-Attention机制的计算过程与意义；解释BERT的MLM和NSP任务及其目的；解释梯度消失/爆炸问题及LSTM如何缓解它；解释Beam Search算法并讨论其优缺点。3) 概念应用题：如何用序列标注模型处理中文分词和NER；如何处理词性标注中的未登录词问题；结合具体例子说明什么是组合型歧义和交集型歧义。

备考策略上，我建议分三步走：第一步，建立骨架。用一天时间快速过一遍所有章节的标题和核心概念，画一个思维导图，把零散的知识点串联成网络。比如，从词向量（Word2Vec）到上下文词向量（ELMo/BERT），再到预训练范式（GPT/BART/T5），这是一条清晰的线。第二步，填充血肉。针对每个核心知识点，不仅要知道“是什么”，还要知道“为什么”和“怎么用”。比如Attention，要能说出它为解决RNN的长距离依赖和并行化问题而生，它的计算步骤是QK点积、缩放、Softmax、加权求和。第三步，实战演练。找往年的真题或课后习题，闭卷计时做。遇到不会的，不要马上看答案，先回顾相关知识点，尝试推导。对于编程题，即使用伪代码，也要把流程写清楚，比如实现一个Transformer的Self-Attention函数。

最后几天，把整理的错题和思维导图反复看。上考场前，深呼吸，记住NLP的终极目标是让机器理解并生成人类语言，所有技术都是为此服务的。带着这种整体观去答题，思路会更清晰。祝大家都能顺利通关！