使用spaCy进行高效文本分类

学习目标

通过本课程，你将了解到如何使用spaCy库进行文本分类任务。你将了解如何准备数据、训练模型、评估模型性能，并将所学应用于实际项目中。

相关知识点

• 基于spaCy的文本分类

学习内容

1 基于spaCy的文本分类

1.1 背景介绍

spaCy是一个强大的自然语言处理库，它提供了大量的工具和模型来处理文本数据。在开始文本分类之前，了解spaCy的基本操作是必要的。spaCy支持多种语言，但本课程中将主要使用英语模型。

spaCy 支持两种主要的文本分类任务：

• 单标签分类：每个文本只属于一个类别（如情感分析中的 “积极” 或 “消极”）。
• 多标签分类：每个文本可以属于多个类别（如文章标签：“技术”、“教育”、“开源”）。

1.2 安装spaCy

首先，你需要安装spaCy库。可以通过pip命令轻松安装：

!wget https://model-community-picture.obs.cn-north-4.myhuaweicloud.com/ascend-zone/notebook_datasets/c89946b8316211f0ab56fa163edcddae/en_core_web_sm-3.7.1.tar.gz --no-check-certificate

%pip install wheel==0.44.0
%pip install en_core_web_sm-3.7.1.tar.gz

1.3 加载模型和文本处理

加载模型是使用spaCy的第一步。下面的代码展示了如何加载英语模型：

import spacy

# 加载英语模型
nlp = spacy.load('en_core_web_sm')

• 文本处理

加载模型后，可以使用它来处理文本。spaCy会自动进行分词、词性标注、命名实体识别等操作。下面是一个简单的例子：

# 处理文本
doc = nlp("spaCy is a powerful NLP library.")

# 输出分词结果
for token in doc:
    print(token.text, token.lemma_, token.pos_, token.tag_, token.dep_,
          token.shape_, token.is_alpha, token.is_stop)

1.4 文本分类模型的训练

文本分类是自然语言处理中的一个重要任务，spaCy提供了简单而强大的API来训练文本分类模型。接下来将详细介绍如何准备数据、构建模型和训练模型。

• 准备数据

文本分类任务的数据通常是一组文本及其对应的标签。数据准备是训练模型的第一步。下面是一个简单的数据集示例：

data = [
    ("I love this movie!", {"cats": {"POSITIVE": 1.0, "NEGATIVE": 0.0}}),
    ("This is a terrible movie.", {"cats": {"POSITIVE": 0.0, "NEGATIVE": 1.0}}),
    # 更多数据...
]

• 构建模型

TextCategorizer是 spaCy 中用于文本分类的核心组件，可将文本分配到一个或多个预定义类别中。它支持多种分类策略，并能与 spaCy 的其他处理组件（如分词器、实体识别器）无缝集成。一般用于情感分析、主题分类、意图识别和多标签分类等场景。

首先，需要创建一个空的nlp对象，然后添加TextCategorizer组件和添加标签：

import spacy
from spacy.util import minibatch, compounding

# 创建空的nlp对象
nlp = spacy.blank('en')

# 添加TextCategorizer组件
if 'textcat' not in nlp.pipe_names:
    textcat = nlp.add_pipe('textcat', last=True)
else:
    textcat = nlp.get_pipe('textcat')

# 添加标签
textcat.add_label('POSITIVE')
textcat.add_label('NEGATIVE')

可以打印查看已经添加的标签。

print(textcat.labels)

(‘POSITIVE’, ‘NEGATIVE’)

• 训练模型

训练模型时，需要将数据分成训练集和验证集。使用minibatch和compounding函数可以实现动态调整的批量大小，这有助于提高训练效率：

from spacy.training import Example
import random

# 训练参数
n_iter = 10
batch_sizes = compounding(4.0, 32.0, 1.001)

# 初始化模型（新增步骤）
def get_examples():
    for text, annotations in data:
        doc = nlp.make_doc(text)
        example = Example.from_dict(doc, annotations)
        yield example

nlp.initialize(get_examples)

# 训练模型
for i in range(n_iter):
    random.shuffle(data)
    batches = minibatch(data, size=batch_sizes)
    losses = {}  
    for batch in batches:
        # 将(text, annotation)元组转换为Example对象
        examples = []
        for text, annotations in batch:
            doc = nlp.make_doc(text)
            example = Example.from_dict(doc, annotations)
            examples.append(example)
        nlp.update(
            examples,      
            drop=0.5,      
            losses=losses  
        )

{‘textcat’: 0.25} {‘textcat’: 0.24638338387012482} {‘textcat’:
0.25997865200042725} {‘textcat’: 0.2385983169078827} {‘textcat’: 0.23593956232070923} {‘textcat’: 0.2443472146987915} {‘textcat’: 0.23879554867744446} {‘textcat’: 0.22506898641586304} {‘textcat’: 0.215664803981781} {‘textcat’: 0.21713194251060486}

1.5 模型评估与优化

训练完成后，spaCy提供了多种方法来评估模型，包括准确率、精确率、召回率和F1分数等指标。

• 评估模型

评估模型时，可以使用验证集中的数据。下面的代码展示了如何计算模型的准确率：

from spacy.scorer import Scorer
from spacy.training import Example

# 评估模型
def evaluate_model(nlp, textcat, texts, cats):
    # 创建Example实例列表
    examples = []
    for text, gold_cat in zip(texts, cats):
        doc = nlp.make_doc(text)
        example = Example.from_dict(doc, {"cats": gold_cat})
        examples.append(example)
    
    # 使用Scorer计算分数

    scorer = Scorer()
    scores = scorer.score_cats(
        examples,
        attr="cats",
        labels=textcat.labels,

    )
    
    return scores

# 准备验证集
test_texts = ["I really enjoyed the movie.", "The movie was awful."]
test_cats = [{"POSITIVE": 1.0, "NEGATIVE": 0.0}, {"POSITIVE": 0.0, "NEGATIVE": 1.0}]

# 评估模型
scores = evaluate_model(nlp, textcat, test_texts, test_cats)
print(scores)

{‘cats_score’: np.float64(0.5), ‘cats_score_desc’: ‘macro AUC’,
‘cats_micro_p’: 0.0, ‘cats_micro_r’: 0.0, ‘cats_micro_f’: 0.0,
‘cats_macro_p’: 0.0, ‘cats_macro_r’: 0.0, ‘cats_macro_f’: 0.0,
‘cats_macro_auc’: np.float64(0.5), ‘cats_f_per_type’: {‘POSITIVE’:
{‘p’: 0.0, ‘r’: 0.0, ‘f’: 0.0}, ‘NEGATIVE’: {‘p’: 0.0, ‘r’: 0.0, ‘f’:
0.0}}, ‘cats_auc_per_type’: {‘POSITIVE’: np.float64(0.5), ‘NEGATIVE’: np.float64(0.5)}}

• 优化模型

模型的性能可以通过多种方式优化，包括调整超参数、增加训练数据、使用更复杂的模型结构等。下面是一些常见的优化方法：

• 调整超参数：尝试不同的学习率、批量大小和训练轮数，找到最佳的组合。
• 增加训练数据：更多的数据通常可以提高模型的泛化能力。
• 使用更复杂的模型结构：例如，可以尝试使用深度学习模型，如LSTM或BERT。