Spacy 自定义句子分割

Spacy 是一个现代化的自然语言处理库，提供了许多有用的工具和算法，包括分词、命名实体识别、句法分析等等。在 Spacy 工具集中，自定义句子分割是很有用的一个功能。

为什么需要自定义句子分割？

在自然语言处理中，句子是对语意的基本单位。虽然在英文中通常使用句号来分割句子，但是并不是每个句号都表示一个完整的句子。比如说缩写词、省略号等等都可能会干扰句子分割的准确性。

因此，需要自定义句子分割来更好地处理一些特殊情况，例如：

• 分割包含缩写词的句子
• 分割使用省略号表示省略的句子
• 分割包含在括号内的句子

如何使用 Spacy 自定义句子分割？

Spacy 的自定义句子分割功能基于规则匹配（rule-based matching）实现。先定义规则，然后将规则应用到文本中，以符合规则的内容为基础进行分割。

下面我们以分割包含缩写词的句子为例，介绍如何使用 Spacy 自定义句子分割。

import spacy
from spacy.pipeline import SentenceSegmenter

nlp = spacy.load("en_core_web_sm")

# 定义自定义分割规则
def custom_sentence_segmenter(doc):
    for i, token in enumerate(doc[:-2]):
        # 检查是否包含缩写词（以 '.' 结尾）
        if token.text.endswith('.'):
            # 检查后一个字符是不是大写字符
            if doc[i+1].is_title:
                # 检查句号前面是不是缩写词的一部分
                if not doc[i-1].text.endswith('.'):
                    doc[i].is_sent_start = True
    return doc

# 创建自定义分割器
sentence_segmenter = SentenceSegmenter(nlp.vocab, strategy=custom_sentence_segmenter)

# 将自定义分割器添加到 nlp 的 pipeline 中
nlp.add_pipe(sentence_segmenter, before="parser")

# 对文本进行分割
doc = nlp("Mr. John Smith Jr. was born on Jan. 1, 1990. He graduated from Harvard University in 2012.")
for sent in doc.sents:
    print(sent)

上述代码中，我们先定义了一个自定义分割规则 custom_sentence_segmenter，用于检查缩写词和大写字母，以确定哪些位置是合适的句子分割点。

然后，使用 SentenceSegmenter 创建自定义分割器，并将其添加到 Spacy 的 pipeline 中。最后，我们对文本进行分割，并打印结果。结果如下：

Mr. John Smith Jr. was born on Jan. 1, 1990.
He graduated from Harvard University in 2012.

结论

使用 Spacy 的自定义句子分割功能可以帮助我们更好地处理包含特殊字符的句子分割的情况。只需要定义好规则，并将自定义分割器添加到 Spacy 的 pipeline 中，就可以方便地使用。