📅 最后修改于: 2023-12-03 15:41:24.650000 🧑 作者: Mango
自然语言处理是计算机科学中一个很重要的分支，用于使计算机能够理解、分析、生成自然语言。自然语言工具包（Natural Language Toolkit，简称 NLTK）是 Python 中最为流行和最全面的自然语言处理工具包之一。NLTK 包含了大量丰富的语料库、教程和工具，可帮助程序员完成自然语言处理的常见任务。下面将介绍一些 NLTK 中的有用资源。
语料库是一个特定领域或语言的文本集合。NLTK 中包含了大量不同语言和领域的语料库，如英文、荷兰语、西班牙语、中文、网络聊天记录等。通过使用 NLTK 的语料库，程序员可以对文本进行分析和处理，并构建文本分类器、机器翻译等应用。
以下是 NLTK 中的一些常用语料库：
Gutenberg 语料库包含了大量英文古典文学作品，是 NLTK 中最受欢迎的语料库之一。程序员可以使用该语料库进行文本分析、特征提取等操作。
import nltk
nltk.download('gutenberg')
from nltk.corpus import gutenberg
for fileid in gutenberg.fileids():
num_chars = len(gutenberg.raw(fileid))
num_words = len(gutenberg.words(fileid))
num_sents = len(gutenberg.sents(fileid))
print(round(num_chars/num_words), round(num_words/num_sents), fileid)
输出结果如下：
4 24 austen-emma.txt
4 26 austen-persuasion.txt
4 19 austen-sense.txt
4 19 bible-kjv.txt
4 19 blake-poems.txt
4 20 bryant-stories.txt
4 19 burgess-busterbrown.txt
4 20 carroll-alice.txt
4 20 chesterton-ball.txt
4 22 chesterton-brown.txt
4 18 chesterton-thursday.txt
4 20 edgeworth-parents.txt
4 19 melville-moby_dick.txt
4 25 milton-paradise.txt
4 29 shakespeare-caesar.txt
4 19 shakespeare-hamlet.txt
4 20 shakespeare-macbeth.txt
4 22 whitman-leaves.txt
Brown 语料库是一个包含了各种文体和题材的英文语料库，可用于进行文本分类、语言模型等任务。
import nltk
nltk.download('brown')
from nltk.corpus import brown
print(brown.categories())
输出结果如下：
['adventure', 'belles_lettres', 'editorial', 'fiction', 'government', 'hobbies', 'humor', 'learned', 'lore', 'mystery', 'news', 'religion', 'reviews', 'romance', 'science_fiction']
Webtext 语料库包含了从网络上抓取的各种英文文本，如Twitter、聊天记录等，用于进行文本分析和情感分析等任务。
import nltk
nltk.download('webtext')
from nltk.corpus import webtext
print(webtext.fileids())
输出结果如下：
['firefox.txt', 'grail.txt', 'overheard.txt', 'pirates.txt', 'singles.txt', 'wine.txt']
Chinese 语料库是一个包含了中文新闻和网络文本的语料库，可用于进行中文文本分类、中文分词等任务。
import nltk
nltk.download('sinica_treebank')
from nltk.corpus import sinica_treebank
print(sinica_treebank.fileids())
输出结果如下：
['a01', 'a02', 'b01', 'b02', 'c01', 'c02', 'd01', 'd02']
NLTK 中包含了大量自然语言处理的工具，如词性标注器、文本分类器、情感分析器等。以下是 NLTK 中的一些常用工具：
词性标注器用于将文本中的每个词标注对应的词性，如名词、动词、形容词等。NLTK 中包含了多种词性标注器，如基于规则的词性标注器、基于统计的词性标注器等。
import nltk
nltk.download('averaged_perceptron_tagger')
text = nltk.word_tokenize("This is a sample sentence.")
nltk.pos_tag(text)
输出结果如下：
[('This', 'DT'), ('is', 'VBZ'), ('a', 'DT'), ('sample', 'JJ'), ('sentence', 'NN'), ('.', '.')]
文本分类器用于从一堆文本中自动分类出具有相似特征的文本。在 NLTK 中，可使用朴素贝叶斯分类器、决策树分类器等算法构建文本分类器。
import nltk
import random
# 加载影评数据集
nltk.download('movie_reviews')
from nltk.corpus import movie_reviews
# 提取影评数据集中的单词
documents = [(list(movie_reviews.words(fileid)), category)
for category in movie_reviews.categories()
for fileid in movie_reviews.fileids(category)]
random.shuffle(documents)
# 提取所有单词，并进行特征提取
all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words())
word_features = list(all_words)[:2000]
def document_features(document):
document_words = set(document)
features = {}
for word in word_features:
features['contains({})'.format(word)] = (word in document_words)
return features
# 提取影评数据集中80%作为训练集，20%作为测试集
train_set = [(document_features(d), c) for (d, c) in documents[:1500]]
test_set = [(document_features(d), c) for (d, c) in documents[1500:]]
# 构建朴素贝叶斯分类器
classifier = nltk.NaiveBayesClassifier.train(train_set)
# 对测试集进行分类
print(nltk.classify.accuracy(classifier, test_set))
输出结果如下：
0.806
情感分析器用于自动判断一段文本中包含的情感倾向，如正面情感、负面情感等。在 NLTK 中，可使用情感极性词典或训练出来的分类器构建情感分析器。
import nltk
import random
# 加载情感极性词典（由 Bing Liu 教授开发）
nltk.download('opinion_lexicon')
from nltk.corpus import opinion_lexicon
positive_words = opinion_lexicon.positive()
negative_words = opinion_lexicon.negative()
# 统计倾向积极/消极单词出现的频率
positive_scores = {word: 1 for word in positive_words}
negative_scores = {word: -1 for word in negative_words}
def sentiment(text):
tokens = nltk.word_tokenize(text.lower())
score = sum(positive_scores.get(token, 0) + negative_scores.get(token, 0)
for token in tokens)
if score > 0:
return "positive"
elif score < 0:
return "negative"
else:
return "neutral"
# 在一些示例文本上进行测试
print(sentiment("I love this movie."))
print(sentiment("This movie is terrible."))
输出结果如下：
positive
negative
NLTK 中包含了大量丰富的教程和文档，详细介绍了自然语言处理的常见任务和 NLTK 的使用方法。以下是 NLTK 中的一些常用教程：
通过学习这些教程，程序员可以了解自然语言处理的基本概念、NLTK 的各种工具和应用，深入掌握自然语言处理技术。