📜  Python -Bigrams

📅  最后修改于: 2020-11-06 06:20:45             🧑  作者: Mango


一些英语单词在一起出现的频率更高。例如-天高,成败,表现最佳,下大雨等。因此,在文本文档中,我们可能需要识别出这对单词,这将有助于情感分析。首先,我们需要从现有句子中生成这样的单词对,并保持其当前顺序。这样的对称为二元组。 Python具有作为NLTK库的一部分的bigram函数,该函数可以帮助我们生成这些对。

import nltk

word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)      

print(list(nltk.bigrams(nltk_tokens)))

当我们运行上面的程序时,我们得到以下输出-

[('The', 'best'), ('best', 'performance'), ('performance', 'can'), ('can', 'bring'), 
('bring', 'in'), ('in', 'sky'), ('sky', 'high'), ('high', 'success'), ('success', '.')]

该结果可用于统计结果中给定文本中此类对的频率。这将与本文正文中的描述的总体感相关。