自然语言处理(NLP)是指使用自然语言(例如英语)与智能系统进行通信的AI方法。

当您希望像机器人这样的智能系统按照您的说明执行时，或者您希望听到基于对话的临床专家系统的决策等时，需要对自然语言进行处理。

NLP领域涉及使计算机利用人类使用的自然语言来执行有用的任务。 NLP系统的输入和输出可以是-

• 言语
• 书面文字

NLP的组成部分

在本节中，我们将学习NLP的不同组成部分。 NLP有两个组成部分。组件描述如下-

自然语言理解(NLU)

它涉及以下任务-

• 将给定的自然语言输入映射为有用的表示形式。

• 分析语言的不同方面。

自然语言生成(NLG)

它是从某种内部表示形式以自然语言形式生成有意义的短语和句子的过程。它涉及-

• 文本计划-这包括从知识库中检索相关内容。

• 句子计划-这包括选择所需的单词，形成有意义的短语，设置句子的语气。

• 文本实现-这是将句子计划映射到句子结构中。

NLU的困难

NLU的形式和结构非常丰富；但是，这是模棱两可的。可能存在不同程度的歧义-

词汇歧义

它处于非常原始的级别，例如单词级别。例如，将“ board”一词视为名词还是动词?

语法级别歧义

句子可以用不同的方式解析。例如，“他举起戴着红色帽子的甲虫。”-他是用盖帽举起甲虫还是举起了戴着红色帽子的甲虫?

参照歧义

用代词指代某物例如，里玛去了高里。她说：“我累了。”-究竟谁累了?

NLP术语

现在让我们来看一下NLP术语中的一些重要术语。

• 语音学-这是系统地组织声音的研究。

• 形态-这是从原始有意义单位构造单词的研究。

• 语素-它是语言中意义的原始单位。

• 语法-指安排单词组成句子。它还涉及确定单词在句子和短语中的结构作用。

• 语义-它关注单词的含义以及如何将单词组合为有意义的短语和句子。

• 语用学-它处理和理解不同情况下的句子，以及如何影响句子的解释。

• 话语-它处理紧接在前的句子如何影响下一个句子的解释。

• 世界知识-它包括有关世界的常识。

NLP中的步骤

本节显示了NLP中的不同步骤。

词法分析

它涉及识别和分析单词的结构。语言词典是指语言中单词和短语的集合。词法分析将txt的整个块划分为段落，句子和单词。

句法分析(解析)

它涉及分析句子中的单词以进行语法分析以及以显示单词之间关系的方式排列单词。英语句法分析器拒绝诸如“学校去男生”之类的句子。

语义分析

它从文本中得出确切的含义或字典的含义。检查文本是否有意义。它是通过在任务域中映射语法结构和对象来完成的。语义分析器忽略诸如“热冰淇淋”之类的句子。

话语整合

任何句子的含义取决于其前面句子的含义。另外，它还带来了紧接句子的含义。

语用分析

在此期间，所讲的内容将根据其实际含义进行重新解释。它涉及派生需要真实世界知识的语言方面。