自然语言处理 - 概述

自然语言处理 (NLP) 是人工智能 (AI) 的一个子领域。这是一种广泛用于个人助理的技术，用于各种业务领域/领域。该技术适用于用户提供的语音，将其分解以进行正确理解并进行相应处理。这是一种非常新且有效的方法，因此它在当今市场上有很高的需求。自然语言处理是一个即将到来的领域，其中已经实现了许多转变，例如与智能设备的兼容性、与人类的互动对话。知识表示、逻辑推理和约束满足是人工智能在 NLP 中应用的重点。在这里，它首先应用于语义，然后应用于语法。在过去十年中，NLP 研究发生了重大变化，导致机器学习和数据挖掘等统计方法的广泛使用。由于当今需要完成的工作量，对自动化的需求永无止境。 NLP 是一个非常有利的方面，但在自动化应用程序方面。 NLP 的应用使其成为实现机器学习最受欢迎的方法之一。自然语言处理 (NLP) 是一个结合计算机科学、语言学和机器学习来研究计算机和人类如何用自然语言进行交流的领域。 NLP 的目标是让计算机能够解释和生成人类语言。这不仅提高了人类工作的效率，还有助于与机器进行交互。 NLP 弥合了人与电子设备之间交互的鸿沟。

在职的

该领域分为三个不同的部分：

语音识别——将口语翻译成文本。
自然语言理解 (NLU) — 计算机理解我们所说内容的能力。
自然语言生成 (NLG) — 计算机生成自然语言。

NLU 和 NLG 是描述 NLP 设备工作的关键方面。这两个方面彼此非常不同，并且使用不同的方法来实现。

语音识别：

首先，计算机必须将自然语言转化为人工语言。这就是语音识别或语音到文本的作用。这是 NLU 的第一步。
隐马尔可夫模型 (HMM) 用于当今大多数语音识别系统。这些是使用数学计算来确定您所说的内容以便将您的语音转换为文本的统计模型。
HMM 通过听你说话，把它分解成小单元（通常是 10-20 毫秒），然后将它与预先录制的语音进行比较，以确定你在每个单元中说出的音素（音素是最小的语音单位）来做到这一点). 然后程序会检查音素序列并使用统计分析来确定您说的最可能的单词和句子。

自然语言理解（NLU）：

NLP 的下一步也是最难的一步，是理解部分。
首先，计算机必须理解每个单词的含义。它试图弄清楚这个词是名词还是动词，是过去时还是现在时，等等。这称为词性标注 (POS)。
NLP 系统中还内置了一个词典（一个词汇表）和一组语法规则。 NLP 最难的部分是理解。
机器应该能够通过过程的结论掌握你所说的内容。在考虑诸如具有多种含义的单词（多义词）或具有相似含义的不同单词（同义词）等问题时，要实现这一点有几个挑战，但开发人员将规则编码到他们的 NLU 系统中并训练他们学习正确应用规则。

自然语言生成（NLG）：

NLG 实现起来要简单得多。 NLG 将计算机的人工语言转换为文本，还可以使用文本到语音技术将该文本转换为可听语音。
首先，NLP 系统确定哪些数据应该转换为文本。如果您向计算机询问有关天气的问题，它很可能会进行在线搜索以找到您的答案，然后它会决定温度、风和湿度是应该向您大声朗读的因素。
然后，它组织了它将如何表达的结构。除了向后之外，这类似于 NLU。 NLG 系统可以使用一个词典和一组语法规则来构造完整的句子。
最后，文本到语音将接管。文本转语音引擎使用韵律模型来评估文本并识别中断、持续时间和音调。然后引擎使用语音数据库将所有记录的音素组合成一个连贯的语音字符串。

与自然语言处理相关的技术

机器翻译： NLP 用于通过计算机将语言从一种语言翻译成另一种语言。

Chatterbots： NLP 用于通过听觉或文本方法与其他聊天机器人或人类交流的聊天机器人。

AI 软件： NLP 用于问答软件中，用于知识表示、分析推理以及信息检索。

自然语言处理 (NLP) 的应用：

垃圾邮件过滤器：电子邮件最令人恼火的事情之一就是垃圾邮件。 Gmail 使用自然语言处理 (NLP) 来辨别哪些电子邮件是合法的，哪些是垃圾邮件。这些垃圾邮件过滤器会查看您收到的所有电子邮件中的文本，并尝试弄清楚它是否是垃圾邮件的含义。

算法交易：算法交易用于预测股市状况。使用 NLP，这项技术检查有关公司和股票的新闻标题，并尝试理解它们的含义，以确定您是否应该买入、卖出或持有某些股票。

回答问题：通过使用 Google 搜索或 Siri 服务，可以看到 NLP 的实际应用。 NLP 的一个主要用途是让搜索引擎理解我们所询问的内容的含义，并生成自然语言来为我们提供答案。

总结信息：在互联网上，有很多信息，其中很多是以长文档或文章的形式出现的。 NLP 用于破译数据的含义，然后提供更简短的数据摘要，以便人类可以更快地理解它。

未来范围：

机器人：聊天机器人通过在白天或晚上的任何时间回答询问并向客户推荐相关资源和产品来帮助客户快速找到重点。为了有效，聊天机器人必须快速、智能且易于使用。为此，聊天机器人使用 NLP 来理解语言，通常是通过文本或语音识别交互

支持隐形 UI：我们与机器的几乎所有连接都涉及人类的口头和书面交流。亚马逊的 Echo 只是未来让人类与技术更密切接触的趋势的一个例证。隐形或零用户界面的概念将依赖于用户和机器之间的直接通信，无论是通过语音、文本还是两者的结合。 NLP 有助于使这个概念成为现实。

更智能的搜索： NLP 的未来还包括改进的搜索，这是我们在 Expert System 上讨论了很长时间的事情。更智能的搜索允许聊天机器人了解客户的请求，可以启用“像你说话一样搜索”功能（很像你可以查询 Siri），而不是专注于关键字或主题。谷歌最近宣布将 NLP 功能添加到 Google Drive，允许用户使用自然语言搜索文档和内容。

未来的增强：

像谷歌这样的公司正在试验深度神经网络 (DNN)，以突破 NLP 的极限，使人与机器的交互感觉就像人与人之间的交互。
基本词可以进一步细分为适当的语义并用于 NLP 算法。
NLP 算法可用于当前不可用的各种语言，例如区域语言或农村地区使用的语言等。
在更广泛的范围内将一种语言的句子翻译成另一种语言的相同句子。