项目理念 |语言障碍手语翻译

项目名称：语言障碍手语翻译

简介：主要目标是将手语翻译成文字/语音。该框架为语言障碍者使用手语与世界其他地方交流提供了帮助。这导致消除了通常充当翻译媒介的中间人。通过为手势输入提供语音/文本输出，这将为用户提供一个用户友好的环境。

概念框架：
用户界面：
1、用户使用系统中应用程序的各种按钮进行操作。
一种。开始按钮： – 这将启动应用程序，因此用户（语言障碍者）将通过手势向应用程序提供输入。
湾。暂停按钮： – 这将导致应用程序暂停并暂时停止接受输入。
C。恢复按钮： – 这将使应用程序在短暂暂停后继续接受输入。
d。停止按钮： - 这将使应用程序停止，因此用户可以关闭应用程序。
2. 应用程序的输入将由连接到系统以识别手势的任何相机提供。

输出：
1. 将在单独的窗口中以文本的形式为各种手势提供输出。
2.文本输出可以进一步转换成语音使用文本到语音转换器
进一步顺畅的沟通。

数据结构和算法：
使用的算法：

1. 基于规则的分类器

2. 通过使用 HSV (Hue) 检测皮肤颜色的背景减法方法
饱和值）模型。

执行：
手指和手掌的检测基于 The Scientific World Journal Volume 2014 (2014) 期刊文章 ID 267872 (http://dx.doi.org/10.1155/2014/267872) 中描述的方法。在检测到手指和手掌之后，可以使用简单的规则分类器来识别手势，即我们将用适当的标签映射每个可能的手势，然后我们将捕获图像并将它们与标签匹配。标签序列将存储在我们基于美国手语的数据库中。然后通过将标签序列与我们的数据库进行匹配，我们将预测该人试图传达的内容并将手语适当地转换为文本，在进一步的步骤中，可以使用 Google 的 Text-to-speech API 将其转换为语音

使用的工具： OpenCV、python3、matplotlib、mySQL、MATLAB。

应用：该项目的主要应用是为语言障碍者提供交流帮助
那些不懂手语的人。由于模型的简单性，它也可以在智能手机中实现，并被视为我们未来的计划。

参考：科学世界期刊第 2014 卷 (2014)，文章 ID 267872
http://dx.doi.org/10.1155/2014/267872。

学院：国立技术学院，阿加尔塔拉

指导老师：
NIT –Agartala 助理教授 Parthasarathi De 先生
电子邮件：[e-mail] / 联系方式：08731812590

团队成员 ：
1. Satya PRAKASH 2. KAPIL KUMAR AHUJA
3. RAHUL THAKUR 4. VAMSI KRISHNA PENDYALA