多模态情感转译手语手套

问题与系统目标

手部动作与语音情绪来自不同模态，信息形式和不确定性各不相同。本项目通过两条链路，使预定义手势转换为语言输出，并让声学与语义信息形成可穿戴反馈。

研究场景以有限动作类别和沟通辅助原型为基础，关注多模态交互信息的获取、融合与反馈。

感知与反馈方法

采集手指与惯性传感器数据，完成带标签样本整理、训练和实时预测。模型针对预定义动作类别，重点在于保持采集格式、特征和推理过程一致。

声学通道使用 Wav2Vec2 特征与 MLP，语义通道从语音转写文本分析情绪。融合逻辑区分信息一致、冲突和低置信度情况，再形成显示与振动指令。

个人贡献与工程迭代

• 除三维建模与 PPT 外，基本独立完成方案、硬件搭建、Arduino 固件及 Python 程序集成。
• 完成传感数据采集、手势分类训练与预测流程，并集成声学和语义分析模块。
• 联调 OLED、振动马达及 BLE 通信，记录不同硬件与固件版本的运行问题。
• 对比数据订阅与反馈写入链路的稳定性，分析采集可用而反馈断连的系统瓶颈。

项目成果

完成手套原型、Arduino 固件及电脑端处理程序，形成采集、训练、预测的手势处理流程，以及声学、语义融合和显示/振动反馈模块。通过多轮硬件和程序迭代积累了传感、无线通信与可穿戴系统的联调经验。

作品《多模态情感转译手语外骨骼》获第十四届未来设计师 NCDA 全国总决赛本科生组国家级三等奖，获奖署名为第二作者。

后续评估

• 按使用者或采集会话划分训练与测试，避免相邻采样帧混入不同集合。
• 报告各动作的混淆矩阵、分类指标及拒识行为，分析未见动作。
• 比较声学单通道、语义单通道与融合策略，单独检查冲突和低置信度输入。
• 测量反馈成功率、端到端延迟和持续连接时间，再开展交互体验评估。