当前位置：首页 > news >正文

用于手部康复设备的TinyML语音分类嵌入式人工智能模块

news 来源：原创 2025/8/3 6:40:54

论文标题

英文标题：TinyML Speech Classification Embedded AI Module for Hand Rehabilitation Device
中文标题：用于手部康复设备的 TinyML 语音分类嵌入式人工智能模块

作者信息

Arkorn Numsomran：Triam Udom Suksa Pattanakarn Suvarnabhumi School, Bangkok, Thailand
Arjin Numsomran（通讯作者）：Department of Instrumentation and Control Engineering, School of Engineering, King Mongkut’s Institute of Technology Ladkrabang, Bangkok, Thailand
Jutarut Chaoraingern：Department of Robotics and AI Engineering, School of Engineering, King Mongkut’s Institute of Technology Ladkrabang, Bangkok, Thailand

论文出处

核心内容概述

引言

本文提出了一种利用 TinyML 技术增强康复设备中语音分类功能的手部康复方法。该方法通过卷积神经网络（CNN）模型对不同手部运动模式的语音信号进行分类，帮助患者在康复过程中更有效地完成手部运动练习。研究重点在于开发一个能够在资源受限的 TinyML 平台环境中工作的语音分类系统，以提高康复设备的可及性、个性化和效率。

手部康复设备

文章介绍了一种基于 TinyML 的手部康复设备，该设备通过语音命令控制手部和手指的运动，特别适用于因受伤或关节炎等导致手指活动困难的患者。设备主要由以下部分组成：

手部康复手套：通过气动供应单元驱动，帮助手指完成运动范围内的动作，实现有效的康复练习。
嵌入式 AI 模块：采用 Wio Terminal 微控制器，具备集成的 Wi-Fi 和蓝牙连接功能，能够处理语音信号并将其转换为相应的动作指令，发送给驱动泵以执行预期操作。

语音处理与模式分类算法

语音处理：通过麦克风将声波转换为电信号，并将其数字化。利用傅里叶变换和梅尔尺度将语音信号转换为频谱图，以突出其基本特征。
模式分类算法：采用 CNN 模型处理梅尔频率倒谱系数（MFCCs），并将声音分类到不同类别。通过 Edge Impulse 的 TinyML 平台，该模型能够在小型、低功耗硬件上运行，无需持续的互联网连接。数据收集包括记录带有预定义标签（“hold”“release”和“environment”）的特定声音模式，以构建平衡的数据集。模型通过训练学习不同声音之间的差异，准确地对新的语音输入进行分类。

训练性能

训练结果显示，CNN 模型在语音分类任务中达到了 100% 的准确率和 0 的损失，成功地将输入分类为三个定义的类别：“hold”“release”和“environment”。通过混淆矩阵和 F1 分数评估模型性能，确保其在不同类别上的分类精度。

嵌入式设备部署

将训练好的模型部署到 Wio Terminal 微控制器上，通过语音识别系统实现对手部康复设备的控制。用户发出语音命令后，模型能够快速响应并执行相应的操作，如“hold”或“release”。该系统独立于互联网运行，具有低延迟、高可靠性和低功耗的特点，适合电池供电的长期应用。

实验结果与讨论

测试结果显示，模型在所有类别（“hold”“release”和“environment”）上均达到了 100% 的准确率，F1 分数为 1.00。在现实场景中，模型的平均误识率（FAR）为 2%，平均拒识率（FRR）为 20.8%。尽管模型在避免误激活方面表现出色，但在持续检测“hold”命令方面存在一些困难，需要进一步优化数据集或调整模型参数。此外，模型在嵌入式设备上的实时分类实验结果表明，其在不同类别上的分类准确率分别为：“hold”70%、“release”76%、“environment”86%。这些结果强调了在嘈杂环境中进一步降低噪声干扰或优化模型以提高语音分类可靠性的重要性。

结论

本研究成功展示了将 TinyML 技术与语音分类相结合，开发手部康复设备的可行性和有效性。通过人工神经网络，该系统能够以低资源消耗的方式识别与手部运动相关的语音模式，并在微控制器设备上实现运动控制。该研究不仅为手部康复治疗提供了新的可能性，还为开发更可持续、更易获取的医疗技术奠定了基础，为未来的康复护理创新树立了良好的榜样。