近日，微电子所感知中心低功耗智能技术与微系统团队在低功耗人工智能领域研究取得新进展。
语音唤醒技术 （KWS, Keyword Spotting）是人工智能领域的重要技术，作为设备与系统的音频“开关”，其广泛应用于各种低功耗的智能芯片与微系统中。现有针对低功耗语音唤醒芯片的研究中，仍存在语音特征与网络模型精度不匹配的问题，阻碍了芯片功耗的进一步降低。
针对上述问题，感知中心科研团队提出了一种极轻量化、高准确率的二值化语音唤醒系统，其由基于误差扩散（Error-Diffusion，图1）的语音特征二值化方法和二值化卷积神经网络TC-BiReal8（图2）组成。通过将语音特征、网络激活值与网络权重值全部量化为1bit（+1，-1），该系统不仅显著降低了内存占用，同时削除了传统语音唤醒神经网络中所需的所有高位宽乘法操作，对极低功耗硬件实现极为友好。为解决二值网络带来的精度下降问题，团队在TC-BiReal8网络中提出了一种改进后的捷径（Improved shortcut）模块（图3），增强了二值化卷积模块中残差路径的表征能力。在GSCD(Google Speech Commands Dataset) v1标准语音数据集的单关键词与双关键词识别任务下，该系统的唤醒精度分别为98.54%和95.05%，对比2倍于系统存储的8bit DSCNN-m语音唤醒系统，分别高出了0.3%和1.98%，同时预估可实现17倍以上的归一化能耗节省，为后续该系统的低功耗硬件实现奠定了良好基础。
该成果的论文“A Binary Keyword Spotting System with Error-Diffusion Based Feature Binarization” (DOI: 10.21437/Interspeech.2023-258)被国际语音通信协会（ISCA）组织的语音领域顶级会议Interspeech 2023接收，团队被邀请作口头报告。微电子所助理工程师王丁仪为该文章的第一作者，微电子所王晓琴研究员、乔树山研究员为该文章的通讯作者。
论文信息链接：
1: https://www.isca-speech.org/archive/interspeech_2023/wang23b_interspeech.html
2: https://www.isca-speech.org/archive/interspeech_2023/index.html
图 1. (a)语音特征误差扩散流程，每个特征点量化过程中的量化误差会被扩散到周围的特征点上；(b) 实验过程中平衡精度与计算复杂度后使用的误差扩散系数核
图 2. TC-BiReal8网络结构
图 3. 改进捷径模块
综合信息