工业物联网，包括半导体制造的晶圆制造EDA工具的研发会涉及大量工艺和设备参数，如何在保证企业敏感参数前提下，有效利用机器学习进行精确工艺仿真是目前的核心技术难点。联邦学习允许多个参与方在不披露原始训练样本的情况下，分布式、协同式地训练深度学习模型，可为隐私敏感、注重IP保护的智能物联网应用提供算法保障。但在传统的联邦学习框架中，客户端需执行包括前向和反向传播在内的多轮次密集计算，很可能超出典型物联网终端在计算性能、能量和存储容量方面所允许的上限。服务器和客户端之间的频繁通信也容易成为制约系统性能的瓶颈。行业亟需一种更高效的联邦学习框架，使这一隐私保护方案在物联网（IoT）系统中的部署成为可能。
近日，微电子所陈岚研究员团队提出了一种面向物联网应用的计算、通信高效的联邦学习框架“FedQNN”（图1），首次将超低位宽量化技术集成到联邦学习中，允许客户端以轻量化的定点格式执行绝大部分计算负载，极大地降低了计算功耗（图2，a）。在通信方面，本框架利用稀疏和量化策略对上行和下行数据进行压缩。在对多个数据集和模型的实验结果表明，本框架能在不明显影响模型精度的前提下，降低90% 的终端计算能耗、将模型尺寸压缩30倍以上，极大地减小了通信带宽需求和传输数据量（图2，b），显著降低了联邦学习的部署成本，提高了其在IoT系统中的实用性，为解决智能晶圆制造EDA工具领域的数据隐私保护问题提供了新方法。
上述研究成果以“FedQNN: a Computation-Communication Efficient Federated Learning Framework for IoT with Low-bitwidth Neural Network Quantization”为题发表在物联网领域国际顶级期刊《IEEE Internet of Things Journal》上 （DOI: 10.1109/JIOT.2022.3213650）。EDA中心博士生纪愚为文章第一作者，陈岚研究员为通讯作者。
图1. FedQNN算法的系统框架图
图2. 不同数据集下的学习曲线图
综合信息