边缘人工视觉系统因其在自动驾驶、智能家居、视频监控等场景的大量应用，已成为一个备受关注的研究领域。传统的人工视觉系统由于采用“感—存—算”分离的架构，大量冗余传感数据在不同模块间的频繁迁移导致了系统高延迟、高功耗。采用神经形态计算技术，开发集成传感、存储和处理与一体的感内或近感计算人工视觉系统是解决这一问题的重要途径之一。储池计算是一种计算复杂度低、能耗小的神经形态计算技术，非常适合与传感器结合应用于资源受限的边缘端。但由于储池权重固定，在降低训练成本的同时，其网络适应能力受到限制，难以应用于复杂多变的实际环境。
针对这一问题，微电子所微电子器件与集成技术重点实验室刘明院士团队的尚大山研究员同北京师范大学何聪丽博士、香港大学王中锐博士和中科院物理所张广宇研究员团队合作，利用二维单层MoS2场效应管（FET）光电非线性响应机制和动力学特性，结合生物视觉系统中水平细胞反馈机制，开发了具有明/暗光自适应功能的感算一体延时储池计算技术。
生物视网膜中存在亮度响应阈值不同的两类光感知器细胞，即视锥细胞和视杆细胞，分别适用于明亮和昏暗环境下的视觉行为。这两类光感知细胞通过水平细胞的反馈机制进行动态调制，使视觉系统的光敏程度可随着环境光强的增加（减小）而增强（减弱），从而实现明暗视觉适应功能。受生物视网膜启发，团队采用单层MoS2为沟道材料、HfO2薄膜为栅电介质、Si/SiO2为衬底的背栅结构光电FET器件，通过数学建模定量描述了器件受光强调制的转移特性和受栅压调制的光电流衰退过程，并基于器件测试数据构建了光电延时储池计算模型，实现了对动态视觉信息的识别。团队在光电延时储池网络基础上，从仿生角度出发，借鉴视网膜水平细胞调制机制，研发了轻量化水平调制神经网络模块，利用栅压调控机制模拟光感知细胞光敏特性的切换过程，实现了储池计算的自适应调制过程，在混合光强MNIST数据集上的识别率得到显著提升。与固定结构的延时储池计算相比，自适应延时储池计算充分利用了器件的光电动力学可调特性，提高了系统的泛化能力和不同环境下的稳定性，并保留了储池计算硬件友好、网络轻量化、训练成本低等特点。该结果为开发可用于边缘智能的高能效、自适应的仿生视觉系统提供了参考。
该项研究得到了科技部、国家自然科学基金委、中科院和香港大学的支持。成果近期发表在《先进光学材料》期刊上（Advanced Optical Materials, DOI: 10.1038/s42256-023-00609-5），微电子所专业硕士研究生江南佳为文章的第一作者。
图1 a）二维单层MoS2光电FET阵列；b）器件在不同输入光功率下的转移曲线；c）不同栅压下光电流Iph与光照强度的依赖关系；d）不同栅压下的归一化光电流衰退曲线；e）器件非线性光响应动态累积过程；f）不同栅压下器件的动态响应范围（DPR）
图2 a）混合光强MNIST手写数字数据集示意图；b）具有水平调制（HM）网络模块的延进储池的视觉自适应工作流程；c）栅压调制下器件动力学响应过程；d）光电自适应延时储池计算过程示意图；e）基准网络（左）、小调制范围网络（中）和大调制范围网络（右）识别率；f）初始储池网络（黑）、小调制范围网络（蓝）和大调制网络（红）的识别率比较
文章链接：
Bio-inspired in-sensor reservoir computing for self-adaptive visual recognition with two-dimensional dual-mode phototransistors
Najia Jiang, Jian Tang, Woyu Zhang, Yi Li, Na Li, Xiuzhen Li, Xi Chen, Renrui Fang, Zeyu Guo, Fei Wang, Jun Wang, Zhi Li, Congli He, Guangyu Zhang, Zhongrui Wang, Dashan Shang
Advanced Optical Materials DOI: 10.1002/adom.202300271 (2023)
科研工作