作为一种无创的成像技术，功能磁共振（fMRI）通过检测血氧浓度来推断大脑的活动状态，在认知科学以及精神疾病研究中被广泛应用。但是fMRI影像具有维度高、信噪比低等特点，基于fMRI的脑疾病分类问题通常具有高维小样本的特点，常用的解决方案是采用脑模板或者独立成分分析等对原始的fMRI脑区进行划分，然后计算兴趣脑区或空间成分的时间序列相关值（Time Courses, TCs）得到脑功能连接矩阵，并在此矩阵的基础上做后续分析。功能连接矩阵可以视作是一种对原始fMRI序列便捷的人工特征提取方法，而其中的时序动态变化信息并没有充分被充分地利用到分类中，如能将此部分损失信息加以有效利用，则对于提高fMRI的分类诊断能力具有重要意义。随着深度学习技术的发展，循环神经网络模型（LSTM, GRU等）以其优秀的非线性隐状态建模能力，在序列分析领域的性能普遍超过了传统的线性模型。 

　　受此启发，中国科学院自动化研究所脑网络组研究中心隋婧研究组提出了多尺度卷积循环神经网络算法（Multi-scale RNN），该算法能够直接在时间序列(TC)上使用RNN模型自动学习fMRI的时间-空间特征，突破了现有fMRI分析“先借助时间序列构建功能连接矩阵再分类”的传统框架。在此项研究中，采用了改进GRU模型作为序列处理的基本模型。由于功能磁共振时间序列信噪比高的特点，将TCs直接作为GRU的输入并不能得到最优的分类性能。因而在GRU模块之前引入了多尺度的一维卷积核进行初级特征提取和滤波。多尺度卷积核的另一个功能是在不同时间尺度上自动学习各脑区之间的交互关系。多尺度卷积核与GRU的配合可以充分发掘fMRI信号中蕴含的时间-空间信息，模型的具体结构如图1所示。 

　　依托前期“973”项目，脑网络组中心建立了千例级的精神分裂症脑影像学数据库。上述提出的MsRNN算法在1100例的多中心数据测试中，相比已有流行算法（支持向量机，随机森林，Adaboost）显著提升了精神分裂症的分类精度，整体分类精度达到83%，跨站点预测精度均值为80.2%，如图2；并通过“留一特征法”遍历分析每个特征对于分类的贡献度大小，发现了区别诊断贡献最显著的脑区集中于纹状体和小脑，提高了算法的可解释性，有助于寻找疾病相关的影像学标志物。该研究提出的模型亦可拓展至其它类型的生理序列信号研究中，为脑电、脑磁图等信号的分析提供了新的解决方案，具有广阔的应用前景。相关成果近期发表于The Lancet旗下综合性子刊EBiomedicine，第一作者为脑网络组中心博士生燕卫政，题目为Discriminating schizophrenia using recurrent neural network applied on time courses of multi-site FMRI data。 

　　论文链接