首页 > 行业资讯 > 复旦大学刘琦教授团队《Adv. Mater.》：异质集成多模态感知神经元阵列

复旦大学刘琦教授团队《Adv. Mater.》：异质集成多模态感知神经元阵列

时间：2022-04-23 来源：浏览：

复旦大学刘琦教授团队《Adv. Mater.》：异质集成多模态感知神经元阵列

原创化学与材料科学化学与材料科学

化学与材料科学

微信号 Chem-MSE

功能介绍聚集海内外化学化工、材料科学与工程、生物医学工程领域最新科学前沿动态，与相关机构共同合作，发布实用科研成果，结合政策、资本、商业模式、市场和需求、价值评估等诸要素，构建其科技产业化协同创新平台，服务国家管理机构、科研工作者、企业决策层。

收录于合集

#多模态融合 1 个

#传感器 2 个

#忆阻器 3 个

#脉冲神经元 1 个

#物体分类 1 个

点击蓝字关注我们

躯体感受系统中的多模态感知可以帮助人们获得更全面的物体属性，并对物体的状态做出准确判断。例如，压力和温度的信息可以被机械感受器和热感受器分别感知并通过传入神经元编码成动作电位序列。特别地，不同受体的感觉信号在一定的条件下还可以被神经元整合并发送到大脑皮层作进一步处理（图 1a ）。与单模态感知相比，多模态融合感知在评估物体属性和提高物体识别精度方面具有明显优势。然而，在传统的人工感知系统中，多模态信息的处理多采用串行计算架构，传感信号需要转换为数字模式才能被处理器处理，产生了较大的功耗和通信带宽开销。此外，传统半导体技术在脉冲域构建这种多模态感知系统还面临着器件集成和电路复杂性方面的挑战。因此，迫切需要开发更高效的多模态融合感知硬件方案。生物感知系统具有并行分布式感官信息处理、低能耗、高容错性等特点，显示出克服传统困境的巨大潜力。

受此启发，近日，复旦大学刘琦教授团队在国际知名学术期刊《 Advanced Materials 》上在线发表了题为 “ A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification ” 的研究论文。作者报道了一种结构紧凑的多模态融合感知脉冲神经元（ MFSN ）阵列，该阵列由异质集成的压力传感器和 NbO _x 忆阻器构成（图 1b ），其中压力传感器来感知压力， NbO _x 忆阻器来产生脉冲输出并感知温度变化。当压力和温度两种激励同时作用于 MFSN 时，多模态的模拟感觉信息可以融合为一个脉冲序列，显示了其优异的数据压缩和脉冲转换能力。此外，通过解耦输出脉冲的频率和振幅，还可以从融合信号中获得独立的压力和温度信息，支持了神经元对于单模态信息的保真度和多模态感知能力。作者进一步将 MFSN 阵列与脉冲神经网络（ SNN ）结合构建了一种人工多模态感知系统，成功地模拟了人体躯体感觉系统对于多模态信息（温度和压力）的感知和对于多模态物体（不同温度、重量和形状的物体）的分类能力。该工作使构建高效的多模态脉冲感知系统成为可能，为发展高智能机器人技术提供了新思路。

图 1 . 生物躯体感觉 系统与人工体 躯体感觉 系统。 (a) 人手感知杯子的温度、重量和水杯形状的示意图。生物躯体感觉系统可以通过单模态和多模态通路来区分两个具有不同温度、重量和形状的杯子。 (b) 人工躯体感觉系统由 MFSN 阵列和 SNN 分类器组成，以模拟触觉感知。 MFSN 单元由一个压力传感器和一个 NbO _x 忆阻器组成。 MFSN 单元的输出频率受压力强度和温度的影响，而脉冲的输出振幅只取决于温度。

图 2 . 神经元电路的工作原理及其输出特性。 (a) NbO _x 忆阻器在 500μA 限制电流下的 I-V 曲线（ 50 次）。插图显示了 NbO _x 忆阻器的器件结构图。 (b)MFSN 的电路示意图。神经元电路由一个压力传感器 (R _P ) ，一个 TS 忆阻器，一个 100Ω 监测电阻器 (R _M ) ，以及来自寄生或外部连接的电容器 (C) 。 (c) 在恒定输入电压为 5V 时，在 V _M 端监测到神经元电路的输出电压和电压脉冲。 R _P 的电阻约为 10 kΩ ，连接的 C 为 1 nF 。 (d) 不同压力下输出脉冲的特性。 (e) 在不同的压力下，输出电压脉冲幅值的统计数据（ V _{M_amp} ) ，阈值电压（ V _TH ），和保持电压（ V _H ) 。 (f) 不同压力下脉冲输出频率的统计数据。

图 3 . NbO _x 忆阻器的热响应 和 MFSN 在不同温度下的输出特性。 (a)NbO _x 在 20~65℃ 温度下的直流 I-V 曲线。 (b) NbO _x 器件在直流模式下运行（左）的核壳模型示意图和 NbO _x 忆阻器结构示意图（右）。 (c) 在 20 、 40 和 60℃ 温度下的 I-V 曲线的实验结果和模拟结果。 (d) 在 20 、 40 和 60℃ 的温度下，恒定输入电压为 4V 的 MFSN 的输出峰值特性。 (e) 在不同的温度下（从 20 到 65℃ ）输出电压脉冲振幅的变化曲线（ V _{M_amp} ) ，阈值电压（ V _th ），和保持电压（ V _H ) 。 (f) 在 (e) 中所示的相同测试条件下，神经元输出频率与温度的曲线。

图 4 . 压力和温度信息的解耦以及 MFSN 阵列在多模态触觉感知和增强模式识别中的应用。 (a) 阈值电压 (V _TH ) 相对于压力传感器的电阻 (R _P ) 和温度的二维曲线。 (b) 输出频率 (F) 相对于 R _P 和温度二维曲线。 (c)V _TH 作为 R _P 和温度函数的三维直方图。 (d)F 作为 R _P 和温度函数的三维直方图。 (e) 人手在三种不同温度（分别为 20 、 40 和 60℃ ，以青色、橙色和粉红色表示）下感知带有压力噪声的三种模式 (“n” 、 “v” 和 “z”) 的示意图。左边的融合图包含压力和温度信息。右上角为 3×3 MFSN 阵列的光学图像。 (f) 在三种不同的感知模式（压力模式、温度模式和多感觉融合模式）和两种加热温度（ 40 和 60℃ ）下训练的 SNN 分类器所获得的精度。

图 5 . 基于模拟的 20×20 的 MFSN 阵列的 物体 分类。 (a) 八个不同形状、温度、重量的杯子和相应的频率模式。 (b) 由 400 个输入神经元、 50 个隐藏神经元和 8 个输出神经元构成的 SNN 示意图。 (c) 在三种不同模式（压力、温度和多模态模式）下，神经网络训练精度的演化。 (d) 实际分类输出与预期输出的混淆矩阵。

原文链接

https://onlinelibrary.wiley.com/doi/abs/10.1002/adma.202200481

复旦大学刘琦教授团队《Adv. Mater.》：异质集成多模态感知神经元阵列

复旦大学刘琦教授团队《Adv. Mater.》：异质集成多模态感知神经元阵列

微信公众号

小编微信