人工智能学院段书凯教授、周广东研究员团队，联合南方科技大学周菲迟教授团队，成功研制出了新型光电多模态忆阻器及基于全光电忆阻器阵列的全硬件人工视觉系统，高度集成多种图像功能于一体。该工作发表在《自然·通讯》Nature Communications上。

传感器内计算和近传感器计算正在成为高密度和低功耗传感处理的下一代计算范式。为了实现高密度和高效的神经形态视觉系统，完全模拟人类视觉系统中视网膜和视觉皮层的分级结构，亟需开发用于多层级处理的新兴多模态神经形态器件和具有多种图像处理功能的全硬件实现的系统。团队展示了一种基于改性丝素蛋白 (MSFP) 的新兴多模态多功能的光电忆阻器阵列，它同时具备纯光控阻变存储（ORRAM）模式及电学阻变存储（RRAM）模式。首次实现了具有多种图像处理功能的全硬件人工视觉系统，包括ORRAM模式阵列用于传感器内图像预处理（对比度增强、背景去噪、特征提取）以及ERRAM模式阵列用于近传感器高级图像识别，这一设计将大程度提高了集成密度，简化了电路设计以及制造和集成复杂度（图1）。

图1 基于光电双模态阻变存储器的神经形态视觉系统

团队基于新型的光电功能材料-改性丝素蛋白 (MSFP)为功能层实现了Au/MSFP/Au双端结构的双模态光电忆阻器，其同时具有光强依赖的正光电导存储效应(Positive photoconductance memory effect, PPM)和负光电导存储效应(Negative photoconductance memory effect, NPM)，以及电学模拟阻变存储特性，如图2所示。这一双模态光电忆阻器主要是通过丝素二级结构中螺旋结构解旋形成高导电的片状折叠结构和低导电的转角结构来实现的。光电不同刺激作用下，高导电的片状折叠结构和低导电的转角结构比例不同，从而产生独特的PPM和NPM 效应，如图2所示。

图2 改性丝素功能材料、光电双模态忆阻器及二级结构转变主导的阻变机制

   基于这一光电双模态器件特性，团队首次实现了基于全光电忆阻器阵列全硬件人工视觉系统，可支持多功能图像处理功能，如图4所示。基于光模态阵列中的独特PPM和NPM效应及部署新型光卷积计算实现多种传感器内图像预处理功能（对比度增强、背景去噪、特征提取）；基于电模态阵列部署存内卷积计算实现高阶图像识别功能。这一新型全硬件人工视觉系统的设计可有效提升系统集成密度，简化了电路设计、制造工艺和集成复杂性，同时有效提升图像处理的效率和准确度，如图3所示。

图3. 全硬件人工视觉系统及多种图像处理功能

人工智能学院周广东研究员为论文第一作者，段书凯教授为末位通讯作者，南方科技大学周菲迟教授为共同通讯作者。该论文得到了国家自然科学基金、重庆市自然科学基金、广东省自然科学基金等资助。

文章链接：https://doi.org/10.1038/s41467-023-43944-2