国家自然科学基金网“资助成果 ”报道：上海交通大学邹卫文教授团队提出了光子学与计算科学交叉的创新思路，研制了实现高速张量卷积运算的新型光子张量处理芯片，相关成果以“基于集成光子芯片的高阶张量流式处理（High-order tensor flow processing using integrated photonic circuits）”为题发表在2022年12月《自然•通讯》（Nature Communications）期刊上。论文链接：https://www.nature.com/articles/s41467-022-35723-2。
多维数据堆叠构成的张量形式是数据处理的高效形式，有利于发掘数据中的内在结构特征，在雷达、通信、人工智能、生命科学等领域得到广泛应用。随着未来信息技术的发展，数据生成速度呈现爆炸式增长，海量数据的多维堆叠及其高效快速处理成为当前面临的重要科学挑战。为应对这一挑战，传统电学处理器通常采用通用化矩阵乘法（Generalized Matrix Multiplication, GeMM）策略将高阶张量运算转化成为矩阵乘法运算，将多级嵌套的循环运算转化为并行运算，通过提升计算核心数量来增大张量处理的整体速度。然而，GeMM策略依赖于数据的大量复制，需要额外内存占用以及内存与处理器间的反复通信开销，是提升多维数据张量运算速度的核心瓶颈之一。
图1 光子张量处理芯片的原理架构
图2 光子张量处理芯片：（a）芯片封装照片；（b）芯片显微照片；（c）波分复用器的通道响应；（d）微环阵列的通道响应
邹卫文教授团队提出了基于光子集成手段构建张量运算过程的学科交叉研究思路，既可发挥出光学的宽带高速特性将运算时钟频率提升至数十GHz，又可利用光学的多自由度直接表征张量数据的不同维度。该思路无需进行张量到矩阵的转换，可实现输入张量到输出张量的流式计算（图1）。基于这一创新思路，该团队设计并研制了一款光子张量处理芯片（图2），综合利用了光学的波长、空间与时延三个自由度，在多通道图像上成功验证了时钟频率为20GHz的高速张量卷积运算，芯片算力密度为588 GOP/s/mm2，后续通过提升光子器件集成规模有望达到1TOP/s/mm2以上。团队利用该芯片构建了用于视频动作识别的卷积神经网络（图3），网络中的卷积层在光子张量处理芯片上完成，最终在KTH视频数据集上实现了97.9%的识别准确率，接近理想识别准确率98.9%。本研究成果表明光子集成芯片可在超高时钟频率下实现张量流式处理，解决额外内存占用与访存问题，为构建高性能计算、宽带信号处理等先进信息系统提供了新的技术途径。
图3 多通道图像卷积计算结果