三维成像通过提取空间深度信息来重建物理世界，是机器人、增强现实、精密医疗和工业加工等领域的核心感知技术。其基本原理依赖于前端传感器件与后端算法的集成。传统的 3D 成像方法通常分为主动式和被动式策略。主动方法如结构光（structured light）和飞行时间（time-of-flight, ToF）通过分析投射到场景中的受控光信号来推算深度；被动技术如立体视觉（stereovision）则通过计算环境光带来的视差来估计深度。尽管已广泛应用，但传统方法面临着固有的物理和操作限制：主动系统功耗高且光学组件体积大，而被动系统则易受计算延迟的影响，且在纹理不足的环境中表现不佳。目前后端算法（特别是人工智能驱动的算法）对数据的丰富性、时间保真度和光学编码提出了更高要求，使得传统的电荷耦合器件（charge-coupled device, CCD）和互补金属氧化物半导体（complementary metal oxide semiconductor, CMOS）传感器逐渐暴露出实时处理能力差和能效比低等瓶颈。
有鉴于此，华南师范大学陈杰威教授、朱成义副教授与香港理工大学柴扬教授课题组合作，系统介绍了算法驱动的新型前端传感器，涵盖了从传统架构向高度集成框架的演化过程。本综述指出，下一代 3D 成像系统的突破在于硬件与算法的协同设计，即从传统的感知与计算分离向集成的感内处理（in-sensor processing）架构转变。作者详细分析了包括事件相机（event cameras）、单光子雪崩二极管阵列（single-photon avalanche diode arrays, SPAD arrays）以及神经形态成像器（neuromorphic imagers）在内的新型光电平台，以及超表面（metasurfaces）、集成波导（integrated waveguides）等光子架构。这些新型器件实现了光学编码（optical encoding）、稀疏采集（sparse acquisition）和感内卷积等功能，有效解决了传统传感器的“内存墙”问题。该综述展示了通过将特征提取功能迁移至感知终端，可以从根本上降低系统的延迟与功耗，为自动驾驶和工业在线检测等实时感知应用提供了坚实的硬件基础。
图1: 算法驱动的 3D 成像新兴器件。 后端重建算法的进步推动了可重构光电芯片、超表面、事件传感器及神经形态传感器的发展，实现了深度光学编码、稀疏数据采集及感内计算功能。硬件与算法的协同设计提升了实时性能、功率效率和成像精度。
图2：传统的 3D 成像器件。 (a, b) 用于 3D 成像的 CCD 相机。 (c) CMOS 相机的内部结构。 (d) 用于 3D 成像的 CMOS 相机。 (e) RGB-D 相机的物理结构。 (f) RGB-D 相机在 3D 成像中的应用。
图 3：新兴的 3D 成像光电器件。 (a, b) 使用事件相机进行的 3D 重建。 (c, d) 利用 SPAD 阵列相机实现的超高分辨率多光谱快照3D成像。 (e) 用于神经形态视觉系统的光电传感器阵列。 (f) 用于单目 3D 视差重建的异质结构晶体管阵列。
图 4：新兴的 3D 成像光子器件。 (a) 用于体内光场编码内窥成像的单根多模纤维。 (b) 无透镜超薄纤维束尖端的叠层衍射内窥镜。 (c) 基于大规模微机电系统的硅光子激光雷达(LiDAR)。 (d) 用于超宽视野和四维感知的SiN-on-SOI 光学相控阵激光雷达。 (e) 基于超器件的点云投影单次曝光3D成像。 (f) 基于超表面的全空间结构光三维成像。
图 5： 3D 成像的应用场景。 (a) Driv3R：面向自动驾驶的稠密四维重建学习框架。 (b) Multi-3D-Memory 算法流程图。(c) 基于机器视觉的加工场景。(d) 重建结果及精度分析。(e) 3D Slicer：面向特定对象图像分析、可视化与临床支持的平台。(f) 用于局部感知 3D 刚性点云匹配和医学骨侧估计的耦合拉普拉斯特征映射算法。(g) 3D Slicer 重建与 3D 打印定位结合神经内窥镜技术在脑室腹腔分流手术中的临床应用。
综上，本综述系统考察了由先进算法驱动的 3D 成像技术演化，指出该领域正从传统的分离式感知架构向高度集成架构的关键转变。传统传感器在空间分辨率方面具有优势，但受限于数据冗余以及与“内存墙”相关的毫秒级延迟。相比之下，新兴光电器件具备微秒级时间分辨率、宽动态范围和单光子灵敏度等物理特性，尽管目前仍受限于大规模像素阵列的集成复杂性。与此同时，新兴光子器件通过近乎零功耗的被动能量消耗，提供了光速级的并行处理能力和多维光场编码手段，但其广泛应用仍受限于动态调控和复杂的纳米加工要求。展望未来，下一代 3D 视觉成像最关键的研究方向是近感计算（compute-near-sensor）和感内计算（compute-in-sensor）架构。通过光学模拟计算或神经形态脉冲机制将算法特征提取直接迁移至感知终端，将从根本上解决当前的数据传输和能效问题。因此，最终的技术趋势依赖于算法驱动的异质集成（heterogeneous integration）。未来智能感知的硬件基础将结合用于瞬时多维光学预处理的光子前端，以及用于异步电子推理的神经形态光电后端。推进这种硬件与软件协同设计的方法，为克服自动驾驶等边缘计算系统中现有的延迟和功耗瓶颈提供了具体路径。
文献信息
Algorithms-Driven Optoelectronic Devices for Three-Dimensional Imaging
(Nano Lett., 2026, DOI: 10.1021/acs.nanolett.6c00285)
文献链接：https://doi.org/10.1021/acs.nanolett.6c00285
文章来源：https://url.scnu.edu.cn/record/view/index.html?key=e1ac6e84b2654244b5268f00370ca674