CN117233960B - 基于智能光计算的光学***在线设计方法与装置 - Google Patents

Abstract

本发明公开了基于智能光计算的光学***在线设计方法与装置，该方法，包括将光传播输入数据映射到可微分的在线神经网络以得到网络映射结果；训练在线神经网络以计算光学***的第一光传播输出数据；根据第一光传播输出数据和应用目标数据计算误差场，并通过全前向模式将误差场输入至光学***以输出得到第二光传播输出数据；计算在线神经网络参数的梯度信息，更新在线神经网络参数以得到训练好的光学***参数，以使得训练好的光学***输出和应用目标数据相应的数据实现对光学***的自设计。本发明通过实现先进光学***的高效设计，所提出的全前向模式方法应在先进机器学习、高性能成像和拓扑光子学等领域找到重要应用。

Description

基于智能光计算的光学***在线设计方法与装置

技术领域

本发明涉及光电计算技术领域，特别是涉及基于智能光计算的光学***在线设计方法与装置。

背景技术

一种高效且无模型的设计方法有可能彻底改革应用光学领域。然而，现有的设计方法主要依赖于离线算法，这些算法需要大量的计算资源和准确的数值模型。

不同尺度的光学***，从自由空间***到集成***，被用于先进成像、神经形态计算、光学图像处理等领域。它们的性能至关重要。传统上，光学***设计从开发初始化的分析基础模型开始，然后使用基于直觉或蛮力的方法进行优化。然而，这两种方法在优化空间和效率方面都存在局限性。近年来，通过使用逆向设计方法，在增强设计效率和优化性能方面取得了实质性的进展。与以前的手动设计方法不同，逆向设计从指定优化目标开始；这种以目标为导向的方法会产生更紧凑、更高优度的光学器件。然而，使用蛮力和以目标为导向的优化在电子计算方面的严重依赖是有问题的。随着***复杂性的增加，分析和数值建模变得更加耗时，并且所需的计算资源呈指数增长。此外，由于***的不完美性和光波传播的复杂性，对一般光学***的完美准确建模是不可能的，在离线模型和真实***之间总会存在不匹配。

为了解决与数值建模相关的挑战，自上世纪80年代末以来，光子***的现场设计已经开始探索，特别是在光子神经网络领域。然而，在大规模***的并行学习中同时实现高准确性和高效率仍然具有挑战性。基于扰动的优化方法的效率受限。更高效的基于梯度的方法通常局限于小规模和简单问题，因为需要对光场进行反向传播，这要求进行严格的***校准和对齐。另外还有将现场前向传播与离线后向传播相结合的混合方法，使用电子计算机实现梯度下降算法。然而，在后向传播过程中仍然需要准确的离线建模，在通用光学***中并不总是可行的。关于光学***的自设计还没有找到一个全面的解决方案。

阻碍实现无模型和完全在线自设计的技术挑战包括以下几点：（1）没有通用的可微分的光学***表示。由于光学的结构无处不在，人们急需一个统一的参数化形式。（2）***复杂性与设计效率/优化之间存在冲突。完全实现的梯度下降训练依赖于光场的反向传播，但反向***具有高复杂性，使得它们难以在真实世界的问题上进行扩展和完全物理实现。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明提出了一种基于智能光计算的光学***在线设计方法，通过利用电磁波传播的固有参数表示，本发明在通用光学***的特性和现场可微分神经网络的参数之间建立了连接，从而将光学设计过程映射到物理***内的神经网络学习中。空间对称性和洛伦兹互易性的结合确保了数据传播和误差传播发生在相同的物理介质中且是相同的方向，用于计算光学***的折射率和增益/损耗的优化方向。因此，在设计过程中，大部分设计计算可以在物理上并行进行，从而减轻了计算负担并减轻了数值建模的约束。

本发明的另一个目的在于提出一种基于智能光计算的光学***在线设计装置。

为达上述目的，本发明一方面提出一种基于智能光计算的光学***在线设计方法，包括：

构建基于在线神经网络的光学***，并将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果；

基于所述网络映射结果和全前向模式训练所述在线神经网络以计算光学***的第一光传播输出数据；

根据所述第一光传播输出数据和应用目标数据计算误差场，并通过全前向模式将所述误差场输入至光学***以输出得到第二光传播输出数据；

基于所述第二光传播输出数据计算在线神经网络参数的梯度信息，并根据所述梯度信息更新在线神经网络参数以得到训练好的光学***参数，以使得训练好的光学***输出和所述应用目标数据相应的数据实现对光学***的自设计。

本发明实施例的基于智能光计算的光学***在线设计方法还可以具有以下附加技术特征：

在本发明的一个实施例中，基于自由空间光学***和集成光子***构建所述光学***；其中，所述自由空间光学***和集成光子***分别包括对应的调制区域和传播区域。

在本发明的一个实施例中，获取所述应用目标数据，包括：

通过所述自由空间光学***构造波前以在应用目标中进行聚焦或成像得到第一目标数据；

通过所述集成光子***以在所述应用目标中进行神经形态计算得到第二目标数据；

根据所述第一目标数据和所述第二目标数据得到所述应用目标数据。

在本发明的一个实施例中，所述光学***的复折射率为：

（RI）

其中，在所述传播区域中，保持RI固定，在所述调制区域中，对RI进行电光或全光重构。

在本发明的一个实施例中，将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果，包括：

将光传播输入数据中可重构的调制部分映射到在线神经网路中的可微可调制的权重单元得到第一映射结果；

将光传播输入数据中光传播的部分映射到在线神经网络中不同层之间神经元连接得到第二映射结果；

基于所述第一映射结果和所述第二映射结果得到在线神经网路的网络映射结果。

在本发明的一个实施例中，将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果，还包括：

基于Maxwell方程控制的光学***通过将复折射率的实部和虚部重新参数化为可微分的嵌入式光子在线神经网络，表达式如下：

其中，和/>分别为输入和输出电场，/>为以固定折射率/>表征的传播，/>为带有可调折射率/>的调制区域。

为达上述目的，本发明另一方面提出一种基于智能光计算的光学***在线设计装置，包括：

神经网络映射模块，用于构建基于在线神经网络的光学***，并将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果；

第一数据计算模块，用于基于所述网络映射结果和全前向模式训练所述在线神经网络以计算光学***的第一光传播输出数据；

第二数据计算模块，用于根据所述第一光传播输出数据和应用目标数据计算误差场，并通过全前向模式将所述误差场输入至光学***以输出得到第二光传播输出数据；

***设计完成模块，用于基于所述第二光传播输出数据计算在线神经网络参数的梯度信息，并根据所述梯度信息更新在线神经网络参数以得到训练好的光学***参数，以使得训练好的光学***输出和所述应用目标数据相应的数据实现对光学***的自设计。

本发明实施例的基于智能光计算的光学***在线设计与装置，将光学***分成设计空间和传播空间，能够将光学***转化为参数化的现场神经网络，并实现以应用目标为导向的自设计，通过利用空间对称性和洛伦兹互易性，消除了梯度下降训练中反向传播的必要性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明实施例的基于智能光计算的光学***在线设计方法的流程图；

图2是根据本发明实施例的基于智能光计算的光学***在线设计的原理图；

图3是根据本发明实施例的深度光学神经网络（ONN）的并行FFM梯度下降验证示意图；

图4是根据本发明实施例的通过FFM自设计在散射介质中实现高分辨率成像示意图；

图5是根据本发明实施例的利用FFM学习进行动态非视域（NLOS）场景的自设计并行成像和分类示意图；

图6是根据本发明实施例的自设计光子集成电路示意图；

图7是根据本发明实施例的基于智能光计算的光学***在线设计装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面参照附图描述根据本发明实施例提出的基于智能光计算的光学***在线设计方法和装置。

图1是本发明实施例的基于智能光计算的光学***在线设计方法的流程图。

如图1所示，该方法包括但不限于以下步骤：

S1，构建基于在线神经网络的光学***，并将光传播输入数据映射到可微分的在线神经网络以得到网络映射结果；

S2，基于网络映射结果和全前向模式训练在线神经网络以计算光学***的第一光传播输出数据；

S3，根据第一光传播输出数据和应用目标数据计算误差场，并通过全前向模式将误差场输入至光学***以输出得到第二光传播输出数据；

S4，基于第二光传播输出数据计算在线神经网络参数的梯度信息，并根据梯度信息更新在线神经网络参数以得到训练好的光学***参数，以使得训练好的光学***输出和应用目标数据相应的数据实现对光学***的自设计。

在本发明的一个实施例中，如图2所示，本发明的网络架构包括图2中的A 通用光学***，包括自由空间透镜光学***和集成光子***，都包含调制区域和传播区域，可以映射到可微分的在线神经网络，其中，可重构的调制部分可映射到在线神经网路中的可微可调制的权重单元，光传播的部分可以映射到在线神经网络中不同层之间神经元连接。图2中的B通过全前向模式（FFM）光子学习，在在线神经网络上执行梯度下降，由应用目标指导梯度的大小方向即光学***中可重构调制部分的改变大小与方向，以使***达到应用目标所需输出，从而实现对光学***的自设计（图2中的C）。在训练过程收敛后（图2中的D，设计的实部和虚部折射率分别部署到自由空间***和集成光子***中。图2中的E空间对称互易性保证了设计过程中的全前向模式传播。

具体地，本发明的方法输入数据前向传播经过光学***，根据输出结果和目标计算出误差场，误差场前向出传播经过光学***，根据两次前向传播的结果计算出参数的梯度，然后依据梯度对参数进行更新，多次重复以上步骤直至***参数收敛。

可以理解的是，尽管复杂的非磁性光学***以折射率、增益和损耗为特征，这意味着这种光学***的设计应包括复折射率（RI）的实部和虚部的高效优化。根据复折射率的可调性，自由空间***和集成光子***可以分为两个不同的区域：调制区域和传播区域。如图2中的A所示，在传播区域中，RI保持固定，而在调制区域中，RI可以通过电光或全光重构以实现各种功能（图2中的C）。自由空间光学***可以通过塑造波前来进行聚焦或成像，而光子集成电路***可以用于神经形态计算、研究非厄米物理等。通过在现代机器学习的背景下考虑这种调制-传播过程，调制系数和传播特性分别对应于神经网络参数和神经元连接，如图2中的A的右侧所示。从这个角度来看，由Maxwell方程（）控制的光学***可以通过实部和虚部RI重新参数化为可微分的嵌入式光子神经网络，表达式如下：

(1)

其中，和/>分别为输入和输出电场，/>为以固定折射率/>表征的传播，/>为带有可调折射率/>的调制区域。

可以理解的是，神经网络的梯度下降训练对于人工智能复兴至关重要。梯度下降算法的在线实施加速了光学***的设计，使得优度更高。然而，准确和高效的梯度计算涉及正向和反向传播。在光学***中执行反向传播尤其具有挑战性。

在本发明的一个实施例中，在图2中的C中，本发明实施例展示了无反向传播的全前向模式梯度下降学习。光学***中的光传播过程可以用表示，其中/>是表征光在方程（1）中传播的格林函数。在光学***的设计过程中，本发明实施例的目标是通过改变RI/>和/>和来将光学***输出/>调整到光学***需要完成的应用目标T。另外/>用来表示目标和光学***输出之间的误差。根据反向传播算法，误差对于光学***输入场的导数可以通过光学***输出光的误差场来获取，即。在线性光学***中，洛伦兹互易性成立，因此（图2中的E的左侧）。因此，

(2)

这相当于将光学***输出端的误差馈入光学***，然后将场向后传播到光学***输入端，其精度在很大程度上取决于前向和后向传播光场之间的精确对准，限制了在复杂场景下工作的大规模光学***的一般设计。为了在只有正向传播的光学***上实现梯度下降，方程（2）应替换为

(3)

方程（3）有效的一个充分条件是积分因子在任何地方都相等，即对于每一对坐标(总有一对/>使得/>，且/>和/>与/>和/>之间存在一一对应的关系。本发明实施例观察到这个条件在空间对称***中得到满足（图2中的E的右侧）。在具有镜面对称性的***/>中/>。令，本发明实施例得到/>，这就是方程（3）和相当于将输入端的误差场馈入，此馈入的传播场会在输出端进行测量。旋转对称性也满足这个条件。然后将误差传播的输出用于计算相对于RI的梯度。在设计区域的RI收敛后，***被部署以实现目标应用。

可以理解的是，空间对称性在许多光学***中是固有的。在自由空间光学***中，光学成像和处理***都涉及对称平面，其中光路距离到达和从这个平面出发是对称的。在光子集成电路***中，可以通过纳米制造来调整结构的拓扑，包括空间对称图案。在设计过程中，设计***被提供了数据和目标对。

在本发明的一个实施例中，图2中的D展示了用于聚焦输入光束的自由空间训练***的设计。数据和误差的复数场被投影在波前调制器上，然后馈入到对称***中。输出的复数场通过输出光与参考光束的干涉来进行测量。应用FFM学习后，优度逐步增加并最终收敛。设计的相位分布逐渐接近抛物线波前，使得输出收敛到一个紧凑的聚焦点。

在本发明的一个实施例中，本发明实施例展示了实现自由空间光学***的实部RI的自设计，以及集成光子***的虚部RI/>的自设计。首先，本发明实施例通过将其应用于具有百万参数的深度光学神经网络进行图像分类来评估该方法的能力，在实验数据和模拟数据获得的梯度计算之间观察到了合理的对应关系。由于FFM学习能够在线对***进行建模，因此它具有自适应地校正波前畸变的能力，从而通过难以准确建模的散射介质，也能实现紧凑的聚焦。因此，本发明实施例的方法提高了散射成像的分辨率，其接近自由空间分辨率的极限。通过利用固有的光学对称性，FFM学习在非视域***中特别有用。它可以以光速实现全光成像和无传感器动态不可见对象的分类，并且每个检测像素只有一个接收的光子。

在本发明的一个实施例中，本发明实施例还展示了该方法对光子集成电路***的普适性，其允许创建可扩展的光子集成神经网络和无模型的非厄米结构。特别地，本发明实施例的方法将网络规模扩展到了其物理核心的32倍，并在不明确哈密顿量先验的情况下找到了异常点。

进一步地，本发明实施例还进行了深度光学神经网络的并行FFM梯度下降验证。

如图3所示的深度光学神经网络（ONN）的并行FFM梯度下降验证，图3中的A为深度自由空间ONN及实验***。图3中的B实验测量与分析模拟的比较。图3中的C为实验结果与模拟结果之间的结构相似性指数。图3中的D为 FFM和基于模拟的多层ONN设计。误差条长度表示两倍标准差。图3中的E为使用FFM学习设计的八层ONN的每层输出与基于模拟的优化进行比较。P1，偏振片；BS1/BS2，分束器；PBS，偏振分束器；L1/L2，透镜；HWP1/HWP2，半波片。比例尺：1毫米。

图3中的A展示了使用FFM学习进行光学图像处理的多层自由空间光学神经网络（ONN）的自训练过程。ONN的每一层内的计算操作包括两个阶段：设计区域内的光学调制和固定的自由空间传播。利用自由空间传播的对称性（由虚线灰线表示），采用FFM方法优化空间调制器中液晶的有效折射率。液晶工作在纯相位模式下，因此优化实质上是在有效RI的实部上进行的。具体来说，在设计过程中，数据场（蓝色显示）通过物理***传播。从这个数据传播得到的输出与目标输出进行比较，生成误差场（橙色表示）。然后，这些误差场在对称***中前向传播，以获得误差场输出。每个设计层的梯度是使用数据输入和误差输出计算的。在进行FFM学习之前，通过两步传播验证了空间对称互易性。实验设置如图3中的A底部所示，***实现了逐层数据和误差传播，传播距离为0.388米，光学神经元数量为160,000（400×400）。复杂的输出光场通过将信号光束与参考光束接口连接，使用相移全息技术检测复杂光场并还原相位信息。在误差传播中，每层的参数以相反的顺序加载。

为了展示FFM学习的有效性，本发明实施例使用基准数据集（即MNIST、CIFAR-10、Fashion-MNIST和MWD）优化了一个用于物体分类的单层神经网络。训练损失和相位参数的演变在经过60个训练周期后收敛。图3中的B可视化了MNIST数据集上的训练结果，其中理论输出光场显示在第三列。结构相似性指数（SSIM）用于量化实验结果和理论结果之间的相似性。如图3中的C所示，SSIM指数超过0.97，表明相似性很高。图3中的B的第四列所示的梯度的SSIM指数大于0.89。值得注意的是，由于***缺陷，光场和梯度的理论结果可能不能精确地表示物理结果，特别是随着层数的增加。因此，理论结果只是真实物理量的反映，因此不应完全被视为真实值。

FFM学***均准确率分别为44.0％、52.4％、58.4％和58.8％。这些结果明显低于理论准确率，分别为92.2％、93.8％、96.0％和96.0％。值得注意的是，如图3中的D所示，基于模拟训练的神经网络的测试性能表现出较高的不确定性，其测试准确率的标准差分别为约35.1％、8.8％、18.4％和5.5％，分别对应2、4、6和8层神经网络。然而，通过实施FFM学习，网络性能显著提高至88.6％、92.0％、94.0％和94.2％，接近理论的模拟准确率。图3中的E描述了八层神经网络的输出。对比了FFM设计的神经网络输出、理论模拟设计的输出和实验输出。可以明显看出，随着层数的增加，实验输出逐渐偏离目标输出，最终错误分类物体。相比之下，FFM设计的网络可以准确地进行分类。

进一步地，本发明实施例还进行了复杂场景中的自设计全光成像和处理***地设计。

如图4所示的通过FFM自设计在散射介质中实现高分辨率成像，图4中的A光传播相对于复杂介质的中心平面的对称性有助于通过散射介质进行FFM设计的聚焦。图4中B使用FFM学习和PSO优化设计的聚焦效果。图4中C不同散射介质下的FFM设计聚焦的演变过程。图4中D在3.2毫米×3.2毫米的设计区域内，FFM和PSO分别设计的均匀采样聚焦点的半高全宽（FWHM）和峰值信噪比（PSNR）。图4中E在USAF分辨率图上的成像分辨率校准。a.u.，任意单位。比例尺：1毫米。

因为FFM学***面波）传播和误差传播路径保持等效。

传统上，在自适应光学中，启发式优化方法已用于过优化聚焦点。在这项研究中，本发明实施例分析了不同的最新优化方法，并使用粒子群优化（PSO）进行了比较（图3中的B）。为了评估性能，使用了两种不同类型的散射介质，分别是随机相位板（称为“散射介质-I”）和胶带（称为“散射介质-II”）。基于梯度的FFM方法表现出更高的效率，在两个实验中都在25个设计迭代后收敛，收敛损失值分别为1.84和2.07。相比之下，PSO方法需要至少400个设计迭代才能收敛，产生最终损失值分别为2.01和2.15。因此，PSO方法比FFM学***均FWHM为81.2微米，平均PSNR为8.46dB，最小FWHM为65.6微米。在具有3.2毫米宽孔径和0.388米传播距离的情况下，FFM方法设计的聚焦点接近自由空间衍射极限64.5微米。相比之下，PSO优化产生的FWHM为120.0微米，PSNR为2.29dB。

然后，本发明实施例评估了设计的聚焦点阵列在位于散射介质后方的分辨率图上的扫描性能（图4中的E）。使用PSO优化的扫描点进行扫描时，具有238.7微米宽度的数字只能模糊地区分（左侧面板），而具有145.6微米宽度的数字完全被遮挡。相比之下，使用FFM优化的扫描焦点具有解析分隔距离小至56.0微米，线宽为64.0微米的线对的能力（图4中的E的右侧面板），与成像配置的分辨率限制相符。

如图5所示的利用FFM学习进行动态非视域（NLOS）场景的自设计并行成像和分类。图5中的A 为FFM学习***设置。图5中B和图5中C为 NLOS区域中动态铬目标（B）和相位目标（C）的并行成像。图5中的D为高光子效率的全光NLOS处理。图5中的为E针对时变漫反射器的高效FFM学习。比例尺：1毫米。

通过在线FFM学***面上生成。通过在隐藏物体上进行并行推理，FFM学习方法实现了动态NLOS成像和处理。

图5中的B展示了非视域（NLOS）物体平面被划分为一个3×3的方格。在学***均结构相似性指数（SSIM）为0.36表示。相比之下，经过FFM设计的波前准确地恢复了所有三个字母的形状，每个目标的SSIM为1.0。此外，在图5中的C中，本发明实施例展示了在分辨率为28×28的情况下，利用FFM学***下的恢复图像与原始图像之间的结构相似性进行了比较。在15dB的SNR下，FFM方法实现了0.81的SSIM指数，而ANN仅实现了0.40的SSIM指数。

除了具有动态成像能力外，FFM学习方法还可以用于NLOS区域内隐藏物体的全光分类。本发明实施例将FFM学习的NLOS反射信号分类性能与最先进的ANN Res-Net进行了比较。为了评估***的光子效率，本发明实施例将其配置为每个传感器像素上使用不同数量的入射光子对MNIST数据集进行分类。本发明实施例还通过使用低噪声sCMOS传感器（AndorZyla 4.2）和工业CMOS传感器（FLIR BFS-U3-89S6M）来改变读出噪声。结果如图5中的D所示，实验数据点以从理论噪声模型拟合的曲线绘制。本发明实施例观察到，在足够多的光子的情况下，FFM和ANN具有相似的性能：FFM学习在sCMOS和CMOS传感器上分别实现了95.5％和96.0％的准确率。相比之下，ANN分别实现了94.5％和94.0％的准确率。然而，在许多实际情况下，光子数是有限的，例如在多次反射或高度散射的表面情况下。在这些情况下，FFM学习会自适应地纠正波前畸变并将散射传播转化为计算介质，因此需要较少的光子来进行准确的分类。具体而言，本发明实施例将94.5％的准确率（与最佳准确率相比下降约1％）设置为转折点，并计算所需的最大光子数。CMOS和sCMOS的ANN分别需要33.1和37.6个光子，而CMOS和sCMOS的FFM仅需要2.10和1.00个光子。本发明实施例还观察到，在线FFM学习更快地收敛，可以实现即时错误修正。本发明实施例还对散射相位的旋转进行了操作，***以两种旋转速度运行，分别标记为每次迭代v1 = 1.0度和v2 = 2.5度。结果如图5中的E所示，在低旋转速度下，ANN最终收敛到与FFM相同的准确率，但需要更多的迭代次数。然而，随着旋转速度从v1增加到v2，Res-Net模型实现的分类准确率随着散射介质的变化而同步下降。相比之下，FFM学习在学习过程中可以继续提高其训练准确率。

进一步地，本发明实施例还进行自设计可扩展的光子集成电路和自学习的无模型非厄米能带编织。

如图6所示的自设计光子集成电路。图6中的A为对称的集成光子神经网络架构。底部面板：对称核心和处理单元的微观照片。图6中的B为实验***。图6中的C为对称核心中可编程矩阵值的保真度。图6中的D为实验和理论的网络梯度，每个层次的误差可在图6中的E中可视化。图6中的F 在不同对称核心配置下的准确性变化过程。PD，光电二极管，PIC，光子集成电路，a.u.，任意单位。比例尺：1毫米。

FFM学习方法可以扩展到集成光子***的自设计。图6中的A展示了使用集成对称光子核心以串联和并联配置构建的FFM学习架构。该网络由五个层次组成，从第一个层次到最后一个层次的神经元数量分别为16，16，16，8和8。在每个层次中，输入数据被分成每个包含两个元素的数据对。这些输入对使用相互不相干的波长进行编码，并通过对称核心传输。产生的输出使用高速光电二极管进行检测，其中相互不相干的信号被合并。因此，每个核心执行矩阵-向量乘法运算。为了实现层间连接，神经元的输出被打乱并连接到下一层。

矩阵的对称性使得误差传播矩阵和数据传播矩阵之间存在等价关系。因此，数据和误差传播可以共享相同的传播方向。图6中的B展示了对称核心的实现以及封装芯片的实验测试设置。对称核心是在硅上绝缘层（SOI）硅光子晶体铸造厂制造的光子集成电路（PIC）中实现的。光栅耦合器阵列用于将输入光耦合到芯片中。如图6中的B底部所示。每个输入使用芯片上的分束器进行分配，并使用2×1多模干涉仪（MMI）进行组合。通过调制芯片上的可变光学衰减器（VOA）的衰减系数来实现矩阵元素，其具体通过不同注入电流水平正向偏置p-i-n结来实现。VOA阵列的电极通过线路布线和线路焊接到印刷电路板（PCB）以进行矩阵重构，另外这里还使用封装的光纤阵列（FAs）将光耦合到PIC上和从PIC中耦合出来。

构建的神经网络用于对标准鸢尾花数据进行分类，这里将输入处理为16×1向量，输出表示三个花类别之一。在训练过程中，将对称矩阵配置为三个对称比之一：1.0，0.75或0.5。矩阵在训练过程中的保真度在图6中的C中可视化，三个对称矩阵值的时间漂移标准偏差分别记录为0.012％，0.012％和0.010％。在这种不确定性水平下，本发明实施例将实验梯度与仿真值进行比较。如图6中的D所示，实验梯度与理论仿真值的平均偏差为3.5％。图6中的D的插图示例展示了第二层在第80次设计迭代中的设计梯度，而整个神经网络的误差在图6中的E中可视化。在第80次迭代中，FFM学习（理论训练）分别显示出3.50％（5.10％），3.58％（5.19％），3.51％（5.24％），3.56％（5.29％）和3.46％（5.94％）的梯度误差。设计准确性的变化过程如图6中的F所示。理论仿真和FFM实验均需要约100个周期才能收敛。在三个对称比配置下，实验性能与仿真相似，网络收敛到94.7％，89.2％和89.0％的准确度。FFM方法实现了94.2％，89.2％和88.7％的准确度。为了比较，理论设计的网络表现为71.7％，65.8％和55.0％的实验准确度。

精心设计光学***中增益/损失的能力使得可以随意操纵非厄米开放***。传统上，在非厄米***中研究特殊点需要先解数值模型。在这里，本发明实施例理论上展示了FFM如何自设计非厄米***，无需借助物理模型即可穿越特殊点。具体而言，本发明实施例研究了在对称双波导中的波传播，其中一个波导用于增益，另一个用于损失控制。在所研究的情况下，尽管本发明实施例可以通过输入光信号来探测***，但本发明实施例并不明确知道哈密顿量的构造。为了设计增益和损失，本发明实施例以破坏***的横向互易性为目标，即通过将输入馈送到对称通道来控制输出信号的不对称性，但是最大化一个波导的输出。可以观察到，使用FFM学***时对称（PT）对称破缺阈值。FFM设计提供了一种以目标为导向的方法，可以在线检索基础物理量，为解决复杂***中的问题提供了新的方法。

综上，本发明的一种使用全前向模式梯度下降方法进行自由空间***和集成光学***自设计的方法。通过利用电磁波传播的固有参数表示，本发明实施例在通用光学***的特性和现场可微分神经网络的参数之间建立了连接，从而将光学设计过程映射到物理***内的神经网络学习中。空间对称性和洛伦兹互易性的结合确保了数据传播和误差传播发生在相同的物理介质中且是相同的方向，用于计算光学***的折射率和增益/损耗的优化方向。因此，在设计过程中，大部分设计计算可以在物理上并行进行，从而减轻了计算负担并减轻了数值建模的约束。本发明实施例在实验中展示了具有数百万参数的深度光子神经网络的自设计，以及能够处理复杂场景的非传统成像和处理***。全前向模式学习方法将设计速度提高了数个数量级，并且在分辨率和光子计数限制下实现了全光学成像和处理。此外，本发明实施例证明了自设计的***可以学习非厄米的异常点搜索，其检索结果与潜在的物理相一致。通过实现先进光学***的高效设计，所提出的全前向模式方法应在先进机器学习、高性能成像和拓扑光子学等领域找到重要应用。

全前向模式（FFM）学习，用于自由空间***和集成光学***的自设计。本发明实施例的方法引入了一个学习框架，将光学***分成设计空间和传播空间。这使本发明实施例能够将光学***转化为参数化的现场神经网络，并实现以应用目标为导向的自设计。通过利用空间对称性和洛伦兹互易性，消除了梯度下降训练中反向传播的必要性。因此，光学参数，即折射率的实部和虚部，可以直接在原始物理***上进行自设计，并且仅需一个额外的参考光束。本发明实施例的方法基于数据和误差传播的测量输出光场计算梯度。然后，使用梯度下降算法高效地更新参数。本发明实施例展示了FFM自设计方法在推动自由空间尺度和集成光子尺度上不同应用的多功能性，实现了大规模光子神经网络、高分辨散射成像、动态全光非视域***以及在非厄米***中无模型的异常点搜索。

综上所述，本发明利用高速无模型光子计算，FFM学习能够同时提高光学***的设计效率和性能，超越了电子计算机所能实现的范围。本发明实施例将FFM学习的性能与其他最新的设计方法进行了基准测试。FFM学习实现了高的设计优势，不仅在实验中构建了与理想模型准确性相似的深层大规模光子神经网络，还提高了散射成像的分辨率，接近自由空间的衍射极限，并进一步实现了有光子数量限制的视线外物体的并行处理。实验结果中所展示的无模型自由空间FFM学习的效率已经超过了优化方法的十倍以上。借助于商业可用的高速光学调制器和探测器，自由空间和集成FFM学习的实现有望超越GPU加速的学习实现。考虑到光电子器件发展的持续进步，高速FFM自设计在不久的将来有望取得显著提高，可能会达到几个数量级的效率。

本发明实施例提出并实验性地展示了自设计自由空间***和集成光子***的完全前向模式梯度下降方法。由于物理性质中普遍存在的噪声和普遍的不确定性，离线设计的光学***不可避免地是不完美的。然而，所提出的自设计方法减轻了数值建模的限制，加速了通用光子计算。目前，光子计算的复兴主要涉及光学模拟电子人工神经网络，光学体系设计在电子计算机上执行。修正实验***误差一直是一个挑战，并需要在空间和时间上对光学传播进行广泛的建模。本验证表明，自由空间***和集成光子***都可以参数化为一个在线神经网络并高效地自设计。这些发现意味着光学***从根本上可实现为可微可学习的神经结构，为光学***的无模型高性能自设计和自学习物理***提供了一条新路，暗示了在后摩尔定律时代高效自我训练物理人工智能的可能性。

为了实现上述实施例，如图7所示，本实施例中还提供了基于智能光计算的光学***在线设计装置10，该装置10包括，神经网络映射模块100、第一数据计算模块200、第二数据计算模块300和***设计完成模块400。

神经网络映射模块100，用于构建基于在线神经网络的光学***，并将光传播输入数据映射到可微分的在线神经网络以得到网络映射结果；

第一数据计算模块200，用于基于所述网络映射结果和全前向模式训练在线神经网络以计算光学***的第一光传播输出数据；

第二数据计算模块300，用于根据第一光传播输出数据和应用目标数据计算误差场，并通过全前向模式将误差场输入至光学***以输出得到第二光传播输出数据；

***设计完成模块400，用于基于第二光传播输出数据计算在线神经网络参数的梯度信息，并根据梯度信息更新在线神经网络参数以得到训练好的光学***参数，以使得训练好的光学***输出和所述应用目标数据相应的数据实现对光学***的自设计。

进一步地，神经网络映射模块，还用于基于自由空间光学***和集成光子***构建所述光学***；其中，自由空间光学***和集成光子***分别包括对应的调制区域和传播区域。

进一步地，上述神经网络映射模块100，还用于：

通过自由空间光学***塑造波前以在所述应用目标中进行聚焦或成像得到第一目标数据；

通过集成光子***以在所述应用目标中进行神经形态计算得到第二目标数据；

根据第一目标数据和第二目标数据得到应用目标数据。

进一步地，上述神经网络映射模块100，还用于：

将光传播输入数据中可重构的调制部分映射到在线神经网路中的可微可调制的权重单元得到第一映射结果；

将光传播输入数据中光传播的部分映射到在线神经网络中不同层之间神经元连接得到第二映射结果；

基于第一映射结果和第二映射结果得到在线神经网路的网络映射结果。

根据本发明实施例的基于智能光计算的光学***在线设计装置，基于数据和误差传播的测量输出光场计算梯度。使用梯度下降算法高效地更新参数。本发明实施例展示了FFM自设计方法在推动自由空间尺度和集成光子尺度上不同应用的多功能性，实现了大规模光子神经网络、高分辨散射成像、动态全光非视域***以及在非厄米***中无模型的异常点搜索。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

Claims (10)

1.一种基于智能光计算的光学***在线设计方法，其特征在于，所述方法包括：

构建基于在线神经网络的光学***，并将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果；

基于所述网络映射结果和全前向模式训练所述在线神经网络以计算光学***的第一光传播输出数据；

根据所述第一光传播输出数据和应用目标数据计算误差场，并通过全前向模式将所述误差场输入至光学***以输出得到第二光传播输出数据；

基于所述第二光传播输出数据计算在线神经网络参数的梯度信息，并根据所述梯度信息更新在线神经网络参数以得到训练好的光学***参数，以使得训练好的光学***输出和所述应用目标数据相应的数据实现对光学***的自设计。

2.根据权利要求1所述的方法，其特征在于，基于自由空间光学***和集成光子***构建所述光学***；其中，所述自由空间光学***和集成光子***分别包括对应的调制区域和传播区域。

3.根据权利要求2所述的方法，其特征在于，获取所述应用目标数据，包括：

通过所述自由空间光学***构造波前以在应用目标中进行聚焦或成像得到第一目标数据；

通过所述集成光子***以在所述应用目标中进行神经形态计算得到第二目标数据；

根据所述第一目标数据和所述第二目标数据得到所述应用目标数据。

4.根据权利要求3所述的方法，其特征在于，所述光学***的复折射率为：

（RI）

其中，RI为光学***的复折射率；n_R为光学***的复折射率的实部；n_I为光学***的复折射率的虚部；在所述传播区域中，保持RI固定，在所述调制区域中，对RI进行电光或全光重构。

5.根据权利要求3所述的方法，其特征在于，将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果，包括：

将光传播输入数据中可重构的调制部分映射到在线神经网路中的可微可调制的权重单元得到第一映射结果；

将光传播输入数据中光传播的部分映射到在线神经网络中不同层之间神经元连接得到第二映射结果；

基于所述第一映射结果和所述第二映射结果得到在线神经网路的网络映射结果。

6.根据权利要求3所述的方法，其特征在于，将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果，还包括：

基于Maxwell方程（控制的光学***通过将复折射率的实部和虚部重新参数化为可微分的嵌入式光子在线神经网络，表达式如下：

其中，和/>分别为输入和输出电场，/>为以固定折射率/>表征的传播，/>为带有可调折射率 /> 的调制区域。

7.一种基于智能光计算的光学***在线设计装置，其特征在于，包括：

神经网络映射模块，用于构建基于在线神经网络的光学***，并将光传播输入数据映射到可微分的所述在线神经网络以得到网络映射结果；

第一数据计算模块，用于基于所述网络映射结果和全前向模式训练所述在线神经网络以计算光学***的第一光传播输出数据；

第二数据计算模块，用于根据所述第一光传播输出数据和应用目标数据计算误差场，并通过全前向模式将所述误差场输入至光学***以输出得到第二光传播输出数据；

***设计完成模块，用于基于所述第二光传播输出数据计算在线神经网络参数的梯度信息，并根据所述梯度信息更新在线神经网络参数以得到训练好的光学***参数，以使得训练好的光学***输出和所述应用目标数据相应的数据实现对光学***的自设计。

8.根据权利要求7所述的装置，其特征在于，所述神经网络映射模块，还用于基于自由空间光学***和集成光子***构建所述光学***；其中，所述自由空间光学***和集成光子***分别包括对应的调制区域和传播区域。

9.根据权利要求8所述的装置，其特征在于，所述神经网络映射模块，还用于：

通过所述自由空间光学***构造波前以在应用目标中进行聚焦或成像得到第一目标数据；

通过所述集成光子***以在所述应用目标中进行神经形态计算得到第二目标数据；

根据所述第一目标数据和所述第二目标数据得到所述应用目标数据。

10.根据权利要求9所述的装置，其特征在于，所述神经网络映射模块，还用于：

将光传播输入数据中可重构的调制部分映射到在线神经网路中的可微可调制的权重单元得到第一映射结果；

将光传播输入数据中光传播的部分映射到在线神经网络中不同层之间神经元连接得到第二映射结果；

基于所述第一映射结果和所述第二映射结果得到在线神经网路的网络映射结果。