CN113239614A - 一种大气湍流相位时空预估算法 - Google Patents

一种大气湍流相位时空预估算法 Download PDF

Info

Publication number
CN113239614A
CN113239614A CN202110433347.5A CN202110433347A CN113239614A CN 113239614 A CN113239614 A CN 113239614A CN 202110433347 A CN202110433347 A CN 202110433347A CN 113239614 A CN113239614 A CN 113239614A
Authority
CN
China
Prior art keywords
atmospheric turbulence
network model
turbulence phase
neural network
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110433347.5A
Other languages
English (en)
Inventor
邸江磊
吴计
唐雎
许星星
韩文宣
张蒙蒙
张佳伟
王灵珂
赵建林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202110433347.5A priority Critical patent/CN113239614A/zh
Publication of CN113239614A publication Critical patent/CN113239614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G01J2009/002Wavefront phase distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00Details relating to the application field
    • G06F2113/08Fluids

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Communication System (AREA)

Abstract

本发明提供了一种大气湍流相位时空预估方法,获取大气湍流所引入的大气湍流相位图,并处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列和下一时段大气湍流相位图,建立神经网络模型,将大气湍流相位图序列作为网络输入,将下一时段大气湍流相位图作为网络黄金标准,计算网络输出与黄金标准的损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数;实测一段大气湍流相位图输入网络模型,得到下一时段的大气湍流相位图。本发明有利于保证自适应光学***相位测量的实时性。

Description

一种大气湍流相位时空预估算法
技术领域
本发明属于自适应光学领域,涉及一种大气湍流相位时空预估算法。
背景技术
由于大气湍流变换频率高,现有的波前传感硬件和相位提取算法耗时都相对较长,从而无法保证自适应光学***相位测量的实时性和准确性,因此需要借助深度学习,从受大气湍流影响的畸变强度信息中提取大气湍流的相位信息。
深度学习是一种通过建立神经网络,从大量的数据对之中学习到输入图像到输出图像之间的非线性关系的技术。现有的深度学习方法用于大气湍流相位测量时,只考虑使用当前的畸变信息去计算相位信息,并没有考虑使用现有的相位信息去计算未来的相位信息,而现有的预估后续情况的深度学习方法存在如下问题:
1.现有的预估后续情况的深度学习方法都大量使用循环和堆叠的网络结构,使得计算量更大,无法满足实现自适应光学***相位测量的实时性。
2.现有的预估后续情况的循环神经网络只考虑时序的依赖关系,却忽略了二维图像在空间结构和通道之间的依赖关系,使得很多时序图像的特征无法被很好的利用,无法满足实现自适应光学***相位测量的实时性和准确性。
3.现有的预估后续情况的循环神经网络十分容易训练过拟合,使得其只能保证训练数据的准确性,却无法满足实际自适应光学***的准确性。
发明内容
为了克服现有技术的不足,本发明提供一种大气湍流相位时空预估方法,只需利用一段时间的的大气湍流相位数据,就可以对未来一定时段内的大气湍流相位数据进行预测估计,预估结果与真实结果相比误差很小。相对于现有深度学习相位测量方法,本发明并不需要记录特定时刻的强度信息,只需要利用该特定时刻过去的一段相位信息,即可以预估得到该特定时刻的下一段时刻的相位信息,为自适应光学***相位测量提供一条新的技术路线,有利于保证自适应光学***相位测量的实时性。
本发明解决其技术问题所采用的技术方案包括以下步骤:
S1.获取大气湍流所引入的大气湍流相位图,标记为Pi,i=1,2,3,4…T,T为所获取的时序相位信息的最大帧数;相邻两帧大气湍流相位图之间的时间间隔相等;
S2.将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列PN={Pt-n+1,…,Pt}和紧邻的下一时刻大气湍流相位图Pt+1,其中n为输入大气湍流相位图序列长度常量,t表示大气湍流相位图的时刻;
S3.建立神经网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为网络的输入,大气湍流相位图Pt+1作为网络的黄金标准,计算网络的输出与黄金标准的损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于设定条件,则停止更新网络模型参数,得到训练完备的神经网络trained;
S4.实测一段长度为n的大气湍流相位图序列P'N={P'1,…,P'n}作为trained的输入,预估得到n+1时刻的大气湍流相位图P'n+1;
S5.将P'N中第一张大气湍流相位图P'1删除,将得到的预估的大气湍流相位图P'n+1添加到P'N末尾,得到一段新的大气湍流相位图序列,将该序列输入trained,得到与该时序相位数据紧邻的下一帧的相位数据;
S6.将步骤S5重复m次,得到未来n+1到n+m时段内的大气湍流相位图。
所述的神经网络模型采用U型神经网络模型;所述的U型神经网络模型是任何用于具有U型结构,包含下采样路径、上采样路径和桥接路径的时空序列预估的神经网络模型;所述的U型神经网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现,桥接路径用循环神经网络或注意力机制实现。
所述的数据N的最大取值为T-n+1后向下取整。
所述的数据m取值为1~50。
所述的步骤S2替换为将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列PN={Pt-n+1,…,Pt}和紧邻的下一时段大气湍流相位图序列PM={Pt+1,…,Pt+m},其中m为输出大气湍流相位图序列长度常量;步骤S4实测一段长度为n的大气湍流相位图序列P'N={P'1,…,P'n}作为神经网络trained的输入,预估得到n+1时刻到n+m时刻的所有大气湍流相位图,预估过程结束。
步骤S2替换后,所述的神经网络采用残差循环神经网络模型或注意力循环神经网络模型;所述的残差循环神经网络模型是任何用于具有残差循环模块的,包含下采样路径、上采样路径的时空序列预估的神经网络模型;所述的残差循环神经网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现;所述的注意力循环神经网络模型是任何用于具有注意力循环模块的,包含下采样路径、上采样路径的时空序列预估的神经网络模型;所述的注意力循环神经网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现。
步骤S2替换后,所述的S3替换为建立生成对抗网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为生成器的输入,大气湍流相位图序列PM作为网络的黄金标准,计算网络的输出与黄金标准的像素损失函数值,并将网络的输出和黄金标准作为判别器的输入,计算判别器的对抗损失函数值,像素损失函数值和对抗损失函数值的梯度依此反向传播以更新生成器和判别器的参数,并将直至像素损失函数值小于设定条件,则停止更新网络模型参数,得到训练完备的生成对抗网络GAN_trained;所述的生成对抗网络模型是任何用于具有生成器和判别器,包含下采样路径、上采样路径的时空序列预估的神经网络模型;所述的生成对抗网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现。
步骤S2替换后,所述的数据N的最大取值为T-n-m+1后向下取整。
步骤S2替换后,所述的数据m取值为1~20。
所述的损失函数选用MSE损失函数,与之对应的网络模型参数停止更新的设定条件为MSE损失函数值小于0.002;所述的像素损失函数选用MSE损失函数,对抗损失函数选用交叉熵损失函数,与之对应的网络模型参数停止更新的设定条件为MSE损失函数值小于0.002。
本发明的有益效果是:只需一组已知时段相位数据即可预估未来时段相位数据,预估准确快速。
本发明不需要实时记录湍流信息,绕开了从畸变强度中计算湍流相位信息的步骤,直接预估未来的大气湍流相位变化,可以作为自适应光学***的辅助技术路线。当测量特定时刻的大气湍流相位图时,并不需要通过硬件去获取大气湍流的畸变信息,而是可以直接利用过往时段的大气湍流相位图序列,预估特定时刻的大气湍流相位图,避免了硬件***的时间花销,满足自适应光学***的实时性要求。
本发明所采用的数据集制作排序方法大大提高了神经网络可使用的训练数据量。本发明所采用的U型时空预估神经网络结构简单,没有使用循环堆叠结构,计算速度快。
本发明所采用的循环残差时空预估神经网络使用残差连接,网络可以跳跃性前向预估,计算速度快。
本发明所采用的注意力循环时空预估神经网络使用注意力模块,可以有效利用二维时序信息的空间特征和通道特征,使得结果更加准确可靠。
本发明所采用的生成对抗时空预估神经网络使用判别器和对抗损失,网络通过权衡像素损失和对抗损失,使得神经网络的泛化能力大大提高。
附图说明
图1为本发明实施例1的方法流程图;
图中,实线部分为训练阶段,虚线部分为预估阶段;
图2为实施例1中使用的神经网络(AtUnet)的结构图;
图3为实施例1中一种基于深度学习的大气湍流相位时空预估算法数据采集的光路图;
图中,1-激光器,2-准直透镜,3-大气湍流池,4-成像透镜,5-Shack-Hartmann波前传感器;
图4为实施例1的神经网络预估结果图;
图5为实施例1中预估结果的平方根误差(RMSE)曲线图;
图中,横坐标为预估的大气湍流相对图对应的帧序号,纵坐标为RMSE值;
图6为实施例1中预估结果的结构相似度(SSIM)曲线图;
图中,横坐标为预估的大气湍流相对图对应的帧序号,纵坐标为SSIM值;
图7为本发明实施例2的方法流程图;
图中,实线部分为训练阶段,虚线部分为预估阶段;
图8为实施例2中使用的残差循环模块的结构图;
图9为实施例2中使用的神经网络(R2prednet)的结构图;
图10为实施例2中一种基于残差循环神经网络的大气湍流相位时空预估算法数据采集的光路图;
图11为实施例2的神经网络预估结果图;
图12为本发明实施例3的方法流程图;
图中,实线部分为训练阶段,虚线部分为预估阶段;
图13为实施例3中使用的注意力循环模块的结构图;
图14为实施例3中使用的神经网络(ARprednet)的结构图;
图15为实施例3中一种基于注意力循环神经网络的大气湍流相位时空预估算法数据采集的光路图;
图中,1-激光器,2-准直透镜,3-大气湍流池,4-成像透镜,5-Shack-Hartmann波前传感器;
图16为实施例3的神经网络预估结果图;
图17为本发明实施例4的方法流程图;
图中,实线部分为训练阶段,虚线部分为预估阶段;
图18为实施例4中使用的神经网络(PredGAN)的结构图;
图19为实施例4中一种基于生成对抗网络的大气湍流相位时空预估算法数据采集的光路图;
图中,1-激光器,2-准直透镜,3-大气湍流池,4-成像透镜,5-Shack-Hartmann波前传感器;
图20为实施例4的神经网络预估结果图。
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
本发明的实施例1提供一种基于深度学习的大气湍流相位时空预估算法,如图1所示,包括训练和预估两个阶段,分为如下步骤:
a.训练阶段的步骤为:
S1.使用相位获取装置获取大气湍流所引入的时序大气湍流相位图,大气湍流相位图依次标记为Pi,其中i=1,2,3,4…T,T为所获取的时序相位信息的最大帧数。相邻帧与帧之间的时间间隔相等;
S2.将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均含有已知时段的大气湍流相位图序列PN={Pt-n+1,…,Pt}和已知时段紧邻的下一时刻大气湍流相位图Pt+1,其中n为输入大气湍流相位图序列长度常量;
S3.建立U型神经网络模型,初始化网络模型参数,将n张连续变化的大气湍流相位图序列PN作为网络的输入,大气湍流相位图Pt+1作为网络的黄金标准,计算网络的输出与黄金标准的损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于一定条件,即可停止更新网络模型参数,得到训练完备的神经网络U_trained;
b.预估阶段的步骤为:
S4.利用相位获取装置得到一段长度为n大气湍流相位图序列P'N={P'1,…,P'n}作为U_trained的输入,可得到预估的n+1时刻的大气湍流相位图P'n+1;
S5.将P'N中第一张大气湍流相位图删除,将上一步得到的预估的大气湍流相位图添加到P'N末尾,即可得到一段组合好的大气湍流相位图序列,该时序相位数据输入训练好的神经网络,即可得到与该时序相位数据紧邻的下一帧的相位数据;
S6.将步骤S5重复m次即可得到未来n+1到n+m时段内的大气湍流相位图,其中m为所需预估的未来的帧数。
所述步骤S1中的大气湍流可以是任何产生大气湍流的的装置和***提供的,如真实大气湍流或湍流发生池等,其中T可取10000。
所述步骤S1中的相位获取装置可以是任何计算测量大气湍流波前畸变信息的设备和算法,如Shack-Hartmann波前传感器。
所述步骤S2中的N份等长时序大气湍流相位图数据中N的最大取值为T-n+1后取整,若取n=10,T=10000,则N=10000-10+1=9991。
所述步骤S3中的U型神经网络模型可以是任何用于具有U型结构,包含下采样路径、上采样路径和桥接路径的时空序列预估的神经网络模型,其下采样路径可以用池化或步长为2的卷积层实现,其上采样路径可以用反卷积或插值实现,其桥接路径可以用循环神经网络或注意力机制实现,如基于卷积神经网络的AtUnet等,框架可选Tensorflow、Pytorch等,网络只需训练一次,之后便可使用完成训练的神经网络模型对未知样本进行无限次的时序相位预估。
本实施例1的方案如图2所示,下采样过程使用带有残差网络的卷积网络,上采样过程使用带有残差网络的转置卷积网络,桥接过程使用通道注意力很空间注意力融合的卷积网络。所有卷积核大小为3x3,卷积和转置卷积后进行批量标准化和非线性激活。
所述步骤S3中的损失函数可选MSE损失函数,与之对应的网络模型参数停止更新的标准为MSE损失函数值小于0.002。
所述步骤S6中的m可取1~50。
本发明的实施例1采用如图3所示的相位测量光路,包括激光器1、准直透镜2、大气湍流池3、成像透镜4和Shack-Hartmann波前传感器5。
本发明实施例1的训练阶段,使用图3所示的光路,首先使用Shack-Hartmann波前传感器5采集大气湍流池4的一段时间内的波前偏离点阵Bi,其中i=1,2,3,4…T。使用点阵解调算法得到相应大气湍流的相位图Pi,其中i=1,2,3,4…T。将T帧大气湍流相位图处理成N份等长时序大气湍流相位图数据,每一份数据均含有已知时段的大气湍流相位图序列PN={Pt-n+1,…,Pt}和已知时段紧邻的下一时段大气湍流相位图PM={Pt+1,…,Pt+m},其中n为输入相位图序列长度常量,m为输出相位图序列长度常量,t=1,2,3,4…N,N份数据中,70%为训练集,30%为测试集。建立如图2所示的U型神经网络模型,初始化网络模型参数,将n张连续变化的大气湍流相位图Pn作为网络的输入,Pm中的大气湍流相位图Pt+1作为网络的黄金标准,计算网络的输出与黄金标准的MSE损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于0.002时,即可停止更新网络模型参数,得到训练完备的神经网络U_trained,其中网络训练参数如下:learning rate=0.0003,Batch size=32,Epoch=120。训练阶段只需执行一次,就可以使用训练好的网络模型进行部署,用于大气湍流相位时空预估。
本发明实施例1的预估阶段,将使用图3所示的光路和点阵解调算法得到的大气湍流相位图序列P'N={P'1,…,P'n}作为U_trained的输入,得到预估的n+1时刻的大气湍流相位图P'n+1。将P'N中第一张大气湍流相位图删除,将P'n+1添加到P'N末尾,即可得到一段组合好的大气湍流相位图序列,该时序相位数据输入训练好的神经网络,即可得到P'n+2。将P'N中第一张相位图删除,将P'n+2添加到P'N末尾,即可得到一段组合好的大气湍流相位图序列,该时序相位数据输入训练好的神经网络,即可得到预估的n+3时刻的相位图P'n+3。依此类推,直至预估到P't+100。
将算法预测的相位图与使用图3所示的光路和点阵解调算法得到的大气湍流相位图序列做对比,分别计算其误差、RMSE、SSIM,可依此得到图4~6。图4中,第一排图片为测试集中输入U_trained的10帧相位数据图,第2排依此为真实的第12、14、16、30、60、110帧大气湍流相位图,第三排为预估的第12、14、16、30、60、110帧大气湍流相位图,第四排为预估的第12、14、16、30、60、110帧大气湍流相位图与真实的第12、14、16、30、60、110帧大气湍流相位图相减的误差图。
图4~6表明,预估序列小于第50帧时,SSIM大于0.9,RMSE小于2.4,证明了该算法可预测未来1~50帧的大气湍流相位图。
本发明实施例2提供一种基于残差循环神经网络的大气湍流相位时空预估算法,如图7所示,包括训练和预估两个阶段,分为如下步骤:
a.训练阶段的步骤为:
S1.获取大气湍流所引入的大气湍流相位图,标记为Pi,i=1,2,3,4…T,T为所获取的时序相位信息的最大帧数;相邻两帧大气湍流相位图之间的时间间隔相等;
S2.将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列PN={Pt-n+1,…,Pt}和紧邻的下一时段大气湍流相位图序列PM={Pt+1,…,Pt+m},其中n为输入大气湍流相位图序列长度常量,m为输出大气湍流相位图序列长度常量,t表示大气湍流相位图的时刻;
S3.建立残差循环神经网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为网络的输入,大气湍流相位图序列PM作为网络的黄金标准,计算网络的输出与黄金标准的损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于设定条件,则停止更新网络模型参数,得到训练完备的残差循环神经网络R2_trained;
b.预估阶段的步骤为:
S4.实测一段长度为n的大气湍流相位图序列P'N={P'1,…,P'n}作为R2_trained的输入,预估得到n+1时刻到n+m时刻的所有大气湍流相位图P'M。
所述步骤S1中的大气湍流可以是任何产生大气湍流的的装置和***提供的,如真实大气湍流或湍流发生池等,其中T可取10000。
所述步骤S1中的相位获取装置可以是任何计算测量大气湍流波前畸变信息的设备和算法,如Shack-Hartmann波前传感器。
所述步骤S2中的N份等长时序大气湍流相位图数据中N的最大取值为T-n-m+1后取整,若取n=10,m=100,T=10000,则N=10000-10-100+1=9891。
所述步骤S3中的残差循环神经网络模型可以是任何用于具有残差循环单元的,包含下采样路径、上采样路径和桥接路径的时空序列预估的神经网络模型,其下采样路径可以用池化或步长为2的卷积层实现,其上采样路径可以用反卷积或插值实现,如基于卷积神经网络的R2prednet等,框架可选Tensorflow、Pytorch等,网络只需训练一次,之后便可使用完成训练的神经网络模型对未知样本进行无限次的时序相位预估。
本实施例的方案如图9所示,残差循环神经单元中的循环神经网络可以是RNN、LSTM、MIM等任何具备处理时序二维信息的循环神经网络,下采样过程使用带有残差网络的卷积网络,上采样过程使用带有残差网络的转置卷积网络。所有卷积核大小为3x3,卷积和转置卷积后进行批量标准化和非线性激活。
所述步骤S3中的损失函数可选MSE损失函数,与之对应的网络模型参数停止更新的标准为MSE损失函数值小于0.002。
所述步骤S4中的m可取1~20。
本发明的实施例2采用如图10所示的相位测量光路,包括激光器1、准直透镜2、大气湍流池3、成像透镜4和Shack-Hartmann波前传感器5。
本发明实施例2的训练阶段,使用图10所示的光路,首先使用Shack-Hartmann波前传感器5采集大气湍流池4的一段时间内的波前偏离点阵Bi,其中i=1,2,3,4…T。使用点阵解调算法得到相应大气湍流的相位图Pi,其中i=1,2,3,4…T。将T帧大气湍流相位图处理成N份等长时序大气湍流相位图数据,每一份数据均含有已知时段的大气湍流相位图序列PN={Pt-n+1,…,Pt}和已知时段紧邻的下一时段大气湍流相位图PM={Pt+1,…,Pt+m},其中n为输入相位图序列长度常量,m为输出相位图序列长度常量,t=1,2,3,4…N,N份数据中,70%为训练集,30%为测试集。建立如图8所示的残差循环神经网络模型,初始化网络模型参数,将n张连续变化的大气湍流相位图PN作为网络的输入,m张连续变化的大气湍流相位图PM作为网络的黄金标准,计算网络的输出与黄金标准的MSE损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于0.002时,即可停止更新网络模型参数,得到训练完备的神经网络R2_trained,其中网络训练参数如下:learningrate=0.0003,Batch size=32,Epoch=120。训练阶段只需执行一次,就可以使用训练好的网络模型进行部署,用于大气湍流相位时空预估。
本发明实施例2的预估阶段,将使用图10所示的光路和点阵解调算法得到的大气湍流相位图序列P'N={P'1,…,P'n}作为R2_trained的输入,得到预估的n+1时刻到n+100时刻的所有大气湍流相位图P'M。
将算法预测的相位图与使用图10所示的光路和点阵解调算法得到的大气湍流相位图序列做对比,并计算其误差,可得到图11。图11中,第一排图片为测试集中输入R2_trained的10帧相位数据图,第2排依此为真实的第12、14、16、30、60、110帧大气湍流相位图,第三排为预估的第12、14、16、30、60、110帧大气湍流相位图,第四排为预估的第12、14、16、30、60、110帧大气湍流相位图与真实的第12、14、16、30、60、110帧大气湍流相位图相减的误差图。
本发明的实施例3提供一种基于注意力循环神经网络的大气湍流相位时空预估算法,如图12所示,包括训练和预估两个阶段,分为如下步骤:
a.训练阶段的步骤为:
S1.获取大气湍流所引入的大气湍流相位图,标记为Pi,i=1,2,3,4…T,T为所获取的时序相位信息的最大帧数;相邻两帧大气湍流相位图之间的时间间隔相等;
S2.将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列PN={Pt-n+1,…,Pt}和紧邻的下一时段大气湍流相位图序列PM={Pt+1,…,Pt+m},其中n为输入大气湍流相位图序列长度常量,m为输出大气湍流相位图序列长度常量,t表示大气湍流相位图的时刻;
S3.建立注意力循环神经网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为网络的输入,大气湍流相位图序列PM作为网络的黄金标准,计算网络的输出与黄金标准的损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于设定条件,则停止更新网络模型参数,得到训练完备的注意力循环神经网络AR_trained;
b.预估阶段的步骤为:
S4.实测一段长度为n的大气湍流相位图序列P'N={P'1,…,P'n}作为AR_trained的输入,预估得到n+1时刻到n+m时刻的所有大气湍流相位图P'M。
所述步骤S1中的大气湍流可以是任何产生大气湍流的的装置和***提供的,如真实大气湍流或湍流发生池等,其中T可取10000。
所述步骤S1中的相位获取装置可以是任何计算测量大气湍流波前畸变信息的设备和算法,如Shack-Hartmann波前传感器。
所述步骤S2中的N份等长时序大气湍流相位图数据中N的最大取值为T-n-m+1后取整,若取n=10,m=100,T=10000,则N=10000-10-100+1=9891。
所述步骤S3中的注意力循环神经网络模型可以是任何用于具有注意力循环单元的,包含下采样路径、上采样路径和桥接路径的时空序列预估的神经网络模型,其下采样路径可以用池化或步长为2的卷积层实现,其上采样路径可以用反卷积或插值实现,如基于卷积神经网络的ARprednet等,框架可选Tensorflow、Pytorch等,网络只需训练一次,之后便可使用完成训练的神经网络模型对未知样本进行无限次的时序相位预估。
本实施例的方案如图15所示,注意力循环神经单元中的循环神经网络可以是RNN、LSTM、MIM等任何具备处理时序二维信息的循环神经网络,下采样过程使用带有注意力网络的卷积网络,上采样过程使用带有注意力网络的转置卷积网络。所有卷积核大小为3x3,卷积和转置卷积后进行批量标准化和非线性激活。
所述步骤S3中的损失函数可选MSE损失函数,与之对应的网络模型参数停止更新的标准为MSE损失函数值小于0.002。
所述步骤S4中的m可取1~20。
本发明的实施例3采用如图15所示的相位测量光路,包括激光器1、准直透镜2、大气湍流池3、成像透镜4和Shack-Hartmann波前传感器5。
本发明实施例3的训练阶段,使用图15所示的光路,首先使用Shack-Hartmann波前传感器5采集大气湍流池4的一段时间内的波前偏离点阵Bi,其中i=1,2,3,4…T。使用点阵解调算法得到相应大气湍流的相位图Pi,其中i=1,2,3,4…T。将T帧大气湍流相位图处理成N份等长时序大气湍流相位图数据,每一份数据均含有已知时段的大气湍流相位图序列PN={Pt-n+1,…,Pt}和已知时段紧邻的下一时段大气湍流相位图PM={Pt+1,…,Pt+m},其中n为输入相位图序列长度常量,m为输出相位图序列长度常量,t=1,2,3,4…N,N份数据中,70%为训练集,30%为测试集。建立如图13所示的注意力循环神经网络模型,初始化网络模型参数,将n张连续变化的大气湍流相位图PN作为网络的输入,m张连续变化的大气湍流相位图PM作为网络的黄金标准,计算网络的输出与黄金标准的MSE损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于0.002时,即可停止更新网络模型参数,得到训练完备的神经网络AR_trained,其中网络训练参数如下:learningrate=0.0003,Batch size=32,Epoch=120。训练阶段只需执行一次,就可以使用训练好的网络模型进行部署,用于大气湍流相位时空预估。
本发明实施例3的预估阶段,将使用图15所示的光路和点阵解调算法得到的大气湍流相位图序列P'N={P'1,…,P'n}作为AR_trained的输入,得到预估的n+1时刻到n+100时刻的所有大气湍流相位图P'M。
将算法预测的相位图与使用图15所示的光路和点阵解调算法得到的大气湍流相位图序列做对比,并计算其误差,可得到图16。图16中,第一排图片为测试集中输入AR_trained的10帧相位数据图,第2排依此为真实的第12、14、16、30、60、110帧大气湍流相位图,第三排为预估的第12、14、16、30、60、110帧大气湍流相位图,第四排为预估的第12、14、16、30、60、110帧大气湍流相位图与真实的第12、14、16、30、60、110帧大气湍流相位图相减的误差图。
本发明的实施例4提供一种基于生成对抗网络的大气湍流相位时空预估算法,如图17所示,包括训练和预估两个阶段,分为如下步骤:
a.训练阶段的步骤为:
S1.获取大气湍流所引入的大气湍流相位图,标记为Pi,i=1,2,3,4…T,T为所获取的时序相位信息的最大帧数;相邻两帧大气湍流相位图之间的时间间隔相等;
S2.将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列PN={Pt-n+1,…,Pt}和紧邻的下一时段大气湍流相位图序列PM={Pt+1,…,Pt+m},其中n为输入大气湍流相位图序列长度常量,m为输出大气湍流相位图序列长度常量,t表示大气湍流相位图的时刻;
S3.建立生成对抗网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为生成器的输入,大气湍流相位图序列PM作为网络的黄金标准,计算网络的输出与黄金标准的像素损失函数值,并将网络的输出和黄金标准作为判别器的输入,计算判别器的对抗损失函数值,像素损失函数值和对抗损失函数值的梯度依此反向传播以更新生成器和判别器的参数,并将直至像素损失函数值小于设定条件,则停止更新网络模型参数,得到训练完备的生成对抗网络GAN_trained;
b.预估阶段的步骤为:
S4.实测一段长度为n的大气湍流相位图序列P'N={P'1,…,P'n}作为GAN_trained的生成器的输入,预估得到n+1时刻到n+m时刻的所有大气湍流相位图P'M。
所述步骤S1中的大气湍流可以是任何产生大气湍流的的装置和***提供的,如真实大气湍流或湍流发生池等,其中T可取10000。
所述步骤S1中的相位获取装置可以是任何计算测量大气湍流波前畸变信息的设备和算法,如Shack-Hartmann波前传感器。
所述步骤S2中的N份等长时序大气湍流相位图数据中N的最大取值为T-n-m+1后取整,若取n=10,m=100,T=10000,则N=10000-10-100+1=9891。
所述步骤S3中的生成对抗网络模型可以是任何用于具有注意力循环单元的,包含下采样路径、上采样路径和桥接路径的时空序列预估的神经网络模型,其下采样路径可以用池化或步长为2的卷积层实现,其上采样路径可以用反卷积或插值实现,如基于卷积神经网络的PredGAN等,框架可选Tensorflow、Pytorch等,网络只需训练一次,之后便可使用完成训练的神经网络模型对未知样本进行无限次的时序相位预估。
本实施例的方案如图19所示,生成器可以是RNN、LSTM、MIM等任何具备处理时序二维信息的循环神经网络,判别器可以是Lenet、Alexnet等任何具有降维作用的卷积神经网络,下采样过程使用带有注意力网络的卷积网络,上采样过程使用带有注意力网络的转置卷积网络。所有卷积核大小为3x3,卷积和转置卷积后进行批量标准化和非线性激活。
所述步骤S3中的像素损失函数可选MSE损失函数,对抗损失函数选用交叉熵损失函数,与之对应的网络模型参数停止更新的标准为MSE损失函数值小于0.002。
所述步骤S4中的m可取1~20。
本发明的实施例4采用如图19所示的相位测量光路,包括激光器1、准直透镜2、大气湍流池3、成像透镜4和Shack-Hartmann波前传感器5。
本发明实施例4的训练阶段,使用图19所示的光路,首先使用Shack-Hartmann波前传感器5采集大气湍流池4的一段时间内的波前偏离点阵Bi,其中i=1,2,3,4…T。使用点阵解调算法得到相应大气湍流的相位图Pi,其中i=1,2,3,4…T。将T帧大气湍流相位图处理成N份等长时序大气湍流相位图数据,每一份数据均含有已知时段的大气湍流相位图序列PN={Pt-n+1,…,Pt}和已知时段紧邻的下一时段大气湍流相位图PM={Pt+1,…,Pt+m},其中n为输入相位图序列长度常量,m为输出相位图序列长度常量,t=1,2,3,4…N,N份数据中,70%为训练集,30%为测试集。建立如图18所示生成对抗网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为生成器的输入,大气湍流相位图序列PM作为网络的黄金标准,计算网络的输出与黄金标准的MSE损失函数值,并将网络的输出和黄金标准作为判别器的输入,计算判别器的交叉熵损失函数值,像素损失函数值和对抗损失函数值的梯度依此反向传播以更新生成器和判别器的参数,直至像素损失函数值小于0.002时,即可停止更新网络模型参数,得到训练完备的神经网络GAN_trained,其中网络训练参数如下:learning rate=0.0003,Batch size=32,Epoch=120。训练阶段只需执行一次,就可以使用训练好的网络模型进行部署,用于大气湍流相位时空预估。
本发明实施例4的预估阶段,将使用图19所示的光路和点阵解调算法得到的大气湍流相位图序列P'N={P'1,…,P'n}作为GAN_trained的输入,得到预估的n+1时刻到n+100时刻的所有大气湍流相位图P'M。
将算法预测的相位图与使用图19所示的光路和点阵解调算法得到的大气湍流相位图序列做对比,并计算其误差,可得到图20。图20中,第一排图片为测试集中输入GAN_trained的10帧相位数据图,第2排依此为真实的第12、14、16、30、60、110帧大气湍流相位图,第三排为预估的第12、14、16、30、60、110帧大气湍流相位图,第四排为预估的第12、14、16、30、60、110帧大气湍流相位图与真实的第12、14、16、30、60、110帧大气湍流相位图相减的误差图。

Claims (10)

1.一种大气湍流相位时空预估方法,其特征在于,包括以下步骤:
S1.获取大气湍流所引入的大气湍流相位图,标记为Pi,i=1,2,3,4…T,T为所获取的时序相位信息的最大帧数;相邻两帧大气湍流相位图之间的时间间隔相等;
S2.将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列PN={Pt-n+1,…,Pt}和紧邻的下一时刻大气湍流相位图Pt+1,其中n为输入大气湍流相位图序列长度常量,t表示大气湍流相位图的时刻;
S3.建立神经网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为网络的输入,大气湍流相位图Pt+1作为网络的黄金标准,计算网络的输出与黄金标准的损失函数值,并将损失函数值的梯度反向传播以更新网络模型的参数,直至损失函数值小于设定条件,则停止更新网络模型参数,得到训练完备的神经网络trained;
S4.实测一段长度为n的大气湍流相位图序列P'N={P'1,…,P'n}作为trained的输入,预估得到n+1时刻的大气湍流相位图P'n+1;
S5.将P'N中第一张大气湍流相位图P'1删除,将得到的预估的大气湍流相位图P'n+1添加到P'N末尾,得到一段新的大气湍流相位图序列,将该序列输入trained,得到与该时序相位数据紧邻的下一帧的相位数据;
S6.将步骤S5重复m次,得到未来n+1到n+m时段内的大气湍流相位图。
2.根据权利要求1所述的大气湍流相位时空预估方法,其特征在于,所述的神经网络模型采用U型神经网络模型;所述的U型神经网络模型是任何用于具有U型结构,包含下采样路径、上采样路径和桥接路径的时空序列预估的神经网络模型;所述的U型神经网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现,桥接路径用循环神经网络或注意力机制实现。
3.根据权利要求1所述的大气湍流相位时空预估方法,其特征在于,所述的数据N的最大取值为T-n+1后向下取整。
4.根据权利要求1所述的大气湍流相位时空预估方法,其特征在于,所述的数据m取值为1~50。
5.根据权利要求1所述的大气湍流相位时空预估方法,其特征在于,所述的步骤S2替换为将T帧大气湍流相位图处理成N份等长的大气湍流相位图数据,每一份数据均包括大气湍流相位图序列PN={Pt-n+1,…,Pt}和紧邻的下一时段大气湍流相位图序列PM={Pt+1,…,Pt+m},其中m为输出大气湍流相位图序列长度常量;步骤S4实测一段长度为n的大气湍流相位图序列P'N={P'1,…,P'n}作为神经网络trained的输入,预估得到n+1时刻到n+m时刻的所有大气湍流相位图,预估过程结束。
6.根据权利要求5所述的大气湍流相位时空预估方法,其特征在于,所述的神经网络采用残差循环神经网络模型或注意力循环神经网络模型;所述的残差循环神经网络模型是任何用于具有残差循环模块的,包含下采样路径、上采样路径的时空序列预估的神经网络模型;所述的残差循环神经网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现;所述的注意力循环神经网络模型是任何用于具有注意力循环模块的,包含下采样路径、上采样路径的时空序列预估的神经网络模型;所述的注意力循环神经网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现。
7.根据权利要求5所述的大气湍流相位时空预估方法,其特征在于,所述的S3替换为建立生成对抗网络模型,初始化网络模型参数,将大气湍流相位图序列PN作为生成器的输入,大气湍流相位图序列PM作为网络的黄金标准,计算网络的输出与黄金标准的像素损失函数值,并将网络的输出和黄金标准作为判别器的输入,计算判别器的对抗损失函数值,像素损失函数值和对抗损失函数值的梯度依此反向传播以更新生成器和判别器的参数,并将直至像素损失函数值小于设定条件,则停止更新网络模型参数,得到训练完备的生成对抗网络GAN_trained;所述的生成对抗网络模型是任何用于具有生成器和判别器,包含下采样路径、上采样路径的时空序列预估的神经网络模型;所述的生成对抗网络模型的下采样路径用池化或步长为2的卷积层实现,上采样路径用反卷积或插值实现。
8.根据权利要求5所述的大气湍流相位时空预估方法,其特征在于,所述的数据N的最大取值为T-n-m+1后向下取整。
9.根据权利要求5所述的大气湍流相位时空预估方法,其特征在于,所述的数据m取值为1~20。
10.根据权利要求1或5或6或7所述的大气湍流相位时空预估方法,其特征在于,所述的损失函数选用MSE损失函数,与之对应的网络模型参数停止更新的设定条件为MSE损失函数值小于0.002;所述的像素损失函数选用MSE损失函数,对抗损失函数选用交叉熵损失函数,与之对应的网络模型参数停止更新的设定条件为MSE损失函数值小于0.002。
CN202110433347.5A 2021-04-22 2021-04-22 一种大气湍流相位时空预估算法 Pending CN113239614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110433347.5A CN113239614A (zh) 2021-04-22 2021-04-22 一种大气湍流相位时空预估算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110433347.5A CN113239614A (zh) 2021-04-22 2021-04-22 一种大气湍流相位时空预估算法

Publications (1)

Publication Number Publication Date
CN113239614A true CN113239614A (zh) 2021-08-10

Family

ID=77128929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110433347.5A Pending CN113239614A (zh) 2021-04-22 2021-04-22 一种大气湍流相位时空预估算法

Country Status (1)

Country Link
CN (1) CN113239614A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004342A (zh) * 2021-11-29 2022-02-01 中国科学院光电技术研究所 一种基于lstm网络的激光通信***畸变波前预测方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371116A (zh) * 2006-01-20 2009-02-18 拉古纳大学 波前相差和距离测量相位相机
CN107632295A (zh) * 2017-09-15 2018-01-26 广东工业大学 一种基于时序卷积神经网络的雷达回波外推方法
WO2018119807A1 (zh) * 2016-12-29 2018-07-05 浙江工商大学 一种基于卷积神经网络的时空一致性深度图序列的生成方法
CN108734357A (zh) * 2018-05-29 2018-11-02 北京佳格天地科技有限公司 气象预测***及方法
CN110083977A (zh) * 2019-05-14 2019-08-02 南京大学 一种基于深度学习的大气湍流监测方法
CN110332990A (zh) * 2019-05-24 2019-10-15 深圳大学 一种基于深度学习的大气湍流实时补偿方法及***
CN110400280A (zh) * 2019-08-02 2019-11-01 电子科技大学 一种基于人造信标和相位屏的大气湍流退化图像复原方法
CN110738355A (zh) * 2019-09-19 2020-01-31 河源职业技术学院 一种基于神经网络的城市内涝预测方法
WO2020063013A1 (zh) * 2018-09-29 2020-04-02 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN111221479A (zh) * 2020-01-19 2020-06-02 苏州浪潮智能科技有限公司 一种判断存储容量变化量异常的方法、***及存储介质
CN111241755A (zh) * 2020-02-24 2020-06-05 国网(苏州)城市能源研究院有限责任公司 电力负荷预测方法
CN111367961A (zh) * 2020-02-27 2020-07-03 西安交通大学 基于图卷积神经网络的时序数据事件预测方法、***及其应用
CN111738953A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于边界感知对抗学习的大气湍流退化图像复原方法
AU2020102396A4 (en) * 2020-09-23 2020-11-05 Changchun University Of Science And Technology Machine learning-based method for analyzing characteristics of laser beam propagation through turbulent atmosphere
CN112446419A (zh) * 2020-10-29 2021-03-05 中山大学 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112488235A (zh) * 2020-12-11 2021-03-12 江苏省特种设备安全监督检验研究院 一种基于深度学习的电梯时序数据的异常诊断方法
CN112529144A (zh) * 2019-09-17 2021-03-19 中国科学院分子细胞科学卓越创新中心 一种面向短期时间序列预测的预期性学习方法和***

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371116A (zh) * 2006-01-20 2009-02-18 拉古纳大学 波前相差和距离测量相位相机
WO2018119807A1 (zh) * 2016-12-29 2018-07-05 浙江工商大学 一种基于卷积神经网络的时空一致性深度图序列的生成方法
CN107632295A (zh) * 2017-09-15 2018-01-26 广东工业大学 一种基于时序卷积神经网络的雷达回波外推方法
CN108734357A (zh) * 2018-05-29 2018-11-02 北京佳格天地科技有限公司 气象预测***及方法
WO2020063013A1 (zh) * 2018-09-29 2020-04-02 南京理工大学 一种基于深度学习的条纹投影时间相位展开方法
CN110083977A (zh) * 2019-05-14 2019-08-02 南京大学 一种基于深度学习的大气湍流监测方法
CN110332990A (zh) * 2019-05-24 2019-10-15 深圳大学 一种基于深度学习的大气湍流实时补偿方法及***
CN110400280A (zh) * 2019-08-02 2019-11-01 电子科技大学 一种基于人造信标和相位屏的大气湍流退化图像复原方法
CN112529144A (zh) * 2019-09-17 2021-03-19 中国科学院分子细胞科学卓越创新中心 一种面向短期时间序列预测的预期性学习方法和***
CN110738355A (zh) * 2019-09-19 2020-01-31 河源职业技术学院 一种基于神经网络的城市内涝预测方法
CN111221479A (zh) * 2020-01-19 2020-06-02 苏州浪潮智能科技有限公司 一种判断存储容量变化量异常的方法、***及存储介质
CN111241755A (zh) * 2020-02-24 2020-06-05 国网(苏州)城市能源研究院有限责任公司 电力负荷预测方法
CN111367961A (zh) * 2020-02-27 2020-07-03 西安交通大学 基于图卷积神经网络的时序数据事件预测方法、***及其应用
CN111738953A (zh) * 2020-06-24 2020-10-02 北京航空航天大学 一种基于边界感知对抗学习的大气湍流退化图像复原方法
AU2020102396A4 (en) * 2020-09-23 2020-11-05 Changchun University Of Science And Technology Machine learning-based method for analyzing characteristics of laser beam propagation through turbulent atmosphere
CN112446419A (zh) * 2020-10-29 2021-03-05 中山大学 基于注意力机制的时空神经网络雷达回波外推预报方法
CN112488235A (zh) * 2020-12-11 2021-03-12 江苏省特种设备安全监督检验研究院 一种基于深度学习的电梯时序数据的异常诊断方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
吕洁等: "两种估算近海面大气光学湍流强度方法的比较", 《光学学报》 *
张宸: "基于深度学习的电能质量时序数据趋势预测算法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 *
徐启伟等: "基于深度卷积神经网络的大气湍流相位提取", 《物理学报》 *
蒋佶松等: "基于时变相位屏的非等晕成像数值模型及验证", 《光子学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004342A (zh) * 2021-11-29 2022-02-01 中国科学院光电技术研究所 一种基于lstm网络的激光通信***畸变波前预测方法
CN114004342B (zh) * 2021-11-29 2023-05-30 中国科学院光电技术研究所 一种基于lstm网络的激光通信***畸变波前预测方法

Similar Documents

Publication Publication Date Title
CN109271933B (zh) 基于视频流进行三维人体姿态估计的方法
JP2978406B2 (ja) 局所異常の排除による動きベクトルフィールド生成装置およびその方法
CN110852267B (zh) 基于光流融合型深度神经网络的人群密度估计方法及装置
CN113688723A (zh) 一种基于改进YOLOv5的红外图像行人目标检测方法
CN106683048A (zh) 一种图像超分辨率方法及设备
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
Cardona et al. Seeing the wind: Visual wind speed prediction with a coupled convolutional and recurrent neural network
CN112085768B (zh) 光流信息预测方法、装置、电子设备和存储介质
CN115601403A (zh) 一种基于自注意力机制的事件相机光流估计方法及装置
CN116309781B (zh) 一种基于跨模态融合的水下视觉目标测距方法及装置
CN113239614A (zh) 一种大气湍流相位时空预估算法
CN116403152A (zh) 一种基于空间上下文学习网络的人群密度估计方法
Song et al. 2d lidar map prediction via estimating motion flow with gru
CN110782480A (zh) 一种基于在线模板预测的红外行人跟踪方法
KR102443586B1 (ko) 누락 데이터 예측 방법 및 장치
CN111275751B (zh) 一种无监督绝对尺度计算方法及***
CN114485417B (zh) 一种结构振动位移识别方法及***
CN115984132A (zh) 一种基于cbaim差分循环神经网络的短临预报方法
CN115860113A (zh) 一种自对抗神经网络模型的训练方法及相关装置
CN115078305A (zh) 一种基于图神经网络的Zernike系数波前预测算法
Kılıç et al. E-VFIA: Event-Based video frame interpolation with attention
CN112907621B (zh) 一种基于差分和语义信息融合的运动目标提取方法
JP2023182931A (ja) 学習装置、学習方法、画像処理装置、画像処理方法およびプログラム
CN116805337B (zh) 一种基于跨尺度视觉变换网络的人群定位方法
CN115273182B (zh) 长视频专注度预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210810

WD01 Invention patent application deemed withdrawn after publication