CN112700439A - 一种基于神经网络的oct人眼图像采集配准方法及*** - Google Patents

一种基于神经网络的oct人眼图像采集配准方法及*** Download PDF

Info

Publication number
CN112700439A
CN112700439A CN202110048840.5A CN202110048840A CN112700439A CN 112700439 A CN112700439 A CN 112700439A CN 202110048840 A CN202110048840 A CN 202110048840A CN 112700439 A CN112700439 A CN 112700439A
Authority
CN
China
Prior art keywords
neural network
oct
model
image
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110048840.5A
Other languages
English (en)
Inventor
安林
刘华宗
秦嘉
蓝公仆
许景江
黄燕平
吴小翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Weiren Medical Technology Co ltd
Original Assignee
Guangdong Weiren Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Weiren Medical Technology Co ltd filed Critical Guangdong Weiren Medical Technology Co ltd
Priority to CN202110048840.5A priority Critical patent/CN112700439A/zh
Publication of CN112700439A publication Critical patent/CN112700439A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于神经网络的OCT人眼图像采集配准方法及***,通过提前训练好的深度神经网络模型直接得到两个图像之间的偏移量,从而减少OCT***显示高质量图像的时间,降低了使用OCT***采集多张图像之间的位移偏差。相比于传统的补偿算法,本发明所提出的方法不需要重复计算最优偏移量,降低了求取偏移量过程的时间消耗。同时本发明采用了基于A‑scans配准的方法,将二维OCT图像视为非刚体图像,提高了补偿OCT图像位移偏差的精度。

Description

一种基于神经网络的OCT人眼图像采集配准方法及***
技术领域
本发明涉及OCT***、OCTA***图像采集、图像配准技术领域,具体涉及一种基于神经网络的OCT人眼图像采集配准方法及***。
背景技术
光学相干层析成像***(optical coherence tomography,OCT***),是一种基于光的低相干干涉原理获得深度方向层析能力的成像技术,该技术具有无接触,非侵入,实时三维成像,成像分辨率高等优点。其成像***由宽带光源,光纤耦合器,参考臂,样品臂,图像采集器五大部分组成。成像过程中,宽带光源每次发射一束光线,图像采集器将会接收到一条带有深度信息的一维数据。在OCT技术中,每条一维数据被称为一个A-scans。通过采集多个不同位置的A-scans,可以重构出生物组织或材料内部结构的二维或三维图像。然而,在对活体组织或者存在抖动状态的材料进行层析成像时。因为被检测物体的位移,会出现在同光源入射点所采集的A-scans具有不同的深度信息的现象,这将会导致由A-scans数据重构二维或三维图像时,出现图像显示信息与实际信息无法完全对应的问题。因此,在OCT成像采集过程中,使用配准方法将出现偏移的图像进行相对运动的补偿,将会使OCT技术采集到的信息更加反映真实情况。
现有OCT图像配准技术中,①.基于图像血管特征信息配准OCT图像的方法,在申请号为201710080611.5的专利中进行了描述。该专利将OCT二维图像经过降噪、分层、图像投影等预处理手段,最终得到二维图像中血管的特征点。然后将二维特征点投影到三维图像中,进行两两特征点之间的对应,从而达到配准OCT图像的效果。②.基于图像幅度信息配准OCT图像的方法,在申请号为201210109566.9的专利中进行了描述。该专利首先使用幅值归一化互相关方法粗配准OCT图像,再使用幅值归一化互相关方法配准构成OCT图像的A-scans信息达到精细配准目的。③.基于图像相位信息配准OCT图像的方法,在申请号为201580006926.4的专利中进行了描述。该专利利用OCT图像之间的相位信息以及一定的判断策略达到配准目的。
这些方式的缺点是需要对每一帧图都进行重复的最优偏移量计算,例如专利申请号为201580006926.4的专利中,他们解决人眼抖动的问题是采用计算配准图与待配准图之间相位信息的相关性,通过不断的调整这两帧图片之间的位置,求得一个最优偏移量。这个过程需要对所有待配准OCT图像进行两两之间的最优偏移量计算。这将会耗费更多的机器运算资源,并且所消耗时间相比于不消除眼动的成像方式长了十几倍。同时,该专利中配准尺度是二维图像,构成二维图像的A-scans间的抖动并没有被考虑到,这将会降低配准效果的准确度。在申请号为201210109566.9的专利中,考虑到了A-scans之间的抖动,但配准方法采用基于图像强度信息进行迭代求解最优值的方法进行配准,将会存在配准时间消耗过大的问题。在临床应用中,更短的配准时间消耗能更好的突显OCT成像的实时性优势。
发明内容
本发明的目的在于提出一种基于神经网络的OCT人眼图像采集配准方法及***,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
本发明通过提前训练好的深度神经网络模型直接得到两个图像之间的偏移量,从而减少OCT***显示高质量图像的时间。
为了实现上述目的,根据本发明的一方面,提供一种基于神经网络的OCT人眼图像采集配准方法,所述方法包括以下步骤:
S100,通过OCT***采集与标定图像数据;
S200,通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型;
S300,通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量。
进一步地,在S100中,所述OCT***由光源,光纤耦合器,参考臂,样本臂,信号收集器五个部分构成,OCT***的光路是由光源发出一束光,经过光纤耦合器分成两束光,一束光进入由一个平面镜构成的参考臂,另一束光经过由X-Y扫描振镜与透镜组构成的样品臂;通过调整X-Y扫描振镜的位置,对视网膜不同断层位置进行扫描,参考臂和样品臂的回光经过光纤耦合器后进入信号收集器,通过信号收集器得到OCT图像数据。
进一步地,在S100中,采集与标定图像数据的方法为:通过OCT***采集活体人眼视网膜OCT图像,进行人工标定待配准OCT图像中两两图像的之间的横向偏移量Dx与每一个A-scans之间的纵向偏移量t,其中,n个A-scans之间的纵向偏移量构成一个偏移向量T=[t1,t2,t3,…ti…tn-1,tn],i=[1,n]其中的ti与ti+1表示两两图像之间的同一位置在不同采集时间A-scans之间的纵向偏移量,每一组待配准OCT图像都标有(Dx,T)信息,(Dx,T)信息即参数Dx和T的组合。
进一步地,在S200中,通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型的方法包括以下步骤:
S201,第一神经网络模型的输入为同一位置在不同采集时间的两个待配准OCT图像,输出为两个OCT图像之间的横向偏移量Dx;
第一神经网络模型的结构包括:第一残差神经网络(采用ResNet34网络)、第二残差神经网络(ResNet34)、一个dropout层和依次连接的三个全连接层,三个全连接层分别为第一全连接层、第二全连接层、第三全连接层,第一残差神经网络、第二残差神经网络分别与dropout层连接,第一残差神经网络、第二残差神经网络输出到dropout层;dropout层连接到依次连接的三个全连接层;其中,dropout层的参数为0.5,即,将输入dropout层的第一残差神经网络、第二残差神经网络合并后的数据输入关闭一半的神经元;第一全连接层的输入维度为1024,输出维度为64、第二全连接层的输入维度为64,输出维度为64、第三全连接层的输入维度为64,输出维度为1;
在第一神经网络模型中,将同一位置在不同采集时间的两个OCT图像分别输入到第一残差神经网络和第二残差神经网络中进行特征提取,然后将提取到的2个特征合并成一个特征并且通过dropout层屏蔽掉一半的神经元进行输出,并将合并后的特征通过经过三个全连接层的输出,即得到两个图像之间的横向偏移量Dx;
S202,第二神经网络模型的输入为同一位置在不同采集时间的两个待配准OCT图像及横向偏移量Dx,输出为两个图像多条A-scans之间的纵向偏移向量T;
第二神经网络模型的结构包括:第三残差神经网络(ResNet34)、三个全连接层;第三残差神经网络连接并输出到依次连接的三个全连接层,三个全连接层分别为第四全连接层、第五全连接层、第六全连接层,第四全连接层的输入维度为1024,输出维度为512、第五全连接层的输入维度为512,输出维度为512、第六全连接层的输入维度为512,输出维度为M;
输出维度M是一个动态参数,一般取需要配准的A-scans的组数;
纵向偏移向量T的长度和输出维度M的大小相同;
横向偏移量Dx同一位置在不同采集时间的两个待配准OCT图像之间的横向偏移量;
在第二神经网络模型中,将同一位置在不同采集时间的两个OCT图像及横向偏移量Dx合并成一个双通道图像,然后将双通道图像使用残差神经网络进行特征提取,将提取到的特征经过三次全连接层,最后输出一维向量T;
S203,将标定的每组OCT图像和标定好的(Dx,T)信息,即横向偏移量Dx和向量T,输入第一神经网络模型和第二神经网络模型中进行神经网络参数的训练分别得到第一模型和第二模型。
进一步地,在S300中,通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量的方法包括以下步骤:
S301,将第一模型和第二模型作为OCT采集***的信号收集器的输出部分,每当OCT采集***的信号收集器获取到同一位置在不同采集时间的两个二维OCT图像信息,即第一图像和第二图像,将第一图像和第二图像输入第一模型中得到横向偏移量Dx;
S302,将Dx与第一图像和第二图像输入第二模型中得到第一图像和第二图像的A-scans之间的纵向偏移向量T;
S303,根据第一模型和第二模型得到的OCT图像之间的Dx和T信息,补偿OCT***实时采集到OCT图像之间的偏移量。
本发明还提供了一种基于神经网络的OCT人眼图像采集配准***,所述***包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下***的单元中:
图像采集标定单元,用于通过OCT***采集与标定图像数据;
神经网络训练单元,用于通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型;
OCT补偿单元,用于通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量。
本发明的有益效果为:本发明提供一种基于神经网络的OCT人眼图像采集配准方法及***,降低了使用OCT***采集多张图像之间的位移偏差。相比于传统的补偿算法,本发明所提出的方法不需要重复计算最优偏移量,降低了求取偏移量过程的时间消耗。同时本发明采用了基于A-scans配准的方法,将二维OCT图像视为非刚体图像,提高了补偿OCT图像位移偏差的精度。
附图说明
通过对结合附图所示出的实施方式进行详细说明,本发明的上述以及其他特征将更加明显,本发明附图中相同的参考标号表示相同或相似的元素,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,在附图中:
图1所示为一种基于神经网络的OCT人眼图像采集配准方法的流程图;
图2所示为OCT***的结构图;
图3所示为第一神经网络模型的结构图;
图4所示为第二神经网络模型的结构图;
图5所示为一种基于神经网络的OCT人眼图像采集配准***结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述,以充分地理解本发明的目的、方案和效果。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
如图1所示为根据本发明的一种基于神经网络的OCT人眼图像采集配准方法的流程图,下面结合图1来阐述根据本发明的实施方式的一种基于神经网络的OCT人眼图像采集配准方法。
本发明提出一种基于神经网络的OCT人眼图像采集配准方法,具体包括以下步骤:
S100,通过OCT***采集与标定图像数据;
S200,通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型;
S300,通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量。
进一步地,在S100中,如图2所示,图2为OCT***的结构图,所述OCT***由光源,光纤耦合器,参考臂,样本臂,信号收集器五个部分构成,OCT***的光路是由光源发出一束光,经过光纤耦合器分成两束光,一束光进入由一个平面镜构成的参考臂,另一束光经过由X-Y扫描振镜与透镜组构成的样品臂;通过调整X-Y扫描振镜的位置,对视网膜不同断层位置进行扫描,参考臂和样品臂的回光经过光纤耦合器后进入信号收集器,通过信号收集器得到OCT图像数据。
进一步地,在S100中,采集与标定图像数据的方法为:通过OCT***采集活体人眼视网膜OCT图像,进行人工标定待配准OCT图像中两两图像的之间的横向偏移量Dx与每一个A-scans之间的纵向偏移量t,其中,n个A-scans之间的纵向偏移量构成一个偏移向量T=[t1,t2,t3,…ti…tn-1,tn],自然数i=[1,n],其中的T中相邻的两个纵向偏移量表示两两图像之间的同一位置在不同采集时间A-scans之间的纵向偏移量,每一组待配准OCT图像都标有(Dx,T)信息。
进一步地,在S200中,通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型的方法包括以下步骤:
S201,第一神经网络模型的输入为同一位置在不同采集时间的两个待配准OCT图像,输出为两个OCT图像之间的横向偏移量Dx;
如图3所示,图3为第一神经网络模型的结构图,第一神经网络模型的结构包括:第一残差神经网络(采用ResNet34网络)、第二残差神经网络(采用ResNet34网络)、一个dropout层和依次连接的三个全连接层,三个全连接层分别为第一全连接层、第二全连接层、第三全连接层,第一残差神经网络、第二残差神经网络分别与dropout层连接,第一残差神经网络、第二残差神经网络输出到dropout层;dropout层连接到依次连接的三个全连接层;其中,dropout层的参数为0.5,即,将输入dropout层的第一残差神经网络、第二残差神经网络合并后的数据输入关闭一半的神经元;第一全连接层的输入维度为1024,输出维度为64、第二全连接层的输入维度为64,输出维度为64、第三全连接层的输入维度为64,输出维度为1;
在第一神经网络模型中,将同一位置在不同采集时间的两个OCT图像分别输入到第一残差神经网络和第二残差神经网络中进行特征提取,然后将提取到的2个特征合并成一个特征并且通过dropout层屏蔽掉一半的神经元进行输出,并将合并后的特征通过经过三个全连接层的输出,即得到两个图像之间的横向偏移量Dx;
S202,第二神经网络模型的输入为同一位置在不同采集时间的两个待配准OCT图像及横向偏移量Dx,输出为两个图像多条A-scans之间的纵向偏移向量T;
如图4所示,图4为第二神经网络模型的结构图,第二神经网络模型的结构包括:第三残差神经网络(采用ResNet34网络)、三个全连接层;第三残差神经网络连接并输出到依次连接的三个全连接层,三个全连接层分别为第四全连接层、第五全连接层、第六全连接层,第四全连接层的输入维度为1024,输出维度为512、第五全连接层的输入维度为512,输出维度为512、第六全连接层的输入维度为512,输出维度为M;
输出维度M是一个动态参数,一般取需要配准的A-scans的组数;
纵向偏移向量T的长度和输出维度M的大小相同;
横向偏移量Dx同一位置在不同采集时间的两个待配准OCT图像之间的横向偏移量;
在第二神经网络模型中,将同一位置在不同采集时间的两个OCT图像及横向偏移量Dx合并成一个双通道图像,然后将双通道图像使用残差神经网络进行特征提取,将提取到的特征经过三次全连接层,最后输出一维向量T;
S203,将标定的每组OCT图像和标定好的(Dx,T)信息,即横向偏移量Dx和向量T,输入第一神经网络模型和第二神经网络模型中进行神经网络参数的训练分别得到第一模型和第二模型。
进一步地,在S300中,通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量的方法包括以下步骤:
S301,将第一模型和第二模型作为OCT采集***的信号收集器的输出部分,每当OCT采集***的信号收集器获取到同一位置在不同采集时间的两个二维OCT图像信息,即第一图像和第二图像,将第一图像和第二图像输入第一模型中得到横向偏移量Dx;
S302,将Dx与第一图像和第二图像输入第二模型中得到第一图像和第二图像的A-scans之间的纵向偏移向量T;
S303,根据第一模型和第二模型得到的OCT图像之间的Dx和T信息,补偿OCT***实时采集到OCT图像之间的偏移量。
本发明的实施例提供的一种基于神经网络的OCT人眼图像采集配准***,如图5所示为本发明的一种基于神经网络的OCT人眼图像采集配准***结构图,该实施例的一种基于神经网络的OCT人眼图像采集配准***包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述一种基于神经网络的OCT人眼图像采集配准***实施例中的步骤。
所述***包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下***的单元中:
图像采集标定单元,用于通过OCT***采集与标定图像数据;
神经网络训练单元,用于通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型;
OCT补偿单元,用于通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量。
所述一种基于神经网络的OCT人眼图像采集配准***可以运行于桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备中。所述一种基于神经网络的OCT人眼图像采集配准***,可运行的***可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,所述例子仅仅是一种基于神经网络的OCT人眼图像采集配准***的示例,并不构成对一种基于神经网络的OCT人眼图像采集配准***的限定,可以包括比例子更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述一种基于神经网络的OCT人眼图像采集配准***还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述一种基于神经网络的OCT人眼图像采集配准***运行***的控制中心,利用各种接口和线路连接整个一种基于神经网络的OCT人眼图像采集配准***可运行***的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述一种基于神经网络的OCT人眼图像采集配准***的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述,但其并非旨在局限于任何这些细节或实施例或任何特殊实施例,从而有效地涵盖本发明的预定范围。此外,上文以发明人可预见的实施例对本发明进行描述,其目的是为了提供有用的描述,而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (6)

1.一种基于神经网络的OCT人眼图像采集配准方法,其特征在于,所述方法包括以下步骤:
S100,通过OCT***采集与标定图像数据;
S200,通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型;
S300,通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量。
2.根据权利要求1所述的一种基于神经网络的OCT人眼图像采集配准方法,其特征在于,在S100中,所述OCT***由光源,光纤耦合器,参考臂,样本臂,信号收集器五个部分构成,光源发出一束光,经过光纤耦合器分成两束光,一束光进入由一个平面镜构成的参考臂,另一束光经过由X-Y扫描振镜与透镜组构成的样品臂;通过调整X-Y扫描振镜的位置,对视网膜不同断层位置进行扫描,参考臂和样品臂的回光经过光纤耦合器后进入信号收集器,通过信号收集器得到OCT图像数据。
3.根据权利要求1所述的一种基于神经网络的OCT人眼图像采集配准方法,其特征在于,在S100中,采集与标定图像数据的方法为:通过OCT***采集活体人眼视网膜OCT图像,进行人工标定待配准OCT图像中两两图像的之间的横向偏移量Dx与每一个A-scans之间的纵向偏移量t,其中,n个A-scans之间的纵向偏移量构成一个偏移向量T=[t1,t2,t3,…ti…tn-1,tn],i=[1,n]其中的ti与ti+1表示两两图像之间的同一位置在不同采集时间A-scans之间的纵向偏移量,每一组待配准OCT图像都标有(Dx,T)信息。
4.根据权利要求1所述的一种基于神经网络的OCT人眼图像采集配准方法,其特征在于,在S200中,通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型的方法包括以下步骤:
S201,第一神经网络模型的输入为同一位置在不同采集时间的两个待配准OCT图像,输出为两个OCT图像之间的横向偏移量Dx;
第一神经网络模型的结构包括:第一残差神经网络、第二残差神经网络、一个dropout层和依次连接的三个全连接层,三个全连接层分别为第一全连接层、第二全连接层、第三全连接层,第一残差神经网络、第二残差神经网络分别与dropout层连接,第一残差神经网络、第二残差神经网络输出到dropout层;dropout层连接到依次连接的三个全连接层;其中,dropout层的参数为0.5,即,将输入dropout层的第一残差神经网络、第二残差神经网络合并后的数据输入关闭一半的神经元;第一全连接层的输入维度为1024,输出维度为64、第二全连接层的输入维度为64,输出维度为64、第三全连接层的输入维度为64,输出维度为1;
在第一神经网络模型中,将同一位置在不同采集时间的两个OCT图像分别输入到第一残差神经网络和第二残差神经网络中进行特征提取,然后将提取到的2个特征合并成一个特征并且通过dropout层屏蔽掉一半的神经元进行输出,并将合并后的特征通过经过三个全连接层的输出,即得到两个图像之间的横向偏移量Dx;
S202,第二神经网络模型的输入为同一位置在不同采集时间的两个待配准OCT图像及横向偏移量Dx,输出为两个图像多条A-scans之间的纵向偏移向量T;
第二神经网络模型的结构包括:第三残差神经网络、三个全连接层;第三残差神经网络连接并输出到依次连接的三个全连接层,三个全连接层分别为第四全连接层、第五全连接层、第六全连接层,第四全连接层的输入维度为1024,输出维度为512、第五全连接层的输入维度为512,输出维度为512、第六全连接层的输入维度为512,输出维度为M;
输出维度M是一个动态参数,一般取需要配准的A-scans的组数;
纵向偏移向量T的长度和输出维度M的大小相同;
横向偏移量Dx是同一位置在不同采集时间的两个待配准OCT图像之间的横向偏移量;
在第二神经网络模型中,将同一位置在不同采集时间的两个OCT图像及横向偏移量Dx合并成一个双通道图像,然后将双通道图像使用残差神经网络进行特征提取,将提取到的特征经过三次全连接层,最后输出一维向量T;
S203,将标定的每组OCT图像和标定好的(Dx,T)信息,即横向偏移量Dx和向量T,输入第一神经网络模型和第二神经网络模型中进行神经网络参数的训练分别得到第一模型和第二模型。
5.根据权利要求1所述的一种基于神经网络的OCT人眼图像采集配准方法,其特征在于,在S300中,通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量的方法包括以下步骤:
S301,将第一模型和第二模型作为OCT采集***的信号收集器的输出部分,每当OCT采集***的信号收集器获取到同一位置在不同采集时间的两个二维OCT图像信息,即第一图像和第二图像,将第一图像和第二图像输入第一模型中得到横向偏移量Dx;
S302,将Dx与第一图像和第二图像输入第二模型中得到第一图像和第二图像的A-scans之间的纵向偏移向量T;
S303,根据第一模型和第二模型得到的OCT图像之间的Dx和T信息,补偿OCT***实时采集到OCT图像之间的偏移量。
6.一种基于神经网络的OCT人眼图像采集配准***,其特征在于,所述***包括:存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序运行在以下***的单元中:
图像采集标定单元,用于通过OCT***采集与标定图像数据;
神经网络训练单元,用于通过标定好的图像数据训练第一神经网络模型和第二神经网络模型分别得到第一模型和第二模型;
OCT补偿单元,用于通过第一模型和第二模型补偿OCT***采集过程中图像的偏移量。
CN202110048840.5A 2021-01-14 2021-01-14 一种基于神经网络的oct人眼图像采集配准方法及*** Pending CN112700439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110048840.5A CN112700439A (zh) 2021-01-14 2021-01-14 一种基于神经网络的oct人眼图像采集配准方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110048840.5A CN112700439A (zh) 2021-01-14 2021-01-14 一种基于神经网络的oct人眼图像采集配准方法及***

Publications (1)

Publication Number Publication Date
CN112700439A true CN112700439A (zh) 2021-04-23

Family

ID=75514681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110048840.5A Pending CN112700439A (zh) 2021-01-14 2021-01-14 一种基于神经网络的oct人眼图像采集配准方法及***

Country Status (1)

Country Link
CN (1) CN112700439A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538537A (zh) * 2021-07-22 2021-10-22 北京世纪好未来教育科技有限公司 图像配准、模型训练方法、装置、设备、服务器及介质
CN115063344A (zh) * 2022-05-10 2022-09-16 广东唯仁医疗科技有限公司 一种眼动自动追踪方法、装置、设备及计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538537A (zh) * 2021-07-22 2021-10-22 北京世纪好未来教育科技有限公司 图像配准、模型训练方法、装置、设备、服务器及介质
CN113538537B (zh) * 2021-07-22 2023-12-12 北京世纪好未来教育科技有限公司 图像配准、模型训练方法、装置、设备、服务器及介质
CN115063344A (zh) * 2022-05-10 2022-09-16 广东唯仁医疗科技有限公司 一种眼动自动追踪方法、装置、设备及计算机存储介质

Similar Documents

Publication Publication Date Title
Johnson et al. Conditional generative adversarial network for 3D rigid‐body motion correction in MRI
CN109978037B (zh) 图像处理方法、模型训练方法、装置、和存储介质
Röhl et al. Dense GPU‐enhanced surface reconstruction from stereo endoscopic images for intraoperative registration
US7565019B2 (en) Method of volume-panorama imaging processing
Huhle et al. Fusion of range and color images for denoising and resolution enhancement with a non-local filter
JP4917733B2 (ja) 尤度最大化を利用した画像位置合わせシステム及び方法
Mitani et al. Real-time processing of two-photon calcium imaging data including lateral motion artifact correction
DE112013003214T5 (de) Verfahren zum Registrieren von Daten
Chen et al. Deep-learning-based motion-correction algorithm in optical resolution photoacoustic microscopy
US10682060B2 (en) Photoacoustic apparatus and image processing method
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN112700439A (zh) 一种基于神经网络的oct人眼图像采集配准方法及***
WO2023092959A1 (zh) 图像分割方法及其模型的训练方法及相关装置、电子设备
Manandhar et al. 3D flow field estimation and assessment for live cell fluorescence microscopy
Saeed et al. A granular level feature extraction approach to construct hr image for forensic biometrics using small training dataset
Nguyen et al. Single image super-resolution via a dual interactive implicit neural network
Tian et al. Real time augmented reality tracking registration based on motion blur template matching image construction model
CN116402987A (zh) 基于扩散模型及3DTransformer的三维分割方法、***、设备及介质
CN115239559A (zh) 一种融合视图合成的深度图超分辨率方法及***
JP2023547454A (ja) 画像フレームシーケンスの信号対雑音比を改善するための方法および画像処理デバイス
CN109949383B (zh) 一种高动态光学投影层析成像方法及装置
Schöner et al. Image processing for three-dimensional scans generated by time-of-flight range cameras
CN110930394A (zh) 测量肌肉肌纤维束线斜率和羽状角的方法及终端设备
Yu et al. Multiscale denoising generative adversarial network for speckle reduction in optical coherence tomography images
JPWO2018230615A1 (ja) 画像処理装置、コンピュータプログラム及び画像補完方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination