CN110051320B - 一种线扫描成像***的眼底目标运动量的计算方法 - Google Patents

一种线扫描成像***的眼底目标运动量的计算方法 Download PDF

Info

Publication number
CN110051320B
CN110051320B CN201910339915.8A CN201910339915A CN110051320B CN 110051320 B CN110051320 B CN 110051320B CN 201910339915 A CN201910339915 A CN 201910339915A CN 110051320 B CN110051320 B CN 110051320B
Authority
CN
China
Prior art keywords
frame
sub
scanning
fundus
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910339915.8A
Other languages
English (en)
Other versions
CN110051320A (zh
Inventor
张�杰
张金莲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Boshi Medical Technology Co ltd
Original Assignee
Nanjing Boshi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Boshi Medical Technology Co ltd filed Critical Nanjing Boshi Medical Technology Co ltd
Priority to CN201910339915.8A priority Critical patent/CN110051320B/zh
Priority to EP19926333.6A priority patent/EP3912545A4/en
Priority to PCT/CN2019/085493 priority patent/WO2020215358A1/zh
Priority to US17/428,004 priority patent/US20220117483A1/en
Publication of CN110051320A publication Critical patent/CN110051320A/zh
Application granted granted Critical
Publication of CN110051320B publication Critical patent/CN110051320B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开一种线扫描成像***的眼底目标运动量的计算方法，包括：A、利用线扫描眼底相机获得眼底图像，并将参考帧和目标帧的每一帧图像按照扫描相机达到的数据按照时间顺序划分为多个等间距的亚帧元；B、利用计算处理单元接收最新的亚帧元数据，启动预设的算法计算当前亚帧元相对于所述参考帧的位置，或定位目标帧的亚帧元与参考帧的亚帧元的相对位置；C、采用倍频技术，设置扫描信号和帧同步信号使其同步触发线扫描相机得到与扫描信号同步的亚帧元图像；根据每个亚帧元到达主机***的先后顺序，实时计算每个亚帧元包含的眼底运动信息。采用本发明，能够有效提高目标跟踪的实时性和精确度，从而进一步提高成像效率。

Description

一种线扫描成像***的眼底目标运动量的计算方法
技术领域
本发明涉及激光眼底目标跟踪及成像技术，尤其涉及一种线扫描成像***的眼底目标运动量的计算方法。
背景技术
现有的基于线扫描眼底相机(Line Scan Ophthalmoscope，LSO)成像***的目标跟踪技术，如卡尔·蔡司(Carl Zeiss)的成像***，其是以一帧图像作为一个单位进行计算眼底目标的运动量，但是存在控制***有至少一帧的时间延迟，因而会导致目标跟踪精度降低的缺陷。并且，现有LSO的目标跟踪信号方式完全是数字式的，从图像提取该信号时，由于LSO内部缺少光学闭环控制措施，还会导致眼底运动信号的计算不是很可靠。
发明内容
有鉴于此，本发明的主要目的在于提供一种线扫描成像***的眼底目标运动量的计算方法，通过降低控制***的时间延迟，有效提高目标跟踪的实时性和精确度，从而进一步提高成像效率。
为达到上述目的，本发明的技术方案是这样实现的：
一种线扫描成像***的眼底目标运动量的计算方法，包括如下步骤：
A、利用线扫描眼底相机获得眼底图像，并将参考帧和目标帧的每一帧图像按照所述线扫描眼底相机到达的数据按照时间顺序划分为多个等间距的亚帧元，设置每个亚帧元至少包含两根扫描线，所述等间距的亚帧元为每个亚帧元包含相同数量的扫描线；
B、利用计算处理单元接收最新的亚帧元数据，启动预设的互相关算法计算当前亚帧元相对于所述参考帧的位置，或定位目标帧的亚帧元与参考帧的亚帧元的相对位置；
C、设置所述线扫描相机接收触发信号，并采用倍频技术，设置扫描信号和帧同步信号使其同步触发所述线扫描相机得到与扫描信号同步的亚帧元图像，调整控制***的频率使其与所述亚帧元的采样频率相同；
D、根据每个亚帧元到达主机***的先后顺序，实时计算每个亚帧元包含的眼底运动信息，根据从所述眼底运动信息中计算出的运动信号同步调整所述控制***的位置。
其中，所述的线扫描眼底相机获得眼底图像为360度空间任意方向扫描获得的图像。
步骤B所述的计算处理单元为CPU、GPU、ARM、DSP或FPGA的任一种。
步骤C所述的扫描信号为锯齿波或三角波。
通过锁相基准脉冲时钟得到帧同步信号和所述扫描信号。
将所述扫描信号和帧同步信号作为触发线扫描相机的触发信号，并通过一种示例在FPGA设置Verilog代码在帧同步信号的上升沿或下降沿触发所述线扫描相机的基准时钟。
本发明线扫描成像***的眼底目标运动量的计算方法，具有如下有益效果：
利用本发明的线扫描成像***的闭环光学跟踪***，控制线扫描成像***。利用线扫描眼底相机获得眼底图像，定义参考帧和目标帧，根据每一帧的图像中每一根扫描线到达主机***的先后顺序，将每一帧图像按时间顺序划分成多个亚帧元，每个亚帧元包含一根到多根扫描线。根据每个亚帧元到达主机***的先后顺序，实时计算每个亚帧元包含的眼底运动信息，然后立即反馈到***件，如高速倾斜反射镜和旋转台等。采用这种倍频技术的方式因而能够大幅度提高目标跟踪的空间精度和时间带宽。
附图说明
图1为现有线扫描眼底相机的光学结构示意图；
图2为用于控制扫描反射镜SM的锯齿波示意图；
图3为根据图1所示线扫描眼底相机光学***得到的眼底图像示意图；
图4为现有线扫描成像***示意图，包含一个不带光学跟踪的主LSO成像***集成一个辅OCT成像***；
图5为本发明基于线扫描成像***的稳像***得到的以帧为单位从图像中计算眼底的运动量示意图；
图6为本发明实施例改进的具备内部光学跟踪的LSO光学***示意图；
图7为图6所示改进的LSO光学***中两个倾斜反射镜SM11和SM12的工作状态示意图；
图8为通过改变反射镜SM11和SM12的偏移量调整成像面在360度空间的位置状态示意图；
图9为旋转装置用于旋转柱面镜L13产生的线光源以及与之耦合的线扫描相机在360度空间的位置示意图；
图10为旋转柱面镜产生一个任意旋转角的线光源以及与之相关的扫描面的状态示意图；
图11为本发明实施例一种自带闭环光学跟踪的主LSO成像***集成另外一个辅成像***原理示意图；
图12为本发明实施例采用倍频技术降低眼底计算的时间延迟的示意图；
图13为扫描(反射)镜SM11扫描信号以及亚帧元的分割方式示意图；
图14为线扫描***的扫描信号和同步信号示意图；
图15为一种合成了线基准时钟和帧同步信号，用于触发线扫描相机的信号。
具体实施方式
下面结合附图及本发明的实施例对本发明作进一步详细的说明。
图1为现有线扫描眼底相机的光学结构示意图。
如图1所示，从点光源L11发出的光线经过透镜L12准直，通过柱面镜(CylinderLens)L13将面光源转换成线光源，然后继续中继到准直透镜L14。这里，柱面镜L13的安装方向决定了线光源在空间的扩展方向(详见图9和图10)，透镜L12、透镜L13、透镜L14一定程度上决定了线光源在眼底的照明(扩展)尺寸。经所述透镜L14发出的光，一部分透过分光镜(BS)，到达扫描反射镜(Steering Mirror or Scanning Mirror，SM)；另一部分透过分光镜(BS)到达准直透镜L17，然后经过一组滤波器(FILTER)，达到线扫描相机(Line ScanCamera)。
其中，扫描反射镜SM的作用是在线光源的正交方向产生周期扫描，光线通过两个准直变焦透镜L15和L16在眼(Eye)底产生一个二维的扫描空间。所述扫描反射镜(SM)的运动轨迹一般呈图2所示的锯齿波。
图2为用于控制扫描反射镜(SM)的锯齿波示意图。锯齿波的频率决定成像***的图像帧频，而锯齿波的振幅大小则决定扫描方向的光学视场尺寸。
如图2所示，该锯齿波的中心不一定总是在锯齿波零位置。锯齿波的中心偏移量实际上决定了扫描视场的中心位置。在光学设计允许的范围内，支持用户通过调节锯齿波的中心偏移量来控制扫描视场的中心位置。
参考图1，当眼底受点光源L11发出的光激发，返回的信号经同样的光学路径，从分光镜BS反射到准直透镜L17，再经过一组滤波器(FILTER)，达到线扫描相机(Line ScanCamera)。其中，从眼底返回的信号，可以是反射信号、可以是荧光信号，也可以是其他信号；还可以是同时到达所述线扫描相机的其他多种信号。
图3为根据图1所示线扫描眼底相机光学***得到的眼底图像示意图。即利用图1所示线扫描眼底相机得到的眼底图像示意图。
图4为现有线扫描成像***示意图，包含一个不带光学稳像(或者跟踪)的主LSO成像***和集成的一个辅助光相干断层扫描仪(OCT)成像***。
如图4所示，该主LSO成像***，即图1所示的成像***。较佳地，该主LSO成像***在临床上应用时，会搭载一个根据本发明实施例自定义的辅成像***，例如Carl Zeiss的OCT产品Cirrus，如图4所示的辅助成像***为一个OCT装置。
图4所示的辅成像***中，从第二点光源L21发出的光经准直***(包含准直透镜L22和L23)到达正交扫描反射镜SM21和SM22，然后经过聚焦透镜L24聚焦到分色镜(Dichotic Mirror)DM上。所述DM也位于主LSO成像***的焦平面上。
本发明实施例中，图4所示的主、辅(集成的光学)成像***，支持同步实施二维眼底反射(荧光)成像和三维OCT断层扫描成像。
该主LSO成像***的一个作用是，为辅成像***提供眼底的定位和导航，将当前OCT的断层扫描在眼底二维空间的相应位置显示给当前用户。该主LSO成像***的另一个作用是，通过执行预设的算法计算从LSO图像得到的完全是数字的眼底/眼球运动信息(x,y,θ)。其中，(x,y)为眼底运动的平移量，θ为旋转量。然后，将(x,y,θ)施加到辅成像***的扫描镜SM21和SM22，实时调整扫描镜SM21和SM22的相应的空间位置，以便获取到所需眼底位置的断层扫描图像。
以上所述的眼底定位和导航过程，以及眼底跟踪技术，通过主LSO的图像，应用互相关算法(Cross Correlation)或者其他类似算法，计算得到数字的眼底运动位置(x,y,θ)，以此来实时调整扫描镜SM21和SM22的光学扫描位置，锁定眼底目标。
上述的眼底跟踪技术，具有以下几个特点：
第一、主LSO***仅仅通过获得类似于图3的图像，利用互相关算法(CrossCorrelation)或者类似算法，计算数字眼底运动信息(x,y,θ)，LSO***不具备光学跟踪功能。(x,y,θ)直接从原始图像计算得到，而不是通过式(1)或者式(2)的闭环控制实现。
第二、数字眼底跟踪仅仅发生在辅成像***的扫描镜SM21和SM22上，主LSO***并没有相应调整自己的光学参数来锁定眼底的LSO扫描(成像)位置。
第三、这里数字计算结果(x,y,θ)的精确度和可靠度很大程度上依赖于多方面的参数，包括眼底图像质量、正常眼底的动作包括眨眼(blink)、快速扫视(saccade)和微扫视(micro saccade)。例如，在互相关算法里，当目标图像(运动量待计算)漂移出参考图像时，也就是眼睛运动量过大时，互相关算法就不能得到准确的眼底运动信息，因而会导致辅成像***的跟踪失败。
第四、现有技术计算(x,y,θ)是以帧为单位的，如图5所示，为以帧为单位从图像中计算眼底运动量的获得的图像示意图。
参考图5，假设f1是LSO捕捉到的第一帧图像，并且f1被用作和定义为“参考帧”图像。在时间序列上，***之后得到的图像是f2，f3，...，fn，fn+1，定义为“目标帧”图像。
现有技术中，LSO的软件程序通常在接收到一个完整的图像帧fk(k＝2,3,4,...,n+1)之后，启动互相关算法(Cross Correlation)计算fk相对于f1的空间位置(xk,yk,θk)。一旦算法程序得到(xk,yk,θk)，则立即通过预先测定好的空间映射关系，将其转换到辅成像***的扫描镜SM21和SM22上，使得扫描镜SM21和SM22锁定在需要的眼底扫描位置。
但这种基于帧的计算方式，由于存在很大的时延，用(xk,yk,θk)控制扫描镜SM21和SM22的位置会带来较大的空间误差，也就是跟踪的空间精度不高(几十到几百微米)并且时间响应慢。其原因是，一个典型的成像***每秒输出25～30帧图像，那么每一帧图像携带的时间延迟已经是33～40毫秒。
例如，应用互相关算法(Cross Correlation)从图像计算眼睛运动量的前提是需要图像。如上所述，获取一帧图像已经需要33～40毫秒，再加上算法的时间，从算法得到的(xk,yk,θk)转化成扫描镜SM21和SM22控制信号的电子延迟，再到扫描镜SM21和SM22自身响应控制信号的机械延迟。一次完整的控制周期，从眼睛开始运动到扫描镜SM21和SM22跟踪该运动，延迟时间达到40～50毫秒是非常常见的现象。由以上分析过程可知，在所有能够带来延迟的因素里，33～40毫秒的(图像)采样延迟通常是主要延迟(dominant latency)。
相应的，一种缩短上述时间延迟的方法是大幅提高图像输出的帧频，比如说LSO输出200帧/秒，这样图像采样的延迟就可以降低到5毫秒。但是，要在同样的成像视场、保持同样的图像信噪比，图像***帧频的提高带来的副作用是成像激光剂量的非线性快速提高。这在临床上是不可行的，因为激光剂量的使用受安全标准限制。
综上所述，现有LSO成像***(产品)在光学、电子、控制方面的不足，使得本发明在基于图1和图4***的基础上，在光学和电子、软件、控制几个方面能够进一步进行改进和提高。
图6为本发明实施例改进的LSO光学***示意图。
如图6所示，在图1所示的传统LSO光学***上，增加了第二个倾斜反射镜。作为另一种实施方式，图6中的两个一维振镜也可以用一个二维正交双向振动的微机电***(Microelectro Mechanical Systems，MEMS)扫描镜，或者其它正交扫描反射镜结构替代。
图6中，不同于图1的是，增加了一个倾斜(反射)镜，将图1的反射镜(SM)命名为反射镜SM11，将新增的反射镜命名为反射镜SM12。所述反射镜SM11和SM12的工作过程如图7所示。
图7为图6所示改进的LSO光学***中两个倾斜反射镜镜SM11和SM12的工作状态示意图。
为了便于描述，首先定义一个空间参考坐标(x,y,z)，如图7A所示。在只有反射镜SM11(即SM1)时，参考图7B，一个线光源A入射到反射镜SM11。这里反射镜SM11的转动轴在空间坐标的x轴上，这样，反射镜SM11在y-z平面上摆动，然后在位置B产生一个二维的扫描面。参考图1所示的传统LSO，B的位置直接共轭到眼底的成像面。
但是，在本发明实施例中，来自A的线光源经反射镜SM11后，在图7C中的B位置***第二个倾斜(反射)镜SM12。沿袭上述定义，这里反射镜SM12的转动轴在z轴上，在x-y平面摆动。
可以理解的是，图7A中的参考坐标(x,y,z)可以任意定义，只需保证反射镜SM11的运动轴和反射镜SM12的运动轴正交即可。
这种双反射镜的工作方式可以用图6所示的双镜结构来实现，比如采用两个Cambridge Technology的一维6210H振镜或6220H振镜；也可以由一个设有两个独立正交运动轴的倾斜镜来实现，比如采用PI的S-335.2SH快速倾斜镜(Tip/Tilt Mirror)。
将图6和图7所示联合使用反射镜SM11和SM12的作用和效果是，在LSO眼底产生的扫描面，可以通过改变反射镜SM11和SM12的偏移量，在光学***允许的范围内，将扫描面调整到360度空间的任何一个位置。下面在图8中进一步进行说明。
图8为通过改变反射镜SM11和SM12的偏移量调整成像面在360度空间的位置状态示意图。
如图8所示，控制反射镜SM12的参数在简单的情况下(复杂的控制情况参考图9及以下内容)就是一个平移量，以便调整成像面在水平方向的位置，可以用于跟踪目标在水平方向的移动。这里，控制反射镜SM11的参数一般有多个，反射镜SM11一方面作扫描，另一方面作成像面在垂直方向的平移或者目标跟踪(参考图2)。
联合使用反射镜SM11和SM12的作用，结合智能控制算法，就可实现LSO光学***在二维眼底扫描的同时作LSO内部的眼底光学跟踪。相关控制以及算法实现部分请参考图11以及之后的内容。
综上，图6构成了一个完整的闭环控制***。从点光源L11过来的光经过反射镜SM11和SM12到达眼底是一个二维的扫描空间，从眼底被扫描的空间返回的信号再一次经过反射镜SM11和SM12的扫描到达光电探测器，这里是一个线扫描相机(Line Scan Camera)，该线扫描相机用于记录从眼底返回的图像信号。
此外，本发明的图6之所以可以构成一个完整的闭环控制***，是因为在启动眼底跟踪***之后，***存在这样一个关系式：
(xt+1,yt+1)＝(xt,yt)+g(Δxt,Δyt) (1)
在上式(1)中，(xt,yt)代表当前采样时刻在反射镜SM11和SM12上的控制指令(等效于各自的运动偏移量)，(Δxt,Δyt)代表从线扫描相机记录下来的图像(目标帧)和参考图像(参考帧)的相对运动量，g代表闭环控制***的增益，(xt+1,yt+1)代表现有信号施加给反射镜SM11和SM12的下一组新的指令(等效于运动偏移量)。
由于在进入光电探测器(这里的线扫描相机)之前，来自眼底的运动信号已经得到反射镜SM11和SM12光学补偿，所以从光电探测器得到的运动信号总是残余运动信号，就是式(1)的(Δxt,Δyt)。
以上描述的闭环控制也可以补偿眼球的旋转信号。一个方法是将图6产生线光源的柱面镜L13以及相耦合的线扫描相机安装在一个360度的可控旋转支架上，使得线扩展光源可以出现在360度空间的任何一个位置旋转(参考图9)。
图9为旋转装置用于旋转柱面镜L13产生的线光源在360度空间的位置示意图。
如图9所示，柱面镜的轴心以及相耦合的线扫描相机(为简单起见，线扫描相机没有出现在图9中)在坐标原点O位置，被安装在一个可以控制的旋转机构(粗虚线所示)，在x-y平面的360度范围内可以自由旋转。光学***的光轴在图9所示的z方向。从图9所示右侧过来的平面光源ABCD，经过柱面镜聚焦成一条线光源A'B'。柱面镜也可以安装在任意一个旋转机构上，用于产生任意一个方向的线光源A'B'。
转动图9所示的旋转装置，即可调整线光源A'B'在x-y平面的投影方向，并且A'B'和x轴的夹角跟旋转装置的旋转角一致，也就是θ(参考图10)。
图10为旋转柱面镜产生一个任意旋转角的线光源以及与之相关的扫描面的状态示意图。
如图10所示，从线光源A'B'产生如图所示的扫描面abcd，这时图6的扫描(反射)镜SM11和SM12都必须参与扫描，而不是图8所示的仅仅由扫描(反射)镜SM11参与扫描。
扫描(反射)镜SM11和SM12同时参与扫描的一种技术实现过程是，将图2所示的锯齿波作为SM11和SM12的驱动信号基(basis)，然后根据图10的旋转角将每个扫描(反射)镜应得的幅度乘到各自的基信号上。如图8的定义以及图10所示，这时扫描(反射)镜SM11的扫描基得到的振幅是(A'B'/2)sin(θ)，扫描(反射)镜SM12的扫描基得到的振幅是(A'B'/2)cos(θ)。需要指出的是，这种扫描方向，旋转方向的定义是随意的。
在这种情况下，关系式(1)则可更新为，
(xt+1,yt+1,θt+1)＝(xt,yt,θt)+g(Δxt,Δyt,Δθt) (2)
这里，θt为该闭环控制***施加在旋转支架上的角度；(xt,yt)为施加在扫描(反射)镜SM11和SM12上的平移量，同时，(xt,yt)还是叠加在扫描(反射)镜SM11和SM12各自的用于产生图10的扫描信号上的平移量。同理，上式(2)中，(xt,yt,θt)为当前采样时刻在反射镜SM11、SM12以及柱面镜和线扫描相机旋转支架上的控制指令(等效于各自的运动偏移量)；(Δxt,Δyt,Δθt)为从线扫描相机记录下来的图像(目标帧)和参考图像(参考帧)的相对运动量；g是闭环控制***的增益；(xt+1,yt+1,θt+1)为现有信号施加给反射镜SM11、SM12以及柱面镜和线扫描相机旋转支架的下一组新的指令(等效于运动偏移量和旋转角度)。
上述实施例中图6～图10描述的是本发明的主LSO成像***，集成内部的眼底光学跟踪闭环控制***，如式(1)或者式(2)的控制方式。在此基础之上，增加一个如图4所示的辅成像***。该辅成像***可以是一个OCT***，也可以用于其他目的，如单点或者多点目标打击的眼底激光治疗***。所述的这两部分的具体技术实现，在另外的专利申请中有详细的描述。
图11为本发明实施例一种自带闭环光学跟踪的主LSO成像***集成另外一个辅成像***原理示意图。
如图11所示，左侧的主LSO成像***集成了上半部分的另一个辅成像***。其中：
左侧的主LSO成像***自带的闭环光学跟踪装置，通过执行预设的闭环控制算法计算从LSO图像得到的眼底或眼球运动信息，进行闭环光学跟踪。所述的闭环光学跟踪装置，主要包括第二扫描反射镜(SM11)、第一扫描反射镜(SM12)以及柱面镜(L13)。所述闭环光学跟踪装置，用于根据预设的闭环控制算法计算从LSO图像得到的眼底或眼球运动信息，即控制信号，实现闭环光学跟踪功能。
上部的辅成像***，将点光源L21发出的光通过准直***(包括准直透镜L22和L23)到达正交扫描反射镜SM21、SM22，再经过聚焦透镜L24聚焦到分色镜(DM)上，然后光线通过发散透镜L16到达眼(Eye)底。所述DM位于主LSO成像***的焦平面上。通过将所述闭环眼底或眼球运动信息即控制信号(x',y',θ')施加到所述辅成像***的正交扫描反射镜，实时调整所述正交扫描反射镜的相应的空间位置，以获取所需眼底位置的断层扫描图像、或者眼底单点或阵列打击目标。
其工作原理如下：将控制信号(x,y,θ)施加给主LSO成像***的第二扫描(反射)镜SM11、第一扫描(反射)镜SM12以及柱面镜L13(较佳地还包括线扫描相机的旋转支架)。所述控制信号的参数分别如带箭头的虚线所示，来自LSO内部的闭环控制***，其参数与式(1)、式(2)中的一致。这组闭环控制运动信号比起传统LSO***的纯数字运动信号有如下优点：1)平滑；2)稳定；3)抗干扰性强。
在图11中，施加给辅成像***的扫描(反射)镜SM21和SM22的控制信号(x',y',θ')完全继承了上述的闭环控制信号(x,y,θ)的优点，因为(x',y',θ')是通过空间变换(x,y,θ)得到，如式(3)所示：
(x',y',θ')＝f(x',y',θ'；x,y,θ)(x,y,θ) (3)
其中，式(3)的空间变换关系f(x',y',θ'；x,y,θ)完全由光学***的参数决定。式(3)中快速、高效、精确、全自动测量主LSO成像***到辅LSO成像***的空间变换关系f(x',y',θ'；x,y,θ)，这里不展开论述。
上述图6～图11描述了本发明的光学和机械实现部分。下面描述本发明实施例的控制实现部分，着重点在于如何通过算法高速计算和获得眼底位置，从而快速调整第二扫描(反射)镜SM11、第一扫描(反射)镜SM12以及扫描(反射)镜SM21和SM22实现高空间精度、低时间延迟的眼底跟踪。
参考图5，现有的数据处理技术是以帧为单位从LSO的图像计算眼底运动的。而发明实施例中，则采用了倍频技术进行计算。
图12为本发明实施例采用倍频技术降低眼底计算的时间延迟的示意图。
如图12所示，左侧的图像即图12A的f1和图5中的f1一致，仍然作为参考帧。右边的图像即图12B的fk是目标帧的任一帧图像(k>1)。本发明实施例中将每一帧图像按照扫描相机到达的数据按照时间顺序，(为了计算的方便)分成多个等间距亚帧元，如S1,1，S1,2，S1,3，…，S1,M是参考帧里的所有M个亚帧元，Sk,1，Sk,2，Sk,3，…，Sk,M是第k个目标帧里的所有M个亚帧元。这里，M为大于1的自然数。
这里，本发明方法是将任何一帧图像在SM11的扫描方向(如上所述，通常情况下是图10所示的扫描反射镜SM11和SM12扫描组合。为方便起见，这里仅用图8所示的SM11作为参考，以下描述一致)分成多个等间距的亚帧元。所述等间距，表示每个亚帧元包含相同数量的扫描线。
图12A、图12B显示的是水平方向长条形的亚帧元，表示扫描反射镜SM11在垂直方向扫描。如图10所示，SM11和SM12的组合可以让光学***在360度空间的任何一个方向扫描，那么图12的亚帧元的分割需要调整到相应的正交方向。为方便起见，参考图2的SM11扫描信号，所述亚帧元的分割方式参考图13。
图13为扫描(反射)镜SM11扫描信号以及亚帧元的分割方式示意图。
如图13所示，垂直虚线表示每个亚帧元的时间(等效的空间)位置；实粗线表示驱动SM11(或者SM11和SM12的组合，上下文一致)扫描的锯齿波。通常情况下，锯齿波有扫描区和回程区，如图13所示。极端情况下，回程区的时间是0，那么锯齿波就变成三角波。实施过程中也可以用三角波取代锯齿波作为SM11的扫描信号，只要不损坏扫描反射镜SM11和SM12即可。
本发明的另一个实施例中，采用一个Wasatch Photonics的线扫描相机(OCTOPLUS3)，让该相机接收一个16kHz的触发信号。也就是把相机设置成每秒接收16000个行信号。实施例中，16kHz触发时钟从Xilinx FPGA产生(SP605)，也可以从其他芯片比如DSP产生。
本发明实施例的LSO成像***，所述SM11每个周期的扫描包含544根线，其中512根线在扫描区，32根线在回程区。所以图像的帧频是：
fps＝16000/544＝29.4
扫描区的512根线被用于成像，也就是图12所示的图像。回程区的数据被***自动丢弃。
以上的划分方式仅仅是本发明的一个实施方式，不同的***可以有完全不同的划分方式。
在以上实施例所示的情况下，本实施例中将SM11一个完整的扫描周期划分成32(扫描)+2(回程)个子区，每个子区包含16根扫描线(或者时间单位)。如图13的垂直虚线所示，这样一个完整的周期正好是34x16＝544根线。
本发明实施例的关键点在于，一旦有16根线到达相机，也就是一个亚帧元的数据就绪，该亚帧元的数据立即从相机送到主PC或者其他计算处理单元，比如CPU、图形处理器(GPU)、ARM处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)等；优选的，本发明实施例中的计算处理单元采用了nVidia的图形处理器GTX1050。该16根线的亚帧元数据，对应着图12中Sk,1，Sk,2，Sk,3，......，Sk,M的其中一个位置。显然，该例子里M＝32，就是每一帧图像里亚帧元的总数量。
一旦计算处理单元接收到最新亚帧元的数据，算法立即启动比如CrossCorrelation算法计算该亚帧元相对于参考帧的位置。通常情况下，是寻找目标帧亚帧元Sk,m和参考帧亚帧元S1,m的相对位置。但是也可以是寻找目标帧亚帧元Sk,m和其他参考帧亚帧元S1,p(p≠m)的相对位置。上述具体算法实施过程已在美国专利US9406133中公开。
采用该方法的优点在于，取得一个亚帧元Sk,m的时间仅仅需要：
16/16000＝1毫秒；
而不是等待一个完整帧的时间：
544/16000＝34毫秒。
将Cross Correlation算法从CPU移植到nVidia GPU(GTX1050)之后，从接收到亚帧元Sk,m数据到运动信号传送到SM11和SM12加上SM11和SM12的机械响应时间一共不到2毫秒。这相当于将一个周期的控制总延迟时间，从现有最好的装置能做到的(34+2)＝36毫秒降低到(1+2)＝3毫秒，后者是前者的1/12。
现有最好的装置调整SM11(没有SM12)的频率是图像的帧频29.4Hz，本发明的装置调整SM11和SM12的频率是亚帧元的采样频率1000Hz。这就是上述的倍频技术。同样，这里的具体数字仅仅是发明里的一个示例，不同的***不同的应用，完全可以用不同的参数来实现上述的倍频技术。
与现有最好的技术相比，本发明采用将Cross Correlation算法从CPU移植到nVidia GPU(GTX1050)的技术，带来的优势是把跟踪***的空间精度和3dB时间带宽提高了一个数量级以上。
继续应用以上的例子，线扫描***里亚帧元的数据采样可以通过以下方法逐步实现(参考图14)。
图14为线扫描成像***的扫描信号和同步信号示意图。
如图14所示，16kHz线脉冲是FPGA产生的***基准时钟，图13的扫描信号(即图14的上半部分)以及图14的下部分29.4Hz帧同步信号均从16kHz基准脉冲时钟锁相得到。并且扫描信号和帧同步信号也是完全同步的，扫描信号爬升期间，帧同步信号处于低电平；扫描信号回程期间，帧同步信号处于高电平。这些信号的产生可以在FPGA或DSP或者其他电子硬件上实现。本发明实施例中则是应用Xilinx的一个FPGA开发板SP605(Spartan6芯片)实现。
通常情况下，控制线扫描相机的数据输出方式由用户输入线扫描相机一个触发信号实现。这个触发信号是既要包含图14的16kHz基准脉冲，又要包含图14的帧同步信号，也就是两者的组合，如图15所示，就是以上所述的Wasatch Photonics线扫描相机OCTOPLUS3要求的同步触发信号。
如图15所示，显示了一种合成了线基准时钟和帧同步信号，用于触发线扫描相机的信号，但图15中所示的这种标准方法无法触发线扫描相机发送1000Hz的亚帧元数据。仅仅用图14的16kHz基准时钟，又无法保证接收到的图像和扫描信号同步。为了得到和扫描信号同步的1000Hz亚帧元图像，本发明实施例中还对现有的触发技术做了适当改进。
线扫描相机的触发信号仅用图14的16kHz基准时钟，缓冲区大小是16行。这就是说，线扫描相机不管帧同步的状态，一旦线扫描相机收到16行的数据，立即发送给PC。但是，本发明实施例在硬件实现上作了一个额外的同步。
任何一个相机都有开始和结束数据采样的状态。一旦用户点击软件界面开始采样，传送给线扫描相机的16kHz基准时钟并不是马上开始，而是等到帧同步信号的上升沿或者下降沿出现，才触发线扫描相机的16kHz基准时钟。本发明实施例中在FPGA上实现这种功能时，采用了如以下的Verilog代码：
Figure GDA0002388394560000161
在上述FPGA代码中，v_sync是图14的29.4Hz帧同步信号，camera_start是用户开启和关闭相机的状态寄存器，camera_trigger是送给线扫描相机触发时钟。代码例子是v_sync的上升沿触发(posedge v_sync)，另一种情况是设置成下降沿触发(negedge v_sync)。只有在_sync的上升沿(或者下降沿)和camera_start同时出现的时候，才把16kHz基准时钟送给线扫描相机，否则，线扫描相机一直得到一个低电平处于采样等待状态。这里的采样定义为从相机发送图像数据给接收设备，比如PC、GPU、DSP、或者其他器件。
上升沿或者下降沿的触发区别在于，如图14所示。上升沿触发时，每34个亚帧元的第1、第2单元是返程区的数据，需要被剔除。下降沿触发时，每34个亚帧元的第33、34单元是返程区的数据，需要被剔除。
以上实施例所述的具体数字只是本发明多种实施方式的一种参数设置，不同***不同的应用场景完全可以用不同的参数。比如说扫描区可以是1024根线，回程区是32根线，这样***的帧频就变成16000/(1024+32)＝15.2Hz。另外，根据线扫描相机的参数，也可以调整基准线时钟的频率，从16kHz提升到20kHz或者降低到15kHz等等，都是可以改变的参数。
亚帧元的大小同样也可以调整。比如说以上的1000Hz可以改变成500Hz每个亚帧元有32根线。也可以是其它亚帧元采样频率。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (3)

1.一种线扫描成像***的眼底目标运动量的计算方法，其特征在于，包括如下步骤：
A、利用线扫描相机获得眼底图像，在LSO眼底产生扫描面，通过改变反射镜SM11和SM12的偏移量，将扫描面调整到360度空间的任何一个位置，其中，所述扫描镜SM11用于调整成像面在垂直方向上的移动，扫描镜SM12用于调整成像面在水平方向上的移动，扫描镜SM11和SM12都参与扫描,将参考帧和目标帧的每一帧图像按照所述线扫描相机到达的数据按照时间顺序划分为S1,1，S1,2，S1,3，…，S1,M是参考帧里的所有M个亚帧元，Sk,1，Sk,2，Sk,3，…，Sk,M是第k个目标帧里的所有M个亚帧元，其中，M为大于1的自然数，当其中一个亚帧元的数据就绪，该亚帧元的数据立即从相机送到主PC或者其他计算处理单元，设置每个亚帧元至少包含两根扫描线，所述等间距的亚帧元为每个亚帧元包含相同数量的扫描线；
B、利用计算处理单元接收最新的亚帧元数据，启动预设的互相关算法计算当前亚帧元相对于所述参考帧的位置，或定位目标帧的亚帧元与参考帧的亚帧元的相对位置；
C、设置所述线扫描相机接收触发信号，并采用倍频技术，通过锁相基准脉冲时钟得到帧同步信号和所述扫描信号，使其同步触发所述线扫描相机得到与扫描信号同步的亚帧元图像，将所述扫描信号和帧同步信号作为触发线扫描相机的触发信号，并通过在FPGA设置Verilog代码在帧同步信号的上升沿或下降沿触发所述线扫描相机的基准时钟；
D、根据每个亚帧元到达主机***的先后顺序，实时计算每个亚帧元包含的眼底运动信息，根据从所述眼底运动信息中计算出的运动信号发出控制调整指令给LSO的闭环控制***的反射镜SM11、反射镜SM12以及柱面镜和线扫描相机旋转支架以及辅助成像***的反射镜SM21和SM22的位置以实现眼底跟踪，其中，LSO的闭环控制***的关系式为：
(xt+1,yt+1)＝(xt,yt)+g(Δxt,Δyt)
其中，(xt,yt)代表当前采样时刻在反射镜SM11和SM12上的控制指令，(Δxt,Δyt)代表目标帧和参考图像参考帧的相对运动量，g代表闭环控制***的增益，(xt+1,yt+1)代表现有信号施加给反射镜SM11和SM12的调整控制指令；
所述反射镜SM11和SM12同时参与扫描时，LSO的闭环控制***的关系式为：
(xt+1,yt+1,θt+1)＝(xt,yt,θt)+g(Δxt,Δyt,Δθt)
其中，θt为旋转角，(xt,yt)为施加在反射镜SM11和反射镜SM12上的平移量，(Δxt,Δyt,Δθt)为目标帧和参考帧的相对运动量；g是闭环控制***的增益；(xt+1,yt+1,θt+1)为现有信号施加给反射镜SM11、SM12以及柱面镜和线扫描相机旋转支架的调整控制指令；
辅助成像***的扫描的关系式为：
(x',y',θ')＝f(x',y',θ'；x,y,θ)(x,y,θ)
其中，(x',y',θ')是通过空间变换(x,y,θ)得到的，空间变换关系f(x',y',θ'；x,y,θ)由LSO的闭环控制***的参数决定。
2.根据权利要求1所述线扫描成像***的眼底目标运动量的计算方法，其特征在于，步骤B所述的计算处理单元为CPU、图形处理器GPU、ARM处理器、数字信号处理器DSP或现场可编程门阵列FPGA的任一种。
3.根据权利要求1所述线扫描成像***的眼底目标运动量的计算方法，其特征在于，步骤C所述的扫描信号为锯齿波或三角波。
CN201910339915.8A 2019-04-25 2019-04-25 一种线扫描成像***的眼底目标运动量的计算方法 Active CN110051320B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910339915.8A CN110051320B (zh) 2019-04-25 2019-04-25 一种线扫描成像***的眼底目标运动量的计算方法
EP19926333.6A EP3912545A4 (en) 2019-04-25 2019-05-05 METHOD FOR CALCULATING THE TARGET AMOUNT OF FUNDRUS MOVEMENT OF A LINEAR SCANNING IMAGING SYSTEM
PCT/CN2019/085493 WO2020215358A1 (zh) 2019-04-25 2019-05-05 一种线扫描成像***的眼底目标运动量的计算方法
US17/428,004 US20220117483A1 (en) 2019-04-25 2019-05-05 Method for calculating fundus oculi target motion amount of line scan imaging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910339915.8A CN110051320B (zh) 2019-04-25 2019-04-25 一种线扫描成像***的眼底目标运动量的计算方法

Publications (2)

Publication Number Publication Date
CN110051320A CN110051320A (zh) 2019-07-26
CN110051320B true CN110051320B (zh) 2020-11-20

Family

ID=67320817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910339915.8A Active CN110051320B (zh) 2019-04-25 2019-04-25 一种线扫描成像***的眼底目标运动量的计算方法

Country Status (4)

Country Link
US (1) US20220117483A1 (zh)
EP (1) EP3912545A4 (zh)
CN (1) CN110051320B (zh)
WO (1) WO2020215358A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110301886B (zh) * 2019-06-28 2020-11-27 南京博视医疗科技有限公司 一种实时闭环控制眼底相机的光学***及其实现方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7758189B2 (en) * 2006-04-24 2010-07-20 Physical Sciences, Inc. Stabilized retinal imaging with adaptive optics
JP5743425B2 (ja) * 2010-04-30 2015-07-01 キヤノン株式会社 眼科装置及び眼科装置の制御方法
JP5917004B2 (ja) * 2011-03-10 2016-05-11 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US9033510B2 (en) * 2011-03-30 2015-05-19 Carl Zeiss Meditec, Inc. Systems and methods for efficiently obtaining measurements of the human eye using tracking
US9913580B2 (en) * 2013-09-19 2018-03-13 Canon Kabushiki Kaisha Apparatus, method, and non-transitory medium for optical stabilization and digital image registration in scanning light ophthalmoscopy
US9406133B2 (en) * 2014-01-21 2016-08-02 University Of Rochester System and method for real-time image registration
CN105011900B (zh) * 2014-04-30 2018-02-02 卡尔蔡司医疗技术公司 用于生成宽视场光学相干体层析图的方法和装置
WO2016011043A1 (en) * 2014-07-14 2016-01-21 University Of Rochester Real-time laser modulation and delivery in opthalmic devices for scanning, imaging, and laser treatment of the eye
US9867538B2 (en) * 2016-03-21 2018-01-16 Canon Kabushiki Kaisha Method for robust eye tracking and ophthalmologic apparatus therefor

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
High-speed, image-based eye tracking with a scanning laser ophthalmoscope;Sheehy, Christy K.; Yang, Qiang; Arathorn, David W.; 等.;《BIOMEDICAL OPTICS EXPRESS》;20121001;第3卷(第10期);正文全文 *
Real-time eye motion compensation for OCT imaging with tracking SLO;Vienola, Kari V.; Braaf, Boy; Sheehy, Christy K.; 等.;《BIOMEDICAL OPTICS EXPRESS》;20121101;第3卷(第11期);正文全文 *
Real-time eye motion correction in phase-resolved OCT angiography with tracking SLO;Braaf, Boy; Vienola, Kari V.; Sheehy, Christy K.; 等.;《BIOMEDICAL OPTICS EXPRESS》;20130101;第4卷(第1期);正文全文 *
Retinally stabilized cone-targeted stimulus delivery;Arathorn, David W.; Yang, Qiang; Vogel, Curtis R.; 等;《OPTICS EXPRESS》;20071017;第15卷(第21期);正文全文 *

Also Published As

Publication number Publication date
EP3912545A4 (en) 2022-03-23
US20220117483A1 (en) 2022-04-21
EP3912545A1 (en) 2021-11-24
WO2020215358A1 (zh) 2020-10-29
CN110051320A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
CN109924942B (zh) 一种基于线扫描成像***的光学稳像方法及***
WO2020215361A1 (zh) 一种基于改进的线扫描成像***的稳像方法及***
JP6541243B2 (ja) 走査型レーザー・オフサルモスコープにおける改良または走査型レーザー・オフサルモスコープに関する改良
US8948497B2 (en) System and method for increasing resolution of images obtained from a three-dimensional measurement system
RU2634998C2 (ru) Аппарат для оптической когерентной томографии (окт) глаза и способ оптической когерентной томографии (окт) глаза
CN110200585B (zh) 一种基于眼底成像技术的激光束控制***及其方法
WO2020237520A1 (zh) 一种智能眼底激光手术辅助诊断***及其方法
US20180092527A1 (en) Optical coherence tomography method, system and computer program product therefor
CN102824161A (zh) 眼科oct***及眼科oct成像方法
CN210009227U (zh) 一种智能眼底激光手术治疗装置及治疗***
CN109938919A (zh) 一种智能眼底激光手术治疗装置、***及其实现方法
WO2019225290A1 (ja) 撮影装置及びその制御方法
CN110051320B (zh) 一种线扫描成像***的眼底目标运动量的计算方法
CN210228108U (zh) 一种基于线扫描成像***的光学稳像***
US9962073B2 (en) Tomographic image capturing apparatus, method for capturing tomographic image, program, and storage medium
AU2011368026B2 (en) Device for examining or treating a human eye
CN110200582B (zh) 一种基于眼底成像技术的激光束控制***及其方法
CN110301886B (zh) 一种实时闭环控制眼底相机的光学***及其实现方法
JP3612538B2 (ja) 共焦点顕微鏡装置
CN110200584B (zh) 一种基于眼底成像技术的目标跟踪控制***及其方法
CN110215184B (zh) 一种眼底相机的闭环控制***及其方法
CN210114570U (zh) 眼底激光治疗装置的成像模式与治疗模式自动切换装置
CN118201572A (zh) 对眼睛内的目标成像和校准成像装置
JP2022029592A (ja) 眼科画像処理プログラムおよび眼科画像処理装置
JP2012061349A (ja) 断層像撮像装置及び断層像撮像方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant