JP2021119910A - Ophthalmologic system, actuation method for ophthalmologic system, and program - Google Patents

Ophthalmologic system, actuation method for ophthalmologic system, and program Download PDF

Info

Publication number
JP2021119910A
JP2021119910A JP2020014201A JP2020014201A JP2021119910A JP 2021119910 A JP2021119910 A JP 2021119910A JP 2020014201 A JP2020014201 A JP 2020014201A JP 2020014201 A JP2020014201 A JP 2020014201A JP 2021119910 A JP2021119910 A JP 2021119910A
Authority
JP
Japan
Prior art keywords
image
information
fundus
eye
inspected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020014201A
Other languages
Japanese (ja)
Inventor
樹 小林
Shigeru Kobayashi
樹 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020014201A priority Critical patent/JP2021119910A/en
Publication of JP2021119910A publication Critical patent/JP2021119910A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

To provide an ophthalmologic system capable of performing fundus tracking at higher speed.SOLUTION: An ophthalmologic system comprises: a photographing device including an arithmetic circuit for acquiring information on movement of a subject's eye using information on a first image of the subject's eye, correction means for correcting an acquisition position of information on a second image of the subject's eye using the acquired information on the movement, and transmission means for transmitting the information on the first image and the information on the second image; and a processing device including reception means connected to the photographing device via communication means to receive the information on the first image and the information on the second image, creation means for creating a first image using the information on the received first image and creating a second image using the information on the received second image, and display control means for making the created first image and the created second image be displayed on display means.SELECTED DRAWING: Figure 2

Description

本発明は、眼科システム、眼科システムの作動方法、及びプログラムに関する。 The present invention relates to an ophthalmic system, a method of operating the ophthalmic system, and a program.

多波長光波干渉を利用した光コヒーレンス・トモグラフィー(OCT:Optical Coherence Tomography)による光干渉断層撮像装置(以下OCT装置)が知られている。このOCT装置は、現在、例えば内視鏡での内臓情報や、眼科装置での網膜の情報を得るために用いられ、人体に対する適用分野を広げつつある。眼に適用したOCT装置は、眼科用機器として網膜の専門外来では必要不可欠な装置になりつつある。 An optical coherence tomography device (hereinafter referred to as an OCT device) based on optical coherence tomography (OCT) using multi-wavelength light wave interference is known. This OCT device is currently used to obtain information on internal organs in an endoscope and information on the retina in an ophthalmic device, and its application field to the human body is expanding. The OCT device applied to the eye is becoming an indispensable device in the specialized outpatient department of the retina as an ophthalmic device.

OCT装置とは、低コヒーレンス光である測定光をサンプルに照射し、干渉系を用いて該サンプルからの後方散乱光を測定し、これにより該サンプルの断層情報の取得を可能にした装置である。測定光をサンプル上の一点に照射した場合、そのサンプル上の一点における深さ方向の画像情報を得ることができる。さらに測定光でサンプル上を走査しながらこの測定を連続的に行うことで、サンプルの断層画像を得ることもできる。そして、OCT装置を眼底に適用した場合には、測定光で眼底上を走査することにより該眼底の断層画像を高解像度で撮像することができる。このため、OCT装置は、網膜の眼科診断等において広く利用されている。 The OCT device is a device that irradiates a sample with measurement light that is low coherence light, measures backscattered light from the sample using an interference system, and thereby makes it possible to acquire tomographic information of the sample. .. When the measurement light is applied to one point on the sample, image information in the depth direction at one point on the sample can be obtained. Further, by continuously performing this measurement while scanning the sample with the measurement light, a tomographic image of the sample can be obtained. When the OCT device is applied to the fundus, the tomographic image of the fundus can be captured with high resolution by scanning the fundus with the measurement light. Therefore, the OCT device is widely used in ophthalmic diagnosis of the retina and the like.

このようなOCT装置では、測定対象である眼底を2次元的に測定光で反復走査することによって複数の断層画像を得る撮影方法が一般的である。例えば、眼底上の同じ場所を複数回測定光で走査することによって同一部位の複数の断層画像を取得し、該断層画像に対して加算平均処理を行うことによって高画質な一枚の断層画像を得ることができる。また、眼底の複数の走査位置で測定光を走査することによって、該眼底の3次元画像を得ることも可能である。しかしながら、複数回の測定光の走査を行う場合、全ての走査を完了するまでの間に眼が動いてしまう可能性がある。複数回の測定光の走査の実行中に眼が動くと、所定位置からの断層画像が得られず、目的とする断層画像は得られなくなる。 In such an OCT apparatus, an imaging method for obtaining a plurality of tomographic images by two-dimensionally repeatedly scanning the fundus to be measured with measurement light is common. For example, a plurality of tomographic images of the same site are acquired by scanning the same place on the fundus of the eye with measurement light multiple times, and a single tomographic image with high image quality is obtained by performing addition averaging processing on the tomographic images. Obtainable. It is also possible to obtain a three-dimensional image of the fundus by scanning the measurement light at a plurality of scanning positions of the fundus. However, when scanning the measurement light a plurality of times, the eyes may move before all the scans are completed. If the eye moves during the execution of scanning the measurement light a plurality of times, the tomographic image from a predetermined position cannot be obtained, and the target tomographic image cannot be obtained.

被検眼の動きによる影響を低減する方法として、特許文献1には眼底のトラッキングを行う眼科撮影装置が開示されている。開示される方法では、眼科撮影装置の光学ヘッド部内の受光素子が受光した被検眼眼底からの反射光の強度情報が、制御部に転送される。制御部は、転送された強度情報を用いて複数の眼底正面画像を生成する。制御部は、さらに、生成された複数の眼底正面画像を用いて、被検眼の移動量を算出し、算出された移動量を光学ヘッド側に転送する。光学ヘッド部内の測定光を走査する走査部は、算出された移動量に応じて、断層画像撮影のための測定光の走査位置の補正を行っている。このように、OCT装置では、被検眼の動きによる影響を低減する処理が重要となる。 As a method for reducing the influence of the movement of the eye to be inspected, Patent Document 1 discloses an ophthalmologic imaging device that tracks the fundus. In the disclosed method, the intensity information of the reflected light from the fundus of the eye to be inspected received by the light receiving element in the optical head portion of the ophthalmologic imaging apparatus is transferred to the control unit. The control unit generates a plurality of frontal fundus images using the transferred intensity information. The control unit further calculates the amount of movement of the eye to be inspected using the generated plurality of frontal images of the fundus, and transfers the calculated amount of movement to the optical head side. The scanning unit that scans the measurement light in the optical head unit corrects the scanning position of the measurement light for taking a tomographic image according to the calculated movement amount. As described above, in the OCT apparatus, a process for reducing the influence of the movement of the eye to be inspected is important.

特開2013−153793号公報Japanese Unexamined Patent Publication No. 2013-153793

ここで、強度情報の制御部への転送、強度情報を用いた該制御部での眼底正面画像の生成とこれを用いた被検眼の移動量の算出、及び算出された移動量に基づく測定光の走査位置の補正まで一連の処理にはある程度の時間を要する。このため、上述したトラッキングにおいて、被検眼の動きによる影響を低減するためには、この一連の処理に要する時間を低減することにより、より速い速度で実行することが望まれる。 Here, the intensity information is transferred to the control unit, the fundus front image is generated by the control unit using the intensity information, the movement amount of the eye to be inspected is calculated using this, and the measurement light based on the calculated movement amount. It takes a certain amount of time for a series of processes to correct the scanning position of. Therefore, in the above-mentioned tracking, in order to reduce the influence of the movement of the eye to be inspected, it is desired to execute at a higher speed by reducing the time required for this series of processing.

そこで、本発明の一実施形態では、より速い速度でトラッキングができる眼科システムの提供を目的の一つとする。 Therefore, one of the objects of the embodiment of the present invention is to provide an ophthalmic system capable of tracking at a higher speed.

上記目的を達成するために、本発明の一実施態様に係る眼科システムは、
被検眼の第1の画像に関する情報を用いて前記被検眼の移動に関する情報を取得する演算回路と、前記取得された移動に関する情報を用いて前記被検眼の第2の画像に関する情報の取得位置を補正する補正手段と、前記第1の画像に関する情報及び前記第2の画像に関する情報を送信する送信手段と、を含む撮影装置と、
前記撮影装置と通信手段によって接続され、前記第1の画像に関する情報及び前記第2の画像に関する情報を受信する受信手段と、前記受信した第1の画像に関する情報を用いて第1の画像を生成し、前記受信した第2の画像に関する情報を用いて第2の画像を生成する生成手段と、前記生成された第1の画像及び前記生成された第2の画像を表示手段に表示させる表示制御手段とを含む処理装置と、を備える。
In order to achieve the above object, the ophthalmic system according to one embodiment of the present invention may be used.
An arithmetic circuit for acquiring information on the movement of the eye to be inspected using the information on the first image of the eye to be inspected, and a position for acquiring information on the second image of the eye to be inspected using the acquired information on the movement of the eye to be inspected. An imaging device including a correction means for correction, a transmission means for transmitting information regarding the first image and information regarding the second image, and a photographing device.
A first image is generated by using the receiving means which is connected to the photographing device by a communication means and receives the information about the first image and the information about the second image and the information about the received first image. Then, a generation means for generating the second image using the information about the received second image, and a display control for displaying the generated first image and the generated second image on the display means. A processing device including means is provided.

本発明の一実施形態によれば、より速い速度でのトラッキングができる。 According to one embodiment of the present invention, tracking can be performed at a higher speed.

本発明の第1の実施形態に係る眼科システムの概略構成を示す図である。It is a figure which shows the schematic structure of the ophthalmic system which concerns on 1st Embodiment of this invention. 図1に示す眼科システムにおける撮影部の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the imaging part in the ophthalmology system shown in FIG. 撮影された眼底正面画像と断層画像とを説明する図である。It is a figure explaining the photographed frontal image of the fundus and the tomographic image. 眼底正面画像撮影時におけるインタレース方式を説明する図である。It is a figure explaining the interlace method at the time of taking a frontal image of the fundus. 図1に示す眼科システムにおける観察用画面の表示例を示す図である。It is a figure which shows the display example of the observation screen in the ophthalmic system shown in FIG. 第1の実施形態に係る眼科システムの撮影動作を説明するためのフローチャートである。It is a flowchart for demonstrating the imaging operation of the ophthalmic system which concerns on 1st Embodiment. 第1の実施形態に係る眼科システムの参照眼底画像の取得動作を説明するためのフローチャートである。It is a flowchart for demonstrating the acquisition operation of the reference fundus image of the ophthalmic system which concerns on 1st Embodiment. 第1の実施形態に係る眼科システムのサブピクセル補間動作を説明するための図である。It is a figure for demonstrating the sub-pixel interpolation operation of the ophthalmic system which concerns on 1st Embodiment. 第1の実施形態に係る眼科システムの眼底固視微動の検出動作を説明するためのフローチャートである。It is a flowchart for demonstrating the detection operation of fundus fixation tremor of the ophthalmologic system which concerns on 1st Embodiment. 第1の実施形態に係る眼底トラッキングを行う構成の配置と従来の眼底トラッキングを行う構成の配置との相違を説明する図である。It is a figure explaining the difference between the arrangement of the structure which performs fundus tracking and the arrangement of the structure which performs the conventional fundus tracking which concerns on 1st Embodiment. 本発明の第2の実施形態に係る眼科システムの概略構成を示す図である。It is a figure which shows the schematic structure of the ophthalmic system which concerns on the 2nd Embodiment of this invention. 第2の実施形態に係る眼科システムの撮影動作を説明するためのフローチャートである。It is a flowchart for demonstrating the imaging operation of the ophthalmic system which concerns on 2nd Embodiment. 第2の実施形態に係る眼科システムの眼底固視微動の検出動作を説明するためのフローチャートである。It is a flowchart for demonstrating the detection operation of fundus fixation tremor of the ophthalmologic system which concerns on 2nd Embodiment. 第2の実施形態に係る眼底固視微動の検出動作について、用いるフィールド画像を説明するための図である。It is a figure for demonstrating the field image to use about the detection operation of fundus fixation fine movement which concerns on 2nd Embodiment. 本発明の第3の実施形態に係る眼科システムの撮影動作を説明するためのフローチャートである。It is a flowchart for demonstrating the imaging operation of the ophthalmic system which concerns on 3rd Embodiment of this invention.

本発明の例示的な実施形態として、眼科システムを例示し、図面を参照して以下に詳細に説明する。ただし、以下の実施形態で説明する寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更可能である。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。 An ophthalmic system is exemplified as an exemplary embodiment of the present invention, and will be described in detail below with reference to the drawings. However, the dimensions, materials, shapes, relative positions of the components, etc. described in the following embodiments are arbitrary and can be changed according to the configuration of the device to which the present invention is applied or various conditions. Also, in the drawings, the same reference numerals are used between the drawings to indicate elements that are the same or functionally similar.

[第1の実施形態]
本実施形態は、高いリアルタイム性が要求される眼底トラッキングを撮影装置の本体側で行うこととし、表示用の断層画像の生成は例えばパーソナルコンピュータ(PC)等の処理装置で行うこととしている。このように、眼底トラッキングを撮影装置の本体側で行うことにより、眼底トラッキングのフィードバック制御を高速化することができる。これにより、固視微動によって生じる断層画像のアーチファクトを低減することができる。
[First Embodiment]
In the present embodiment, fundus tracking, which requires high real-time performance, is performed on the main body side of the imaging device, and a tomographic image for display is generated by a processing device such as a personal computer (PC). In this way, by performing the fundus tracking on the main body side of the imaging device, it is possible to speed up the feedback control of the fundus tracking. This makes it possible to reduce tomographic image artifacts caused by fixation tremors.

以下、図1乃至10を参照して、本発明の第1の実施形態に係る眼科システムとして、特にOCT装置を含むシステムについて詳細に説明する。以下では、まず図1を用いて本実施形態に係る眼科システムの概略構成について述べ、図2を参照して該眼科システムにおける撮影装置の構成について述べる。 Hereinafter, as an ophthalmic system according to the first embodiment of the present invention, a system including an OCT device will be described in detail with reference to FIGS. 1 to 10. In the following, first, the schematic configuration of the ophthalmic system according to the present embodiment will be described with reference to FIG. 1, and the configuration of the imaging device in the ophthalmic system will be described with reference to FIG.

(装置全体構成の説明)
図1は、本実施形態に係る眼科システムの構成図であって、図1(a)は眼科システムの概略構成を示し、図1(b)は該眼科システムの機能構成についてブロック図で示している。本実施形態に係る眼科システムは、撮影装置110と、処理装置120と、表示部130とを備える。撮影装置110は、OCTにおける測定光で被検眼の眼底上を走査し、該眼底の断層に関する画像データを取得する。また、撮影装置110は、照明光で眼底上を走査し、該眼底の正面画像に関する画像データを取得する。処理装置120は、撮影装置110で取得された画像データから被検眼の眼底断層画像と眼底正面画像とを生成する。表示部130は、処理装置120と接続されており、該処理装置120で生成された被検眼の眼底断層画像と眼底正面画像とを表示可能とされている。撮影装置110と処理装置120とは通信手段140によりUSB接続されており、USB通信により撮影装置110から処理装置120へと画像データを転送する。なお、ここでは通信手段140をUSBとしたが、ギガビットイーサネット(登録商標)などの、別の汎用的通信手段を用いることもできる。また、ここでは有線による通信方式を用いた例について述べているが、例えば無線LAN、Wi−Fi、Bluetooth(登録商標)等の無線による通信方式を用いてもよい。
(Explanation of the overall configuration of the device)
1A and 1B are configuration diagrams of an ophthalmic system according to the present embodiment, FIG. 1A shows a schematic configuration of the ophthalmic system, and FIG. 1B shows a block diagram of the functional configuration of the ophthalmic system. There is. The ophthalmology system according to the present embodiment includes an imaging device 110, a processing device 120, and a display unit 130. The imaging device 110 scans the fundus of the eye to be inspected with the measurement light in the OCT, and acquires image data related to the tomography of the fundus. In addition, the photographing device 110 scans the fundus with illumination light and acquires image data related to the front image of the fundus. The processing device 120 generates a fundus tomographic image of the eye to be inspected and a fundus frontal image from the image data acquired by the photographing device 110. The display unit 130 is connected to the processing device 120, and is capable of displaying the fundus tomographic image and the fundus frontal image of the eye to be inspected generated by the processing device 120. The photographing device 110 and the processing device 120 are connected by USB by the communication means 140, and the image data is transferred from the photographing device 110 to the processing device 120 by USB communication. Although the communication means 140 is USB here, another general-purpose communication means such as Gigabit Ethernet (registered trademark) can also be used. Further, although an example using a wired communication method is described here, a wireless communication method such as a wireless LAN, Wi-Fi, or Bluetooth (registered trademark) may be used.

(撮影装置110の説明)
ここで、図2を参照して、撮影装置110について説明する。図2は、撮影装置110の機能構成を示したブロック図である。撮影装置110は、被検眼100の眼底の2次元画像(眼底正面画像)の撮影、又は眼底の断層画像の撮影を行う。即ち、撮影装置110は、被検眼の眼底正面画像又は断層画像を撮像する撮像手段の一例として機能する。撮影装置110は、眼底正面画像撮影部111、断層画像撮影部112、前眼部撮影部113、制御部114、演算回路115、記憶部116、駆動系117、及び送信部118を備える。なお、撮影装置110は、被検眼に測定光を照射し且つ被検眼からの戻り光を検出するための光学系の少なくとも一部を含む光学ヘッド部と基台部とを有する。光学ヘッド部は、例えば眼底正面画像撮影部111、断層画像撮影部112、及び前眼部撮影部113を内蔵する。このとき、光学ヘッド部は、これらの撮影部を全て内蔵する必要はなく、例えば、断層画像撮影部112における測定光Bmを導光する光ファイバの一部からOCT光学系側の各光学部材は据え置き型の別の筐体に含まれてもよい。また、光学ヘッド部は、断層画像撮影部112における干渉光を導光する光ファイバの一部からOCT信号検出部218までの各光学部材は据え置き型の別の筐体やステージ部(基台部)に含まれてもよい。基台部は、例えば制御部114、演算回路115、及び記憶部116を内蔵する。駆動系117は、例えばステッピングモータからなり基台部に配置され、光学ヘッド部を3次元的に駆動して被検眼100に対するアライメントを行う。本実施形態において、駆動系117は、制御部114によって駆動することもできるし、処理装置120によっても駆動できる。送信部118は、上述した通信手段140を介して、処理装置120の受信部125と接続される。送信部118は、OCT信号検出部218及びSLO信号検出部245と接続されており、これら検出部が得た後述する輝度情報や干渉信号を受信部125に送信する。なお、撮影装置110の基台部には、被検者が額や顎を押し当てるための顔受け部108も付随している。ここでは、光学ヘッド部を3次元的に駆動することで上述したアライメントを行うこととしているが、例えば顔受け部108を3次元的に駆動してアライメントを行うこともできる。即ち、光学ヘッドに対する被検眼100のアライメントは、光学ヘッド部と顔受け部108とのうち一方に対して他方が相対的に3次元的に駆動可能とされ、この相対駆動によって行われてもよい。また、光学ヘッド部の駆動と顔受け部の駆動との両方であってもよいし、光学ヘッド部の駆動がXYZ方向のうち一部の移動を含み、顔受け部の駆動がXYZのうち残りの移動を含んでもよい。このように、これらの駆動は、光学ヘッド部と被検眼との位置関係を変更する光学部材の駆動であれば、何でもよい。
(Explanation of Imaging Device 110)
Here, the photographing apparatus 110 will be described with reference to FIG. FIG. 2 is a block diagram showing a functional configuration of the photographing device 110. The photographing device 110 captures a two-dimensional image (frontal image of the fundus) of the fundus of the eye 100 to be inspected, or captures a tomographic image of the fundus. That is, the photographing device 110 functions as an example of the imaging means for capturing the frontal fundus image or the tomographic image of the eye to be inspected. The photographing device 110 includes a fundus front image capturing unit 111, a tomographic image capturing unit 112, an anterior eye portion photographing unit 113, a control unit 114, an arithmetic circuit 115, a storage unit 116, a drive system 117, and a transmission unit 118. The photographing device 110 has an optical head portion and a base portion including at least a part of an optical system for irradiating the eye to be inspected with measurement light and detecting return light from the eye to be inspected. The optical head unit includes, for example, a fundus frontal image capturing unit 111, a tomographic image capturing unit 112, and an anterior ocular segment photographing unit 113. At this time, it is not necessary for the optical head unit to incorporate all of these imaging units. For example, each optical member on the OCT optical system side from a part of the optical fiber that guides the measurement light Bm in the tomographic imaging unit 112 It may be included in another stationary housing. Further, in the optical head unit, each optical member from a part of the optical fiber that guides the interference light in the tomographic imaging unit 112 to the OCT signal detection unit 218 is another stationary housing or stage unit (base unit). ) May be included. The base unit contains, for example, a control unit 114, an arithmetic circuit 115, and a storage unit 116. The drive system 117 is composed of, for example, a stepping motor and is arranged on a base portion, and three-dimensionally drives the optical head portion to align the eye to be inspected 100. In the present embodiment, the drive system 117 can be driven by the control unit 114 or by the processing device 120. The transmission unit 118 is connected to the reception unit 125 of the processing device 120 via the communication means 140 described above. The transmission unit 118 is connected to the OCT signal detection unit 218 and the SLO signal detection unit 245, and transmits the luminance information and the interference signal, which will be described later, obtained by these detection units to the reception unit 125. A face receiving portion 108 for the subject to press the forehead and the chin is also attached to the base portion of the photographing device 110. Here, the above-mentioned alignment is performed by driving the optical head portion three-dimensionally, but for example, the face receiving portion 108 can be driven three-dimensionally to perform the alignment. That is, the alignment of the eye 100 to be inspected with respect to the optical head can be driven three-dimensionally relative to one of the optical head portion and the face receiving portion 108, and may be performed by this relative drive. .. Further, both the driving of the optical head portion and the driving of the face receiving portion may be performed, the driving of the optical head portion includes a part of the movement in the XYZ direction, and the driving of the face receiving portion remains in the XYZ. May include movement of. As described above, these drives may be any drive as long as they are drives of an optical member that changes the positional relationship between the optical head portion and the eye to be inspected.

眼底正面画像撮影部111は、図2において、正面画像取得手段の一例として、被検眼100の眼底正面画像生成のための画像データ(輝度信号)を取得する。断層画像撮影部112は、被検眼100の網膜部分を測定光で走査して断層画像生成のための画像データ(干渉信号)を取得する。前眼部撮影部113は、被検眼100の前眼部の画像を撮影する。被検眼100に対向して対物レンズ等の対物光学系210が配置され、その光軸上には光分割部材230と光分割部材240が配置されている。これらの光分割部材230,240によって、被検眼100からの光路は、波長帯域ごとに断層画像撮影部112への光路、眼底正面画像撮影部111への光路、及び前眼部撮影部113への光路に分岐される。 In FIG. 2, the fundus front image capturing unit 111 acquires image data (luminance signal) for generating a fundus front image of the eye 100 to be inspected as an example of the front image acquisition means. The tomographic image capturing unit 112 scans the retina portion of the eye 100 to be inspected with the measurement light to acquire image data (interference signal) for generating a tomographic image. The anterior segment imaging unit 113 captures an image of the anterior segment of the eye to be inspected 100. An objective optical system 210 such as an objective lens is arranged so as to face the eye 100 to be inspected, and an optical division member 230 and an optical division member 240 are arranged on the optical axis thereof. By these optical dividing members 230 and 240, the optical path from the eye 100 to be inspected is the optical path to the tomographic image capturing unit 112, the optical path to the fundus front image capturing unit 111, and the anterior eye portion imaging unit 113 for each wavelength band. Branched into an optical path.

本実施形態において、眼底正面画像撮影部111はSLO(走査型レーザ検眼鏡)としている。なお、ここでは眼底正面画像を取得する構成としてSLOを例示しているが、後述する眼底トラッキングに使用可能な眼底正面画像が取得できれば用いる構成はこれに限られない。また、本実施形態において、断層画像撮影部112は、被検眼100を走査した測定光と後述する参照光とから得た干渉光を分光して検出した信号をフーリエ変換して断層画像を生成するスペクトラルドメイン方式を用いるものとする。しかし、被検眼100の断層画像が取得可能なOCT装置であれば、その他の方式に対応した種々の構成を用いることができる。なお、以降の説明では図2における紙面に垂直な方向をX軸とし、X軸方向の測定光の走査を水平スキャン、X軸方向に対して垂直なY軸方向の走査を垂直スキャンと称する。 In the present embodiment, the fundus frontal imaging unit 111 is an SLO (scanning laser ophthalmoscope). Although SLO is illustrated here as a configuration for acquiring a fundus anterior image, the configuration to be used is not limited to this as long as a fundus anterior image that can be used for fundus tracking described later can be acquired. Further, in the present embodiment, the tomographic image capturing unit 112 generates a tomographic image by Fourier transforming the signal detected by spectroscopically detecting the interference light obtained by scanning the measurement light obtained by scanning the eye 100 to be examined and the reference light described later. The spectral domain method shall be used. However, as long as it is an OCT device capable of acquiring a tomographic image of the eye 100 to be inspected, various configurations corresponding to other methods can be used. In the following description, the direction perpendicular to the paper surface in FIG. 2 is referred to as an X-axis, scanning of the measurement light in the X-axis direction is referred to as horizontal scanning, and scanning in the Y-axis direction perpendicular to the X-axis direction is referred to as vertical scanning.

断層画像撮影部112は、画像データ(干渉信号)取得のための構成として、SLD211、ファイバカプラ212、OCT走査光学系213、参照光コリメータ215、参照ミラー216、及びOCT信号検出部218を有する。図2において低コヒーレンス光源であるSLD211から発せられた光は、例えば光ファイバを介してファイバカプラ212に入射する。ファイバカプラ212は、入射した光を測定光Bmと測定光に対応する参照光Brとに分離する。分離後、測定光Bmは光ファイバによりOCT走査光学系213に、参照光Brは参照光コリメータ215に各々出射される。不図示のガルバのミラー等を有するOCT走査光学系213において、入射された測定光Bmはガルバノミラーに集光され、該ガルバのミラーによって眼底上での測定光Bmの走査が行われる。ここでは、ガルバノミラーは、水平スキャンをするスキャナと垂直スキャンをする1組のスキャナから構成される。走査された測定光Bmは光分割部材230と光分割部材240とを介し、対物光学系210を介して被測定物である被検眼100の網膜に到達する。この網膜で反射・散乱した測定光は、戻り光として再び対物光学系210、光分割部材230、光分割部材240、OCT走査光学系213を通ってファイバカプラ212に到達する。 The tomographic imaging unit 112 includes an SLD 211, a fiber coupler 212, an OCT scanning optical system 213, a reference optical collimator 215, a reference mirror 216, and an OCT signal detection unit 218 as configurations for acquiring image data (interference signals). The light emitted from the SLD 211, which is a low coherence light source in FIG. 2, is incident on the fiber coupler 212 via, for example, an optical fiber. The fiber coupler 212 separates the incident light into the measurement light Bm and the reference light Br corresponding to the measurement light. After separation, the measurement light Bm is emitted to the OCT scanning optical system 213 by an optical fiber, and the reference light Br is emitted to the reference optical collimator 215. In the OCT scanning optical system 213 having a galvanized mirror (not shown) or the like, the incident measurement light Bm is focused on the galvano mirror, and the galvanized mirror scans the measured light Bm on the fundus of the eye. Here, the galvanometer mirror consists of a scanner that scans horizontally and a set of scanners that scans vertically. The scanned measurement light Bm reaches the retina of the eye 100 to be inspected, which is an object to be measured, via the optical dividing member 230 and the optical dividing member 240, and via the objective optical system 210. The measurement light reflected / scattered by the retina reaches the fiber coupler 212 again as return light through the objective optical system 210, the optical dividing member 230, the optical dividing member 240, and the OCT scanning optical system 213.

一方、ファイバカプラ212から出射された参照光Brは、光ファイバにより参照光コリメータ215を介して参照ミラー216で反射し、再びファイバカプラ212に到達する。ファイバカプラ212では、参照光Brは測定光Bmの戻り光と干渉(合波)して干渉光が生成され、該干渉光はOCT信号検出部218に入射される。ここで例示した眼科システムでは、参照ミラー216の位置を変更することで、参照光の光路長を変更し、測定光の光路長との光路長差の調整を行うことができる。測定光の光路長と参照光の光路長とを略一致させることで、断層画像生成のためのこれら光の良好な干渉が得られる。しかし、光路長差の調整は参照光側のみではなく、測定光の側において行ってもよい。OCT信号検出部218は、干渉光を検出し、電気的な干渉信号を出力する。 On the other hand, the reference light Br emitted from the fiber coupler 212 is reflected by the optical fiber through the reference optical collimator 215 by the reference mirror 216 and reaches the fiber coupler 212 again. In the fiber coupler 212, the reference light Br interferes (combines) with the return light of the measurement light Bm to generate interference light, and the interference light is incident on the OCT signal detection unit 218. In the ophthalmic system illustrated here, the optical path length of the reference light can be changed by changing the position of the reference mirror 216, and the optical path length difference from the optical path length of the measurement light can be adjusted. By substantially matching the optical path length of the measurement light with the optical path length of the reference light, good interference of these lights for tomographic image generation can be obtained. However, the adjustment of the optical path length difference may be performed not only on the reference light side but also on the measurement light side. The OCT signal detection unit 218 detects the interference light and outputs an electrical interference signal.

例示した眼科システムにおいて、眼底正面画像撮影部111と光分割部材240により、眼底正面画像が取得される。眼底正面画像撮影部111は、SLOレーザー光源241、光分割部材242、SLO走査光学系243、及びSLO信号検出部245を有する。SLOレーザー光源241からの光束(照明光)は、光分割部材242を通し、SLO走査光学系243に入射される。SLO走査光学系243は入射された照明光を不図示の走査手段の一例であるスキャナに集光し、該スキャナによって被検眼眼底での照明光の走査を行う。ここで例示した眼科システムでは、スキャナは、水平スキャン(主走査方向の走査)をするポリゴンミラーと垂直スキャン(副走査方向の走査)をするガルバノミラーとから構成される。なお、主走査方向の走査を行う主走査手段としては、ポリゴンミラーの他に、共振スキャナであってもよい。即ち、SLO走査光学系243は、眼底に対して照明光を主走査方向で往復走査する主走査手段と、眼底に対して照明光を略等速で走査する副走査手段とを含むように構成されてもよい。もちろん、主走査手段は、ガルバノミラーであってもよい。 In the illustrated ophthalmic system, the fundus front image is acquired by the fundus front image capturing unit 111 and the light dividing member 240. The fundus frontal imaging unit 111 includes an SLO laser light source 241, an optical dividing member 242, an SLO scanning optical system 243, and an SLO signal detection unit 245. The luminous flux (illumination light) from the SLO laser light source 241 passes through the light dividing member 242 and is incident on the SLO scanning optical system 243. The SLO scanning optical system 243 collects the incident illumination light on a scanner which is an example of scanning means (not shown), and scans the illumination light on the fundus of the eye to be inspected by the scanner. In the ophthalmic system illustrated here, the scanner is composed of a polygon mirror that performs horizontal scanning (scanning in the main scanning direction) and a galvano mirror that performs vertical scanning (scanning in the secondary scanning direction). In addition to the polygon mirror, a resonance scanner may be used as the main scanning means for scanning in the main scanning direction. That is, the SLO scanning optical system 243 is configured to include a main scanning means for reciprocating the illumination light with respect to the fundus in the main scanning direction and a sub-scanning means for scanning the illumination light with respect to the fundus at a substantially constant speed. May be done. Of course, the main scanning means may be a galvanometer mirror.

走査されたSLOレーザー光(照明光)は、光分割部材240で反射し、光分割部材230と光分割部材240を介し、さらに対物光学系210を介して被検眼100の網膜に到達する。照明光は網膜で反射して、再び対物光学系210、光分割部材230、光分割部材240、及びSLO走査光学系243を経て、光分割部材242で反射してSLO信号検出部245へ到達する。SLO信号検出部245は入射した光を検出し、電気的なSLO信号(輝度情報)
を出力する。
The scanned SLO laser light (illumination light) is reflected by the light dividing member 240 and reaches the retina of the eye 100 to be inspected via the light dividing member 230 and the light dividing member 240, and further via the objective optical system 210. The illumination light is reflected by the retina, passes through the objective optical system 210, the light dividing member 230, the light dividing member 240, and the SLO scanning optical system 243 again, is reflected by the light dividing member 242, and reaches the SLO signal detection unit 245. .. The SLO signal detection unit 245 detects the incident light and makes an electrical SLO signal (luminance information).
Is output.

前眼部撮影部113は、前眼部を照明する不図示の赤外LEDと、CCDカメラとから構成される。赤外LEDから出射された赤外光は、光分割部材230と対物光学系210とを介して前眼部に照射される。前眼部で反射された赤外光は、対物光学系210と光分割部材230とを経て、CCDカメラによって撮影され、これにより前眼部画像が得られる。 The anterior segment imaging unit 113 includes an infrared LED (not shown) that illuminates the anterior segment and a CCD camera. The infrared light emitted from the infrared LED irradiates the anterior segment of the eye via the light dividing member 230 and the objective optical system 210. The infrared light reflected by the anterior segment passes through the objective optical system 210 and the light dividing member 230, and is photographed by a CCD camera, whereby an image of the anterior segment is obtained.

ここでは、SLOレーザー光源241は波長750nmの光を出射し、SLD211は波長850nmの光を出射し、前眼部照明用の光源としては波長970nmの赤外光を出射している。ただし、本実施形態で用いる光の波長は、これらの波長に限定されることはない。その他の波長の光が、断層画像撮影部112、眼底正面画像撮影部111、及び前眼部撮影部113で用いられてもよい。また、ここでは、光分割部材230の反射側に前眼部撮影部113を、光分割部材240の反射側に眼底正面画像撮影部111を、光分割部材230,240の透過方向に断層画像撮影部112を配置している。しかし、これら構成の配置を、各々透過側、反射側で入れ替えた配置として撮影装置110を構成することもできる。また、例示した撮影装置110において、光分割部材230と光分割部材240とはダイクロミラーから構成され、光分割部材242は孔空きミラーより構成されている。ただし、これらは一例であり、ハーフミラーなどのように光を2つに分割できるその他の公知の部材を利用してもよい。 Here, the SLO laser light source 241 emits light having a wavelength of 750 nm, the SLD211 emits light having a wavelength of 850 nm, and the light source for forearm illumination emits infrared light having a wavelength of 970 nm. However, the wavelength of light used in this embodiment is not limited to these wavelengths. Light of other wavelengths may be used by the tomographic imaging unit 112, the fundus frontal imaging unit 111, and the anterior ocular segment imaging unit 113. Further, here, the anterior segment imaging unit 113 is provided on the reflection side of the light dividing member 230, the fundus front image imaging unit 111 is provided on the reflecting side of the optical dividing member 240, and a tomographic image is captured in the transmission direction of the optical dividing members 230 and 240. The unit 112 is arranged. However, it is also possible to configure the photographing device 110 as an arrangement in which these configurations are interchanged on the transmission side and the reflection side, respectively. Further, in the illustrated imaging device 110, the optical dividing member 230 and the optical dividing member 240 are composed of a dichroic mirror, and the optical dividing member 242 is composed of a perforated mirror. However, these are examples, and other known members that can divide the light into two, such as a half mirror, may be used.

図3は、撮影装置110により取得された断層画像と眼底正面画像とを説明する図である。同図において、眼底正面画像250は撮影装置110により取得された被検眼100の眼底正面画像であり、断層画像251は撮影装置110により取得された網膜の断層画像の例を示す。また、図3では、眼底正面画像250と断層画像251とに付随して、測定光の走査方向(x方向)を示す水平方向252と、該水平方向252と垂直な方向(y方向)とが示されている。OCTでは、測定光の一照射位置から該照射位置での深さ方向の例えば輝度等に関する断層情報が取得でき、このような一照射位置からの断層情報を取得する走査はAスキャンと称される。また、このAスキャンにより得られる画像をAスキャン画像と称する。図3では、網膜の深さ方向であって、測定光の一照射位置での照射方向を奥行き(Z)方向254として示している。断層画像251には、奥行き方向254から得られるAスキャンの取得位置をAスキャン255として例示している。また、眼底正面画像250上の点線256は、断層画像251が取得された位置(測定光の走査線)を示している。 FIG. 3 is a diagram illustrating a tomographic image acquired by the photographing apparatus 110 and a frontal image of the fundus. In the figure, the fundus front image 250 is a fundus front image of the eye 100 to be inspected acquired by the imaging device 110, and the tomographic image 251 shows an example of a tomographic image of the retina acquired by the imaging device 110. Further, in FIG. 3, the horizontal direction 252 indicating the scanning direction (x direction) of the measurement light and the direction (y direction) perpendicular to the horizontal direction 252 are associated with the frontal fundus image 250 and the tomographic image 251. It is shown. In OCT, tomographic information regarding, for example, brightness in the depth direction at the irradiation position can be acquired from one irradiation position of the measurement light, and scanning for acquiring tomographic information from such one irradiation position is called A scan. .. Further, the image obtained by this A scan is referred to as an A scan image. In FIG. 3, it is the depth direction of the retina, and the irradiation direction at one irradiation position of the measurement light is shown as the depth (Z) direction 254. In the tomographic image 251, the acquisition position of the A scan obtained from the depth direction 254 is illustrated as the A scan 255. The dotted line 256 on the fundus front image 250 indicates the position (scanning line of the measurement light) from which the tomographic image 251 was acquired.

なお、本実施形態では干渉系としてマイケルソン干渉系を用いたが、マッハツェンダー干渉系を用いてもよい。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉系を、光量差が比較的小さい場合にはマイケルソン干渉系を用いることが望ましい。また、本発明は、本実施形態以外の光学配置や装置構成にも適用可能である。例えば、本実施形態では、フーリエドメイン方式(FD:Fourier Domain)のOCT装置のうち、スペクトラルドメイン方式(SD:Spectral Domain)のOCT装置を例示している。しかし、本実施形態で述べる構成を他の方式のOCT装置にも適用してもよい。特に、以降で述べる構成は、波長掃引光源を用いたスウェプトソース方式(SS:Swept Source)のOCT装置にも適用可能である。 Although the Michelson interference system is used as the interference system in this embodiment, a Mach-Zehnder interference system may be used. It is desirable to use the Mach-Zehnder interference system when the light amount difference is large and the Michelson interference system when the light amount difference is relatively small, depending on the light amount difference between the measurement light and the reference light. Further, the present invention can be applied to optical arrangements and device configurations other than the present embodiment. For example, in the present embodiment, among the OCT devices of the Fourier domain method (FD: Fourier Domain), the OCT device of the spectral domain method (SD: Spectral Domain) is exemplified. However, the configuration described in this embodiment may be applied to other types of OCT devices. In particular, the configuration described below is also applicable to a Swept Source (SS: Swept Source) OCT apparatus using a wavelength sweep light source.

制御部114は、撮影装置110の制御を行い、上述した眼底正面画像や断層画像の取得を実行する。制御部114は、OCT走査光学系213やSLO走査光学系243に走査制御信号を送り、被検眼100を測定光や照明光でX方向及びY方向に走査する。さらに、制御部114は眼底正面画像撮影部111や断層画像撮影部112に設けられる不図示のフォーカスレンズ、及び断層画像撮影部112に設けられる参照ミラー216の位置制御も実行する。演算回路115は、SLO信号検出部245、制御部114、及び記憶部116と接続されている。演算回路115は、後述する複数の眼底正面画像の二次元相関演算をハードウェア回路(例えば、FPGAやASIC)で行う。これにより、眼底正面画像間の変位量を求めることができ、求めた変位量分、断層画像の取得位置を補正することで眼底トラッキング動作を行う。また、記憶部116は、眼底トラッキングで用いる参照眼底画像と求めた変位量とを記憶する。 The control unit 114 controls the photographing device 110 and executes the acquisition of the above-mentioned frontal fundus image and tomographic image. The control unit 114 sends a scanning control signal to the OCT scanning optical system 213 and the SLO scanning optical system 243, and scans the eye 100 to be inspected with measurement light or illumination light in the X direction and the Y direction. Further, the control unit 114 also executes position control of a focus lens (not shown) provided in the fundus front image capturing unit 111 and the tomographic image capturing unit 112, and a reference mirror 216 provided in the tomographic image capturing unit 112. The arithmetic circuit 115 is connected to the SLO signal detection unit 245, the control unit 114, and the storage unit 116. The calculation circuit 115 performs a two-dimensional correlation calculation of a plurality of frontal images of the fundus, which will be described later, in a hardware circuit (for example, FPGA or ASIC). As a result, the amount of displacement between the frontal images of the fundus can be obtained, and the fundus tracking operation is performed by correcting the acquisition position of the tomographic image by the obtained amount of displacement. Further, the storage unit 116 stores the reference fundus image used in fundus tracking and the obtained displacement amount.

(処理装置の説明)
次に、処理装置120について説明する。図1(b)は処理装置120の機能構成を示したブロック図である。処理装置120は、画像生成部121と、記憶部122と、画像評価部123と、受信部125と、表示制御部126とを備えている。画像生成部121は、処理装置120内の記憶部122、受信部125、及び表示制御部126と接続されている。表示制御部126は表示部130とも接続されており、例えば画像生成部121が生成した眼底正面画像や断層画像、或いは撮影指示の入力画面等を表示部130に表示させる。画像生成部121は、例えば受信部125が受信したOCT信号検出部218から得られる干渉信号をフーリエ変換し、フーリエ変換後のデータを輝度或いは濃度情報に変換することによって、上述した被検眼の深さ方向(Z方向)のAスキャン画像を取得する。
(Explanation of processing equipment)
Next, the processing apparatus 120 will be described. FIG. 1B is a block diagram showing a functional configuration of the processing device 120. The processing device 120 includes an image generation unit 121, a storage unit 122, an image evaluation unit 123, a reception unit 125, and a display control unit 126. The image generation unit 121 is connected to a storage unit 122, a reception unit 125, and a display control unit 126 in the processing device 120. The display control unit 126 is also connected to the display unit 130, and causes the display unit 130 to display, for example, a fundus frontal image or a tomographic image generated by the image generation unit 121, an input screen for an imaging instruction, or the like. The image generation unit 121 Fourier transforms, for example, the interference signal obtained from the OCT signal detection unit 218 received by the reception unit 125, and converts the data after the Fourier transform into brightness or density information to obtain the above-mentioned depth of the eye to be inspected. An A-scan image in the vertical direction (Z direction) is acquired.

このようなAスキャンを、OCT走査光学系213によって網膜上で所定の横断方向に沿って異なる位置で複数回実行することで、複数のAスキャン画像を取得することができる。例えばX方向に測定光を走査すればXZ面に並ぶ複数のAスキャン画像が得られ、Y方向に走査すればYZ面に並ぶ複数のAスキャン画像が得られる。このように被検眼100上を測定光で所定の横断方向に走査する方式をBスキャンと称し、これら複数のAスキャン画像をまとめることで得られる断層画像をBスキャン画像と称する。このBスキャンを、被検眼100の所定の方向にOCT走査光学系にて繰り返すことによって、複数のBスキャン画像を取得することができる。例えば、XZ面のBスキャン画像を取得する測定光の走査をY方向にずらせながら繰り返すことで、XYZ空間の3次元情報を得ることができる。このような走査をCスキャンと称し、得られた複数のBスキャン画像から成るデータを3次元データ(Cスキャン画像)と称する。 By performing such an A scan a plurality of times at different positions along a predetermined transverse direction on the retina by the OCT scanning optical system 213, a plurality of A scan images can be acquired. For example, if the measurement light is scanned in the X direction, a plurality of A-scan images arranged on the XZ plane can be obtained, and if the measurement light is scanned in the Y direction, a plurality of A-scan images arranged on the YZ plane can be obtained. A method of scanning the eye 100 to be inspected with measurement light in a predetermined transverse direction in this way is referred to as a B scan, and a tomographic image obtained by combining these plurality of A scan images is referred to as a B scan image. By repeating this B scan in the predetermined direction of the eye 100 to be inspected by the OCT scanning optical system, a plurality of B scan images can be acquired. For example, three-dimensional information of the XYZ space can be obtained by repeating the scanning of the measurement light for acquiring the B scan image of the XZ surface while shifting it in the Y direction. Such a scan is referred to as a C scan, and data composed of a plurality of obtained B scan images is referred to as three-dimensional data (C scan image).

記憶部122は、画像生成部121が生成した画像や、被検眼の撮影に使われた撮影パラメータ等を記憶する。画像評価部123は、画像生成部121が生成した画像、又は記憶部122の画像の評価を行う。画像の評価は、画像全体の鮮鋭度、輝度平均値等のパラメータにより行われる。このとき、評価項目が鮮鋭度の場合には値が高いほど評価としては高くなり、輝度平均値の場合は輝度が暗くなりすぎないよう所定値以上であること等が評価の対象となる。また、画像評価部123は、画像の不良の判定も行う。ここで判定する画像不良の例には、撮影中に被検眼の瞬きにより画像に残る“瞬き跡”や、固視微動による“インタレース縞”、又はコントラスト不足等があげられる。 The storage unit 122 stores the image generated by the image generation unit 121, the photographing parameters used for photographing the eye to be inspected, and the like. The image evaluation unit 123 evaluates the image generated by the image generation unit 121 or the image of the storage unit 122. The evaluation of the image is performed by parameters such as the sharpness of the entire image and the average brightness. At this time, when the evaluation item is sharpness, the higher the value, the higher the evaluation, and in the case of the average brightness value, the evaluation target is that the brightness is not too dark and is equal to or higher than a predetermined value. The image evaluation unit 123 also determines whether the image is defective. Examples of the image defect determined here include "blink marks" remaining in the image due to blinking of the eye to be inspected during imaging, "interlaced fringes" due to fixed vision fine movement, insufficient contrast, and the like.

(インタレース方式を用いた眼底正面画像を生成する方法)
次に、本実施形態において、眼底正面画像を生成する方法について説明する。制御部114は、SLO走査光学系243に走査制御信号を送り、被検眼100の眼底を、照明光でX方向及びY方向に走査する。さらに、制御部114は、照明光を眼底にフォーカスする不図示のフォーカスレンズの位置制御もする。画像生成部121は、SLO信号検出部245からの信号情報として得られる輝度情報(輝度値)を走査信号に基づいて並べて、XY平面での眼底正面画像を生成する。ただし、本実施形態で適用できる眼底正面画像の撮像及び生成方法は、ここで説明している方法に限らない。例えば、眼底カメラ等その他の方法でもよい。
(Method of generating a frontal image of the fundus using the interlace method)
Next, in the present embodiment, a method of generating a frontal fundus image will be described. The control unit 114 sends a scanning control signal to the SLO scanning optical system 243, and scans the fundus of the eye 100 to be inspected with illumination light in the X direction and the Y direction. Further, the control unit 114 also controls the position of a focus lens (not shown) that focuses the illumination light on the fundus. The image generation unit 121 arranges the luminance information (luminance value) obtained as the signal information from the SLO signal detection unit 245 based on the scanning signal, and generates an image of the front of the fundus in the XY plane. However, the method of capturing and generating the frontal fundus image applicable to this embodiment is not limited to the method described here. For example, other methods such as a fundus camera may be used.

なお、本実施形態では、眼底を走査するSLO走査光学系を制御しながらインタレース方式を用いて眼底正面画像を取得する。インタレース方式を用いることにより、眼底正面画像の取得時間を短くすることができ、眼底トラッキングのフィードバック制御時間を短くすることができるという効果がある。なお、SLO走査光学系を用いて、眼底正面画像を取得する場合、該眼底正面画像は、例えば図5に示すように走査線L01〜L20から得た信号から構成される。インタレース方式とは、ラスタスキャンにおける各主走査(X方向の走査)を副走査方向(Y方向)に順番に行うプログレッシブ方式とは異なる走査の方式である。より詳細には、副走査方向において奇数番号の各主走査と偶数番号の各主走査とを交互に行いながらそれぞれの信号を得る方式である。このとき、奇数番号の複数の主走査線に対応する画像と偶数番目の複数の主走査線に対応する画像とを含む2種類の画像は、信号取得に合わせて順次表示される。これにより、1枚の画像の解像度は低下するが、画像取得に要する時間を1/2に短縮することができる。さらに、画像評価部123は、眼底正面画像を解析し、上述した評価項目に関しての該眼底正面画像の評価を行う。記憶部122は画像生成部121及び表示部130と接続され、画像生成部121により生成されたBスキャン画像(断層画像)、3次元データ、眼底正面画像及び前眼部画像が記憶部122に記憶される。表示部130は、記憶部122に記憶された断層画像、眼底正面画像、及び前眼部画像を、表示部130に表示される観察用画面内に表示する。 In the present embodiment, the frontal image of the fundus is acquired by using the interlace method while controlling the SLO scanning optical system that scans the fundus. By using the interlace method, it is possible to shorten the acquisition time of the frontal fundus image, and it is possible to shorten the feedback control time of the fundus tracking. When a fundus frontal image is acquired using the SLO scanning optical system, the fundus frontal image is composed of signals obtained from scanning lines L01 to L20, for example, as shown in FIG. The interlaced method is a scanning method different from the progressive method in which each main scan (scanning in the X direction) in the raster scan is sequentially performed in the sub-scanning direction (Y direction). More specifically, it is a method of obtaining each signal while alternately performing the odd-numbered main scans and the even-numbered main scans in the sub-scanning direction. At this time, two types of images including an image corresponding to the plurality of odd-numbered main scanning lines and an image corresponding to the even-numbered plurality of main scanning lines are sequentially displayed in accordance with signal acquisition. As a result, the resolution of one image is lowered, but the time required for image acquisition can be reduced to 1/2. Further, the image evaluation unit 123 analyzes the fundus front image and evaluates the fundus front image with respect to the above-mentioned evaluation items. The storage unit 122 is connected to the image generation unit 121 and the display unit 130, and the B-scan image (tomographic image) generated by the image generation unit 121, the three-dimensional data, the fundus front image, and the anterior eye portion image are stored in the storage unit 122. Will be done. The display unit 130 displays the tomographic image, the fundus frontal image, and the anterior eye portion image stored in the storage unit 122 in the observation screen displayed on the display unit 130.

次に、以上に説明した撮影装置110、処理装置120、及び表示部130から構成される眼科システムにおいて、被検眼100の観察から断層画像等の取得までの流れを説明する。まず、観察用画面について図5を用いて説明する。図5は、被検眼観察時に表示部130に表示される観察用画面300の一例を示したものである。観察用画面300には、前眼部画像310、眼底正面画像301、断層画像302,303,304,305、フォーカス調整スライダー308、参照ミラー位置調整スライダー307、及び測定開始ボタン306が表示されている。眼底正面画像301に重畳表示される点線309は、眼底正面画像301上での断層画像302,303,304,305を取得する際の測定光の走査位置を示す。 Next, in the ophthalmology system including the photographing device 110, the processing device 120, and the display unit 130 described above, the flow from the observation of the eye 100 to be examined to the acquisition of a tomographic image or the like will be described. First, the observation screen will be described with reference to FIG. FIG. 5 shows an example of the observation screen 300 displayed on the display unit 130 when observing the eye to be inspected. The observation screen 300 displays an anterior segment image 310, a fundus front image 301, a tomographic image 302, 303, 304, 305, a focus adjustment slider 308, a reference mirror position adjustment slider 307, and a measurement start button 306. .. The dotted line 309 superimposed and displayed on the fundus front image 301 indicates the scanning position of the measurement light when acquiring the tomographic images 302, 303, 304, 305 on the fundus front image 301.

実際の撮影では、操作者は、前眼部画像310を観察しながら対物光学系210の正面に被検眼100を位置させる。その後、SLO走査光学系243によるXY方向の照明光での走査により眼底正面画像が取得され、OCT走査光学系213による測定光のXY方向の走査により断層画像が取得される。操作者は、眼底正面画像301、断層画像302,303,304,305を観察しながら不図示のマウスやマウスカーソルを用いてフォーカス調整スライダー308や参照ミラー位置調整スライダー307を操作する。これにより、断層画像のフォーカスや、参照ミラー216の位置などが調整される。これら断層画像302,303,304,305と眼底正面画像301は、OCT走査光学系213,243の走査に応じて適宜更新される。操作者は、マウスやタッチパネル等の図示なき走査位置変更手段を操作することで、眼底正面画像301に重畳表示される点線309の位置を移動させ、これに対応する所望の走査位置を設定する。 In the actual shooting, the operator positions the eye to be inspected 100 in front of the objective optical system 210 while observing the anterior eye portion image 310. After that, the frontal surface image is acquired by scanning with the illumination light in the XY direction by the SLO scanning optical system 243, and the tomographic image is acquired by scanning the measurement light with the measurement light in the XY direction by the OCT scanning optical system 213. The operator operates the focus adjustment slider 308 and the reference mirror position adjustment slider 307 using a mouse or mouse cursor (not shown) while observing the fundus front image 301 and the tomographic images 302, 303, 304, 305. As a result, the focus of the tomographic image, the position of the reference mirror 216, and the like are adjusted. These tomographic images 302, 303, 304, 305 and the fundus anterior image 301 are appropriately updated according to the scanning of the OCT scanning optical systems 213 and 243. By operating a scanning position changing means (not shown) such as a mouse or a touch panel, the operator moves the position of the dotted line 309 superimposed and displayed on the fundus front image 301, and sets a corresponding desired scanning position.

(眼底断層画像生成動作のフローチャート)
次に、図6に示すフローチャートを用いて、本実施形態の眼科システムによる眼底の断層画像撮影時に行われる処理の詳細について説明する。本実施形態では、眼底正面画像301の撮影用の照明光の走査を、フレームレートを上げるためにインタレース方式で行う。インタレース方式では、眼底正面画像の取得時に眼底に描画される照明光の走査線を、画像上の一番上から順に番号を付記した場合の、奇数番目の走査線である奇数ラインと偶数番目の走査線である偶数ラインとに分けて画像を取得する。即ち、1枚の眼底正面画像における画素列を画像の上から番号を付記した場合の、奇数番目の画素列の画像情報と偶数番目の画素列の画像情報とを分けて取得する。図4は、インタレース方式の一例について説明する図である。図4では、照明光の走査線が眼底正面画像の一番上から順にL01、L02、L03、・・・L20と番号が付されている。ここに例示するインタレース方式では、奇数ラインの眼底正面画像は、走査線L01、L03・・・L19で構成される。また、偶数ラインの眼底正面画像は、走査線L02,L04・・・L20で構成される。ここでは、奇数ラインの眼底正面画像と偶数ラインの眼底正面画像をそれぞれ、奇数ラインが取得される奇数フィールドの画像と偶数ラインが取得される偶数フィールドの画像と称する。
(Flowchart of fundus tomographic image generation operation)
Next, the details of the processing performed at the time of taking a tomographic image of the fundus by the ophthalmic system of the present embodiment will be described with reference to the flowchart shown in FIG. In the present embodiment, the illumination light for photographing the fundus front image 301 is scanned by an interlace method in order to increase the frame rate. In the interlaced method, the odd-numbered scanning lines and the even-numbered scanning lines are the odd-numbered scanning lines when the scanning lines of the illumination light drawn on the fundus when the frontal image of the fundus is acquired are numbered in order from the top of the image. The image is acquired separately from the even-numbered lines which are the scanning lines of. That is, when the pixel strings in one image of the front of the fundus are numbered from the top of the image, the image information of the odd-numbered pixel strings and the image information of the even-numbered pixel strings are separately acquired. FIG. 4 is a diagram illustrating an example of the interlaced method. In FIG. 4, the scanning lines of the illumination light are numbered L01, L02, L03, ... L20 in order from the top of the fundus front image. In the interlaced method illustrated here, the frontal image of the fundus of the odd-numbered lines is composed of scanning lines L01, L03 ... L19. The front fundus image of even-numbered lines is composed of scanning lines L02, L04 ... L20. Here, the image of the front surface of the fundus of the odd-numbered line and the image of the front surface of the fundus of the even-numbered line are referred to as an image of the odd-numbered field from which the odd-numbered line is acquired and an image of the even-numbered field from which the even-numbered line is acquired, respectively.

実際の眼底撮影では、測定開始ボタン306が押されることにより、図6のフローチャートとして示される撮影処理が開始される。以下、フローチャートに沿って撮影処理の詳細について説明する。撮影処理では、まず、眼底正面画像であって、以降の被検眼の動きを計測する際の基準となる参照眼底画像を生成する。そして、例えば後述する1Bスキャンの開始あるいは終了のタイミングと同期させて眼底正面画像を取得し、参照眼底画像との間での画像間のずれを求め、これを被検眼の動きとして取得する。この画像間のずれが閾値より大きい場合には、これから開始するBスキャンから得られる断層画像が以前に取得した断層画像とは異なる位置から取得される可能性が大きいとして、Bスキャンの開始位置を取得したずれ量に応じて補正する。そして補正後の位置からの断層画像の取得を行う。このような、眼底の動きに追随してBスキャンの開始位置(測定光の照射位置)を変更する処理を眼底トラッキングと称する。断層画像の取得時にこのような眼底トラッキングを実行することによって、所望の位置から大きくずれることなく断層画像を取得することが可能となる。 In actual fundus photography, when the measurement start button 306 is pressed, the imaging process shown as the flowchart of FIG. 6 is started. Hereinafter, the details of the shooting process will be described with reference to the flowchart. In the photographing process, first, a reference fundus image, which is a frontal image of the fundus and serves as a reference when measuring the subsequent movement of the eye to be inspected, is generated. Then, for example, the frontal fundus image is acquired in synchronization with the start or end timing of the 1B scan described later, the deviation between the images with the reference fundus image is obtained, and this is acquired as the movement of the eye to be inspected. If the deviation between the images is larger than the threshold value, it is considered that the tomographic image obtained from the B scan to be started from now on is likely to be obtained from a position different from the previously acquired tomographic image, and the start position of the B scan is set. Correct according to the acquired deviation amount. Then, the tomographic image is acquired from the corrected position. Such a process of changing the start position of the B scan (irradiation position of the measurement light) according to the movement of the fundus is called fundus tracking. By performing such fundus tracking at the time of acquiring a tomographic image, it is possible to acquire a tomographic image without significantly deviating from a desired position.

<ステップS100>
ステップS100では、制御部114が、眼底正面画像撮影部111を制御し、眼底トラッキングを行うための参照眼底画像を取得する。記憶部116は眼底トラッキングを行う際に用いるために、取得された参照眼底画像を記憶する。なお、眼底正面画像撮影部111では眼底からの輝度情報を取得しており、実際に画像を生成しているわけではない。このため、制御部114では、この輝度情報を、SLO走査光学系243の走査位置情報に基づいて眼底正面画像の表示画面に対応する面内に配置することで画像情報を生成し、これを用いて以降の処理を行っている。しかし、以降で述べるトラッキング処理において、この画像情報は眼底正面画像に準じて画像として用いられている。このことから、以降の説明においては、制御部114は眼底正面画像を取得し、これを用いて眼底の固視微動量の検出処理を行うこととして説明する。また、参照眼底画像取得の動作の詳細については後述する。
<Step S100>
In step S100, the control unit 114 controls the fundus anterior image capturing unit 111 to acquire a reference fundus image for performing fundus tracking. The storage unit 116 stores the acquired reference fundus image for use when performing fundus tracking. It should be noted that the fundus front image capturing unit 111 acquires the luminance information from the fundus and does not actually generate the image. Therefore, the control unit 114 generates image information by arranging the luminance information in the plane corresponding to the display screen of the fundus front image based on the scanning position information of the SLO scanning optical system 243, and uses this. The subsequent processing is being performed. However, in the tracking process described later, this image information is used as an image according to the frontal fundus image. Therefore, in the following description, the control unit 114 will acquire an image of the front surface of the fundus and use it to perform detection processing of the amount of fixation and fine movement of the fundus. The details of the operation of acquiring the reference fundus image will be described later.

<ステップS110>
ステップS110では、演算回路115が、眼底正面画像の時間経過による位置変化を検出しその量を求めることで被検眼の固視微動量を算出する。眼底固視微動の算出動作の詳細については後述する。
<Step S110>
In step S110, the arithmetic circuit 115 calculates the amount of fixation tremor of the eye to be inspected by detecting the position change of the fundus front image with the passage of time and obtaining the amount thereof. The details of the calculation operation of fundus fixation tremor will be described later.

<ステップS120>
ステップS120では、演算回路115が、ステップS110で算出された固視微動量が閾値より大きいか否かを判定する。なお、閾値は任意に設定が可能であり、例えば、断層画像にアーチファクトが生じる固視微動量を閾値に設定することができる。断層画像を連続的に取得する際に、通常は断層画像の取得位置の補正は行わない。しかし、固視微動量が大きくなり、この固視微動を考慮せずに断層画像を取得した場合には、所望位置での断層画像が取得できずにアーチファクトが生じる可能性が高くなる。そこで、ステップS120では、アーチファクト発生の可能性を考慮した閾値を設定し、算出された固視微動量がこの閾値を超えるか否かの判定を行っている。
<Step S120>
In step S120, the arithmetic circuit 115 determines whether or not the amount of fixation tremor calculated in step S110 is larger than the threshold value. The threshold value can be set arbitrarily. For example, the amount of fixation tremor that causes an artifact in the tomographic image can be set as the threshold value. When acquiring tomographic images continuously, the acquisition position of the tomographic image is not usually corrected. However, the amount of fixation tremor becomes large, and when a tomographic image is acquired without considering this fixation tremor, there is a high possibility that a tomographic image at a desired position cannot be acquired and an artifact occurs. Therefore, in step S120, a threshold value is set in consideration of the possibility of occurrence of artifacts, and it is determined whether or not the calculated fixation tremor amount exceeds this threshold value.

<ステップS130>
ステップS130は、ステップS120での判定により固視微動量が閾値より大きい場合において実行され、制御部114が判定結果を処理装置120へと送信する。この判定結果を処理装置120へ送信する。処理装置120は判定結果に基づいて取得に失敗した断層画像のデータを破棄し、同一走査線からの断層画像の再取得(再スキャン)を行うこと等によって取得した断層画像のデータと置き換えるといった処理が可能となる。なお、本実施形態では再走査によって置き換え用の断層画像を得ているが、例えば隣接する断層画像を用いる、あるいは隣接する断層画像に用いて構成した置き換え用の断層画像として用いることもできる。
<Step S130>
Step S130 is executed when the amount of fixation tremor is larger than the threshold value according to the determination in step S120, and the control unit 114 transmits the determination result to the processing device 120. This determination result is transmitted to the processing device 120. The processing device 120 discards the tomographic image data that failed to be acquired based on the determination result, and replaces the tomographic image data acquired by reacquiring (rescanning) the tomographic image from the same scanning line. Is possible. In the present embodiment, a replacement tomographic image is obtained by rescanning, but it can also be used as a replacement tomographic image constructed by using, for example, an adjacent tomographic image or an adjacent tomographic image.

<ステップS140>
ステップS140では、制御部114が、ステップS110で検出された固視微動量分だけ走査線の位置を変更することで断層画像の取得位置の補正を行う。断層画像の取得位置の補正は、具体的には、制御部114がOCT走査光学系213に与える走査制御信号を変更することによって行われる。
<Step S140>
In step S140, the control unit 114 corrects the acquisition position of the tomographic image by changing the position of the scanning line by the amount of fixation tremor detected in step S110. Specifically, the correction of the acquisition position of the tomographic image is performed by changing the scanning control signal given to the OCT scanning optical system 213 by the control unit 114.

<ステップS150>
ステップS150では、制御部114による断層画像の取得位置の補正終了に応じて、断層画像の取得が開始される。具体的には、補正後の走査位置において、測定光による眼底の走査が開始される。そして、この走査によりOCT信号検出部218が取得した干渉信号に基づいて、断層画像撮影部112による被検眼の眼底の断層画像(Bスキャン像)の取得(生成)が開始される。生成された断層画像は、例えば図5に例示した表示様式で、処理装置120により表示部130で表示される。
<Step S150>
In step S150, the acquisition of the tomographic image is started in response to the completion of the correction of the tomographic image acquisition position by the control unit 114. Specifically, at the corrected scanning position, scanning of the fundus with the measurement light is started. Then, based on the interference signal acquired by the OCT signal detection unit 218 by this scanning, the tomographic image capturing unit 112 starts acquiring (generating) a tomographic image (B scan image) of the fundus of the eye to be inspected. The generated tomographic image is displayed on the display unit 130 by the processing device 120 in the display format illustrated in FIG. 5, for example.

<ステップS160>
ステップS160では、制御部114が、測定(断層画像の取得)が終了したか否かを判断する。OCTによる断層画像はノイズが多いので、例えば複数回の断層画像の取得を同一走査線に対して行い、取得結果の加算平均を行い、ノイズを低減することが行われる。また、上述したように、Bスキャンの位置をずらしながら複数のBスキャン画像(断層画像)を取得し、得られた断層画像を合成することで眼底の3次元画像(Cスキャン画像)を得ることもできる。測定の終了は、所定の回数の断層画像の取得が終了したか、又は所定のエリアからの断層画像の取得が終了したか否かによって判定される。断層画像の取得が終了した場合、撮影動作が終了する。取得が終了していない場合、制御部114はフローをステップS110に移行させ、所定の回数の取得が終了するまで以降の動作を繰り返す。
<Step S160>
In step S160, the control unit 114 determines whether or not the measurement (acquisition of the tomographic image) has been completed. Since the tomographic image by OCT has a lot of noise, for example, the tomographic image is acquired a plurality of times for the same scanning line, the acquisition results are added and averaged, and the noise is reduced. Further, as described above, a plurality of B-scan images (tomographic images) are acquired while shifting the position of the B-scan, and the obtained tomographic images are combined to obtain a three-dimensional image (C-scan image) of the fundus. You can also. The end of the measurement is determined by whether or not the acquisition of the tomographic image of a predetermined number of times is completed or the acquisition of the tomographic image from the predetermined area is completed. When the acquisition of the tomographic image is completed, the shooting operation is completed. If the acquisition is not completed, the control unit 114 shifts the flow to step S110, and repeats the subsequent operations until the acquisition is completed a predetermined number of times.

(参照眼底画像取得動作のフローチャート)
次に、上述した図6のステップS100で実行される参照眼底画像の取得動作について、図7のフローチャートを用いて説明する。参照眼底画像の取得動作が開始されると、制御部114により、以下に述べるステップS200以降の処理が実行される。
(Reference Flowchart of fundus image acquisition operation)
Next, the operation of acquiring the reference fundus image executed in step S100 of FIG. 6 described above will be described with reference to the flowchart of FIG. 7. When the operation of acquiring the reference fundus image is started, the control unit 114 executes the processes after step S200 described below.

<ステップS200>
ステップS200では、制御部114が、眼底正面画像撮影部111を制御し、眼底における上述した奇数フィールド(図4における奇数の走査線L01、L03、・・・L19からなるフィールド)より、画像を取得する。記憶部116は、奇数ラインより取得される奇数フィールドの画像を記憶する。
<Step S200>
In step S200, the control unit 114 controls the fundus frontal image capturing unit 111 and acquires an image from the above-mentioned odd-numbered fields (fields including odd-numbered scanning lines L01, L03, ... L19 in FIG. 4) in the fundus. do. The storage unit 116 stores an image of an odd-numbered field acquired from the odd-numbered line.

<ステップS210>
ステップS210では、制御部114が、眼底正面画像撮影部111を制御し、眼底における上述した偶数フィールド(図4における偶数の走査線L02、L04、・・・L20からなるフィールド)より、画像を取得する。記憶部116は、偶数ラインより取得される偶数フィールドの画像を記憶する。なお、本実施形態では、上述した奇数ライン及び偶数ラインは、各々生成された眼底正面画像を表示する際の表示画面のピクセル(画素)が、該ラインの延在方向に複数配置されるように構成されている。具体的には、表示画面の例えばライン方向に並ぶピクセルの各々は、例えば照明光を該ラインに沿って走査する際に得る輝度値の取得位置に対応するように配置される。
<Step S210>
In step S210, the control unit 114 controls the fundus frontal image capturing unit 111 and acquires an image from the above-mentioned even-numbered fields (fields including even-numbered scanning lines L02, L04, ... L20 in FIG. 4) in the fundus. do. The storage unit 116 stores an image of an even-numbered field acquired from the even-numbered line. In the present embodiment, in the above-mentioned odd-numbered lines and even-numbered lines, a plurality of pixels of the display screen when displaying the generated frontal fundus image are arranged in the extending direction of the lines. It is configured. Specifically, each of the pixels arranged in, for example, the line direction of the display screen is arranged so as to correspond to the acquisition position of the luminance value obtained when, for example, the illumination light is scanned along the line.

<ステップS220>
ステップS220では、演算回路115が、奇数フィールドの画像と偶数フィールドの画像とに対して二次元相関演算を行う。二次元相関演算は、以下のように行われる。画像1I1(X,Y)と画像2I2(X,Y)の相互相関係数は、次の式(1)で定義される相互相関関数から得ることができる。

R12(u,v)=∫∫I1(X,Y)I2(X+u,Y+v)dXdY・・・(1)

この相互相関関数が明瞭なピークを持てば、そのピーク位置(u0,v0)に位置するピクセルにおいて、画像1及び画像2間で高い一致度を示すことを表す。相関の有無については、(1)式のピーク位置でのR12(u,v)を所定の閾値と比較することで判断することができる。画像1と画像2とは、このような一致度の高いピクセルを基準として、位置合わせを行うことができる。なお、このように最良の一致度を求める演算方法は相互相関演算以外の方法、種々の画像処理手法(各種相関関数を用いる方法、フーリエ変換を利用する方法、特徴点のマッチングに基づく方法)を用いることが可能である。即ち、これらの他の方法を本実施形態で用いてもかまわない。
<Step S220>
In step S220, the arithmetic circuit 115 performs a two-dimensional correlation calculation on the image of the odd-numbered field and the image of the even-numbered field. The two-dimensional correlation calculation is performed as follows. The cross-correlation coefficient between image 1I1 (X, Y) and image 2I2 (X, Y) can be obtained from the cross-correlation function defined by the following equation (1).

R12 (u, v) = ∫∫I1 (X, Y) I2 (X + u, Y + v) dXdY ... (1)

If this cross-correlation function has a clear peak, it means that the pixel located at the peak position (u0, v0) shows a high degree of agreement between the image 1 and the image 2. The presence or absence of correlation can be determined by comparing R12 (u, v) at the peak position in Eq. (1) with a predetermined threshold value. Image 1 and image 2 can be aligned with reference to such pixels having a high degree of coincidence. Note that the calculation method for obtaining the best degree of matching in this way is a method other than cross-correlation calculation, various image processing methods (method using various correlation functions, method using Fourier transform, method based on matching of feature points). It can be used. That is, these other methods may be used in the present embodiment.

また、相互相関係数において、ピークを段階的に求めることもできる。まず、演算回路が、画像1と画像2を縮小して階層画像を生成する。具体的には、一画像を構成するピクセルを所定の単位数で加算する等によってまとめ、該一画像を構成するピクセルの数を減少させる(画像の縮小)。そして、縮小することで得られた階層画像に対して粗処理を行い、所望のパターン(画像間で類似するパターン)の存在する座標位置を検出する。その後、検出された座標の近辺において、例えば元の画素数からなる画像を用いて詳細処理を行い、さらに所望パターンの正確な位置を検出する。このような粗密探索法は、粗い探索を行って所望のパターンの大体の位置を特定し、この結果に基づいて特定された範囲に詳細な探索を行うといった、段階的なマッチング処理を行う。これによって、画像全体にわたって詳細な探索を行うことなく、必要な部分のみを順次精査していくことによって全体の処理時間を短縮することができる。 In addition, the peak can be obtained stepwise in the mutual correlation coefficient. First, the arithmetic circuit reduces the image 1 and the image 2 to generate a hierarchical image. Specifically, the pixels constituting one image are combined by adding a predetermined number of units, and the number of pixels constituting the one image is reduced (reduction of the image). Then, rough processing is performed on the hierarchical image obtained by reducing the image, and the coordinate position where a desired pattern (similar pattern between images) exists is detected. After that, in the vicinity of the detected coordinates, detailed processing is performed using, for example, an image consisting of the original number of pixels, and the exact position of the desired pattern is detected. In such a coarse-dense search method, a rough search is performed to identify the approximate position of a desired pattern, and a detailed search is performed in the specified range based on the result, and so on, a stepwise matching process is performed. As a result, the total processing time can be shortened by sequentially examining only the necessary parts without performing a detailed search over the entire image.

また、相関係数のピーク近傍の数点から、補間演算を行うことにより、サブピクセル単位で一致度の高い点を求めることができる。図8は、このようなサブピクセル単位での補間処理について説明する図である。図8(a)は、相関係数の本来のピーク401とその近傍に配置されるピクセルとの位置関係を示す図である。より詳細には、相関演算でのピークを示すピクセルP(u0,v0)400、実際のピーク401の位置、及びその隣接ピクセルの座標を示す図である。 Further, by performing interpolation calculation from several points near the peak of the correlation coefficient, it is possible to obtain points having a high degree of coincidence in sub-pixel units. FIG. 8 is a diagram illustrating such interpolation processing in units of sub-pixels. FIG. 8A is a diagram showing the positional relationship between the original peak 401 of the correlation coefficient and the pixels arranged in the vicinity thereof. More specifically, it is a figure which shows the pixel P (u0, v0) 400 which shows a peak in a correlation calculation, the position of an actual peak 401, and the coordinates of the adjacent pixel.

本実施形態では、ピーク401の位置を求めるため、図8(b)に示す一次補間をX軸方向、Y軸方向についてそれぞれ行う。図8(b)は、ピクセルP(u0,v0)とX軸方向の隣接ピクセルP(u0−1,v0),P(u0+1,v0)とその相関係数を縦軸にプロットしたものである。相関演算でのピークを示すピクセルP(u0,v0)と隣接ピクセルP(u0−1,v0),P(u0+1,v0)との間にそれぞれ直線を引き、傾きの大きい方を採用する。図8(b)では、隣接ピクセルP(u0−1,v0)とピクセルP(u0,v0)とを結ぶ直線を採用している。そして残る点から採用した直線と傾きの絶対値は同じで正負が異なる直線を引く。この2直線の交点(図8(b)では交点402)の座標を本来のピーク401のX座標とする。Y軸についても同様の補間計算を行い、ピーク401のサブピクセル単位でのX座標、Y座標を求めることができる。なお、ここでは一次補間を行ったが、3点を通る二次関数を作り、その極値を求めるようにしてもよい。また、ピークを囲むさらに多くの点から三次元曲面で補間しそのピークを求める等その他の補間方法を用いてもよい。 In the present embodiment, in order to obtain the position of the peak 401, the first-order interpolation shown in FIG. 8B is performed in the X-axis direction and the Y-axis direction, respectively. FIG. 8B is a vertical axis plot of pixels P (u0, v0), adjacent pixels P (u0-1, v0) and P (u0 + 1, v0) in the X-axis direction, and their correlation coefficients. .. A straight line is drawn between the pixel P (u0, v0) indicating the peak in the correlation calculation and the adjacent pixels P (u0-1, v0), P (u0 + 1, v0), and the one having the larger slope is adopted. In FIG. 8B, a straight line connecting the adjacent pixels P (u0-1, v0) and the pixels P (u0, v0) is adopted. Then, from the remaining points, draw a straight line that has the same absolute value as the straight line adopted but has different positive and negative values. The coordinates of the intersection of these two straight lines (intersection 402 in FIG. 8B) is set as the X coordinate of the original peak 401. The same interpolation calculation is performed on the Y-axis, and the X-coordinate and Y-coordinate of the peak 401 in sub-pixel units can be obtained. Although linear interpolation is performed here, a quadratic function that passes through three points may be created to obtain the extremum. Further, other interpolation methods such as interpolating with a three-dimensional curved surface from more points surrounding the peak to obtain the peak may be used.

<ステップS230>
ステップS230では、制御部114が、ステップS220の相関演算結果による相関係数を所定の閾値を比較することで相関の有無を判定する。少なくとも一方のフィールドの画像に対して取得時の瞬きや固視微動による眼振の影響があると、相関値は低くなる。閾値との比較により、奇数フィールドの画像と偶数フィールドの画像とが相関無しとなった場合は、制御部114はフローをステップS200に戻し、再び奇数フィールドの画像の取得からの処理が行われる。これら画像に相関有りと判定された場合は、フローはステップS240に移行される。
<Step S230>
In step S230, the control unit 114 determines whether or not there is a correlation by comparing the correlation coefficient based on the correlation calculation result in step S220 with a predetermined threshold value. If the image in at least one field is affected by nystagmus due to blinking or fixation tremor at the time of acquisition, the correlation value becomes low. When the image of the odd-numbered field and the image of the even-numbered field have no correlation by comparison with the threshold value, the control unit 114 returns the flow to step S200, and the process from the acquisition of the image of the odd-numbered field is performed again. If it is determined that there is a correlation between these images, the flow shifts to step S240.

<ステップS240>
ステップS240では、制御部114が、ステップS220の相関演算結果によるピーク位置の変位量が(0,0.5)に近いかどうかを判定する。ここでのX方向はピクセル単位、Y方向はインタレースのフィールドでの走査線単位となる。より詳細には、Y方向では、1が例えば奇数フレームの画像における2本の走査線の間に相当する。即ち、ここでのY方向の0.5は、奇数フィールドの1走査線と該1走査線に最も近い偶数フィールドの走査線と該1走査線との間の変位量に相当する。変位量が(0,0.5)に近い場合、奇数フィールドの画像と偶数フィールドの画像とは、固視微動等の影響が少ない間に連続的に取得された画像と考えられ、フローはステップS250に移行される。変位量が大きい場合、フローはステップS200に戻され、再び奇数フィールドの画像の取得からの処理が行われる。
<Step S240>
In step S240, the control unit 114 determines whether or not the displacement amount of the peak position based on the correlation calculation result in step S220 is close to (0,0.5). Here, the X direction is in pixel units, and the Y direction is in scan line units in the interlaced field. More specifically, in the Y direction, 1 corresponds between, for example, two scan lines in an odd-numbered frame image. That is, 0.5 in the Y direction here corresponds to the amount of displacement between one scanning line in the odd-numbered field, the scanning line in the even-numbered field closest to the one scanning line, and the one scanning line. When the displacement amount is close to (0,0.5), the odd-numbered field image and the even-numbered field image are considered to be images acquired continuously while the influence of fixation tremor is small, and the flow is stepped. It is transferred to S250. If the amount of displacement is large, the flow is returned to step S200, and processing from the acquisition of the image of the odd-numbered field is performed again.

<ステップS250>
ステップS250では、演算回路115が、ステップS200で取得した奇数フィールドの画像とステップS210で取得した偶数フィールドの画像とを合成し、眼底正面画像のフレームデータ(新たな正面画像)を作成する。奇数フィールドの画像データは合成するフレームデータの奇数ラインに、偶数フィールドの画像データは同フレームデータの偶数ラインになるように合成される。即ち、奇数ラインは、新たな正面画像における奇数フィールドの画像データに対応する領域であり、偶数ラインは、新たな正面画像における偶数フィールドの画像データに対応する領域である。
<Step S250>
In step S250, the arithmetic circuit 115 synthesizes the odd-numbered field image acquired in step S200 and the even-numbered field image acquired in step S210 to create frame data (new frontal image) of the fundus frontal image. The image data of the odd-numbered fields is combined with the odd-numbered lines of the frame data to be combined, and the image data of the even-numbered fields is combined with the even-numbered lines of the same frame data. That is, the odd line is an area corresponding to the image data of the odd field in the new front image, and the even line is the area corresponding to the image data of the even field in the new front image.

<ステップS260>
ステップS260では、制御部114により、ステップS250で合成したフレームデータを眼底トラッキング用の参照眼底画像として記憶部116に記憶させる。以上の処理を実行することにより、変位量の少ない奇数フィールドの画像と偶数フィールドの画像とを合成したフレーム画像を眼底トラッキングの参照眼底画像とすることができる。従って、次に説明する固視微動量の検知の際にフィールド画像を参照眼底画像にするのに対し縦方向の分解能を高くすることができる。なお、ここで得られた参照眼底画像は、処理装置120に送られて該処理装置120によって表示部130に表示することもできる。また、参照眼底画像の生成に用いた元の輝度データ、及び以降で述べる固視微動検出用に眼底から得た輝度データは、処理装置120でも用いられ、画像生成部121により眼底正面画像が生成される。生成された眼底正面画像は、例えば図5に例示した表示様式で、処理装置120により表示部130で表示される。
<Step S260>
In step S260, the control unit 114 stores the frame data synthesized in step S250 in the storage unit 116 as a reference fundus image for fundus tracking. By executing the above processing, a frame image obtained by synthesizing an odd-numbered field image and an even-numbered field image having a small displacement amount can be used as a reference fundus image for fundus tracking. Therefore, it is possible to increase the resolution in the vertical direction, whereas the field image is used as the reference fundus image when detecting the amount of fixation tremor, which will be described next. The reference fundus image obtained here can also be sent to the processing device 120 and displayed on the display unit 130 by the processing device 120. Further, the original luminance data used for generating the reference fundus image and the luminance data obtained from the fundus for the fixation vision fine movement detection described later are also used in the processing device 120, and the image generation unit 121 generates the fundus front image. Will be done. The generated frontal fundus image is displayed on the display unit 130 by the processing device 120 in the display format illustrated in FIG. 5, for example.

本実施形態では、上述したステップS220で奇数フィールドの画像と偶数フィールドの画像との相関について求めている。その際、相間値が高いと判定された画像については、相間値が求められるようなアーチファクトのない画像であるともいえる。従って、このステップS260で得られる参照眼底画像は、アーチファクトがない良好な画質の画像の合成によって得られていると考えられる。このように、相間値を求める過程で参照眼底画像の合成に用いる画像の画質が考慮されることにより、被検眼の動きによる歪みの少ない画像を参照眼底画像用として選択することができる。その結果、後述する固視微動等による眼底の位置ずれを、より精度良く取得することができる。 In the present embodiment, the correlation between the odd-numbered field image and the even-numbered field image is obtained in step S220 described above. At that time, it can be said that the image determined to have a high interphase value is an image without an artifact for which the interphase value is required. Therefore, it is considered that the reference fundus image obtained in step S260 is obtained by synthesizing a good image quality image without artifacts. In this way, by considering the image quality of the image used for synthesizing the reference fundus image in the process of obtaining the interphase value, it is possible to select an image with less distortion due to the movement of the eye to be inspected for the reference fundus image. As a result, the displacement of the fundus due to the fixed vision fine movement described later can be acquired more accurately.

なお、本実施形態の説明では、奇数フィールドの画像と偶数フィールドの画像とをセットで取得する例について説明した。即ち、ステップS230やステップS240においてフローがステップS200に戻された場合、新たに奇数フィールドの画像と偶数フィールドの画像とが取得されてこれら画像間での相間値が求められる。しかし、画像の取得様式はこれに限られない。例えば、フィールド単位で順次相関を求め、ステップS240において奇数フィールドの画像−偶数フィールドの画像の順の相関の場合は、変位量(0、0.5)と比較してもよい。この場合、偶数フィールドの画像−奇数フィールドの画像の順の相関の場合は、変位量(0、−0.5)と比較することとなる。このような画像の取得様式としても、同様の効果が得られる。 In the description of this embodiment, an example of acquiring an odd-numbered field image and an even-numbered field image as a set has been described. That is, when the flow is returned to step S200 in step S230 or step S240, an odd-numbered field image and an even-numbered field image are newly acquired, and the interphase value between these images is obtained. However, the image acquisition format is not limited to this. For example, the sequential correlation may be obtained for each field, and in the case of the sequential correlation between the image of the odd field and the image of the even field in step S240, it may be compared with the displacement amount (0, 0.5). In this case, in the case of the correlation in the order of the image of the even field and the image of the odd field, it is compared with the displacement amount (0, −0.5). The same effect can be obtained as such an image acquisition mode.

(眼底固視微動検出動作のフローチャート)
次に、図6のステップS110で実行される眼底固視微動の検出動作について、図9のフローチャートを用いて説明する。以下の説明では、眼底正面画像を取得するための照明光の走査が図4で示したようにL01ラインから始まっているため、奇数フィールドを基準とする場合について述べる。以下の例では、参照眼底画像と奇数フィールドの画像との相関を取る場合はオフセットを加えず、偶数フィールドの画像との相関を取る場合は該偶数フィールドの画像にオフセットを加える例を示している。
(Flowchart of fundus fixation microtremor detection operation)
Next, the fundus fixation tremor detection operation executed in step S110 of FIG. 6 will be described with reference to the flowchart of FIG. In the following description, since the scanning of the illumination light for acquiring the frontal fundus image starts from the L01 line as shown in FIG. 4, a case where an odd number field is used as a reference will be described. In the following example, an offset is not added when the reference fundus image and the image of the odd field are correlated, and an offset is added to the image of the even field when the correlation is obtained with the image of the even field. ..

<ステップS300>
ステップS110の眼底固視微動の検出動作が開始されると、制御部114によって、図9のフローチャートに沿った動作が開始される。まず、ステップS300では、制御部114が、眼底正面画像撮影部111を制御して、奇数フィールドの画像を取得するために照明光の走査(眼底正面フィールド画像の取得)を開始する。演算回路115は、眼底からの反射光を得たSLO信号検出部245からの出力を用いて、奇数フィールドの画像を生成する。
<Step S300>
When the fundus fixation tremor detection operation in step S110 is started, the control unit 114 starts the operation according to the flowchart of FIG. First, in step S300, the control unit 114 controls the fundus front image capturing unit 111 to start scanning the illumination light (acquisition of the fundus front field image) in order to acquire an image of an odd number field. The arithmetic circuit 115 generates an odd-numbered field image by using the output from the SLO signal detection unit 245 that has obtained the reflected light from the fundus.

<ステップS310>
ステップS310では、演算回路115が、ステップS300で取得した奇数フィールドの画像から、例えば走査線の数が図4に示す20本からなるフレーム画像を生成する。この処理を、以降ではフレーム化と称する。フレーム化は以下のように行う。まず、奇数フィールドのデータのライン数の2倍のライン数を持つデータエリアを用意する。次に、奇数フィールドのデータのnライン(n=1,2,3,…,N/2:図4の例ではN=20)のデータを、データエリアの2nー1ラインに各々コピーする。また、データエリアの2n−1ラインのデータを、データエリアの2nラインに各々コピーする。これにより、奇数フィールドの走査線データを2重化したことになる。なお、ここでは、奇数フィールドの走査線のデータをフレーム化するためのデータエリアの走査線に2度書きしているので、「コピー」という表現を用いている。以上により、フィールドデータの2倍のライン数(フレームデータ相当)を持ち、奇数ラインと次の偶数ラインが同じデータを持つ画像データが用意できる。
<Step S310>
In step S310, the arithmetic circuit 115 generates, for example, a frame image consisting of 20 scanning lines shown in FIG. 4 from the image of the odd-numbered field acquired in step S300. This process is hereinafter referred to as framing. Frame is done as follows. First, a data area having twice the number of lines of data in an odd field is prepared. Next, the data of n lines (n = 1, 2, 3, ..., N / 2: N = 20 in the example of FIG. 4) of the data of the odd field is copied to the 2n-1 line of the data area. Further, the data of the 2n-1 line of the data area is copied to the 2n line of the data area. As a result, the scan line data of the odd field is duplicated. Here, since the data of the scanning lines of the odd-numbered fields is written twice on the scanning lines of the data area for framing, the expression "copy" is used. From the above, it is possible to prepare image data having twice the number of lines (corresponding to frame data) of the field data and having the same data for the odd-numbered line and the next even-numbered line.

<ステップS320>
ステップS320では、演算回路115が、ステップS100で取得した参照眼底画像に対し、ステップS310でフレーム化した眼底正面画像との二次元相関演算を行う。ここでの相関演算はフレームデータ同士での相関演算となるので、X方向はピクセル単位で変異はないと考えられるが、Y方向については1走査線単位での変位量が求められることとなる。また、二次元相関演算は、ステップS220で説明した方式に従い、サブピクセル単位の変位量を求めることとする。
<Step S320>
In step S320, the calculation circuit 115 performs a two-dimensional correlation calculation on the reference fundus image acquired in step S100 with the fundus frontal image framed in step S310. Since the correlation calculation here is a correlation calculation between frame data, it is considered that there is no variation in the X direction in pixel units, but in the Y direction, the displacement amount in one scanning line unit is obtained. Further, in the two-dimensional correlation calculation, the displacement amount in sub-pixel units is obtained according to the method described in step S220.

<ステップS330>
ステップS330では、演算回路115が、ステップS300で取得したフィールド画像が奇数フィールドの画像であるか否かを判断する。奇数フィールドの画像の場合には、制御部114はフローをステップS340に移行させる。そうでない場合、即ち取得した画像が偶数フィールドの画像の場合には、フローはステップS350に移行される。
<Step S330>
In step S330, the arithmetic circuit 115 determines whether or not the field image acquired in step S300 is an image of an odd number field. In the case of an odd-numbered field image, the control unit 114 shifts the flow to step S340. If not, that is, if the acquired image is an even field image, the flow proceeds to step S350.

<ステップS340>
ステップS320で得られた変位量は、奇数フィールドの画像に基づいて算出されたものであるため、このことを考慮することを要する。奇数フィールドの画像の場合、ステップS340では、演算回路115が、フレーム化された画像データに対してY軸方向のオフセットを加えない(即ちオフセット0)。制御部114は、画像データをそのまま維持し、フローをステップS360に移行させる。
<Step S340>
Since the displacement amount obtained in step S320 is calculated based on the image of the odd-numbered field, it is necessary to take this into consideration. In the case of an odd-numbered field image, in step S340, the arithmetic circuit 115 does not add an offset in the Y-axis direction to the framed image data (ie, offset 0). The control unit 114 maintains the image data as it is and shifts the flow to step S360.

<ステップS350>
ステップS320で得られた変位量が、偶数フィールドの画像に基づいて算出されたものである場合には、このことを考慮することを要する。このため、偶数フィールドの画像の場合、ステップS350では、演算回路115が、フレーム化された画像データに対してY軸方向に1のオフセットを加える。そして、ステップS360に進む。この1のオフセットは、フレーム化されたデータエリアを構成する2nラインのデータにおいて、奇数フィールドと偶数フィールドとの位置の差を考慮したものである。
<Step S350>
When the displacement amount obtained in step S320 is calculated based on the image of the even field, it is necessary to take this into consideration. Therefore, in the case of an even-numbered field image, in step S350, the arithmetic circuit 115 adds an offset of 1 in the Y-axis direction to the framed image data. Then, the process proceeds to step S360. This offset of 1 takes into consideration the difference in position between the odd-numbered field and the even-numbered field in the 2n-line data constituting the framed data area.

<ステップS360,370>
以上の動作により参照眼底画像とステップS300で取得された眼底正面画像との変位量、即ち被検眼の固視微動量が求められる。ステップS360では、制御部114は、演算回路115により求められた固視微動量を記憶部116に保存させる。また、ステップS370では、制御部114は固視微動量の算出に用いた眼底正面画像を記憶部116に保存させる。以上により固視微動の検出動作を終了する。以上の処理を実行することによって、固視微動量を取得することができる。なお、ここでは、被検眼の動きについて固視微動量として述べたが、該固視微動量には、例えば移動量、移動方向、被検眼の回転等についての情報が含まれており、被検眼の移動に関する情報として把握されることが望ましい。また、上述した例では、移動に関する情報を、所謂パターンマッチングと称される2枚の画像を用いた二元相関演算により得ている。しかし、移動に関する情報を求める方法は画像を用いた二次元相間演算に限られず、例えば位相を用いて位相限定相関によって求めてもよい。
<Steps S360, 370>
By the above operation, the amount of displacement between the reference fundus image and the frontal image of the fundus acquired in step S300, that is, the amount of fixation tremor of the eye to be inspected can be obtained. In step S360, the control unit 114 stores the fixation fine movement amount obtained by the arithmetic circuit 115 in the storage unit 116. Further, in step S370, the control unit 114 stores the fundus anterior image used for calculating the fixed vision fine movement amount in the storage unit 116. With the above, the detection operation of fixation tremor is completed. By executing the above processing, the amount of fixation tremor can be obtained. Here, the movement of the eye to be inspected is described as the amount of fixation tremor, but the amount of fixation tremor includes information about, for example, the amount of movement, the direction of movement, the rotation of the eye to be inspected, and the like. It is desirable to be grasped as information on the movement of. Further, in the above-described example, information on movement is obtained by a two-way correlation calculation using two images, which is so-called pattern matching. However, the method of obtaining information on movement is not limited to the two-dimensional interphase calculation using an image, and may be obtained by phase-limited correlation using, for example, phase.

以上の説明では、奇数フィールドを基準とする例を示したが、偶数フィールドを基準にするよう構成してもよい。その場合には、参照眼底画像と偶数フィールドの画像のフレーム化により得たフィールド画像との相関を取る場合は、オフセットを加えない。これに対して、奇数フィールドの画像のフレーム化により得たフィールド画像と参照眼底画像との相関を取る場合はオフセット(たとえばY軸方向に−1のオフセット)を加えることになる。 In the above description, an example in which an odd number field is used as a reference is shown, but an even number field may be used as a reference. In that case, no offset is added when the reference fundus image and the field image obtained by framing the even-numbered field image are correlated. On the other hand, when the field image obtained by framing the odd-numbered field image and the reference fundus image are correlated, an offset (for example, an offset of -1 in the Y-axis direction) is added.

なお、本実施形態では奇数フィールドの画像と偶数フィールドの画像から参照眼底画像としてのフレーム画像を合成する例を示した。しかし、参照眼底画像は、合成しないフィールド画像から得ることとしてもよい。例えば、奇数フィールドの画像と偶数フィールドの画像とを取得し、画像評価部123により、鮮鋭度や平均輝度値を評価し、評価の高い方を参照眼底画像することもできる。奇数フィールドの画像を参照眼底画像とした場合は、奇数フィールドの画像との相関を取る場合はオフセット0となる。また、偶数フィールドの画像との相関を取る場合はY方向にオフセット0.5を加えることとなる。また、偶数フィールドの画像を参照眼底画像とした場合は、奇数フィールドの画像との相関を取る場合はY方向にオフセット−0.5を加え、偶数フィールドの画像との相関を取る場合はオフセット0とする。なお、このオフセットの単位は、インタレースのフィールドでの走査線単位となる。相関はサブピクセル単位で行う。また、奇数フィールドの画像を参照眼底画像とした場合には眼底正面画像のうち奇数フィールドから得た画像のみと相関を取っていき、偶数フィールドの画像を参照眼底画像とした場合は偶数フィールドから得た画像のみと相関を取るよう構成することもできる。 In this embodiment, an example of synthesizing a frame image as a reference fundus image from an odd-numbered field image and an even-numbered field image is shown. However, the reference fundus image may be obtained from a field image that is not composited. For example, an odd-numbered field image and an even-numbered field image can be acquired, the sharpness and the average luminance value can be evaluated by the image evaluation unit 123, and the one with the higher evaluation can be used as a reference fundus image. When the image of the odd-numbered field is used as the reference fundus image, the offset is 0 when correlating with the image of the odd-numbered field. Further, when correlating with an even-numbered field image, an offset of 0.5 is added in the Y direction. When the even-numbered field image is used as the reference fundus image, an offset of -0.5 is added in the Y direction to correlate with the odd-numbered field image, and an offset of 0 is added to correlate with the even-numbered field image. And. The unit of this offset is the scanning line unit in the interlaced field. Correlation is done on a sub-pixel basis. In addition, when the image of the odd-numbered field is used as the reference fundus image, only the image obtained from the odd-numbered field is correlated with the image of the front of the fundus, and when the image of the even-numbered field is used as the reference fundus image, it is obtained from the even-numbered field. It can also be configured to correlate with only the images.

一般に、OCT装置では、撮影装置110本体で異なる時間に取得される眼底正面画像をPC等からなる処理装置120側へと転送する。該処理装置120側では、取得された複数の眼底正面画像の比較から被検眼の移動量(ずれ量)、移動方向、被検眼の回転等の被検眼の移動に関する情報を算出する。そして、算出された移動に関する情報を撮影装置110本体へと転送し、撮像装置に配された測定光走査用のスキャンの制御をこの移動に関する情報を反映させて行うことで断層画像の取得位置を補正する。このため、被検眼の動きを検出してから走査位置を補正するまでに、タイムラグがある。 Generally, in the OCT apparatus, the frontal fundus images acquired by the main body of the photographing apparatus 110 at different times are transferred to the processing apparatus 120 side including a PC or the like. On the processing device 120 side, information on the movement of the eye to be inspected, such as the amount of movement (deviation amount) of the eye to be inspected, the direction of movement, and the rotation of the eye to be inspected, is calculated from the comparison of the acquired frontal images of the fundus. Then, the calculated information on the movement is transferred to the main body of the photographing device 110, and the scan for measuring light scanning arranged in the imaging device is controlled by reflecting the information on the movement to determine the acquisition position of the tomographic image. to correct. Therefore, there is a time lag between detecting the movement of the eye to be inspected and correcting the scanning position.

このようなタイムラグは、早い眼の動きに対応する適切なトラッキングのためには考慮される必要がある。即ち、固視微動等の早い目の動きが生じた場合、この動きに応じて眼底トラッキングを行ったとしても、補正用の固視微動量の算出と指示を行う間にさらに目が動き、断層画像の歪みを低減しきれないことも考えられる。また、このような状態で得られる断層画像間の差分値や脱相関値は本来の値よりも大きな値となり、例えばOCTA画像を生成しようとした場合に、画像上に白線などのアーチファクトが生じてしまうことが考えられる。 Such time lags need to be considered for proper tracking in response to fast eye movements. That is, when a fast eye movement such as fixation tremor occurs, even if fundus tracking is performed according to this movement, the eye moves further while calculating and instructing the fixation tremor amount for correction, and a fault occurs. It is possible that the distortion of the image cannot be completely reduced. In addition, the difference value and decorrelation value between tomographic images obtained in such a state are larger than the original values. For example, when an attempt is made to generate an OCTA image, an artifact such as a white line occurs on the image. It is possible that it will end up.

本実施形態では、上述したように、撮影装置110本体に設けられた制御部114、演算回路115、及び記憶部116を用いて眼底トラッキングを行うこととしている。以下に、本実施形態に係る眼底トラッキングの制御に関する構成と眼底正面画像及び眼底画像の生成に関する構成との関係について、図10を参照して説明する。図10は、撮影装置側で行われる処理と処理装置側で行われる処理とを模式的に示しており、図10(a)は本実施形態を示し、図10(b)は従来の形態を示している。 In the present embodiment, as described above, the fundus tracking is performed using the control unit 114, the arithmetic circuit 115, and the storage unit 116 provided in the main body of the photographing device 110. Hereinafter, the relationship between the configuration related to the control of fundus tracking and the configuration related to the generation of the fundus front image and the fundus image according to the present embodiment will be described with reference to FIG. 10A and 10B schematically show a process performed on the photographing device side and a process performed on the processing device side, FIG. 10A shows the present embodiment, and FIG. 10B shows a conventional mode. Shown.

図10(b)を参照すると、従来の形態において、撮影装置1110側では、眼底正面画像のための輝度情報の取得、干渉信号の取得、及び干渉信号取得時のOCT走査光学系213の制御が行われる。また、撮影装置1110と接続される処理装置1120側では、取得された輝度情報に基づく眼底正面画像の生成と干渉信号に基づく断層画像の生成に合わせ、トラッキングのための位置ずれ量が算出される。より詳細には、処理装置1120は、撮影装置1110から取得した眼底の輝度情報から、あるいは処理装置1120で生成された眼底正面画像から、眼底の位置ずれ量(眼底正面画像のオフセット量)を求める。求められた位置ずれ量は、処理装置1120から撮影装置1110に送られ、OCT装置における走査光学系がこの位置ずれ量に基づいて制御される。このように、眼底トラッキングの制御に関与する構成が、撮影装置1110側と処理装置1120側とに分かれて存在することにより、データのやり取りによる上述したタイムラグが生じる。このタイムラグは、眼底トラッキングの高速化のためにはできるだけなくすことが好ましい。 Referring to FIG. 10B, in the conventional embodiment, on the imaging device 1110 side, the acquisition of the luminance information for the frontal image of the fundus, the acquisition of the interference signal, and the control of the OCT scanning optical system 213 at the time of acquiring the interference signal are performed. Will be done. Further, on the processing device 1120 side connected to the photographing device 1110, the amount of misalignment for tracking is calculated according to the generation of the frontal surface image of the fundus based on the acquired luminance information and the generation of the tomographic image based on the interference signal. .. More specifically, the processing device 1120 obtains the amount of displacement of the fundus (offset amount of the frontal fundus image) from the brightness information of the fundus acquired from the photographing device 1110 or from the frontal image of the fundus generated by the processing device 1120. .. The obtained misalignment amount is sent from the processing device 1120 to the photographing device 1110, and the scanning optical system in the OCT device is controlled based on this misalignment amount. As described above, since the configuration involved in the control of fundus tracking exists separately on the imaging device 1110 side and the processing device 1120 side, the above-mentioned time lag due to data exchange occurs. This time lag is preferably eliminated as much as possible in order to speed up fundus tracking.

これに対し、本実施形態に係る眼科システムでは、図10(a)に示すように、撮影装置110側に眼底トラッキングの制御に関連する構成の大半が配置され、該撮影装置110側のみで眼底トラッキングの制御が行われる。即ち、図6に示したフローチャートにおける処理のすべてが、撮影装置110に配置される制御部114、演算回路115、及び記憶部116により実行可能とされる。具体的には、眼底の輝度情報の取得、該輝度情報あるいは該輝度情報に基づく画像からの位置ずれ量の算出、及び該位置ずれ量に基づく走査光学系の制御、が全て撮影装置110で行われる。このような構成とすることによって上述したタイムラグを発生させる要因をなくし、眼底トラッキングの高速化を図ることが可能となる。 On the other hand, in the ophthalmic system according to the present embodiment, as shown in FIG. 10A, most of the configurations related to the control of fundus tracking are arranged on the imaging device 110 side, and the fundus is located only on the imaging device 110 side. Tracking is controlled. That is, all the processes in the flowchart shown in FIG. 6 can be executed by the control unit 114, the arithmetic circuit 115, and the storage unit 116 arranged in the photographing device 110. Specifically, the acquisition of the luminance information of the fundus, the calculation of the amount of misalignment from the image based on the luminance information or the luminance information, and the control of the scanning optical system based on the amount of misalignment are all performed by the photographing apparatus 110. Be struck. With such a configuration, it is possible to eliminate the factor that causes the above-mentioned time lag and to speed up the fundus tracking.

上述したように、本実施形態では、高いリアルタイム性(高速性)が要求される眼底トラッキングは撮影装置110側で行うことで、眼底トラッキングのために実行されるフィードバック制御を高速化することができる。その結果、固視微動等によって生じる断層画像のアーチファクトを低減することができる。また、上述したステップS130において被検眼100の移動に関する情報である移動量が閾値を超えた場合、例えば対応する断層画像の再取得が行われる。本実施形態では、再取得が開始されるまでに要する時間が短縮されることから、再取得時の被検眼100の移動量が従来より低減され、撮影時間が短縮されて被検者の負担がより軽減される。 As described above, in the present embodiment, the fundus tracking, which requires high real-time performance (high speed), is performed on the imaging device 110 side, so that the feedback control executed for fundus tracking can be speeded up. .. As a result, it is possible to reduce the artifacts of the tomographic image caused by the fixation tremor and the like. Further, when the movement amount, which is information on the movement of the eye 100 to be examined, exceeds the threshold value in step S130 described above, for example, the corresponding tomographic image is reacquired. In the present embodiment, since the time required to start the reacquisition is shortened, the amount of movement of the eye 100 to be inspected at the time of reacquisition is reduced as compared with the conventional case, and the photographing time is shortened, which imposes a burden on the subject. More mitigated.

なお、上述した実施形態では、インタレース方式によって眼底正面画像を取得している。しかし、眼底正面画像の取得はこの方式に限られず、例えばプログレッシブ方式によって取得してもよい。以下、プログレッシブ方式によって眼底正面画像を取得する場合について説明する。なお、プログレッシブ方式とは、ラスタスキャンにおける各主走査(X方向の走査)を副走査方向(Y方向)に順番に行う走査の方式で、例えば図5に示すように走査線L01〜L20から得た信号から眼底正面画像を構成する方式である。即ち、プログレッシブ方式では、1枚の眼底正面画像を構成する信号を、該画像に対して配置される全ての走査線から得ている。このように眼底正面画像に関する情報をすべての走査線から得ることにより、インタレース方式で画像を構成する場合に対して、解像度の高い画像が得られる。しかし、その反面、1枚の画像の取得に要する時間はインタレース方式の2倍となる。 In the above-described embodiment, the frontal image of the fundus is acquired by the interlace method. However, the acquisition of the frontal fundus image is not limited to this method, and may be acquired by, for example, a progressive method. Hereinafter, a case where a frontal fundus image is acquired by a progressive method will be described. The progressive method is a scanning method in which each main scan (scanning in the X direction) in the raster scan is performed in order in the sub-scanning direction (Y direction), and is obtained from scanning lines L01 to L20 as shown in FIG. 5, for example. This is a method of constructing an image of the front of the fundus from the signal. That is, in the progressive method, the signals constituting one fundus frontal image are obtained from all the scanning lines arranged for the image. By obtaining the information on the frontal fundus image from all the scanning lines in this way, it is possible to obtain an image having a high resolution as compared with the case where the image is constructed by the interlace method. However, on the other hand, the time required to acquire one image is twice that of the interlaced method.

プログレッシブ方式の場合、制御部114により、例えば図4に示す走査線であるL01〜L20の順に照明光が走査され、走査の終了とともに参照眼底画像の取得の処理が終了する。従って、図6におけるステップS100において、制御部114や演算回路115による図7に示すステップS210〜S250の処理は行われない。制御部114は、ステップS200において、奇数フィールド用の眼底正面画像の取得ではなく、全走査線を用いたフィールドから眼底正面画像の取得の処理を実行する。取得された眼底正面画像は、ステップS260においてトラッキング用の参照眼底画像として記憶部116に記憶される。 In the progressive method, the control unit 114 scans the illumination light in the order of the scanning lines L01 to L20 shown in FIG. 4, for example, and the process of acquiring the reference fundus image ends when the scanning ends. Therefore, in step S100 in FIG. 6, the processing of steps S210 to S250 shown in FIG. 7 is not performed by the control unit 114 or the arithmetic circuit 115. In step S200, the control unit 114 executes the process of acquiring the fundus front image from the field using all the scanning lines, instead of acquiring the fundus front image for the odd-numbered field. The acquired frontal fundus image is stored in the storage unit 116 as a reference fundus image for tracking in step S260.

ステップS110では、制御部114は、再度プログレッシブ方式によって眼底正面画像を取得する。演算回路115は、該眼底正面画像と、ステップS110で得た参照眼底画像とを用いて、図9におけるステップS320の二次元相関演算を行ってこれら画像間での位置ずれ量を求める。なお、ここで行う二次元相関演算では、上述したステップS320と同様に、Y方向について1走査線単位での変位量を求めることとなる。また、その際に、図7で説明したステップS220の場合と同様に、変位量をサブピクセル単位で求めてもよい。プログレッシブ方式の場合、同じフィールドで眼底正面画像を得ていることから、画像をオフセットさせる必要がなく、ステップS330〜S350の処理は行われない。ステップS320にてずれ量が求められると、フローはステップS360に移行され、求められたずれ量が固視微動量として記憶部116に記憶される。以降この固視微動量を用いて、図6におけるステップS120〜S160の処理が行われる。 In step S110, the control unit 114 again acquires the fundus frontal image by the progressive method. The calculation circuit 115 uses the front surface image of the fundus and the reference fundus image obtained in step S110 to perform the two-dimensional correlation calculation of step S320 in FIG. 9 to obtain the amount of misalignment between these images. In the two-dimensional correlation calculation performed here, the displacement amount in one scanning line unit is obtained in the Y direction in the same manner as in step S320 described above. At that time, the displacement amount may be obtained in sub-pixel units as in the case of step S220 described with reference to FIG. 7. In the case of the progressive method, since the frontal fundus image is obtained in the same field, it is not necessary to offset the image, and the processes of steps S330 to S350 are not performed. When the deviation amount is obtained in step S320, the flow is shifted to step S360, and the obtained deviation amount is stored in the storage unit 116 as the fixed vision fine movement amount. After that, the processes of steps S120 to S160 in FIG. 6 are performed using this fixed vision fine movement amount.

上述したインタレース方式の場合、固視微動量を得るために参照眼底画像と比較される画像は、プログレッシブ方式で眼底正面画像の取得に要する時間の約半分の時間で取得できる。このため、プログレッシブ方式の場合と比較して、より短時間で固視微動量の検出が繰り返されることとなり、この点でもトラッキングの高速化を図ることができる。しかし、プログレッシブ方式の場合であっても、眼底トラッキングの制御を撮影装置110側のみで行うことにより、上述したデータ転送等に伴うタイムラグを低減でき、眼底トラッキングの高速化を図ることができる。なお、上述した実施形態では、照明光及び測定光を走査する走査パターンとして、所謂ラスタスキャンを例示している。しかし、走査パターンは該ラスタスキャンに限られず、3Dスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、及びリサージュスキャン(リサージュ曲線に沿った走査)等が含まれてよい。これら走査パターンにより断層画像を得る場合であっても、本実施形態で述べた眼底トラッキングの制御を行うことにより、上述したデータ転送等に伴うタイムラグを低減でき、眼底トラッキングの高速化を図ることができる。 In the case of the above-mentioned interlace method, the image to be compared with the reference fundus image in order to obtain the fixed vision fine movement amount can be acquired in about half the time required to acquire the fundus anterior image by the progressive method. Therefore, as compared with the case of the progressive method, the detection of the fixed vision fine movement amount is repeated in a shorter time, and the tracking speed can be increased in this respect as well. However, even in the case of the progressive method, by controlling the fundus tracking only on the imaging device 110 side, the time lag associated with the above-mentioned data transfer and the like can be reduced, and the fundus tracking can be speeded up. In the above-described embodiment, a so-called raster scan is exemplified as a scanning pattern for scanning the illumination light and the measurement light. However, the scanning pattern is not limited to the raster scan, and may include a 3D scan, a radial scan, a cross scan, a circle scan, a Lissajous scan (scanning along a Lissajous curve), and the like. Even when a tomographic image is obtained from these scanning patterns, by controlling the fundus tracking described in the present embodiment, it is possible to reduce the time lag associated with the above-mentioned data transfer and the like, and to speed up the fundus tracking. can.

なお、本発明は、上述した実施形態において説明した内容に限定されるものではなく、特許請求の範囲内において種々の変形等が可能である。また、撮影装置としてOCT装置を用いた眼科システムを例示したが、本発明はこれに限定されるものではない。眼底トラッキングが一般的に行われるOCTA、補償光学系を用いたSLO等を含む眼科システムにおいても、眼底トラッキングの高速化はOCT装置と同様に求められており、従ってこれら眼科システムに対しても上述した構成は適用可能である。なお、例えばOCTAの場合には、装置構成は第1の実施形態で述べたものと同じである。相違点としては、処理装置120において複数の断層画像間における脱相間演算が行われ、画素値の時間的変化の対比を示すモーションコントラストを求める構成が付加される。また、例えば図7のフローチャートにおいて、ステップS160において同一個所での所定回数のOCT撮影が行われたか否かが判定され、さらにそのあとにすべての走査予定位置で所定回数のOCT撮影が行われたか否かが判定されることとなる。しかし、撮影装置110と処理装置120との基本構成は変わらない。 The present invention is not limited to the contents described in the above-described embodiment, and various modifications and the like can be made within the scope of the claims. Further, an ophthalmic system using an OCT device as an imaging device has been exemplified, but the present invention is not limited thereto. In an ophthalmic system including OCTA, which is generally used for fundus tracking, and SLO using an adaptive optics system, high-speed fundus tracking is required in the same manner as the OCT device. The configuration is applicable. In the case of OCTA, for example, the device configuration is the same as that described in the first embodiment. The difference is that the processing device 120 performs a phase-de-phase calculation between a plurality of tomographic images, and adds a configuration for obtaining a motion contrast indicating a contrast of temporal changes in pixel values. Further, for example, in the flowchart of FIG. 7, it is determined in step S160 whether or not a predetermined number of OCT images have been taken at the same location, and then whether or not a predetermined number of OCT images have been taken at all scheduled scanning positions. Whether or not it will be determined. However, the basic configuration of the photographing device 110 and the processing device 120 does not change.

OCTA装置では、異なる時間において同一位置から複数の断層画像を取得し、これら断層画像における同一個所での脱相間値をモーションコントラストデータとして取得する。そして、得られたモーションコントラストデータを用いてOCTA画像を生成し、移動物体の分布等を観察する。ここで、モーションコントラストデータとは、被検体組織のうち流れのある組織(例えば血液)と流れのない組織の間の対比を数値化したものである。この場合、OCT装置における構成は変える必要がなく、OCTA用の撮影モード(OCTA撮影モード)を設け、これを選択できるようにすればよい。なお、OCTA撮影モードでは、ラスタスキャン以外の3Dスキャン、ラジアルスキャン、クロススキャン、サークルスキャン、及びリサージュスキャンのいずれかを選択できることが望ましい。OCTA撮影モードでは、測定光を同一位置で所定回数走査し、得られた所定数の断層画像からモーションコントラストデータを得ており、これら所定数の断層画像をクラスタと称する。このようなクラスタに1断層画像であっても走査位置補正が不十分なものが含まれる場合には、該1断層画像と他の断層画像との間ですべての組織に流れがあると判別されてしまう。このため、1クラスタの中に固視微動量が閾値よりも大きいと判定されたものが含まれる場合には、そのクラスタにおける断層画像全てを再取得することが望ましい。 The OCTA apparatus acquires a plurality of tomographic images from the same position at different times, and acquires the dephase-to-phase value at the same location in these tomographic images as motion contrast data. Then, an OCTA image is generated using the obtained motion contrast data, and the distribution of moving objects and the like are observed. Here, the motion contrast data is a numerical value of the contrast between the tissue having a flow (for example, blood) and the tissue without a flow among the tissue of the subject. In this case, it is not necessary to change the configuration of the OCT device, and a shooting mode for OCTA (OCTA shooting mode) may be provided so that it can be selected. In the OCTA shooting mode, it is desirable to be able to select any of 3D scan, radial scan, cross scan, circle scan, and resage scan other than raster scan. In the OCTA imaging mode, the measurement light is scanned a predetermined number of times at the same position, and motion contrast data is obtained from the obtained predetermined number of tomographic images, and these predetermined number of tomographic images are referred to as clusters. If such a cluster includes one tomographic image with insufficient scanning position correction, it is determined that there is a flow in all tissues between the one tomographic image and the other tomographic images. It ends up. Therefore, if one cluster includes a cluster in which the amount of fixation tremor is determined to be larger than the threshold value, it is desirable to reacquire all tomographic images in that cluster.

補償光学系を用いた所謂AO−SLOの場合には、眼底正面画像撮影部111とは別に、第1の実施形態における断層画像撮影部112に変えて補償光学SLOからなる眼底撮影部が設けられる。なお、AO−SLOとは、角膜や水晶体等の眼の光学組織によって生じる収差の影響を低減してより狭い範囲での詳細な眼の観察を可能とする装置であり、被検眼を介した光の収差を補正する補償光学系を備える。AO−SLOでは、断層画像撮影部112と同様に、該眼底撮影部は断層画像撮影部112とは独立して眼底画像を撮影し、眼底正面画像撮影部111が取得した画像に関する情報から得た固視微動量に基づいて照明光の走査位置が補正される。即ち、補償光学系を用いたSLOにおいても固視微動量の検出とこれに伴うフィードバック制御は第1の実施形態と同様に行われ、従って第1の実施形態と同様の構成を配することでトラッキングの高速化を図ることができる。 In the case of the so-called AO-SLO using the adaptive optics system, a fundus imaging unit composed of the adaptive optics SLO is provided in place of the tomographic image imaging unit 112 in the first embodiment separately from the fundus front image capturing unit 111. .. The AO-SLO is a device that reduces the influence of aberrations caused by optical tissues of the eye such as the cornea and the crystalline lens and enables detailed observation of the eye in a narrower range. It is equipped with an adaptive optics system that corrects the aberration of. In the AO-SLO, similarly to the tomographic image capturing unit 112, the fundus imaging unit captures the fundus image independently of the tomographic image capturing unit 112, and obtains it from the information regarding the image acquired by the fundus front image capturing unit 111. The scanning position of the illumination light is corrected based on the amount of fixed vision fine movement. That is, even in the SLO using the adaptive optics system, the detection of the fixed vision fine movement amount and the feedback control associated therewith are performed in the same manner as in the first embodiment, and therefore, by arranging the same configuration as in the first embodiment. Tracking can be speeded up.

上述したように、本実施形態に係る眼科システムは、撮影装置110と画像を生成する処理装置(処理装置120)とを備える。撮影装置110は、第1の撮影部(眼底正面画像撮影部111)と第2の撮影部(断層画像撮影部112)とを含み、該第1の撮影部により被検眼の第1の画像に関する情報を取得し、該第2の撮影部により第2の画像に関する情報を取得する。第1の画像に関する情報には、例えば眼底正面画像の生成に用いられる輝度情報が含まれる。また、第2の画像に関する情報には、断層画像の生成に用いられる干渉信号が含まれる。撮影装置110はまた、第1の画像に関する情報を取得し(SLO信号検出部245)、該情報を用いて演算回路115によって被検眼の移動量に関する情報を取得する。この移動に関する情報には、例えば被検眼の移動量、移動方向、被検眼の回転が含まれる。そして、該撮影装置110では、補正手段(制御部114)が該移動に関する情報を用いて、第2の画像に関する情報の取得位置(OCTにおける測定光の走査位置又は光学ヘッド部の位置)を補正する。撮影装置110は送信部118(送信手段)を有し、該送信部118は処理装置120の受信部125(受信手段)と通信手段により接続される。送信部118は、例えば上述した輝度情報と干渉信号とを、受信部に送信する。受信部125は、これら輝度情報と干渉信号とを受信する。処理装置120はまた、受信した輝度情報を用いて眼底正面画像を生成し、受信した干渉信号を用いて断層画像を生成する生成手段(画像生成部121)を有する。処理装置120はまた、画像生成部121が生成した画像を表示手段(表示部130)に表示させる表示制御手段(表示制御部126)を有する。なお、第2の画像は、OCTA画像や補償光学系を有するSLOにより得られる眼底正面画像であってもよい。 As described above, the ophthalmic system according to the present embodiment includes a photographing device 110 and a processing device (processing device 120) for generating an image. The imaging device 110 includes a first imaging unit (fundus front image imaging unit 111) and a second imaging unit (tomographic image imaging unit 112), and the first imaging unit relates to the first image of the eye to be inspected. The information is acquired, and the information regarding the second image is acquired by the second photographing unit. The information regarding the first image includes, for example, the luminance information used for generating the frontal fundus image. The information about the second image also includes an interference signal used to generate the tomographic image. The photographing device 110 also acquires information regarding the first image (SLO signal detection unit 245), and uses the information to acquire information regarding the amount of movement of the eye to be inspected by the arithmetic circuit 115. Information about this movement includes, for example, the amount of movement of the eye to be inspected, the direction of movement, and the rotation of the eye to be inspected. Then, in the photographing device 110, the correction means (control unit 114) corrects the acquisition position of the information regarding the second image (the scanning position of the measurement light in the OCT or the position of the optical head unit) by using the information regarding the movement. do. The photographing device 110 has a transmitting unit 118 (transmitting means), and the transmitting unit 118 is connected to a receiving unit 125 (receiving means) of the processing device 120 by a communication means. The transmission unit 118 transmits, for example, the above-mentioned luminance information and the interference signal to the reception unit. The receiving unit 125 receives the luminance information and the interference signal. The processing device 120 also has a generation means (image generation unit 121) that generates a fundus frontal image using the received luminance information and generates a tomographic image using the received interference signal. The processing device 120 also has display control means (display control unit 126) for displaying the image generated by the image generation unit 121 on the display means (display unit 130). The second image may be an OCTA image or a fundus frontal image obtained by an SLO having an adaptive optics system.

上述した演算回路115は、複数の眼底正面画像に関する情報を用いて被検眼の移動量(固視微動量)を算出する。より詳細には、演算回路115は、複数の眼底正面画像(複数の第1の画像)に関する情報間において二次元相関演算を行うことにより移動量を算出する。なお、この二次元相関演算では、第1の画像に関する情報から得られる画像(画像生成部121で生成される眼底正面画像に対応する画像)のピクセル数を減少させることで得られる画素数に対応する階層画像を生成し、これを用いるとよい。この階層画像において、演算回路115は、移動量の算出に用いるパターンを抽出する。そして、第1の画像に関する情報から得られる画像の抽出されたパターンを含む領域における該パターンの座標を用いて複数の第1の画像に関する情報から得られる画像間でのずれ量を求め、移動量を算出する。また、より詳細な眼底トラッキングを行うために、二次元相関演算は、眼底正面画像を構成するピクセルに対して、サブピクセル単位で行われるとよい。 The calculation circuit 115 described above calculates the amount of movement (fixation fine movement amount) of the eye to be inspected using information on a plurality of frontal images of the fundus. More specifically, the calculation circuit 115 calculates the amount of movement by performing a two-dimensional correlation calculation between information on a plurality of frontal fundus images (a plurality of first images). In this two-dimensional correlation calculation, it corresponds to the number of pixels obtained by reducing the number of pixels of the image (the image corresponding to the frontal image of the fundus of the eye generated by the image generation unit 121) obtained from the information related to the first image. It is advisable to generate a hierarchical image to be used. In this hierarchical image, the arithmetic circuit 115 extracts a pattern used for calculating the movement amount. Then, the amount of deviation between the images obtained from the information on the plurality of first images is obtained by using the coordinates of the pattern in the region including the extracted pattern of the image obtained from the information on the first image, and the amount of movement is obtained. Is calculated. Further, in order to perform more detailed fundus tracking, the two-dimensional correlation calculation may be performed on a sub-pixel basis for the pixels constituting the fundus frontal image.

また、本実施形態において、演算回路115は、算出された固視微動量が閾値を超えるか否かを判定する。判定結果は、処理装置120に送信される。算出された固視微動量が値を超えると判定された場合、該処理装置120は生成する断層画像において、閾値を超えた輝度情報に対応して得られている干渉信号から得られる画像を他の画像に置き換えることができる。なお、本実施形態では、眼底正面画像は、インタレース方式で取得される。演算回路115は、眼底正面画像における奇数番目のピクセル列に対応する列から得られる情報と、偶数番目のピクセル列に対応する列から得られる情報とを合成しフィールド画像を生成する。そして生成されたフィールド画像を第1の画像に関する情報を参照眼底画像として用い、被検眼の移動量として固視微動量を算出する。なお、参照眼底画像の生成方式はこれに限られず、眼底正面画像における奇数番目のピクセル列に対応する列から得られる情報と、偶数番目のピクセル列に対応する列から得られる情報とのいずれかを用いて生成することもできる。即ち、参照眼底画像と比較する際に用いられる第1の画像に関する情報は、画像生成部121で生成される第1の画像を構成する複数の画素(ピクセル)に対応する複数の輝度値の少なくとも一部から構成される。より詳細には、第1の画像に関する情報として取得した少なくとも一部の輝度値を対応する画素に配置して得られた画像情報と参照眼底画像との比較により、被検眼の移動量が求められる。 Further, in the present embodiment, the arithmetic circuit 115 determines whether or not the calculated amount of fixation tremor exceeds the threshold value. The determination result is transmitted to the processing device 120. When it is determined that the calculated fixation tremor amount exceeds the value, the processing device 120 uses the generated tomographic image as an image obtained from the interference signal obtained in response to the luminance information exceeding the threshold value. Can be replaced with the image of. In the present embodiment, the frontal image of the fundus is acquired by the interlace method. The arithmetic circuit 115 generates a field image by synthesizing the information obtained from the columns corresponding to the odd-numbered pixel strings in the frontal image of the fundus of the eye and the information obtained from the columns corresponding to the even-numbered pixel strings. Then, using the generated field image as a reference fundus image using the information related to the first image, the amount of fixation tremor is calculated as the amount of movement of the eye to be inspected. The method of generating the reference fundus image is not limited to this, and either the information obtained from the column corresponding to the odd-numbered pixel string in the frontal image of the fundus or the information obtained from the column corresponding to the even-numbered pixel string. Can also be generated using. That is, the information about the first image used when comparing with the reference fundus image is at least a plurality of luminance values corresponding to a plurality of pixels constituting the first image generated by the image generation unit 121. It consists of a part. More specifically, the amount of movement of the eye to be inspected can be determined by comparing the image information obtained by arranging at least a part of the luminance values acquired as the information about the first image in the corresponding pixels with the reference fundus image. ..

ここで、第1の画像に関する情報は、例えば輝度値と2次元座標とが対応づいて複数取得された情報であり、2次元座標に対応する画素に輝度値を配置する(並べる)ことで得られる画像であってもよい。なお、本実施形態では、第1の画像に関する情報は、共焦点レーザー走査検眼鏡を用いて取得される。また、第2の画像に関する情報は、OCT装置を用いて取得される。即ち、撮影装置110は、測定光で走査した被検眼からの戻り光を用いて干渉信号を取得し、該干渉信号が送られた画像生成部121は被検眼の眼底の断層画像を生成する。また、本実施形態において、画像生成部121が生成する第1の画像は、眼底正面画像である。また、本実施形態では、通信手段としてUSBを用いたが、ギガビットイーサネット(登録商標)を用いることもできる。また、無線方式の通信手段を用いてもよい。 Here, the information regarding the first image is, for example, information acquired in a plurality of cases in which the luminance value and the two-dimensional coordinates correspond to each other, and is obtained by arranging (arranging) the luminance values in the pixels corresponding to the two-dimensional coordinates. It may be an image to be displayed. In the present embodiment, the information regarding the first image is acquired by using a confocal laser scanning ophthalmoscope. Further, the information regarding the second image is acquired by using the OCT apparatus. That is, the photographing device 110 acquires an interference signal by using the return light from the eye to be inspected scanned by the measurement light, and the image generation unit 121 to which the interference signal is sent generates a tomographic image of the fundus of the eye to be inspected. Further, in the present embodiment, the first image generated by the image generation unit 121 is a fundus frontal image. Further, in the present embodiment, USB is used as the communication means, but Gigabit Ethernet (registered trademark) can also be used. Further, a wireless communication means may be used.

なお、上述した実施形態で断層画像はラスタスキャンにより取得している。ラスタスキャンとは、例えば図5の走査線L01の方向への測定光の走査(主走査)を行い、その後走査線L02の位置の走査開始位置に測定光の照射位置を走査(副走査)し、以降これを繰り返す走査をいう。図7に示すように走査位置の補正は、1の主走査と次の主走査との間で行われる。これにより、眼底上において走査線がL01〜L20と配置されるように測定光が走査され、眼底上の所望位置からの干渉信号が過不足なく得られる。 In the above-described embodiment, the tomographic image is acquired by raster scan. In the raster scan, for example, the measurement light is scanned in the direction of the scanning line L01 in FIG. 5 (main scanning), and then the irradiation position of the measurement light is scanned (secondary scanning) at the scanning start position at the position of the scanning line L02. , Subsequent scanning that repeats this. As shown in FIG. 7, the correction of the scanning position is performed between one main scan and the next main scan. As a result, the measurement light is scanned so that the scanning lines are arranged as L01 to L20 on the fundus, and an interference signal from a desired position on the fundus can be obtained without excess or deficiency.

また、上述した実施形態では、1枚の眼底正面画像に対して1枚の断層画像が取得されることとしている。しかし、眼底正面画像の取得のタイミングと断層画像の取得のタイミングとが同期可能であれば、一方の画像が1枚取得される間に他方の画像が整数倍となる枚数取得されてもよい。例えば、眼底正面画像を1枚取得するタイミングに対して断層画像が1枚或いは2枚取得する場合が対応し、図7のフローチャートではステップS150において1或いは2枚の断層画像が取得される。また、例えばOCTA撮影の場合のように、同一位置で、複数枚の断層画像が取得される。また、同期できない場合には、断層画像の取得中に固視微動が検出されてもこの取得中には走査位置の補正は行わず、次の断層画像取得のための測定光の走査位置の補正のタイミングで補正を行うとよい。さらに、例えばOCTA撮影の場合のように、同一位置で、複数枚の断層画像を取得する場合も考えられる。この場合、同一位置での断層画像の取得中に固視微動が検出されても該同一位置からの断層画像の取得中には走査位置の補正は行わず、次の位置での最初の断層画像の取得の開始まで走査位置の補正のタイミングを遅延させるとよい。また、同期できない場合には、本撮影の開始の際にだけ同期をとることとし、走査位置の補正が求められる場合には再走査により対応してもよい。その場合、再走査の位置については、開始からの経過時間とフレームレートとを用いて算出することができる。 Further, in the above-described embodiment, one tomographic image is acquired for one fundus frontal image. However, if the timing of acquiring the frontal fundus image and the timing of acquiring the tomographic image can be synchronized, the number of images in which the other image is an integral multiple may be acquired while one image is acquired. For example, the case where one or two tomographic images are acquired corresponds to the timing of acquiring one frontal fundus image, and in the flowchart of FIG. 7, one or two tomographic images are acquired in step S150. Further, as in the case of OCTA imaging, for example, a plurality of tomographic images are acquired at the same position. If synchronization is not possible, even if fixation tremor is detected during the acquisition of the tomographic image, the scanning position is not corrected during this acquisition, and the scanning position of the measurement light for the next tomographic image acquisition is corrected. It is advisable to make corrections at the timing of. Further, it is also conceivable to acquire a plurality of tomographic images at the same position as in the case of OCTA imaging, for example. In this case, even if fixation tremor is detected while acquiring the tomographic image at the same position, the scanning position is not corrected during the acquisition of the tomographic image from the same position, and the first tomographic image at the next position is not corrected. It is advisable to delay the timing of correction of the scanning position until the start of acquisition of. If synchronization is not possible, synchronization may be performed only at the start of the main shooting, and if correction of the scanning position is required, rescanning may be performed. In that case, the rescan position can be calculated using the elapsed time from the start and the frame rate.

また、上述した実施形態では、眼底正面画像撮影部として走査型レーザー検眼鏡を用いているが、眼底の正面画像の取得には他の公知の画像取得手段を用いることもできる。例えば、眼底正面画像を2次元センサにて一括取得する構成を眼底正面画像撮影部に用いてもよい。また、この場合、2次元センサは撮影装置本体に内蔵されるように構成されてもよく、2次元センサを含む例えばデジタルカメラと撮影装置本体とが着脱可能に構成されてもよい。また、デジタルカメラと撮影装置本体とが着脱可能とされた場合には、該デジタルカメラと撮影装置本体とは通信可能に接続され、これにより撮影装置本体に配置される演算回路が移動に関する情報を取得可能とすることができる。 Further, in the above-described embodiment, the scanning laser ophthalmoscope is used as the fundus frontal image capturing unit, but other known image acquisition means can also be used to acquire the fundus frontal image. For example, the fundus front image capturing unit may use a configuration in which the fundus front image is collectively acquired by a two-dimensional sensor. Further, in this case, the two-dimensional sensor may be configured to be built in the photographing device main body, or the digital camera including the two-dimensional sensor and the photographing device main body may be detachably configured. When the digital camera and the main body of the photographing device are detachable, the digital camera and the main body of the photographing device are communicably connected, so that the arithmetic circuit arranged in the main body of the photographing device can provide information on movement. It can be acquired.

[第2の実施形態]
上述した第1の実施形態では、眼底トラッキング制御を撮影装置110側で行うことによって、眼底トラッキングの高速化を図っている。これに対し、処理装置120側では、眼底トラッキングによって取得位置を補正して得た干渉信号から断層画像を生成し、眼底トラッキングに用いた輝度情報から眼底正面画像を生成しているだけとなっている。ここで、例えば固視微動量が想定以上に大きい場合、高速化した眼底トラッキングであっても対処できずにアーチファクト等が残存することも可能性としてはありえる。第2の実施形態では、このような場合において、固視微動量がアーチファクトが残存する恐れがある閾値を超えた場合に、アーチファクトの発生部分への具体的な対処を行っている。以下、図11乃至図14を参照して、本発明の第2の実施形態に係る眼科システムについて詳細に説明する。なお、以降の説明において、第1の実施形態で述べた構成要素と同じ若しくは同様の機能を呈する構成については同じ参照符号を用いて図中で示すこととし、ここでの説明は省略する。
[Second Embodiment]
In the first embodiment described above, the fundus tracking is controlled on the imaging device 110 side to speed up the fundus tracking. On the other hand, on the processing device 120 side, a tomographic image is generated from the interference signal obtained by correcting the acquisition position by fundus tracking, and a frontal fundus image is only generated from the luminance information used for fundus tracking. There is. Here, for example, when the amount of fixation tremor is larger than expected, it is possible that even if the fundus tracking is accelerated, the artifacts and the like may remain without being able to deal with it. In the second embodiment, in such a case, when the amount of fixation tremor exceeds the threshold value at which the artifact may remain, specific measures are taken for the portion where the artifact occurs. Hereinafter, the ophthalmic system according to the second embodiment of the present invention will be described in detail with reference to FIGS. 11 to 14. In the following description, configurations exhibiting the same or similar functions as the components described in the first embodiment will be shown in the drawings using the same reference numerals, and the description thereof will be omitted here.

図11(a)に第2の実施形態に係る眼科システムの概略構成を示し、11(b)に該眼科システムの機能構成についてのブロック図を示す。第2実施形態では、撮影動作において、第1の実施形態で行った眼底トラッキングに加え、処理装置2120側でアーチファクト発生の可能性を考慮して、断層画像の再取得を行う点が第1実施形態と異なる。このため、図11(b)に示すように、第2の実施形態に係る眼科システムは、処理装置2120がさらに画像処理部2124を有することにおいて、第1の実施形態における処理装置120と異なる。また、これらに加え、具体的な撮影処理上の相違点として、本実施形態では、眼底固視微動検出の際、小さい画像データを用いて二次元相関演算を行っている。そして、これによって計算量を削減することで、さらにリアルタイム性の高い眼底トラッキングを行う。また、処理装置2120では、大きい画像データを用いて二次元相関演算を行い、大きな固視微動や瞬きなどをトラッキングで検出して、再スキャン判定(断層画像の再取得と行うか否かの判定)を行う。以上の構成により、眼底トラッキングのフィードバック制御を高速にすることができ、かつトラッキングに失敗したかどうかは、平行処理によって処理装置2120が判定することで、アーチファクトが低減された断層画像を得ることができるという効果がある。 FIG. 11A shows a schematic configuration of the ophthalmic system according to the second embodiment, and FIG. 11B shows a block diagram of the functional configuration of the ophthalmic system. In the second embodiment, in the photographing operation, in addition to the fundus tracking performed in the first embodiment, the first embodiment is to reacquire the tomographic image in consideration of the possibility of occurrence of an artifact on the processing device 2120 side. Different from the form. Therefore, as shown in FIG. 11B, the ophthalmic system according to the second embodiment is different from the processing device 120 in the first embodiment in that the processing device 2120 further includes the image processing unit 2124. In addition to these, as a specific difference in imaging processing, in the present embodiment, two-dimensional correlation calculation is performed using small image data when detecting fundus fixation tremor. Then, by reducing the amount of calculation by this, fundus tracking with higher real-time performance is performed. In addition, the processing device 2120 performs a two-dimensional correlation calculation using large image data, detects large fixation tremors and blinks by tracking, and makes a rescan determination (determination of whether or not to reacquire a tomographic image). )I do. With the above configuration, the feedback control of fundus tracking can be speeded up, and whether or not the tracking has failed is determined by the processing device 2120 by parallel processing, so that a tomographic image with reduced artifacts can be obtained. It has the effect of being able to do it.

なお、ここで述べる大きな画像データとは、例えば図14に示すような、M個の探索領域から構成される断層画像全域に対応する量の画像データがこれにあたる。また、小さな画像データとは、例えば図14に示す一探索領域に対応する量の画像データがこれにあたる。即ち、大きな画像データと小さな画像データとは、画像として用いる画素数が相対的に多いか少ないかに対応して相対的に決定される用語であって、具体的なデータ量を示してはいない。ここで述べた例では、撮影装置110で眼底トラッキングのために画素数が少なく相対的にデータ量が小さくなる狭い範囲の画像を用い、処理装置2120で眼底正面画像の生成のために全画素数に対応するデータ量が大きくなる広い範囲の画像を用いている。 The large image data described here corresponds to an amount of image data corresponding to the entire area of the tomographic image composed of M search regions, as shown in FIG. 14, for example. Further, the small image data corresponds to, for example, an amount of image data corresponding to one search area shown in FIG. That is, large image data and small image data are terms that are relatively determined according to whether the number of pixels used as an image is relatively large or small, and do not indicate a specific amount of data. .. In the example described here, the photographing device 110 uses a narrow range image in which the number of pixels is small and the amount of data is relatively small for tracking the fundus, and the processing device 2120 uses the total number of pixels for generating the frontal image of the fundus. A wide range of images is used, in which the amount of data corresponding to is large.

次に、図12に示すフローチャートを用いて、本実施形態の眼科システムによる眼底断層画像撮影時に行われる処理の詳細について説明する。なお、本実施形態でも、第1の実施形態と同様に、眼底正面画像の撮影のための照明光の走査は、フレームレートを上げるために図4を参照して説明したインタレース方式で行う。実際の眼底撮影では、測定開始ボタン306が押されることにより、図12のフローチャートとして示される撮影処理が開始される。 Next, the details of the processing performed at the time of fundus tomography imaging by the ophthalmic system of the present embodiment will be described with reference to the flowchart shown in FIG. In this embodiment as well, as in the first embodiment, the scanning of the illumination light for capturing the frontal fundus image is performed by the interlace method described with reference to FIG. 4 in order to increase the frame rate. In actual fundus photography, when the measurement start button 306 is pressed, the imaging process shown in the flowchart of FIG. 12 is started.

<ステップS500>
ステップS500では、制御部114が、眼底正面画像撮影部111を制御し、眼底トラッキングを行うための参照眼底画像を取得する。記憶部116は眼底トラッキングを行う際に用いるために、取得された参照眼底画像を記憶する。参照眼底画像の取得時に行われる処理については第1の実施形態で行われた処理と同じである。なお、本実施形態では、眼底トラッキングによって得られた断層画像(Bスキャンにより取得したデータ)の適否の判断を、眼底正面画像を用いて処理装置2120でも行っている。このため、参照眼底画像の生成は、処理装置2120における画像生成部121においても行われる。なお、処理装置120で行われる参照眼底画像の生成処理は、第1の実施形態で述べた処理を同様の処理であるため、ここでの説明は省略する。
<Step S500>
In step S500, the control unit 114 controls the fundus anterior image capturing unit 111 to acquire a reference fundus image for performing fundus tracking. The storage unit 116 stores the acquired reference fundus image for use when performing fundus tracking. The processing performed at the time of acquiring the reference fundus image is the same as the processing performed in the first embodiment. In the present embodiment, the processing device 2120 also uses the fundus anterior image to determine the suitability of the tomographic image (data acquired by the B scan) obtained by fundus tracking. Therefore, the reference fundus image is also generated by the image generation unit 121 in the processing device 2120. Since the reference fundus image generation process performed by the processing device 120 is the same process as that described in the first embodiment, the description thereof is omitted here.

<ステップS510>
ステップS510では、演算回路115が、眼底正面画像の時間経過による位置変化を検出し、その量を求めることで被検眼の固視微動量を算出する。眼底固視微動の算出動作の詳細については後述する。
<Step S510>
In step S510, the arithmetic circuit 115 detects the position change of the frontal image of the fundus with time, and calculates the amount of fixation tremor of the eye to be inspected by obtaining the amount. The details of the calculation operation of fundus fixation tremor will be described later.

<ステップS520>
ステップS520では、制御部114が、ステップS510で検出された固視微動量分だけ走査線の位置を変更することで断層画像の取得位置の補正を行う。断層画像の取得位置の補正は、具体的には、制御部114がOCT走査光学系213に与える走査制御信号を変更することによって行われる。なお、第1の実施形態では、固視微動の影響が断層画像に現れる場合の固視微動量を勘案して閾値を定め、固視微動量が該閾値を超えた場合に取得位置の補正を行っている。しかし、本実施形態では、固視微動量によらず、算出された固視微動量に応じて常に取得位置の補正を行うこととしている。
<Step S520>
In step S520, the control unit 114 corrects the acquisition position of the tomographic image by changing the position of the scanning line by the amount of fixation microtremor detected in step S510. Specifically, the correction of the acquisition position of the tomographic image is performed by changing the scanning control signal given to the OCT scanning optical system 213 by the control unit 114. In the first embodiment, a threshold value is set in consideration of the amount of fixation tremor when the influence of fixation tremor appears in the tomographic image, and when the amount of fixation tremor exceeds the threshold, the acquisition position is corrected. Is going. However, in the present embodiment, the acquisition position is always corrected according to the calculated amount of fixation tremor regardless of the amount of fixation tremor.

<ステップS530>
ステップS530では、制御部114による断層画像の取得位置の補正終了に応じて、断層画像の取得が開始される。具体的には、補正後の走査位置において、測定光による眼底の走査が開始される。そして、この走査によりOCT信号検出部218が取得した干渉信号に基づいて、断層画像撮影部112による被検眼の眼底の断層画像(Bスキャン像)の取得(生成)が開始される。生成された断層画像は、例えば図5に例示した表示様式で、処理装置120により表示部130で表示される。
<Step S530>
In step S530, the acquisition of the tomographic image is started in response to the completion of the correction of the tomographic image acquisition position by the control unit 114. Specifically, at the corrected scanning position, scanning of the fundus with the measurement light is started. Then, based on the interference signal acquired by the OCT signal detection unit 218 by this scanning, the tomographic image capturing unit 112 starts acquiring (generating) a tomographic image (B scan image) of the fundus of the eye to be inspected. The generated tomographic image is displayed on the display unit 130 by the processing device 120 in the display format illustrated in FIG. 5, for example.

<ステップS540>
ステップS540では、処理装置2120側において、画像処理部2124が、眼底正面画像の時間経過による位置変化を検出することで被検眼の固視微動量を検出する。なお、眼底固視微動の検出動作として、第1の実施形態において図9を参照して説明した処理と同様の処理が行われるため、ここでの説明は省略する。
<Step S540>
In step S540, on the processing device 2120 side, the image processing unit 2124 detects the amount of fixation tremor of the eye to be inspected by detecting the position change of the fundus front image with the passage of time. As the fundus fixation tremor detection operation, the same processing as that described with reference to FIG. 9 in the first embodiment is performed, and thus the description thereof is omitted here.

<ステップS550>
ステップS550では、画像処理部2124が、ステップS540で検出された結果から再スキャンによって断層画像の取得を再度行うか否かを判定する。この判定は、例えば、固視微動量と二次元相関演算した際の相関値とから行うことができる。検出された固視微動量が任意の閾値を超えていた際は、その間に取得された断層画像には動きによるアーチファクトが生じている可能性が高いと判断し、この断層画像を得た走査線についての再スキャンを実行する。また、ステップS540で検出されたピークの相関値が任意の閾値より低かった際は、瞬きが発生したと判断できる。従って、この場合についても、再スキャンが行われる。
<Step S550>
In step S550, the image processing unit 2124 determines whether or not to reacquire the tomographic image by rescanning from the result detected in step S540. This determination can be made, for example, from the amount of fixation tremor and the correlation value when the two-dimensional correlation calculation is performed. When the detected amount of fixation tremor exceeds an arbitrary threshold value, it is judged that there is a high possibility that an artifact due to movement has occurred in the tomographic image acquired during that period, and the scanning line obtained from this tomographic image is obtained. Perform a rescan for. Further, when the correlation value of the peak detected in step S540 is lower than an arbitrary threshold value, it can be determined that blinking has occurred. Therefore, the rescan is performed in this case as well.

<ステップS560>
ステップS560では、画像処理部2124は、撮影装置110に、断層画像の再撮影情報の送信を行う。例えば、ステップS550で判定した結果、再スキャン判定となった際に、処理装置2120の画像処理部2124から撮影装置110の制御部114に再スキャンに関する情報が送信される。制御部114では、その情報に基づいて、後述するステップにおいて撮影装置110での再スキャン制御を行う。なお、再スキャンに関する情報には、例えば、再スキャンを行うか否かと、行う場合にはステップS540で生成される眼底正面画像が取得されていた間において取得された断層画像の走査線のラインの番号とが例示される。
<Step S560>
In step S560, the image processing unit 2124 transmits the re-imaging information of the tomographic image to the imaging device 110. For example, when a rescan determination is made as a result of the determination in step S550, information regarding the rescan is transmitted from the image processing unit 2124 of the processing device 2120 to the control unit 114 of the photographing device 110. Based on the information, the control unit 114 performs rescan control on the photographing device 110 in a step described later. The information regarding the rescan includes, for example, whether or not to perform the rescan, and if so, the line of the scanning line of the tomographic image acquired while the frontal fundus image generated in step S540 was acquired. Numbers and are exemplified.

本実施形態では、撮影装置110側で眼底トラッキングと断層画像の取得とが実行される間に、処理装置2120側で固視微動量を求め、且つ該固視微動量が再スキャンを要するレベルであるか否かを判定している。上述したように処理装置2120に輝度情報を送信することによりタイムラグが生じる。また、撮影装置110側で行われる眼底トラッキングが図14で示した小さな画像データに対応する探索領域が対象であるのに対して、処理装置2120側では眼底正面画像全域を対象として固視微動量を求めている。そのため、処理装置2120で固視微動量に基づく再スキャン情報を得る処理には時間がかかる。しかし、本実施形態では、眼底トラッキングを伴う断層画像の撮影を撮影装置110側のみで行い、同時にこれと並行して処理装置2120側では再スキャン情報をのみを得ようとしている。これにより、再スキャン情報を得るための時間は、眼底トラッキングを伴った断層画像の取得に要する時間に何ら影響せず、その結果撮影装置としてのトラッキング速度の低下を低減することができる。 In the present embodiment, while the fundus tracking and the acquisition of the tomographic image are executed on the imaging device 110 side, the fixation fine movement amount is obtained on the processing device 2120 side, and the fixation fine movement amount is at a level requiring rescanning. It is judged whether or not there is. A time lag occurs by transmitting the luminance information to the processing apparatus 2120 as described above. Further, while the fundus tracking performed on the imaging device 110 side targets the search area corresponding to the small image data shown in FIG. 14, the fixation device 2120 side targets the entire area of the fundus front image and the amount of fixation tremor. Seeking. Therefore, it takes time for the processing device 2120 to obtain the rescan information based on the fixed vision fine movement amount. However, in the present embodiment, the tomographic image accompanied by the fundus tracking is taken only on the photographing device 110 side, and at the same time, the processing device 2120 side is trying to obtain only the rescan information in parallel with this. As a result, the time for obtaining the rescan information does not affect the time required for acquiring the tomographic image accompanied by the fundus tracking, and as a result, the decrease in the tracking speed as the imaging device can be reduced.

<ステップS570>
ステップS570では、制御部114が、測定(断層画像の取得)が終了したか否かを判断する。OCTによる断層画像はノイズが多いので、例えば複数回の断層画像の取得を同一走査線に対して行い、取得結果の加算平均を行い、ノイズを低減することが行われる。また、上述したように、走査線の位置をずらしながら複数の断層画像を取得し、得られた断層画像を合成することで眼底の3次元画像(Cスキャン画像)を得ることもできる。測定の終了は、所定の回数の断層画像の取得が終了したか、又は所定のエリアからの断層画像の取得が終了したか否かによって判定される。断層画像の取得が終了した場合、制御部114によりフローはステップS580へ移行される。取得が終了していない場合、制御部114はフローをステップS510及びステップS540に移行させ、所定の回数の取得が終了するまで以降の動作を繰り返す。
<Step S570>
In step S570, the control unit 114 determines whether or not the measurement (acquisition of a tomographic image) has been completed. Since the tomographic image by OCT has a lot of noise, for example, the tomographic image is acquired a plurality of times for the same scanning line, the acquisition results are added and averaged, and the noise is reduced. Further, as described above, it is also possible to obtain a three-dimensional image (C scan image) of the fundus by acquiring a plurality of tomographic images while shifting the positions of the scanning lines and synthesizing the obtained tomographic images. The end of the measurement is determined by whether or not the acquisition of the tomographic image of a predetermined number of times is completed or the acquisition of the tomographic image from the predetermined area is completed. When the acquisition of the tomographic image is completed, the flow is shifted to step S580 by the control unit 114. If the acquisition is not completed, the control unit 114 shifts the flow to steps S510 and S540, and repeats the subsequent operations until the acquisition is completed a predetermined number of times.

<ステップS580>
ステップS580では、ステップS560で再スキャン情報が制御部114に送信された場合、フローがステップS510及びステップS540に移行される。そして、これらステップにおいて、再スキャンとなったエリア若しくは走査線についての断層画像の再取得を開始する。再取得を行う旨の再スキャンに関する情報がなかった場合、撮影動作が終了する。
<Step S580>
In step S580, when the rescan information is transmitted to the control unit 114 in step S560, the flow shifts to step S510 and step S540. Then, in these steps, the reacquisition of the tomographic image of the rescanned area or scanning line is started. If there is no information regarding the rescan to reacquire, the shooting operation ends.

(眼底固視微動検出動作のフローチャート)
次に、図12のステップS510で実行される眼底固視微動の検出動作について、図13のフローチャートを用いて説明する。以下の説明では、眼底正面画像を取得するための照明光の走査が図4で示したようにL01ラインから始まっているため、奇数フィールドを基準とする場合について述べる。以下の例では、参照眼底画像と奇数フィールドの画像との相関を取る場合はオフセットを加えず、偶数フィールドの画像との相関を取る場合は該偶数フィールドの画像にオフセットを加える例を示している。
(Flowchart of fundus fixation microtremor detection operation)
Next, the fundus fixation tremor detection operation executed in step S510 of FIG. 12 will be described with reference to the flowchart of FIG. In the following description, since the scanning of the illumination light for acquiring the frontal fundus image starts from the L01 line as shown in FIG. 4, a case where an odd number field is used as a reference will be described. In the following example, an offset is not added when the reference fundus image and the image of the odd field are correlated, and an offset is added to the image of the even field when the correlation is obtained with the image of the even field. ..

<ステップS700>
ステップS510の眼底固視微動の検出動作が開始されると、制御部114によって、図13のフローチャートに沿った動作が開始される。まず、ステップS700では、制御部114が、眼底正面画像撮影部111を制御して、奇数フィールドの画像を取得するために照明光の走査(眼底正面フィールド画像の取得)を開始する。演算回路115は、眼底からの反射光を得たSLO信号検出部245からの出力を用いて、奇数フィールドの画像を生成する。
<Step S700>
When the fundus fixation tremor detection operation in step S510 is started, the control unit 114 starts the operation according to the flowchart of FIG. First, in step S700, the control unit 114 controls the fundus front image capturing unit 111 to start scanning the illumination light (acquisition of the fundus front field image) in order to acquire an image of an odd number field. The arithmetic circuit 115 generates an odd-numbered field image by using the output from the SLO signal detection unit 245 that has obtained the reflected light from the fundus.

本実施形態において、ステップS700で取得されるフィールド画像は、本来の眼底正面画像の取得領域を分割することで得られた小さい領域のフィールド画像である。この小さい領域のフィールド画像について、図14を用いて説明する。本実施形態において、演算回路115は、図14に示すように、本来の眼底正面画像の取得領域である照明光のスキャンエリアを例えば縦方向にM分割する。そして、例えば照明光の走査方向に関してX方向(眼底正面画像の横方向)は本来の眼底正面画像と同じ幅で、Y方向(縦方向)は1/Mの幅となる領域の画像とし、1番目からM番目の探索領域まで順にこれら画像が取得される。このような探索領域の画像のデータが上述した小さな画像データに対応し、元の眼底正面画像の取得領域から得られる画像データが大きな画像データに対応する。なお、ここで示した分割の様式は一例であって、例えばX(横方向)に分割してもよく、XY方向で分割してもよい。分割数は、例えば同一走査線に対する断層画像の取得回数に応じて決めてもよい。 In the present embodiment, the field image acquired in step S700 is a field image of a small area obtained by dividing the acquisition area of the original fundus front image. A field image of this small area will be described with reference to FIG. In the present embodiment, as shown in FIG. 14, the arithmetic circuit 115 divides the scan area of the illumination light, which is the acquisition region of the original fundus front image, into M in the vertical direction, for example. Then, for example, regarding the scanning direction of the illumination light, the X direction (horizontal direction of the fundus front image) is the same width as the original fundus front image, and the Y direction (vertical direction) is an image of a region having a width of 1 / M. These images are acquired in order from the th to the Mth search area. The image data in such a search region corresponds to the small image data described above, and the image data obtained from the acquisition region of the original fundus frontal image corresponds to the large image data. The division mode shown here is an example, and may be divided in the X (horizontal direction) or the XY direction, for example. The number of divisions may be determined, for example, according to the number of acquisitions of tomographic images for the same scanning line.

<ステップS710>
ステップS710では、演算回路115が、ステップS700で取得した分割フィールド画像、ここでは分割で得た探索領域における奇数フィールドの画像を、第1の実施形態で述べた手法によりフレーム化する。フレーム化は以下のように行う。まず、奇数フィールドデータのライン数の2倍のライン数を持つデータエリアを用意する。次に、奇数フィールドデータのnライン(n=1,2,3,…,N/2M:Nは走査線総数、Mは分割数)のデータを、データエリアの2nー1ラインに各々コピーする。また、データエリアの2n−1ラインのデータを2nラインに各々コピーする。これにより、奇数フィールドの走査線データを2重化したことになる。なお、ここでは、奇数フィールドデータの走査線のデータをフレーム化するためのデータエリアの走査線に2度書きしているので、「コピー」という表現を用いている。以上により、分割フィールド画像に用いるための、フィールドデータの2倍のライン数(フレームデータ相当)を持ち、奇数ラインと次の偶数ラインが同じデータを持つ画像データが用意できる。
<Step S710>
In step S710, the arithmetic circuit 115 frames the divided field image acquired in step S700, here the image of the odd field in the search area obtained by the division, by the method described in the first embodiment. Frame is done as follows. First, a data area having twice the number of lines of odd-numbered field data is prepared. Next, the data of n lines of odd-numbered field data (n = 1, 2, 3, ..., N / 2M: N is the total number of scanning lines, M is the number of divisions) is copied to each of the 2n-1 lines in the data area. .. Further, the data of the 2n-1 line in the data area is copied to the 2n line respectively. As a result, the scan line data of the odd field is duplicated. Here, since the data of the scan line of the odd field data is written twice on the scan line of the data area for framing the data, the expression "copy" is used. From the above, it is possible to prepare image data having twice the number of lines (corresponding to frame data) of the field data and having the same data for the odd-numbered line and the next even-numbered line for use in the divided field image.

<ステップS720>
ステップS720では、演算回路115が、ステップS700で取得した参照眼底画像に対し、ステップS710でフレーム化した探索領域の眼底正面画像との二次元相関演算を行う。ただし、参照眼底画像はステップS700において、ステップS710でフレーム化した探索領域と対応する領域である参照眼底画像の一部の画像を用いる。ここでの相関演算はフレームデータ同士での相関演算となるので、X方向はピクセル単位で変異はないと考えられるが、Y方向については1走査線単位での変位量が求められることとなる。また、二次元相関演算は、第1の実施形態の図7に示したフローチャートのステップS220で説明した方式に従い、サブピクセル単位の変位量を求めることとする。
<Step S720>
In step S720, the calculation circuit 115 performs a two-dimensional correlation calculation on the reference fundus image acquired in step S700 with the fundus front image of the search region framed in step S710. However, as the reference fundus image, in step S700, a part of the reference fundus image, which is a region corresponding to the search region framed in step S710, is used. Since the correlation calculation here is a correlation calculation between frame data, it is considered that there is no variation in the X direction in pixel units, but in the Y direction, the displacement amount in one scanning line unit is obtained. Further, in the two-dimensional correlation calculation, the displacement amount in sub-pixel units is obtained according to the method described in step S220 of the flowchart shown in FIG. 7 of the first embodiment.

<ステップS730>
ステップS730では、演算回路115が、ステップS700で用いた分割フィールド画像が奇数フィールドの画像か否かを判断する。奇数フィールドの画像の場合には、制御部114はフローをステップS740に移行させる。そうでない場合、即ち取得した画像が偶数フィールドの画像の場合には、フローはステップS750に移行される。
<Step S730>
In step S730, the arithmetic circuit 115 determines whether or not the divided field image used in step S700 is an odd-numbered field image. In the case of an odd-numbered field image, the control unit 114 shifts the flow to step S740. If not, that is, if the acquired image is an even field image, the flow proceeds to step S750.

<ステップS740>
ステップS720で得られた変位量は、奇数フィールドの画像に基づいて算出されたものであるため、このことを考慮することを要する。奇数フィールドの画像の場合、ステップS740では、演算回路115が、フレーム化された画像データに対してY軸方向のオフセットを加えない(即ちオフセット0)。制御部114は、画像データをそのまま維持し、フローをステップS760に移行させる。
<Step S740>
Since the displacement amount obtained in step S720 is calculated based on the image of the odd-numbered field, it is necessary to take this into consideration. In the case of an odd-numbered field image, in step S740, the arithmetic circuit 115 does not add an offset in the Y-axis direction to the framed image data (ie, offset 0). The control unit 114 maintains the image data as it is and shifts the flow to step S760.

<ステップS750>
ステップS720で得られた変位量が、偶数フィールドの画像に基づいて算出されたものである場合には、このことを考慮することを要する。このため、偶数フィールドの画像の場合、ステップS750では、演算回路115が、フレーム化された画像データに対してY軸方向に1のオフセットを加える。そして、ステップS760に進む。この1のオフセットは、フレーム化されたデータエリアを構成する2nラインのデータにおいて、奇数フィールドと偶数フィールドとの位置の差を考慮したものである。
<Step S750>
When the displacement amount obtained in step S720 is calculated based on the image of the even field, it is necessary to take this into consideration. Therefore, in the case of an even-numbered field image, in step S750, the arithmetic circuit 115 adds an offset of 1 in the Y-axis direction to the framed image data. Then, the process proceeds to step S760. This offset of 1 takes into consideration the difference in position between the odd-numbered field and the even-numbered field in the 2n-line data constituting the framed data area.

<ステップS760>
以上の動作により参照眼底画像とステップS700で取得された眼底正面画像との変位量、即ち被検眼の固視微動量が求められる。ステップS760では、制御部114は、演算回路115により求められた固視微動量を記憶部116に保存させる。以上により固視微動の検出動作を終了する。
<Step S760>
By the above operation, the amount of displacement between the reference fundus image and the frontal image of the fundus acquired in step S700, that is, the amount of fixation tremor of the eye to be inspected can be obtained. In step S760, the control unit 114 stores the fixation fine movement amount obtained by the arithmetic circuit 115 in the storage unit 116. With the above, the detection operation of fixation tremor is completed.

以上の説明では、奇数フィールドを基準とする例を示したが、偶数フィールドを基準にするよう構成してもよい。その場合には、参照眼底画像と偶数フィールドの画像のフレーム化により得たフィールド画像との相関を取る場合は、オフセットを加えない。これに対して、奇数フィールドの画像のフレーム化により得たフィールド画像と参照眼底画像との相関を取る場合はオフセット(たとえばY軸方向に−1のオフセット)を加えることになる。 In the above description, an example in which an odd number field is used as a reference is shown, but an even number field may be used as a reference. In that case, no offset is added when the reference fundus image and the field image obtained by framing the even-numbered field image are correlated. On the other hand, when the field image obtained by framing the odd-numbered field image and the reference fundus image are correlated, an offset (for example, an offset of -1 in the Y-axis direction) is added.

なお、本実施形態では奇数フィールドの画像と偶数フィールドの画像とから参照眼底画像としてのフレーム画像を合成する例を示した。しかし、参照眼底画像は、合成しないフィールド画像から得ることとしてもよい。例えば、奇数フィールドの画像と偶数フィールドの画像を取得し、画像評価部123により、鮮鋭度や平均輝度値を評価し、評価の高い方を参照眼底画像することもできる。奇数フィールドの画像を参照眼底画像とした場合は、奇数フィールドと画像との相関を取る場合はオフセット0となる。また、偶数フィールドの画像との相関を取る場合はY方向にオフセット0.5を加えることとなる。また、偶数フィールドの画像を参照眼底画像とした場合は、奇数フィールドの画像との相関を取る場合はY方向にオフセット−0.5を加え、偶数フィールドの画像との相関を取る場合はオフセット0とする。なお、このオフセットの単位は、インタレースのフィールドでの走査線単位となる。相関はサブピクセル単位で行う。また、奇数フィールドの画像を参照眼底画像とした場合には眼底正面画像のうち奇数フィールドから得た画像のみと相関を取っていき、偶数フィールドの画像を参照眼底画像とした場合は偶数フィールドから得た画像のみと相関を取るよう構成することもできる。 In this embodiment, an example of synthesizing a frame image as a reference fundus image from an odd-numbered field image and an even-numbered field image is shown. However, the reference fundus image may be obtained from a field image that is not composited. For example, an odd-numbered field image and an even-numbered field image can be acquired, the sharpness and the average luminance value can be evaluated by the image evaluation unit 123, and the one with the higher evaluation can be used as a reference fundus image. When the image of the odd-numbered field is used as the reference fundus image, the offset is 0 when the odd-numbered field and the image are correlated. Further, when correlating with an even-numbered field image, an offset of 0.5 is added in the Y direction. When the even-numbered field image is used as the reference fundus image, an offset of -0.5 is added in the Y direction to correlate with the odd-numbered field image, and an offset of 0 is added to correlate with the even-numbered field image. And. The unit of this offset is the scanning line unit in the interlaced field. Correlation is done on a sub-pixel basis. In addition, when the image of the odd-numbered field is used as the reference fundus image, only the image obtained from the odd-numbered field is correlated with the image of the front of the fundus, and when the image of the even-numbered field is used as the reference fundus image, it is obtained from the even-numbered field. It can also be configured to correlate with only the images.

本実施形態においては、撮影装置110は、眼底上の所望位置を測定光で走査すべく、上述した眼底トラッキングを行うことで固視微動の影響を少なくしている。さらに、本実施形態では、高速性を要する眼底トラッキングとは別個に、処理装置2120において断層画像取得時の固視微動量が所定の閾値よりも大きいか否かを判定している。そして、固視微動などの画像を生成するにあたりアーチファクトとなる眼底の大きな動き検出した場合には、アーチファクトが発生した場所で再スキャンを自動的に行うものとする。なお、第1の実施形態では、固視微動量が予め定めた閾値よりも大きいか否かを撮影装置110側で判断し、且つ閾値よりも大きい場合には直ちに再取得を行うことによって、再取得に要する時間を低減している。これに対し、本実施形態では、処理装置2120側においても再取得を行うための固視微動量と所定の閾値との比較を行っている。本実施形態のように、処理装置2120側で生成した詳細な画像を用いて固視微動量を得ることで、より確度の高い再取得の要否の判定を補助的に行うことができる。 In the present embodiment, the photographing apparatus 110 reduces the influence of fixation tremor by performing the above-mentioned fundus tracking in order to scan a desired position on the fundus with the measurement light. Further, in the present embodiment, separately from the fundus tracking which requires high speed, the processing device 2120 determines whether or not the amount of fixation tremor at the time of acquiring a tomographic image is larger than a predetermined threshold value. Then, when a large movement of the fundus, which is an artifact, is detected in generating an image such as fixation tremor, rescanning is automatically performed at the place where the artifact occurs. In the first embodiment, the imaging device 110 determines whether or not the amount of fixation tremor is larger than a predetermined threshold value, and if it is larger than the threshold value, reacquisition is performed immediately. The time required for acquisition is reduced. On the other hand, in the present embodiment, the processing apparatus 2120 also compares the amount of fixation tremor for reacquisition with a predetermined threshold value. As in the present embodiment, by obtaining the fixed vision fine movement amount using the detailed image generated on the processing device 2120 side, it is possible to assist in determining the necessity of reacquisition with higher accuracy.

また、さらに本実施形態では、眼底トラッキングをより高速で行うために、眼底トラッキング用のフィールド画像として、小さなデータとなる部分的な眼底正面画像を用いている。処理装置2120では、大きな画像データからなる全域での眼底正面画像を用いて、高精度なトラッキングを行い、再スキャン判定を行うこととしている。これにより、単位時間あたりの動きとして比較的大きい動きが被検眼眼底上で生じた場合であっても、この動きによって生じる歪みは再スキャンによって得た断層画像によって低減することができる。 Further, in the present embodiment, in order to perform fundus tracking at a higher speed, a partial frontal image of the fundus, which is small data, is used as a field image for fundus tracking. The processing device 2120 uses a frontal fundus image in the entire area consisting of large image data to perform highly accurate tracking and perform a rescan determination. As a result, even when a relatively large movement per unit time occurs on the fundus of the eye to be inspected, the distortion caused by this movement can be reduced by the tomographic image obtained by the rescan.

なお、上述した眼底断層画像の撮影処理では、1回の断層画像の取得に対して1つの再スキャンに関する情報(再スキャンを行うか否かと、行う場合にはどの走査線について行うかの情報)を得ている。しかし、探索領域の数や1つの断層画像の取得に要する速度によっては、1つの再スキャンに関する情報を得る間に、複数の断層画像が得られる場合も想定される。例えば図14の探索領域の1つに応じて1つの断層画像が得られるように、撮影装置110が制御され、探索領域の数に対応する枚数の断層画像が複数の走査線から得られこととしている。このような場合、M個の断層画像がM本の走査線から取得されるが、処理装置2120では1つの全域の眼底正面画像を用いて、M個の断層画像を取得している間に生じた固視微動量を求める。そして、固視微動量からアーチファクトが生じると推定される場合には、このM本の走査線を再スキャンの対象としてM個の断層画像の再取得を実行するとよい。 In the above-mentioned imaging process of the fundus tomographic image, information on one rescan for each acquisition of the tomographic image (information on whether or not to perform the rescan and, if so, which scanning line to perform). Is getting. However, depending on the number of search areas and the speed required to acquire one tomographic image, it is assumed that a plurality of tomographic images may be obtained while obtaining information on one rescan. For example, the imaging device 110 is controlled so that one tomographic image can be obtained according to one of the search areas in FIG. 14, and a number of tomographic images corresponding to the number of search areas can be obtained from a plurality of scanning lines. There is. In such a case, M tomographic images are acquired from M scanning lines, but the processing device 2120 occurs while acquiring M tomographic images using one frontal fundus image of the entire area. Find the amount of fixed vision tremor. Then, when it is estimated that an artifact is generated from the amount of fixation tremor, it is advisable to perform reacquisition of M tomographic images with the M scanning lines as the target of rescanning.

さらに、このような処理を行う場合、ステップS530の後に、制御部114により所定回数の断層画像の取得が行われたか否かを判定するステップを設けるとよい。例えば、加算平均画像を生成しようとする処理の場合には、加算平均画像を得るための所定数の断層画像の取得が終了していれば、制御部114はフローをステップS540に移行させる。まだ所定数の断層画像が取得てきていない場合には、制御部114はフローをステップS510に戻し、再度取得位置の補正処理と断層画像の取得処理とを繰り返す。また、例えばOCTAにおいて本実施形態を適用した場合には、血流等を判別可能となるように、同一個所の繰り返し走査を行って断層画像が所定回数取得される。また、同一個所の繰り返し走査を行わずに3次元の断層画像を得る場合には、所定の数の走査線に対応した断層画像が得られる数となるように、所定回数或いは探索領域の数が設定される。このように断層画像が所定回数取得されたタイミングと、ステップS560において再スキャンに関する情報が送信されるタイミングとを合わせることで、眼底トラッキングの速度を早くすることができる。 Further, when performing such a process, it is preferable to provide a step after step S530 to determine whether or not the tomographic image has been acquired a predetermined number of times by the control unit 114. For example, in the case of a process for generating an averaging image, if the acquisition of a predetermined number of tomographic images for obtaining the averaging image is completed, the control unit 114 shifts the flow to step S540. If a predetermined number of tomographic images have not been acquired yet, the control unit 114 returns the flow to step S510, and repeats the acquisition position correction process and the tomographic image acquisition process again. Further, for example, when the present embodiment is applied in OCTA, tomographic images are acquired a predetermined number of times by repeatedly scanning the same location so that blood flow and the like can be discriminated. Further, when a three-dimensional tomographic image is obtained without repeatedly scanning the same location, the number of tomographic images corresponding to a predetermined number of scanning lines is set to a predetermined number or the number of search areas. Set. By matching the timing at which the tomographic image is acquired a predetermined number of times with the timing at which the information regarding the rescan is transmitted in step S560, the speed of fundus tracking can be increased.

以上の構成によって、本実施形態では、眼底トラッキングのフィードバック制御を高速にすることができる。また、さらに眼底トラッキングに失敗したかどうかは、平行処理で処理装置2120が判定し、眼底トラッキングに失敗した走査線に関しては断層画像の再取得を行うことで、アーチファクトが低減された断層画像を得ることができる。このため、本実施形態では、被検眼の動きのうち単位時間あたりの動きが比較的大きい動き(固視微動のうちフリック動作等)が生じた場合には、この動きのタイミングで取得した断層画像を適宜再取得することが可能となる。即ち、本実施形態によれば、眼底トラッキングにかかる時間が短縮できるとともに、被検眼の大きな動きにも対応した断層画像の撮影が可能となる。 With the above configuration, in the present embodiment, the feedback control of fundus tracking can be increased in speed. Further, whether or not the fundus tracking has failed is determined by the processing device 2120 by parallel processing, and the tomographic image with the reduced artifacts is obtained by reacquiring the tomographic image for the scanning line for which the fundus tracking has failed. be able to. Therefore, in the present embodiment, when a movement (such as a flick movement among the fixed vision fine movements) in which the movement per unit time is relatively large among the movements of the eye to be inspected occurs, a tomographic image acquired at the timing of this movement occurs. Can be reacquired as appropriate. That is, according to the present embodiment, it is possible to shorten the time required for fundus tracking and to take a tomographic image corresponding to a large movement of the eye to be inspected.

なお、本発明は、上述した実施形態において説明した内容に限定されるものではなく、特許請求の範囲内において種々の変形等が可能である。また、眼科システムとしてOCT装置を用いたが、本発明はこれに限定されるものではない。眼底トラッキングが一般的に行われるOCTA、補償光学系を用いたSLO等の眼科システムにおいても、眼底トラキングの高速化はOCT装置と同様に求められており、従ってこれら眼科システムに対しても上述した構成は適用可能である。なお、例えばOCTAの場合には、装置構成は第1の実施形態で述べたものと同じである。相違点としては、処理装置120において複数の断層画像間における脱相間演算が行われ、画素値の時間的変化の対比を示すモーションコントラストを求める構成が付加される。しかし、撮影装置110と処理装置120との基本構成は変わらない。補償光学系を用いた所謂AO−SLOの場合には、眼底正面画像撮影部111とは別に、第1の実施形態における断層画像撮影部112に変えて補償光学SLOからなる眼底撮影部が設けられる。断層画像撮影部112と同様に、該眼底撮影部は断層画像撮影部112とは独立して眼底画像を撮影し、眼底正面画像撮影部111が取得した画像に関する情報から得た固視微動量に基づいて照明光の走査位置が補正される。即ち、補償光学系を用いたSLOにおいても固視微動量の検出とこれに伴うフィードバック制御は第1の実施形態と同様に行われ、従って第1の実施形態と同様の構成を配することでトラッキングの高速化を図ることができる。 The present invention is not limited to the contents described in the above-described embodiment, and various modifications and the like can be made within the scope of the claims. Moreover, although the OCT apparatus was used as an ophthalmic system, the present invention is not limited to this. In ophthalmic systems such as OCTA where fundus tracking is generally performed and SLO using adaptive optics, speeding up of fundus tracking is required in the same manner as in OCT devices. Therefore, these ophthalmologic systems are also described above. The configuration is applicable. In the case of OCTA, for example, the device configuration is the same as that described in the first embodiment. The difference is that the processing device 120 performs a phase-de-phase calculation between a plurality of tomographic images, and adds a configuration for obtaining a motion contrast indicating a contrast of temporal changes in pixel values. However, the basic configuration of the photographing device 110 and the processing device 120 does not change. In the case of the so-called AO-SLO using the adaptive optics system, a fundus imaging unit composed of the adaptive optics SLO is provided in place of the tomographic image imaging unit 112 in the first embodiment separately from the fundus front image capturing unit 111. .. Similar to the tomographic image capturing unit 112, the fundus imaging unit captures the fundus image independently of the tomographic image capturing unit 112, and the amount of fixation tremor obtained from the information about the image acquired by the fundus front image capturing unit 111. Based on this, the scanning position of the illumination light is corrected. That is, even in the SLO using the adaptive optics system, the detection of the fixed vision fine movement amount and the feedback control associated therewith are performed in the same manner as in the first embodiment, and therefore, by arranging the same configuration as in the first embodiment. Tracking can be speeded up.

上述したように、本実施形態では、処理装置(処理装置2120)は、眼底正面画像を用いて被検眼の眼底正面画像に基づく移動量(固視微動量)を算出する手段(画像処理部2124)を有する。本実施形態における撮影装置110は、算出された眼底正面画像に基づく移動量が処理装置2120で定められた閾値を超える場合に、閾値を超えたと判定された眼底正面画像に対応する干渉信号又は所得エリア内の干渉信号を再度取得する。なお、本実施形態では、干渉信号の再度の取得は、当初取得予定の断層画像を生成するための干渉信号をすべて取得した後に行われる。また、撮影装置110は、眼底正面画像の取得範囲を複数の範囲に分割し、分割された範囲から得られる輝度情報に基づいて干渉信号の取得位置を補正する。 As described above, in the present embodiment, the processing device (processing device 2120) is a means (image processing unit 2124) for calculating the movement amount (fixation fine movement amount) based on the fundus front image of the eye to be inspected using the fundus front image. ). When the movement amount based on the calculated frontal image of the fundus exceeds the threshold value set by the processing device 2120, the photographing device 110 in the present embodiment corresponds to the interference signal or income corresponding to the frontal image of the fundus determined to exceed the threshold value. Acquire the interference signal in the area again. In the present embodiment, the interference signal is acquired again after all the interference signals for generating the tomographic image to be initially acquired are acquired. Further, the photographing device 110 divides the acquisition range of the fundus front image into a plurality of ranges, and corrects the acquisition position of the interference signal based on the luminance information obtained from the divided ranges.

[第3の実施形態]
上述した第2の実施形態では、撮影装置110側で実行される眼底トラッキングに関連する処理と並行して、処理装置2120側で詳細な且つ比較的時間のかかる固視微動の検出処理を行っている。そして、処理装置2120にて取得した断層画像においてアーチファクトが生じる可能性が大きな固視微動量が算出された場合に、全ての断層画像の取得後に該アーチファクトを有するかもしれない断層画像の再取得を行うこととしている。このような再スキャンを行った場合、一連の断層画像の取得は連続的に行われることから撮影装置110側での眼底トラッキングが容易に行い得る反面、再取得される断層画像の取得開始までの時間がかかってしまう。
[Third Embodiment]
In the second embodiment described above, in parallel with the processing related to fundus tracking performed on the imaging device 110 side, detailed and relatively time-consuming fixation tremor detection processing is performed on the processing device 2120 side. There is. Then, when the amount of fixation tremor that is likely to cause an artifact is calculated in the tomographic image acquired by the processing device 2120, the tomographic image that may have the artifact is reacquired after all the tomographic images are acquired. I'm supposed to do it. When such a rescan is performed, since a series of tomographic images are continuously acquired, fundus tracking on the imaging device 110 side can be easily performed, but until the start of acquisition of the reacquired tomographic image. It takes time.

これに対し、第3の実施形態では、再スキャンの制御方法のみを第2実施形態とは異ならせている。具体的には、ある走査線からの断層画像の取得が終了するタイミングと略同じタイミングにて当該断層画像に関する再スキャン情報を得ることとしている。即ち、第2の実施形態とは、図12に示したステップS570及びS580において異なる。以下では、第2の実施形態とは異なる処理の部分についてのみ説明する。なお、以降の説明において、第3の実施形態における各構成要素は、第2の実施形態で述べた構成要素と同じであり、撮影動作においてのみ異なる。よって、本実施形態に係る断層画像撮影時に行われる処理の詳細について、図15のフローチャートを用いて説明する。なお、図15に示すフローチャートの各処理において、図12のフローチャートで述べた各処理と同じ処理については同じ参照符号を用いて図中で示すこととし、ここでの説明は省略する。 On the other hand, in the third embodiment, only the rescan control method is different from that of the second embodiment. Specifically, the rescan information regarding the tomographic image is obtained at substantially the same timing as the timing at which the acquisition of the tomographic image from a certain scanning line is completed. That is, it differs from the second embodiment in steps S570 and S580 shown in FIG. In the following, only the part of the processing different from the second embodiment will be described. In the following description, each component in the third embodiment is the same as the component described in the second embodiment, and is different only in the shooting operation. Therefore, the details of the processing performed at the time of taking the tomographic image according to the present embodiment will be described with reference to the flowchart of FIG. In each process of the flowchart shown in FIG. 15, the same process as each process described in the flowchart of FIG. 12 will be shown in the figure using the same reference numerals, and the description thereof will be omitted here.

<ステップS800>
ステップS530において断層画像が取得され、ステップS560において再スキャン情報に関する情報が送信されると、フローは制御部114によりステップS800に移行される。ステップS800では、ステップS560で再スキャンに関する情報として、上述したBスキャンのライン番号が送られている場合、制御部114によりフローはステップS510及びステップS540に移行される。そして、これらステップにおいて、再スキャンとなったエリア(走査線)での断層画像の取得と固視微動量の検出との処理が開始される。つまり、再スキャン情報が有る場合、即時に、再スキャンする範囲からの断層画像の取得が開始される。再スキャン情報がなかった場合、制御部114によりフローはステップS810に移行される。
<Step S800>
When the tomographic image is acquired in step S530 and the information regarding the rescan information is transmitted in step S560, the flow is shifted to step S800 by the control unit 114. In step S800, when the line number of the B scan described above is sent as the information regarding the rescan in step S560, the flow is shifted to step S510 and step S540 by the control unit 114. Then, in these steps, the processing of acquiring the tomographic image in the rescanned area (scanning line) and detecting the amount of fixation tremor is started. That is, if there is rescan information, the acquisition of the tomographic image from the rescan range is immediately started. If there is no rescan information, the control unit 114 shifts the flow to step S810.

<ステップS810>
ステップS810では、制御部114が、測定(断層画像の取得)が終了したか否かを判断する。OCTによる断層画像はノイズが多いので、例えば複数回の断層画像の取得を同一走査線に対して行い、取得結果の加算平均を行い、ノイズを低減することが行われる。また、上述したように、走査線の位置をずらしながら複数の断層画像を取得し、得られたデータを合成することで眼底の3次元画像(Cスキャン画像)を得ることもできる。測定の終了は、所定の回数の断層画像の取得が終了したか、又は所定のエリアからの断層画像の取得が終了したか否かによって判定される。断層画像の取得が終了した場合、撮影動作が終了する。ステップS810で取得が終了していない場合、制御部114はフローをステップS510及びステップS540に移行させ、所定の回数の取得が終了するまで以上の動作を繰り返す。即ち、本実施形態では、干渉信号の再度の取得は、眼底正面画像に基づく移動量が処理装置で定められた閾値を超えたと判断されることに応じて行われる。
<Step S810>
In step S810, the control unit 114 determines whether or not the measurement (acquisition of a tomographic image) has been completed. Since the tomographic image by OCT has a lot of noise, for example, the tomographic image is acquired a plurality of times for the same scanning line, the acquisition results are added and averaged, and the noise is reduced. Further, as described above, a three-dimensional image (C scan image) of the fundus can be obtained by acquiring a plurality of tomographic images while shifting the positions of the scanning lines and synthesizing the obtained data. The end of the measurement is determined by whether or not the acquisition of the tomographic image of a predetermined number of times is completed or the acquisition of the tomographic image from the predetermined area is completed. When the acquisition of the tomographic image is completed, the shooting operation is completed. If the acquisition is not completed in step S810, the control unit 114 shifts the flow to steps S510 and S540, and repeats the above operation until the acquisition is completed a predetermined number of times. That is, in the present embodiment, the re-acquisition of the interference signal is performed in response to the determination that the amount of movement based on the frontal image of the fundus exceeds the threshold value determined by the processing device.

以上の構成によって、本実施形態では、眼底トラッキングのフィードバック制御を高速にすることができる。また、さらに眼底トラッキングに失敗したかどうかは、平行処理で、処理装置2120が判定することで、アーチファクトが低減された断層画像を得ることができる。また、再スキャンを要する場合には、即時に再スキャンする範囲の断層画像の取得を開始することができる。 With the above configuration, in the present embodiment, the feedback control of fundus tracking can be increased in speed. Further, whether or not the fundus tracking has failed is determined by the processing device 2120 in parallel processing, so that a tomographic image with reduced artifacts can be obtained. Further, when rescanning is required, acquisition of a tomographic image in the range to be rescanned can be started immediately.

[その他の実施形態]
上述した実施形態では、OCT装置を例として、被検眼の眼底の断層画像を取得する場合において、眼底正面画像を得るための輝度情報を用いて撮影装置でトラッキングを行う場合について述べた。しかし、OCT装置は、眼底だけでなく、例えば前眼部や硝子体を撮影対象とすることもできる。この場合、例えば前眼部の断層画像を得る際にトラッキングで用いる移動量の算出には、上述した走査型レーザー検眼鏡だけでなく、前眼部カメラ等を用いて得た前眼部の正面画像に関する情報を用いてもよい。よって、第1の画像に関する情報は、トラッキングのための被検眼の移動量が得られるものであれば例示した走査型レーザー検眼鏡によるもの限られず、眼底画像に関する情報にも限られない。また、第2の画像に関する情報には、OCT装置やAO−OCT装置による眼底からの干渉信号だけでなく、前眼部や硝子体から得られる干渉信号も用いることができる。さらに、第2の画像に関する情報には、前眼部等、被検眼の眼底以外の部位からAO−SLOによって得られる輝度情報も用いることができる。また、上述した各実施形態では、本発明を撮影装置と画像を生成する装置とからなる眼科システムとして実現したが、本発明の実施形態は該眼科システムのみに限定されるものではない。例えば、本発明は該眼科システムに含まれる装置、該装置の作動方法、プログラムもしくは記憶媒体等としての実施態様をとることができる。また、本発明は、上述した実施形態で述べた眼科システムにおいて用いられる撮影装置としての実施態様をとることもできる。該撮影装置は、処理装置(処理装置120)と通信手段によって接続され、該処理装置は、輝度情報から眼底正面画像を、干渉信号から断層画像を生成する。該撮影装置は、輝度情報を取得し(SLO信号検出部245)、該情報を用いて演算回路115によって被検眼の移動量を算出し、算出された移動量を用いて干渉信号の取得位置(OCTにおける測定光の走査位置)を補正する。
[Other Embodiments]
In the above-described embodiment, an OCT device is used as an example to describe a case where a tomographic image of the fundus of the eye to be inspected is acquired and tracking is performed by the photographing device using the luminance information for obtaining a frontal image of the fundus. However, the OCT apparatus can target not only the fundus but also the anterior segment of the eye and the vitreous body, for example. In this case, for example, in calculating the amount of movement used in tracking when obtaining a tomographic image of the anterior segment, the front surface of the anterior segment obtained by using not only the scanning laser ophthalmoscope described above but also an anterior segment camera or the like. Information about the image may be used. Therefore, the information regarding the first image is not limited to the scanning laser ophthalmoscope illustrated as long as the amount of movement of the eye to be inspected for tracking can be obtained, and is not limited to the information regarding the fundus image. Further, as the information regarding the second image, not only the interference signal from the fundus of the eye by the OCT device or the AO-OCT device but also the interference signal obtained from the anterior segment of the eye or the vitreous body can be used. Further, as the information regarding the second image, the luminance information obtained by AO-SLO from a portion other than the fundus of the eye to be inspected, such as the anterior segment of the eye, can also be used. Further, in each of the above-described embodiments, the present invention has been realized as an ophthalmic system including a photographing device and an image generating device, but the embodiment of the present invention is not limited to the ophthalmic system. For example, the present invention can take an embodiment as a device included in the ophthalmic system, an operating method of the device, a program, a storage medium, or the like. In addition, the present invention can also take an embodiment as an imaging device used in the ophthalmic system described in the above-described embodiment. The imaging device is connected to a processing device (processing device 120) by a communication means, and the processing device generates an image of the front of the fundus from the luminance information and a tomographic image from the interference signal. The imaging device acquires brightness information (SLO signal detection unit 245), calculates the amount of movement of the eye to be inspected by the arithmetic circuit 115 using the information, and uses the calculated movement amount to acquire the interference signal acquisition position (SLO signal detection unit 245). The scanning position of the measurement light in OCT) is corrected.

なお、OCT装置としては、タイムドメインOCT(TD−OCT)装置やフーリエドメインOCT(FD−OCT)装置を含んでよい。また、フーリエドメインOCT装置はスペクトラルドメインOCT(SD−OCT)装置や波長掃引型OCT(SS−OCT)装置を含んでよい。また、OCT装置は、ライン光を用いたLine−OCT装置(あるいはSS−Line−OCT装置)を含んでよい。また、OCT装置は、エリア光を用いたFull Field−OCT装置(あるいはSS−Full Field−OCT装置)を含んでよい。また、OCT装置は、Doppler−OCT装置を含んでよい。また、SLO装置やOCT装置として、波面補償光学系を用いた波面補償SLO(AO−SLO)装置や波面補償OCT(AO−OCT)装置等を含んでよい。また、SLO装置やOCT装置として、偏光位相差や偏光解消に関する情報を可視化するための偏光SLO(PS−SLO)装置や偏光OCT(PS−OCT)装置等を含んでよい。また、SLO装置やOCT装置として、病理顕微鏡SLO装置や病理顕微鏡OCT装置等を含んでよい。また、SLO装置やOCT装置として、ハンドヘルド型のSLO装置やハンドヘルド型のOCT装置等を含んでよい。また、SLO装置やOCT装置として、カテーテルSLO装置やカテーテルOCT装置等を含んでよい。また、SLO装置やOCT装置として、ヘッドマウント型のSLO装置やヘッドマウント型のOCT装置等を含んでよい。また、SLO装置やOCT装置は、光学変倍可能な構成によって、撮影画角を変更可能なものであってもよい。また、SLO装置は、RGBの各光源を用いて、1つの受光素子で時分割に受光する構成又は複数の受光素子で同時に受光する構成によって、カラー画像や蛍光画像を取得可能なものであってもよい。 The OCT apparatus may include a time domain OCT (TD-OCT) apparatus and a Fourier domain OCT (FD-OCT) apparatus. Further, the Fourier domain OCT apparatus may include a spectral domain OCT (SD-OCT) apparatus and a wavelength sweep type OCT (SS-OCT) apparatus. Further, the OCT apparatus may include a Line-OCT apparatus (or SS-Line-OCT apparatus) using line light. Further, the OCT apparatus may include a Full Field-OCT apparatus (or SS-Full Field-OCT apparatus) using area light. In addition, the OCT device may include a Doppler-OCT device. Further, the SLO device and the OCT device may include a wave surface compensation SLO (AO-SLO) device using a wave surface compensation optical system, a wave surface compensation OCT (AO-OCT) device, and the like. Further, the SLO device and the OCT device may include a polarized SLO (PS-SLO) device, a polarized OCT (PS-OCT) device, and the like for visualizing information on polarization phase difference and polarization elimination. Further, the SLO device and the OCT device may include a pathological microscope SLO device, a pathological microscope OCT device, and the like. Further, the SLO device and the OCT device may include a handheld type SLO device, a handheld type OCT device, and the like. Further, the SLO device and the OCT device may include a catheter SLO device, a catheter OCT device and the like. Further, the SLO device and the OCT device may include a head-mounted SLO device, a head-mounted OCT device, and the like. Further, the SLO device and the OCT device may have a structure in which the shooting angle of view can be changed by a configuration capable of optical scaling. Further, the SLO device can acquire a color image or a fluorescence image by using each of the RGB light sources and having a configuration in which one light receiving element receives time-divisionally or a plurality of light receiving elements simultaneously receive light. May be good.

なお、上述した実施形態では、干渉信号の取得位置の補正は、OCT走査光学系を制御して測定光の照射位置を補正することで行っている。しかし、照射位置の補正は、OCT走査光学系の制御だけではなく、駆動系117を制御部114によって制御し、光学ヘッド部を被検眼100に対して相対的に3次元的に移動させることで行ってもよい。また、照射位置の補正は、顔受け部108を光学ヘッド部に対して相対的に3次元的に移動させることで行ってもよい。また、光学ヘッド部の駆動と顔受け部の駆動との両方であってもよいし、光学ヘッド部の駆動がXYZ方向のうち一部の移動を含み、顔受け部の駆動がXYZのうち残りの移動を含んでもよい。このように、これらの駆動は、光学ヘッド部と被検眼との位置関係を変更する光学部材の駆動であれば、何でもよい。すなわち、照射位置の補正は、光学ヘッド部と被検眼との位置関係を変更することで第2の画像に関する情報の取得位置を補正する構成であれば、何でもよい。 In the above-described embodiment, the correction of the acquisition position of the interference signal is performed by controlling the OCT scanning optical system to correct the irradiation position of the measurement light. However, the correction of the irradiation position is performed not only by controlling the OCT scanning optical system, but also by controlling the drive system 117 by the control unit 114 and moving the optical head unit three-dimensionally relative to the eye 100 to be inspected. You may go. Further, the correction of the irradiation position may be performed by moving the face receiving portion 108 three-dimensionally relative to the optical head portion. Further, both the driving of the optical head portion and the driving of the face receiving portion may be performed, the driving of the optical head portion includes a part of the movement in the XYZ direction, and the driving of the face receiving portion remains in the XYZ. May include movement of. As described above, these drives may be any drive as long as they are drives of an optical member that changes the positional relationship between the optical head portion and the eye to be inspected. That is, the correction of the irradiation position may be any configuration as long as it corrects the acquisition position of the information regarding the second image by changing the positional relationship between the optical head portion and the eye to be inspected.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

110、1110:撮影装置、 114:制御部、 115:演算回路、 116:記憶部、 120、1120、2120:処理装置、 121:画像生成部、 122:記憶部、 123:画像評価部、 2124:画像処理部 110: 1110: Imaging device, 114: Control unit, 115: Arithmetic circuit, 116: Storage unit, 120, 1120, 2120: Processing device, 121: Image generation unit, 122: Storage unit, 123: Image evaluation unit, 2124: Image processing unit

Claims (21)

被検眼の第1の画像に関する情報を用いて前記被検眼の移動に関する情報を取得する演算回路と、前記取得された移動に関する情報を用いて前記被検眼の第2の画像に関する情報の取得位置を補正する補正手段と、前記第1の画像に関する情報及び前記第2の画像に関する情報を送信する送信手段と、を含む撮影装置と、
前記撮影装置と通信手段によって接続され、前記第1の画像に関する情報及び前記第2の画像に関する情報を受信する受信手段と、前記受信した第1の画像に関する情報を用いて第1の画像を生成し、前記受信した第2の画像に関する情報を用いて第2の画像を生成する生成手段と、前記生成された第1の画像及び前記生成された第2の画像を表示手段に表示させる表示制御手段とを含む処理装置と、
を備える眼科システム。
An arithmetic circuit for acquiring information on the movement of the eye to be inspected using the information on the first image of the eye to be inspected, and a position for acquiring information on the second image of the eye to be inspected using the acquired information on the movement of the eye to be inspected. An imaging device including a correction means for correction, a transmission means for transmitting information regarding the first image and information regarding the second image, and a photographing device.
A first image is generated by using the receiving means which is connected to the photographing device by a communication means and receives the information about the first image and the information about the second image and the information about the received first image. Then, a generation means for generating the second image using the information about the received second image, and a display control for displaying the generated first image and the generated second image on the display means. Processing equipment including means and
Ophthalmic system with.
前記演算回路は、複数の前記第1の画像に関する情報間において二次元相関演算を行うことにより前記移動に関する情報を取得する請求項1に記載の眼科システム。 The ophthalmic system according to claim 1, wherein the calculation circuit acquires information on the movement by performing a two-dimensional correlation calculation between a plurality of information on the first image. 前記二次元相関演算において、前記第1の画像に関する情報から得られる画像のピクセル数を減少させることで得られる階層画像を用いて前記移動に関する情報の取得に用いるパターンを抽出し、前記第1の画像に関する情報から得られる画像の前記抽出されたパターンを含む領域における前記パターンの座標を用いて複数の前記第1の画像に関する情報から得られる画像間でのずれ量を求める粗密探索法により、前記移動に関する情報を取得する請求項2に記載の眼科システム。 In the two-dimensional correlation calculation, a pattern used for acquiring information on the movement is extracted using a hierarchical image obtained by reducing the number of pixels of the image obtained from the information on the first image, and the first image is described. By a coarse-dense search method for determining the amount of deviation between images obtained from a plurality of information on the first image using the coordinates of the pattern in the region including the extracted pattern of the image obtained from the information on the image. The ophthalmic system according to claim 2, which obtains information on movement. 前記二次元相関演算は、前記第1の画像を構成するピクセルに対して、サブピクセル単位で行われる請求項3に記載の眼科システム。 The ophthalmic system according to claim 3, wherein the two-dimensional correlation calculation is performed on a sub-pixel basis for the pixels constituting the first image. 前記演算回路は、前記移動に関する情報である移動量が閾値を超えるか否かを判定し、
前記撮影装置は、前記移動量が閾値を超えると判定された場合に、前記移動量が閾値を超えた第1の画像に関する情報に対応する第2の画像に関する情報を再度取得する請求項1乃至4のいずれか1項に記載の眼科システム。
The arithmetic circuit determines whether or not the movement amount, which is information about the movement, exceeds the threshold value, and determines whether or not the movement amount exceeds the threshold value.
When it is determined that the movement amount exceeds the threshold value, the photographing apparatus reacquires the information regarding the second image corresponding to the information regarding the first image in which the movement amount exceeds the threshold value. The ophthalmic system according to any one of 4.
前記処理装置は、前記第1の画像を用いて前記被検眼の第1の画像に基づく移動量を取得し、前記取得された第1の画像に基づく移動量が閾値を超えるか否かを判定し、
前記撮影装置は、前記取得された第1の画像に基づく移動量が閾値を超える場合に、前記移動量が閾値を超えた第1の画像に対応する第2の画像に関する情報を再度取得する請求項1乃至5のいずれか1項に記載の眼科システム。
The processing device acquires a movement amount based on the first image of the eye to be inspected using the first image, and determines whether or not the movement amount based on the acquired first image exceeds a threshold value. death,
When the movement amount based on the acquired first image exceeds the threshold value, the photographing device claims to reacquire the information regarding the second image corresponding to the first image in which the movement amount exceeds the threshold value. Item 3. The ophthalmic system according to any one of Items 1 to 5.
前記第2の画像に関する情報の再度の取得は、前記撮影装置が取得予定の前記第2の画像に関する情報を取得した後に行われる請求項6に記載の眼科システム。 The ophthalmic system according to claim 6, wherein the reacquisition of the information regarding the second image is performed after the photographing apparatus acquires the information regarding the second image to be acquired. 前記第2の画像に関する情報の再度の取得は、前記取得された第1の画像に基づく移動量が前記処理装置で定められた閾値を超えたと判断されることに応じて行われる請求項6に記載の眼科システム。 The sixth aspect of claim 6 is that the re-acquisition of the information regarding the second image is performed in response to the determination that the movement amount based on the acquired first image exceeds the threshold value determined by the processing apparatus. The described ophthalmic system. 前記第1の画像に関する情報は、インタレース方式で取得され、
前記演算回路は、前記第1の画像における奇数番目のピクセル列に対応する列から得られる情報と、偶数番目のピクセル列に対応する列から得られる情報とを合成して得たフィールド画像を第1の画像に関する情報として用いて前記移動に関する情報を取得する請求項1乃至8のいずれか1項に記載の眼科システム。
The information about the first image is obtained by an interlaced method.
The arithmetic circuit has a field image obtained by synthesizing information obtained from a column corresponding to an odd-numbered pixel string in the first image and information obtained from a column corresponding to an even-numbered pixel string. The ophthalmic system according to any one of claims 1 to 8, wherein the information related to the movement is acquired by using it as the information related to the image of 1.
前記第1の画像に関する情報は、インタレース方式で取得され、
前記演算回路は、前記第1の画像の奇数番目のピクセル列に対応する列から得られる情報、又は偶数番目のピクセル列に対応する列から得られる情報から生成したフィールド画像を第1の画像に関する情報として用いて前記移動に関する情報を取得する請求項1乃至8のいずれか1項に記載の眼科システム。
The information about the first image is obtained by an interlaced method.
The arithmetic circuit relates to a field image generated from information obtained from a column corresponding to an odd-numbered pixel string of the first image or information obtained from a column corresponding to an even-numbered pixel string with respect to the first image. The ophthalmic system according to any one of claims 1 to 8, wherein the information regarding the movement is acquired by using it as information.
前記撮影装置は、前記第1の画像の取得範囲を複数の範囲に分割し、前記分割された範囲から得られる前記第1の画像に関する情報に基づいて前記第2の画像に関する情報の取得位置を補正する請求項1乃至10のいずれか1項に記載の眼科システム。 The photographing apparatus divides the acquisition range of the first image into a plurality of ranges, and obtains the acquisition position of the information regarding the second image based on the information regarding the first image obtained from the divided ranges. The ophthalmic system according to any one of claims 1 to 10 to be amended. 前記補正手段は、被検眼に測定光を照射し且つ被検眼からの戻り光を検出するための光学系の少なくとも一部を含む光学ヘッド部と前記被検眼との位置関係を変更することで、又は前記被検眼において測定光を走査する走査光学系を制御することで、前記第2の画像に関する情報の取得位置を補正する請求項1乃至11のいずれか1項に記載の眼科システム。 The correction means changes the positional relationship between the eye to be inspected and an optical head portion including at least a part of an optical system for irradiating the eye to be inspected with measurement light and detecting return light from the eye to be inspected. Alternatively, the ophthalmic system according to any one of claims 1 to 11, wherein the scanning optical system that scans the measurement light in the eye to be inspected corrects the acquisition position of the information regarding the second image. 前記撮影装置は、前記被検眼から前記第1の画像に関する情報を取得する第1の撮影部と、前記被検眼から前記第2の画像に関する情報を取得する第2の撮影部と、をさらに含む請求項1乃至12のいずれか1項に記載の眼科システム。 The imaging device further includes a first imaging unit that acquires information about the first image from the eye to be inspected, and a second imaging unit that acquires information about the second image from the eye to be inspected. The ophthalmic system according to any one of claims 1 to 12. 前記第1の撮影部は、共焦点レーザー走査検眼鏡又は2次元センサを用いて前記第1の画像に関する情報を取得する請求項13に記載の眼科システム。 The ophthalmic system according to claim 13, wherein the first imaging unit acquires information regarding the first image by using a confocal laser scanning ophthalmoscope or a two-dimensional sensor. 前記第2の撮影部は、OCT装置を用いて前記第2の画像に関する情報を取得する請求項13又は14に記載の眼科システム。 The ophthalmic system according to claim 13 or 14, wherein the second imaging unit acquires information about the second image by using an OCT apparatus. 前記第1の画像に関する情報は、前記第1の画像を構成する複数の画素に対応する複数の輝度値の少なくとも一部であり、
前記演算回路は、前記第1の画像に関する情報として取得した前記複数の輝度値の少なくとも一部を対応する画素に配置して得られる画像を用いて前記移動に関する情報を取得する請求項1乃至15のいずれか1項に記載の眼科システム。
The information regarding the first image is at least a part of a plurality of luminance values corresponding to the plurality of pixels constituting the first image.
Claims 1 to 15 for the arithmetic circuit to acquire information on the movement by using an image obtained by arranging at least a part of the plurality of luminance values acquired as information on the first image on corresponding pixels. The ophthalmic system according to any one of the above.
前記第1の画像は前記被検眼の眼底の正面画像であり、前記第2の画像は前記被検眼の眼底の断層画像である請求項1乃至16のいずれか1項に記載の眼科システム。 The ophthalmic system according to any one of claims 1 to 16, wherein the first image is a frontal image of the fundus of the eye to be inspected, and the second image is a tomographic image of the fundus of the eye to be inspected. 前記通信手段は、USB又はギガビットイーサネットを含む請求項1乃至17のいずれか1項に記載の眼科システム。 The ophthalmic system according to any one of claims 1 to 17, wherein the communication means includes USB or Gigabit Ethernet. 被検眼の第1の画像に関する情報及び前記被検眼の第2の画像に関する情報を受信する受信手段と、前記受信した第1の画像に関する情報を用いて第1の画像を生成し、前記受信した第2の画像に関する情報を用いて第2の画像を生成する生成手段と、前記生成された第1の画像及び前記生成された第2の画像を表示手段に表示させる表示制御手段と、を含む処理装置と通信手段によって接続され、前記処理装置とともに眼科システムを構成する撮影装置であって、
前記被検眼の第1の画像に関する情報を用いて前記被検眼の移動に関する情報を取得する演算回路と、前記取得された移動に関する情報を用いて前記被検眼の第2の画像に関する情報の取得位置を補正する補正手段と、前記第1の画像に関する情報及び前記第2の画像に関する情報を送信する送信手段と、
を備える撮影装置。
A first image is generated using the receiving means for receiving the information regarding the first image of the eye to be inspected and the information regarding the second image of the eye to be inspected and the information regarding the received first image, and the first image is received. It includes a generation means for generating a second image using information about the second image, and a display control means for causing the display means to display the generated first image and the generated second image. An imaging device that is connected to a processing device by a communication means and constitutes an ophthalmic system together with the processing device.
An arithmetic circuit for acquiring information on the movement of the eye to be inspected using the information on the first image of the eye to be inspected, and a position for acquiring information on the second image of the eye to be inspected using the acquired information on the movement of the eye to be inspected. The correction means for correcting the above, the transmission means for transmitting the information regarding the first image and the information regarding the second image, and the transmission means.
A shooting device equipped with.
撮影装置において、被検眼の第1の画像に関する情報を用いて前記被検眼の移動に関する情報を取得し、前記取得された移動に関する情報を用いて前記被検眼の第2の画像に関する情報の取得位置を補正し、前記第1の画像に関する情報及び前記第2の画像に関する情報を送信し、
前記撮影装置と通信手段によって接続された処理装置において、前記第1の画像に関する情報及び前記第2の画像に関する情報を受信し、前記受信した第1の画像に関する情報を用いて第1の画像を生成し、前記受信した第2の画像に関する情報を用いて第2の画像を生成し、前記生成された第1の画像及び前記生成された第2の画像を表示手段に表示させることと、
を含む眼科システムの作動方法。
In the photographing apparatus, the information regarding the movement of the eye to be inspected is acquired using the information regarding the first image of the eye to be inspected, and the acquisition position of the information regarding the second image of the eye to be inspected using the acquired information regarding the movement of the eye to be inspected. Is corrected, and the information regarding the first image and the information regarding the second image are transmitted.
In a processing device connected to the photographing device by a communication means, information on the first image and information on the second image are received, and the first image is displayed using the information on the received first image. A second image is generated by using the information about the generated second image and the received second image, and the generated first image and the generated second image are displayed on the display means.
How to operate an ophthalmic system, including.
プロセッサーによって実行されると、該プロセッサーに請求項20に記載の眼科システムの作動方法の各工程を実行させる、プログラム。 A program that, when executed by a processor, causes the processor to perform each step of the method of operating an ophthalmic system according to claim 20.
JP2020014201A 2020-01-30 2020-01-30 Ophthalmologic system, actuation method for ophthalmologic system, and program Pending JP2021119910A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020014201A JP2021119910A (en) 2020-01-30 2020-01-30 Ophthalmologic system, actuation method for ophthalmologic system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020014201A JP2021119910A (en) 2020-01-30 2020-01-30 Ophthalmologic system, actuation method for ophthalmologic system, and program

Publications (1)

Publication Number Publication Date
JP2021119910A true JP2021119910A (en) 2021-08-19

Family

ID=77270157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020014201A Pending JP2021119910A (en) 2020-01-30 2020-01-30 Ophthalmologic system, actuation method for ophthalmologic system, and program

Country Status (1)

Country Link
JP (1) JP2021119910A (en)

Similar Documents

Publication Publication Date Title
JP6217085B2 (en) Ophthalmic imaging equipment
JP2013183909A (en) Image processing apparatus and image processing method
JP6463047B2 (en) Ophthalmic device and method of operating an ophthalmic device
JP6463048B2 (en) Image processing apparatus and method of operating image processing apparatus
JP6619202B2 (en) Ophthalmic imaging equipment
JP2019201952A (en) Imaging apparatus and control method thereof
JP5948757B2 (en) Fundus photographing device
JP2017158836A (en) Ophthalmologic apparatus and imaging method
JPWO2016017664A1 (en) Tomography system
JP5990932B2 (en) Ophthalmic tomographic imaging system
JP5987355B2 (en) Ophthalmic tomographic imaging system
JP6821411B2 (en) Ophthalmic equipment
JP2020032072A (en) Image processing device, image processing method and program
JP2021119910A (en) Ophthalmologic system, actuation method for ophthalmologic system, and program
JP2018114121A (en) Information processing device, information processing method and program
JP5649679B2 (en) Optical coherence tomography apparatus, control method of optical coherence tomography apparatus, and program
WO2019203091A1 (en) Image processing device, image processing method, and program
JP6594499B2 (en) Image processing apparatus and method of operating image processing apparatus
JP2015213644A (en) Inspection device, and control method thereof
JP6501649B2 (en) Ophthalmic apparatus, control method and program
JP2021154047A (en) Ophthalmologic image processing device and ophthalmologic image processing program
JP2020175216A (en) Image processing device, system, image processing method and program
JP2022111263A (en) Image processing apparatus, image processing method, and program
JP2019054990A (en) Ophthalmologic imaging apparatus, control method thereof, program, and recording medium
JP2021183280A (en) Imaging device, and operation method and program of the imaging device

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20220630