JP2019146683A

JP2019146683A - Information processing device, information processing method, and program

Info

Publication number: JP2019146683A
Application number: JP2018032107A
Authority: JP
Inventors: 原　廣志; Hiroshi Hara; 廣志原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-02-26
Filing date: 2018-02-26
Publication date: 2019-09-05
Anticipated expiration: 2038-02-26
Also published as: JP7005382B2

Abstract

To present information on a blood vessel acquired from motion contrast data and information on a tomographic image acquired from a tomographic image such that they are easily compared.SOLUTION: An information processing device includes: acquisition means for acquiring a vascular density obtained from a motion contrast image of a subject's eye and the thickness of a prescribed layer obtained from a tomographic image of the subject's eye; and display control means for displaying a map and information on a display unit such that one of the vascular density and the layer thickness is superimposed on the information on the other.SELECTED DRAWING: Figure 4

Description

本明細書の開示は、情報処理装置、情報処理方法およびプログラムに関する。 The disclosure of the present specification relates to an information processing apparatus, an information processing method, and a program.

造影剤を用いない血管造影法としてＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙ（ＯＣＴ）を用いた血管造影法（ＯＣＴＡｎｇｉｏｇｒａｐｈｙ：ＯＣＴＡ）が提案されている。特許文献１には、ＯＣＴにより取得した三次元のモーションコントラストデータを二次元平面に投影することで、血管画像（以下、ＯＣＴＡ画像という。）を生成することが開示されている。 As an angiographic method that does not use a contrast agent, an angiographic method (OCT Angiography: OCTA) using Optical Coherence Tomography (OCT) has been proposed. Patent Document 1 discloses that a blood vessel image (hereinafter referred to as an OCTA image) is generated by projecting three-dimensional motion contrast data acquired by OCT onto a two-dimensional plane.

また、非特許文献１には、ＯＣＴＡ画像を用いて、眼底内の血管密度を計測する技術が開示されている。 Non-Patent Document 1 discloses a technique for measuring the blood vessel density in the fundus using an OCTA image.

特開２０１６−２０９１９８号公報JP-A-2006-209198

Ｋｉｍｅｔａｌ．；”ＱｕａｎｔｉｆｙｉｎｇＭｉｃｒｏｖａｓｃｕｌａｒＤｅｎｓｉｔｙａｎｄＭｏｒｐｈｏｌｏｇｙｉｎＤｉａｂｅｔｉｃＲｅｔｉｎｏｐａｔｈｙＵｓｉｎｇＳｐｅｃｔｒａｌ−ＤｏｍａｉｎＯｐｔｉｃａｌＣｏｈｅｒｅｎｃｅＴｏｍｏｇｒａｐｈｙＡｎｇｉｏｇｒａｐｈｙ”，ＩＯＶＳ，５７（９），ＯＣＴ３６２−ＯＣＴ３７０，２０１６Kim et al. ; “Quantifying Microvascular Density and Morphology in Diabetic Retinopathy Usage Spectral- Domain Optical Coherence Tomography CT, O2

しかしながら、従来の技術では、モーションコントラストデータから得られた血管に関する情報と断層画像から得られた断層構造に関する情報とを比較容易に提示することができなかった。 However, in the prior art, it has not been possible to easily present information related to blood vessels obtained from motion contrast data and information related to tomographic structures obtained from tomographic images.

本明細書の開示は、モーションコントラストデータから得られた血管に関する情報と断層画像から得られた断層構造に関する情報とを比較容易に提示することを目的の一つとする。 An object of the disclosure of the present specification is to present information relating to a blood vessel obtained from motion contrast data and information relating to a tomographic structure obtained from a tomographic image in an easily comparable manner.

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の１つとして位置付けることができる。 In addition, the present invention is not limited to the above-described object, and is a function and effect derived from each configuration shown in the embodiment for carrying out the present invention, which is another object of the present invention. It can be positioned as one.

本明細書に開示の情報処理装置は、被検眼のモーションコントラスト画像から得られた血管密度と前記被検眼の断層画像から得られた所定の層の層厚を取得する取得手段と、
前記血管密度および前記層厚の一方を示すマップ上に他方の情報を重畳して前記マップと前記情報とを表示部に表示させる表示制御手段と、
を備える。 The information processing apparatus disclosed in the present specification includes an acquisition unit that acquires a blood vessel density obtained from a motion contrast image of a subject eye and a layer thickness of a predetermined layer obtained from a tomographic image of the subject eye;
Display control means for displaying the map and the information on a display unit by superimposing the other information on a map indicating one of the blood vessel density and the layer thickness;
Is provided.

本明細書の開示によれば、モーションコントラストデータから得られた血管に関する情報と断層画像から得られた断層構造に関する情報とを比較容易に提示することができる。 According to the disclosure of the present specification, information regarding blood vessels obtained from motion contrast data and information regarding tomographic structures obtained from tomographic images can be presented in an easily comparable manner.

実施例に係る画像処理システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the image processing system which concerns on an Example. 眼部の構造と断層画像と眼底画像の一例を説明するための図である。It is a figure for demonstrating an example of the structure of a eye part, a tomogram, and a fundus image. 実施例に係る画像処理システムの処理の流れの一例を示すフローチャートである。6 is a flowchart illustrating an example of a processing flow of the image processing system according to the embodiment. 実施例１に係る血管密度マップと網膜層厚、及び血管密度セクタマップを重畳表示した例を示す図である。FIG. 6 is a diagram illustrating an example in which a blood vessel density map, a retinal layer thickness, and a blood vessel density sector map according to the first embodiment are superimposed and displayed. 実施例１に係る網膜層厚マップと血管密度、及び網膜層厚セクタマップを重畳表示した例を示す図である。It is a figure which shows the example which superimposed and displayed the retinal layer thickness map, blood vessel density, and retinal layer thickness sector map which concern on Example 1. FIG. 実施例に係るモーションコントラストデータ生成の一例を説明するための図である。It is a figure for demonstrating an example of the motion contrast data generation which concerns on an Example. 実施例２に係る計測結果を経時的に表示する例を示す図である。It is a figure which shows the example which displays the measurement result which concerns on Example 2 with time.

以下、本発明を実施するための例示的な実施例を、図面を参照して詳細に説明する。ただし、以下の実施例で説明される寸法、材料、形状、及び構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成又は様々な条件に応じて変更できる。また、図面において、同一であるか又は機能的に類似している要素を示すために図面間で同じ参照符号を用いる。 Hereinafter, exemplary embodiments for carrying out the present invention will be described in detail with reference to the drawings. However, dimensions, materials, shapes, and relative positions of components described in the following embodiments are arbitrary and can be changed according to the configuration of the apparatus to which the present invention is applied or various conditions. Also, in the drawings, the same reference numerals are used between the drawings to indicate the same or functionally similar elements.

（実施例１）
以下の実施例では、本発明を適用した画像処理システムについて説明する。 Example 1
In the following embodiments, an image processing system to which the present invention is applied will be described.

図１は、本実施形態に係る画像処理装置（情報処理装置）３００を備える画像処理システム１００の構成を示す図である。図１に示すように、画像処理システム１００は、画像処理装置３００が、インタフェースを介して断層画像撮影装置（ＯＣＴとも言う）２００、眼底画像撮影装置４００、外部記憶部５００、表示部６００、入力部７００と接続されることにより構成されている。 FIG. 1 is a diagram illustrating a configuration of an image processing system 100 including an image processing apparatus (information processing apparatus) 300 according to the present embodiment. As shown in FIG. 1, in an image processing system 100, an image processing apparatus 300 includes a tomographic image capturing apparatus (also referred to as OCT) 200, a fundus image capturing apparatus 400, an external storage unit 500, a display unit 600, and an input via an interface. It is configured by being connected to the unit 700.

断層画像撮影装置２００は、眼部の断層画像を撮影する装置である。断層画像撮影装置に用いる装置は、例えばＳＤ−ＯＣＴまたはＳＳ−ＯＣＴである。なお、断層画像撮影装置２００は既知の装置であるため詳細な説明は省略し、ここでは、画像処理装置３００からの指示により行われる断層画像の撮影について説明を行う。 The tomographic imaging apparatus 200 is an apparatus that captures a tomographic image of the eye. An apparatus used for the tomographic imaging apparatus is, for example, SD-OCT or SS-OCT. The tomographic imaging apparatus 200 is a known apparatus and will not be described in detail. Here, the tomographic imaging performed in response to an instruction from the image processing apparatus 300 will be described.

図１において、ガルバノミラー２０１は、測定光の眼底における走査を行うためのものであり、ＯＣＴによる眼底の撮影範囲を規定する。また、駆動制御部２０２は、ガルバノミラー２０１の駆動範囲および速度を制御することで、眼底における平面方向の撮影範囲及び走査線数（平面方向の走査速度）を規定する。ここでは、簡単のためガルバノミラーは一つのユニットとして示したが、実際にはＸスキャン用のミラーとＹスキャン用の２枚のミラーで構成され、眼底上で所望の範囲を測定光で走査できる。 In FIG. 1, a galvanometer mirror 201 is for scanning the fundus of measurement light, and defines a fundus imaging range by OCT. Further, the drive control unit 202 controls the driving range and speed of the galvanometer mirror 201, thereby defining the imaging range in the planar direction and the number of scanning lines (scanning speed in the planar direction) on the fundus. Here, the galvanometer mirror is shown as one unit for the sake of simplicity, but it is actually composed of an X-scan mirror and two Y-scan mirrors, and a desired range can be scanned with measurement light on the fundus. .

フォーカス２０３は被検体である眼の前眼部を介し、眼底の網膜層にフォーカスするためのものである。測定光は、非図示のフォーカスレンズにより、被検体である眼の前眼部を介し、眼底の網膜層にフォーカスされる。眼底を照射した測定光は各網膜層で反射・散乱して戻る。 The focus 203 is for focusing on the retinal layer of the fundus through the anterior segment of the eye that is the subject. The measurement light is focused on the retinal layer of the fundus by the focus lens (not shown) through the anterior segment of the eye that is the subject. The measurement light that irradiates the fundus returns after being reflected and scattered by each retinal layer.

内部固視灯２０４は、表示部２４１、レンズ２４２で構成される。表示部２４１として複数の発光ダイオード（ＬＤ）がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部２０２の制御により撮影したい部位に合わせて変更される。表示部２４１からの光は、レンズ２４２を介し、被検眼に導かれる。表示部２４１から出射される光は例えば５２０ｎｍで、駆動制御部２０２により所望のパターンが表示される。 The internal fixation lamp 204 includes a display unit 241 and a lens 242. As the display portion 241, a display in which a plurality of light emitting diodes (LD) are arranged in a matrix is used. The lighting position of the light emitting diode is changed according to the part to be photographed under the control of the drive control unit 202. The light from the display unit 241 is guided to the eye to be examined through the lens 242. The light emitted from the display unit 241 is, for example, 520 nm, and a desired pattern is displayed by the drive control unit 202.

コヒーレンスゲートステージ２０５は、被検眼の眼軸長の相違等に対応するため、駆動制御部２０２により制御されている。コヒーレンスゲートとは、ＯＣＴにおける測定光と参照光の光学距離が等しい位置を表す。さらには、撮影方法としてコヒーレンスゲートの位置を制御することにより、網膜層側か、あるいは網膜層より深部側とする撮影を行うことを制御する。ここで、画像処理システムで取得する眼の構造と画像について図２を用いて説明する。 The coherence gate stage 205 is controlled by the drive control unit 202 in order to cope with a difference in the axial length of the eye to be examined. The coherence gate represents a position where the optical distances of the measurement light and the reference light in OCT are equal. Furthermore, by controlling the position of the coherence gate as an imaging method, it is controlled to perform imaging on the retinal layer side or on the deeper side than the retinal layer. Here, the structure and image of the eye acquired by the image processing system will be described with reference to FIG.

図２（ａ）に眼球の模式図を示す。図２（ａ）において、Ｃは角膜、ＣＬは水晶体、Ｖは硝子体、Ｍは黄斑部（黄斑の中心部は中心窩を表す）、Ｄは視神経乳頭部を表す。本実施形態にかかる断層画像撮影装置２００は、主に、硝子体、黄斑部、視神経乳頭部を含む網膜の後極部を撮影する場合について説明を行う。なお、本発明では説明をしないが、断層画像撮影装置２００は、角膜、水晶体の前眼部を撮影することも可能である。 FIG. 2A shows a schematic diagram of an eyeball. In FIG. 2A, C represents the cornea, CL represents the lens, V represents the vitreous body, M represents the macula (the central portion of the macula represents the fovea), and D represents the optic papilla. The tomographic imaging apparatus 200 according to the present embodiment will mainly describe the case of imaging the posterior pole part of the retina including the vitreous body, the macula, and the optic papilla. Although not described in the present invention, the tomographic imaging apparatus 200 can also capture the cornea and the anterior segment of the crystalline lens.

図２（ｂ）に断層画像撮影装置２００が取得する網膜を撮影した場合の断層画像の例を示す。図２（ｂ）において、ＡＳはＡスキャンというＯＣＴ断層画像における画像取得の単位を表す。このＡスキャンを図中ｘの方向に複数実施して一つのＢスキャンを構成する。そしてこのＢスキャンのことを断層画像（あるいは断層像）と呼ぶ。図２（ｂ）において、Ｖｅは血管、Ｖは硝子体、Ｍは黄斑部、Ｄは視神経乳頭部を表す。また、Ｌ１は内境界膜（ＩＬＭ）と神経線維層（ＮＦＬ）との境界、Ｌ２は神経線維層と神経節細胞層（ＧＣＬ）との境界、Ｌ３は視細胞内節外節接合部（ＩＳＯＳ）、Ｌ４は網膜色素上皮層（ＲＰＥ）、Ｌ５はブルッフ膜（ＢＭ）、Ｌ６は脈絡膜を表す。断層画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（深さ方向）をｚ軸とする。 FIG. 2B shows an example of a tomographic image when the retina acquired by the tomographic imaging apparatus 200 is captured. In FIG. 2B, AS represents an image acquisition unit in an OCT tomographic image called A scan. A plurality of A scans are performed in the direction x in the figure to constitute one B scan. This B scan is called a tomographic image (or tomographic image). In FIG. 2B, Ve represents a blood vessel, V represents a vitreous body, M represents a macular region, and D represents an optic papilla. L1 is the boundary between the inner boundary membrane (ILM) and the nerve fiber layer (NFL), L2 is the boundary between the nerve fiber layer and the ganglion cell layer (GCL), and L3 is the joint between the inner and outer segments of photoreceptor cells (ISOS). ), L4 represents the retinal pigment epithelial layer (RPE), L5 represents the Bruch's membrane (BM), and L6 represents the choroid. In the tomographic image, the horizontal axis (OCT main scanning direction) is the x-axis, and the vertical axis (depth direction) is the z-axis.

図２（ｃ）に眼底画像撮影装置４００が取得する眼底画像の例を示す。眼底画像撮影装置４００は、眼部の眼底画像を撮影する装置であり、当該装置としては、例えば、眼底カメラやＳＬＯ（ＳｃａｎｎｉｎｇＬａｓｅｒＯｐｈｏｔｈａｌｍｏｓｃｏｐｅ）等が挙げられる。図２（ｃ）において、Ｍは黄斑部、Ｄは視神経乳頭部を表し、太い曲線は網膜の血管を表す。眼底画像において、横軸（ＯＣＴの主走査方向）をｘ軸、縦軸（ＯＣＴの副走査方向）をｙ軸とする。なお、断層画像撮影装置２００と眼底画像撮影装置４００の装置構成は、一体型でもよいし別体型でもよい。 FIG. 2C illustrates an example of a fundus image acquired by the fundus image capturing apparatus 400. The fundus image capturing apparatus 400 is an apparatus that captures a fundus image of an eye part. Examples of the apparatus include a fundus camera and an SLO (Scanning Laser Ophthalmoscope). In FIG. 2C, M represents the macula, D represents the optic papilla, and the thick curve represents the blood vessels of the retina. In the fundus image, the horizontal axis (OCT main scanning direction) is the x-axis, and the vertical axis (OCT sub-scanning direction) is the y-axis. Note that the device configurations of the tomographic imaging apparatus 200 and the fundus imaging apparatus 400 may be an integrated type or a separate type.

画像処理装置３００は、画像取得部３０１、記憶部３０２、画像処理部３０３、指示部３０４、表示制御部３０５を備える。画像取得部３０１は、断層画像生成部３１１、モーションコントラストデータ生成部３１２を備える。画像取得部３０１は、断層画像撮影装置２００により撮影された断層画像の信号データを取得し、信号処理を行うことで断層画像の生成、ならびにモーションコントラストデータの生成を行う。また、眼底画像撮影装置２００により撮影された眼底画像データを取得する。そして、生成した断層画像と眼底画像を記憶部３０２に格納する。画像処理部３０３は、前処理部３３１、画像生成部３３２、検出部３３３からなる。 The image processing apparatus 300 includes an image acquisition unit 301, a storage unit 302, an image processing unit 303, an instruction unit 304, and a display control unit 305. The image acquisition unit 301 includes a tomographic image generation unit 311 and a motion contrast data generation unit 312. The image acquisition unit 301 acquires signal data of a tomographic image captured by the tomographic imaging apparatus 200 and performs signal processing to generate a tomographic image and motion contrast data. Further, fundus image data captured by the fundus image capturing apparatus 200 is acquired. The generated tomographic image and fundus image are stored in the storage unit 302. The image processing unit 303 includes a preprocessing unit 331, an image generation unit 332, and a detection unit 333.

前処理部３３１は、モーションコントラストデータからアーティファクトを除去する処理を行う。画像生成部３３２は、三次元のモーションコントラストデータから二次元のモーションコントラスト正面画像（ＯＣＴＡ画像とも言う）を生成する。検出部３３３は、網膜から各層の境界線を検出する。 The preprocessing unit 331 performs processing for removing artifacts from the motion contrast data. The image generation unit 332 generates a two-dimensional motion contrast front image (also referred to as an OCTA image) from the three-dimensional motion contrast data. The detection unit 333 detects the boundary line of each layer from the retina.

外部記憶部５００は、被検眼に関する情報（患者の氏名、年齢、性別など）と、撮影した画像データ、撮影パラメータ、画像解析パラメータ、操作者によって設定されたパラメータをそれぞれ関連付けて保持している。 The external storage unit 500 stores information relating to the eye to be examined (patient name, age, sex, etc.), captured image data, imaging parameters, image analysis parameters, and parameters set by the operator in association with each other.

入力部７００は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部７００を介して、画像処理装置３００や断層画像撮影装置２００、眼底画像撮影装置４００へ指示を行う。 The input unit 700 is, for example, a mouse, a keyboard, a touch operation screen, and the like, and an operator gives an instruction to the image processing apparatus 300, the tomographic image capturing apparatus 200, and the fundus image capturing apparatus 400 via the input unit 700.

次に図３を参照して本実施形態の画像処理装置３００の処理手順を示す。 Next, a processing procedure of the image processing apparatus 300 of this embodiment will be described with reference to FIG.

＜ステップＳ３０１＞
ステップＳ３０１では被検眼をスキャンして撮影を行う。被検眼のスキャンは、操作者が非図示のスキャン開始を選択すると、断層画像撮影装置２００は、駆動制御部２０２を制御し、ガルバノミラー２０１を動作させて断層画像のスキャンを行う。ガルバノミラー２０１は、水平方向用のＸスキャナと垂直方向用のＹスキャナで構成される。そのため、これらのスキャナの向きをそれぞれ変更すると、装置座標系における水平方向（Ｘ）、垂直方向（Ｙ）それぞれの方向に走査することが出来る。そして、これらのスキャナの向きを同時に変更させることで、水平方向と垂直方向とを合成した方向に走査することが出来るため、眼底平面上の任意の方向に走査することが可能となる。 <Step S301>
In step S301, the eye to be examined is scanned and imaged. When the operator selects a scan start (not shown), the tomographic imaging apparatus 200 controls the drive control unit 202 and operates the galvano mirror 201 to scan the tomographic image. The galvanometer mirror 201 includes a horizontal X scanner and a vertical Y scanner. Therefore, if the orientations of these scanners are changed, scanning can be performed in the horizontal direction (X) and the vertical direction (Y) in the apparatus coordinate system. By simultaneously changing the orientations of these scanners, it is possible to scan in the direction in which the horizontal direction and the vertical direction are combined, and thus it is possible to scan in any direction on the fundus plane.

撮影を行うにあたり各種撮影パラメータの調整を行う。具体的には、内部固視灯の位置、スキャン範囲、スキャンパターン、コヒーレンスゲート位置、フォーカスを少なくとも設定する。駆動制御部２０２は、表示部２４１の発光ダイオードを制御して、黄斑部中心や視神経乳頭に撮影を行うように内部固視灯２０４の位置を制御する。スキャンパターンは、三次元ボリュームを撮影するラスタスキャンや放射状スキャン、クロススキャンなどのスキャンパターンを設定する。これら撮影パラメータの調整終了後、操作者が非図示の撮影開始を選択することで撮影を行う。 When shooting, various shooting parameters are adjusted. Specifically, at least the position of the internal fixation lamp, the scan range, the scan pattern, the coherence gate position, and the focus are set. The drive control unit 202 controls the position of the internal fixation lamp 204 to control the light emitting diode of the display unit 241 so as to perform imaging on the center of the macula or the optic disc. As the scan pattern, a scan pattern such as a raster scan, a radial scan, or a cross scan for photographing a three-dimensional volume is set. After the adjustment of the shooting parameters, the operator performs shooting by selecting a shooting start (not shown).

＜ステップＳ３０２＞
ステップＳ３０２では、断層画像の生成を行う。断層画像生成部３１１は、それぞれの干渉信号に対して、一般的な再構成処理を行うことで、断層画像を生成する。 <Step S302>
In step S302, a tomographic image is generated. The tomographic image generation unit 311 generates a tomographic image by performing general reconstruction processing on each interference signal.

まず、断層画像生成部３１１は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のＡスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、断層画像生成部３１１は、有限区間でフーリエ変換した場合にトレードオフの関係となる深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。次に、ＦＦＴ処理を行う事によって断層信号を生成する。 First, the tomographic image generation unit 311 performs fixed pattern noise removal from the interference signal. Fixed pattern noise removal is performed by extracting fixed pattern noise by averaging a plurality of detected A-scan signals and subtracting this from the input interference signal. Next, the tomographic image generation unit 311 performs desired window function processing in order to optimize the depth resolution and dynamic range that are in a trade-off relationship when Fourier transform is performed in a finite section. Next, a tomographic signal is generated by performing FFT processing.

＜ステップＳ３０３＞
ステップＳ３０３では、モーションコントラストデータ生成部３１２がモーションコントラストデータの生成を行う。このデータ生成について図６を用いて説明を行う。ＭＣは三次元のモーションコントラストデータを示し、ＬＭＣは三次元のモーションコントラストデータを構成する二次元のモーションコントラストデータを示している。ここでは、このＬＭＣを生成する方法について説明をする。 <Step S303>
In step S303, the motion contrast data generation unit 312 generates motion contrast data. This data generation will be described with reference to FIG. MC indicates three-dimensional motion contrast data, and LMC indicates two-dimensional motion contrast data constituting the three-dimensional motion contrast data. Here, a method for generating the LMC will be described.

モーションコントラストデータ生成部３１２は、まず被検眼の同一範囲で撮影された複数の断層像間の位置ずれを補正する。位置ずれの補正方法は任意の方法であってよい。例えば、モーションコントラストデータ生成部３１２は、同一範囲をＭ回撮影し、同一箇所に相当する断層像データ同士について、眼底形状等の特徴等を利用して位置合わせを行う。具体的には、Ｍ個の断層像データのうちの１つをテンプレートとして選択し、テンプレートの位置と角度を変えながらその他の断層像データとの類似度を求め、テンプレートとの位置ずれ量を求める。その後、モーションコントラストデータ生成部３１２は、求めた位置ずれ量に基づいて、各断層像データを補正する。 The motion contrast data generation unit 312 first corrects a positional deviation between a plurality of tomographic images captured in the same range of the eye to be examined. The method for correcting the misalignment may be any method. For example, the motion contrast data generation unit 312 shoots the same range M times, and aligns the tomographic image data corresponding to the same location using features such as the fundus shape. Specifically, one of M pieces of tomographic image data is selected as a template, the degree of similarity with other tomographic image data is obtained while changing the position and angle of the template, and the amount of positional deviation from the template is obtained. . Thereafter, the motion contrast data generation unit 312 corrects each tomographic image data based on the obtained positional deviation amount.

次にモーションコントラストデータ生成部３１２は、各断層像データに関する撮影時間が互いに連続する、２つの断層像データ間で式１により脱相関値Ｍ（ｘ，ｚ）を求める。 Next, the motion contrast data generation unit 312 obtains a decorrelation value M (x, z) using Equation 1 between two tomographic image data in which imaging times related to the respective tomographic image data are continuous with each other.

ここで、Ａ（ｘ，ｚ）は断層像データＡの位置（ｘ、ｚ）における輝度、Ｂ（ｘ，ｚ）は断層像データＢの同一位置（ｘ、ｚ）における輝度を示している。 Here, A (x, z) indicates the luminance at the position (x, z) of the tomographic image data A, and B (x, z) indicates the luminance at the same position (x, z) of the tomographic image data B.

脱相関値Ｍ（ｘ，ｚ）は０〜１の値となり、２つの輝度の差が大きいほどＭ（ｘ，ｚ）の値は大きくなる。モーションコントラストデータ生成部３１２は、同一位置で繰り返し取得したＭが３以上の場合には、同一位置（ｘ、ｚ）において複数の脱相関値Ｍ（ｘ，ｚ）を求めることができる。モーションコントラストデータ生成部３１２は、求めた複数の脱相関値Ｍ（ｘ，ｚ）の最大値演算や平均演算などの統計的な処理を行うことで、最終的なモーションコントラストデータを生成することができる。なお、繰り返し回数Ｍが２の場合、最大値演算や平均演算などの統計的な処理は行わず、隣接する二つの断層像ＡとＢの脱相関値Ｍ（ｘ，ｚ）が、位置（ｘ、ｚ）におけるモーションコントラスト値となる。 The decorrelation value M (x, z) is a value from 0 to 1, and the value of M (x, z) increases as the difference between the two luminances increases. The motion contrast data generation unit 312 can obtain a plurality of decorrelation values M (x, z) at the same position (x, z) when M repeatedly acquired at the same position is 3 or more. The motion contrast data generation unit 312 can generate final motion contrast data by performing statistical processing such as the maximum value calculation and the average calculation of the obtained plurality of decorrelation values M (x, z). it can. When the number of repetitions M is 2, statistical processing such as maximum value calculation and average calculation is not performed, and the decorrelation values M (x, z) of two adjacent tomographic images A and B are located at the position (x , Z) is the motion contrast value.

式１に示したモーションコントラストの計算式はノイズの影響を受けやすい傾向がある。例えば、複数の断層像データの無信号部分にノイズがあり、互いに値が異なる場合には、脱相関値が高くなり、モーションコントラスト画像にもノイズが重畳してしまう。これを避けるために、モーションコントラストデータ生成部３１２は、前処理として、断層データにおいて所定の閾値を下回る輝度値を有する部分はノイズとみなして、当該部分におけるモーションコントラスト値をゼロに置き換えることができる。これにより、画像生成部３３２は、生成されたモーションコントラストデータに基づいて、ノイズの影響を低減したモーションコントラスト画像を生成することができる。 The motion contrast calculation formula shown in Formula 1 tends to be susceptible to noise. For example, when there is noise in a non-signal portion of a plurality of tomographic image data and the values are different from each other, the decorrelation value becomes high and the noise is also superimposed on the motion contrast image. In order to avoid this, as a preprocessing, the motion contrast data generation unit 312 can regard a portion having a luminance value lower than a predetermined threshold in the tomographic data as noise, and can replace the motion contrast value in the portion with zero. . Thereby, the image generation part 332 can generate | occur | produce the motion contrast image which reduced the influence of noise based on the produced | generated motion contrast data.

＜ステップＳ３０４＞
ステップＳ３０４では、検出部３３３が、断層画像撮影装置２００が撮影した断層画像から網膜層の境界線を検出する。なお、境界線は１枚の断層画像から検出することとしてもよいし、モーションコントラスト画像を生成する際に取得した複数の断層画像を加算平均して得られた加算平均画像から検出することとしてもよい。検出部３３３は、図２（ｂ）の断層画像においてＬ１〜Ｌ６の各境界、あるいは非図示のＧＣＬ／ＩＰＬ、ＩＰＬ／ＩＮＬ、ＩＮＬ／ＯＰＬ、ＯＰＬ／ＯＮＬ境界のいずれかを検出する。検出部３３３は、処理の対象とする断層画像に対して、メディアンフィルタとＳｏｂｅｌフィルタをそれぞれ適用して画像を作成する（以下、メディアン画像、Ｓｏｂｅｌ画像とする）。次に、検出部３３３は、作成したメディアン画像とＳｏｂｅｌ画像から、Ａスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Ｓｏｂｅｌ画像では勾配のプロファイルとなる。そして、検出部３３３は、Ｓｏｂｅｌ画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、検出部３３３は網膜層の各領域の境界を検出する。検出部３３３は検出した網膜層の境界間の距離から網膜層の所望の層厚みを計測することが可能であり、計測した網膜層の厚みを記憶部３０２に保存する。 <Step S304>
In step S304, the detection unit 333 detects the boundary line of the retinal layer from the tomographic image captured by the tomographic image capturing apparatus 200. The boundary line may be detected from a single tomographic image, or may be detected from an averaged image obtained by averaging a plurality of tomographic images acquired when generating a motion contrast image. Good. The detection unit 333 detects each of the boundaries L1 to L6 or a GCL / IPL, IPL / INL, INL / OPL, or OPL / ONL boundary (not shown) in the tomographic image of FIG. The detection unit 333 creates an image by applying a median filter and a Sobel filter to the tomographic image to be processed (hereinafter referred to as a median image and a Sobel image). Next, the detection unit 333 creates a profile for each A scan from the created median image and Sobel image. The median image has a luminance value profile, and the Sobel image has a gradient profile. Then, the detection unit 333 detects a peak in the profile created from the Sobel image. The detection unit 333 detects the boundary of each region of the retinal layer by referring to the profile of the median image corresponding to before and after the detected peak and between the peaks. The detection unit 333 can measure a desired layer thickness of the retinal layer from the detected distance between the boundaries of the retinal layer, and stores the measured thickness of the retinal layer in the storage unit 302.

なお、網膜層の境界を検出する断層像については、ステップＳ３０３でモーションコントラストデータ生成に用いる時間的に異なる複数の同一領域の断層像を用いて各断層像から得られる網膜層の境界位置を平均化して網膜層厚を計測することも可能である。 For the tomographic image for detecting the boundary of the retinal layer, the boundary position of the retinal layer obtained from each tomographic image is averaged using a plurality of temporally different tomographic images used for motion contrast data generation in step S303. It is also possible to measure the retinal layer thickness.

＜ステップＳ３０５＞
ステップＳ３０５では、画像生成部３３２が、モーションコントラストデータを用いて血管密度の計測を実施する。まず、画像生成部３３２が、モーションコントラストデータを、血管密度の計測を実施する深度範囲で投影を行い、ＯＣＴＡ画像（ＯＡＴＡのＥｎＦａｃｅ画像）を生成する。血管密度の計測を実施する深度範囲については、網膜層を選択するＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）を設け、ステップＳ３０４で検出した網膜層の境界線に対応して、ユーザが複数の網膜層から選択できるよう構成することが可能である。また、深度範囲はデフォルトで定められた深度範囲であってもよい。なお、ＯＣＴＡ画像を生成するための投影法としては最大値投影（ＭＩＰ；ＭａｘｉｍｕｍＩｎｔｅｎｓｉｔｙＰｒｏｊｅｃｔｉｏｎ）・平均値投影（ＡＩＰ；ＡｖｅｒａｇｅＩｎｔｅｎｓｉｔｙＰｒｏｊｅｃｔｉｏｎ）のいずれかを任意で選択できる。投影方法を選択可能とするために、投影方法を選択するＵＩを設け、ユーザが選択できるよう構成することが可能である。続いて、画像生成部３３２は、血管領域の特定処理を実施する。血管領域の特定は、例えば、ＯＣＴＡ画像に対して２値化処理を施し、輝度値が０より大きい領域を血管領域とする。画像生成部３３２は、特定した血管領域の面積を計算することで、ＯＣＴＡ画像における血管密度ＶＡＤを計測することが可能となる。ＶＡＤはＶｅｓｓｅｌＡｒｅａＤｅｎｓｉｔｙの略であり、計測対象に含まれる血管領域の割合で定義される血管密度（単位：％）である。すなわち、ＶＡＤは血管面積密度である。なお、血管密度ＶＡＤの計測方法は上記の例に限定されるものではなく公知の種々の手法を使って実現可能である。 <Step S305>
In step S305, the image generation unit 332 measures blood vessel density using the motion contrast data. First, the image generation unit 332 projects the motion contrast data in a depth range where blood vessel density is measured, and generates an OCTA image (OATA EnFace image). For the depth range in which the blood vessel density is measured, a UI (User Interface) for selecting a retinal layer is provided so that the user can select from a plurality of retinal layers corresponding to the boundary line of the retinal layer detected in step S304. It is possible to configure. The depth range may be a depth range determined by default. Note that, as a projection method for generating the OCTA image, any one of a maximum value projection (MIP) and an average value projection (AIP) can be arbitrarily selected. In order to be able to select a projection method, a UI for selecting the projection method can be provided so that the user can select it. Subsequently, the image generation unit 332 performs a blood vessel region specifying process. For specifying the blood vessel region, for example, binarization processing is performed on the OCTA image, and a region having a luminance value larger than 0 is set as a blood vessel region. The image generation unit 332 can measure the blood vessel density VAD in the OCTA image by calculating the area of the specified blood vessel region. VAD is an abbreviation for Vessel Area Density and is a blood vessel density (unit:%) defined by the ratio of the blood vessel region included in the measurement target. That is, VAD is a blood vessel area density. The measuring method of the blood vessel density VAD is not limited to the above example, and can be realized using various known methods.

また、画像生成部３３２は、ＯＣＴＡ画像に対して２値化処理を施すことによって得られた２値画像に対して細線化処理を行うことで、血管の中心線に相当する線幅１画素の２値画像を生成することができる。そして、当該２値画像における輝度値が０より大きい画素（血管に相当する画素）を計測することで得られる血管の長さの総和から、血管密度ＶＬＤを計測することが可能となる。ＶＬＤはＶｅｓｓｅｌＬｅｎｇｔｈＤｅｎｓｉｔｙの略であり、単位面積あたりに含まれる血管の長さの総和（単位：ｍｍ^−１）で定義される血管密度である。すなわち、ＶＬＤは血管長密度である。なお、血管密度ＶＬＤの計測方法は上記の例に限定されるものではなく公知の種々の手法を使って実現可能である。 In addition, the image generation unit 332 performs thinning processing on a binary image obtained by performing binarization processing on the OCTA image, so that the line width corresponding to the central line of the blood vessel is 1 pixel. A binary image can be generated. Then, it is possible to measure the blood vessel density VLD from the total sum of the lengths of blood vessels obtained by measuring pixels (pixels corresponding to blood vessels) having a luminance value greater than 0 in the binary image. VLD is an abbreviation for Vessel Length Density, and is a blood vessel density defined by the total length (unit: mm ⁻¹ ) of blood vessels included per unit area. That is, VLD is the blood vessel length density. The measuring method of the blood vessel density VLD is not limited to the above example, and can be realized using various known methods.

計測後、画像生成部３３２は計測した結果（ＶＡＤ、ＶＬＤ）を記憶部３０２に保存する。 After the measurement, the image generation unit 332 stores the measurement results (VAD, VLD) in the storage unit 302.

＜ステップＳ３０６＞
ステップＳ３０６では、表示制御部３０５は、記憶部３０２に保存した網膜層の厚み計測結果、及び血管密度の計測結果に基づいて、解析マップを表示部６００に表示させる。例えば、表示制御部３０５は、血管密度が計測された深さ範囲の網膜層の層厚および血管密度の計測結果を記憶部３０２から取得して表示部６００に表示させる。すなわち、表示制御部３０５は、被検眼のモーションコントラスト画像から得られた血管密度と被検眼の断層画像から得られた所定の層の層厚を取得する取得手段の一例として機能する。 <Step S306>
In step S306, the display control unit 305 causes the display unit 600 to display an analysis map based on the retinal layer thickness measurement result and the blood vessel density measurement result stored in the storage unit 302. For example, the display control unit 305 acquires the measurement result of the layer thickness of the retinal layer and the blood vessel density in the depth range in which the blood vessel density is measured from the storage unit 302 and causes the display unit 600 to display the measurement result. That is, the display control unit 305 functions as an example of an acquisition unit that acquires the blood vessel density obtained from the motion contrast image of the eye to be examined and the layer thickness of the predetermined layer obtained from the tomographic image of the eye to be examined.

本実施例で表示する解析マップについて、図４、及び図５を用いて説明を行う。図４（ａ）、図４（ｂ）、及び図５（ａ）、図５（ｂ）は、解析結果を表示するための画面例である。図中１００１は後述する選択リスト１００２により選択された網膜層厚または血管密度のマップを示している。図中１００２は表示する解析マップを選択するための選択リストを示しており、本実施例では、リストから表示すべきマップを選択することにより網膜層厚、血管密度（ＶＡＤ）、血管密度（ＶＬＤ）の各マップを切り替えて表示できるよう構成している。解析マップは例えば層厚または血管密度を値に応じた色で示したカラーマップである。 The analysis map displayed in the present embodiment will be described with reference to FIGS. FIG. 4A, FIG. 4B, FIG. 5A, and FIG. 5B are examples of screens for displaying the analysis results. In the figure, reference numeral 1001 denotes a map of retinal layer thickness or blood vessel density selected from a selection list 1002 described later. In the drawing, reference numeral 1002 denotes a selection list for selecting an analysis map to be displayed. In this embodiment, by selecting a map to be displayed from the list, a retinal layer thickness, a blood vessel density (VAD), and a blood vessel density (VLD). ) Can be switched and displayed. The analysis map is, for example, a color map showing the layer thickness or blood vessel density in a color corresponding to the value.

図中１００３は、選択した解析マップ上に重畳して表示するセクタマップの種類を選択するための選択リストを示しており、本実施例では、網膜層厚値、及び血管密度値ＶＡＤを個別、或いは両方を解析マップ上に重畳して表示できるよう構成している。図中、１００５は選択リスト１００３により選択されたセクタマップを示している。セクタマップは例えば、セクタ毎の網膜層厚または血管密度の平均値と複数のセクタの形状を示す図形を含んでいる。なお、各セクタに表示される値（層厚または血管密度の値）は平均値に限定されるものではなく中央値、最小値または最大値であってもよい。 In the figure, reference numeral 1003 denotes a selection list for selecting the type of sector map to be displayed superimposed on the selected analysis map. In this embodiment, the retinal layer thickness value and the blood vessel density value VAD are individually displayed. Alternatively, both are configured to be displayed superimposed on the analysis map. In the figure, reference numeral 1005 denotes a sector map selected from the selection list 1003. The sector map includes, for example, a figure indicating the average value of retinal layer thickness or blood vessel density for each sector and the shape of a plurality of sectors. Note that the value (layer thickness or blood vessel density value) displayed in each sector is not limited to an average value, and may be a median value, a minimum value, or a maximum value.

図４（ａ）は、解析マップとしてＶｅｓｓｅｌＡｒｅａＤｅｎｓｉｔｙを選択し、マップに重畳表示するセクタマップとして網膜層厚値を選択した場合の表示例である。図４（ｂ）は、解析マップとしてＶｅｓｓｅｌＡｒｅａＤｅｎｓｉｔｙを選択し、マップに重畳表示するセクタマップとして、網膜層厚値、及び血管密度値を合わせて選択した場合の表示例である。図４（ｂ）において、１００６は、セクタ毎の網膜層厚の平均値を示し、１００７は、セクタ毎の血管密度の平均値を示している。図４（ｂ）に示すように解析マップに重畳される情報の種類は複数であってもよい。解析マップに複数種類の情報を重畳させる場合には、図４（ｂ）に示すように異なる表示形態で表示させてもよい。なお、解析マップに重畳される情報の表示形態と、選択リスト１００３における項目の表示形態とを対応させることで、どの情報がどの種類の情報であるかを識別可能にすることとしてもよい。例えば、網膜層厚を白抜きで示した場合には選択リスト１００３における項目の網膜層厚値を白抜きで示すこととしてもよい。 FIG. 4A shows a display example when Vessel Area Density is selected as an analysis map and a retinal layer thickness value is selected as a sector map to be superimposed on the map. FIG. 4B shows a display example when Vessel Area Density is selected as an analysis map and a retinal layer thickness value and a blood vessel density value are selected together as a sector map to be superimposed on the map. In FIG. 4B, 1006 indicates the average value of the retinal layer thickness for each sector, and 1007 indicates the average value of the blood vessel density for each sector. As shown in FIG. 4B, a plurality of types of information may be superimposed on the analysis map. When a plurality of types of information are superimposed on the analysis map, they may be displayed in different display forms as shown in FIG. In addition, it is good also as making it possible to identify which information is what kind of information by making the display form of the information superimposed on an analysis map correspond to the display form of the item in the selection list 1003. For example, when the retinal layer thickness is shown in white, the retinal layer thickness value of the item in the selection list 1003 may be shown in white.

なお、網膜層厚値が算出された深さ範囲と血管密度（ＶＡＤ、ＶＬＤ）が算出された深さ範囲とは同一である。このようにすることでユーザは、着目している深さ範囲（あるいは所定の層）における層厚と血管密度とを容易に比較可能となる。なお、網膜層厚値が算出された深さ範囲と血管密度（ＶＡＤ、ＶＬＤ）が算出された深さ範囲とを異なる範囲とすることも可能である。この場合には、セクタマップ１００５が重畳されたマップ１００１と断層画像とを並べて表示し、断層画像上に、マップ１００１とセクタマップ１００５に関する深さ範囲を示す線（例えば上端下端を示す２本の線）とを識別可能に表示することとしてもよい。このような構成とすることで、解析マップが示す網膜層の深さ範囲とセクタマップが示す網膜層の深さ範囲とが異なることが、判別可能となる。 The depth range in which the retinal layer thickness value is calculated is the same as the depth range in which the blood vessel density (VAD, VLD) is calculated. In this way, the user can easily compare the layer thickness and the blood vessel density in the focused depth range (or a predetermined layer). The depth range in which the retinal layer thickness value is calculated may be different from the depth range in which the blood vessel density (VAD, VLD) is calculated. In this case, the map 1001 on which the sector map 1005 is superimposed and the tomographic image are displayed side by side, and a line indicating the depth range regarding the map 1001 and the sector map 1005 (for example, two lines indicating the upper and lower ends) is displayed. Line) may be displayed in an identifiable manner. With such a configuration, it is possible to determine that the depth range of the retinal layer indicated by the analysis map is different from the depth range of the retinal layer indicated by the sector map.

例えば、マップ１００１に関する深さ範囲を示す線とセクタマップ１００５に関する深さ範囲を示す線とを異なる色または模様で断層画像に重畳させることとしてもよい。この場合、セクタマップ１００５の図形の色または模様を断層画像に重畳されるセクタマップ１００５に関する深さ範囲を示す線の色または模様と同様にすることで対応関係を示すこととしてもよい。 For example, a line indicating the depth range related to the map 1001 and a line indicating the depth range related to the sector map 1005 may be superimposed on the tomographic image with different colors or patterns. In this case, the correspondence relationship may be indicated by making the color or pattern of the figure of the sector map 1005 the same as the color or pattern of the line indicating the depth range regarding the sector map 1005 superimposed on the tomographic image.

なお、網膜層厚値が算出された深さ範囲と血管密度（ＶＡＤ、ＶＬＤ）が算出された深さ範囲とは同一の場合であっても、深さ範囲を明示するために深さ範囲を示す線（例えば上端下端を示す２本の線）が重畳された断層画像を表示することとしてもよい。この場合、表示制御部３０５は、深さ範囲の変更を受け付け、受け付けた変更応じて変更後の深さ範囲の層厚および血管密度を記憶部３０２から取得して解析マップまたはセクタマップとして表示部６００に表示させる。このように表示制御部３０５は、層厚および血管密度が得られる深さ範囲の変更を受付ける受付手段の一例として機能する。なお、深さ範囲が変更された場合に、層厚および血管密度が再度計算されることとしてもよい。 Even if the depth range in which the retinal layer thickness value is calculated and the depth range in which the blood vessel density (VAD, VLD) is calculated are the same, the depth range is specified in order to clearly indicate the depth range. It is good also as displaying the tomographic image with which the line to show (for example, two lines which show an upper end lower end) was superimposed. In this case, the display control unit 305 receives the change of the depth range, acquires the layer thickness and the blood vessel density of the changed depth range from the storage unit 302 according to the received change, and displays it as an analysis map or a sector map. 600. As described above, the display control unit 305 functions as an example of a reception unit that receives a change in the depth range in which the layer thickness and the blood vessel density can be obtained. In addition, when the depth range is changed, the layer thickness and the blood vessel density may be calculated again.

なお、本実施例では、血管密度セクタマップについては、１００２で選択されたマップと同一のセクタマップのみを選択可能なように、１００３のリストに表示されないよう構成している。すなわち、図４の例では選択リスト１００３において血管密度値（ＶＬＤ）は表示されない。なお、選択リスト１００３において血管密度値（ＶＬＤ）は表示するが選択できないように構成することも可能である。ただし、選択リスト１００２で選択されたマップと同一種類のセクタマップ以外のマップを選択可能に選択リスト１００３に表示することとしてもよい。図４において例えば、選択リスト１００３にはＶＬＤのセクタマップが選択可能に表示されていてもよい。 In this embodiment, the blood vessel density sector map is not displayed in the list 1003 so that only the same sector map as the map selected in 1002 can be selected. That is, in the example of FIG. 4, the blood vessel density value (VLD) is not displayed in the selection list 1003. Note that the blood vessel density value (VLD) can be displayed in the selection list 1003 but cannot be selected. However, a map other than the sector map of the same type as the map selected in the selection list 1002 may be displayed in the selection list 1003 so as to be selectable. In FIG. 4, for example, a VLD sector map may be displayed in the selection list 1003 so as to be selectable.

上述のように、表示制御部３０５は血管密度および層厚の一方を示すマップ上に他方の情報を重畳してマップと当該情報とを表示部に表示させる表示制御手段の一例として機能する。 As described above, the display control unit 305 functions as an example of a display control unit that superimposes the other information on the map indicating one of the blood vessel density and the layer thickness and displays the map and the information on the display unit.

図５（ａ）は、解析マップとして網膜層厚を選択し、解析マップに重畳表示するセクタマップとしてＶＡＤを選択した場合の表示例である。図５（ｂ）は、解析マップとして網膜層厚を選択し、マップに重畳表示するセクタマップとして、網膜層厚値、及びＶＡＤを合わせて選択した場合の表示例である。なお、ＶＡＤとＶＬＤとを網膜層厚の解析マップ上に重畳することとしても良いし、表示の組み合わせは図５の例に限定されるものではない。 FIG. 5A is a display example when the retinal layer thickness is selected as the analysis map and VAD is selected as the sector map to be superimposed on the analysis map. FIG. 5B shows a display example when the retinal layer thickness is selected as the analysis map and the retinal layer thickness value and VAD are selected together as the sector map to be superimposed on the map. Note that VAD and VLD may be superimposed on the analysis map of the retinal layer thickness, and the display combination is not limited to the example of FIG.

なお、解析マップ上に複数のセクタマップを重畳して表示する場合、数値の文字色をセクタマップ毎に変更することも可能である。セクタマップにおける文字色は、選択リスト１００３における網膜層厚値、血管密度値（ＶＡＤ）、血管密度値（ＶＬＤ）の表示色と対応していることが望ましい。文字色の変更により、表示された値とセクタマップとの対応を容易にすることができる。 When a plurality of sector maps are displayed superimposed on the analysis map, the numerical character color can be changed for each sector map. The character color in the sector map preferably corresponds to the display color of the retinal layer thickness value, blood vessel density value (VAD), and blood vessel density value (VLD) in the selection list 1003. By changing the character color, the correspondence between the displayed value and the sector map can be facilitated.

また、表示する解析マップ、及びセクタマップの組み合わせの変更は、選択リスト１００２、及び選択リスト１００３の選択を変更することで可能であるが、システム起動時、或いは被検眼変更時に表示する組み合わせを事前に設定することも可能である。 Also, the combination of the analysis map and the sector map to be displayed can be changed by changing the selection of the selection list 1002 and the selection list 1003. However, the combination to be displayed when the system is started or when the eye to be examined is changed in advance. It is also possible to set to.

＜ステップＳ３０７＞
ステップＳ３０７では、操作者により、表示するマップの種類が更新されたかを判断する。表示するマップの更新は、図４、図５に示す、表示するマップを選択するための選択リスト１００２、選択したマップ上に重畳して表示するセクタマップの種類を選択するための選択リスト１００３の選択項目を操作者が変更することで行う。ステップＳ３０７の判断で、表示するマップの変更がない場合、ステップＳ３０９に進む。ステップＳ３０７の判断で、表示するマップの変更が行われた場合、ステップＳ３０６に戻り、選択リスト１００２、１００３の選択に基づいて解析マップ、セクタマップの再表示を実施する。 <Step S307>
In step S307, the operator determines whether the type of map to be displayed has been updated. The update of the map to be displayed includes the selection list 1002 for selecting the map to be displayed and the selection list 1003 for selecting the type of sector map to be displayed superimposed on the selected map, as shown in FIGS. This is done by changing the selection item by the operator. If it is determined in step S307 that there is no change in the map to be displayed, the process proceeds to step S309. If it is determined in step S307 that the map to be displayed has been changed, the process returns to step S306, and the analysis map and the sector map are redisplayed based on the selection of the selection lists 1002 and 1003.

＜ステップＳ３０９＞
ステップＳ３０９では、不図示の指示取得部は、画像処理システム１００による断層画像の撮影を終了するか否かの指示を外部から取得する。この指示は、入力部７００を用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理システム１００はその処理を終了する。一方、処理を終了せずに、撮影を続ける場合には、ステップＳ３０１に処理を戻して撮影を続行する。以上によって、画像処理システム１００の処理が行われる。 <Step S309>
In step S309, the instruction acquisition unit (not shown) acquires an instruction from the outside as to whether or not tomography of tomographic images by the image processing system 100 is to be terminated. This instruction is input by the operator using the input unit 700. When an instruction to end the process is acquired, the image processing system 100 ends the process. On the other hand, when the shooting is continued without ending the process, the process returns to step S301 to continue the shooting. Thus, the processing of the image processing system 100 is performed.

以上述べた構成、及び処理によれば、解析マップ上に別の種類を含むセクタマップを重畳して表示し、複数の情報を同一画面上で確認することで、各情報の相関関係が容易に確認できる。 According to the configuration and processing described above, a sector map including another type is displayed superimposed on the analysis map, and a plurality of pieces of information are confirmed on the same screen, so that the correlation of each information can be easily performed. I can confirm.

（実施例２）
上述した実施例１では、解析マップ、及びセクタマップを重畳して表示する例について説明したが、その他の情報として、経過観察のために計測結果を時系列に表示することも可能である。 (Example 2)
In the first embodiment described above, the example in which the analysis map and the sector map are superimposed and displayed has been described. However, as other information, the measurement results can be displayed in time series for follow-up observation.

図７に経過観察において取得される複数の計測結果を計測時期（例えば日付）とともに表示する例を示す。 FIG. 7 shows an example in which a plurality of measurement results acquired in the follow-up observation are displayed together with the measurement time (for example, date).

本実施例においては、実施例１で計測した網膜層厚値、及び血管密度値は計測日と、被検眼の情報に紐づけて、例えば図１における外部記憶部５００に保存されている。さらに、操作者が入力部７００を介して経過観察表示を指示した場合に、表示制御部３０５は外部記憶装部５００から過去の層厚値および血管密度の計測結果を取得し、表示部６００に表示させる。表示制御部３０５は複数の時点における、被検眼のモーションコントラスト画像から得られた血管密度と被検眼の断層画像から得られた所定の層の層厚を取得する取得手段の一例として機能する。 In the present embodiment, the retinal layer thickness value and the blood vessel density value measured in the first embodiment are stored in, for example, the external storage unit 500 in FIG. 1 in association with the measurement date and information on the eye to be examined. Further, when the operator instructs the follow-up display via the input unit 700, the display control unit 305 acquires the past layer thickness value and blood vessel density measurement results from the external storage unit 500, and displays them on the display unit 600. Display. The display control unit 305 functions as an example of an acquisition unit that acquires the blood vessel density obtained from the motion contrast image of the eye to be examined and the layer thickness of the predetermined layer obtained from the tomographic image of the eye to be examined at a plurality of times.

図７（ａ）では、網膜層厚値、及び血管密度値の計測領域全体の平均値を表示した例を示す。表示される層厚および血管密度は例えば同じ深さ範囲（ＲＮＦＬ：ＲｅｔｉｎａｌＮｅｒｖｅＦｉｂｅｒＬａｙｅｒ）のものである。なお、深さ範囲はＲＮＦＬに限定されるものではない。図７（ａ）に示すように、表示制御部３０５は、各日付を基準として層厚および血管密度が対応した状態で表示部６００に層厚および血管密度を表示させる。すなわち、表示制御部３０５は、複数の時点における、前記血管密度と前記層厚とを対応させて表示部に表示させる。 FIG. 7A shows an example in which the average value of the entire measurement region of the retinal layer thickness value and the blood vessel density value is displayed. The displayed layer thickness and vessel density are, for example, those in the same depth range (RNFL: Retinal Nerber Fiber Layer). The depth range is not limited to RNFL. As shown in FIG. 7A, the display control unit 305 causes the display unit 600 to display the layer thickness and the blood vessel density in a state where the layer thickness and the blood vessel density correspond to each date. That is, the display control unit 305 displays the blood vessel density and the layer thickness on a display unit in association with each other at a plurality of time points.

図７（ｂ）では、表示セクタ選択のための選択ボタン１００７を表示し、操作者が入力部７００を介してボタンを選択することにより、選択されたセクタ領域の計測値を時系列で表示する例を示す。表示制御部３０５は、選択ボタン１００７を介して被検眼の深さ方向に直交する平面の位置の変更を受付ける。すなわち、表示制御部３０５は、第２受付手段の一例として機能する。被検眼の深さ方向に直交する平面の位置の変更を受付けた場合に、層厚および血管密度が再度計算されることとしてもよいし、予め計算してある層厚および血管密度が外部記憶部５００から取得されることとしてもよい。 In FIG. 7B, a selection button 1007 for selecting a display sector is displayed, and when the operator selects the button via the input unit 700, the measurement values of the selected sector area are displayed in time series. An example is shown. The display control unit 305 receives a change in the position of the plane orthogonal to the depth direction of the eye to be examined via the selection button 1007. That is, the display control unit 305 functions as an example of a second reception unit. When a change in the position of the plane perpendicular to the depth direction of the eye to be examined is accepted, the layer thickness and the blood vessel density may be calculated again, or the layer thickness and blood vessel density that have been calculated in advance are stored in the external storage unit. It may be acquired from 500.

図７において、血管密度（ＶＡＤ，ＶＬＤ）が算出された深さ範囲は例えばＲＮＦＬ層である。すなわち、図７においては同一深さ範囲における層厚および血管密度の経時変化を示している。血管密度の経時変化としては、ＶＡＤおよびＶＬＤの少なくとも一方を表示させればよく、両者を表示させることは必須ではない。 In FIG. 7, the depth range in which the blood vessel density (VAD, VLD) is calculated is, for example, the RNFL layer. That is, FIG. 7 shows changes over time in layer thickness and blood vessel density in the same depth range. As the change in blood vessel density with time, at least one of VAD and VLD may be displayed, and it is not essential to display both.

なお、図７において深さ範囲を選択するＵＩを設けることとしてもよい。表示制御部３０５は深さ範囲を選択するＵＩを介して深さ範囲の変更を受付ける。すなわち、表示制御部３０５は、層厚および血管密度が得られる深さ範囲の変更を受付ける第１受付手段の一例として機能する。なお、深さ範囲が変更された場合に、層厚および血管密度が再度計算されることとしてもよいし、予め計算してある層厚および血管密度が外部記憶部５００から取得されることとしてもよい。深さ範囲を選択するＵＩとしては、例えば、断層画像に重畳された層境界を移動させることで深さ範囲を選択できるようなＵＩであってもよい。具体的には、深さ範囲の上端を規定する層境界および下端を規定する層境界を断層画像に重畳して表示させ、上端を規定する線あるいは下端を規定する線の少なくとも一歩を移動させることで深さ範囲の選択が可能となる。なお、層境界の名称を選択可能なプルダウン形式のリストを設けることで深さ範囲を選択することとしてもよい。このようなＵＩによる深さ範囲の変更に応じて、図７のように表示する網膜層厚および血管密度を変更することとしてもよい。このようなＵＩを用いれば図７（ｂ）においては、セクタ領域の選択および深さ範囲の選択が可能となる。なお、異なる層の血管密度と層厚とを図７（ａ）、（ｂ）のように表示することとしてもよい。この場合、血管密度はどの層の密度であるかを表示制御部３０５は表示部６００に表示させてもよい。また、層厚と血管密度とが異なる層のものであることを示す警告を表示制御部３０５は表示部６００に表示させてもよい。 In FIG. 7, a UI for selecting the depth range may be provided. The display control unit 305 accepts the change of the depth range via the UI for selecting the depth range. That is, the display control unit 305 functions as an example of a first receiving unit that receives a change in the depth range in which the layer thickness and the blood vessel density can be obtained. When the depth range is changed, the layer thickness and the blood vessel density may be calculated again, or the layer thickness and the blood vessel density calculated in advance may be acquired from the external storage unit 500. Good. The UI for selecting the depth range may be a UI that can select the depth range by moving the layer boundary superimposed on the tomographic image, for example. Specifically, the layer boundary defining the upper end of the depth range and the layer boundary defining the lower end are displayed superimposed on the tomographic image, and at least one step of the line defining the upper end or the line defining the lower end is moved. The depth range can be selected with. The depth range may be selected by providing a pull-down list from which the layer boundary names can be selected. The retinal layer thickness and blood vessel density displayed as shown in FIG. 7 may be changed according to the change of the depth range by such UI. If such a UI is used, it is possible to select a sector area and a depth range in FIG. 7B. In addition, it is good also as displaying the blood vessel density and layer thickness of a different layer like Fig.7 (a) and (b). In this case, the display control unit 305 may display on the display unit 600 which layer the blood vessel density is. In addition, the display control unit 305 may display a warning indicating that the layer thickness and the blood vessel density are different layers on the display unit 600.

以上のような構成により、経過観察時、複数の情報を重畳して表示することが可能となり、計測結果の相関関係が容易に確認できる。 With the configuration as described above, it is possible to superimpose and display a plurality of information during follow-up observation, and the correlation between measurement results can be easily confirmed.

（変形例１）
図７ではある１つ層における層厚、ＶＡＤおよびＶＬＤの経時変化を示したが複数の層における層厚、ＶＡＤおよびＶＬＤの経時変化を同時または切り替え可能に示すこととしてもよい。 (Modification 1)
In FIG. 7, the layer thickness, VAD, and VLD change over time in one layer is shown, but the layer thickness, VAD, and VLD change over time in a plurality of layers may be shown simultaneously or switchably.

（実施例２）
上述した実施例１では、解析マップ及びセクタマップを重畳して表示する例について説明したが、その他の形態として、網膜層厚或いは血管密度の正常眼データベースの値と計測値との差分マップに対してセクタマップを重畳表示することも可能である。例えば、網膜層厚の正常眼データベースと計測した網膜層厚値の差分を差分値に応じた色で示したカラーマップに対して血管密度のセクタマップを重畳してもよい。また、血管密度の正常眼データベースと計測した血管密度値の差分を差分値に応じた色で示したカラーマップに対して網膜層厚のセクタマップを重畳することも可能である。 (Example 2)
In the first embodiment described above, an example in which the analysis map and the sector map are displayed in a superimposed manner has been described. However, as another form, the difference map between the value of the normal eye database of retinal layer thickness or blood vessel density and the measured value is used. It is also possible to superimpose and display the sector map. For example, a sector map of blood vessel density may be superimposed on a color map showing the difference between the normal eye database of retinal layer thickness and the measured retinal layer thickness value in a color corresponding to the difference value. It is also possible to superimpose a sector map of retinal layer thickness on a color map showing the difference between the blood vessel density normal eye database and the measured blood vessel density value in a color corresponding to the difference value.

（実施例３）
上記の実施例１では、解析マップにセクタマップを重畳する場合について述べたが、これに限定されるものではない。例えば、モーションコントラスト画像（ＥｎＦａｃｅ画像）に網膜層厚値、ＶＡＤおよびＶＬＤのうち少なくとも２つのセクタマップを表示することとしてもよい。 (Example 3)
In the first embodiment, the case where the sector map is superimposed on the analysis map has been described, but the present invention is not limited to this. For example, at least two sector maps of the retinal layer thickness value, VAD, and VLD may be displayed on the motion contrast image (EnFace image).

（その他の実施形態）
上記のそれぞれの実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本発明をコンピュータ上で動作するソフトウェアとして実現することも可能である。画像処理装置のＣＰＵは、ＲＡＭやＲＯＭに格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。また、ボタンなどのユーザーインターフェイスや表示のレイアウトは上記で示したものに限定されるものではない。 (Other embodiments)
Each of the above embodiments implements the present invention as an image processing apparatus. However, the embodiment of the present invention is not limited only to the image processing apparatus. The present invention can also be realized as software that runs on a computer. The CPU of the image processing apparatus controls the entire computer using computer programs and data stored in RAM and ROM. In addition, the execution of software corresponding to each unit of the image processing apparatus is controlled to realize the function of each unit. Also, the user interface such as buttons and the display layout are not limited to those shown above.

１００画像処理システム
２００断層画像撮影装置
３００画像処理装置
３０１画像取得部
３０２記憶部
３０３画像処理部
３０５表示制御部
３１１断層画像生成部
３１２モーションコントラストデータ生成部
３３１前処理部
３３２画像生成部
３３３検出部
４００眼底画像撮影装置
５００外部記憶部
６００表示部
７００入力部 DESCRIPTION OF SYMBOLS 100 Image processing system 200 Tomographic imaging device 300 Image processing apparatus 301 Image acquisition part 302 Storage part 303 Image processing part 305 Display control part 311 Tomographic image generation part 312 Motion contrast data generation part 331 Preprocessing part 332 Image generation part 333 Detection part 400 fundus image capturing apparatus 500 external storage unit 600 display unit 700 input unit

Claims

被検眼のモーションコントラスト画像から得られた血管密度と前記被検眼の断層画像から得られた所定の層の層厚を取得する取得手段と、
前記血管密度および前記層厚の一方を示すマップ上に他方の情報を重畳して前記マップと前記情報とを表示部に表示させる表示制御手段と、
を備える情報処理装置。 An acquisition means for acquiring a blood vessel density obtained from a motion contrast image of a subject eye and a layer thickness of a predetermined layer obtained from a tomographic image of the subject eye;
Display control means for displaying the map and the information on a display unit by superimposing the other information on a map indicating one of the blood vessel density and the layer thickness;
An information processing apparatus comprising:

前記血管密度は、血管面積密度および血管長密度を含み、
前記表示制御手段は、前記マップとして前記層厚を示すマップ、前記情報として前記血管面積密度および前記血管長密度を前記表示部に表示させることを特徴とする請求項１記載の情報処理装置。 The vessel density includes vessel area density and vessel length density,
The information processing apparatus according to claim 1, wherein the display control unit causes the display unit to display a map indicating the layer thickness as the map and the blood vessel area density and the blood vessel length density as the information.

前記血管密度は、血管面積密度および血管長密度を含み、
前記表示制御手段は、前記マップとして前記血管面積密度および前記血管長密度の一方を示すマップ、前記情報として前記層厚および前記血管面積密度および前記血管長密度の他方を前記表示部に表示させることを特徴とする請求項１記載の情報処理装置。 The vessel density includes vessel area density and vessel length density,
The display control unit causes the display unit to display the map indicating one of the blood vessel area density and the blood vessel length density as the map and the other of the layer thickness, the blood vessel area density, and the blood vessel length density as the information. The information processing apparatus according to claim 1.

前記層厚および前記血管密度は同一深さ範囲から得られた値であることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 3, wherein the layer thickness and the blood vessel density are values obtained from the same depth range.

前記層厚および前記血管密度が得られる深さ範囲の変更を受付ける受付手段を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。 5. The information processing apparatus according to claim 1, further comprising a reception unit configured to receive a change in a depth range in which the layer thickness and the blood vessel density are obtained.

被検眼のモーションコントラスト画像から得られた血管面積密度および血管長密度を取得する取得手段と、
前記被検眼のモーションコントラスト画像に前記血管面積密度および前記血管長密度を重畳して表示部に表示させる表示制御手段と、
を備える情報処理装置。 An acquisition means for acquiring a blood vessel area density and a blood vessel length density obtained from a motion contrast image of the eye to be examined;
Display control means for displaying the blood vessel area density and the blood vessel length density on the motion contrast image of the eye to be displayed on the display unit;
An information processing apparatus comprising:

複数の時点における、被検眼のモーションコントラスト画像から得られた血管密度と前記被検眼の断層画像から得られた所定の層の層厚を取得する取得手段と、
前記取得手段により取得された前記複数の時点における、前記血管密度と前記層厚とを対応させて表示部に表示させることを特徴とする情報処理装置。 An acquisition means for acquiring a blood vessel density obtained from a motion contrast image of a subject eye at a plurality of time points and a layer thickness of a predetermined layer obtained from a tomographic image of the subject eye;
An information processing apparatus, wherein the blood vessel density and the layer thickness at the plurality of time points acquired by the acquisition unit are displayed in correspondence with each other on a display unit.

前記層厚および前記血管密度が得られる深さ範囲の変更を受付ける第１受付手段を更に備えることを特徴とする請求項７記載の情報処理装置。 The information processing apparatus according to claim 7, further comprising a first receiving unit that receives a change in a depth range in which the layer thickness and the blood vessel density are obtained.

前記層厚および前記血管密度が得られる前記被検眼の深さ方向に直交する平面の位置の変更を受付ける第２受付手段を更に備えることを特徴とする請求項７または請求項８記載の情報処理装置。 9. The information processing according to claim 7, further comprising second receiving means for receiving a change in a position of a plane orthogonal to a depth direction of the eye to be examined from which the layer thickness and the blood vessel density are obtained. apparatus.

前記血管密度は、血管面積密度および血管長密度を含むことを特徴とする請求項７乃至９のいずれか１項に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein the blood vessel density includes a blood vessel area density and a blood vessel length density.

被検眼のモーションコントラスト画像から得られた血管密度と前記被検眼の断層画像から得られた所定の層の層厚を取得する取得工程と、
前記血管密度および前記層厚の一方を示すマップ上に他方の情報を重畳して前記マップと前記情報とを表示部に表示させる表示制御工程と、
を備える情報処理方法。 An acquisition step of acquiring a blood vessel density obtained from a motion contrast image of a subject eye and a layer thickness of a predetermined layer obtained from a tomographic image of the subject eye;
A display control step of displaying the map and the information on a display unit by superimposing the other information on a map indicating one of the blood vessel density and the layer thickness;
An information processing method comprising:

請求項１１記載の情報処理方法をコンピュータに実行させることを特徴とするプログラム。 A program for causing a computer to execute the information processing method according to claim 11.