JP2020018794A - Ophthalmologic image processing apparatus, oct apparatus, and ophthalmologic image processing program - Google Patents

Ophthalmologic image processing apparatus, oct apparatus, and ophthalmologic image processing program Download PDF

Info

Publication number
JP2020018794A
JP2020018794A JP2018147141A JP2018147141A JP2020018794A JP 2020018794 A JP2020018794 A JP 2020018794A JP 2018147141 A JP2018147141 A JP 2018147141A JP 2018147141 A JP2018147141 A JP 2018147141A JP 2020018794 A JP2020018794 A JP 2020018794A
Authority
JP
Japan
Prior art keywords
image
ophthalmologic
tissue
degree
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018147141A
Other languages
Japanese (ja)
Other versions
JP2020018794A5 (en
JP7210927B2 (en
Inventor
涼介 柴
Ryosuke Shiba
涼介 柴
壮平 宮崎
Sohei Miyazaki
壮平 宮崎
祐輔 坂下
Yusuke Sakashita
祐輔 坂下
佳紀 熊谷
Yoshinori Kumagai
佳紀 熊谷
直樹 竹野
Naoki Takeno
直樹 竹野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidek Co Ltd
Original Assignee
Nidek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018147141A priority Critical patent/JP7210927B2/en
Application filed by Nidek Co Ltd filed Critical Nidek Co Ltd
Priority to EP19843402.9A priority patent/EP3831275A4/en
Priority to PCT/JP2019/016209 priority patent/WO2020026535A1/en
Priority to US17/265,367 priority patent/US11961229B2/en
Priority to CN201980051471.6A priority patent/CN112533526A/en
Publication of JP2020018794A publication Critical patent/JP2020018794A/en
Publication of JP2020018794A5 publication Critical patent/JP2020018794A5/ja
Priority to JP2022204040A priority patent/JP2023024614A/en
Application granted granted Critical
Publication of JP7210927B2 publication Critical patent/JP7210927B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)

Abstract

To provide an ophthalmologic image processing apparatus, an OCT apparatus, and an ophthalmologic image processing program capable of making a user appropriately determine an abnormality of the structure of tissue captured in an ophthalmologic image.SOLUTION: A control unit of the ophthalmologic image processing apparatus acquires an ophthalmologic image captured by an ophthalmologic image capture apparatus (S11). The control unit acquires a probability distribution for identification of tissue in the ophthalmologic image (S14) by entering the ophthalmologic image into a mathematical model trained by a machine learning algorithm. The control unit acquires, as structure information indicating the degree of abnormality of tissue structure, the degree of deviation of the acquired probability distribution from the probability distribution when the tissue is identified correctly (S15).SELECTED DRAWING: Figure 5

Description

本開示は、被検眼の眼科画像を処理する眼科画像処理装置、ＯＣＴ装置、および、眼科画像処理装置において実行される眼科画像処理プログラムに関する。   The present disclosure relates to an ophthalmologic image processing device that processes an ophthalmologic image of a subject's eye, an OCT device, and an ophthalmologic image processing program executed by the ophthalmologic image processing device.

従来、画像に写っている物体の構造等の異常を推定するための種々の技術が提案されている。例えば、非特許文献１で開示されている技術では、まず、正常な画像を訓練データとして、Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ（ＧＡＮ）が訓練される。訓練されたＧＡＮは、入力された画像を潜在空間上の座標に写像することを学習している。入力される画像の構造等に異常があれば、写像によって生成される画像と、入力される画像との間に差が生じる。非特許文献１の技術では、写像によって生成される画像と、入力される画像の誤差を取ることで、構造の異常部位の推定が試みられている。   Conventionally, various techniques have been proposed for estimating an abnormality such as the structure of an object appearing in an image. For example, in the technique disclosed in Non-Patent Document 1, first, a Generalive Adversary Network (GAN) is trained using a normal image as training data. The trained GAN has learned to map the input image to coordinates in latent space. If there is an abnormality in the structure or the like of the input image, a difference occurs between the image generated by the mapping and the input image. In the technique of Non-Patent Document 1, an attempt is made to estimate a structural abnormal part by taking an error between an image generated by mapping and an input image.

Ｔｈｏｍａｓ Ｓｃｈｌｅｇｌ， ｅｔ ａｌ． “Ｕｎｓｕｐｅｒｖｉｓｅｄ Ａｎｏｍａｌｙ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ ｔｏ Ｇｕｉｄｅ Ｍａｒｋｅｒ Ｄｉｓｃｏｖｅｒｙ” ａｒＸｉｖ：１７０３．０５９２１， １７ Ｍａｒ ２０１７See Thomas Schlegl, et al. “Unsupervised Anomaly Detection with General Advertisement Networks to Guide Marker Discovery” arXiv: 1703.059221, 17 Mar 2017

非特許文献１の手法では、写像によって生成される画像と、入力される画像の誤差を取ることで異常部位の推定が試みられているので、構造の異常度を定量化することは困難であった。従って、眼科画像に写っている組織の構造の異常をユーザに適切に判断させることは難しかった。   In the method of Non-Patent Document 1, since an abnormal portion is estimated by taking an error between an image generated by mapping and an input image, it is difficult to quantify the degree of structural abnormality. Was. Therefore, it has been difficult for the user to appropriately determine the abnormality of the structure of the tissue shown in the ophthalmologic image.

本開示の典型的な目的は、眼科画像に写っている組織の構造の異常をユーザに適切に判断させることが可能な眼科画像処理装置、ＯＣＴ装置、および眼科画像処理プログラムを提供することである。   A typical object of the present disclosure is to provide an ophthalmologic image processing apparatus, an OCT apparatus, and an ophthalmologic image processing program that allow a user to appropriately determine an abnormality in the structure of a tissue shown in an ophthalmologic image. .

本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の組織を識別するための確率分布を取得し、前記組織が正確に識別される場合の前記確率分布に対する、取得された前記確率分布の乖離度を、前記組織の構造の異常度を示す構造情報として取得する。   An ophthalmologic image processing device provided by a typical embodiment of the present disclosure is an ophthalmologic image processing device that processes an ophthalmologic image that is an image of a tissue of an eye to be examined, and a control unit of the ophthalmologic image processing device includes an ophthalmologic image processing device. Obtaining an ophthalmic image taken by an imaging device, by inputting the ophthalmic image to a mathematical model trained by a machine learning algorithm, to obtain a probability distribution for identifying a tissue in the ophthalmic image, Is obtained as the structural information indicating the degree of abnormality of the structure of the tissue with respect to the probability distribution when the is accurately identified.

本開示における典型的な実施形態が提供するＯＣＴ装置は、参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、前記ＯＣＴ装置の制御部は、撮影した前記眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、前記眼科画像中の組織を識別するための確率分布を取得し、前記組織が正確に識別される場合の前記確率分布に対する、取得された前記確率分布の乖離度を、前記組織の構造の異常度を示す構造情報として取得する。   An OCT apparatus provided in a typical embodiment of the present disclosure processes an OCT signal based on reference light and reflected light of measurement light applied to a tissue of an eye to be examined, thereby capturing an ophthalmologic image of the tissue. An OCT apparatus, wherein the control unit of the OCT apparatus inputs the photographed ophthalmic image to a mathematical model trained by a machine learning algorithm to form a probability distribution for identifying a tissue in the ophthalmic image. The acquired degree of divergence of the obtained probability distribution with respect to the probability distribution when the tissue is correctly identified is obtained as structure information indicating the degree of abnormality of the structure of the tissue.

本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の組織を識別するための確率分布を取得する確率分布取得ステップと、前記組織が正確に識別される場合の前記確率分布に対する、取得された前記確率分布の乖離度を、前記組織の構造の異常度を示す構造情報として取得する構造情報取得ステップと、を前記眼科画像処理装置に実行させる。   An ophthalmologic image processing program provided by a typical embodiment of the present disclosure is an ophthalmologic image processing program executed by an ophthalmologic image processing apparatus that processes an ophthalmologic image that is an image of a tissue of an eye to be examined, and The program is executed by the control unit of the ophthalmologic image processing apparatus, an image obtaining step of obtaining an ophthalmic image captured by an ophthalmologic image capturing apparatus, and inputting the ophthalmic image to a mathematical model trained by a machine learning algorithm. A probability distribution obtaining step of obtaining a probability distribution for identifying a tissue in the ophthalmic image, and a deviation degree of the obtained probability distribution from the probability distribution when the tissue is correctly identified. Acquiring structure information as structural information indicating the degree of abnormality of the structure of the tissue. To be executed by the location.

本開示に係る眼科画像処理装置、ＯＣＴ装置、および眼科画像処理プログラムによると、眼科画像に写っている組織の異常をユーザに適切に判断させることができる。   According to the ophthalmologic image processing apparatus, the OCT apparatus, and the ophthalmologic image processing program according to the present disclosure, it is possible to allow a user to appropriately determine an abnormality of a tissue shown in an ophthalmologic image.

数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂの概略構成を示すブロック図である。1 is a block diagram illustrating a schematic configuration of a mathematical model construction device 1, an ophthalmologic image processing device 21, and ophthalmologic image capturing devices 11A and 11B. 数学モデル構築装置１が実行する数学モデル構築処理のフローチャートである。3 is a flowchart of a mathematical model construction process executed by the mathematical model construction device 1. 訓練用眼科画像３０の一例を示す図である。FIG. 3 is a diagram illustrating an example of a training ophthalmologic image 30. 訓練用データ３１の一例を示す図である。It is a figure showing an example of training data 31. 眼科画像処理装置２１が実行する眼科画像処理のフローチャートである。5 is a flowchart of ophthalmologic image processing executed by the ophthalmologic image processing device 21. 数学モデルに入力される二次元断層画像４０と、二次元断層画像４０中の一次元領域Ａ１〜ＡＮの関係を模式的に示す図である。FIG. 3 is a diagram schematically illustrating a relationship between a two-dimensional tomographic image 40 input to a mathematical model and one-dimensional areas A1 to AN in the two-dimensional tomographic image 40. 境界Ｂｉ近傍の構造の異常度が低い場合の、境界Ｂｉを識別するための確率分布を示すグラフの一例である。It is an example of the graph which shows the probability distribution for discriminating the boundary Bi when the degree of abnormality of the structure near the boundary Bi is low. 境界Ｂｉ近傍の構造の異常度が高い場合の、境界Ｂｉを識別するための確率分布を示すグラフの一例である。It is an example of the graph which shows the probability distribution for discriminating the boundary Bi when the degree of abnormality of the structure near the boundary Bi is high. 二次元断層画像５１Ａ、構造異常度グラフ５２Ａ、および乖離度表５３Ａが表示された表示画面の一例である。It is an example of a display screen on which a two-dimensional tomographic image 51A, a structural abnormality degree graph 52A, and a deviation degree table 53A are displayed. 二次元断層画像５１Ｂ、構造異常度グラフ５２Ｂ、および乖離度表５３Ｂが表示された表示画面の一例である。It is an example of a display screen on which a two-dimensional tomographic image 51B, a structural abnormality degree graph 52B, and a divergence degree table 53B are displayed. 構造異常度マップ５５の一例を示す図である。FIG. 7 is a diagram illustrating an example of a structural abnormality degree map 55.

＜概要＞
本開示で例示する眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得する。制御部は、機械学習アルゴリズムによって訓練された数学モデルに眼科画像を入力することで、眼科画像中の組織を識別するための確率分布を取得する。制御部は、組織が正確に識別される場合の確率分布に対する、取得された確率分布の乖離度を、組織の構造の異常度を示す構造情報として取得する。 <Overview>
The control unit of the ophthalmologic image processing device exemplified in the present disclosure acquires an ophthalmologic image captured by the ophthalmologic image capturing device. The control unit acquires a probability distribution for identifying a tissue in the ophthalmic image by inputting the ophthalmic image to the mathematical model trained by the machine learning algorithm. The control unit acquires the degree of deviation of the obtained probability distribution from the probability distribution when the tissue is correctly identified, as structure information indicating the degree of abnormality of the structure of the tissue.

組織の構造に異常が無い場合には、数学モデルによって組織が正確に識別され易いので、取得される確率分布が偏り易い。一方で、組織の構造に異常がある場合は、取得される確率分布が偏り難くなる。従って、組織が正確に識別される場合の確率分布と、実際に取得された確率分布の乖離度は、構造の異常度に応じて増減する。よって、本開示の眼科画像処理装置によると、構造の異常度が乖離度によって適切に定量化される。また、数学モデルを訓練する際に、異常が存在する組織の眼科画像を大量に使用しなくても、組織の構造の異常度が乖離度によって把握される。よって、ユーザは、眼科画像に写っている組織の構造の異常を適切に判断することができる。   When there is no abnormality in the structure of the tissue, the obtained probability distribution tends to be biased because the tissue is easily identified accurately by the mathematical model. On the other hand, when there is an abnormality in the structure of the tissue, the obtained probability distribution is less likely to be biased. Therefore, the divergence between the probability distribution when the tissue is accurately identified and the probability distribution actually acquired increases or decreases according to the degree of structural abnormality. Therefore, according to the ophthalmologic image processing apparatus of the present disclosure, the degree of structural abnormality is appropriately quantified by the degree of deviation. Further, when training a mathematical model, the degree of abnormality in the structure of the tissue can be grasped from the degree of deviation, without using a large amount of ophthalmic images of the tissue in which the abnormality exists. Therefore, the user can appropriately determine the abnormality of the structure of the tissue shown in the ophthalmologic image.

なお、乖離度は、数学モデルによって出力されてもよい。また、制御部が、数学モデルによって出力された確率分布に基づいて乖離度を算出してもよい。   The divergence may be output by a mathematical model. Further, the control unit may calculate the degree of divergence based on the probability distribution output by the mathematical model.

数学モデルに入力される眼科画像には、種々の画像を用いることができる。例えば、眼科画像は、ＯＣＴ装置によって撮影された被検眼の組織の二次元断層画像または三次元断層画像であってもよい。断層画像は、ＯＣＴ装置以外の装置（例えばシャインプルーフカメラ等）によって撮影されてもよい。また、眼科画像は、眼底カメラによって撮影された二次元正面画像、レーザ走査型検眼装置（ＳＬＯ）によって撮影された二次元正面画像等であってもよい。眼科画像は、ＯＣＴ装置によって撮影された三次元断層画像のデータに基づいて生成される二次元正面画像（所謂「Ｅｎｆａｃｅ画像」）であってもよい。また、眼科画像は、同一位置から異なる時間に取得された複数のＯＣＴデータを処理することで得られるモーションコントラストデータから作成される二次元正面画像（所謂「モーションコントラスト画像」）であってもよい。二次元正面画像とは、撮影光の光軸の方向から組織を撮影した二次元の画像である。また、撮影対象となる組織も適宜選択できる。例えば、被検眼の眼底、前眼部、隅角等のいずれかを撮影した画像が眼科画像として用いられてもよい。   Various images can be used as the ophthalmologic image input to the mathematical model. For example, the ophthalmologic image may be a two-dimensional tomographic image or a three-dimensional tomographic image of the tissue of the subject's eye captured by the OCT apparatus. The tomographic image may be captured by a device other than the OCT device (for example, a Scheimpflug camera). Further, the ophthalmologic image may be a two-dimensional front image photographed by a fundus camera, a two-dimensional front image photographed by a laser scanning optometer (SLO), or the like. The ophthalmic image may be a two-dimensional front image (a so-called “Enface image”) generated based on data of a three-dimensional tomographic image captured by the OCT apparatus. Further, the ophthalmic image may be a two-dimensional front image (a so-called “motion contrast image”) created from motion contrast data obtained by processing a plurality of OCT data obtained from the same position at different times. . The two-dimensional front image is a two-dimensional image obtained by imaging the tissue from the direction of the optical axis of the imaging light. In addition, a tissue to be photographed can be appropriately selected. For example, an image obtained by photographing any one of the fundus, the anterior segment, the corner, and the like of the subject's eye may be used as the ophthalmologic image.

数学モデルは、入力側を過去に撮影された被検眼の組織の眼科画像のデータとし、且つ、出力側を入力側の眼科画像における組織を示すデータとする訓練データセットを用いて訓練されていてもよい。この場合、訓練された数学モデルは、眼科画像を入力することで、組織を識別するための確率分布を適切に出力することができる。   The mathematical model is trained using a training data set in which the input side is data of an ophthalmologic image of the tissue of the subject's eye photographed in the past, and the output side is data indicating the tissue in the ophthalmic image of the input side. Is also good. In this case, the trained mathematical model can appropriately output the probability distribution for identifying the tissue by inputting the ophthalmic image.

なお、確率分布を出力する数学モデルの具体的な態様は適宜選択できる。例えば、数学モデルは、入力された眼科画像中の領域内において、組織の特定の境界および特定部位の少なくともいずれかが存在する座標を確率変数とする確率分布を出力してもよい。この場合、数学モデルによって出力される確率分布に基づいて、眼科画像中の組織（この場合は、境界および特定部位の少なくともいずれか）が適切且つ直接的に識別される。なお、この場合、確率分布を取得する対象となる「特定の境界」は、１つの境界であってもよいし、複数の境界であってもよい。複数の境界の確率分布を取得する場合、制御部は、複数の境界の各々について別々に確率分布を取得してもよい。同様に、確率分布を取得する対象となる「特定部位」の数も、１つであってもよいし複数であってもよい。また、確率分布を取得する単位となる眼科画像中の領域は、一次元領域、二次元領域、および三次元領域のいずれであってもよい。確率変数とする座標の次元は、確率分布を取得する単位となる領域の次元と一致していてもよい。また、数学モデルは、被検眼における各々の組織の種類を確率変数とする確率分布を、入力された眼科画像の各領域毎（例えば画素毎）に出力してもよい。この場合でも、数学モデルによって出力される確率分布に基づいて、眼科画像中の組織が識別される。   Note that a specific mode of the mathematical model that outputs the probability distribution can be appropriately selected. For example, the mathematical model may output a probability distribution using, as a random variable, coordinates at which at least one of a specific boundary and a specific part of a tissue exists in a region in the input ophthalmologic image. In this case, the tissue (in this case, at least one of the boundary and the specific site) in the ophthalmologic image is appropriately and directly identified based on the probability distribution output by the mathematical model. In this case, the “specific boundary” from which the probability distribution is acquired may be one boundary or a plurality of boundaries. When acquiring the probability distribution of a plurality of boundaries, the control unit may separately acquire the probability distribution of each of the plurality of boundaries. Similarly, the number of “specific portions” from which the probability distribution is to be obtained may be one or more. Further, the region in the ophthalmologic image as a unit for acquiring the probability distribution may be any one of a one-dimensional region, a two-dimensional region, and a three-dimensional region. The dimension of the coordinates used as the random variable may be the same as the dimension of the region that is a unit for obtaining the probability distribution. Further, the mathematical model may output a probability distribution using each tissue type in the eye to be examined as a random variable for each region (for example, each pixel) of the input ophthalmologic image. Even in this case, the tissue in the ophthalmologic image is identified based on the probability distribution output by the mathematical model.

乖離度には、取得された確率分布のエントロピー（平均情報量）が含まれていてもよい。エントロピーは、不確実性、乱雑さ、無秩序の度合いを表す。本開示では、組織が正確に識別される場合に出力される確率分布のエントロピーは０となる。また、組織の構造の異常度が増加し、組織の識別が困難になる程、エントロピーは増大する。従って、乖離度として確率分布のエントロピーを用いることで、組織の構造の異常度がより適切に定量化される。   The divergence may include the entropy (average information amount) of the acquired probability distribution. Entropy describes the degree of uncertainty, clutter, and disorder. In the present disclosure, the entropy of the probability distribution output when the tissue is correctly identified is zero. Further, as the degree of abnormality of the structure of the tissue increases and the identification of the tissue becomes more difficult, the entropy increases. Therefore, by using the entropy of the probability distribution as the degree of divergence, the degree of abnormality of the structure of the tissue is more appropriately quantified.

ただし、エントロピー以外の値が乖離度として採用されてもよい。例えば、取得された確率分布の散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが乖離度として使用されてもよい。確率分布同士の差異を図る尺度であるＫＬダイバージェンス等が乖離度として使用されてもよい。また、取得された確率分布の最大値が乖離度として使用されてもよい。   However, a value other than entropy may be adopted as the degree of deviation. For example, at least one of the standard deviation indicating the degree of dispersion of the acquired probability distribution, the coefficient of variation, and the variance may be used as the degree of deviation. KL divergence or the like, which is a measure for determining a difference between probability distributions, may be used as the degree of divergence. Further, the maximum value of the obtained probability distribution may be used as the divergence.

眼科画像は、組織の二次元断層画像または三次元断層画像であってもよい。制御部は、数学モデルに眼科画像を入力することで、眼科画像における複数の層および層の境界に含まれる、１つ以上の層または境界を識別するための確率分布を取得してもよい。制御部は、前記１つ以上の層または境界について乖離度を取得してもよい。この場合、特定の層または境界の構造の異常度が、乖離度によって適切に把握される。例えば、疾患の影響によって構造の異常が生じやすい層または境界の乖離度のみが取得された場合には、取得された乖離度は、疾患に関して、より有益な情報となり得る。   The ophthalmic image may be a two-dimensional or three-dimensional tomographic image of the tissue. The control unit may acquire a probability distribution for identifying one or more layers or boundaries included in the plurality of layers and the boundaries of the layers in the ophthalmic image by inputting the ophthalmic image to the mathematical model. The control unit may acquire a divergence degree for the one or more layers or boundaries. In this case, the degree of abnormality of the structure of a specific layer or boundary is appropriately grasped from the degree of deviation. For example, when only the degree of divergence of a layer or a boundary at which a structural abnormality is likely to occur due to the influence of a disease is acquired, the acquired degree of divergence may be more useful information regarding the disease.

制御部は、組織における位置に対する乖離度の大きさを示すグラフおよびマップの少なくともいずれかを取得してもよい。ユーザは、グラフおよびマップの少なくともいずれかによって、組織におけるいずれの位置の異常度が高いかを適切に把握することができる。   The control unit may acquire at least one of a graph and a map indicating the magnitude of the degree of deviation from the position in the tissue. The user can appropriately grasp which position in the organization has a high degree of abnormality by at least one of the graph and the map.

例えば、眼科画像は、ＸＺ方向に広がる二次元の画像であってもよい。制御部は、数学モデルに眼科画像を入力することで、眼科画像上でＺ方向に平行に延びる複数の一次元領域毎に、一次元座標を確率変数とする確率分布を取得し、複数の一次元領域毎に乖離度を取得してもよい。制御部は、複数の一次元領域毎に取得された乖離度に基づいて、Ｘ方向の各々の位置における乖離度の大きさを示す構造異常度グラフを取得してもよい。この場合、ユーザは、二次元の眼科画像のうち、Ｘ方向のいずれの位置の異常度が高いかを、構造異常度グラフによって適切に把握することができる。   For example, the ophthalmic image may be a two-dimensional image extending in the XZ direction. The control unit obtains a probability distribution using one-dimensional coordinates as a random variable for each of a plurality of one-dimensional regions extending parallel to the Z direction on the ophthalmic image by inputting the ophthalmic image to the mathematical model. The divergence may be acquired for each source region. The control unit may acquire a structural abnormality degree graph indicating the magnitude of the degree of deviation at each position in the X direction based on the degree of deviation acquired for each of the plurality of one-dimensional regions. In this case, the user can appropriately grasp which position in the X direction of the two-dimensional ophthalmologic image has a high degree of abnormality using the structural abnormality degree graph.

この場合、二次元の画像は、組織の二次元断層画像であってもよいし、組織の二次元正面画像であってもよい。二次元断層画像である場合、複数の一次元領域毎に取得される乖離度は、層または境界毎に取得されてもよいし、複数の層および境界の平均値として取得されてもよい。なお、構造異常度グラフは数学モデルによって出力されてもよい。また、制御部が、複数の軸毎に取得された乖離度に基づいて構造異常度グラフを生成してもよい。制御部は、取得した構造異常度グラフを表示装置に表示させてもよい。   In this case, the two-dimensional image may be a two-dimensional tomographic image of the tissue or a two-dimensional front image of the tissue. In the case of a two-dimensional tomographic image, the divergence obtained for each of a plurality of one-dimensional regions may be obtained for each layer or boundary, or may be obtained as an average value of a plurality of layers and boundaries. Note that the structural abnormality degree graph may be output by a mathematical model. Further, the control unit may generate the structural abnormality degree graph based on the degree of deviation acquired for each of the plurality of axes. The control unit may cause the display device to display the acquired structural abnormality degree graph.

また、制御部は、組織における乖離度の二次元分布を示す構造異常度マップを取得してもよい。この場合、ユーザは、二次元の領域内の各々の位置における構造の異常度を、構造異常度マップによって的確に把握することができる。なお、構造異常度マップは数学モデルによって出力されてもよい。また、制御部が、取得された乖離度に基づいて構造異常度マップを生成してもよい。制御部は、取得した構造異常度マップを表示装置に表示させてもよい。   Further, the control unit may acquire a structural abnormality degree map indicating a two-dimensional distribution of the degree of deviation in the organization. In this case, the user can accurately grasp the structural abnormality degree at each position in the two-dimensional region by using the structural abnormality degree map. Note that the structural abnormality degree map may be output by a mathematical model. Further, the control unit may generate the structural abnormality degree map based on the acquired degree of deviation. The control unit may cause the display device to display the acquired structural abnormality degree map.

なお、グラフおよびマップを用いずに、組織の構造の異常度をユーザに把握させることも可能である。例えば、制御部は、取得した乖離度そのものを、構造の異常度を示す構造情報としてユーザに通知してもよい。   In addition, it is also possible to make the user grasp the degree of abnormality of the structure of the organization without using the graph and the map. For example, the control unit may notify the user of the acquired degree of deviation itself as structure information indicating the degree of structural abnormality.

制御部は、組織のうち、乖離度が閾値以上の部位を撮影する撮影指示を眼科画像撮影装置に出力する処理を実行してもよい。また、制御部は、乖離度が閾値以上の部位の断層画像または拡大画像を表示装置に表示させる処理を実行してもよい。この場合、構造の異常度が高い部位の画像が、適切にユーザによって確認される。   The control unit may execute a process of outputting, to the ophthalmologic image photographing apparatus, a photographing instruction for photographing a part of the tissue whose degree of deviation is equal to or greater than the threshold. In addition, the control unit may execute a process of displaying a tomographic image or an enlarged image of a portion where the degree of deviation is equal to or larger than the threshold value on the display device. In this case, an image of a site having a high degree of structural abnormality is appropriately confirmed by the user.

なお、制御部は、乖離度が閾値以上の部位を撮影する撮影指示を出力する場合に、乖離度が閾値以上の部位の眼科画像を複数回撮影し、撮影された複数の眼科画像の加算平均画像を取得する指示を出力してもよい。この場合、構造の異常度が高い部位の眼科画像が、高い品質で取得される。   The control unit, when outputting an imaging instruction for imaging a part having a degree of divergence equal to or greater than the threshold, captures the ophthalmic image of the part having a degree of divergence equal to or greater than the threshold a plurality of times, and performs averaging of the plurality of captured ophthalmologic images. An instruction to acquire an image may be output. In this case, an ophthalmologic image of a site having a high degree of structural abnormality is acquired with high quality.

制御部は、同一の被検眼の組織を撮影した複数の眼科画像のうち、乖離度が最も高い眼科画像、または、乖離度が閾値以上の眼科画像を表示装置に表示させてもよい。例えば、制御部は、撮影された眼科画像をユーザに確認させる撮影確認画面に、複数の眼科画像のうち、乖離度が高い眼科画像を表示させることで、構造の異常度が高い部位が撮影された眼科画像を、容易にユーザに確認させることができる。また、制御部は、撮影された眼科画像をユーザに確認させるビューワーを起動させた際に、複数の眼科画像のうち、乖離度が高い眼科画像を表示させることで、構造の異常度が高い部位が撮影された眼科画像を最初にユーザに確認させることができる。   The control unit may cause the display device to display an ophthalmological image having the highest degree of divergence or an ophthalmological image having a degree of divergence equal to or greater than a threshold value among a plurality of ophthalmologic images obtained by photographing the tissue of the same eye to be examined. For example, the control unit displays an ophthalmological image having a high degree of divergence among a plurality of ophthalmologic images on an imaging confirmation screen that allows the user to confirm the captured ophthalmologic image, so that a site having a high degree of structural abnormality is captured. The user can easily confirm the ophthalmological image. In addition, the control unit displays the ophthalmological image having a high degree of divergence among a plurality of ophthalmic images when a viewer for allowing the user to check the photographed ophthalmic image is displayed, thereby displaying a portion having a high degree of structural abnormality. Can be checked first by the user.

制御部は、三次元断層画像を構成する複数の二次元断層画像のうち、乖離度が最も高い二次元断層画像、または、乖離度が閾値以上の二次元断層画像を、被検眼の疾患に関する自動診断結果を出力する数学モデルに入力してもよい。この場合、三次元断層画像を構成する複数の二次元断層画像のうち、構造の異常度が高い二次元断層画像によって、効率よく自動診断結果が得られる。   The control unit automatically converts the two-dimensional tomographic image having the highest degree of divergence or the two-dimensional tomographic image having the degree of divergence equal to or greater than a threshold value from among a plurality of two-dimensional tomographic images constituting the three-dimensional tomographic image, with respect to the disease of the eye to be examined The diagnostic result may be input to a mathematical model that outputs the result. In this case, of the plurality of two-dimensional tomographic images constituting the three-dimensional tomographic image, an automatic diagnosis result can be efficiently obtained with a two-dimensional tomographic image having a high degree of structural abnormality.

制御部は、取得した乖離度を記憶装置に記憶させてもよい。制御部は、同一の被検眼の組織を異なる時間に撮影した複数の眼科画像の各々に関する複数の乖離度を、表示装置に表示させてもよい。この場合、ユーザは、複数の乖離度を比較することで、構造の異常の進行具合等を適切に把握することができる。なお、制御部は、複数の乖離度の値そのものを表示させてもよいし、前述した構造異常度グラフを複数並べて表示させてもよい。また、制御部は、前述した構造異常度マップを複数並べて表示させてもよい。   The control unit may cause the storage device to store the acquired degree of divergence. The control unit may cause the display device to display a plurality of divergence degrees for each of a plurality of ophthalmologic images obtained by photographing the same eye tissue at different times. In this case, the user can appropriately grasp the progress of the structural abnormality or the like by comparing a plurality of divergence degrees. The control unit may display a plurality of values of the degree of deviation itself, or may display a plurality of the structural abnormality degree graphs described above. Further, the control unit may display a plurality of the structural abnormality degree maps described above side by side.

制御部は、眼科画像について取得された乖離度に基づいて、眼科画像の画質を評価する画質評価情報を生成してもよい。乖離度は、組織の構造に異常がある場合だけでなく、眼科画像の画質が悪い場合にも高くなる場合がある。従って、乖離度に基づいて画質評価情報が生成されることで、眼科画像の画質が適切に把握される。   The control unit may generate image quality evaluation information for evaluating the image quality of the ophthalmologic image based on the degree of divergence acquired for the ophthalmologic image. The discrepancy may increase not only when there is an abnormality in the structure of the tissue, but also when the image quality of the ophthalmologic image is poor. Therefore, the image quality evaluation information is generated based on the degree of divergence, so that the image quality of the ophthalmologic image is appropriately grasped.

なお、画質評価情報の具体的な生成方法は適宜選択できる。例えば、乖離度の値そのものが画質評価情報として使用されてもよい。また、組織の構造の一部に異常がある場合には、異常がある部位の乖離度が、他の部位の乖離度よりも高くなる。一方で、画質が悪い場合には、眼科画像の各部の乖離度が全体的に高くなる。従って、眼科画像の各部の各々について乖離度が取得されている際には、制御部は、各部の乖離度の全てが高い場合（例えば、各部の乖離度の全てが閾値以上である場合等）に、画質が悪いことを示す画質評価情報を生成してもよい。また、制御部は、撮影された眼科画像の信号の強さ、または、信号の良好さを示す指標（例えば、ＳＳＩ（Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｅｘ）またはＱＩ（Ｑｕａｌｉｔｙ Ｉｎｄｅｘ）等）と、取得された乖離度を共に考慮して、画質評価情報を生成してもよい。   Note that a specific method of generating the image quality evaluation information can be appropriately selected. For example, the value of the deviation degree itself may be used as the image quality evaluation information. In addition, when there is an abnormality in a part of the structure of the tissue, the degree of divergence of the part having the abnormality becomes higher than the degree of divergence of other parts. On the other hand, when the image quality is poor, the degree of divergence of each part of the ophthalmologic image becomes higher as a whole. Therefore, when the degree of divergence is acquired for each part of the ophthalmologic image, the control unit determines that the degree of divergence of each part is high (for example, the case where all degrees of divergence of each part are equal to or larger than the threshold). Alternatively, image quality evaluation information indicating poor image quality may be generated. In addition, the control unit may determine the strength of the signal of the captured ophthalmologic image or an index indicating the goodness of the signal (for example, SSI (Signal Strength Index) or QI (Quality Index)) and the obtained degree of deviation. , The image quality evaluation information may be generated.

また、制御部は、眼科画像の信号の強さまたは良好さを示す指標と、取得された乖離度とに基づいて、組織の構造の異常度を示す情報を生成してもよい。例えば、制御部は、画像の信号の指標が閾値以上であり、且つ、乖離度が閾値以上である場合に、構造に異常が存在する可能性が高いことを示す情報を生成してもよい。この場合、眼科画像の画質が考慮されたうえで、より適切に構造の異常が判断される。   Further, the control unit may generate information indicating the degree of abnormality in the structure of the tissue based on the index indicating the strength or goodness of the signal of the ophthalmologic image and the acquired degree of deviation. For example, when the index of the signal of the image is equal to or greater than the threshold and the degree of divergence is equal to or greater than the threshold, the control unit may generate information indicating that there is a high possibility that the structure has an abnormality. In this case, the structural abnormality is more appropriately determined in consideration of the image quality of the ophthalmic image.

なお、乖離度を、組織の構造の異常度を示す構造情報として使用せずに、画質評価情報に使用することも可能である。この場合、眼科画像処理装置は以下のように表現することができる。被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、眼科画像撮影装置によって撮影された眼科画像を取得し、機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の組織を識別するための確率分布を取得し、前記組織が正確に識別される場合の前記確率分布に対する、取得された前記確率分布の乖離度を、前記眼科画像の画質を評価する画質評価情報として取得することを特徴とする眼科画像処理装置。   In addition, it is also possible to use the degree of divergence as image quality evaluation information without using it as structure information indicating the degree of abnormality of the structure of the tissue. In this case, the ophthalmologic image processing apparatus can be expressed as follows. An ophthalmic image processing apparatus that processes an ophthalmic image that is an image of a tissue of an eye to be inspected, wherein a control unit of the ophthalmic image processing apparatus acquires an ophthalmic image captured by an ophthalmic image capturing apparatus, and performs training using a machine learning algorithm. By inputting the ophthalmological image to the mathematical model obtained, to obtain a probability distribution for identifying the tissue in the ophthalmic image, for the probability distribution when the tissue is correctly identified, the acquired An ophthalmologic image processing apparatus, wherein a degree of deviation of a probability distribution is obtained as image quality evaluation information for evaluating the image quality of the ophthalmic image.

＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および眼科画像撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された眼科画像に基づいて、眼科画像中の組織を識別するための確率分布を出力する。眼科画像処理装置２１は、数学モデルを用いて確率分布を取得し、取得した確率分布と、組織が正確に識別される場合の確率分布との乖離度を、組織の構造の異常度を示す構造情報として取得する。眼科画像撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像を撮影する。 <Embodiment>
(Device configuration)
Hereinafter, one of exemplary embodiments of the present disclosure will be described with reference to the drawings. As shown in FIG. 1, in the present embodiment, a mathematical model construction device 1, an ophthalmologic image processing device 21, and ophthalmologic image capturing devices 11A and 11B are used. The mathematical model construction device 1 constructs a mathematical model by training the mathematical model by a machine learning algorithm. The constructed mathematical model outputs a probability distribution for identifying a tissue in the ophthalmic image based on the input ophthalmic image. The ophthalmologic image processing apparatus 21 obtains a probability distribution using a mathematical model, and calculates a degree of divergence between the obtained probability distribution and a probability distribution when a tissue is correctly identified by using a structure indicating the degree of abnormality of the structure of the tissue. Get as information. The ophthalmologic image capturing apparatuses 11A and 11B capture ophthalmic images that are images of the tissue of the eye to be examined.

一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、眼科画像撮影装置１１Ａから取得した眼科画像（以下、「訓練用眼科画像」という）と、訓練用眼科画像における少なくともいずれかの組織の位置を示す訓練用データとを利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。   As an example, a personal computer (hereinafter, referred to as “PC”) is used for the mathematical model construction device 1 of the present embodiment. Although details will be described later, the mathematical model construction device 1 indicates an ophthalmic image (hereinafter, referred to as a “training ophthalmic image”) acquired from the ophthalmologic image capturing device 11A and a position of at least one tissue in the training ophthalmic image. A mathematical model is constructed by training the mathematical model using the training data. However, devices that can function as the mathematical model construction device 1 are not limited to PCs. For example, the ophthalmologic image photographing device 11A may function as the mathematical model construction device 1. Further, the control units of a plurality of devices (for example, the CPU of the PC and the CPU 13A of the ophthalmologic imaging apparatus 11A) may cooperate to construct a mathematical model.

また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、眼科画像撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。眼科画像撮影装置（本実施形態ではＯＣＴ装置）１１Ｂが眼科画像処理装置２１として機能する場合、眼科画像撮影装置１１Ｂは、眼科画像を撮影しつつ、撮影した眼科画像から乖離度を取得することができる。また、眼科画像撮影装置１１Ｂは，取得した乖離度に基づいて適切な部位を撮影することもできる。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。   Further, a PC is used for the ophthalmologic image processing apparatus 21 of the present embodiment. However, the device that can function as the ophthalmologic image processing apparatus 21 is not limited to a PC. For example, the ophthalmologic image photographing apparatus 11B or a server may function as the ophthalmologic image processing apparatus 21. When the ophthalmologic image capturing apparatus (OCT apparatus in the present embodiment) 11B functions as the ophthalmologic image processing apparatus 21, the ophthalmologic image capturing apparatus 11B may acquire the degree of deviation from the captured ophthalmic image while capturing the ophthalmic image. it can. Further, the ophthalmologic image photographing apparatus 11B can photograph an appropriate part based on the acquired degree of divergence. Further, a mobile terminal such as a tablet terminal or a smartphone may function as the ophthalmologic image processing device 21. The control units of a plurality of devices (for example, the CPU of the PC and the CPU 13B of the ophthalmologic imaging apparatus 11B) may perform various processes in cooperation.

また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。   In the present embodiment, a case where a CPU is used as an example of a controller that performs various processes will be described. However, it goes without saying that a controller other than the CPU may be used for at least a part of the various devices. For example, the processing speed may be increased by adopting a GPU as a controller.

数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、後述する数学モデル構築処理（図２参照）を実行するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、眼科画像撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。   The mathematical model construction device 1 will be described. The mathematical model construction device 1 is disposed, for example, in an ophthalmologic image processing device 21 or a maker that provides an ophthalmologic image processing program to a user. The mathematical model construction device 1 includes a control unit 2 that performs various control processes, and a communication I / F 5. The control unit 2 includes a CPU 3 that is a controller that controls the control, and a storage device 4 that can store programs, data, and the like. The storage device 4 stores a mathematical model construction program for executing a mathematical model construction process (see FIG. 2) described later. Further, the communication I / F 5 connects the mathematical model construction device 1 to another device (for example, the ophthalmologic image capturing device 11A and the ophthalmologic image processing device 21).

数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。   The mathematical model construction device 1 is connected to an operation unit 7 and a display device 8. The operation unit 7 is operated by the user so that the user inputs various instructions to the mathematical model construction device 1. For the operation unit 7, for example, at least one of a keyboard, a mouse, and a touch panel can be used. Note that a microphone or the like for inputting various instructions may be used together with or instead of the operation unit 7. The display device 8 displays various images. Various devices capable of displaying an image (for example, at least one of a monitor, a display, and a projector) can be used for the display device 8. The “image” in the present disclosure includes both a still image and a moving image.

数学モデル構築装置１は、眼科画像撮影装置１１Ａから眼科画像のデータ（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ａから眼科画像のデータを取得してもよい。   The mathematical model construction device 1 can acquire data of an ophthalmic image (hereinafter, may be simply referred to as “ophthalmic image”) from the ophthalmologic image capturing device 11A. The mathematical model construction device 1 may acquire the data of the ophthalmologic image from the ophthalmologic image capturing device 11A by at least one of, for example, wired communication, wireless communication, and a removable storage medium (for example, a USB memory).

眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図５参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、眼科画像撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。   The ophthalmologic image processing device 21 will be described. The ophthalmologic image processing apparatus 21 is disposed, for example, in a facility (for example, a hospital or a health examination facility or the like) for diagnosing or examining a subject. The ophthalmologic image processing apparatus 21 includes a control unit 22 that performs various control processes, and a communication I / F 25. The control unit 22 includes a CPU 23, which is a controller for controlling, and a storage device 24 capable of storing programs, data, and the like. The storage device 24 stores an ophthalmologic image processing program for executing ophthalmologic image processing (see FIG. 5) described later. The ophthalmologic image processing program includes a program for realizing the mathematical model constructed by the mathematical model construction apparatus 1. The communication I / F 25 connects the ophthalmologic image processing device 21 to another device (for example, the ophthalmologic image capturing device 11B and the mathematical model construction device 1).

眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。   The ophthalmologic image processing device 21 is connected to the operation unit 27 and the display device 28. Various devices can be used for the operation unit 27 and the display device 28, similarly to the operation unit 7 and the display device 8 described above.

眼科画像処理装置２１は、眼科画像撮影装置１１Ｂから眼科画像を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、眼科画像撮影装置１１Ｂから眼科画像を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。   The ophthalmologic image processing device 21 can acquire an ophthalmologic image from the ophthalmologic image capturing device 11B. The ophthalmologic image processing device 21 may acquire the ophthalmologic image from the ophthalmologic image capturing device 11B by at least one of, for example, wired communication, wireless communication, and a removable storage medium (for example, a USB memory). Further, the ophthalmologic image processing device 21 may acquire a program or the like for realizing the mathematical model constructed by the mathematical model constructing device 1 via communication or the like.

眼科画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像を提供する眼科画像撮影装置１１Ａと、眼科画像処理装置２１に眼科画像を提供する眼科画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される眼科画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の眼科画像撮影装置から眼科画像を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの眼科画像撮影装置から眼科画像を取得してもよい。なお、本実施形態で例示する２つの眼科画像撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの眼科画像撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。   The ophthalmologic imaging devices 11A and 11B will be described. As an example, in the present embodiment, a case will be described in which an ophthalmic image capturing device 11A that provides an ophthalmic image to the mathematical model construction device 1 and an ophthalmic image capturing device 11B that provides an ophthalmic image to the ophthalmic image processing device 21 are used. . However, the number of ophthalmologic imaging devices used is not limited to two. For example, the mathematical model construction device 1 and the ophthalmologic image processing device 21 may acquire ophthalmologic images from a plurality of ophthalmologic image capturing devices. In addition, the mathematical model construction device 1 and the ophthalmologic image processing device 21 may acquire an ophthalmologic image from one common ophthalmologic image capturing device. Note that the two ophthalmologic image capturing apparatuses 11A and 11B exemplified in the present embodiment have the same configuration. Accordingly, hereinafter, the two ophthalmologic image capturing apparatuses 11A and 11B will be described together.

また、本実施形態では、眼科画像撮影装置１１（１１Ａ，１１Ｂ）として、ＯＣＴ装置を例示する。ただし、ＯＣＴ装置以外の眼科画像撮影装置（例えば、レーザ走査型検眼装置（ＳＬＯ）、眼底カメラ、シャインプルーフカメラ、または角膜内皮細胞撮影装置（ＣＥＭ）等）が用いられてもよい。   In the present embodiment, an OCT apparatus is exemplified as the ophthalmologic image photographing apparatus 11 (11A, 11B). However, an ophthalmologic image photographing apparatus other than the OCT apparatus (for example, a laser scanning optometry apparatus (SLO), a fundus camera, a Scheimpflug camera, a corneal endothelial cell photographing apparatus (CEM), or the like) may be used.

眼科画像撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。   The ophthalmologic imaging apparatus 11 (11A, 11B) includes a control unit 12 (12A, 12B) for performing various control processes, and an ophthalmologic imaging section 16 (16A, 16B). The control unit 12 includes a CPU 13 (13A, 13B), which is a controller for controlling, and a storage device 14 (14A, 14B) capable of storing programs, data, and the like.

眼科画像撮影部１６は、被検眼の眼科画像を撮影するために必要な各種構成を備える。本実施形態の眼科画像撮影部１６には、ＯＣＴ光源、ＯＣＴ光源から出射されたＯＣＴ光を測定光と参照光に分岐する分岐光学素子、測定光を走査するための走査部、測定光を被検眼に照射するための光学系、被検眼の組織によって反射された光と参照光の合成光を受光する受光素子等が含まれる。   The ophthalmologic image capturing section 16 has various components necessary for capturing an ophthalmologic image of the subject's eye. The ophthalmic image photographing unit 16 of the present embodiment includes an OCT light source, a branching optical element that branches the OCT light emitted from the OCT light source into measurement light and reference light, a scanning unit for scanning the measurement light, and a measurement light. An optical system for irradiating the optometry, a light receiving element for receiving a combined light of the light reflected by the tissue of the eye to be examined and the reference light, and the like are included.

眼科画像撮影装置１１は、被検眼の眼底の二次元断層画像および三次元断層画像を撮影することができる。詳細には、ＣＰＵ１３は、スキャンライン上にＯＣＴ光（測定光）を走査させることで、スキャンラインに交差する断面の二次元断層画像を撮影する。二次元断層画像は、同一部位の複数の断層画像に対して加算平均処理を行うことで生成された加算平均画像であってもよい。また、ＣＰＵ１３は、ＯＣＴ光を二次元的に走査することによって、組織における三次元断層画像を撮影することができる。例えば、ＣＰＵ１３は、組織を正面から見た際の二次元の領域内において、位置が互いに異なる複数のスキャンライン上の各々に測定光を走査させることで、複数の二次元断層画像を取得する。次いで、ＣＰＵ１３は、撮影された複数の二次元断層画像を組み合わせることで、三次元断層画像を取得する。   The ophthalmologic image photographing apparatus 11 can photograph a two-dimensional tomographic image and a three-dimensional tomographic image of the fundus of the subject's eye. Specifically, the CPU 13 scans the scan line with the OCT light (measurement light) to capture a two-dimensional tomographic image of a cross section that intersects the scan line. The two-dimensional tomographic image may be an averaged image generated by performing an averaging process on a plurality of tomographic images of the same site. Further, the CPU 13 can take a three-dimensional tomographic image of the tissue by scanning the OCT light two-dimensionally. For example, the CPU 13 obtains a plurality of two-dimensional tomographic images by causing the measurement light to scan each of a plurality of scan lines at different positions in a two-dimensional region when the tissue is viewed from the front. Next, the CPU 13 acquires a three-dimensional tomographic image by combining a plurality of captured two-dimensional tomographic images.

（数学モデル構築処理）
図２〜図４を参照して、数学モデル構築装置１が実行する数学モデル構築処理について説明する。数学モデル構築処理は、記憶装置４に記憶された数学モデル構築プログラムに従って、ＣＰＵ３によって実行される。数学モデル構築処理では、訓練データセットによって数学モデルが訓練されることで、眼科画像中の組織を識別するための確率分布を出力する数学モデルが構築される。訓練データセットには、入力側のデータ（入力用訓練データ）と出力側のデータ（出力用訓練データ）が含まれる。 (Mathematics model construction processing)
The mathematical model construction processing executed by the mathematical model construction apparatus 1 will be described with reference to FIGS. The mathematical model construction process is executed by the CPU 3 according to the mathematical model construction program stored in the storage device 4. In the mathematical model construction process, a mathematical model that outputs a probability distribution for identifying a tissue in an ophthalmologic image is constructed by training the mathematical model using the training data set. The training data set includes input-side data (input training data) and output-side data (output training data).

図２に示すように、ＣＰＵ３は、眼科画像撮影装置１１Ａによって撮影された眼科画像である訓練用眼科画像のデータを、入力用訓練データとして取得する（Ｓ１）。本実施形態では、訓練用眼科画像のデータは、眼科画像撮影装置１１Ａによって生成された後、数学モデル構築装置１によって取得される。しかし、ＣＰＵ３は、訓練用眼科画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ａから取得し、取得した信号に基づいて訓練用眼科画像を生成することで、訓練用眼科画像のデータを取得してもよい。   As shown in FIG. 2, the CPU 3 acquires, as input training data, data of a training ophthalmic image that is an ophthalmic image captured by the ophthalmologic image capturing apparatus 11A (S1). In the present embodiment, the data of the training ophthalmic image is acquired by the mathematical model construction device 1 after being generated by the ophthalmic image photographing device 11A. However, the CPU 3 obtains a signal (for example, an OCT signal) as a basis for generating a training ophthalmic image from the ophthalmologic image capturing apparatus 11A, and generates a training ophthalmic image based on the acquired signal, thereby obtaining a training ophthalmic image. Image data may be acquired.

なお、本実施形態のＳ１では、ＯＣＴ装置である眼科画像撮影装置１１Ａによって撮影された二次元断層画像が、訓練用眼科画像として取得される。図３に、眼底の二次元断層画像である訓練用眼科画像３０の一例を示す。図３に例示する訓練用眼科画像３０には、眼底における複数の層が表れている。また、本実施形態では、構造の異常度が低い組織の眼科画像が訓練用眼科画像として取得される。この場合、訓練データセットによって訓練される数学モデルは、構造の異常度が高い組織を識別することが困難になる。その結果、構造の異常度が高い眼科画像について取得される乖離度が大きくなり易い。   In S1 of the present embodiment, a two-dimensional tomographic image captured by the ophthalmologic image capturing apparatus 11A, which is an OCT apparatus, is acquired as a training ophthalmologic image. FIG. 3 shows an example of a training ophthalmologic image 30 which is a two-dimensional tomographic image of the fundus. In the training ophthalmologic image 30 illustrated in FIG. 3, a plurality of layers in the fundus are shown. In the present embodiment, an ophthalmic image of a tissue having a low degree of structural abnormality is acquired as a training ophthalmic image. In this case, it is difficult for the mathematical model trained by the training data set to identify an organization having a high degree of structural abnormality. As a result, the degree of deviation obtained for an ophthalmologic image having a high degree of structural abnormality tends to be large.

ただし、訓練用眼科画像として使用される眼科画像を変更することもできる。例えば、被検眼の組織の二次元正面画像が、訓練用眼科画像として使用されてもよい。この場合、訓練用眼科画像を撮影する眼科画像撮影装置には、種々の装置（例えば、ＯＣＴ装置、ＳＬＯ装置、眼底カメラ、赤外カメラ、角膜内皮細胞撮影装置等の少なくともいずれか）を使用できる。また、三次元画像が訓練用眼科画像として使用されてもよい。   However, the ophthalmic image used as the training ophthalmic image can be changed. For example, a two-dimensional front image of the tissue of the eye to be inspected may be used as a training ophthalmologic image. In this case, various devices (for example, at least one of an OCT device, an SLO device, a fundus camera, an infrared camera, and a corneal endothelial cell photographing device) can be used as an ophthalmologic image capturing device that captures a training ophthalmic image. . Further, a three-dimensional image may be used as a training ophthalmic image.

次いで、ＣＰＵ３は、訓練用眼科画像における組織のうち、少なくともいずれかの組織の位置を示す訓練用データを取得する（Ｓ２）。図４に、訓練用眼科画像３０として眼底の二次元断層画像が使用される場合の訓練用データ３１の一例を示す。図４に例示する訓練用データ３１には、訓練用眼科画像３０に写っている複数の組織（詳細には、複数の層および境界）のうち、６つの境界の各々の位置を示すラベル３２Ａ〜３２Ｆのデータが含まれている。本実施形態では、訓練用データ３１におけるラベル３２Ａ〜３２Ｆのデータは、作業者が訓練用眼科画像３０における境界を見ながら操作部７を操作することで生成される。ただし、ラベルのデータの生成方法を変更することも可能である。   Next, the CPU 3 acquires training data indicating the position of at least one of the tissues in the training ophthalmic image (S2). FIG. 4 shows an example of the training data 31 when a two-dimensional tomographic image of the fundus is used as the training ophthalmic image 30. The training data 31 illustrated in FIG. 4 includes labels 32 </ b> A to 32 </ b> A indicating positions of six boundaries among a plurality of tissues (specifically, a plurality of layers and boundaries) shown in the training ophthalmologic image 30. 32F data is included. In the present embodiment, the data of the labels 32 </ b> A to 32 </ b> F in the training data 31 is generated by the operator operating the operation unit 7 while watching the boundary in the training ophthalmologic image 30. However, it is also possible to change the method of generating label data.

なお、訓練用データを変更することも可能である。例えば、訓練用眼科画像３０として眼底の二次元断層画像が使用される場合には、訓練用データは、眼底における少なくともいずれかの層の位置を示すデータであってもよい。また、訓練用データは、層および境界でなく、組織中の点状の部位等の位置を示すデータであってもよい。   It is also possible to change the training data. For example, when a two-dimensional tomographic image of the fundus is used as the training ophthalmologic image 30, the training data may be data indicating the position of at least one layer in the fundus. Further, the training data may be data indicating a position such as a point-like portion in the tissue instead of the layer and the boundary.

次いで、ＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行する（Ｓ３）。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。   Next, the CPU 3 executes the training of the mathematical model using the training data set by the machine learning algorithm (S3). As the machine learning algorithm, for example, a neural network, a random forest, boosting, a support vector machine (SVM), and the like are generally known.

ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。   A neural network is a technique that mimics the behavior of a biological neuronal network. The neural network includes, for example, a feedforward (forward propagation) neural network, an RBF network (radial basis function), a spiking neural network, a convolutional neural network, a recurrent neural network (recurrent neural network, feedback neural network, etc.), probability Neural network (Boltzmann machine, Baysian network, etc.).

ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。   The random forest is a method of generating a large number of decision trees by performing learning based on training data that is randomly sampled. When a random forest is used, a branch of a plurality of decision trees previously learned as a classifier is traced, and an average (or majority decision) of the results obtained from each decision tree is calculated.

ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。   Boosting is a method of generating a strong classifier by combining a plurality of weak classifiers. A strong classifier is constructed by sequentially learning simple and weak classifiers.

ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。   The SVM is a method of configuring two classes of pattern classifiers using linear input elements. The SVM learns the parameters of the linear input element based on, for example, a criterion (hyperplane separation theorem) for obtaining a margin-maximizing hyperplane that maximizes the distance to each data point from the training data.

数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、訓練データセットを用いて訓練されることで構築される。前述したように、訓練データセットは、入力用訓練データと出力用訓練データのセットである。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。   The mathematical model refers to, for example, a data structure for predicting a relationship between input data and output data. The mathematical model is built by being trained using a training dataset. As described above, the training data set is a set of input training data and output training data. For example, the training updates the correlation data (eg, weights) for each input and output.

本実施形態では、機械学習アルゴリズムとして多層型のニューラルネットワークが用いられている。ニューラルネットワークは、データを入力するための入力層と、予測したいデータを生成するための出力層と、入力層と出力層の間の１つ以上の隠れ層を含む。各層には、複数のノード（ユニットとも言われる）が配置される。詳細には、本実施形態では、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）が用いられている。   In the present embodiment, a multilayer neural network is used as a machine learning algorithm. The neural network includes an input layer for inputting data, an output layer for generating data to be predicted, and one or more hidden layers between the input layer and the output layer. In each layer, a plurality of nodes (also referred to as units) are arranged. Specifically, in the present embodiment, a convolutional neural network (CNN), which is a kind of a multilayer neural network, is used.

一例として、本実施形態で構築される数学モデルは、眼科画像中の領域（一次元領域、二次元領域、三次元領域、および、時間軸を含む四次元領域のいずれか）内において、特定の組織（例えば、特定の境界、特定の層、または特定の部位等）が存在する座標（一次元座標、二次元座標、三次元座標、および四次元座標のいずれか）を確率変数とする確率分布を、組織を識別するための確率分布として出力する。本実施形態では、数学モデルに確率分布を出力させるために、ソフトマックス関数が適用されている。詳細には、Ｓ３で構築される数学モデルは、二次元断層画像中の特定の境界に交差する方向（本実施形態では、ＯＣＴのＡスキャン方向）に延びる一次元領域における、特定の境界が存在する座標を確率変数とする確率分布を出力する。   As an example, the mathematical model constructed in the present embodiment includes a specific model in a region (one of a one-dimensional region, a two-dimensional region, a three-dimensional region, and a four-dimensional region including a time axis) in an ophthalmologic image. Probability distribution in which coordinates (one of one-dimensional coordinates, two-dimensional coordinates, three-dimensional coordinates, and four-dimensional coordinates) at which a tissue (eg, a specific boundary, a specific layer, or a specific part) exists are used as a random variable. Is output as a probability distribution for identifying the tissue. In the present embodiment, a softmax function is applied to output a probability distribution to a mathematical model. Specifically, the mathematical model constructed in S3 has a specific boundary in a one-dimensional region extending in a direction intersecting a specific boundary in the two-dimensional tomographic image (in the present embodiment, the A-scan direction of OCT). A probability distribution is output with the coordinates to be used as random variables.

ただし、数学モデルが組織を識別するための確率分布を出力する具体的方法は、適宜変更できる。例えば、数学モデルは、二次元領域または三次元領域において、特定の組織（例えば特徴部位等）が存在する二次元座標または三次元座標を確率変数とする確率分布を、組織を識別するための確率分布として出力してもよい。また、数学モデルは、被検眼における複数の組織（例えば、複数の層および境界）の種類を確率変数とする確率分布を、入力された眼科画像の各領域毎（例えば画素毎）に出力してもよい。また、数学モデルに入力される眼科画像が動画像であってもよい。   However, the specific method by which the mathematical model outputs the probability distribution for identifying the tissue can be changed as appropriate. For example, a mathematical model calculates a probability distribution for identifying a tissue in a two-dimensional area or a three-dimensional area using a probability distribution using two-dimensional coordinates or three-dimensional coordinates at which a specific tissue (for example, a characteristic portion or the like) exists as a random variable. It may be output as a distribution. In addition, the mathematical model outputs a probability distribution using the types of a plurality of tissues (for example, a plurality of layers and boundaries) in the eye to be examined as a random variable for each region (for example, each pixel) of the input ophthalmologic image. Is also good. Further, the ophthalmologic image input to the mathematical model may be a moving image.

また、他の機械学習アルゴリズムが用いられてもよい。例えば、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）が、機械学習アルゴリズムとして採用されてもよい。   Further, another machine learning algorithm may be used. For example, a hostile generation network (GAN) utilizing two competing neural networks may be adopted as the machine learning algorithm.

数学モデルの構築が完了するまで（Ｓ４：ＮＯ）、Ｓ１〜Ｓ３の処理が繰り返される。数学モデルの構築が完了すると（Ｓ４：ＹＥＳ）、数学モデル構築処理は終了する。構築された数学モデルを実現させるプログラムおよびデータは、眼科画像処理装置２１に組み込まれる。   Until the construction of the mathematical model is completed (S4: NO), the processing of S1 to S3 is repeated. When the construction of the mathematical model is completed (S4: YES), the mathematical model construction processing ends. The program and data for realizing the constructed mathematical model are incorporated in the ophthalmologic image processing device 21.

（眼科画像処理）
図５から図１１を参照して、眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２１に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。 (Ophthalmological image processing)
The ophthalmologic image processing performed by the ophthalmologic image processing device 21 will be described with reference to FIGS. The ophthalmologic image processing is executed by the CPU 23 according to the ophthalmologic image processing program stored in the storage device 21.

まず、ＣＰＵ２３は、被検眼の組織（本実施形態では眼底）の三次元断層画像を取得する（Ｓ１１）。三次元断層画像は、眼科画像撮影装置１１Ｂによって撮影されて、眼科画像処理装置２１によって取得される。前述したように、三次元断層画像は、互いに異なるスキャンライン上に測定光を走査させることで撮影された複数の二次元断層画像を組み合わせることで構成されている。なお、ＣＰＵ２３は、三次元断層画像を生成する基となる信号（例えばＯＣＴ信号）を眼科画像撮影装置１１Ｂから取得し、取得した信号に基づいて三次元断層画像を生成してもよい。   First, the CPU 23 acquires a three-dimensional tomographic image of the tissue of the subject's eye (the fundus in this embodiment) (S11). The three-dimensional tomographic image is captured by the ophthalmologic image capturing device 11B and acquired by the ophthalmologic image processing device 21. As described above, the three-dimensional tomographic image is configured by combining a plurality of two-dimensional tomographic images captured by scanning measurement light on different scan lines. Note that the CPU 23 may acquire a signal (for example, an OCT signal) as a basis for generating a three-dimensional tomographic image from the ophthalmologic image capturing apparatus 11B, and generate a three-dimensional tomographic image based on the obtained signal.

ＣＰＵ２３は、取得した三次元断層画像を構成する複数の二次元断層画像のうち、Ｔ番目（Ｔの初期値は「１」）の二次元断層画像を抽出する（Ｓ１２）。図６に、二次元断層画像４０の一例を示す。二次元断層画像４０には、被検眼の眼底における複数の境界が表れている。図６に示す例では、内境界膜（ＩＬＭ）である境界Ｂｉと、神経線維層（ＮＦＬ）と神経節細胞層（ＧＣＬ）の境界Ｂｇを含む複数の境界が表れている。また、二次元断層画像４０中に、複数の一次元領域Ａ１〜ＡＮが設定される。本実施形態では、二次元断層画像４０中に設定される一次元領域Ａ１〜ＡＮは、特定の境界（本実施形態では、境界Ｂｉと境界Ｂｇを含む複数の境界）に交差する軸に沿ってに延びる。詳細には、本実施形態の一次元領域Ａ１〜ＡＮは、ＯＣＴ装置によって撮影された二次元断層画像４０を構成する複数（Ｎ本）のＡスキャンの各々の領域に一致する。   The CPU 23 extracts a T-th (the initial value of T is “1”) two-dimensional tomographic image from a plurality of two-dimensional tomographic images constituting the acquired three-dimensional tomographic image (S12). FIG. 6 shows an example of the two-dimensional tomographic image 40. In the two-dimensional tomographic image 40, a plurality of boundaries in the fundus of the eye to be examined appear. In the example illustrated in FIG. 6, a plurality of boundaries including a boundary Bi that is an inner limiting membrane (ILM) and a boundary Bg between a nerve fiber layer (NFL) and a ganglion cell layer (GCL) appear. In the two-dimensional tomographic image 40, a plurality of one-dimensional areas A1 to AN are set. In the present embodiment, the one-dimensional areas A1 to AN set in the two-dimensional tomographic image 40 are arranged along an axis that intersects a specific boundary (a plurality of boundaries including a boundary Bi and a boundary Bg in the present embodiment). Extend to. More specifically, the one-dimensional areas A1 to AN of the present embodiment correspond to the respective areas of a plurality (N) of A-scans forming the two-dimensional tomographic image 40 captured by the OCT apparatus.

なお、複数の一次元領域を設定する方法を変更することも可能である。例えば、ＣＰＵ２３は、各々の一次元領域の軸と特定の境界の角度が極力垂直に近づくように、複数の一次元領域を設定してもよい。この場合、各々の一次元領域の位置および角度は、例えば、一般的な被検眼の組織（本実施形態では眼底）の形状に基づいて、角度が垂直に近づくように設定されてもよい。   Note that the method of setting a plurality of one-dimensional regions can be changed. For example, the CPU 23 may set a plurality of one-dimensional regions so that the angle between the axis of each one-dimensional region and a specific boundary approaches as close as possible. In this case, the position and the angle of each one-dimensional region may be set based on the shape of a general tissue of the eye to be inspected (the fundus in this embodiment) so that the angle approaches vertical.

ＣＰＵ２３は、数学モデルにＴ番目の二次元断層画像を入力することで、複数の一次元領域Ａ１〜ＡＮの各々において、Ｍ番目（Ｍの初期値は「１」）の境界が存在する座標の確率分布を、組織を識別するための確率分布として取得する（Ｓ１４）。図７および図８に、一次元座標Ａ１から取得される、境界Ｂｉが存在する座標の確率分布を示すグラフの一例を示す。図７および図８に示す例では、一次元領域Ａ１の一次元座標を確率変数として、境界Ｂｉが存在する座標の確率分布が示されている。つまり、図７および図８に示す例では、横軸は確率変数、縦軸は前記確率変数の確率であり、前記確率変数は一次元領域Ａ１における境界Ｂｉの存在する座標である。Ｓ１４では、複数の一次元領域Ａ１〜ＡＮの各々における確率分布が取得される。   By inputting the T-th two-dimensional tomographic image to the mathematical model, the CPU 23 calculates the coordinates of the M-th (the initial value of M is “1”) coordinate in each of the plurality of one-dimensional areas A1 to AN. A probability distribution is acquired as a probability distribution for identifying a tissue (S14). FIGS. 7 and 8 show examples of graphs showing the probability distribution of the coordinates where the boundary Bi exists, which is obtained from the one-dimensional coordinates A1. In the examples shown in FIGS. 7 and 8, the probability distribution of the coordinates where the boundary Bi exists is shown using the one-dimensional coordinates of the one-dimensional area A1 as a random variable. That is, in the examples shown in FIGS. 7 and 8, the horizontal axis is a random variable, the vertical axis is the probability of the random variable, and the random variable is the coordinates where the boundary Bi in the one-dimensional area A1 exists. In S14, the probability distribution in each of the one-dimensional regions A1 to AN is acquired.

図７に示す確率分布は、組織（詳細には、境界Ｂｉの近傍の組織）の構造の異常度が低い場合に出力される確率分布の一例である。構造の異常度が低い位置では、数学モデルによって組織が正確に識別され易いので、組織の位置の確率が偏り易い。図７に示すグラフによると、一次元領域Ａ１上の各点の中で、境界Ｂｉが存在する可能性が最も高い点が、点Ｐであると判断できる。数学モデルが正確に組織を識別した場合の確率分布（つまり、理想的な確率分布）は、一次元領域Ａ１上の１つの点でのみ１の値を取り、他の点では０となる。   The probability distribution shown in FIG. 7 is an example of the probability distribution output when the degree of abnormality of the structure of the tissue (specifically, the tissue near the boundary Bi) is low. At a position where the degree of structural abnormality is low, the tissue is likely to be accurately identified by the mathematical model, and the probability of the position of the tissue is likely to be biased. According to the graph shown in FIG. 7, it can be determined that, among the points on the one-dimensional area A <b> 1, the point having the highest possibility of the existence of the boundary Bi is the point P. The probability distribution when the mathematical model correctly identifies the tissue (that is, an ideal probability distribution) takes a value of 1 only at one point on the one-dimensional area A1, and becomes 0 at other points.

一方で、図８に示す確率分布は、組織の構造の異常度が高い場合に出力される確率分布の一例である。図８に示すように、構造の異常度が高い位置では、確率分布が偏り難くなる。以上のように、組織の構造の異常度に応じて、組織を識別するための確率分布の偏りは変化する。   On the other hand, the probability distribution shown in FIG. 8 is an example of the probability distribution output when the degree of abnormality in the structure of the tissue is high. As shown in FIG. 8, the probability distribution is less likely to be biased at a position where the degree of structural abnormality is high. As described above, the bias of the probability distribution for identifying the tissue changes according to the degree of abnormality in the structure of the tissue.

次いで、ＣＰＵ２３は、Ｍ番目の境界に関する、確率分布Ｐの乖離度を取得する（Ｓ１５）。乖離度とは、組織が正確に識別される場合の確率分布に対する、Ｓ１４で取得された確率分布Ｐの差である。本実施形態では、乖離度は、組織の構造の異常度を示す構造情報として取得される。本実施形態のＳ１５では、複数の一次元領域Ａ１〜ＡＮについて取得された複数の確率分布Ｐの各々に対して乖離度が取得（算出）される。   Next, the CPU 23 acquires the degree of deviation of the probability distribution P with respect to the M-th boundary (S15). The divergence is a difference between the probability distribution when the tissue is correctly identified and the probability distribution P acquired in S14. In the present embodiment, the divergence is acquired as structure information indicating the degree of abnormality in the structure of the organization. In S15 of the present embodiment, the degree of divergence is obtained (calculated) for each of the plurality of probability distributions P obtained for the plurality of one-dimensional areas A1 to AN.

本実施形態では、乖離度として、確率分布Ｐのエントロピーが算出される。エントロピーは、以下の（数１）で与えられる。エントロピーＨ（Ｐ）は、０≦Ｈ（Ｐ）≦ｌｏｇ（事象の数）の値を取り、確率分布Ｐが偏っている程小さな値になる。つまり、エントロピーＨ（Ｐ）が小さい程、組織の構造の異常度が低いことになる。組織が正確に識別される場合の確率分布のエントロピーは、０となる。また、組織の構造の異常度が増加し、組織の識別が困難になる程、エントロピーＨ（Ｐ）は増大する。従って、乖離度として確率分布ＰのエントロピーＨ（Ｐ）を用いることで、組織の構造の異常度が適切に定量化される。
Ｈ（Ｐ）＝−Σｐｌｏｇ（ｐ）・・・（数１） In the present embodiment, the entropy of the probability distribution P is calculated as the degree of deviation. The entropy is given by the following (Equation 1). The entropy H (P) takes a value of 0 ≦ H (P) ≦ log (the number of events), and becomes smaller as the probability distribution P is biased. That is, the smaller the entropy H (P), the lower the degree of abnormality in the structure of the tissue. The entropy of the probability distribution when the tissue is correctly identified is zero. Further, the entropy H (P) increases as the degree of abnormality in the structure of the tissue increases and the identification of the tissue becomes more difficult. Therefore, by using the entropy H (P) of the probability distribution P as the degree of deviation, the degree of abnormality in the structure of the tissue is appropriately quantified.
H (P) =-Σlog (p) (Equation 1)

ただし、エントロピー以外の値が乖離度として採用されてもよい。例えば、取得された確率分布Ｐの散布度を示す標準偏差、変動係数、分散等の少なくともいずれかが乖離度として使用されてもよい。確率分布Ｐ同士の差異を図る尺度であるＫＬダイバージェンス等が乖離度として使用されてもよい。また、取得された確率分布Ｐの最大値（例えば、図７および図８に例示する確率の最大値）が乖離度として使用されてもよい。また、取得された確率分布Ｐの最大値と、２番目に大きい値の差が乖離度として使用されてもよい。   However, a value other than entropy may be adopted as the degree of deviation. For example, at least one of the standard deviation indicating the degree of dispersion of the acquired probability distribution P, the coefficient of variation, and the variance may be used as the degree of deviation. KL divergence or the like, which is a measure for determining a difference between the probability distributions P, may be used as the degree of divergence. Further, the maximum value of the obtained probability distribution P (for example, the maximum value of the probability illustrated in FIGS. 7 and 8) may be used as the degree of divergence. Further, the difference between the acquired maximum value of the probability distribution P and the second largest value may be used as the degree of divergence.

次いで、ＣＰＵ２３は、Ｔ番目の二次元断層画像において検出対象とする、全ての境界の乖離度が取得されたか否かを判断する（Ｓ１６）。一部の境界の乖離度が取得されていなければ（Ｓ１６：ＮＯ）、境界の順番Ｍに「１」が加算されて（Ｓ１７）、処理はＳ１４に戻り、次の境界の乖離度が取得される（Ｓ１４，Ｓ１５）。全ての境界の乖離度が取得されると（Ｓ１６：ＹＥＳ）、ＣＰＵ２３は、Ｔ番目の二次元断層画像の乖離度を記憶装置２４に記憶させると共に、表示装置２８に表示させる（Ｓ１９）。ＣＰＵ２３は、Ｔ番目の二次元断層画像の構造異常度グラフを取得（本実施形態では生成）し、表示装置２８に表示させる（Ｓ２０）。   Next, the CPU 23 determines whether or not the degrees of deviation of all the boundaries to be detected in the T-th two-dimensional tomographic image have been acquired (S16). If the divergence of some of the boundaries has not been obtained (S16: NO), “1” is added to the order M of the boundaries (S17), the process returns to S14, and the divergence of the next boundary is obtained. (S14, S15). When the divergence of all the boundaries is acquired (S16: YES), the CPU 23 stores the divergence of the T-th two-dimensional tomographic image in the storage device 24 and displays it on the display device 28 (S19). The CPU 23 acquires (generates in the present embodiment) a structural abnormality degree graph of the T-th two-dimensional tomographic image and causes the display device 28 to display the graph (S20).

図９および図１０を参照して、構造異常度グラフ５２について説明する。図９は、構造の異常度が低い二次元断層画像５１Ａと、二次元断層画像５１Ａに関する構造異常度グラフ５２Ａと、二次元断層画像５１Ａに関する乖離度を示す乖離度表５３Ａとが表示された表示画面の一例である。また、図１０は、構造の異常度が高い二次元断層画像５１Ｂと、二次元断層画像５１Ｂに関する構造異常度グラフ５２Ｂと、二次元断層画像５１Ｂに関する乖離度を示す乖離度表５３Ｂとが表示された表示画面の一例である。   With reference to FIGS. 9 and 10, the structural abnormality degree graph 52 will be described. FIG. 9 is a display in which a two-dimensional tomographic image 51A having a low structural abnormality degree, a structural abnormality degree graph 52A relating to the two-dimensional tomographic image 51A, and a divergence degree table 53A indicating the divergence degree relating to the two-dimensional tomographic image 51A are displayed. It is an example of a screen. FIG. 10 shows a two-dimensional tomographic image 51B having a high degree of structural abnormality, a structural abnormality degree graph 52B relating to the two-dimensional tomographic image 51B, and a divergence degree table 53B indicating the degree of divergence relating to the two-dimensional tomographic image 51B. 3 is an example of a display screen.

図９および図１０に示すように、二次元断層画像５１は、Ｘ方向（図面の左右方向）およびＺ方向（図面の上下方向）に広がる二次元の画像である。前述したように、乖離度は、眼科画像上でＺ方向に平行に延びる複数の軸（本実施形態では、複数のＡスキャン）毎に取得される。図９および図１０に示す構造異常度グラフ５２では、横軸をＸ軸とし、Ｘ方向の各々の位置における乖離度が縦軸に示されている。   As shown in FIGS. 9 and 10, the two-dimensional tomographic image 51 is a two-dimensional image that extends in the X direction (horizontal direction in the drawing) and the Z direction (vertical direction in the drawing). As described above, the degree of divergence is acquired for each of a plurality of axes (a plurality of A scans in the present embodiment) extending parallel to the Z direction on the ophthalmic image. In the structural abnormality degree graphs 52 shown in FIGS. 9 and 10, the horizontal axis is the X axis, and the divergence at each position in the X direction is shown on the vertical axis.

一例として、本実施形態の構造異常度グラフ５２では、複数の境界の各々について取得された、複数の乖離度（本実施形態ではエントロピー）の平均値が、Ｘ方向の位置毎に示されている。しかし、１つの境界の乖離度が構造異常度グラフ５２によって示されてもよい。また、特定の複数の境界（例えば、ＩＰＬ／ＩＮＬの境界と、ＯＰＬ／ＯＮＬの境界）の平均値が、構造異常度グラフ５２によって示されてもよい。また、平均値の代わりに、平均値以外の各種統計値（例えば、中央値、最頻値、最大値、または最小値等）が用いられてもよい。   As an example, in the structural abnormality degree graph 52 of the present embodiment, an average value of a plurality of divergence degrees (entropy in the present embodiment) acquired for each of a plurality of boundaries is shown for each position in the X direction. . However, the degree of deviation of one boundary may be indicated by the structural abnormality degree graph 52. Further, an average value of a plurality of specific boundaries (for example, a boundary between IPL / INL and a boundary between OPL / ONL) may be indicated by the structural abnormality degree graph 52. Instead of the average value, various statistical values other than the average value (for example, a median value, a mode value, a maximum value, or a minimum value) may be used.

図９に示すように、Ｘ方向の全体で構造の異常度が低い場合には、構造異常度グラフ５２Ａによって示される乖離度が、Ｘ方向の全体で低い値となる。一方で、図１０に示すように、構造の異常度が高いＸ方向の位置では、構造異常度グラフ５２Ｂによって示される乖離度は高い値となる。以上のように、構造異常度グラフ５２によると、Ｘ方向のいずれの位置の異常度が高いかが、ユーザによって適切に把握される。   As illustrated in FIG. 9, when the degree of structural abnormality is low in the entire X direction, the degree of divergence indicated by the structural abnormality degree graph 52A is a low value in the entire X direction. On the other hand, as shown in FIG. 10, at the position in the X direction where the degree of structural abnormality is high, the degree of divergence indicated by the structural abnormality degree graph 52B has a high value. As described above, according to the structural abnormality degree graph 52, which position in the X direction has a high degree of abnormality is appropriately grasped by the user.

図９および図１０を参照して、乖離度の表示方法の一例について説明する。図９および図１０に示すように、本実施形態の乖離度表５３では、複数の境界毎に、取得された乖離度（本実施形態ではエントロピー）が表示される。従って、ユーザは、構造の異常度が高い境界を、定量化された値に基づいて適切に把握することができる。本実施形態の乖離度表５３で表示される乖離度は、複数の一次元領域（本実施形態ではＡスキャン）毎に取得された複数の乖離度の平均値である。また、本実施形態の乖離度表５３では、全ての境界に関する乖離度の平均値が表示される。従って、ユーザは、眼科画像に写っている組織中に、構造の異常度が高い部位があるか否かを、平均値によって容易に把握することができる。さらに、本実施形態の乖離度表５３では、全ての境界のうち、複数の特定の境界に関する乖離度の平均値が表示される。一例として、本実施形態では、疾患による影響で構造が崩れやすい境界（ＩＰＬ／ＩＮＬの境界と、ＯＰＬ／ＯＮＬの境界）の平均値が表示される。従って、ユーザは、疾患による構造異常が存在するか否かを容易に把握することができる。なお、前述したように、平均値以外の各種統計値が用いられてもよい。   An example of a method for displaying the degree of deviation will be described with reference to FIGS. 9 and 10. As shown in FIGS. 9 and 10, in the divergence table 53 of the present embodiment, the acquired divergence (entropy in the present embodiment) is displayed for each of a plurality of boundaries. Therefore, the user can appropriately grasp the boundary where the degree of structural abnormality is high based on the quantified value. The divergence displayed in the divergence table 53 of the present embodiment is an average value of a plurality of divergence obtained for each of a plurality of one-dimensional regions (A scan in this embodiment). In addition, in the divergence table 53 of the present embodiment, the average value of the divergence for all the boundaries is displayed. Therefore, the user can easily grasp from the average value whether or not there is a portion having a high degree of structural abnormality in the tissue shown in the ophthalmologic image. Further, in the divergence table 53 of the present embodiment, an average value of the divergence regarding a plurality of specific boundaries among all the boundaries is displayed. As an example, in the present embodiment, the average value of the boundary (the boundary between the IPL / INL and the boundary between the OPL / ONL) in which the structure is likely to collapse due to the disease is displayed. Therefore, the user can easily grasp whether or not there is a structural abnormality due to the disease. As described above, various statistical values other than the average value may be used.

次いで、ＣＰＵ２３は、三次元断層画像を構成する全ての二次元断層画像の乖離度が取得されたか否かを判断する（Ｓ２１）。一部の二次元断層画像の乖離度が取得されていなければ（Ｓ２１：ＮＯ）、二次元断層画像の順番Ｔに「１」が加算されて（Ｓ２２）、処理はＳ１２に戻り、次の二次元断層画像の乖離度が取得される（Ｓ１２〜Ｓ２０）。全ての二次元断層画像の乖離度が取得されると（Ｓ２１：ＹＥＳ）、ＣＰＵ２３は、構造異常度マップを取得（本実施形態では生成）し、表示装置２８に表示させる（Ｓ２４）。   Next, the CPU 23 determines whether or not the degrees of deviation of all the two-dimensional tomographic images constituting the three-dimensional tomographic image have been acquired (S21). If the degree of divergence of some two-dimensional tomographic images has not been acquired (S21: NO), “1” is added to the order T of the two-dimensional tomographic images (S22), and the process returns to S12, and the next two The degree of deviation of the two-dimensional tomographic image is obtained (S12 to S20). When the degrees of deviation of all the two-dimensional tomographic images are acquired (S21: YES), the CPU 23 acquires (generates in the present embodiment) a structural abnormality degree map and displays it on the display device 28 (S24).

図１１を参照して、構造異常度マップ５５について説明する。構造異常度マップ５５は、組織における乖離度の二次元分布を示すマップである。前述したように、本実施形態では、三次元断層画像を構成する複数の二次元断層画像の各々について乖離度が取得されている。つまり、三次元断層画像に写っている組織の全体の乖離度が取得されている。本実施形態の構造異常度マップ５５では、組織（本実施形態では眼底）を正面から見た場合の、乖離度の二次元分布が示されている。ただし、二次元分布を示す方向は適宜変更できる。また、本実施形態の構造異常度マップ５５では、乖離度が高い程、表示されている輝度が低くなる。しかし、構造異常度マップ５５において各位置の乖離度を示すための具体的な方法も、適宜変更できる。また、本実施形態の構造異常度マップ５５では、複数の境界に関する乖離度の平均値が用いられている。しかし、特定の境界に関する乖離度が用いられてもよい。   The structural abnormality degree map 55 will be described with reference to FIG. The structural abnormality degree map 55 is a map showing a two-dimensional distribution of the degree of deviation in the organization. As described above, in the present embodiment, the degree of divergence is obtained for each of a plurality of two-dimensional tomographic images that form a three-dimensional tomographic image. That is, the degree of deviation of the entire tissue shown in the three-dimensional tomographic image is obtained. The structural abnormality degree map 55 of the present embodiment shows a two-dimensional distribution of the degree of divergence when the tissue (the fundus in this embodiment) is viewed from the front. However, the direction indicating the two-dimensional distribution can be changed as appropriate. Further, in the structural abnormality degree map 55 of the present embodiment, the higher the degree of deviation is, the lower the displayed luminance is. However, a specific method for indicating the degree of deviation of each position in the structural abnormality degree map 55 can be appropriately changed. Further, in the structural abnormality degree map 55 of the present embodiment, an average value of divergence degrees regarding a plurality of boundaries is used. However, the degree of deviation regarding a specific boundary may be used.

次いで、ＣＰＵ２３は、眼科画像（本実施形態では三次元断層画像）に写っている組織の中に、乖離度が閾値以上の部位（以下、「異常部位」という）が存在する場合に、異常部位の断層画像（二次元断層画像および三次元断層画像の少なくともいずれか）または拡大画像を、表示装置２８に表示させる（Ｓ２５）。従って、異常部位の画像が、ユーザによって適切に確認される。   Next, the CPU 23 determines, when a part (hereinafter referred to as “abnormal part”) having a degree of divergence equal to or more than the threshold exists in the tissue shown in the ophthalmologic image (in this embodiment, a three-dimensional tomographic image), (At least one of a two-dimensional tomographic image and a three-dimensional tomographic image) or an enlarged image is displayed on the display device 28 (S25). Therefore, the image of the abnormal part is appropriately confirmed by the user.

詳細には、本実施形態のＣＰＵ２３は、同一の被検眼の組織を撮影した複数の眼科画像（本実施形態では、三次元断層画像を構成する複数の二次元断層画像）のうち、乖離度が最も高い眼科画像、または、乖離度が閾値以上の眼科画像を表示装置２８に表示させる。例えば、ＣＰＵ２３は、撮影された眼科画像をユーザに確認させる撮影確認画面に、複数の眼科画像のうち乖離度が高い眼科画像を表示させてもよい。また、ＣＰＵ２３は、撮影された眼科画像を表示するためのビューワーを起動させた際に、複数の眼科画像のうち乖離度が高い眼科画像を表示させてもよい。この場合、構造の異常度が高い部位が撮影された眼科画像が、容易にユーザによって確認される。この処理は、眼科画像撮影装置１１Ｂが眼科画像処理を実行している場合にも同様に実行できる。   Specifically, the CPU 23 of the present embodiment determines the degree of divergence among a plurality of ophthalmologic images (in the present embodiment, a plurality of two-dimensional tomographic images constituting a three-dimensional tomographic image) obtained by imaging the tissue of the same subject's eye. The display device 28 displays the highest ophthalmological image or an ophthalmic image having a degree of divergence equal to or greater than the threshold. For example, the CPU 23 may display an ophthalmologic image having a high degree of divergence among a plurality of ophthalmologic images on an imaging confirmation screen that allows the user to confirm the captured ophthalmologic image. Further, when activating the viewer for displaying the photographed ophthalmic image, the CPU 23 may display an ophthalmic image having a high degree of divergence among a plurality of ophthalmic images. In this case, the user can easily confirm an ophthalmologic image in which a portion having a high degree of structural abnormality is captured. This process can be similarly executed when the ophthalmologic image capturing apparatus 11B is executing ophthalmologic image processing.

また、眼科画像撮影装置１１Ｂが眼科画像処理を実行している場合には、眼科画像撮影装置１１ＢのＣＰＵ１３Ｂは、乖離度が閾値以上の部位の画像（本実施形態では、二次元断層画像、三次元断層画像、およびモーションコントラスト画像等の少なくともいずれか）を撮影する撮影指示を出力する（Ｓ２５）。なお、なお、ＣＰＵ１３Ｂは、乖離度が閾値以上の部位の画像を撮影する際に、同一部位の眼科画像を複数回撮影し、撮影された複数の眼科画像の加算平均画像を取得してもよい。この場合、構造の異常度が高い部位の眼科画像が高い品質で取得される。また、眼科画像処理装置２３が眼科画像撮影装置１１Ｂに撮影指示を出力してもよい。   When the ophthalmologic image capturing apparatus 11B is executing ophthalmologic image processing, the CPU 13B of the ophthalmologic image capturing apparatus 11B determines an image of a part whose divergence is equal to or greater than a threshold (in the present embodiment, a two-dimensional tomographic image, At least one of an original tomographic image and a motion contrast image) is output (S25). The CPU 13B may capture an ophthalmologic image of the same portion a plurality of times when capturing an image of a portion having a degree of deviation equal to or greater than the threshold value, and obtain an averaging image of the plurality of captured ophthalmologic images. . In this case, an ophthalmologic image of a site having a high degree of structural abnormality is acquired with high quality. Further, the ophthalmologic image processing device 23 may output a shooting instruction to the ophthalmologic image shooting device 11B.

次いで、ＣＰＵ２３は、フォローアップ処理を実行する（Ｓ２６）。フォローアップ処理は、被検眼の経過観察をユーザに行わせるための処理である。前述したように、取得された乖離度は、記憶装置２４に記憶されている（Ｓ１９）。フォローアップ処理では、ＣＰＵ２３は、同一の被検眼の組織を異なる時間に撮影した複数の眼科画像の各々に関する、複数の乖離度を、表示装置２８に表示させる。従って、ユーザは、複数の乖離度を比較することで、構造の異常の進行具合等を適切に把握することができる。なお、ＣＰＵ２３は、複数の乖離度の値そのもの（例えば乖離度表５３）を表示させてもよいし、複数の構造異常度グラフ５２を表示させてもよいし、複数の構造異常度マップ５５を表示させてもよい。   Next, the CPU 23 executes a follow-up process (S26). The follow-up process is a process for causing a user to follow-up observation of the subject's eye. As described above, the acquired divergence is stored in the storage device 24 (S19). In the follow-up process, the CPU 23 causes the display device 28 to display a plurality of divergence degrees for each of a plurality of ophthalmologic images obtained by photographing the same eye tissue at different times. Therefore, the user can appropriately grasp the progress of the structural abnormality or the like by comparing a plurality of divergence degrees. The CPU 23 may display a plurality of divergence values themselves (for example, a divergence table 53), may display a plurality of structural abnormality degree graphs 52, and may display a plurality of structural abnormality degree maps 55. It may be displayed.

次いで、ＣＰＵ２３は、眼科画像について取得された乖離度に基づいて、眼科画像の画質を評価する画質評価情報を生成する（Ｓ２７）。乖離度は、眼科画像の画質が悪い場合にも高くなる場合がある。従って、乖離度に基づいて画質評価情報が生成されることで、眼科画像の画質が適切に把握される。画質評価情報の具体的な生成方法は、適宜選択できる。一例として、本実施形態では、ＣＰＵ２３は、制御部は、眼科画像の信号の強さ、または信号の良好さを示す指標（例えば、ＳＳＩ（Ｓｉｇｎａｌ Ｓｔｒｅｎｇｔｈ Ｉｎｄｅｘ）またはＱＩ（Ｑｕａｌｉｔｙ Ｉｎｄｅｘ）等）を取得する。ＣＰＵ２３は、取得した指標が閾値以下であり、且つ、乖離度の平均値が閾値以上である場合に、画質が悪いことを示す画質評価情報を生成する。また、ＣＰＵ２３は、眼科画像の各部の乖離度の全てが高い場合（例えば、各部の乖離度の全てが閾値以上である場合等）に、画質が悪いことを示す画質評価情報を生成してもよい。また、乖離度の値そのもの、構造異常度グラフ５２、および構造異常度マップ５５の少なくともいずれかが、画質評価情報として使用されてもよい。   Next, the CPU 23 generates image quality evaluation information for evaluating the image quality of the ophthalmic image based on the degree of deviation acquired for the ophthalmic image (S27). The divergence may be high even when the quality of the ophthalmic image is poor. Therefore, the image quality evaluation information is generated based on the degree of divergence, so that the image quality of the ophthalmologic image is appropriately grasped. A specific method for generating the image quality evaluation information can be appropriately selected. As an example, in the present embodiment, the CPU 23 causes the control unit to acquire the signal strength of the ophthalmic image or an index indicating the signal goodness (for example, SSI (Signal Strength Index) or QI (Quality Index)). I do. When the obtained index is equal to or less than the threshold value and the average value of the divergence is equal to or greater than the threshold value, the CPU 23 generates image quality evaluation information indicating that the image quality is poor. Further, the CPU 23 may generate the image quality evaluation information indicating that the image quality is poor when all the degrees of deviation of the respective parts of the ophthalmologic image are high (for example, when all degrees of deviation of the respective parts are equal to or more than the threshold). Good. Further, at least one of the value of the deviation degree itself, the structural abnormality degree graph 52, and the structural abnormality degree map 55 may be used as the image quality evaluation information.

上記実施形態で開示された技術は一例に過ぎない。従って、上記実施形態で例示された技術を変更することも可能である。まず、上記実施形態で例示された複数の技術のうちの一部のみを実行することも可能である。例えば、眼科画像処理装置２１は、二次元断層画像の乖離度を取得する処理（Ｓ１１〜Ｓ２０）のみを実行し、三次元断層画像全体の乖離度を取得する処理を省略してもよい。この場合、Ｓ１１で取得される眼科画像は、二次元断層画像であってもよい。また、眼科画像処理装置２１は、組織の構造の異常度を示す構造情報として乖離度を使用せずに、画質評価情報として乖離度を使用してもよい。   The technology disclosed in the above embodiment is merely an example. Therefore, the technology exemplified in the above embodiment can be changed. First, it is also possible to execute only a part of the plurality of techniques exemplified in the above embodiment. For example, the ophthalmologic image processing apparatus 21 may execute only the processing of acquiring the degree of deviation of the two-dimensional tomographic image (S11 to S20), and may omit the processing of acquiring the degree of deviation of the entire three-dimensional tomographic image. In this case, the ophthalmologic image acquired in S11 may be a two-dimensional tomographic image. Further, the ophthalmologic image processing apparatus 21 may use the degree of divergence as the image quality evaluation information instead of using the degree of divergence as the structural information indicating the degree of abnormality of the structure of the tissue.

また、取得された乖離度を利用する方法を変更することも可能である。例えば、ＣＰＵ２３は、三次元断層画像を構成する複数の二次元断層画像のうち、乖離度が最も高い二次元断層画像、または、乖離度が閾値以上の二次元断層画像を、被検眼の疾患に関する自動診断結果を出力する数学モデルに入力してもよい。この数学モデルは、入力された眼科画像に基づいて自動診断結果を出力するように、機械学習アルゴリズムによって予め訓練されている。この場合、三次元断層画像を構成する複数の二次元断層画像のうち、構造の異常度が高い二次元断層画像によって、効率よく自動診断結果が得られる。   It is also possible to change the method of using the acquired divergence. For example, the CPU 23 converts a two-dimensional tomographic image having the highest degree of divergence or a two-dimensional tomographic image having a degree of divergence equal to or greater than a threshold value from among a plurality of two-dimensional tomographic images constituting a three-dimensional tomographic image with respect to the disease of the eye to be examined. The result of the automatic diagnosis may be input to a mathematical model that outputs the result. This mathematical model is previously trained by a machine learning algorithm so as to output an automatic diagnosis result based on the input ophthalmic image. In this case, of the plurality of two-dimensional tomographic images constituting the three-dimensional tomographic image, an automatic diagnosis result can be efficiently obtained with a two-dimensional tomographic image having a high degree of structural abnormality.

なお、図５のＳ１１で眼科画像を取得する処理は、「画像取得ステップ」の一例である。図５のＳ１４で確率分布を取得する処理は、「確率分布取得ステップ」の一例である。図５のＳ１５で乖離度を構造情報として取得する処理は、「構造情報取得ステップ」の一例である。図５のＳ２０で構造異常度グラフを取得する処理は、「グラフ取得ステップ」の一例である。図５のＳ２４で構造異常度マップを取得する処理は、「マップ取得ステップ」の一例である。図５のＳ２５で断層画像または拡大画像を表示させる処理は、「表示ステップ」の一例である。図５のＳ２５で撮影指示を出力する処理は、「撮影指示出力ステップ」の一例である。   Note that the process of acquiring an ophthalmologic image in S11 of FIG. 5 is an example of an “image acquiring step”. The process of obtaining the probability distribution in S14 of FIG. 5 is an example of a “probability distribution obtaining step”. The process of acquiring the divergence as the structure information in S15 of FIG. 5 is an example of a “structure information acquisition step”. The process of acquiring the structural abnormality degree graph in S20 of FIG. 5 is an example of a “graph acquisition step”. The process of obtaining the structural abnormality degree map in S24 of FIG. 5 is an example of a “map obtaining step”. The process of displaying a tomographic image or an enlarged image in S25 of FIG. 5 is an example of a “display step”. The process of outputting a photographing instruction in S25 of FIG. 5 is an example of a “photographing instruction output step”.

１１Ａ，１１Ｂ 眼科画像撮影装置
１３Ａ，１３Ｂ ＣＰＵ
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
３０ 訓練用眼科画像
３１ 訓練用データ
４０，５１ 二次元断層画像
５２ 構造異常度グラフ
５３ 乖離度表
５５ 構造異常度マップ 11A, 11B Ophthalmologic image capturing devices 13A, 13B CPU
21 ophthalmological image processing device 23 CPU
24 storage device 28 display device 30 training ophthalmic image 31 training data 40, 51 two-dimensional tomographic image 52 structural abnormality degree graph 53 divergence degree table 55 structural abnormality degree map

Claims (10)

被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、
前記眼科画像処理装置の制御部は、
眼科画像撮影装置によって撮影された眼科画像を取得し、
機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の組織を識別するための確率分布を取得し、
前記組織が正確に識別される場合の前記確率分布に対する、取得された前記確率分布の乖離度を、前記組織の構造の異常度を示す構造情報として取得することを特徴とする眼科画像処理装置。 An ophthalmologic image processing apparatus that processes an ophthalmic image that is an image of a tissue of an eye to be examined,
The control unit of the ophthalmologic image processing apparatus,
Obtain an ophthalmological image taken by the ophthalmic image photographing device,
By inputting the ophthalmic image to a mathematical model trained by a machine learning algorithm, to obtain a probability distribution for identifying the tissue in the ophthalmic image,
An ophthalmologic image processing apparatus, wherein a degree of divergence of the obtained probability distribution with respect to the probability distribution when the tissue is correctly identified is obtained as structure information indicating an abnormal degree of the structure of the tissue. 請求項１に記載の眼科画像処理装置であって、
前記数学モデルは、入力側を過去に撮影された被検眼の組織の眼科画像のデータとし、且つ、出力側を前記入力側の前記眼科画像における前記組織を示すデータとする訓練データセットを用いて訓練されていることを特徴とする眼科画像処理装置。 The ophthalmologic image processing apparatus according to claim 1,
The mathematical model uses a training data set in which the input side is data of an ophthalmologic image of the tissue of the subject's eye photographed in the past, and the output side is data indicating the tissue in the ophthalmologic image of the input side. An ophthalmological image processing apparatus, which is trained. 請求項１または２に記載の眼科画像処理装置であって、
前記乖離度には、取得された前記確率分布のエントロピーが含まれることを特徴とする眼科画像処理装置。 The ophthalmologic image processing apparatus according to claim 1 or 2,
An ophthalmologic image processing apparatus, wherein the degree of divergence includes entropy of the acquired probability distribution. 請求項１から３のいずれかに記載の眼科画像処理装置であって、
前記眼科画像は、前記組織の二次元断層画像または三次元断層画像であり、
前記制御部は、
前記数学モデルに前記眼科画像を入力することで、前記眼科画像における複数の層および前記層の境界に含まれる、１つ以上の層または境界を識別するための前記確率分布を取得し、
前記１つ以上の層または境界について前記乖離度を取得することを特徴とする眼科画像処理装置。 The ophthalmologic image processing apparatus according to any one of claims 1 to 3,
The ophthalmic image is a two-dimensional tomographic image or a three-dimensional tomographic image of the tissue,
The control unit includes:
By inputting the ophthalmic image to the mathematical model, a plurality of layers in the ophthalmic image, included in the boundaries of the layers, to obtain the probability distribution for identifying one or more layers or boundaries,
An ophthalmologic image processing apparatus, wherein the degree of divergence is acquired for the one or more layers or boundaries. 請求項１から４のいずれかに記載の眼科画像処理装置であって、
前記制御部は、
前記組織における位置に対する前記乖離度の大きさを示すグラフおよびマップの少なくともいずれかを取得することを特徴とする眼科画像処理装置。 An ophthalmologic image processing apparatus according to any one of claims 1 to 4,
The control unit includes:
An ophthalmologic image processing apparatus, wherein at least one of a graph and a map indicating the magnitude of the degree of divergence with respect to a position in the tissue is acquired. 請求項１から５のいずれかに記載の眼科画像処理装置であって、
前記制御部は、
前記組織のうち、前記乖離度が閾値以上の部位を撮影する撮影指示を前記眼科画像撮影装置に出力する処理、および、前記乖離度が閾値以上の部位の断層画像または拡大画像を表示装置に表示させる処理の少なくともいずれかを実行することを特徴とする眼科画像処理装置。 The ophthalmologic image processing device according to any one of claims 1 to 5,
The control unit includes:
In the tissue, a process of outputting to the ophthalmologic imaging apparatus an imaging instruction for imaging a site where the divergence is equal to or greater than a threshold, and displaying a tomographic image or an enlarged image of the site where the divergence is equal to or greater than a threshold on a display device An ophthalmologic image processing apparatus that performs at least one of the processes for causing the image to be processed. 請求項１から６のいずれかに記載の眼科画像処理装置であって、
前記制御部は、
取得した前記乖離度を記憶装置に記憶させると共に、
同一の被検眼の組織を異なる時間に撮影した複数の眼科画像の各々に関する、複数の前記乖離度を、表示装置に表示させることを特徴とする眼科画像処理装置。 The ophthalmologic image processing device according to any one of claims 1 to 6, wherein
The control unit includes:
While storing the obtained degree of deviation in a storage device,
An ophthalmologic image processing apparatus characterized by displaying a plurality of divergence degrees on a display device with respect to each of a plurality of ophthalmologic images obtained by photographing the same eye tissue at different times. 請求項１から７のいずれかに記載の眼科画像処理装置であって、
前記制御部は、
前記眼科画像について取得された前記乖離度に基づいて、前記眼科画像の画質を評価する画質評価情報を生成することを特徴とする眼科画像処理装置。 The ophthalmologic image processing device according to any one of claims 1 to 7,
The control unit includes:
An ophthalmologic image processing apparatus, wherein image quality evaluation information for evaluating the image quality of the ophthalmic image is generated based on the degree of divergence acquired for the ophthalmologic image. 参照光と、被検眼の組織に照射された測定光の反射光とによるＯＣＴ信号を処理することで、前記組織の眼科画像を撮影するＯＣＴ装置であって、
前記ＯＣＴ装置の制御部は、
撮影した前記眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、前記眼科画像中の組織を識別するための確率分布を取得し、
前記組織が正確に識別される場合の前記確率分布に対する、取得された前記確率分布の乖離度を、前記組織の構造の異常度を示す構造情報として取得することを特徴とするＯＣＴ装置。 An OCT apparatus that captures an ophthalmological image of the tissue by processing the OCT signal based on the reference light and the reflected light of the measurement light applied to the tissue of the subject's eye,
The control unit of the OCT apparatus includes:
The captured ophthalmic image, by input to a mathematical model trained by a machine learning algorithm, to obtain a probability distribution for identifying the tissue in the ophthalmic image,
An OCT apparatus, wherein the degree of divergence of the obtained probability distribution with respect to the probability distribution when the tissue is correctly identified is obtained as structure information indicating the degree of abnormality of the structure of the tissue. 被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
眼科画像撮影装置によって撮影された眼科画像を取得する画像取得ステップと、
機械学習アルゴリズムによって訓練された数学モデルに前記眼科画像を入力することで、前記眼科画像中の組織を識別するための確率分布を取得する確率分布取得ステップと、
前記組織が正確に識別される場合の前記確率分布に対する、取得された前記確率分布の乖離度を、前記組織の構造の異常度を示す構造情報として取得する構造情報取得ステップと、
を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。

An ophthalmologic image processing program executed by an ophthalmologic image processing apparatus that processes an ophthalmologic image that is an image of a tissue of an eye to be examined,
The ophthalmologic image processing program is executed by a control unit of the ophthalmologic image processing apparatus,
An image obtaining step of obtaining an ophthalmic image captured by the ophthalmologic image capturing apparatus,
By inputting the ophthalmic image to a mathematical model trained by a machine learning algorithm, a probability distribution obtaining step of obtaining a probability distribution for identifying a tissue in the ophthalmic image,
For the probability distribution when the tissue is correctly identified, the divergence degree of the obtained probability distribution, structure information obtaining step of obtaining as structural information indicating the degree of abnormality of the structure of the tissue,
An ophthalmologic image processing program that causes the ophthalmologic image processing apparatus to execute the following.

JP2018147141A 2018-08-03 2018-08-03 Ophthalmic image processing device, OCT device, and ophthalmic image processing program Active JP7210927B2 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018147141A JP7210927B2 (en) 2018-08-03 2018-08-03 Ophthalmic image processing device, OCT device, and ophthalmic image processing program
PCT/JP2019/016209 WO2020026535A1 (en) 2018-08-03 2019-04-15 Ophthalmic image processing device, oct device, and ophthalmic image processing program
US17/265,367 US11961229B2 (en) 2018-08-03 2019-04-15 Ophthalmic image processing device, OCT device, and non-transitory computer-readable storage medium
CN201980051471.6A CN112533526A (en) 2018-08-03 2019-04-15 Ophthalmologic image processing apparatus, OCT apparatus, and ophthalmologic image processing program
EP19843402.9A EP3831275A4 (en) 2018-08-03 2019-04-15 Ophthalmic image processing device, oct device, and ophthalmic image processing program
JP2022204040A JP2023024614A (en) 2018-08-03 2022-12-21 Ophthalmologic image processing apparatus, oct apparatus, and ophthalmologic image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018147141A JP7210927B2 (en) 2018-08-03 2018-08-03 Ophthalmic image processing device, OCT device, and ophthalmic image processing program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022204040A Division JP2023024614A (en) 2018-08-03 2022-12-21 Ophthalmologic image processing apparatus, oct apparatus, and ophthalmologic image processing program

Publications (3)

Publication Number Publication Date
JP2020018794A true JP2020018794A (en) 2020-02-06
JP2020018794A5 JP2020018794A5 (en) 2021-08-05
JP7210927B2 JP7210927B2 (en) 2023-01-24

Family

ID=69587823

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018147141A Active JP7210927B2 (en) 2018-08-03 2018-08-03 Ophthalmic image processing device, OCT device, and ophthalmic image processing program
JP2022204040A Pending JP2023024614A (en) 2018-08-03 2022-12-21 Ophthalmologic image processing apparatus, oct apparatus, and ophthalmologic image processing program

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022204040A Pending JP2023024614A (en) 2018-08-03 2022-12-21 Ophthalmologic image processing apparatus, oct apparatus, and ophthalmologic image processing program

Country Status (1)

Country Link
JP (2) JP7210927B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076258A1 (en) * 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. User adaptive type device and control method thereof
JP2009098970A (en) * 2007-10-17 2009-05-07 Fuji Heavy Ind Ltd Safe driving support system
JP2014505552A (en) * 2011-01-28 2014-03-06 オプトビュー，インコーポレーテッド Computer-aided diagnosis of retinal disease using frontal vertical section view of optical coherence tomography
US20180012359A1 (en) * 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005076258A1 (en) * 2004-02-03 2005-08-18 Matsushita Electric Industrial Co., Ltd. User adaptive type device and control method thereof
JP2009098970A (en) * 2007-10-17 2009-05-07 Fuji Heavy Ind Ltd Safe driving support system
JP2014505552A (en) * 2011-01-28 2014-03-06 オプトビュー，インコーポレーテッド Computer-aided diagnosis of retinal disease using frontal vertical section view of optical coherence tomography
US20180012359A1 (en) * 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation

Also Published As

Publication number Publication date
JP2023024614A (en) 2023-02-16
JP7210927B2 (en) 2023-01-24

Similar Documents

Publication Publication Date Title
US11633096B2 (en) Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions
JP2018121885A (en) Image processing device, image processing system, and image processing program
WO2020026535A1 (en) Ophthalmic image processing device, oct device, and ophthalmic image processing program
US20220164949A1 (en) Ophthalmic image processing device and ophthalmic image processing method
US20240020839A1 (en) Medical image processing device, medical image processing program, and medical image processing method
JP7435885B2 (en) Ophthalmology image processing device and ophthalmology image processing program
WO2020116351A1 (en) Diagnostic assistance device and diagnostic assistance program
JP6703319B1 (en) Ophthalmic image processing device and OCT device
JP2021037177A (en) Ophthalmologic image processing program and ophthalmologic image processing device
JP6866954B2 (en) Ophthalmic image processing program and OCT device
JP7328489B2 (en) Ophthalmic image processing device and ophthalmic photographing device
JP6747617B2 (en) Ophthalmic image processing device and OCT device
JP7210927B2 (en) Ophthalmic image processing device, OCT device, and ophthalmic image processing program
US20240221160A1 (en) Ophthalmic image processing device, oct device, and non-transitory computer-readable storage medium
JP2021074095A (en) Ophthalmologic image processing device and ophthalmologic image processing program
JP7180187B2 (en) Ophthalmic image processing device, OCT device, and ophthalmic image processing program
WO2021045019A1 (en) Ophthalmic image processing program and ophthalmic image processing device
WO2020241794A1 (en) Ophthalmic image processing device, ophthalmic image processing program, and ophthalmic image processing system
JP7302184B2 (en) Ophthalmic image processing device and ophthalmic image processing program
US20240169528A1 (en) Medical image processing device and storage medium storing medical image processing program
JP2022138552A (en) Ophthalmologic image processing device, ophthalmologic image processing program, and ophthalmologic imaging device
JP2021142088A (en) Ophthalmologic image processing apparatus and ophthalmologic image processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221226

R150 Certificate of patent or registration of utility model

Ref document number: 7210927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150