JP2021074095A - Ophthalmologic image processing device and ophthalmologic image processing program - Google Patents
Ophthalmologic image processing device and ophthalmologic image processing program Download PDFInfo
- Publication number
- JP2021074095A JP2021074095A JP2019201708A JP2019201708A JP2021074095A JP 2021074095 A JP2021074095 A JP 2021074095A JP 2019201708 A JP2019201708 A JP 2019201708A JP 2019201708 A JP2019201708 A JP 2019201708A JP 2021074095 A JP2021074095 A JP 2021074095A
- Authority
- JP
- Japan
- Prior art keywords
- image
- ophthalmic
- disease
- image processing
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 95
- 201000010099 disease Diseases 0.000 claims abstract description 225
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 225
- 238000013178 mathematical model Methods 0.000 claims abstract description 98
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 14
- 238000010801 machine learning Methods 0.000 claims abstract description 14
- 230000003902 lesion Effects 0.000 claims description 127
- 238000003384 imaging method Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 26
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 238000012549 training Methods 0.000 description 66
- 230000007704 transition Effects 0.000 description 16
- 238000010276 construction Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000002059 diagnostic imaging Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 230000035876 healing Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 206010061818 Disease progression Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000399 corneal endothelial cell Anatomy 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置、および、眼科画像処理装置によって実行される眼科画像処理プログラムに関する。 The present disclosure relates to an ophthalmic image processing apparatus that processes an ophthalmic image that is an image of a tissue of an eye to be inspected, and an ophthalmic image processing program executed by the ophthalmic image processing apparatus.
近年、眼科画像を処理して有用な情報を得るための種々の技術が提案されている。例えば、特許文献１に記載の画像処理装置は、疾患に適した画像解析結果を得ることを目的として、被検眼の診断結果を取得し、取得した診断結果に応じた処理手法を用いて被検眼の画像を処理する。 In recent years, various techniques for processing ophthalmic images to obtain useful information have been proposed. For example, the image processing apparatus described in Patent Document 1 acquires a diagnosis result of an eye to be inspected for the purpose of obtaining an image analysis result suitable for a disease, and uses a processing method according to the acquired diagnosis result to obtain an eye to be inspected. Process the image of.
医師が、疾患が生じた場合の組織の状態、疾患が進行した場合の組織の状態、または疾患が治癒していく場合の組織の状態の診断または患者への説明等を、患者自身の組織の画像に基づいて予測される画像を用いて行うことができれば、医師および患者の双方にとって有用である。しかし、従来は、予測される患者の状態と同等の状態である他の患者の画像を用いることができるのみであった。 The doctor will give a diagnosis of the tissue condition when the disease occurs, the tissue condition when the disease progresses, or the tissue condition when the disease cures, or explain to the patient, etc. of the patient's own tissue. It would be useful for both doctors and patients if it could be done with images predicted based on the images. However, in the past, it was only possible to use images of other patients whose condition was comparable to the predicted patient condition.
本開示の典型的な目的は、医師による診断等に有用となる画像を適切に取得することが可能な眼科画像処理装置および眼科画像処理プログラムを提供することである。 A typical object of the present disclosure is to provide an ophthalmic image processing apparatus and an ophthalmic image processing program capable of appropriately acquiring an image useful for diagnosis by a doctor or the like.
本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、同一の被検眼の組織について撮影された複数種類の眼科画像を取得する画像取得ステップと、前記複数種類の眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された前記複数種類の眼科画像の１つに対して、予測される将来の病変部が改変された画像である予測疾患画像を取得する予測疾患画像取得ステップと、を実行する。 The ophthalmic image processing apparatus provided by the typical embodiment in the present disclosure is an ophthalmic image processing apparatus that processes an ophthalmic image that is an image of the tissue of the eye to be inspected, and the control unit of the ophthalmic image processing apparatus is the same. By inputting the image acquisition step of acquiring a plurality of types of ophthalmic images taken about the tissue of the eye to be examined and the plurality of types of ophthalmic images into a mathematical model trained by a machine learning algorithm, the plurality of types of input are input. For one of the ophthalmic images of the ophthalmology, a predictive disease image acquisition step of acquiring a predictive disease image, which is an image in which the predicted future lesion is modified, is performed.
本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、同一の被検眼の組織について撮影された複数種類の眼科画像を取得する画像取得ステップと、前記複数種類の眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された前記複数種類の眼科画像の１つに対して、予測される将来の病変部が改変された画像である予測疾患画像を取得する予測疾患画像取得ステップと、を前記眼科画像処理装置に実行させる。 The ophthalmic image processing program provided by the typical embodiment in the present disclosure is an ophthalmic image processing program executed by an ophthalmic image processing apparatus that processes an ophthalmic image which is an image of a tissue of an eye to be inspected, and is the ophthalmic image processing. When the program is executed by the control unit of the ophthalmic image processing device, an image acquisition step of acquiring a plurality of types of ophthalmic images taken for the same tissue of the eye to be inspected and machine learning of the plurality of types of ophthalmic images are performed. Prediction to obtain a predicted disease image, which is a modified image of the predicted future lesion for one of the input multiple types of ophthalmic images, by inputting into a mathematical model trained by an algorithm. The ophthalmic image processing apparatus is made to execute the disease image acquisition step.
本開示に係る眼科画像処理装置および眼科画像処理プログラムによると、医師による診断等に有用となる画像が、適切に取得される。 According to the ophthalmic image processing apparatus and the ophthalmic image processing program according to the present disclosure, images useful for diagnosis by a doctor and the like are appropriately acquired.
＜概要＞
本開示で例示する眼科画像処理装置の制御部は、画像取得ステップ、および予測疾患画像取得ステップを実行する。画像取得ステップでは、制御部は、同一の被検眼の組織について撮影された複数種類の眼科画像を取得する。予測疾患画像取得ステップでは、制御部は、機械学習アルゴリズムによって訓練された数学モデルに複数種類の眼科画像を入力することで、予測疾患画像を取得する。予測疾患画像とは、数学モデルに入力された複数種類の眼科画像の１つに対して、予測される将来の病変部が改変された画像である。
<Overview>
The control unit of the ophthalmologic image processing apparatus exemplified in the present disclosure executes an image acquisition step and a predictive disease image acquisition step. In the image acquisition step, the control unit acquires a plurality of types of ophthalmic images taken for the same tissue of the eye to be inspected. In the predictive disease image acquisition step, the control unit acquires a predictive disease image by inputting a plurality of types of ophthalmic images into a mathematical model trained by a machine learning algorithm. The predicted disease image is an image in which the predicted future lesion portion is modified with respect to one of a plurality of types of ophthalmic images input to the mathematical model.
本開示で例示する眼科画像処理装置によると、被検者の予測疾患画像が、被検者自身の眼科画像に基づいて取得される。つまり、医師が説明を行う被検者とは別の被検者の画像でなく、説明を行う被検者本人の眼科画像が適切に改変された予測疾患画像が、被検者に提示される。さらに、本開示で例示する眼科画像処理装置では、予測疾患画像に改変される基となる眼科画像（以下、「基画像」という）に加えて、基画像とは異なる種類の眼科画像（以下、「参照画像」という）も数学モデルに入力されることで、予測疾患画像が取得される。疾患の状態が表れる程度は、眼科画像の種類によって異なる場合もある。従って、基画像のみに基づいて予測疾患画像が取得される場合に比べて、疾患の状態がより適切に予測された予測疾患画像が取得される。 According to the ophthalmic image processing apparatus exemplified in the present disclosure, the predicted disease image of the subject is acquired based on the ophthalmic image of the subject himself / herself. That is, the predicted disease image in which the ophthalmologic image of the subject who explains is appropriately modified is presented to the subject, not the image of the subject who is different from the subject explained by the doctor. .. Further, in the ophthalmic image processing apparatus exemplified in the present disclosure, in addition to the basic ophthalmic image (hereinafter referred to as "base image") which is modified into the predicted disease image, a type of ophthalmic image different from the base image (hereinafter referred to as "base image"). By inputting a "reference image") into the mathematical model, a predicted disease image is acquired. The extent to which the condition of the disease appears may vary depending on the type of ophthalmologic image. Therefore, the predicted disease image in which the disease state is more appropriately predicted is acquired as compared with the case where the predicted disease image is acquired based only on the base image.
例えば、疾患の状態が基画像に表れていない場合でも、参照画像に疾患の状態が表れる場合もある。このような場合でも、本開示で例示する眼科画像処理装置によると、複数種類の眼科画像に基づいて、疾患に起因する病変部の位置および範囲の少なくともいずれかを含む疾患の状態が適切に予測される。 For example, even if the disease state does not appear in the base image, the disease state may appear in the reference image. Even in such a case, according to the ophthalmologic image processing apparatus exemplified in the present disclosure, the state of the disease including at least one of the positions and ranges of the lesions caused by the disease is appropriately predicted based on a plurality of types of ophthalmologic images. Will be done.
制御部は、予測疾患画像取得ステップにおいて、実際に撮影された被検者の眼科画像に基づいて、予測疾患画像を取得する。つまり、制御部は、実際に撮影された複数種類の眼科画像における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれかに基づいて、予測疾患画像を取得する。従って、被検者自身の眼科画像に基づくことなく予測疾患画像が取得される場合（例えば、通常の画像描写ソフトによって予測疾患画像が生成される場合等）に比べて、予測される疾患の状態を被検者に実感させやすい。 In the predictive disease image acquisition step, the control unit acquires the predictive disease image based on the ophthalmic image of the subject actually taken. That is, the control unit acquires the predicted disease image based on at least one of the pixel value, the structure of the tissue, the brightness, the contrast, and the like in the plurality of types of ophthalmic images actually taken. Therefore, the predicted disease state is compared with the case where the predicted disease image is acquired without being based on the subject's own ophthalmic image (for example, when the predicted disease image is generated by ordinary image drawing software). It is easy for the subject to realize.
画像取得ステップおよび予測疾患画像取得ステップを含む各種ステップを実行するデバイスは、適宜選択できる。例えば、パーソナルコンピュータ（以下、「ＰＣ」という）の制御部が、全てのステップを実行してもよい。つまり、ＰＣの制御部は、撮影装置から眼科画像を取得し、取得した眼科画像に基づいて予測疾患画像を取得してもよい。また、複数のデバイス（例えば、撮影装置、ＰＣ、携帯端末、およびサーバ等の少なくともいずれか）の制御部が協働して、各ステップを実行してもよい。 The device that performs the various steps, including the image acquisition step and the predictive disease image acquisition step, can be appropriately selected. For example, a control unit of a personal computer (hereinafter referred to as "PC") may execute all steps. That is, the control unit of the PC may acquire an ophthalmic image from the imaging device and acquire a predicted disease image based on the acquired ophthalmic image. Further, the control units of a plurality of devices (for example, at least one of a photographing device, a PC, a mobile terminal, a server, etc.) may cooperate to execute each step.
数学モデルは、複数の訓練用データセットによって訓練されていてもよい。訓練用データセットは、入力用訓練データおよび出力用訓練データ（例えば正解データ）を含んでいてもよい。入力用訓練データは、同一の被検眼の組織について撮影された、複数種類の眼科画像を含んでいてもよい。出力用訓練データは、入力用訓練データと同一の撮影対象について、入力用訓練データの撮影時よりも後に実際に撮影された眼科画像を含んでいてもよい。この場合、実際に撮影された眼科画像に基づいて、予測疾患画像を出力するための数学モデルが適切に訓練される。 The mathematical model may be trained by multiple training datasets. The training dataset may include input training data and output training data (eg, correct answer data). The training data for input may include a plurality of types of ophthalmic images taken for the same tissue of the eye to be examined. The output training data may include an ophthalmic image actually taken after the time when the input training data was taken for the same image as the input training data. In this case, a mathematical model for outputting a predictive disease image is appropriately trained based on the actually captured ophthalmic image.
制御部は、予測時情報取得ステップをさらに実行してもよい。予測時情報取得ステップでは、制御部は、画像取得ステップにおいて取得された複数種類の眼科画像の撮影時から、被検眼の疾患の状態を予測する予測時までの時間を示す時間情報、および、予測時における被検眼の疾患の程度を示す程度情報の少なくともいずれかを取得する。予測画像取得ステップでは、制御部は、予測時情報取得ステップにおいて取得された時間情報および程度情報の少なくともいずれか（以下、単に「時間・程度情報」という場合もある）を、複数種類の眼科画像と共に数学モデルに入力することで、予測疾患画像を取得してもよい。 The control unit may further execute the prediction information acquisition step. In the prediction time information acquisition step, the control unit receives time information indicating the time from the time when a plurality of types of ophthalmic images acquired in the image acquisition step are taken to the time of prediction for predicting the state of the disease of the eye to be inspected, and the prediction. Obtain at least one of the degree information indicating the degree of the disease of the eye to be examined at the time. In the prediction image acquisition step, the control unit displays at least one of the time information and the degree information (hereinafter, may be simply referred to as “time / degree information”) acquired in the prediction information acquisition step as a plurality of types of ophthalmic images. You may acquire a predictive disease image by inputting it into a mathematical model together with.
この場合、時間情報が示す時間が経過した後の予測疾患画像、または、程度情報が示す程度に疾患の状態が変化した予測疾患画像が、実際に撮影された複数種類の眼科画像に基づいて取得される。従って、疾患の状態がより適切に予測された予測疾患画像が取得される。 In this case, the predicted disease image after the time indicated by the time information or the predicted disease image in which the state of the disease has changed to the extent indicated by the degree information is acquired based on a plurality of types of ophthalmic images actually taken. Will be done. Therefore, a predictive disease image in which the disease state is more appropriately predicted is acquired.
制御部が時間・程度情報を取得する方法は、適宜選択できる。例えば、制御部は、時間・程度情報を指定するためのユーザからの指示の入力を受け付けてもよい。制御部は、ユーザによって指示された時間・程度情報を取得し、数学モデルに入力してもよい。また、１つまたは複数の時間・程度情報が、予め設定されていてもよい。制御部は、予め設定されている時間・程度情報を取得し、数学モデルに入力してもよい。 The method by which the control unit acquires the time / degree information can be appropriately selected. For example, the control unit may accept input of an instruction from the user for designating time / degree information. The control unit may acquire the time / degree information instructed by the user and input it into the mathematical model. Further, one or more time / degree information may be set in advance. The control unit may acquire preset time / degree information and input it to the mathematical model.
時間・程度情報を利用する場合、数学モデルを訓練する際の入力用訓練データには、複数種類の眼科画像に加えて、時間・程度情報が含まれていてもよい。この場合、時間情報は、入力用訓練データに含まれる複数種類の眼科画像の撮影時間と、出力用訓練データに含まれる眼科画像の撮影時間との差が算出されることで、自動的に取得されてもよい。また、程度情報は、出力用訓練データにおける疾患の程度を確認したユーザによって入力されてもよい。 When time / degree information is used, the input training data for training a mathematical model may include time / degree information in addition to a plurality of types of ophthalmic images. In this case, the time information is automatically acquired by calculating the difference between the shooting time of a plurality of types of ophthalmic images included in the input training data and the shooting time of the ophthalmic images included in the output training data. May be done. Further, the degree information may be input by the user who has confirmed the degree of the disease in the output training data.
制御部は、予測時情報取得ステップにおいて、互いに異なる複数の時間情報または複数の程度情報を取得してもよい。制御部は、予測疾患画像取得ステップにおいて、複数の時間情報または複数の程度情報の各々を、複数種類の眼科画像と共に数学モデルに入力することで、時間または程度が異なる複数の予測疾患画像を取得してもよい。制御部は、複数の予測疾患画像を、時間または程度に沿って並べて、または切り替えて表示装置に表示させてもよい。 The control unit may acquire a plurality of different time information or a plurality of degree information different from each other in the prediction information acquisition step. In the predictive disease image acquisition step, the control unit acquires a plurality of predictive disease images having different times or degrees by inputting each of a plurality of time information or a plurality of degree information into a mathematical model together with a plurality of types of ophthalmic images. You may. The control unit may display the plurality of predicted disease images on the display device side by side or by switching the images according to time or degree.
この場合、ユーザは、撮影時から予測時までの時間、または予測時の疾患の程度が互いに異なる複数の予測疾患画像を、より容易に確認することができる。よって、ユーザは、被検眼の診断等をより適切に行うことができる。 In this case, the user can more easily confirm a plurality of predicted disease images in which the time from the time of shooting to the time of prediction or the degree of disease at the time of prediction is different from each other. Therefore, the user can more appropriately diagnose the eye to be inspected.
制御部は、画像取得ステップにおいて、種類が同一であり且つ異なる時間に撮影された複数の眼科画像をさらに取得してもよい。制御部は、予測疾患画像取得ステップにおいて、撮影時間が異なる複数の眼科画像を数学モデルに入力することで、予測疾患画像を取得してもよい。種類が同一であり且つ異なる時間に撮影された複数の眼科画像には、疾患の状態の推移が表れる。従って、撮影時間が異なる複数の眼科画像が用いられることで、疾患の状態の推移が考慮された予測疾患画像が適切に取得される。 The control unit may further acquire a plurality of ophthalmic images of the same type and taken at different times in the image acquisition step. In the predictive disease image acquisition step, the control unit may acquire the predictive disease image by inputting a plurality of ophthalmic images having different imaging times into the mathematical model. Multiple ophthalmic images of the same type and taken at different times show the transition of the disease state. Therefore, by using a plurality of ophthalmic images having different imaging times, a predicted disease image in consideration of the transition of the disease state can be appropriately acquired.
なお、撮影時間が異なる複数の眼科画像は、基画像と同じ種類の眼科画像であってもよいし、基画像とは異なる種類の眼科画像であってもよい。また、複数種類の眼科画像の各々について、撮影時間が異なる複数の眼科画像が取得されてもよい。 The plurality of ophthalmic images having different imaging times may be the same type of ophthalmic image as the base image, or may be a different type of ophthalmic image from the base image. In addition, a plurality of ophthalmic images having different imaging times may be acquired for each of the plurality of types of ophthalmic images.
撮影時間が異なる複数の眼科画像を利用する場合、数学モデルを訓練する際の入力用訓練データには、種類が同一であり且つ異なる時間に撮影された複数の眼科画像が含まれていてもよい。この場合、数学モデルは、撮影時間が異なる複数の眼科画像を入力することで、疾患の状態の推移が適切に考慮された予測疾患画像を出力することができる。 When using a plurality of ophthalmic images with different imaging times, the training data for input when training a mathematical model may include a plurality of ophthalmic images of the same type and captured at different times. .. In this case, the mathematical model can output a predicted disease image in which the transition of the disease state is appropriately considered by inputting a plurality of ophthalmic images having different imaging times.
制御部は、状態情報取得ステップをさらに実行してもよい。状態情報取得ステップでは、制御部は、画像取得ステップにおいて取得される複数種類の眼科画像における疾患の状態に対して、将来の予測時における疾患の状態を悪化および治癒のいずれとするかを示す状態情報を取得する。予測画像取得ステップでは、制御部は、複数種類の眼科画像と共に状態情報を数学モデルに入力することで、予測疾患画像を取得してもよい。 The control unit may further execute the state information acquisition step. In the state information acquisition step, the control unit indicates whether the disease state at the time of future prediction is to be exacerbated or cured with respect to the disease state in the plurality of types of ophthalmic images acquired in the image acquisition step. Get information. In the predictive image acquisition step, the control unit may acquire a predictive disease image by inputting state information into a mathematical model together with a plurality of types of ophthalmic images.
この場合、疾患の状態が悪化していく場合の予測疾患画像、および、疾患の状態が治癒していく場合の予測疾患画像の少なくともいずれかが、実際に撮影された複数種類の眼科画像に基づいて取得される。従って、ユーザは、被検眼の診断等をより適切に実行することができる。 In this case, at least one of the predicted disease image when the disease state worsens and the predicted disease image when the disease state cures is based on a plurality of types of ophthalmic images actually taken. Is obtained. Therefore, the user can more appropriately perform the diagnosis of the eye to be examined and the like.
制御部が状態情報を取得する方法は、適宜選択できる。例えば、制御部は、状態情報（悪化または治癒）を指定するためのユーザからの指示の入力を受け付けてもよい。制御部は、ユーザによって指示された状態情報を取得し、数学モデルに入力してもよい。また、撮影時間が異なる複数の眼科画像が数学モデルに入力される場合、制御部は、撮影時間が異なる複数の眼科画像から、疾患の状態の推移が悪化および治癒のいずれであるかを判別し、判別結果を状態情報として取得してもよい。この場合、制御部は、複数の眼科画像に対して公知の画像処理を行うことで、疾患の状態の推移を判別してもよい。また、制御部は、機械学習アルゴリズムを利用して、撮影時間が異なる複数の眼科画像から状態情報を取得してもよい。 The method by which the control unit acquires the state information can be appropriately selected. For example, the control unit may accept input of an instruction from the user for designating state information (deterioration or healing). The control unit may acquire the state information instructed by the user and input it into the mathematical model. In addition, when a plurality of ophthalmic images having different imaging times are input to the mathematical model, the control unit determines from the plurality of ophthalmic images having different imaging times whether the transition of the disease state is worsening or healing. , The determination result may be acquired as state information. In this case, the control unit may determine the transition of the disease state by performing known image processing on the plurality of ophthalmic images. Further, the control unit may acquire state information from a plurality of ophthalmic images having different imaging times by using a machine learning algorithm.
状態情報を利用して予測疾患画像を取得する場合、数学モデルを訓練する際の入力用訓練データには、入力用訓練データの疾患の状態に対する出力用訓練データの疾患の状態が、悪化および治癒のいずれであるかを示す状態情報が含まれていてもよい。入力用訓練データに含まれる状態情報は、ユーザによって入力されてもよいし、画像処理等によって自動的に取得されてもよい。 When the predicted disease image is acquired using the state information, the input training data when training the mathematical model includes the disease state of the output training data for the disease state of the input training data, which worsens and cures. State information indicating which of the above may be included. The state information included in the input training data may be input by the user, or may be automatically acquired by image processing or the like.
制御部は、眼科画像取得ステップにおいて、種類が互いに異なる複数の撮影装置（つまり、異なるモダリティ）の各々によって撮影された複数種類の眼科画像を取得してもよい。同一の組織を複数種類の撮影装置によって撮影した場合、疾患の状態は、一部の撮影装置によって撮影された眼科画像に強く表れる場合もある。従って、複数種類の撮影装置によって撮影された複数種類の眼科画像が数学モデルに入力されることで、疾患の状態がより正確に予測された予測疾患画像が取得される。 In the ophthalmic image acquisition step, the control unit may acquire a plurality of types of ophthalmic images captured by each of a plurality of imaging devices (that is, different modality) of different types. When the same tissue is imaged by multiple types of imaging devices, the condition of the disease may be strongly reflected in the ophthalmic images taken by some imaging devices. Therefore, by inputting a plurality of types of ophthalmic images taken by a plurality of types of imaging devices into the mathematical model, a predicted disease image in which the state of the disease is predicted more accurately is acquired.
制御部は、画像取得ステップにおいて、被検眼の組織を撮影光軸に沿う方向から撮影した正面画像と、組織の断層画像とを含む複数種類の眼科画像を取得してもよい。疾患の状態は、正面画像および断層画像の一方にのみ強く表れる場合もある。従って、同一の組織の正面画像と断層画像が共に数学モデルに入力されることで、疾患の状態がより正確に予測された予測疾患画像が取得される。 In the image acquisition step, the control unit may acquire a plurality of types of ophthalmic images including a front image of the tissue of the eye to be inspected from a direction along the imaging optical axis and a tomographic image of the tissue. The condition of the disease may be strongly manifested in only one of the frontal and tomographic images. Therefore, by inputting both the frontal image and the tomographic image of the same tissue into the mathematical model, a predicted disease image in which the disease state is predicted more accurately is acquired.
なお、画像取得ステップにおいて取得される複数種類の眼科画像は、正面画像と断層画像の２種類に限定されない。例えば、複数種類の眼科画像には、異なる種類の撮影装置（例えば、眼底カメラと走査型レーザ検眼鏡（ＳＬＯ）等）の各々によって撮影された２種類の正面画像が含まれていてもよい。また、複数種類の眼科画像には、互いに種類が異なる複数の断層画像が含まれていてもよい。また、複数種類の眼科画像には、眼底の構造の分布（例えば、特定の層の厚みの分布等）を二次元的に示すマップ画像（正面マップ画像）が含まれていてもよい。マップ画像には、疾患に起因する構造の変化が現れる。従って、複数種類の眼科画像にマップ画像が含まれることで、より適切な予測疾患画像が生成される。また、画像取得ステップで取得される眼科画像の種類は２種類に限定されず、３種類以上であってもよい。 The plurality of types of ophthalmic images acquired in the image acquisition step are not limited to two types, a front image and a tomographic image. For example, the plurality of types of ophthalmologic images may include two types of frontal images taken by different types of imaging devices (eg, fundus camera and scanning laser ophthalmoscope (SLO), etc.). Further, the plurality of types of ophthalmic images may include a plurality of tomographic images of different types. Further, the plurality of types of ophthalmic images may include a map image (front map image) that two-dimensionally shows the distribution of the structure of the fundus (for example, the distribution of the thickness of a specific layer). Structural changes due to the disease appear in the map image. Therefore, by including the map image in the plurality of types of ophthalmic images, a more appropriate predictive disease image is generated. Further, the types of ophthalmic images acquired in the image acquisition step are not limited to two types, and may be three or more types.
また、複数種類の眼科画像の各々を撮影する撮影装置は、前述したように、異なる種類の撮影装置（つまり、異なるモダリティ）であってもよいし、同一のモダリティであってもよい。例えば、画像取得ステップにおいて正面画像と断層画像が取得される場合、同一種類の撮影装置（例えばＯＣＴ装置）によって撮影された正面画像と断層画像が取得されてもよい。また、正面画像撮影装置（例えば、眼底カメラまたはＳＬＯ等）によって撮影された正面画像と、断層画像撮影装置（例えばＯＣＴ装置）によって撮影された断層画像が、画像取得ステップにおいて取得されてもよい。 Further, as described above, the photographing apparatus for photographing each of the plurality of types of ophthalmic images may be different types of imaging devices (that is, different modality) or may have the same modality. For example, when a frontal image and a tomographic image are acquired in the image acquisition step, the frontal image and the tomographic image captured by the same type of imaging device (for example, an OCT device) may be acquired. In addition, a front image taken by a front image capturing device (for example, a fundus camera or an SLO) and a tomographic image taken by a tomographic image capturing device (for example, an OCT device) may be acquired in the image acquisition step.
なお、眼科画像処理装置は、本開示で例示する複数の技術の一部のみを実行することも可能である。例えば、眼科画像処理装置の制御部は、複数種類の眼科画像に基づいて予測疾患画像を取得する処理を実行せずに、時間情報・程度情報と眼科画像に基づいて予測疾患画像を取得する処理を実行してもよい。この場合でも、時間情報が示す時間が経過した後の予測疾患画像、または、程度情報が示す程度に疾患の状態が変化した予測疾患画像が、実際に撮影された眼科画像に基づいて取得される。 It should be noted that the ophthalmic image processing apparatus can also execute only a part of the plurality of techniques exemplified in the present disclosure. For example, the control unit of the ophthalmic image processing device acquires a predicted disease image based on time information / degree information and an ophthalmic image without executing a process of acquiring a predicted disease image based on a plurality of types of ophthalmic images. May be executed. Even in this case, the predicted disease image after the time indicated by the time information has elapsed, or the predicted disease image in which the state of the disease has changed to the extent indicated by the degree information is acquired based on the actually captured ophthalmic image. ..
この場合、眼科画像処理装置は以下のように表現することも可能である。被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、撮影装置によって撮影された被検眼の組織の眼科画像を取得する画像取得ステップと、前記画像取得ステップにおいて取得された前記眼科画像の撮影時から、前記被検眼の疾患の状態を予測する将来の予測時までの時間を示す時間情報、および、前記予測時における前記被検眼の疾患の程度を示す程度情報の少なくともいずれかを取得する予測時情報取得ステップと、前記時間情報および前記程度情報の少なくともいずれかと前記眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された前記眼科画像に対して、予測される将来の病変部が改変された画像である予測疾患画像を取得する予測疾患画像取得ステップと、を実行する。 In this case, the ophthalmic image processing apparatus can also be expressed as follows. An ophthalmic image processing device that processes an ophthalmic image that is an image of the tissue of the eye to be inspected, and the control unit of the ophthalmic image processing device is an image acquisition step of acquiring an ophthalmic image of the tissue of the eye to be inspected taken by the imaging device. Time information indicating the time from the time when the ophthalmologic image acquired in the image acquisition step is taken to the time of future prediction for predicting the state of the disease of the eye to be inspected, and the time information of the eye to be inspected at the time of the prediction. Input the predictive information acquisition step to acquire at least one of the degree information indicating the degree of the disease and the time information and at least one of the degree information and the ophthalmic image into a mathematical model trained by a machine learning algorithm. A predictive disease image acquisition step of acquiring a predictive disease image, which is an image in which the predicted future lesion portion is modified, is executed with respect to the input ophthalmic image.
また、眼科画像処理装置の制御部は、複数種類の眼科画像に基づいて予測疾患画像を取得する処理を実行せずに、異なる時間に撮影された複数の眼科画像に基づいて予測疾患画像を取得する処理を実行してもよい。この場合でも、疾患の状態の推移が考慮された予測疾患画像が適切に取得される。 Further, the control unit of the ophthalmic image processing device acquires a predicted disease image based on a plurality of ophthalmic images taken at different times without executing a process of acquiring a predicted disease image based on a plurality of types of ophthalmic images. You may execute the process to do. Even in this case, the predicted disease image in consideration of the transition of the disease state is appropriately acquired.
この場合、眼科画像処理装置は以下のように表現することも可能である。被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、同一の被検眼の組織について異なる時間に撮影された同一種類の複数の眼科画像を取得する画像取得ステップと、前記複数の眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された前記眼科画像（例えば、撮影時間が直近の眼科画像等）に対して、予測される将来の病変部が改変された画像である予測疾患画像を取得する予測疾患画像取得ステップと、を実行する。 In this case, the ophthalmic image processing apparatus can also be expressed as follows. An ophthalmic image processing device that processes an ophthalmic image that is an image of the tissue of the eye to be inspected, and a control unit of the ophthalmic image processing device is a plurality of ophthalmologists of the same type taken at different times with respect to the tissue of the same eye to be inspected. By inputting the image acquisition step for acquiring an image and the plurality of ophthalmic images into a mathematical model trained by a machine learning algorithm, the input ophthalmic image (for example, the ophthalmic image having the latest imaging time) can be obtained. On the other hand, a predictive disease image acquisition step of acquiring a predictive disease image, which is an image in which the predicted future lesion is modified, is executed.
＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された情報に基づいて、訓練内容に応じた情報を出力する（数学モデルの詳細については、図２を参照して後述する）。眼科画像処理装置２１は、数学モデルを用いて、予測疾患画像６０（図２参照）を取得するための各種処理を実行する。予測疾患画像６０とは、疾患が生じると予測される場合の組織の状態、疾患が悪化（進行）すると予測される場合の組織の状態、または疾患が治癒していくと予測される場合の組織の状態等を示す画像である。予測疾患画像６０は、実際に撮影された被検者（被検眼）の組織の画像に基づいて取得される。撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像３０（図２参照）を撮影する。
<Embodiment>
(Device configuration)
Hereinafter, one of the typical embodiments in the present disclosure will be described with reference to the drawings. As shown in FIG. 1, in this embodiment, a mathematical model construction device 1, an ophthalmic
なお、本実施形態では、眼科画像３０および予測疾患画像６０として、被検眼の眼底組織を撮影した画像が用いられる場合を例示する。しかし、眼科画像３０および予測疾患画像６０が、眼底以外の被検眼の組織の画像である場合でも、本開示で例示する技術の少なくとも一部を適用できる。また、被検眼以外の生体組織の医療画像（例えば内臓の画像等）が用いられてもよい。 In this embodiment, the case where an image obtained by photographing the fundus tissue of the eye to be inspected is used as the ophthalmic image 30 and the predicted disease image 60 is illustrated. However, even when the ophthalmic image 30 and the predicted disease image 60 are images of tissues of the eye to be inspected other than the fundus, at least a part of the techniques exemplified in the present disclosure can be applied. Further, a medical image of a biological tissue other than the eye to be inspected (for example, an image of internal organs) may be used.
一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、撮影装置１１Ａから取得した眼科画像を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。
As an example, a personal computer (hereinafter referred to as "PC") is used for the mathematical model building apparatus 1 of the present embodiment. Although the details will be described later, the mathematical model building apparatus 1 constructs a mathematical model by training the mathematical model using the ophthalmic image acquired from the photographing
また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。
Further, a PC is used for the ophthalmic
また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。 Further, in the present embodiment, a case where a CPU is used as an example of a controller that performs various processes will be illustrated. However, it goes without saying that a controller other than the CPU may be used for at least a part of various devices. For example, by adopting a GPU as a controller, the processing speed may be increased.
数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、数学モデルを構築するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。
The mathematical model construction device 1 will be described. The mathematical model construction device 1 is arranged, for example, in an ophthalmic
数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。 The mathematical model construction device 1 is connected to the operation unit 7 and the display device 8. The operation unit 7 is operated by the user in order for the user to input various instructions to the mathematical model construction device 1. For the operation unit 7, for example, at least one of a keyboard, a mouse, a touch panel, and the like can be used. A microphone or the like for inputting various instructions may be used together with the operation unit 7 or instead of the operation unit 7. The display device 8 displays various images. As the display device 8, various devices capable of displaying an image (for example, at least one of a monitor, a display, a projector, and the like) can be used. The "image" in the present disclosure includes both a still image and a moving image.
数学モデル構築装置１は、撮影装置１１Ａから眼科画像３０の情報（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、撮影装置１１Ａから眼科画像３０の情報を取得してもよい。
The mathematical model building apparatus 1 can acquire information on the ophthalmic image 30 (hereinafter, may be simply referred to as “ophthalmic image”) from the photographing
眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診断または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図３参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、撮影装置１１Ｂおよび数学モデル構築装置１等）と接続する。
The ophthalmic
眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。
The ophthalmic
眼科画像処理装置２１は、撮影装置１１Ｂから眼科画像３０を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、撮影装置１１Ｂから眼科画像３０を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。
The ophthalmic
医療画像撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に医療画像３０を提供する医療画像撮影装置１１Ａと、医療画像処理装置２１に医療画像３０を提供する医療画像撮影装置１１Ｂが使用される場合について説明する。しかし、使用される医療画像撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および医療画像処理装置２１は、複数の医療画像撮影装置から医療画像３０を取得してもよい。また、数学モデル構築装置１および医療画像処理装置２１は、共通する１つの医療画像撮影装置から医療画像３０を取得してもよい。なお、本実施形態で例示する２つの医療画像撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの医療画像撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。
The
撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。 The imaging device 11 (11A, 11B) includes a control unit 12 (12A, 12B) that performs various control processes, and an ophthalmic imaging unit 16 (16A, 16B). The control unit 12 includes a CPU 13 (13A, 13B) which is a controller that controls control, and a storage device 14 (14A, 14B) capable of storing programs, data, and the like.
本実施形態の撮影装置１１は、複数の撮影方式を用いて複数種類の眼科画像３０を撮影することができる。つまり、撮影装置１１は、同一の被検眼の組織（本実施形態では眼底組織）を、異なる撮影方式で撮影することで、撮影方向（正面画像または断層画像）、解像度、明るさ、コントラスト等の少なくともいずれかが互いに異なる複数種類の眼科画像３０を撮影することができる。換言すると、本実施形態の撮影装置１１は、１つの筐体に複数のモダリティを備える。一例として、本実施形態の医療画像撮影部１６は、被検眼の眼底の正面画像を撮影する眼底カメラの構成（照明光源、照明光学系、受光光学系、撮影素子等）と、被検眼の眼底の断層画像を撮影するＯＣＴ装置の構成（ＯＣＴ光源、ＯＣＴ光を走査する走査部、照射光学系、受光光学系、受光素子等）を共に備える。 The imaging device 11 of the present embodiment can capture a plurality of types of ophthalmic images 30 by using a plurality of imaging methods. That is, the imaging device 11 captures the same tissue of the eye to be inspected (fundus tissue in this embodiment) by different imaging methods, so that the imaging direction (front image or tomographic image), resolution, brightness, contrast, etc. can be determined. It is possible to capture a plurality of types of ophthalmologic images 30 in which at least one of them is different from each other. In other words, the photographing device 11 of the present embodiment includes a plurality of modality in one housing. As an example, the medical imaging unit 16 of the present embodiment includes a configuration of a fundus camera (illumination light source, illumination optical system, light receiving optical system, imaging element, etc.) for capturing a frontal image of the fundus of the eye to be inspected, and the fundus of the eye to be inspected. It is provided with the configuration of an OCT device (OCT light source, scanning unit for scanning OCT light, irradiation optical system, light receiving optical system, light receiving element, etc.) for capturing a tomographic image of the above.
なお、本実施形態では、１つの撮影装置１１が複数種類の眼科画像３０を撮影する。しかし、異なる方式で画像を撮影する複数種類の撮影装置の各々によって、眼科画像３０が撮影されてもよい。つまり、複数種類の眼科画像３０を撮影するために、複数のモダリティが使用されてもよい。 In this embodiment, one imaging device 11 captures a plurality of types of ophthalmic images 30. However, the ophthalmic image 30 may be captured by each of a plurality of types of imaging devices that capture images in different ways. That is, a plurality of modality may be used to capture a plurality of types of ophthalmic images 30.
また、本実施形態では、複数種類の眼科画像３０として、眼底カメラによって撮影される眼底の二次元正面画像と、ＯＣＴ装置によって撮影される眼底の二次元断層画像が用いられる。しかし、眼科画像３０の種類を変更することも可能である。例えば、走査型レーザ検眼鏡（ＳＬＯ）によって撮影される眼底の二次元正面画像が、複数種類の眼科画像３０に含まれていてもよい。また、組織の三次元断層画像（例えば、ＯＣＴ装置によって撮影される眼底の三次元断層画像等）が、複数種類の眼科画像３０に含まれていてもよい。角膜内皮細胞撮影装置（ＣＥＭ）、コンピュータ断層撮影（ＣＴ）装置等が、撮影装置１１として使用されてもよい。また、複数種類の二次元正面画像、または、複数種類の断層画像が撮影されてもよい。 Further, in the present embodiment, as the plurality of types of ophthalmic images 30, a two-dimensional frontal image of the fundus taken by the fundus camera and a two-dimensional tomographic image of the fundus taken by the OCT device are used. However, it is also possible to change the type of ophthalmic image 30. For example, a two-dimensional frontal image of the fundus taken by a scanning laser ophthalmoscope (SLO) may be included in a plurality of types of ophthalmologic images 30. Further, a three-dimensional tomographic image of the tissue (for example, a three-dimensional tomographic image of the fundus taken by an OCT device) may be included in the plurality of types of ophthalmic images 30. A corneal endothelial cell imaging device (CEM), a computed tomography (CT) device, or the like may be used as the imaging device 11. Further, a plurality of types of two-dimensional front images or a plurality of types of tomographic images may be taken.
（数学モデルのモデル構造）
図２を参照して、眼科画像処理装置２１が予測疾患画像６０を取得するための、本実施形態の数学モデルのモデル構造について説明する。本実施形態では、予測疾患画像６０を取得するための数学モデルとして、病変部除去モデル７１、病変部識別モデル７２、予測モデル７３、および予測疾患画像生成モデル７４が用いられる。
(Model structure of mathematical model)
With reference to FIG. 2, the model structure of the mathematical model of the present embodiment for the ophthalmologic
また、本実施形態では、複数種類の眼科画像３０が数学モデルに入力されることで、予測疾患画像６０が取得される。一例として、本実施形態では、複数種類の眼科画像３０として、基画像３０Ａおよび参照画像３０Ｂが数学モデルに入力される。基画像３０Ａは、予測疾患画像６０に改変される基となる画像である。つまり、数学モデルは、複数種類の眼科画像３０の１つである基画像３０Ａに対して、予測される将来の病変部を改変することで、予測疾患画像６０を出力する。従って、基画像３０Ａと予測疾患画像６０は、同一種類の画像（本実施形態では、眼底の二次元正面画像）となる。参照画像３０Ｂは、撮影対象が基画像３０Ａの撮影対象と共通し、且つ基画像３０Ａとは異なる種類の画像である。基画像３０Ｂは、予測疾患画像６０を生成するために参照される。
Further, in the present embodiment, the predicted disease image 60 is acquired by inputting a plurality of types of ophthalmic images 30 into the mathematical model. As an example, in the present embodiment, the
一例として、本実施形態では、基画像３０Ａとして眼底の二次元正面画像（眼底カメラによって撮影された二次元正面画像）が用いられると共に、参照画像３０Ｂとして眼底の二次元断層画像（ＯＣＴ装置によって撮影された二次元断層画像）が用いられる。しかし、前述したように、基画像３０Ａと参照画像３０Ｂの種類を変更することも可能である。例えば、基画像３０Ａとして二次元断層画像が用いられ、且つ、参照画像３０Ｂとして二次元正面画像が用いられてもよい。また、２種類以上の参照画像が用いられてもよい。
As an example, in the present embodiment, a two-dimensional front image of the fundus (two-dimensional front image taken by the fundus camera) is used as the
病変部除去モデル７１は、基画像３０Ａを入力することで、基画像３０Ａから病変部３１の情報が除去された病変部除去画像４０を出力する。病変部除去画像４０には、病変部３１の情報を含まず、且つ組織の構造の情報を含む各種画像を採用できる。本実施形態では、組織の構造の１つである血管の画像（眼底血管画像）が、病変部除去画像４０として使用される。
By inputting the
病変部識別モデル７２は、基画像３０Ａを入力することで、基画像３０Ａに病変部３１が存在する場合の病変部３１の検出結果（病変部情報）を出力する。本実施形態では、病変部識別モデル７２によって出力される病変部情報には、病変部３１の位置の情報、病変部３１の範囲の情報、および病変部３１の種類（疾患の種類）の情報が含まれる。
By inputting the
一例として、本実施形態の病変部識別モデル７２は、基画像３０Ａに含まれる病変部３１の種類の検出結果を得る際のアテンションマップ８０を出力する。病変部３１の位置および範囲の情報は、アテンションマップ８０から取得される。アテンションマップ８０は、病変部識別モデル７２が病変部３１の種類の検出結果を得る際に影響した各位置に対する影響度（注目度）の、画像領域内における分布を示す。影響度が高い領域は、影響度が低い領域に比べて、病変部３１の種類の検出結果に強く影響する。アテンションマップ８０の一例は、例えば以下の論文等に記載されている。「Ｒａｍｐｒａｓａａｔｈ Ｒ． Ｓｅｌｖａｒａｊｕ， ｅｔ ａｌ． “Ｇｒａｄ−ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ−ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１７−Ｏｃｔ， ｐｐ． ６１８−６２６」
As an example, the lesion identification model 72 of the present embodiment outputs an attention map 80 when obtaining the detection result of the type of the
ただし、病変部３１の位置および範囲の情報を取得する方法を変更することも可能である。例えば、基画像３０Ａに対して公知の画像処理が実行されて、病変部３１の領域がセグメンテーションされることで、病変部３１の位置および範囲の情報が取得されてもよい。
However, it is also possible to change the method of acquiring information on the position and range of the
予測モデル７３は、将来の病変部の状態（本実施形態では、病変部の位置および範囲）を予測する。一例として、本実施形態の予測モデル７３は、病変部識別モデル７２によって出力された病変部３１の位置および範囲の情報（本実施形態ではアテンションマップ８０）と、被検眼の組織の参照画像３３を入力することで、予測される将来の病変部の位置および範囲を二次元的に示す予測病変部状態画像８１を出力する。疾患の種類、疾患の進行の程度、被検眼の状態等によっては、基画像３０には病変部３１の状態が正確に表れにくく、参照画像３３に病変部３１の状態が表れやすい場合もある。例えば、疾患の進行の程度が浅く、眼底の表面よりも深い位置にのみ病変部３１が形成されている場合等には、本実施形態では、二次元正面画像である基画像３０には病変部３１の状態が表れにくい一方で、二次元断層画像である参照画像３３には病変部の状態が表れやすい。従って、複数の眼科画像３０（本実施形態では、基画像３０Ａおよび参照画像３０Ｂ）が用いられることで、将来の病変部の状態（疾患の状態）がより正確に予測される。
The prediction model 73 predicts the future state of the lesion (in this embodiment, the position and extent of the lesion). As an example, the prediction model 73 of the present embodiment provides information on the position and range of the
また、本実施形態の予測モデル７３は、時間情報および程度情報の少なくともいずれか（以下、単に「時間・程度情報」という）を入力することで、予測病変部状態画像８１を出力する。時間情報とは、複数種類の眼科画像３０の撮影時から、被検眼の疾患の状態を予測する予測時までの時間を示す情報である。程度情報とは、予測時における被検眼の疾患の程度を示す情報である。本実施形態では、時間情報が示す時間が経過した後の病変部の状態を示す予測病変部状態画像８１、または、程度情報が示す程度に病変部（疾患）の状態が変化した予測病変部状態画像８１が、実際に撮影された複数種類の眼科画像３０に基づいて取得される。よって、疾患の状態がより適切に予測された予測疾患画像６０が取得される。 Further, the prediction model 73 of the present embodiment outputs a prediction lesion state state image 81 by inputting at least one of time information and degree information (hereinafter, simply referred to as “time / degree information”). The time information is information indicating the time from the time when the plurality of types of ophthalmic images 30 are taken to the time when the state of the disease of the eye to be examined is predicted. The degree information is information indicating the degree of the disease of the eye to be examined at the time of prediction. In the present embodiment, the predicted lesion state image 81 showing the state of the lesion after the time indicated by the time information has passed, or the predicted lesion state in which the state of the lesion (disease) has changed to the extent indicated by the degree information. The image 81 is acquired based on a plurality of types of ophthalmic images 30 actually taken. Therefore, the predicted disease image 60 in which the state of the disease is more appropriately predicted is acquired.
また、本実施形態の予測モデル７３には、互いに異なる複数の時間・程度情報を入力することも可能である。この場合、予測モデル７３は、眼科画像３０の撮影時から予測時までの時間、または予測時の疾患の程度が互いに異なる複数の予測病変部状態画像８１を出力することができる。その結果、時間または程度が異なる複数の予測疾患画像６０が、最終的に出力される。 Further, it is also possible to input a plurality of different time / degree information into the prediction model 73 of the present embodiment. In this case, the prediction model 73 can output a plurality of prediction lesion state image 81s in which the time from the time of taking the ophthalmic image 30 to the time of prediction or the degree of the disease at the time of prediction is different from each other. As a result, a plurality of predicted disease images 60 having different times or degrees are finally output.
また、本実施形態の予測モデル７３には、種類が同一であり且つ異なる時間に撮影された複数の眼科画像３０（本実施形態では、複数の参照画像３０Ｂ）と、各々の眼科画像３０の撮影時を示す情報を入力することも可能である。種類が同一であり、且つ異なる時間に撮影された、撮影対象が同一の複数の眼科画像３０には、疾患の状態の推移が表れる。従って、撮影時間が異なる複数の眼科画像３０と、各々の撮影時を示す情報が用いられることで、疾患の状態の推移が考慮された予測病変部状態画像８１が、予測モデル７３によって出力される。その結果、疾患の状態の推移が考慮された予測疾患画像６０が、最終的に出力される。 Further, in the prediction model 73 of the present embodiment, a plurality of ophthalmic images 30 (in the present embodiment, a plurality of reference images 30B) of the same type and taken at different times, and each ophthalmic image 30 are photographed. It is also possible to enter information that indicates the time. A plurality of ophthalmic images 30 of the same type and taken at different times and having the same image capture target show the transition of the disease state. Therefore, by using a plurality of ophthalmic images 30 having different imaging times and information indicating the time of each imaging, the predicted lesion state image 81 considering the transition of the disease state is output by the prediction model 73. .. As a result, the predicted disease image 60 in consideration of the transition of the disease state is finally output.
なお、本実施形態では、撮影時間が異なる複数の参照画像３０Ｂが、予測モデル７３に入力される。しかし、撮影時間が異なる複数の基画像３０Ａが、予測モデル７３に入力されてもよい。また、複数の基画像３０Ａと複数の参照画像３０Ｂが、共に予測モデル７３に入力されてもよい。
In the present embodiment, a plurality of reference images 30B having different shooting times are input to the prediction model 73. However, a plurality of
また、本実施形態の予測モデル７３には、状態情報を入力することも可能である。状態情報とは、複数種類の眼科画像３０における疾患（病変部）の状態に対して、将来の予測時における疾患の状態を悪化および治癒のいずれとするかを示す情報である。予測モデル７３に状態情報が入力されることで、疾患の状態が悪化していく場合の予測病変部状態画像８１（予測疾患画像６０）、および、疾患の状態が治癒していく場合の予測病変部状態画像８１（予測疾患画像６０）の少なくともいずれかが、実際に撮影された複数種類の眼科画像３０に基づいて出力される。 It is also possible to input state information into the prediction model 73 of the present embodiment. The state information is information indicating whether the state of the disease (lesion portion) in the plurality of types of ophthalmic images 30 is aggravated or cured at the time of future prediction. By inputting the state information into the prediction model 73, the predicted lesion state image 81 (predicted disease image 60) when the disease state worsens, and the predicted lesion when the disease state is cured. At least one of the partial state images 81 (predicted disease image 60) is output based on a plurality of types of ophthalmic images 30 actually taken.
予測疾患画像生成モデル７４は、病変部除去画像４０、疾患の種類（病変部３１の種類）、および、予測される病変部の状態を示す情報（本実施形態では予測病変部状態画像８１）を入力することで、予測疾患画像６０を出力する。
The predicted disease
本実施形態では、実際に撮影された眼科画像３０（詳細には基画像３０Ａ）における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれか（本実施形態では、基画像３０Ａから取得される病変部除去画像４０が示す組織の構造）に基づいて、予測疾患画像６０が取得される。よって、被検者自身の眼科画像３０に基づくことなく予測疾患画像が取得される場合に比べて、予測される疾患の状態を被検者に実感させやすい。
In the present embodiment, at least one of the pixel value, the structure of the tissue, the brightness, the contrast, etc. in the actually captured ophthalmic image 30 (specifically, the
数学モデル構築装置１が実行する数学モデル構築処理の一例について説明する。数学モデル構築装置１のＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行することで、数学モデルを構築する。構築された数学モデルを実現するためのプログラムは、眼科画像処理装置２１の記憶装置２４に記憶される。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。
An example of the mathematical model construction process executed by the mathematical model construction apparatus 1 will be described. The
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。 Neural networks are a technique that mimics the behavior of biological nerve cell networks. Neural networks include, for example, feed-forward (forward propagation) neural networks, RBF networks (radial basis functions), spiking neural networks, convolutional neural networks, recursive neural networks (recurrent neural networks, feedback neural networks, etc.), and probabilities. Neural networks (Boltzmann machines, Basian networks, etc.).
ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。 Random forest is a method of learning based on randomly sampled training data to generate a large number of decision trees. When using a random forest, the branches of a plurality of decision trees learned in advance as a discriminator are traced, and the average (or majority vote) of the results obtained from each decision tree is taken.
ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。 Boosting is a method of generating a strong classifier by combining a plurality of weak classifiers. A strong classifier is constructed by sequentially learning simple and weak classifiers.
ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。 SVM is a method of constructing a two-class pattern classifier using a linear input element. The SVM learns the parameters of the linear input element based on, for example, the criterion (hyperplane separation theorem) of obtaining the margin maximizing hyperplane that maximizes the distance from each data point from the training data.
本実施形態では、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）等によって、各々の数学モデルが構築されている。 In this embodiment, each mathematical model is constructed by a hostile generation network (GENerative advanced neural networks: GAN) using two competing neural networks, a convolutional neural network (CNN) which is a kind of multi-layer neural network, and the like. ing.
数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、複数の訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。 A mathematical model refers, for example, to a data structure for predicting the relationship between input data and output data. Mathematical models are constructed by training with multiple training datasets. The training data set is a set of training data for input and training data for output. The mathematical model is trained so that when certain input training data is input, the corresponding output training data is output. For example, training updates the correlation data (eg, weights) for each input and output.
病変部除去モデル７１の構築方法の一例について説明する。本実施形態では、数学モデル構築装置１のＣＰＵ３は、病変部除去モデル７１を構築する場合、撮影装置１１Ａによって撮影された被検者の眼科画像３０（詳細には、基画像３０と同種の二次元正面画像）を入力用訓練データとし、且つ、同一の被検者の病変部除去画像（本実施形態では眼底血管画像）４０を出力用訓練データとして、数学モデルを訓練する。病変部除去画像４０は、例えば、入力用訓練データとして用いられる二次元正面画像を撮影する手法とは異なる手法で撮影装置１１Ａによって撮影されてもよいし、撮影装置１１Ａとは異なるデバイスによって撮影されてもよい。また、公知の画像処理によって、入力用訓練データとして用いられる二次元正面画像から病変部除去画像４０が抽出されてもよい。また、ユーザから入力される指示に応じて、二次元正面画像から病変部除去画像４０が抽出されてもよい。
An example of a method for constructing the lesion removal model 71 will be described. In the present embodiment, when the
病変部識別モデル７２の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、病変部識別モデル７２を構築する場合、撮影装置１１Ａによって撮影された被検者の眼科画像３０（詳細には、基画像３０と同種の二次元正面画像）を入力用訓練データとし、且つ、入力用訓練データ（眼科画像３０）における病変部３１の情報（本実施形態では、病変部３１の位置および範囲の情報と、病変部３１の種類の情報）を出力用訓練データとして、数学モデルを訓練する。病変部３１の情報は、例えば、入力用訓練データ（眼科画像３０）を確認したユーザから入力される指示に応じて生成されてもよい。また、入力用訓練データに対して公知の画像処理が実行されることで、病変部３１の情報の少なくとも一部（例えば、位置および範囲の情報）が生成されてもよい。
An example of a method for constructing the lesion identification model 72 will be described. In the present embodiment, when constructing the lesion identification model 72, the
予測モデル７３の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、予測モデル７３を構築する場合、入力用訓練データには、前述した病変部３１の情報（本実施形態では、病変部３１の位置および範囲の情報）と、撮影装置１１Ａによって撮影された被検者の眼科画像３０（詳細には、参照画像３０Ｂと同種の二次元断層画像）とが含まれる。また、予測モデル７３を構築する場合の出力用訓練データには、病変部除去モデル７１および病変部識別モデル７２を訓練する際に入力用訓練データとして使用された眼科画像３０よりも後に、同一の撮影対象について撮影装置１１Ａによって撮影された眼科画像３０（二次元正面画像）における、病変部の状態（位置および範囲）の情報が含まれる。病変部の位置および範囲の情報は、ユーザから入力される指示に応じて生成されてもよいし、公知の画像処理によって生成されてもよい。本実施形態では、病変部の状態の情報として、病変部の位置および範囲を示す二次元の画像が用いられる。
An example of a method of constructing the prediction model 73 will be described. In the present embodiment, when the
また、予測モデル７３を構築する際の入力用訓練データには、時間・程度情報が含まれる。時間情報は、病変部除去モデル７１および病変部識別モデル７２の入力用訓練データの撮影時間と、予測モデル７３の出力用訓練データの元となる眼科画像３０の撮影時間との差が算出されることで、自動的に取得されてもよい。また、時間・程度情報は、ユーザによって入力されてもよい。 Further, the training data for input when constructing the prediction model 73 includes time / degree information. For the time information, the difference between the imaging time of the input training data of the lesion removal model 71 and the lesion identification model 72 and the imaging time of the ophthalmic image 30 which is the source of the output training data of the prediction model 73 is calculated. By doing so, it may be acquired automatically. Further, the time / degree information may be input by the user.
また、予測モデル７３を構築する際の入力用訓練データには、撮影装置１１Ａによって異なる時間に撮影された複数の眼科画像３０と、各々の眼科画像の撮影時を示す情報とが含まれる。従って、構築される予測モデル７３は、複数の眼科画像８０に基づいて、疾患の推移が適切に考慮された予測病変部状態画像８１を出力することができる。
Further, the input training data for constructing the prediction model 73 includes a plurality of ophthalmic images 30 captured at different times by the
また、予測モデル７３を構築する際の入力用訓練データには、入力用訓練データの病変部（疾患）の状態に対する、出力用訓練データの病変部（疾患）の状態が、悪化および治癒のいずれであるかを示す状態情報が含まれている。状態情報は、ユーザによって入力されてもよいし、画像処理等によって自動的に取得されてもよい。 Further, in the input training data when constructing the prediction model 73, the state of the lesion (disease) of the output training data is worsened or cured with respect to the state of the lesion (disease) of the input training data. Contains state information indicating whether or not. The state information may be input by the user, or may be automatically acquired by image processing or the like.
予測疾患画像生成モデル７４の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、予測疾患画像生成モデル７４を構築する場合、病変部除去モデル７１および病変部識別モデル７２を訓練する際に入力用訓練データとして使用された眼科画像３０よりも後に、同一の撮影対象について撮影装置１１Ａによって撮影された眼科画像（二次元正面画像）３０を、出力用訓練データとする。また、ＣＰＵ３は、出力用訓練データ（眼科画像３０）から病変部の情報が除去された病変部除去画像４０と、出力用訓練データに関する病変部３１の情報（本実施形態では、病変部３１の位置および範囲の情報、および病変部３１の種類の情報）を、入力用訓練データとする。ＣＰＵ３が病変部除去画像４０および病変部の情報を取得する方法には、前述した方法と同様の方法を採用できる。
An example of a method for constructing the predictive disease
以上説明したように、複数の数学モデル（病変部除去モデル７１、病変部識別モデル７２、予測モデル７３、および予測疾患画像生成モデル７４）を含む本実施形態の数学モデルの全体は、少なくとも、同一の被検眼の組織について撮影された複数種類の眼科画像３０（二次元正面画像および二次元断層画像）を入力用訓練データとし、且つ、入力用訓練データよりも後に撮影された眼科画像３０（二次元正面画像）を出力用訓練データとして訓練される。よって、本実施形態の数学モデルは、実際に撮影された眼科画像３０に基づいて、適切に予測疾患画像６０を出力することができる。また、本実施形態の数学モデル全体を訓練する際の入力用訓練データには、時間・程度情報、撮影時間が異なる複数の眼科画像３０（二次元断層画像）、および状態情報が含まれる。 As described above, the entire mathematical model of the present embodiment including the plurality of mathematical models (lesion removal model 71, lesion identification model 72, prediction model 73, and prediction disease image generation model 74) is at least the same. Multiple types of ophthalmic images 30 (two-dimensional front image and two-dimensional tomographic image) taken about the tissue of the eye to be inspected are used as input training data, and the ophthalmological image 30 (two) taken after the input training data. Dimensional front image) is trained as output training data. Therefore, the mathematical model of the present embodiment can appropriately output the predicted disease image 60 based on the actually captured ophthalmic image 30. Further, the training data for input when training the entire mathematical model of the present embodiment includes time / degree information, a plurality of ophthalmic images 30 (two-dimensional tomographic images) having different imaging times, and state information.
（眼科画像処理）
図３を参照して、本実施形態の眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。ＣＰＵ２３は、予測疾患画像６０の生成および表示を開始させる指示がユーザによって入力されると、図３に例示する眼科画像処理を開始する。
(Ophthalmic image processing)
The ophthalmic image processing executed by the ophthalmic
図３に示すように、ＣＰＵ２３は、眼科画像処理を開始すると、同一の被検眼の組織について撮影された、複数種類の眼科画像３０（本実施形態では、基画像３０Ａおよび参照画像３０Ｂ）を取得する（Ｓ１）。
As shown in FIG. 3, when the
なお、Ｓ１では、ＣＰＵ２３は、種類が同一であり且つ異なる時間に撮影された複数の眼科画像３０（本実施形態では、複数の参照画像３０Ｂ）を取得することも可能である。この場合、ＣＰＵ２３は、複数の眼科画像３０の各々が撮影された撮影時を示す情報も取得する。
In S1, the
次いで、ＣＰＵ２３は、時間・程度情報を取得する（Ｓ２）。前述したように、時間情報とは、Ｓ１で取得された眼科画像３０の撮影時（撮影時が異なる複数の眼科画像３０が取得されている場合には、最新の眼科画像３０の撮影時）から、被検眼の疾患の状態を予測する予測時までの時間を示す情報である。程度情報とは、予測時における被検眼の疾患の程度を示す情報である。ＣＰＵ２３は、時間・程度情報を指定するためのユーザからの指示の入力を受け付けることで、時間・程度情報を取得してもよい。また、ＣＰＵ２３は、予め定められている時間・程度情報を、Ｓ２において取得してもよい。また、Ｓ２の処理を省略することも可能である。
Next, the
なお、Ｓ２では、ＣＰＵ２３は、互いに異なる複数の時間情報または複数の程度情報を取得することも可能である。この場合、後述するＳ４では、予測時または程度が異なる複数の予測疾患画像６０が取得される。
In S2, the
次いで、ＣＰＵ２３は、状態情報を取得する（Ｓ３）。前述したように、状態情報とは、Ｓ１で取得された複数種類の眼科画像３０における疾患（病変部）の状態に対して、将来の予測時における疾患の状態を悪化および治癒のいずれとするかを示す情報である。ＣＰＵ２３は、状態情報を指定するためのユーザからの指示の入力を受け付けることで、状態情報を取得してもよい。また、撮影時間が異なる複数の眼科画像３０がＳ１において取得される場合、ＣＰＵ２３は、撮影時間が異なる複数の眼科画像３０から、疾患の状態の推移が悪化および治癒のいずれであるかを判別し、判別結果を状態情報として取得してもよい。この場合、ＣＰＵ２３は、複数の眼科画像３０に対して公知の画像処理を行うことで、疾患の状態の推移を判別してもよい。また、ＣＰＵ２３は、複数の眼科画像３０を入力して疾患の状態の推移を出力する数学モデルを利用して、状態情報を取得してもよい。なお、Ｓ３の処理を省略することも可能である。
Next, the
次いで、ＣＰＵ２３は、機械学習アリゴリズムによって訓練された数学モデルに、Ｓ１で取得された複数種類の眼科画像３０（基画像３０Ａおよび参照画像３０Ｂ）を少なくとも入力することで、数学モデルによって出力される予測疾患画像６０を取得する（Ｓ４）。図２を例示して説明したように、本実施形態では、数学モデル全体のうち、病変部除去モデル７１および病変部識別モデル７２に基画像３０Ａが入力され、且つ予測モデル７３に参照画像３０Ｂおよび時間・程度情報が入力されることで、予測疾患画像生成モデル７４を経て予測疾患画像６０が出力される。
Next, the
また、異なる時間に撮影された複数の眼科画像３０（本実施形態では、複数の参照画像３０Ｂ）がＳ１で取得されている場合には、ＣＰＵ２３は、複数の眼科画像３０を予測モデル７３に入力する。この場合、複数の眼科画像３０における疾患の推移が考慮された予測疾患画像６０が、予測疾患画像生成モデル７４によって最終的に出力される。
Further, when a plurality of ophthalmic images 30 (in the present embodiment, a plurality of reference images 30B) taken at different times are acquired in S1, the
また、複数の時間・程度情報がＳ２で取得されている場合には、ＣＰＵ２３は、複数の時間・程度情報を予測モデル７３に入力する。この場合、予測モデル７３は、入力された複数の時間・程度情報の各々に対応する、複数の予測病変部状態画像８１（図２参照）を出力する。その結果、各々の予測病変部状態画像８１に対応する複数の予測疾患画像６０が、予測疾患画像生成モデル７４によって出力される。
Further, when a plurality of time / degree information is acquired in S2, the
また、Ｓ３で状態情報が入力されている場合には、ＣＰＵ２３は、状態情報を予測モデル７３に入力する。この場合、疾患の状態が悪化していく場合の予測疾患画像６０、および、疾患の状態が治癒していく場合の予測疾患画像６０の少なくともいずれかが、実際に撮影された複数種類の眼科画像３０に基づいて取得される。
When the state information is input in S3, the
次いで、ＣＰＵ２３は、Ｓ４で取得された予測疾患画像６０を表示装置２８に表示させる。従って、ユーザは、疾患の状態がより適切に予測された予測疾患画像６０を確認することで、被検眼の診断等を適切に実行することができる。
Next, the
また、複数の時間・程度情報の各々に対応する複数の予測疾患画像６０がＳ４で取得されている場合には、ＣＰＵ２３は、複数の予測疾患画像６０を、時間または程度の順に並べて、または切り替えて、表示装置２８に表示させる。その結果、ユーザは、予測時または疾患の程度が異なる複数の予測疾患画像６０を、より容易に確認することができる。
Further, when a plurality of predicted disease images 60 corresponding to each of the plurality of time / degree information are acquired in S4, the
上記実施形態で開示された技術は一例に過ぎない。よって、上記実施形態で例示された技術を変更することも可能である。例えば、上記実施形態の数学モデルでは、図２に示すように、病変部識別モデル７１によって出力される病変部除去画像４０が予測疾患画像生成モデル７４に入力されることで、予測疾患画像６０が出力される。しかし、病変部除去画像４０の代わりに、撮影された基画像３０Ａ自体に基づいて、予測疾患画像６０が生成されてもよい。例えば、基画像３０Ａが予測疾患画像生成モデル７４に入力されることで、予測疾患画像６０が出力されてもよい。この場合、病変部除去モデル７１は省略してもよい。
The techniques disclosed in the above embodiments are merely examples. Therefore, it is possible to change the technique exemplified in the above embodiment. For example, in the mathematical model of the above embodiment, as shown in FIG. 2, the lesion removal image 40 output by the lesion identification model 71 is input to the prediction disease
上記実施形態では、数学モデルの全体のうち、病変部除去モデル７１および病変部識別モデル７２に基画像３０Ａが入力され、且つ予測モデル７３に参照画像３０Ｂが入力されることで、基画像３０Ａおよび参照画像３０Ｂに基づいて予測疾患画像６０が出力される。しかし、基画像３０Ａおよび参照画像３０Ｂが入力される数学モデルの構成を変更することも可能である。例えば、基画像３０Ａおよび参照画像３０Ｂが、共に病変部識別モデル７２に入力されてもよい。この場合、病変部識別モデル７２は、入力された基画像３０Ａおよび参照画像３０Ｂに基づいて、病変部の位置および範囲を示す情報（例えばアテンションマップ８０等）を出力してもよい。この場合でも、複数種類の眼科画像３０（基画像３０Ａおよび参照画像３０Ｂ）に基づいて、疾患の状態が適切に予測された予測疾患画像６０が出力される。
In the above embodiment, the
上記実施形態では、異なる時間に撮影された複数の参照画像３０Ｂが数学モデルに入力されることで、疾患の推移が考慮された予測疾患画像６０が出力される。しかし、異なる時間に撮影された複数の基画像３０Ａが数学モデルに入力される場合でも、疾患の推移は適切に予測疾患画像６０に反映される。
In the above embodiment, a plurality of reference images 30B taken at different times are input to the mathematical model, so that the predicted disease image 60 in consideration of the transition of the disease is output. However, even when a plurality of
上記実施形態では、基画像３０Ａとして眼底の二次元正面画像が用いられると共に、参照画像３０Ｂとして同一の眼底の二次元断層画像が用いられる。しかし、前述したように、基画像および参照画像を変更することも可能である。例えば、基画像として二次元断層画像が使用され、且つ、参照画像として二次元正面画像が使用されてもよい。この場合、予測疾患画像は二次元断層画像となる。
In the above embodiment, a two-dimensional front image of the fundus is used as the
上記実施形態で例示した複数の技術の一部のみを採用することも可能である。例えば、眼科画像処理装置２１は、複数種類の眼科画像３０に基づいて予測疾患画像６０を取得する処理を実行せずに、時間・程度情報と１種類の眼科画像３０に基づいて予測疾患画像６０を取得することも可能である。また、眼科画像処理装置２１は、複数種類の眼科画像３０に基づいて予測疾患画像６０を取得する処理を実行せずに、異なる時間に撮影された同一種類の複数の眼科画像３０に基づいて、予測疾患画像６０を取得してもよい。
It is also possible to employ only some of the plurality of techniques exemplified in the above embodiments. For example, the ophthalmic
また、上記実施形態では、同一の被検者の組織を撮影した（つまり、同一の被検者の組織を近いタイミングで撮影した）複数種類の眼科画像３０に基づいて、予測疾患画像６０が取得される。しかし、疾患の状態が異なる複数の組織の各々を撮影した複数の眼科画像３０（例えば、同一の被検者の組織を異なるタイミングで撮影した複数の眼科画像３０、または、疾患の程度が異なる複数の被検者の組織の各々を撮影した複数の眼科画像３０等）に基づいて、予測疾患画像６０が取得されてもよい。 Further, in the above embodiment, the predicted disease image 60 is acquired based on a plurality of types of ophthalmic images 30 in which the tissues of the same subject are photographed (that is, the tissues of the same subject are photographed at close timings). Will be done. However, a plurality of ophthalmic images 30 obtained by photographing each of a plurality of tissues having different disease states (for example, a plurality of ophthalmic images 30 obtained by photographing the tissues of the same subject at different timings, or a plurality of images having different degrees of disease. The predicted disease image 60 may be acquired based on a plurality of ophthalmic images 30 and the like obtained by photographing each of the tissues of the subject.
例えば、図４に示す例では、診断を行う被検者自身の第１眼科画像３０Ｘ（図４に示す例では、正常眼または疾患の程度が低い眼の画像）が、病変部除去モデル７１に入力されることで、病変部除去画像４０Ｘが出力される。また、疾患の程度が悪化した他の被検者の第２眼科画像３０Ｙが、病変部識別モデル７２に入力されることで、病変部の位置および範囲を示すアテンションマップ８０Ｙと、疾患の種類の情報が出力される。病変部除去画像４０Ｘ、疾患の種類、および、予測される病変部の状態を示す情報（図４ではアテンションマップ８０Ｙ）が、予測疾患画像生成モデル７４に入力されることで、予測疾患画像６０Ｚが出力される。その結果、予測疾患画像６０Ｚは、第１眼科画像３０Ｘに対して、第２眼科画像３０Ｙにおける病変部と同等の程度の病変部が改変された画像となる。なお、予測疾患画像生成モデル７４には、病変部除去画像４０Ｘの代わりに第１眼科画像３０Ｘが直接入力されてもよい。
For example, in the example shown in FIG. 4, the first
図４に例示する眼科画像処理装置は、以下のように表現することも可能である。被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、疾患の程度が互いに異なる第１眼科画像および第２眼科画像を取得する画像取得ステップと、前記第１眼科画像および前記第２眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、前記第１眼科画像に対して、前記第２眼科画像における病変部と同等の程度の病変部が改変された予測疾患画像を取得する予測疾患画像取得ステップと、を実行する。 The ophthalmic image processing apparatus illustrated in FIG. 4 can also be expressed as follows. An ophthalmic image processing device that processes an ophthalmic image that is an image of the tissue of the eye to be inspected, and a control unit of the ophthalmic image processing device acquires an image of the first ophthalmology and an image of the second ophthalmology having different degrees of disease. By inputting the acquisition step and the first ophthalmic image and the second ophthalmological image into a mathematical model trained by a machine learning algorithm, the first ophthalmic image is combined with the lesion portion in the second ophthalmic image. A predictive disease image acquisition step of acquiring a predictive disease image in which a lesion of the same degree has been modified is performed.
なお、図３のＳ１で複数種類の眼科画像３０を取得する処理は、「画像取得ステップ」の一例である。図３のＳ４で予測疾患画像６０を取得する処理は、「予測疾患画像取得ステップ」の一例である。図３のＳ２で時間・程度情報を取得する処理は、「予測時情報取得ステップ」の一例である。図３のＳ５で予測疾患画像６０を表示装置２８に表示させる処理は、「表示ステップ」の一例である。図３のＳ３で状態情報を取得する処理は、「状態情報取得ステップ」の一例である。
The process of acquiring a plurality of types of ophthalmic images 30 in S1 of FIG. 3 is an example of the “image acquisition step”. The process of acquiring the predicted disease image 60 in S4 of FIG. 3 is an example of the “predicted disease image acquisition step”. The process of acquiring time / degree information in S2 of FIG. 3 is an example of the “prediction information acquisition step”. The process of displaying the predicted disease image 60 on the
１ 数学モデル構築装置
１１ 撮影装置
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
３０ 眼科画像
６０ 予測疾患画像
７１ 病変部除去モデル
７２ 病変部識別モデル
７３ 予測モデル
７４ 予測疾患画像生成モデル
1 Mathematical model construction device 11
24
Claims (8)
前記眼科画像処理装置の制御部は、
同一の被検眼の組織について撮影された複数種類の眼科画像を取得する画像取得ステップと、
前記複数種類の眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された前記複数種類の眼科画像の１つに対して、予測される将来の病変部が改変された画像である予測疾患画像を取得する予測疾患画像取得ステップと、
を実行することを特徴とする眼科画像処理装置。 An ophthalmic image processing device that processes an ophthalmic image, which is an image of the tissue of the eye to be inspected.
The control unit of the ophthalmic image processing device
An image acquisition step to acquire multiple types of ophthalmic images taken for the same tissue of the eye to be inspected,
By inputting the plurality of types of ophthalmic images into a mathematical model trained by a machine learning algorithm, the predicted future lesion site was modified for one of the input multiple types of ophthalmic images. Predictive disease image acquisition step to acquire a predictive disease image that is an image,
An ophthalmic image processing apparatus characterized by performing.
前記制御部は、
前記画像取得ステップにおいて取得された前記複数種類の眼科画像の撮影時から、前記被検眼の疾患の状態を予測する将来の予測時までの時間を示す時間情報、および、前記予測時における前記被検眼の疾患の程度を示す程度情報の少なくともいずれかを取得する予測時情報取得ステップをさらに実行し、
前記予測疾患画像取得ステップでは、前記予測時情報取得ステップにおいて取得された前記時間情報および前記程度情報の少なくともいずれかを、前記複数種類の眼科画像と共に前記数学モデルに入力することで、前記予測疾患画像を取得することを特徴とする眼科画像処理装置。 The ophthalmic image processing apparatus according to claim 1.
The control unit
Time information indicating the time from the time when the plurality of types of ophthalmic images acquired in the image acquisition step to the future prediction time for predicting the state of the disease of the eye to be inspected, and the eye to be inspected at the time of the prediction. Further perform the predictive information acquisition step to acquire at least one of the degree information indicating the degree of the disease.
In the predictive disease image acquisition step, at least one of the time information and the degree information acquired in the predictive information acquisition step is input to the mathematical model together with the plurality of types of ophthalmic images, thereby causing the predictive disease. An ophthalmic image processing device characterized by acquiring an image.
前記制御部は、
前記予測時情報取得ステップにおいて、互いに異なる複数の前記時間情報または複数の前記程度情報を取得し、
前記予測疾患画像取得ステップにおいて、前記複数の時間情報または前記複数の程度情報の各々を、前記複数種類の眼科画像と共に前記数学モデルに入力することで、時間または程度が異なる複数の前記予測疾患画像を取得し、
前記予測疾患画像取得ステップにおいて取得された前記複数の予測疾患画像を、時間または程度に沿って並べて、または切り替えて表示装置に表示させる表示ステップをさらに実行することを特徴とする眼科画像処理装置。 The ophthalmic image processing apparatus according to claim 2.
The control unit
In the prediction information acquisition step, a plurality of the time information or a plurality of the degree information different from each other are acquired.
In the predicted disease image acquisition step, by inputting each of the plurality of time information or the plurality of degree information into the mathematical model together with the plurality of types of ophthalmic images, a plurality of the predicted disease images having different times or degrees are input. To get and
An ophthalmic image processing apparatus comprising further performing a display step of arranging or switching the plurality of predicted disease images acquired in the predicted disease image acquisition step according to time or degree to be displayed on the display device.
前記制御部は、
前記画像取得ステップにおいて、種類が同一であり且つ異なる時間に撮影された複数の眼科画像をさらに取得し、
前記予測疾患画像取得ステップにおいて、撮影時間が異なる前記複数の眼科画像を前記数学モデルに入力することで、前記予測疾患画像を取得することを特徴とする眼科画像処理装置。 The ophthalmic image processing apparatus according to any one of claims 1 to 3.
The control unit
In the image acquisition step, a plurality of ophthalmic images of the same type and taken at different times are further acquired.
An ophthalmic image processing apparatus characterized in that, in the predicted disease image acquisition step, the predicted disease image is acquired by inputting the plurality of ophthalmic images having different imaging times into the mathematical model.
前記制御部は、
前記画像取得ステップにおいて取得される前記複数種類の眼科画像における疾患の状態に対して、将来の予測時における疾患の状態を悪化および治癒のいずれとするかを示す状態情報を取得する状態情報取得ステップをさらに実行し、
前記予測疾患画像取得ステップでは、前記複数種類の眼科画像と共に前記状態情報を前記数学モデルに入力することで、前記予測疾患画像を取得することを特徴とする眼科画像処理装置。 The ophthalmic image processing apparatus according to any one of claims 1 to 4.
The control unit
A state information acquisition step for acquiring state information indicating whether the disease state at the time of future prediction is worsened or cured with respect to the disease state in the plurality of types of ophthalmic images acquired in the image acquisition step. Further run,
The ophthalmic image processing apparatus, characterized in that, in the predictive disease image acquisition step, the predictive disease image is acquired by inputting the state information together with the plurality of types of ophthalmic images into the mathematical model.
前記眼科画像取得ステップにおいて取得される前記複数種類の眼科画像には、異なる種類の撮影装置によって撮影された複数種類の眼科画像が含まれることを特徴とする眼科画像処理装置。 The ophthalmic image processing apparatus according to any one of claims 1 to 5.
An ophthalmic image processing apparatus, characterized in that the plurality of types of ophthalmic images acquired in the ophthalmic image acquisition step include a plurality of types of ophthalmic images captured by different types of imaging devices.
前記画像取得ステップにおいて取得される前記複数種類の眼科画像には、前記被検眼の組織を撮影光軸に沿う方向から撮影した正面画像と、前記組織の断層画像とが含まれることを特徴とする眼科画像処理装置。 The ophthalmic image processing apparatus according to any one of claims 1 to 6.
The plurality of types of ophthalmic images acquired in the image acquisition step include a frontal image of the tissue of the eye to be inspected taken from a direction along the imaging optical axis, and a tomographic image of the tissue. Ophthalmic image processing device.
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
同一の被検眼の組織について撮影された複数種類の眼科画像を取得する画像取得ステップと、
前記複数種類の眼科画像を、機械学習アルゴリズムによって訓練された数学モデルに入力することで、入力された前記複数種類の眼科画像の１つに対して、予測される将来の病変部が改変された画像である予測疾患画像を取得する予測疾患画像取得ステップと、
を前記眼科画像処理装置に実行させることを特徴とする眼科画像処理プログラム。
An ophthalmic image processing program executed by an ophthalmic image processing device that processes an ophthalmic image that is an image of the tissue of the eye to be inspected.
When the ophthalmic image processing program is executed by the control unit of the ophthalmic image processing device,
An image acquisition step to acquire multiple types of ophthalmic images taken for the same tissue of the eye to be inspected,
By inputting the plurality of types of ophthalmic images into a mathematical model trained by a machine learning algorithm, the predicted future lesion site was modified for one of the input multiple types of ophthalmic images. Predictive disease image acquisition step to acquire a predictive disease image that is an image,
An ophthalmic image processing program, characterized in that the ophthalmic image processing apparatus is executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019201708A JP2021074095A (en) | 2019-11-06 | 2019-11-06 | Ophthalmologic image processing device and ophthalmologic image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019201708A JP2021074095A (en) | 2019-11-06 | 2019-11-06 | Ophthalmologic image processing device and ophthalmologic image processing program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021074095A true JP2021074095A (en) | 2021-05-20 |
Family
ID=75897395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019201708A Pending JP2021074095A (en) | 2019-11-06 | 2019-11-06 | Ophthalmologic image processing device and ophthalmologic image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021074095A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115376698A (en) * | 2022-10-25 | 2022-11-22 | 北京鹰瞳科技发展股份有限公司 | Apparatus, method, and storage medium for predicting progression of fundus disease |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006149654A (en) * | 2004-11-29 | 2006-06-15 | Hitachi Omron Terminal Solutions Corp | Support of diagnosis about lesion of eye fundus |
| US20190180441A1 (en) * | 2016-08-18 | 2019-06-13 | Google Llc | Processing fundus images using machine learning models |
-
2019
- 2019-11-06 JP JP2019201708A patent/JP2021074095A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006149654A (en) * | 2004-11-29 | 2006-06-15 | Hitachi Omron Terminal Solutions Corp | Support of diagnosis about lesion of eye fundus |
| US20190180441A1 (en) * | 2016-08-18 | 2019-06-13 | Google Llc | Processing fundus images using machine learning models |
| JP2019528113A (en) * | 2016-08-18 | 2019-10-10 | グーグル エルエルシー | Fundus image processing using machine learning models |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115376698A (en) * | 2022-10-25 | 2022-11-22 | 北京鹰瞳科技发展股份有限公司 | Apparatus, method, and storage medium for predicting progression of fundus disease |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11633096B2 (en) | Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions | |
| JP2018121886A (en) | Image processing device and image processing program | |
| JP7196908B2 (en) | Ophthalmic image processing device and ophthalmic image processing program | |
| WO2020026535A1 (en) | Ophthalmic image processing device, oct device, and ophthalmic image processing program | |
| JP2024045441A (en) | Ophthalmologic image processing device and ophthalmologic image processing program | |
| US20240020839A1 (en) | Medical image processing device, medical image processing program, and medical image processing method | |
| WO2021106967A1 (en) | Ocular fundus image processing device and ocular fundus image processing program | |
| CN114145761A (en) | Fluorine bone disease medical imaging detection system and use method thereof | |
| JP2019208851A (en) | Fundus image processing device and fundus image processing program | |
| WO2020116351A1 (en) | Diagnostic assistance device and diagnostic assistance program | |
| JP2021074095A (en) | Ophthalmologic image processing device and ophthalmologic image processing program | |
| WO2021020419A1 (en) | Medical image processing device and medical image processing program | |
| WO2020003524A1 (en) | Ophthalmic image processing device, oct device, ophthalmic image processing program, and method of building mathematical model | |
| JP2021037177A (en) | Ophthalmologic image processing program and ophthalmologic image processing device | |
| JP6866954B2 (en) | Ophthalmic image processing program and OCT device | |
| JP7328489B2 (en) | Ophthalmic image processing device and ophthalmic photographing device | |
| JP6747617B2 (en) | Ophthalmic image processing device and OCT device | |
| JP7521575B2 (en) | Ophthalmic image processing device, OCT device, and ophthalmic image processing program | |
| WO2020241794A1 (en) | Ophthalmic image processing device, ophthalmic image processing program, and ophthalmic image processing system | |
| JP7468163B2 (en) | Ophthalmic image processing program and ophthalmic image processing device | |
| JP7302184B2 (en) | Ophthalmic image processing device and ophthalmic image processing program | |
| WO2021045019A1 (en) | Ophthalmic image processing program and ophthalmic image processing device | |
| JP7180187B2 (en) | Ophthalmic image processing device, OCT device, and ophthalmic image processing program | |
| WO2021066039A1 (en) | Medical information processing program, and medical information processing device | |
| WO2023281965A1 (en) | Medical image processing device and medical image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240321 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240702 |