JP7468163B2 - Ophthalmic image processing program and ophthalmic image processing device - Google Patents
Ophthalmic image processing program and ophthalmic image processing device Download PDFInfo
- Publication number
- JP7468163B2 JP7468163B2 JP2020097238A JP2020097238A JP7468163B2 JP 7468163 B2 JP7468163 B2 JP 7468163B2 JP 2020097238 A JP2020097238 A JP 2020097238A JP 2020097238 A JP2020097238 A JP 2020097238A JP 7468163 B2 JP7468163 B2 JP 7468163B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- disease
- eye
- ophthalmic
- comparison
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 71
- 201000010099 disease Diseases 0.000 claims description 191
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 191
- 238000013178 mathematical model Methods 0.000 claims description 78
- 238000000034 method Methods 0.000 claims description 67
- 238000012360 testing method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 33
- 230000000052 comparative effect Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 description 49
- 238000010276 construction Methods 0.000 description 25
- 238000003384 imaging method Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000010412 Glaucoma Diseases 0.000 description 1
- 206010053240 Glycogen storage disease type VI Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012421 spiking Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
本開示は、被検眼の組織の画像である眼科画像を処理するための眼科画像処理プログラム、および眼科画像処理装置に関する。 The present disclosure relates to an ophthalmic image processing program and an ophthalmic image processing device for processing ophthalmic images, which are images of tissues of a subject's eye.
近年、眼科画像を処理して医療従事者（例えば、医師および補助者等）による患者の診療を補助するための種々の技術が提案されている。例えば、特許文献１に記載の画像処理装置は、被検眼の画像に基づいて、被検眼の診断結果を得る。画像処理装置は、被検眼が緑内障であると診断された場合に、被検眼と正常眼の比較画面を表示させる。
In recent years, various technologies have been proposed for processing ophthalmic images to assist medical professionals (e.g., doctors and assistants) in examining patients. For example, the image processing device described in
被検眼に疾患がある場合、疾患を含む被検眼の眼科画像と、疾患の程度が良好な（例えば、疾患が無い正常眼の）眼科画像（以下、「比較画像」という。）を比較しつつ、患者に対する説明を行うことができれば、有用な場合がある。しかし、患者の眼科画像とは全く近似していない比較画像が用いられても、患者による説明の理解の補助とはなり難い。また、大量の眼科画像の中から、患者の眼科画像に近似する比較画像を医療従事者が探し出すのは、大きな負担となる。 When the examinee's eye has a disease, it may be useful to be able to explain to the patient while comparing an ophthalmic image of the examinee's eye that includes the disease with an ophthalmic image of a patient with a good degree of disease (for example, a normal eye without any disease) (hereinafter referred to as a "comparison image"). However, if a comparison image that is completely different from the patient's ophthalmic image is used, it is difficult to help the patient understand the explanation. In addition, it is a large burden for medical professionals to search for a comparison image that is similar to the patient's ophthalmic image from a large number of ophthalmic images.
本開示の典型的な目的は、患者の診療に有用な眼科画像を適切に提示することが可能な眼科画像処理プログラムおよび眼科画像処理装置を提供することである。 A typical objective of the present disclosure is to provide an ophthalmic image processing program and an ophthalmic image processing device capable of appropriately presenting ophthalmic images that are useful for treating patients.
本開示における典型的な実施形態が提供する眼科画像処理プログラムは、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置によって実行される眼科画像処理プログラムであって、前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、を前記眼科画像処理装置に実行させ、前記比較画像取得ステップにおいて、同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行する。
An ophthalmic image processing program provided by an exemplary embodiment of the present disclosure is an ophthalmic image processing program executed by an ophthalmic image processing device that processes ophthalmic images that are images of tissues of a test eye, and the ophthalmic image processing program is executed by a control unit of the ophthalmic image processing device to cause the ophthalmic image processing device to execute a disease image acquisition step of acquiring a disease image that is an ophthalmic image of the test eye of a target patient including a disease, a comparison image acquisition step of acquiring a comparison image that is an image that approximates the disease image and has a better degree of disease than the disease in the disease image, based on at least one of patient information on the target patient and the ophthalmic image of the target patient, and a comparison display step of displaying the disease image and the comparison image simultaneously or alternately on a display unit , and in the comparison image acquisition step In the method, a contralateral eye image is obtained, which is an ophthalmological image of the left and right eyes of the same target patient, the eye opposite to the test eye from which the disease image was captured, and if the test eye from which the contralateral eye image was captured is a normal eye, the comparison image is obtained by flipping the acquired contralateral eye image left and right. If the test eye from which the contralateral eye image was captured is not a normal eye, an ophthalmological image of a subject whose age differs from the age indicated by the patient information by a threshold value or less is obtained as the comparison image from a database in which data of ophthalmological images of multiple normal test eyes is stored, or a predicted image is obtained as the comparison image, which is an image in which the condition of the diseased area has been modified to be better than the input disease image by inputting the disease image into a mathematical model trained by a machine learning algorithm .
本開示における典型的な実施形態が提供する眼科画像処理装置は、被検眼の組織の画像である眼科画像を処理する眼科画像処理装置であって、前記眼科画像処理装置の制御部は、疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、を実行し、前記比較画像取得ステップにおいて、同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行する。 An ophthalmic image processing device provided by an exemplary embodiment of the present disclosure is an ophthalmic image processing device that processes ophthalmic images that are images of tissues of a subject's eye, in which a control unit of the ophthalmic image processing device executes a disease image acquisition step of acquiring a disease image that is an ophthalmic image of the subject's eye including a disease, a comparison image acquisition step of acquiring a comparison image that is an image that is similar to the disease image and has a better degree of disease than the disease in the disease image based on at least one of patient information on the subject patient and the ophthalmic image of the subject patient, and a comparison display step of displaying the disease image and the comparison image simultaneously or by switching them on a display unit , and in the comparison image acquisition step, a comparison image is acquired based on the disease image of the left eye and the right eye of the same subject patient, and the comparison image is acquired based on the disease image of the left eye and the right eye of the same subject patient. The present invention executes a process of acquiring an opposite eye image, which is an ophthalmological image of the eye opposite to the test eye whose image was captured, and acquiring the comparison image by flipping the acquired opposite eye image left and right if the test eye whose opposite eye image was captured is a normal eye, and acquiring, as the comparison image, an ophthalmological image of a subject whose age differs from the age indicated by the patient information by a threshold value or less from a database in which data of ophthalmological images of multiple normal test eyes is stored, if the test eye whose opposite eye image was captured is not a normal eye, or acquiring, as the comparison image, a predicted image, which is an image in which the condition of the diseased area has been modified to be better than the input disease image, by inputting the disease image into a mathematical model trained by a machine learning algorithm .
本開示に係る眼科画像処理プログラムおよび眼科画像処理装置によると、患者の診療に有用な眼科画像が適切に提示される。 The ophthalmic image processing program and ophthalmic image processing device disclosed herein appropriately present ophthalmic images that are useful for treating patients.
＜概要＞
本開示で例示する眼科画像処理装置の制御部は、疾患画像取得ステップ、比較画像取得ステップ、および比較表示ステップを実行する。疾患画像取得ステップでは、制御部は、疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する。比較画像取得ステップでは、制御部は、対象患者に関する患者情報、および、対象患者の眼科画像の少なくともいずれかに基づいて、疾患画像に近似し且つ疾患の程度が疾患画像における疾患よりも良好な画像である比較画像を取得する。比較表示ステップでは、制御部は、疾患画像と比較画像を同時に、または切り換えて表示部に表示させる。
＜Overview＞
The control unit of the ophthalmic image processing device exemplified in the present disclosure executes a disease image acquisition step, a comparison image acquisition step, and a comparison display step. In the disease image acquisition step, the control unit acquires a disease image, which is an ophthalmic image of a subject eye of a target patient having a disease. In the comparison image acquisition step, the control unit acquires a comparison image, which is an image that is similar to the disease image and in which the degree of disease is better than the disease in the disease image, based on at least one of patient information on the target patient and the ophthalmic image of the target patient. In the comparison display step, the control unit displays the disease image and the comparison image on the display unit simultaneously or by switching between them.
本開示で例示する眼科画像処理装置によると、患者情報、および対象患者の眼科画像の少なくともいずれかに基づいて、疾患画像に近似する適切な比較画像が自動的に取得され、表示部に表示される。従って、医療従事者による患者の診療が、比較画像によって適切に補助される。 According to the ophthalmologic image processing device exemplified in the present disclosure, an appropriate comparison image that is similar to the disease image is automatically obtained based on at least one of the patient information and the ophthalmologic image of the target patient, and is displayed on the display unit. Therefore, the comparison image appropriately assists medical personnel in examining the patient.
各種ステップを実行するデバイス（つまり、眼科画像処理装置として機能するデバイス）は、適宜選択できる。例えば、パーソナルコンピュータ（以下、「ＰＣ」という）、の制御部が、全てのステップを実行してもよい。この場合、ＰＣの制御部は、眼科画像撮影装置から眼科画像のデータ（以下、単に「眼科画像」という場合もある。）を取得し、取得した眼科画像に基づいて種々の処理を行ってもよい。また、タブレット端末、スマートフォン、サーバ、および眼科画像撮影装置等の少なくともいずれかの制御部が、全てのステップを実行してもよい。また、複数のデバイスの制御部が協働して、各ステップを実行してもよい。 The device that executes the various steps (i.e., the device that functions as an ophthalmic image processing device) can be selected as appropriate. For example, a control unit of a personal computer (hereinafter referred to as "PC") may execute all the steps. In this case, the control unit of the PC may acquire ophthalmic image data (hereinafter sometimes simply referred to as "ophthalmic image") from the ophthalmic image capturing device, and perform various processes based on the acquired ophthalmic image. In addition, at least one control unit of a tablet terminal, a smartphone, a server, an ophthalmic image capturing device, etc. may execute all the steps. In addition, the control units of multiple devices may work together to execute each step.
制御部は、比較画像取得ステップにおいて、対象患者の左眼および右眼のうち、疾患画像が撮影された被検眼とは反対側の眼が撮影された反対眼画像を取得してもよい。制御部は、取得した反対眼画像を左右反転させることで、比較画像を取得してもよい。同一の患者の左眼および右眼の各々の眼科画像は、近似し易い。従って、対象患者の両眼のうち、疾患がある眼とは反対側の眼の画像が左右反転されることで、患者等は、疾患がある一方の眼の画像と、疾患の程度が良好な他方の眼の画像を、方向が合致した状態で適切に比較することができる。 In the comparison image acquisition step, the control unit may acquire an opposite eye image of the left and right eyes of the target patient, the eye opposite the test eye from which the diseased image was captured. The control unit may acquire the comparison image by left-right inverting the acquired opposite eye image. Ophthalmic images of the left and right eyes of the same patient tend to be similar. Therefore, by left-right inverting the image of the eye opposite the diseased eye of the target patient, the patient can appropriately compare the image of the diseased eye with the image of the other eye in which the disease is better, with the images aligned in the same direction.
なお、対象患者の左眼および右眼の両方に疾患がある場合には、反対眼画像は比較画像として望ましくない。従って、制御部は、対象患者の左眼および右眼の両方に疾患がある場合には、反対眼画像の左右を反転させて比較画像として取得する処理を禁止してもよい。この場合、不要な処理が適切に省略される。 Note that if the target patient has a disease in both the left and right eyes, the opposite eye image is not desirable as a comparison image. Therefore, if the target patient has a disease in both the left and right eyes, the control unit may prohibit the process of inverting the opposite eye image and acquiring it as a comparison image. In this case, unnecessary processing is appropriately omitted.
制御部は、比較画像取得ステップにおいて、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像、または、患者情報が示す年齢との差が閾値以下の年齢であり、且つ患者情報が示す性別と同じ性別の被検者の眼科画像を、比較画像として取得してもよい。年齢が近い被検者の眼科画像、および、性別が同じ被検者の眼科画像は近似し易い。従って、取得された比較画像が表示されることで、診療が適切に補助される。 In the comparison image acquisition step, the control unit may acquire, from a database storing data on ophthalmic images of multiple normal examinee eyes, an ophthalmic image of a subject whose age differs from the age indicated by the patient information by a threshold or less, or an ophthalmic image of a subject whose age differs from the age indicated by the patient information by a threshold or less and has the same gender as the gender indicated by the patient information, as a comparison image. Ophthalmic images of subjects of similar ages and subjects of the same gender tend to be similar. Therefore, by displaying the acquired comparison image, medical treatment can be appropriately assisted.
なお、制御部は、年齢および性別に基づいて取得された眼科画像と、対象患者の疾患画像の間で、撮影対象とされた眼の左右が異なる場合には、年齢および性別に基づいて取得された眼科画像を左右反転させた画像を、比較画像として取得してもよい。この場合、患者等は、疾患画像と比較画像を、方向が合致した状態で適切に比較することができる。 When the ophthalmological image acquired based on age and gender and the disease image of the target patient are photographed with different eyes, the control unit may acquire an image obtained by flipping the ophthalmological image acquired based on age and gender from left to right as a comparison image. In this case, the patient can appropriately compare the disease image and the comparison image with the orientation matching.
また、制御部は、年齢および性別の少なくともいずれかに基づいて、複数の眼科画像を、比較画像の候補としてデータベースから抽出してもよい。制御部は、抽出した複数の眼科画像の候補の中から、適切な比較画像を取得してもよい。具体的には、制御部は、抽出した複数の眼科画像の中で、疾患の程度が良好な眼科画像を、比較画像として取得してもよい。疾患の程度は、予め眼科画像毎に付与されていてもよいし、機械学習アルゴリズム等によって付与されてもよい。また、制御部は、抽出した複数の眼科画像の中で、画質が良好な眼科画像を、比較画像として取得してもよい。 The control unit may also extract multiple ophthalmic images as candidates for comparison images from the database based on at least one of age and gender. The control unit may acquire an appropriate comparison image from the multiple extracted candidate ophthalmic images. Specifically, the control unit may acquire an ophthalmic image with a good degree of disease as the comparison image from among the multiple extracted ophthalmic images. The degree of disease may be assigned to each ophthalmic image in advance, or may be assigned by a machine learning algorithm or the like. The control unit may also acquire an ophthalmic image with good image quality as the comparison image from among the multiple extracted ophthalmic images.
なお、制御部は、比較画像を取得した被検眼（比較画像の撮影対象の被検眼）について、比較画像以外のデータ（例えば、比較画像とは異なる撮影方法で撮影された被検眼の画像、および、被検眼に対して実行された視野検査の結果を示すデータ等）がデータベースに含まれている場合には、含まれているデータの少なくともいずれかを、比較画像と共に、または切り換えて表示部に表示させてもよい。この場合、対象患者の疾患の状態が、複数の情報によってより適切に把握される。 Note that, if the database contains data other than the comparison image (e.g., an image of the test eye captured using a different method than the comparison image, and data showing the results of a visual field test performed on the test eye) for the test eye from which the comparison image was obtained (the test eye for which the comparison image was captured), the control unit may display at least one of the included data on the display unit together with the comparison image or in place of the comparison image. In this case, the disease state of the target patient can be more appropriately understood based on multiple pieces of information.
制御部は、比較画像取得ステップにおいて、機械学習アルゴリズムによって訓練された数学モデルに疾患画像を入力することで、入力された疾患画像に対して、疾患部の状態が良好な状態に改変された画像である予測画像を、比較画像として取得してもよい。この場合、疾患画像と比較される比較画像が、疾患画像に基づいて作成される。つまり、医師が説明を行う対象患者とは別の被検者の画像でなく、説明を行う対象患者本人の疾患画像が適切に改変された予測画像が、比較画像として対象患者に提示される。よって、疾患画像と比較画像がより適切に比較される。 In the comparison image acquisition step, the control unit may input the disease image into a mathematical model trained by a machine learning algorithm, and acquire as the comparison image a predicted image in which the diseased area has been modified to have a better condition than the input disease image. In this case, the comparison image to be compared with the disease image is created based on the disease image. In other words, a predicted image in which the disease image of the subject to whom the doctor will give an explanation has been appropriately modified is presented to the subject as the comparison image, rather than an image of a subject other than the subject to whom the doctor will give an explanation. Thus, the disease image and the comparison image can be compared more appropriately.
制御部は、数学モデルを利用することで、実際に撮影された対象患者の疾患画像に基づいて予測画像を取得することができる。つまり、制御部は、実際に撮影された疾患画像における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれかに基づいて、予測画像を取得する。従って、対象患者自身の眼科画像に基づくことなく予測画像が取得される場合（例えば、通常の画像描写ソフトによって予測画像が生成される場合等）に比べて、疾患画像と比較画像がより比較され易い。 By utilizing the mathematical model, the control unit can obtain a predicted image based on an actual disease image of the target patient. In other words, the control unit obtains a predicted image based on at least one of the pixel values, tissue structure, brightness, contrast, etc. in the actually captured disease image. Therefore, it is easier to compare the disease image with the comparison image than when a predicted image is obtained without being based on the ophthalmic image of the target patient himself (for example, when a predicted image is generated by ordinary image rendering software, etc.).
対象患者の左眼および右眼のうち、疾患画像が取得された被検眼とは反対側の眼の疾患の程度が良好である場合には、制御部は、疾患画像と共に、同一の対象患者の反対側の眼の眼科画像に関するデータ（例えば、画像のデータ、または、画像の色に関するデータ等）を数学モデルに入力してもよい。同一の患者の左眼および右眼の眼科画像であっても、疾患がある眼の画像と、疾患が無い眼の画像の間で組織の色等が異なる場合がある。従って、疾患の程度が良好な眼の画像のデータが共に用いられることで、より良好な比較画像が取得される。 When the degree of disease in the left or right eye of the target patient opposite the test eye from which the disease image was obtained is good, the control unit may input data on the ophthalmic image of the opposite eye of the same target patient (e.g., image data or data on the color of the image, etc.) together with the disease image into the mathematical model. Even in the ophthalmic images of the left and right eyes of the same patient, there may be differences in tissue color, etc. between the image of the diseased eye and the image of the non-diseased eye. Therefore, by using the data on the image of the eye with a good degree of disease, a better comparison image can be obtained.
数学モデルは、複数の訓練用データセットによって訓練されていてもよい。訓練用データセットは、入力用訓練データおよび出力用訓練データ（例えば正解データ）を含んでいてもよい。入力用訓練データは、疾患を含む被検眼の眼科画像を含んでいてもよい。出力用訓練データは、入力用訓練データと同一の撮影対象について、入力用訓練データの撮影時よりも疾患部の状態が良好である際（例えば、疾患が悪化する前、または、悪化した疾患が治癒した後等）に撮影された眼科画像を含んでいてもよい。この場合、実際に撮影された眼科画像に基づいて、予測画像を出力するための数学モデルが適切に訓練される。 The mathematical model may be trained with a plurality of training data sets. The training data sets may include input training data and output training data (e.g., ground truth data). The input training data may include ophthalmic images of a subject's eye including a disease. The output training data may include ophthalmic images of the same subject as the input training data, taken when the condition of the diseased area is better than when the input training data was taken (e.g., before the disease worsens, or after the worsened disease is cured, etc.). In this case, the mathematical model for outputting a predicted image is appropriately trained based on the actually taken ophthalmic images.
制御部は、比較画像取得ステップにおいて、予測画像における疾患部の状態の程度示す程度情報を、疾患画像と共に数学モデルに入力することで、予測画像を取得してもよい。この場合、程度情報が示す程度に疾患部の状態が変化した予測画像が、実際に撮影された疾患画像に基づいて取得される。従って、疾患の状態がより適切に予測された予測画像が取得される。なお、程度情報は、ユーザ（例えば医療従事者等）によって指定されてもよい。また、１つまたは複数の程度情報が、予め定められていてもよい。 In the comparative image acquisition step, the control unit may acquire a predicted image by inputting degree information indicating the degree of the state of the diseased area in the predicted image into the mathematical model together with the disease image. In this case, a predicted image in which the state of the diseased area has changed to the degree indicated by the degree information is acquired based on the actually captured disease image. Thus, a predicted image in which the state of the disease is more appropriately predicted is acquired. Note that the degree information may be specified by a user (e.g., a medical professional, etc.). Also, one or more pieces of degree information may be predetermined.
制御部は、比較画像取得ステップにおいて、互いに異なる複数の程度情報の各々を、疾患画像と共に数学モデルに入力することで、疾患部の状態の程度が異なる複数の予測画像を取得してもよい。制御部は、比較表示ステップにおいて、複数の予測画像を、疾患部の状態の程度に沿って並べて、または切り換えて表示部に表示させてもよい。この場合、対象患者は、疾患の程度が互いに異なる複数の予測画像を確認することができるので、自らの疾患の推移を適切に把握し易い。 In the comparative image acquisition step, the control unit may acquire multiple predicted images with different degrees of diseased area condition by inputting each of the multiple different degree information together with the disease image into a mathematical model. In the comparative display step, the control unit may display the multiple predicted images on the display unit in an order according to the degree of diseased area condition or by switching between them. In this case, the subject patient can check multiple predicted images with different degrees of disease, making it easier for him or her to properly grasp the progression of his or her own disease.
制御部は、指示受付ステップおよび表示変更ステップをさらに実行してもよい。指示受付ステップでは、制御部は、表示部に表示させている画像の倍率を変更する指示、および、画像領域全体のうち表示部に表示させる領域を移動させる指示の少なくともいずれかの入力を受け付ける。表示変更ステップでは、制御部は、入力された指示に応じた、画像の倍率変更および領域移動処理の少なくともいずれかを、疾患画像と比較画像の両方に対して実行する。この場合、疾患画像と比較画像の倍率または表示領域が、連動して変更される。よって、ユーザは、疾患画像と比較画像をより適切に比較することができる。 The control unit may further execute an instruction receiving step and a display changing step. In the instruction receiving step, the control unit receives input of at least one of an instruction to change the magnification of the image displayed on the display unit and an instruction to move the area of the entire image area to be displayed on the display unit. In the display changing step, the control unit executes at least one of an image magnification change and area movement process for both the disease image and the comparison image in accordance with the input instruction. In this case, the magnification or display area of the disease image and the comparison image are changed in conjunction with each other. Thus, the user can more appropriately compare the disease image and the comparison image.
なお、制御部は、表示部における疾患画像のみの表示と、疾患画像および比較画像の両方の表示とを、ユーザによって入力される指示に応じて切り換えてもよい。この場合、ユーザは、状況に応じて適切な画像を表示部に表示させることができる。 The control unit may switch between displaying only the disease image on the display unit and displaying both the disease image and the comparison image in response to an instruction input by the user. In this case, the user can cause the display unit to display an appropriate image depending on the situation.
＜実施形態＞
（装置構成）
以下、本開示における典型的な実施形態の１つについて、図面を参照して説明する。図１に示すように、本実施形態では、数学モデル構築装置１、眼科画像処理装置２１、および撮影装置１１Ａ，１１Ｂが用いられる。数学モデル構築装置１は、機械学習アルゴリズムによって数学モデルを訓練させることで、数学モデルを構築する。構築された数学モデルは、入力された情報に基づいて、訓練内容に応じた情報を出力する（数学モデルの詳細については、図２を参照して後述する）。眼科画像処理装置２１は、疾患画像３０Ａ（図２および図４参照）と比較するための比較画像３０Ｂ（図４参照）を取得し、表示装置２８に表示させる。疾患画像３０Ａとは、疾患を含む対象患者の被検眼の眼科画像３０である。比較画像３０Ｂとは、疾患画像３０Ａに近似し、且つ、疾患の程度が疾患画像３０Ａにおける疾患よりも良好な眼科画像３０である。ユーザは、疾患画像３０Ａを適切な比較画像３０Ｂと比較することができる。その結果、診療が適切に補助される。なお、本実施形態の眼科画像処理装置２１は、複数の方法で適切な比較画像３０Ｂを取得することができる。本実施形態では、対象患者の正常眼（疾患の程度が良好な方の眼）の眼科画像を利用して比較画像３０Ｂを取得する方法、データベース２９から比較画像３０Ｂを取得する方法、および、数学モデルを利用して比較画像３０Ｂを取得する方法が適宜実行される。撮影装置１１Ａ，１１Ｂは、被検眼の組織の画像である眼科画像３０（図２参照）を撮影する。
<Embodiment>
(Device configuration)
Hereinafter, one of the typical embodiments of the present disclosure will be described with reference to the drawings. As shown in FIG. 1, in this embodiment, a mathematical
なお、本実施形態では、眼科画像３０として、被検眼の眼底組織を撮影した画像が用いられる場合を例示する。しかし、眼科画像３０が、眼底以外の被検眼の組織の画像である場合でも、本開示で例示する技術の少なくとも一部を適用できる。また、被検眼以外の生体組織の医療画像（例えば内臓の画像等）が用いられてもよい。 In this embodiment, an example is shown in which an image of the fundus tissue of the test eye is used as the ophthalmic image 30. However, even if the ophthalmic image 30 is an image of tissue of the test eye other than the fundus, at least a part of the technology exemplified in this disclosure can be applied. In addition, a medical image of biological tissue other than the test eye (e.g., an image of an internal organ, etc.) may be used.
一例として、本実施形態の数学モデル構築装置１にはパーソナルコンピュータ（以下、「ＰＣ」という）が用いられる。詳細は後述するが、数学モデル構築装置１は、撮影装置１１Ａから取得した眼科画像３０を利用して数学モデルを訓練させることで、数学モデルを構築する。しかし、数学モデル構築装置１として機能できるデバイスは、ＰＣに限定されない。例えば、撮影装置１１Ａが数学モデル構築装置１として機能してもよい。また、複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、撮影装置１１ＡのＣＰＵ１３Ａ）が、協働して数学モデルを構築してもよい。
As an example, a personal computer (hereinafter referred to as "PC") is used as the mathematical
また、本実施形態の眼科画像処理装置２１にはＰＣが用いられる。しかし、眼科画像処理装置２１として機能できるデバイスも、ＰＣに限定されない。例えば、撮影装置１１Ｂまたはサーバ等が、眼科画像処理装置２１として機能してもよい。また、タブレット端末またはスマートフォン等の携帯端末が、眼科画像処理装置２１として機能してもよい。複数のデバイスの制御部（例えば、ＰＣのＣＰＵと、撮影装置１１ＢのＣＰＵ１３Ｂ）が、協働して各種処理を行ってもよい。
In addition, a PC is used as the ophthalmic
また、本実施形態では、各種処理を行うコントローラの一例としてＣＰＵが用いられる場合について例示する。しかし、各種デバイスの少なくとも一部に、ＣＰＵ以外のコントローラが用いられてもよいことは言うまでもない。例えば、コントローラとしてＧＰＵを採用することで、処理の高速化を図ってもよい。 In addition, in this embodiment, a CPU is used as an example of a controller that performs various processes. However, it goes without saying that controllers other than a CPU may be used for at least some of the various devices. For example, a GPU may be used as a controller to speed up processing.
数学モデル構築装置１について説明する。数学モデル構築装置１は、例えば、眼科画像処理装置２１または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。数学モデル構築装置１は、各種制御処理を行う制御ユニット２と、通信Ｉ／Ｆ５を備える。制御ユニット２は、制御を司るコントローラであるＣＰＵ３と、プログラムおよびデータ等を記憶することが可能な記憶装置４を備える。記憶装置４には、数学モデルを構築するための数学モデル構築プログラムが記憶されている。また、通信Ｉ／Ｆ５は、数学モデル構築装置１を他のデバイス（例えば、撮影装置１１Ａおよび眼科画像処理装置２１等）と接続する。
The mathematical
数学モデル構築装置１は、操作部７および表示装置８に接続されている。操作部７は、ユーザが各種指示を数学モデル構築装置１に入力するために、ユーザによって操作される。操作部７には、例えば、キーボード、マウス、タッチパネル等の少なくともいずれかを使用できる。なお、操作部７と共に、または操作部７に代えて、各種指示を入力するためのマイク等が使用されてもよい。表示装置８は、各種画像を表示する。表示装置８には、画像を表示可能な種々のデバイス（例えば、モニタ、ディスプレイ、プロジェクタ等の少なくともいずれか）を使用できる。なお、本開示における「画像」には、静止画像も動画像も共に含まれる。
The mathematical
数学モデル構築装置１は、撮影装置１１Ａから眼科画像３０の情報（以下、単に「眼科画像」という場合もある）を取得することができる。数学モデル構築装置１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、撮影装置１１Ａから眼科画像３０の情報を取得してもよい。
The mathematical
眼科画像処理装置２１について説明する。眼科画像処理装置２１は、例えば、被検者の診療、診察、診断、または検査等を行う施設（例えば、病院または健康診断施設等）に配置される。眼科画像処理装置２１は、各種制御処理を行う制御ユニット２２と、通信Ｉ／Ｆ２５を備える。制御ユニット２２は、制御を司るコントローラであるＣＰＵ２３と、プログラムおよびデータ等を記憶することが可能な記憶装置２４を備える。記憶装置２４には、後述する眼科画像処理（図３参照）を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、数学モデル構築装置１によって構築された数学モデルを実現させるプログラムが含まれる。通信Ｉ／Ｆ２５は、眼科画像処理装置２１を他のデバイス（例えば、撮影装置１１Ｂ、数学モデル構築装置１、およびデータベース２９等）と接続する。
The ophthalmic
データベース２９には、複数の被検眼のデータが記憶されている。特に、本実施形態のデータベース２９には、複数の正常な被検眼の眼科画像３０のデータが記憶されている。また、本実施形態のデータベース２９には、眼科画像３０とは異なる撮影方法で撮影された被検眼の画像、および、被検眼に対して実行された視野検査の結果を示すデータの少なくともいずれかが、被検眼に対応付けて記憶されている場合もある。なお、データベース２９は、例えば、クラウドサービスを提供するメーカーのサーバ（所謂クラウドサーバ）であってもよいし、クラウドサーバ以外のサーバ（例えば、医療機関に設置されたサーバ、または、眼科画像処理プログラムを提供するメーカーのサーバ等）であってもよい。また、サーバ以外のデバイス（例えば、眼科画像処理装置２１の記憶装置２４等）が、データベースとして機能してもよい。
Data of a plurality of test eyes is stored in the
眼科画像処理装置２１は、操作部２７および表示装置２８に接続されている。操作部２７および表示装置２８には、前述した操作部７および表示装置８と同様に、種々のデバイスを使用することができる。
The ophthalmologic
眼科画像処理装置２１は、撮影装置１１Ｂから眼科画像３０を取得することができる。眼科画像処理装置２１は、例えば、有線通信、無線通信、着脱可能な記憶媒体（例えばＵＳＢメモリ）等の少なくともいずれかによって、撮影装置１１Ｂから眼科画像３０を取得してもよい。また、眼科画像処理装置２１は、数学モデル構築装置１によって構築された数学モデルを実現させるプログラム等を、通信等を介して取得してもよい。
The ophthalmological
撮影装置１１Ａ，１１Ｂについて説明する。一例として、本実施形態では、数学モデル構築装置１に眼科画像３０を提供する撮影装置１１Ａと、眼科画像処理装置２１に眼科画像３０を提供する撮影装置１１Ｂが使用される場合について説明する。しかし、使用される撮影装置の数は２つに限定されない。例えば、数学モデル構築装置１および眼科画像処理装置２１は、複数の撮影装置１１から眼科画像３０を取得してもよい。また、数学モデル構築装置１および眼科画像処理装置２１は、共通する１つの撮影装置から眼科画像３０を取得してもよい。なお、本実施形態で例示する２つの撮影装置１１Ａ，１１Ｂは、同一の構成を備える。従って、以下では、２つの撮影装置１１Ａ，１１Ｂについて纏めて説明を行う。
The photographing
撮影装置１１（１１Ａ，１１Ｂ）は、各種制御処理を行う制御ユニット１２（１２Ａ，１２Ｂ）と、眼科画像撮影部１６（１６Ａ，１６Ｂ）を備える。制御ユニット１２は、制御を司るコントローラであるＣＰＵ１３（１３Ａ，１３Ｂ）と、プログラムおよびデータ等を記憶することが可能な記憶装置１４（１４Ａ，１４Ｂ）を備える。 The photographing device 11 (11A, 11B) includes a control unit 12 (12A, 12B) that performs various control processes, and an ophthalmologic image photographing unit 16 (16A, 16B). The control unit 12 includes a CPU 13 (13A, 13B) that is a controller that handles control, and a storage device 14 (14A, 14B) that can store programs, data, etc.
一例として、本実施形態の眼科画像撮影部１６は、被検眼の眼底の正面画像を撮影する眼底カメラの構成（照明光源、照明光学系、受光光学系、撮影素子等）を備える。しかし、眼科画像撮影部１６は、眼底カメラの構成と共に、または眼底カメラの構成に代えて、眼底カメラの撮影方式とは異なる方式で眼底画像を撮影するための構成（例えば、被検眼の断層画像等を撮影するＯＣＴ装置の構成、または、走査型レーザ検眼鏡（ＳＬＯ）の構成等）を備えていてもよい。 As an example, the ophthalmologic image capturing unit 16 of this embodiment includes a fundus camera configuration (illumination light source, illumination optical system, light receiving optical system, imaging element, etc.) that captures a front image of the fundus of the subject's eye. However, the ophthalmologic image capturing unit 16 may include a configuration for capturing a fundus image using a method different from the fundus camera imaging method (for example, a configuration of an OCT device that captures a tomographic image of the subject's eye, or a scanning laser ophthalmoscope (SLO) configuration, etc.) in addition to or instead of the fundus camera configuration.
（数学モデルのモデル構造）
図２を参照して、眼科画像処理装置２１が予測画像６０を取得するための、本実施形態の数学モデルのモデル構造について説明する。本実施形態の眼科画像処理装置２１は、機械学習アルゴリズムによって訓練された数学モデルに、眼科画像３０の一種である疾患画像３０Ａを入力することで、数学モデルが出力する予測画像６０を比較画像３０Ｂ（図４参照）として取得することができる。予測画像６０とは、疾患画像３０Ａに対して、疾患部３１の状態が良好な状態に改変された画像である。本実施形態では、予測画像６０を取得するための数学モデルとして、疾患部除去モデル７１、疾患部識別モデル７２、予測モデル７３、および予測画像生成モデル７４が用いられる。
(Model structure of the mathematical model)
With reference to Fig. 2, the model structure of the mathematical model of this embodiment for the ophthalmic
疾患部除去モデル７１は、疾患画像３０Ａを入力することで、疾患画像３０Ａから疾患部３１の情報が除去された疾患部除去画像４０を出力する。疾患部除去画像４０には、疾患部３１の情報を含まず、且つ組織の構造の情報を含む各種画像を採用できる。本実施形態では、組織の構造の１つである血管の画像（眼底血管画像）が、疾患部除去画像４０として使用される。つまり、本実施形態の疾患部除去モデル７１は、血管抽出モデルとも表現できる。 The diseased area removal model 71 inputs the diseased area image 30A and outputs a diseased area removed image 40 in which information about the diseased area 31 has been removed from the diseased area image 30A. Various images that do not include information about the diseased area 31 and include information about the structure of tissue can be used for the diseased area removed image 40. In this embodiment, an image of blood vessels (fundus blood vessel image), which is one of the tissue structures, is used as the diseased area removed image 40. In other words, the diseased area removed model 71 of this embodiment can also be expressed as a blood vessel extraction model.
疾患部識別モデル７２は、疾患画像３０Ａを入力することで、疾患画像３０Ａに疾患部３１が存在する場合の疾患部３１の検出結果（疾患部情報）を出力する。本実施形態では、疾患部識別モデル７２によって出力される疾患部情報には、疾患部３１の位置の情報、疾患部３１の範囲の情報、および疾患部３１の種類（疾患の種類）の情報が含まれる。 The disease locus identification model 72 receives the disease image 30A and outputs the detection result (disease locus information) of the disease locus 31 when the disease locus 31 is present in the disease image 30A. In this embodiment, the disease locus information output by the disease locus identification model 72 includes information on the position of the disease locus 31, information on the range of the disease locus 31, and information on the type of disease locus 31 (type of disease).
一例として、本実施形態の疾患部識別モデル７２は、疾患画像３０Ａに含まれる疾患部３１の種類の検出結果を得る際のアテンションマップ８０を出力する。疾患部３１の位置および範囲の情報は、アテンションマップ８０から取得される。アテンションマップ８０は、疾患部識別モデル７２が疾患部３１の種類の検出結果を得る際に影響した各位置に対する影響度（注目度）の、画像領域内における分布を示す。影響度が高い領域は、影響度が低い領域に比べて、疾患部３１の種類の検出結果に強く影響する。アテンションマップ８０の一例は、例えば以下の論文等に記載されている。「Ｒａｍｐｒａｓａａｔｈ Ｒ． Ｓｅｌｖａｒａｊｕ， ｅｔ ａｌ． “Ｇｒａｄ－ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２０１７－Ｏｃｔ， ｐｐ． ６１８－６２６」 As an example, the disease locus identification model 72 of this embodiment outputs an attention map 80 when obtaining a detection result of the type of disease locus 31 contained in the disease image 30A. Information on the position and range of the disease locus 31 is obtained from the attention map 80. The attention map 80 indicates the distribution within the image area of the influence (attention) of each position that the disease locus identification model 72 influenced when obtaining the detection result of the type of disease locus 31. Areas with a high influence have a stronger influence on the detection result of the type of disease locus 31 than areas with a low influence. An example of the attention map 80 is described in, for example, the following paper. Ramprasaath R. Selvaraju, et al. "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization" Proceedings of the IEEE International Conference on Computer Vision, 2017-Oct, pp. 618-626
ただし、疾患部３１の位置および範囲の情報を取得する方法を変更することも可能である。例えば、疾患画像３０Ａに対して公知の画像処理が実行されて、疾患部３１の領域がセグメンテーションされることで、疾患部３１の位置および範囲の情報が取得されてもよい。 However, it is also possible to change the method of acquiring information on the position and extent of the diseased area 31. For example, known image processing may be performed on the disease image 30A to segment the area of the diseased area 31, thereby acquiring information on the position and extent of the diseased area 31.
予測モデル７３は、将来の疾患部の状態（本実施形態では、疾患部の位置および範囲）を予測する。一例として、本実施形態の予測モデル７３は、疾患部識別モデル７２によって出力された疾患部３１の位置および範囲の情報（本実施形態ではアテンションマップ８０）と、将来の疾患部３１の状態の程度を示す程度情報を入力することで、予測される将来の疾患部３１の位置および範囲を二次元的に示す予測疾患部状態画像８１を出力する。程度情報は、例えば、入力された疾患画像３０Ａにおける疾患の程度を「１００」とし、疾患が全く無い場合（疾患の発生前、または疾患の完治後）の疾患の程度を「０」として、「０」から「９９」の間の数字によって入力されてもよい。この場合、程度情報として「０」が入力されると、予測疾患部状態画像８１における疾患の範囲は無くなる。また、疾患が治癒する程度を複数段階（例えば、「小」「中」「大」「完治」等）で示す情報が、程度情報として使用されてもよい。予測モデル７３に入力される程度情報は、ユーザ（例えば医療従事者等）によって指定されてもよい。また、１つまたは複数の程度情報が、予め定められていてもよい。 The prediction model 73 predicts the future state of the diseased part (in this embodiment, the position and range of the diseased part). As an example, the prediction model 73 of this embodiment inputs the information on the position and range of the diseased part 31 output by the diseased part identification model 72 (in this embodiment, the attention map 80) and the degree information indicating the degree of the future state of the diseased part 31, and outputs a predicted diseased part state image 81 that two-dimensionally indicates the predicted future position and range of the diseased part 31. The degree information may be input as a number between "0" and "99", for example, with the degree of the disease in the input disease image 30A being "100" and the degree of the disease when there is no disease at all (before the onset of the disease or after the disease is completely cured) being "0". In this case, when "0" is input as the degree information, the disease range in the predicted diseased part state image 81 disappears. In addition, information indicating the degree of the disease cured in multiple stages (for example, "small", "medium", "large", "completely cured", etc.) may be used as the degree information. The degree information input to the prediction model 73 may be specified by a user (for example, a medical professional, etc.). Additionally, one or more pieces of degree information may be determined in advance.
また、本実施形態の予測モデル７３には、互いに異なる複数程度情報を入力することも可能である。この場合、予測モデル７３は、疾患部３１の状態の程度が互いに異なる複数の予測疾患部状態画像８１を出力することができる。その結果、疾患の程度が異なる複数の予測画像６０が、最終的に出力される。 In addition, it is also possible to input multiple different degrees of information to the prediction model 73 of this embodiment. In this case, the prediction model 73 can output multiple predicted disease locus state images 81 in which the degree of the state of the disease locus 31 differs from each other. As a result, multiple predicted images 60 in which the degree of the disease differs are finally output.
予測画像生成モデル７４は、疾患部除去画像４０、疾患の種類（疾患部３１の種類）、および、予測される疾患部の状態を示す情報（本実施形態では予測疾患部状態画像８１）を入力することで、予測画像６０を出力する。 The predicted image generation model 74 inputs the diseased area removal image 40, the type of disease (type of diseased area 31), and information indicating the predicted state of the diseased area (in this embodiment, a predicted diseased area state image 81), and outputs a predicted image 60.
本実施形態では、実際に撮影された眼科画像３０（詳細には疾患画像３０Ａ）における画素値、組織の構造、明るさ、コントラスト等の少なくともいずれか（本実施形態では、疾患画像３０Ａから取得される疾患部除去画像４０が示す組織の構造、および、疾患部３１以外の部位の組織の色の情報等）に基づいて、予測画像６０が取得される。よって、被検者自身の眼科画像３０に基づくことなく予測画像が取得される場合に比べて、予測される疾患の状態を被検者に実感させやすい。 In this embodiment, the predicted image 60 is obtained based on at least one of the pixel values, tissue structure, brightness, contrast, etc. (in this embodiment, the tissue structure shown in the diseased area removed image 40 obtained from the diseased area 30A, and the color information of the tissue in the area other than the diseased area 31, etc.) in the actually captured ophthalmic image 30 (specifically, the diseased image 30A). Therefore, it is easier for the subject to experience the predicted disease state compared to when the predicted image is obtained without being based on the subject's own ophthalmic image 30.
また、同一の患者の左眼および右眼の眼科画像３０であっても、疾患がある眼の画像と、疾患が無い眼の画像の間で組織の色等が異なる場合がある。従って、対象患者の左眼および右眼のうち、疾患画像３０Ａが取得された被検眼とは反対側の眼の疾患の程度が良好である場合には、反対側の眼の眼科画像３０に関するデータ（例えば、眼科画像３０のデータそのもの、または、眼科画像３０の色に関するデータ等）も、数学モデル（例えば、数学モデル中の予測画像生成モデル７４等）に入力されてもよい。この場合、より良好な予測画像６０が取得される。 In addition, even when the ophthalmic images 30 are of the left and right eyes of the same patient, the tissue color, etc. may differ between the image of the diseased eye and the image of the disease-free eye. Therefore, if the degree of disease in the left and right eyes of the target patient opposite the test eye from which the diseased image 30A was obtained is good, data regarding the ophthalmic image 30 of the opposite eye (e.g., the data of the ophthalmic image 30 itself, or data regarding the color of the ophthalmic image 30, etc.) may also be input to the mathematical model (e.g., the predicted image generation model 74 in the mathematical model, etc.). In this case, a better predicted image 60 is obtained.
数学モデル構築装置１が実行する数学モデル構築処理の一例について説明する。数学モデル構築装置１のＣＰＵ３は、機械学習アルゴリズムによって、訓練データセットを用いた数学モデルの訓練を実行することで、数学モデルを構築する。構築された数学モデルを実現するためのプログラムは、眼科画像処理装置２１の記憶装置２４に記憶される。機械学習アルゴリズムとしては、例えば、ニューラルネットワーク、ランダムフォレスト、ブースティング、サポートベクターマシン（ＳＶＭ）等が一般的に知られている。
An example of the mathematical model construction process executed by the mathematical
ニューラルネットワークは、生物の神経細胞ネットワークの挙動を模倣する手法である。ニューラルネットワークには、例えば、フィードフォワード（順伝播型）ニューラルネットワーク、ＲＢＦネットワーク（放射基底関数）、スパイキングニューラルネットワーク、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（リカレントニューラルネット、フィードバックニューラルネット等）、確率的ニューラルネット（ボルツマンマシン、ベイシアンネットワーク等）等がある。 Neural networks are a technique that mimics the behavior of biological neural networks. Examples of neural networks include feedforward neural networks, RBF networks (radial basis functions), spiking neural networks, convolutional neural networks, recurrent neural networks (recurrent neural networks, feedback neural networks, etc.), and probabilistic neural networks (Boltzmann machines, Bayesian networks, etc.).
ランダムフォレストは、ランダムサンプリングされた訓練データに基づいて学習を行って、多数の決定木を生成する方法である。ランダムフォレストを用いる場合、予め識別器として学習しておいた複数の決定木の分岐を辿り、各決定木から得られる結果の平均（あるいは多数決）を取る。 Random forest is a method of generating a large number of decision trees by learning based on randomly sampled training data. When using random forest, the branches of multiple decision trees that have been trained in advance as classifiers are traced, and the average (or majority vote) of the results obtained from each decision tree is taken.
ブースティングは、複数の弱識別器を組み合わせることで強識別器を生成する手法である。単純で弱い識別器を逐次的に学習させることで、強識別器を構築する。 Boosting is a technique for generating a strong classifier by combining multiple weak classifiers. A strong classifier is constructed by sequentially training simple weak classifiers.
ＳＶＭは、線形入力素子を利用して２クラスのパターン識別器を構成する手法である。ＳＶＭは、例えば、訓練データから、各データ点との距離が最大となるマージン最大化超平面を求めるという基準（超平面分離定理）で、線形入力素子のパラメータを学習する。 SVM is a technique for constructing a two-class pattern classifier using linear input elements. For example, SVM learns the parameters of the linear input elements based on the criterion (hyperplane separation theorem) of finding a margin-maximizing hyperplane that maximizes the distance from each data point from the training data.
本実施形態では、競合する２つのニューラルネットワークを利用する敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋｓ：ＧＡＮ）、多層型ニューラルネットワークの一種である畳み込みニューラルネットワーク（ＣＮＮ）等によって、各々の数学モデルが構築されている。 In this embodiment, each mathematical model is constructed using a generative adversarial network (GAN), which uses two competing neural networks, a convolutional neural network (CNN), which is a type of multi-layer neural network, etc.
数学モデルは、例えば、入力データと出力データの関係を予測するためのデータ構造を指す。数学モデルは、複数の訓練データセットを用いて訓練されることで構築される。訓練データセットは、入力用訓練データと出力用訓練データのセットである。数学モデルは、ある入力用訓練データが入力された時に、それに対応する出力用訓練データが出力されるように訓練される。例えば、訓練によって、各入力と出力の相関データ（例えば、重み）が更新される。 A mathematical model, for example, refers to a data structure for predicting the relationship between input data and output data. A mathematical model is constructed by training using multiple training data sets. A training data set is a set of input training data and output training data. A mathematical model is trained so that when a certain input training data is input, the corresponding output training data is output. For example, the correlation data (e.g., weights) between each input and output is updated through training.
疾患部除去モデル７１の構築方法の一例について説明する。本実施形態では、数学モデル構築装置１のＣＰＵ３は、疾患部除去モデル７１を構築する場合、撮影装置１１Ａによって撮影された被検者の眼科画像３０を入力用訓練データとし、且つ、同一の被検者の疾患部除去画像（本実施形態では眼底血管画像）４０を出力用訓練データとして、数学モデルを訓練する。疾患部除去画像４０は、例えば、入力用訓練データとして用いられる二次元正面画像を撮影する手法とは異なる手法で撮影装置１１Ａによって撮影されてもよいし、撮影装置１１Ａとは異なるデバイスによって撮影されてもよい。また、公知の画像処理によって、入力用訓練データとして用いられる二次元正面画像から疾患部除去画像４０が抽出されてもよい。また、ユーザから入力される指示に応じて、二次元正面画像から疾患部除去画像４０が抽出されてもよい。
An example of a method for constructing a diseased area removal model 71 will be described. In this embodiment, when constructing a diseased area removal model 71, the
疾患部識別モデル７２の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、疾患部識別モデル７２を構築する場合、撮影装置１１Ａによって撮影された被検者の眼科画像３０を入力用訓練データとし、且つ、入力用訓練データ（眼科画像３０）における疾患部３１の情報（本実施形態では、疾患部３１の位置および範囲の情報と、疾患部３１の種類の情報）を出力用訓練データとして、数学モデルを訓練する。疾患部３１の情報は、例えば、入力用訓練データ（眼科画像３０）を確認したユーザから入力される指示に応じて生成されてもよい。また、入力用訓練データに対して公知の画像処理が実行されることで、疾患部３１の情報の少なくとも一部（例えば、位置および範囲の情報）が生成されてもよい。
An example of a method for constructing the diseased area identification model 72 will be described. In this embodiment, when constructing the diseased area identification model 72, the
予測モデル７３の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、予測モデル７３を構築する場合、入力用訓練データには、前述した疾患部３１の情報（本実施形態では、疾患部３１の位置および範囲の情報）と、撮影装置１１Ａによって撮影された被検者の眼科画像３０とが含まれる。また、予測モデル７３を構築する場合の出力用訓練データには、疾患部除去モデル７１および疾患部識別モデル７２を訓練する際に入力用訓練データとして使用された眼科画像３０よりも前または後に、同一の撮影対象について撮影装置１１Ａによって撮影された眼科画像３０（例えば、入力用訓練データよりも疾患の程度が良好な眼科画像３０）における、疾患部の状態（位置および範囲）の情報が含まれる。疾患部の位置および範囲の情報は、ユーザから入力される指示に応じて生成されてもよいし、公知の画像処理によって生成されてもよい。本実施形態では、疾患部の状態の情報として、疾患部の位置および範囲を示す二次元の画像が用いられる。また、予測モデル７３を構築する際の入力用訓練データには、程度情報が含まれる。程度情報は、ユーザによって入力されてもよい。
An example of a method for constructing the prediction model 73 will be described. In this embodiment, when the
予測画像生成モデル７４の構築方法の一例について説明する。本実施形態では、ＣＰＵ３は、予測画像生成モデル７４を構築する場合、疾患部除去モデル７１および疾患部識別モデル７２を訓練する際に入力用訓練データとして使用された眼科画像３０よりも前または後に、同一の撮影対象について撮影装置１１Ａによって撮影された眼科画像３０を、出力用訓練データとする。また、ＣＰＵ３は、出力用訓練データ（眼科画像３０）から疾患部の情報が除去された疾患部除去画像４０と、出力用訓練データに関する疾患部３１の情報（本実施形態では、疾患部３１の位置および範囲の情報、および疾患部３１の種類の情報）を、入力用訓練データとする。ＣＰＵ３が疾患部除去画像４０および疾患部の情報を取得する方法には、前述した方法と同様の方法を採用できる。
An example of a method for constructing the predicted image generation model 74 will be described. In this embodiment, when constructing the predicted image generation model 74, the
以上説明したように、複数の数学モデル（疾患部除去モデル７１、疾患部識別モデル７２、予測モデル７３、および予測画像生成モデル７４）を含む本実施形態の数学モデルの全体は、少なくとも、疾患を含む被検眼の眼科画像３０を入力用訓練データとして訓練される。さらに、数学モデル全体は、入力用訓練データと同一の撮影対象について、入力用訓練データの撮影時よりも疾患部の状態が良好である際（例えば、疾患が悪化する前、または、悪化した疾患が治癒した後等）に撮影された眼科画像３０を、出力用訓練データとして訓練される。 As described above, the entire mathematical model of this embodiment, which includes multiple mathematical models (disease removal model 71, disease identification model 72, prediction model 73, and prediction image generation model 74), is trained using at least the ophthalmic image 30 of the test eye including a disease as input training data. Furthermore, the entire mathematical model is trained using the ophthalmic image 30 of the same subject as the input training data, captured when the condition of the diseased area is better than when the input training data was captured (for example, before the disease worsens or after the worsened disease is cured, etc.), as output training data.
（眼科画像処理）
図３および図４を参照して、本実施形態の眼科画像処理装置２１が実行する眼科画像処理について説明する。眼科画像処理は、記憶装置２４に記憶された眼科画像処理プログラムに従って、ＣＰＵ２３によって実行される。ＣＰＵ２３は、比較画像３０Ｂを取得させる指示がユーザによって入力されると、図３に例示する眼科画像処理を開始する。
(Ophthalmology Image Processing)
3 and 4, the ophthalmic image processing executed by the ophthalmic
前述したように、本実施形態の眼科画像処理装置２１は、対象患者の正常眼の眼科画像を利用して比較画像３０Ｂを取得する方法（以下、「反対眼の画像利用」という）、データベース２９から比較画像３０Ｂを取得する方法（以下、「データベース利用」という）、および、数学モデルを利用して比較画像３０Ｂを取得する方法（以下、「数学モデル利用」という）をいずれも実行することができる。本実施形態では、ユーザは、操作部２７を操作することで、比較画像３０Ｂを取得するための複数の方法の各々について、眼科画像処理装置２１に実行させる優先順位を設定することができる。
As described above, the ophthalmic
図３に示すように、ＣＰＵ２３は、眼科画像処理を開始すると、対象患者の疾患画像３０Ａを取得する（Ｓ１）。次いで、ＣＰＵ２３は、比較画像３０Ｂを取得する方法として、反対眼の画像を利用する方法が優先的に設定されているか否かを判断する（Ｓ２）。設定されていなければ（Ｓ２：ＮＯ）、処理はそのままＳ６へ移行する。
As shown in FIG. 3, when the
反対眼の画像を利用する方法が優先的に設定されている場合（Ｓ２：ＹＥＳ）、ＣＰＵ２３は、対象患者の左右眼のうち、疾患画像３０Ａが撮影された被検眼とは反対側の眼が撮影された眼科画像（以下、「反対眼画像」という）を取得する。ＣＰＵ２３は、反対側の眼が正常眼であるか否かを判断する（Ｓ３）。Ｓ３の判断は、反対眼画像に基づいてＣＰＵ２３によって行われてもよい。この場合、Ｓ３の判断に、機械学習アルゴリズムによって訓練された数学モデルが利用されてもよい。また、Ｓ３の判断は、医療従事者によって眼科画像処理装置２１に入力される指示に応じて行われてもよい。なお、疾患が全く無い眼を正常眼と定義してもよいし、疾患画像３０Ａに写る疾患よりも疾患の程度が良好な眼を正常眼と定義してもよい。反対側の眼が正常眼でない場合には（Ｓ３：ＮＯ）、反対眼画像は比較画像３０Ｂとして望ましくないので、処理はそのままＳ６へ移行する。
If the method of using the image of the opposite eye is set as a priority (S2: YES), the
反対側の眼が正常眼である場合（Ｓ３：ＹＥＳ）、ＣＰＵ２３は、反対眼画像を左右反転させた画像を、比較画像３０Ｂとして取得し、疾患画像３０Ａと共に、または疾患画像３０Ａと切り換えて表示装置２８に表示させる（Ｓ４）。その後、処理はＳ１５へ移行する。同一の患者の左眼および右眼の各々の眼科画像は、近似し易い。従って、正常眼の画像である反対眼画像が左右反転されることで、患者等は、疾患がある一方の眼の画像と、疾患の程度が良好な他方の眼の画像を、方向が合致した状態で適切に比較することができる。
If the opposite eye is normal (S3: YES), the
反対眼の画像が利用されない場合、ＣＰＵ２３は、比較画像３０Ｂを取得する方法として、データベース２９を利用する方法が優先的に設定されているか否かを判断する（Ｓ６）。設定されていなければ（Ｓ６：ＮＯ）、処理はそのままＳ１１へ移行する。データベース２９を利用する方法が優先的に設定されている場合（Ｓ６：ＹＥＳ）、ＣＰＵ２３は、対象患者の患者情報を取得する（Ｓ７）。本実施形態では、Ｓ７で取得される患者情報には、対象患者の年齢および性別を示す情報が含まれている。また、データベース２９には、複数の正常な被検眼の眼科画像のデータが記憶されている。ＣＰＵ２３は、データベース２９から、患者情報が示す年齢との差が閾値以下の年齢であり、且つ、患者情報が示す性別と同じ性別の被検者の眼科画像を、比較画像３０Ｂとして取得する。ＣＰＵ２３は、取得した比較画像３０Ｂを、疾患画像３０Ａと共に、または疾患画像３０Ａと切り換えて表示装置２８に表示させる（Ｓ８）。年齢が近く、且つ性別が同じ被検者の眼科画像は近似し易くなる。従って、Ｓ８で取得される比較画像３０Ｂは、疾患画像３０Ａとの比較に適した画像となり易い。ここで、Ｓ８では、患者情報が示す年齢のみが参照されることで、比較画像３０Ｂが取得されてもよい。
If the image of the opposite eye is not used, the
なお、Ｓ８では、取得する候補となる眼科画像がデータベース２９に複数存在する場合には、候補となる複数の眼科画像の少なくともいずれかが適宜選択されて取得されればよい。例えば、候補となる複数の眼科画像のうち、生年月日が対象患者と最も近い被検者の眼科画像が、比較画像３０Ｂとして取得されてもよい。候補となる複数の眼科画像のうち、疾患の程度が最も良好な眼科画像が、比較画像３０Ｂとして取得されてもよい。候補となる複数の眼科画像のうち、画質が最も良好な眼科画像が、比較画像３０Ｂとして取得されてもよい。また、Ｓ８では、左眼および右眼のうち、疾患画像３０Ａが撮影された眼と同じ側の眼の眼科画像が優先して、比較画像３０Ｂとして取得されてもよい。また、左眼および右眼のうち、疾患画像３０Ａが撮影された眼と、Ｓ８で取得された眼科画像が撮影された眼が異なる場合には、ＣＰＵ２３は、Ｓ８で取得された眼科画像を左右反転させた画像を、比較画像３０Ｂとしてもよい。これらの場合、疾患画像３０Ａと比較画像３０Ｂがより適切に比較される。
In addition, in S8, when there are multiple candidate ophthalmic images in the
次いで、ＣＰＵ２３は、比較画像３０Ｂが撮影された被検眼について、参考画像および視野マップの少なくともいずれかのデータがデータベース２９に記憶されている場合には、該当するデータをデータベース２９から取得する。参考画像とは、比較画像３０Ｂの撮影方式とは異なる撮影方式で撮影された被検眼の画像（例えば、本実施形態では眼底の断層画像）である。視野マップとは、被検眼に対して行われた視野検査の結果を示すデータである。ＣＰＵ２３は、参考画像および視野マップの少なくともいずれかのデータを取得した場合には、取得したデータを表示装置２８に表示させる（Ｓ９）。従って、対象患者の疾患の状態が、複数の情報によってより適切に把握される。その後、処理はＳ１５へ移行する。
Next, if at least one of the data of the reference image and the visual field map for the test eye from which the comparison image 30B was captured is stored in the
データベースが利用されない場合（Ｓ６：ＮＯ）、ＣＰＵ２３は、数学モデルを利用して比較画像３０Ｂを取得する処理を実行する（Ｓ１１～Ｓ１３）。まず、ＣＰＵ２３は、疾患が治癒していく場合に予測される予測画像６０（図２参照）を、治癒の状況に応じて複数表示させる段階表示が、ユーザによって指定されているか否かを判断する（Ｓ１１）。段階表示が指定されていない場合（Ｓ１１：ＮＯ）、ＣＰＵ２３は、疾患画像３０Ａを数学モデルに入力することで、予測画像６０を取得する。ＣＰＵ２３は、取得した予測画像６０を比較画像３０Ｂとして、疾患画像３０Ａと共に、または疾患画像３０Ａと切り換えて表示装置２８に表示させる（Ｓ１２）。前述のように、比較画像３０Ｂは、対象患者本人の疾患画像３０Ａの情報に基づいて構築される。従って、疾患画像Ａと比較画像３０Ｂがより適切に比較される。
If the database is not used (S6: NO), the
また、Ｓ１２では、疾患部３１（図２参照）の状態の程度を示す程度情報が、疾患画像３０Ａと共に数学モデルに入力される。従って、前述したように、Ｓ１２で取得される予測画像６０は、疾患の状態がより適切に予測された画像となる。なお、程度情報は、ユーザによって指定されてもよいし、予め定められていてもよい。 In addition, in S12, degree information indicating the degree of the condition of the diseased area 31 (see FIG. 2) is input to the mathematical model together with the disease image 30A. Therefore, as described above, the predicted image 60 obtained in S12 is an image in which the condition of the disease is more appropriately predicted. Note that the degree information may be specified by the user or may be determined in advance.
段階表示が指定されている場合には（Ｓ１１：ＹＥＳ）、ＣＰＵ２３は、互いに異なる程度情報の各々を、疾患画像３０Ａと共に数学モデルに入力することで、疾患部３１の状態の程度が異なる複数の予測画像６０を取得する。ＣＰＵ２３は、取得した複数の予測画像６０を比較画像３０Ｂとして、疾患部３１の状態の程度に沿って並べて、または切り換えて表示装置２８に表示させる（Ｓ１３）。図４に、段階表示が行われている場合の表示装置２８の表示画面の一例を示す。図４に示す例では、実際に撮影された対象患者の疾患画像３０Ａと、疾患の程度が疾患画像３０Ａよりも良好な比較画像３０Ｂが、並べて表示されている。さらに、比較画像３０Ｂとして、疾患の程度が一定量回復した状態の比較画像３０Ｂ１と、疾患が完治した状態の比較画像３０Ｂ２が、疾患の程度に沿って並べて表示されている。従って、対象患者は、自らの疾患の状態の推移を適切に予測し易い。
When stage display is specified (S11: YES), the
なお、Ｓ１２およびＳ１３の処理では、前述したように、対象患者の左眼および右眼のうち、疾患画像３０Ａが取得された被検眼とは反対側の眼の疾患の程度が良好である場合には、反対側の眼の眼科画像３０に関するデータ（例えば、眼科画像３０のデータそのもの、または、眼科画像３０の色に関するデータ等）も、数学モデルに入力されてもよい。この場合、より良好な予測画像６０が取得される。 As described above, in the processes of S12 and S13, if the degree of disease in the left or right eye of the subject patient opposite the test eye from which the disease image 30A was obtained is good, data on the ophthalmic image 30 of the opposite eye (e.g., the data on the ophthalmic image 30 itself, or data on the color of the ophthalmic image 30, etc.) may also be input to the mathematical model. In this case, a better predicted image 60 is obtained.
次いで、ＣＰＵ２３は、表示装置２８に表示されている画像の倍率を変更する指示、および、画像領域全体のうち表示装置２８に表示させる領域を移動させる指示の少なくともいずれかが入力されたか否かを判断する（Ｓ１５）。入力されていなければ（Ｓ１５：ＮＯ）、処理はＳ１７へ移行する。倍率変更指示および移動指示の少なくともいずれかが入力された場合には（Ｓ１５：ＹＥＳ）、ＣＰＵ２３は、入力された指示に応じた、画像の倍率変更および領域移動の少なくともいずれかの処理を、表示装置２８に表示させている疾患画像３０Ａと比較画像３０Ｂの両方に対して実行する（Ｓ１６）。その結果、疾患画像３０Ａと比較画像３０Ｂの倍率または表示領域が、連動して変更される。従って、ユーザは、両画像を適切に比較しつつ、両画像の倍率または表示領域を変更することができる。処理を終了させる指示が入力されると（Ｓ１７：ＹＥＳ）、眼科画像処理は終了する。
Next, the
なお、本実施形態では、対象患者の診察を医師が開始させる際（つまり、表示装置２８への疾患画像３０Ａの表示を開始させる際）には、比較画像３０Ｂを表示させる処理は行われずに、疾患画像３０Ａと、比較画像表示・非表示切り換えボタンが、表示装置２８に表示される。この状態で、比較画像表示・非表示切り換えボタンがユーザによって操作されて、表示・非表示切り換え指示が入力されると、ＣＰＵ２３は、表示装置２８における比較画像３０Ｂの表示と非表示を切り替える。従って、ユーザは、適切な状況で比較画像３０Ｂを表示装置２８に表示させることができる。なお、ＣＰＵ２３は、比較画像３０Ｂを表示させる指示が入力されることを契機として（つまり、比較画像表示・非表示切り換えボタンが操作されることを契機として）、図３に例示する眼科画像処理を開始させてもよい。また、ＣＰＵ２３は、表示装置２８への疾患画像３０Ａの表示を開始させる際に、比較画像３０Ｂも共に表示させてもよい。疾患画像３０Ａと比較画像３０Ｂの両方を診察開始時から表示させるか否かが、ユーザによって設定されてもよい。
In this embodiment, when the doctor starts the examination of the target patient (i.e., when the display of the disease image 30A on the
上記実施形態で開示された技術は一例に過ぎない。よって、上記実施形態で例示された技術を変更することも可能である。例えば、上記実施形態の数学モデルでは、図２に示すように、疾患部識別モデル７１によって出力される疾患部除去画像４０が予測画像生成モデル７４に入力されることで、予測画像６０が出力される。しかし、疾患部除去画像４０の代わりに、撮影された疾患画像３０Ａ自体に基づいて、予測画像６０が生成されてもよい。例えば、疾患画像３０Ａが予測画像生成モデル７４に入力されることで、予測画像６０が出力されてもよい。この場合、疾患部除去モデル７１は省略してもよい。その他、数学モデルには種々の変更を適宜加えることが可能である。 The technology disclosed in the above embodiment is merely an example. Therefore, it is possible to modify the technology exemplified in the above embodiment. For example, in the mathematical model of the above embodiment, as shown in FIG. 2, the diseased part removed image 40 output by the diseased part identification model 71 is input to the predicted image generation model 74, and a predicted image 60 is output. However, instead of the diseased part removed image 40, the predicted image 60 may be generated based on the captured diseased image 30A itself. For example, the diseased part image 30A may be input to the predicted image generation model 74, and the predicted image 60 may be output. In this case, the diseased part removed model 71 may be omitted. In addition, various modifications can be made to the mathematical model as appropriate.
上記実施形態で例示した複数の技術の一部のみを採用することも可能である。例えば、眼科画像処理装置２１は、比較画像３０Ｂを取得する方法として、反対眼の画像を利用する方法、データベース２９を利用する方法、および数学モデルを利用する方法の１つまたは２つのみを実行してもよい。
It is also possible to adopt only some of the techniques exemplified in the above embodiment. For example, the ophthalmological
なお、図３のＳ１で疾患画像３０Ａを取得する処理は、「疾患画像取得ステップ」の一例である。図３のＳ４，Ｓ８，Ｓ１２，Ｓ１３で比較画像３０Ｂを取得する処理は、「比較画像取得ステップ」の一例である。図３のＳ４，Ｓ８，Ｓ１２，Ｓ１３で疾患画像３０Ａと比較画像３０Ｂを表示装置２８に表示させる処理は、「比較表示ステップ」の一例である。図３のＳ１５で倍率変更指示および移動指示の入力を受け付ける処理は、「指示受付ステップ」の一例である。図３のＳ１６で倍率変更および領域移動を実行する処理は、「表示変更ステップ」の一例である。
The process of acquiring disease image 30A in S1 of FIG. 3 is an example of a "disease image acquisition step." The process of acquiring comparison image 30B in S4, S8, S12, and S13 of FIG. 3 is an example of a "comparison image acquisition step." The process of displaying disease image 30A and comparison image 30B on
２１ 眼科画像処理装置
２３ ＣＰＵ
２４ 記憶装置
２８ 表示装置
２９ データベース
３０Ａ 疾患画像
３０Ｂ 比較画像
３１ 疾患部
６０ 予測画像
21 Ophthalmological
24
Claims (2)
前記眼科画像処理プログラムが前記眼科画像処理装置の制御部によって実行されることで、
疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、
前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、
前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、
を前記眼科画像処理装置に実行させ、
前記比較画像取得ステップにおいて、
同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行することを特徴とする眼科画像処理プログラム。 An ophthalmic image processing program executed by an ophthalmic image processing device for processing an ophthalmic image which is an image of tissue of a subject's eye,
The ophthalmologic image processing program is executed by a control unit of the ophthalmologic image processing device,
A disease image acquisition step of acquiring a disease image which is an ophthalmologic image of a subject's eye having a disease;
a comparative image acquisition step of acquiring a comparative image that is similar to the disease image and has a better disease severity than the disease in the disease image, based on at least one of patient information on the target patient and an ophthalmologic image of the target patient;
a comparative display step of displaying the disease image and the comparative image simultaneously or in a switched manner on a display unit;
causing the ophthalmologic image processing device to execute the above steps;
In the comparison image acquisition step,
Obtaining an opposite eye image, which is an ophthalmologic image of the left eye and the right eye of the same subject patient, the eye opposite to the subject eye in which the disease image was taken;
When the subject's eye from which the opposite eye image is taken is a normal eye, the comparison image is obtained by flipping the opposite eye image from left to right.
An ophthalmic image processing program characterized by executing a process of obtaining, as the comparison image, an ophthalmic image of a subject whose age differs from the age indicated by the patient information by a threshold or less from a database storing data on ophthalmic images of multiple normal test eyes, when the opposite eye image is captured from the test eye which is not a normal eye, or a process of inputting the disease image into a mathematical model trained by a machine learning algorithm, thereby obtaining, as the comparison image, a predicted image in which the condition of the diseased area has been modified to be better than the input disease image .
前記眼科画像処理装置の制御部は、
疾患を含む対象患者の被検眼の眼科画像である疾患画像を取得する疾患画像取得ステップと、
前記対象患者に関する患者情報、および、前記対象患者の眼科画像の少なくともいずれかに基づいて、前記疾患画像に近似し、且つ疾患の程度が前記疾患画像における疾患よりも良好な画像である比較画像を取得する比較画像取得ステップと、
前記疾患画像と前記比較画像を同時に、または切り換えて表示部に表示させる比較表示ステップと、
を実行し、
前記比較画像取得ステップにおいて、
同一の前記対象患者の左眼および右眼のうち、前記疾患画像が撮影された前記被検眼とは反対側の眼が撮影された眼科画像である反対眼画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼である場合には、取得した前記反対眼画像を左右反転させることで前記比較画像を取得し、
前記反対眼画像が撮影された前記被検眼が正常眼でない場合には、複数の正常な被検眼の眼科画像のデータが記憶されたデータベースから、前記患者情報が示す年齢との差が閾値以下の年齢の被検者の眼科画像を前記比較画像として取得する処理、または、機械学習アルゴリズムによって訓練された数学モデルに前記疾患画像を入力することで、入力された前記疾患画像に対して疾患部の状態が良好な状態に改変された画像である予測画像を前記比較画像として取得する処理を実行することを特徴とする眼科画像処理装置。 An ophthalmic image processing device that processes an ophthalmic image which is an image of tissue of a subject's eye,
The control unit of the ophthalmologic image processing device
A disease image acquiring step of acquiring a disease image which is an ophthalmologic image of a subject's eye having a disease;
a comparative image acquisition step of acquiring a comparative image that is similar to the disease image and has a better disease severity than the disease in the disease image, based on at least one of patient information on the target patient and an ophthalmologic image of the target patient;
a comparative display step of displaying the disease image and the comparative image simultaneously or in a switched manner on a display unit;
Run
In the comparison image acquisition step,
Obtaining an opposite eye image, which is an ophthalmologic image of the left eye and the right eye of the same subject patient, the eye opposite to the subject eye in which the disease image was taken;
When the subject's eye from which the opposite eye image is taken is a normal eye, the comparison image is obtained by flipping the opposite eye image from left to right.
An ophthalmic image processing device characterized by performing a process of obtaining, as the comparison image, an ophthalmic image of a subject whose age differs from the age indicated by the patient information by a threshold or less from a database storing data on ophthalmic images of multiple normal test eyes, when the opposite eye image is captured from the test eye which is not a normal eye, or a process of obtaining, as the comparison image, a predicted image which is an image in which the condition of the diseased area has been modified to be good compared to the input disease image by inputting the disease image into a mathematical model trained by a machine learning algorithm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020097238A JP7468163B2 (en) | 2020-06-03 | 2020-06-03 | Ophthalmic image processing program and ophthalmic image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020097238A JP7468163B2 (en) | 2020-06-03 | 2020-06-03 | Ophthalmic image processing program and ophthalmic image processing device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2021186466A JP2021186466A (en) | 2021-12-13 |
| JP2021186466A5 JP2021186466A5 (en) | 2023-05-12 |
| JP7468163B2 true JP7468163B2 (en) | 2024-04-16 |
Family
ID=78850431
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020097238A Active JP7468163B2 (en) | 2020-06-03 | 2020-06-03 | Ophthalmic image processing program and ophthalmic image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7468163B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002516688A (en) | 1998-06-04 | 2002-06-11 | レーザー・ディアグノスティック・テクノロジーズ・インコーポレイテッド | Eye test equipment using polarized probe |
| JP2013172941A (en) | 2012-01-25 | 2013-09-05 | Canon Inc | Image processing apparatus, image processing method, and program |
| JP2015080678A (en) | 2013-10-24 | 2015-04-27 | キヤノン株式会社 | Ophthalmologic apparatus |
| WO2019203312A1 (en) | 2018-04-18 | 2019-10-24 | 株式会社ニコン | Image processing method, program, and image processing device |
| JP2019208852A (en) | 2018-06-04 | 2019-12-12 | 株式会社ニデック | Ophthalmologic image processing apparatus and ophthalmologic image processing program |
-
2020
- 2020-06-03 JP JP2020097238A patent/JP7468163B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002516688A (en) | 1998-06-04 | 2002-06-11 | レーザー・ディアグノスティック・テクノロジーズ・インコーポレイテッド | Eye test equipment using polarized probe |
| JP2013172941A (en) | 2012-01-25 | 2013-09-05 | Canon Inc | Image processing apparatus, image processing method, and program |
| JP2015080678A (en) | 2013-10-24 | 2015-04-27 | キヤノン株式会社 | Ophthalmologic apparatus |
| WO2019203312A1 (en) | 2018-04-18 | 2019-10-24 | 株式会社ニコン | Image processing method, program, and image processing device |
| JP2019208852A (en) | 2018-06-04 | 2019-12-12 | 株式会社ニデック | Ophthalmologic image processing apparatus and ophthalmologic image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021186466A (en) | 2021-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11633096B2 (en) | Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions | |
| JP6923384B2 (en) | Ophthalmic system and ophthalmic information processing device | |
| US20210113281A1 (en) | Predictive apparatus for assisting a physician during ophthalmic surgery | |
| JP7332463B2 (en) | Control device, optical coherence tomography device, control method for optical coherence tomography device, and program | |
| JP7196908B2 (en) | Ophthalmic image processing device and ophthalmic image processing program | |
| JP2024040372A (en) | Ophthalmologic image processing program and ophthalmologic image processing device | |
| JP2024045441A (en) | Ophthalmic image processing device and ophthalmic image processing program | |
| CN112533526A (en) | Ophthalmologic image processing apparatus, OCT apparatus, and ophthalmologic image processing program | |
| JP2019208852A (en) | Ophthalmologic image processing apparatus and ophthalmologic image processing program | |
| KR102343796B1 (en) | Method for predicting cardiovascular disease using eye image | |
| WO2020116351A1 (en) | Diagnostic assistance device and diagnostic assistance program | |
| JP2019208851A (en) | Fundus image processing device and fundus image processing program | |
| JP7468163B2 (en) | Ophthalmic image processing program and ophthalmic image processing device | |
| JP7439990B2 (en) | Medical image processing device, medical image processing program, and medical image processing method | |
| WO2021020419A1 (en) | Medical image processing device and medical image processing program | |
| JP2021074095A (en) | Ophthalmologic image processing device and ophthalmologic image processing program | |
| WO2021066039A1 (en) | Medical information processing program, and medical information processing device | |
| JP7302184B2 (en) | Ophthalmic image processing device and ophthalmic image processing program | |
| WO2020241794A1 (en) | Ophthalmic image processing device, ophthalmic image processing program, and ophthalmic image processing system | |
| WO2021220990A1 (en) | Image recognition device, and image recognition program | |
| WO2024057942A1 (en) | Ocular fundus image processing device and ocular fundus image processing program | |
| Chakraborty et al. | AI/ML enabled decision making in facilitating Robotic surgery | |
| KR102426065B1 (en) | Method for predicting cardiovascular disease using eye image | |
| WO2022054498A1 (en) | Medical arm control system, medical arm device, medical arm control method, and program | |
| JP2018147386A (en) | System and method for processing ophthalmic examination information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230501 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231109 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240318 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7468163 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |