JP7457315B2 - Information processing device, inference model generation method, information processing method, and program - Google Patents
Information processing device, inference model generation method, information processing method, and program Download PDFInfo
- Publication number
- JP7457315B2 JP7457315B2 JP2019229892A JP2019229892A JP7457315B2 JP 7457315 B2 JP7457315 B2 JP 7457315B2 JP 2019229892 A JP2019229892 A JP 2019229892A JP 2019229892 A JP2019229892 A JP 2019229892A JP 7457315 B2 JP7457315 B2 JP 7457315B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- encoder
- information processing
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 95
- 238000000034 method Methods 0.000 title claims description 42
- 238000003672 processing method Methods 0.000 title claims description 19
- 238000012549 training Methods 0.000 claims description 98
- 238000010801 machine learning Methods 0.000 claims description 70
- 210000004204 blood vessel Anatomy 0.000 claims description 47
- 210000003161 choroid Anatomy 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 69
- 238000012014 optical coherence tomography Methods 0.000 description 39
- 238000010586 diagram Methods 0.000 description 28
- 230000006870 function Effects 0.000 description 25
- 230000003287 optical effect Effects 0.000 description 24
- 238000005259 measurement Methods 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 15
- 230000011218 segmentation Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 13
- 210000001519 tissue Anatomy 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 238000013480 data collection Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 210000001525 retina Anatomy 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 206010064930 age-related macular degeneration Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 210000001775 bruch membrane Anatomy 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 208000002780 macular degeneration Diseases 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 206010063381 Polypoidal choroidal vasculopathy Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013532 laser treatment Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000004379 membrane Anatomy 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000002428 photodynamic therapy Methods 0.000 description 2
- 210000003786 sclera Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 229940126585 therapeutic drug Drugs 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 210000004127 vitreous body Anatomy 0.000 description 2
- 208000003569 Central serous chorioretinopathy Diseases 0.000 description 1
- 208000033379 Chorioretinopathy Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 201000000582 Retinoblastoma Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 229960002833 aflibercept Drugs 0.000 description 1
- 108010081667 aflibercept Proteins 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000024519 eye neoplasm Diseases 0.000 description 1
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 229960003876 ranibizumab Drugs 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
特許法第30条第2項適用 第55回 日本眼光学学会総会 プログラム・抄録集 81頁、発行日 令和1年9月6日Application of
本発明は、情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムに関する。 The present invention relates to an information processing device, an inference model generation method, an information processing method, and a program.
近年、深層学習を代表とする機械学習の手法の急速な進歩により、様々な分野で人工知能技術の実用化が進んでいる。例えば、深層学習により物体や歩行者等の検知精度を向上させることによって、自動運転の安全性を向上させることができる。また、例えば、深層学習により診断画像における疾患部位又は組織の態様等の検出精度の向上によって、正確且つ高精度な医療診断を迅速に行うことができる。 In recent years, rapid advances in machine learning techniques, such as deep learning, have led to the practical application of artificial intelligence technology in a variety of fields. For example, by improving the detection accuracy of objects, pedestrians, etc. through deep learning, it is possible to improve the safety of autonomous driving. In addition, for example, by improving the detection accuracy of diseased areas or tissue aspects in diagnostic images through deep learning, it is possible to perform accurate and highly precise medical diagnoses quickly.
このような深層学習には、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)が広く使われている(特許文献1、特許文献2、特許文献3)。
Convolutional neural networks (CNN) are widely used in such deep learning (
しかしながら、深層学習に広く使われている畳み込みニューラルネットワークでは、高精度な出力(例えば、分類結果又は確信度)を得るために大量の教師データが必要になる。従って、教師データの作成に多大なコストと労力がかかる。 However, convolutional neural networks widely used in deep learning require a large amount of training data to obtain highly accurate output (eg, classification results or confidence). Therefore, creating training data requires a great deal of cost and effort.
本発明は、このような事情を鑑みてなされたものであり、その目的は、少量の教師データを用いた機械学習により高精度な出力を得るための新たな技術を提供することにある。 The present invention has been made in view of these circumstances, and its purpose is to provide a new technique for obtaining highly accurate output through machine learning using a small amount of training data.
いくつかの実施形態の第1態様は、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習部と、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習部と、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成部と、を含む、情報処理装置である。 A first aspect of some embodiments is to train an autoencoder including an encoder and a decoder to which output data of the encoder is input so that output data of the decoder matches input data of the encoder. a first learning unit that executes unsupervised machine learning using data; and a classifier using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as training data. a second learning unit that performs supervised machine learning on the input data of the encoder using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning. An information processing apparatus includes: an inference model generation unit that generates an inference model for inferring a label corresponding to the information processing apparatus.
いくつかの実施形態の第2態様では、第1態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記分類器は、前記正面画像に描出された前記血管の走行パターンが対称であるか否かを推論する。 In a second aspect of some embodiments, in the first aspect, the training data is image data representing an en face image of the fundus in which blood vessels in the choroid are depicted, and the classifier infers whether the course pattern of the blood vessels depicted in the en face image is symmetrical or not.
いくつかの実施形態の第3態様は、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出器と、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、前記特徴量抽出器により出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する分類器と、を含む、情報処理装置である。 A third aspect of some embodiments is an information processing device including an encoder constituting an autoencoder trained by unsupervised machine learning using training data, a feature extractor that outputs output data corresponding to input data of the encoder as features of the input data, and a classifier that is trained by supervised machine learning using output data corresponding to labeled data input to the encoder and labels assigned to the labeled data as supervised data, and that infers a label corresponding to the input data based on the features output by the feature extractor.
いくつかの実施形態の第4態様では、第3態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記ラベル付きデータは、前記血管の走行パターンが対称であるか否かを示すラベルが付された前記正面画像を表す画像データである。 In a fourth aspect of some embodiments, in the third aspect, the training data is image data representing a frontal image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is image data representing a running pattern of the blood vessels. This is image data representing the front image with a label indicating whether or not it is symmetrical.
いくつかの実施形態の第5態様では、第2態様又は第4態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。 In a fifth aspect of some embodiments, in the second aspect or the fourth aspect, the front image is a front image of Haller's layer in the choroid.
いくつかの実施形態の第6態様では、第1態様~第5態様のいずれかにおいて、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。 In a sixth aspect of some embodiments, in any one of the first to fifth aspects, the labeled data includes data in which a portion of the training data is labeled.
いくつかの実施形態の第7態様では、第1態様~第6態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In a seventh aspect of some embodiments, in any of the first to sixth aspects, the training data includes image data of multiple frontal images at multiple positions within a predetermined depth range of the fundus.
いくつかの実施形態の第8態様では、第7態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。 In an eighth aspect of some embodiments, in the seventh aspect, the teacher data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
いくつかの実施形態の第9態様は、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習ステップと、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習ステップと、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成ステップと、を含む、推論モデル生成方法である。 A ninth aspect of some embodiments is an inference model generation method including: a first learning step of performing unsupervised machine learning using training data on an autoencoder including an encoder and a decoder to which output data of the encoder is input, so that output data of the decoder matches input data of the encoder; a second learning step of performing supervised machine learning on a classifier using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as supervised data; and an inference model generation step of generating an inference model for inferring a label corresponding to the input data of the encoder, using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning.
いくつかの実施形態の第10態様では、第9態様において、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。 In a tenth aspect of some embodiments, in the ninth aspect, the labeled data includes data in which a portion of the training data is labeled.
いくつかの実施形態の第11態様では、第9態様又は第10態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記分類器は、前記正面画像に描出された前記血管の走行パターンが対称であるか否かを推論する。 In an eleventh aspect of some embodiments, in the ninth aspect or the tenth aspect, the training data is image data representing a frontal image of the fundus in which blood vessels in the choroid are depicted, and the classifier is configured to It is inferred whether the running pattern of the blood vessels depicted in the image is symmetrical.
いくつかの実施形態の第12態様では、第11態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。 In a twelfth aspect of some embodiments, in the eleventh aspect, the frontal image is a frontal image of Haller's layer in the choroid.
いくつかの実施形態の第13態様では、第9態様~第12態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In a thirteenth aspect of some embodiments, in any of the ninth to twelfth aspects, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range of the fundus.
いくつかの実施形態の第14態様では、第13態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。 In a fourteenth aspect of some embodiments, in the thirteenth aspect, the teacher data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
いくつかの実施形態の第15態様は、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを用いて、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出ステップと、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器を用いて、前記特徴量抽出ステップにおいて出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する推論ステップと、を含む、情報処理方法である。 In a fifteenth aspect of some embodiments, an encoder forming an autoencoder learned by unsupervised machine learning using training data is used to convert output data corresponding to input data of the encoder into the input data. A step of extracting a feature amount to output it as a feature amount, and learning by supervised machine learning using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as training data. and an inference step of inferring a label corresponding to the input data based on the feature amount output in the feature amount extraction step using a classifier obtained by using the method.
いくつかの実施形態の第16態様では、第15態様において、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。 In a sixteenth aspect of some embodiments, in the fifteenth aspect, the labeled data includes data in which a portion of the training data is labeled.
いくつかの実施形態の第17態様では、第15態様又は第16態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記ラベル付きデータは、前記血管の走行パターンが対称であるか否かを示すラベルが付された前記正面画像を表す画像データである。 In a seventeenth aspect of some embodiments, in the fifteenth aspect or the sixteenth aspect, the training data is image data representing a frontal image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is This is image data representing the front image with a label indicating whether or not the running pattern of blood vessels is symmetrical.
いくつかの実施形態の第18態様では、第17態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。 In an eighteenth aspect of some embodiments, in the seventeenth aspect, the en face image is an en face image of the Haller layer in the choroid.
いくつかの実施形態の第19態様では、第15態様~第18態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In a nineteenth aspect of some embodiments, in any of the fifteenth to eighteenth aspects, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus of the eye. .
いくつかの実施形態の第20態様では、第19態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。 In a twentieth aspect of some embodiments, in the nineteenth aspect, the training data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
いくつかの実施形態の第21態様は、コンピュータに、第9態様~第14態様のいずれかに記載の推論モデル生成方法の各ステップを実行させるプログラムである。 A twenty-first aspect of some embodiments is a program that causes a computer to execute each step of the inference model generation method according to any one of the ninth to fourteenth aspects.
いくつかの実施形態の第22態様は、コンピュータに、第15態様~第20態様のいずれかに記載の情報処理方法の各ステップを実行させるプログラムである。 A twenty-second aspect of some embodiments is a program that causes a computer to execute each step of the information processing method according to any one of the fifteenth to twentieth aspects.
なお、上記した複数の態様に係る構成を任意に組み合わせることが可能である。 Note that it is possible to arbitrarily combine the configurations according to the plurality of aspects described above.
本発明に係るいくつかの実施形態によれば、少量の教師データを用いた機械学習により高精度な出力を得るための新たな技術を提供することができる。 According to some embodiments of the present invention, it is possible to provide a new technique for obtaining highly accurate output through machine learning using a small amount of training data.
この発明のいくつかの実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムの例について、図面を参照しながら詳細に説明する。なお、この明細書で引用する文献に記載された事項や任意の公知技術を実施形態に援用することができる。 Examples of an information processing device, an inference model generating method, an information processing method, and a program according to some embodiments of the present invention will be described in detail with reference to the drawings. Note that matters described in the documents cited in this specification and any publicly known technology may be incorporated into the embodiments.
以下、実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムが眼科分野に適用される場合について説明する。しかしながら、実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムの適用分野は眼科分野に限定されるものではない。 Hereinafter, a case where the information processing apparatus, inference model generation method, information processing method, and program according to the embodiments are applied to the ophthalmology field will be described. However, the field of application of the information processing device, inference model generation method, information processing method, and program according to the embodiments is not limited to the field of ophthalmology.
実施形態に係る情報処理装置が眼科分野に適用される場合、実施形態に係る情報処理装置の機能は眼科情報処理装置によって実現される。同様に、実施形態に係る情報処理方法が眼科分野に適用される場合、実施形態に係る情報処理方法の機能は眼科情報処理方法によって実現される。 When the information processing apparatus according to the embodiment is applied to the ophthalmology field, the functions of the information processing apparatus according to the embodiment are realized by the ophthalmology information processing apparatus. Similarly, when the information processing method according to the embodiment is applied to the ophthalmology field, the functions of the information processing method according to the embodiment are realized by the ophthalmology information processing method.
実施形態に係る眼科情報処理装置は、眼科装置により光学的に取得された被検眼の眼底のデータに対して所定の解析処理や所定の表示処理を施すことが可能である。いくつかの実施形態に係る眼科装置は、被検眼の眼底の正面画像を取得する機能を備える。被検眼の眼底の正面画像を取得する機能を備えた眼科装置には、光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)装置、眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡、手術用顕微鏡などがある。いくつかの実施形態に係る眼科装置は、被検眼の光学的な特性を測定する機能を備える。被検眼の光学的な特性を測定する機能を備えた眼科装置には、レフラクトメーター、ケラトメーター、眼圧計、ウェーブフロントアナライザー、スペキュラーマイクロスコープ、視野計などがある。いくつかの実施形態に係る眼科装置は、レーザー治療に用いられるレーザー治療装置の機能を備える。 The ophthalmologic information processing device according to the embodiment can perform predetermined analysis processing and predetermined display processing on data of the fundus of the subject's eye optically acquired by the ophthalmologic device. The ophthalmological apparatus according to some embodiments has a function of acquiring a frontal image of the fundus of an eye to be examined. Ophthalmological equipment that has the function of acquiring a frontal image of the fundus of the eye to be examined includes optical coherence tomography (OCT) devices, fundus cameras, scanning laser ophthalmoscopes, slit lamp microscopes, and surgical microscopes. be. Ophthalmological apparatuses according to some embodiments have a function of measuring optical characteristics of an eye to be examined. Ophthalmic devices that have the function of measuring the optical characteristics of the eye to be examined include refractometers, keratometers, tonometers, wavefront analyzers, specular microscopes, and perimeters. The ophthalmological device according to some embodiments has the functionality of a laser treatment device used for laser treatment.
以下の実施形態では、眼科装置が被検眼に対してOCTを実行することによりOCTデータを取得する場合について説明する。眼科装置又は眼科情報処理装置は、取得されたOCTデータを用いて眼底の正面画像を形成することが可能である。 In the following embodiments, a case will be described in which an ophthalmological apparatus acquires OCT data by performing OCT on a subject's eye. The ophthalmological apparatus or the ophthalmological information processing apparatus can form a frontal image of the fundus using the acquired OCT data.
また、以下の実施形態では、眼科情報処理装置が、被検眼の眼底の脈絡膜における血管の走行パターンが対称性を有するか否かを推論する場合について説明する。脈絡膜における血管の走行パターンの対称性は、中心窩と視神経乳頭とを結ぶ線を対称軸として判断される。脈絡膜における血管の走行パターンが非対称であると判断される症例では、所定の疾患を発症しやすいと考えられている(例えば、T.Hiroe, et al., “Dilatation of Asymmetric Vortex Vein in Cetnral Serous Chorioretinopathy”, American Academy of Ophthalmology, 2017年, ISSN 2468-6530/17、又は、M.C.SAVASTANO, et al., “CLASSIFICATION OF HALLER VESSEL ARRANGEMENTS IN ACUTE AND CHRONIC CENTRAL SEROUS CHORIORETINOPATHY IMAGED WITH EN FACE OPTICAL COHERENCE TOMOGRAPHY”, 2017年, Ophthalmic Communications Society)。 Furthermore, in the following embodiments, a case will be described in which the ophthalmological information processing apparatus infers whether or not the running pattern of blood vessels in the choroid of the fundus of the eye to be examined has symmetry. The symmetry of the running pattern of blood vessels in the choroid is judged with the line connecting the fovea and the optic disc as the axis of symmetry. Cases in which the running pattern of blood vessels in the choroid is determined to be asymmetrical are thought to be more likely to develop certain diseases (for example, see T. Hiroe, et al., “Dilation of Asymmetric Vortex Vein in Cetnral Serious Chorioretinopathies”). ”, American Academy of Ophthalmology, 2017, ISSN 2468-6530/17, or M.C. SAVASTANO, et al., “CLASSIFICATION OF HALLER VESSEL ARR ANGEMENTS IN ACUTE AND CHRONIC CENTRAL SEROUS CHORIORETINOPATHY IMAGED WITH EN FACE OPTICAL COHERENCE TOMOGRAPHY” , 2017, Ophthalmic Communications Society).
例えば、脈絡膜における血管の走行パターンが非対称であると判断される症例の場合、加齢黄斑変性の病態にPachychoroidが関連している可能性が指摘されている。従って、上記の走行パターンの対称性を推論することにより、Pachychoroidに対する治療方針の決定を補助することができる。 For example, in cases where the running pattern of blood vessels in the choroid is determined to be asymmetric, it has been pointed out that pachychoroids may be related to the pathology of age-related macular degeneration. Therefore, by inferring the symmetry of the traveling pattern described above, it is possible to assist in determining a treatment policy for pachychoroid.
例えば、“Intravitreal aflibercept and ranibizumab for pachychoroid neovasculopathy”(B.J.Yung, et al., 2019年, 9:2055, SCIENTIFIC REPORTS)には、Pachychoroidに有効と考えられている治療薬が存在すると指摘されている。従って、上記の走行パターンの対称性の推論結果から加齢黄斑変性の治療薬を選択することができる。 For example, “Intravitreal aflibercept and ranibizumab for pachychoroid neovasculopathy” (B.J. Yung, et al., 2019, 9:2055, SCIENTIFIC REPORTS) points out that there are therapeutic drugs considered to be effective against Pachychoroids. ing. Therefore, a therapeutic drug for age-related macular degeneration can be selected from the above inference result of the symmetry of the running pattern.
例えば、“Efficacy of Photodynamic Therapy for Polypoidal Chroidal Vasculopathy Associated with and without Pachychoroid Phenotypes”(M.Hata, et al., 2018年, Ophthalmology Retina)には、ポリープ状脈絡膜血管症(Polypoidal Choroidal Vasculopathy:PCV)に光線力学的療法(photodynamic therapy:PDT)が有効であると指摘されている。従って、上記の走行パターンの対称性の推論結果から加齢黄斑変性の治療法を選択することができる。 For example, "Efficacy of Photodynamic Therapy for Polypoidal Chroidal Vasculopathy Associated with and without Pachychoroid Phenotypes" (M. Hata, et al., 2018, Ophthalmology Retina) indicates that photodynamic therapy (PDT) is effective for polypoidal choroidal vasculopathy (PCV). Therefore, a treatment for age-related macular degeneration can be selected based on the inference results of the symmetry of the above running patterns.
実施形態に係る眼科情報処理装置は、機械学習によって得られた推論モデルを用いて、被検眼の眼底の正面画像(特に、OCTを用いて取得されたOCT画像)に描出された脈絡膜における血管の走行パターンが対称性を有するか否かを推論することが可能である。実施形態に係る推論モデル生成方法は、上記の走行パターンが対称性を有するか否かを推論するための推論モデルを生成する方法である。 The ophthalmological information processing device according to the embodiment uses an inference model obtained by machine learning to evaluate blood vessels in the choroid depicted in a frontal image of the fundus of an eye to be examined (in particular, an OCT image acquired using OCT). It is possible to infer whether the driving pattern has symmetry or not. The inference model generation method according to the embodiment is a method of generating an inference model for inferring whether or not the above-mentioned driving pattern has symmetry.
実施形態に係る眼科システムは、眼科情報処理装置を含む。実施形態に係る眼科情報処理方法又は推論モデル生成方法は、眼科情報処理装置により実行される。実施形態に係るプログラムは、眼科情報処理方法又は推論モデル生成方法の各ステップをコンピュータに実行させる。 The ophthalmology system according to the embodiment includes an ophthalmology information processing device. The ophthalmologic information processing method or inference model generation method according to the embodiment is executed by an ophthalmologic information processing device. The program according to the embodiment causes a computer to execute each step of the ophthalmological information processing method or the inference model generation method.
[眼科システム]
図1に、実施形態に係る眼科システムの構成例のブロック図を示す。実施形態に係る眼科システム1は、眼科装置10と、眼科情報処理装置(眼科画像処理装置、眼科解析装置)100と、操作装置180と、表示装置190とを含む。
[Ophthalmology system]
FIG. 1 shows a block diagram of a configuration example of an ophthalmologic system according to an embodiment. The
眼科装置10は、被検眼のデータを光学的に収集する。眼科装置10は、被検眼の眼底をスキャンすることにより被検眼の眼底のデータを光学的に収集する。この実施形態では、眼科装置10は、OCTを用いて被検眼の眼底のOCTデータを取得する。眼科装置10は、取得された被検眼のデータから被検眼の眼底の画像を取得することが可能である。眼底の画像には、眼底の断層像及び正面画像が含まれる。眼底の断層像には、Bスキャン画像などがある。眼底の正面画像には、Cスキャン画像、en-face画像、シャドウグラム、又はプロジェクション画像などがある。眼科装置10は、取得された被検眼のデータ又は取得された画像のデータを眼科情報処理装置100に送信する。
The
いくつかの実施形態では、眼科装置10と眼科情報処理装置100とは、データ通信ネットワークを介して接続される。いくつかの実施形態に係る眼科情報処理装置100は、データ通信ネットワークを介して選択的に接続された複数の眼科装置10の1つから上記のデータを受信する。
In some embodiments, the
眼科情報処理装置100は、機械学習によって得られた推論モデル(学習モデル)を用いて、被検眼の眼底の正面画像に描出された脈絡膜血管の走行パターン(分布)に対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、眼底の正面画像に描出された中心窩(具体的には、中心窩に相当する領域の中心位置)と視神経乳頭(具体的には、視神経乳頭に相当する領域の中心位置)とを結ぶ線を対称軸として、脈絡膜血管の走行パターンに対称性があるか否かを推論する。
The ophthalmological
いくつかの実施形態では、眼科情報処理装置100は、外部で構築された推論モデルを用いて脈絡膜血管の走行パターンに対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、上記の推論モデルを構築し、構築された推論モデルを用いて脈絡膜血管の走行パターンに対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、上記の推論モデルを構築し、構築された推論モデルを外部の装置に出力する。
In some embodiments, the ophthalmological
以下、眼科情報処理装置100は、眼底のen-face画像に対して上記の推論を行うものとする。脈絡膜は、Choriocapillaris(脈絡毛細管板)層、Sattler(中血管)層、及びHaller(大血管)層を含む。脈絡膜のHaller層(大血管層)における血管を解析対象とすることで、脈絡膜血管の走行パターンの対称性を判断しやすくなる(例えば、H.Shiihara, et al., “Automated segmentation for en face choroidal images obtained by optical coherent tomography by machine learning”, 2018年3月29日, Japanese Journal of Ophthalmology)。実施形態に係る眼科情報処理装置100は、脈絡膜のHaller層のen-face画像に対して、上記の推論を行うことができる。
Hereinafter, it is assumed that the ophthalmological
眼科情報処理装置100は、推論結果として、脈絡膜血管の走行パターンに対称性があるか否かの分類結果(対称である、非対称である)を出力することができる。いくつかの実施形態では、眼科情報処理装置100は、推論結果として、脈絡膜血管の走行性パターンが対称(又は非対称)であると判断する指標(度合い)を表す確信度を表す情報(数値、画像など)を出力する。
The ophthalmological
操作装置180及び表示装置190は、ユーザインターフェイス部として情報の表示、情報の入力、操作指示の入力など、眼科情報処理装置100とそのユーザとの間で情報をやりとりするための機能を提供する。操作装置180は、レバー、ボタン、キー、ポインティングデバイス等の操作デバイスを含む。いくつかの実施形態に係る操作装置180は、音で情報を入力するためのマイクロフォンを含む。表示装置190は、フラットパネルディスプレイ等の表示デバイスを含む。いくつかの実施形態では、操作装置180及び表示装置190の機能は、タッチパネルディスプレイのような入力機能を有するデバイスと表示機能を有するデバイスとが一体化されたデバイスにより実現される。いくつかの実施形態では、操作装置180及び表示装置190は、情報の入出力を行うためのグラフィカルユーザインターフェイス(GUI)を含む。
The operating
[眼科装置]
図2に、実施形態に係る眼科装置10の構成例のブロック図を示す。
[Ophthalmological equipment]
FIG. 2 shows a block diagram of a configuration example of the
眼科装置10には、被検眼のOCTデータを取得するための光学系が設けられている。眼科装置10は、スウェプトソースOCTを実行する機能を備えているが、実施形態はこれに限定されない。例えば、OCTの種別はスウェプトソースOCTには限定されず、スペクトラルドメインOCT等であってもよい。スウェプトソースOCTは、波長掃引型(波長走査型)光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光をバランスドフォトダイオード等で検出し、波長の掃引及び測定光のスキャンに応じて収集された検出データにフーリエ変換等を施して画像を形成する手法である。スペクトラルドメインOCTは、低コヒーレンス光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光のスペクトル分布を分光器で検出し、検出されたスペクトル分布にフーリエ変換等を施して画像を形成する手法である。
The
眼科装置10は、制御部11と、データ収集部12と、画像形成部13と、通信部14とを含む。
The
制御部11は、眼科装置10の各部を制御する。特に、制御部11は、データ収集部12、画像形成部13、及び通信部14を制御する。
The
データ収集部12は、OCTを用いて被検眼をスキャンすることにより被検眼のデータ(例えば、3次元のOCTデータ)を収集する。データ収集部12は、干渉光学系12Aと、スキャン光学系12Bとを含む。
The
干渉光学系12Aは、光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光を参照光路を経由した参照光と干渉させて干渉光を生成し、生成された干渉光を検出する。干渉光学系12Aは、ファイバーカプラと、バランスドフォトダイオード等の受光器とを少なくとも含む。ファイバーカプラは、光源からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光と参照光路を経由した参照光と干渉させて干渉光を生成する。受光器は、ファイバーカプラにより生成された干渉光を検出する。干渉光学系12Aは、光源を含んでよい。
The interference
スキャン光学系12Bは、制御部11からの制御を受け、干渉光学系12Aにより生成された測定光を偏向することにより被検眼の眼底における測定光の入射位置を変更する。スキャン光学系12Bは、例えば、被検眼の瞳孔と光学的に略共役な位置に配置された光スキャナを含む。光スキャナは、例えば、測定光を水平方向に偏向する第1ガルバノミラーと、測定光を垂直方向に偏向する第2ガルバノミラーと、これらを独立に駆動する機構とを含んで構成される。例えば、第2ガルバノミラーは、第1ガルバノミラーにより偏向された測定光を更に偏向するように構成される。それにより、測定光を眼底平面上の任意の方向にスキャンすることができる。
The scanning
干渉光学系12Aによる干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す干渉信号である。
The detection result (detection signal) of the interference light by the interference
画像形成部13は、制御部11からの制御を受け、データ収集部12により収集された被検眼のデータに基づいて被検眼の眼底の断層像の画像データを形成する。この処理には、ノイズ除去(ノイズ低減)、フィルタ処理、FFT(Fast Fourier Transform)などの処理が含まれている。このようにして取得される画像データは、複数のAライン(被検眼内における各測定光の経路)における反射強度プロファイルを画像化することにより形成された一群の画像データを含むデータセットである。画質を向上させるために、同じパターンでのスキャンを複数回繰り返して収集された複数のデータセットを重ね合わせる(加算平均する)ことができる。
The
画像形成部13は、3次元のOCTデータに各種のレンダリングを施すことで、Bスキャン画像、Cスキャン画像、en-face画像、プロジェクション画像、シャドウグラムなどを形成することができる。Bスキャン画像やCスキャン画像のような任意断面の画像は、指定された断面上の画素(ピクセル、ボクセル)を3次元のOCTデータ(画像データ)から選択することにより形成される。en-face画像は、3次元のOCTデータ(画像データ)の一部を平坦化(フラットニング)することにより形成される。いくつかの実施形態では、en-face画像は、Aスキャン方向(Z方向、深さ方向)の所定の位置のOCT画像として形成される。プロジェクション画像は、3次元のOCTデータを所定方向(Z方向、深さ方向、Aスキャン方向)に投影することによって形成される。シャドウグラムは、3次元のOCTデータの一部(例えば特定層に相当する部分データ)を所定方向に投影することによって形成される。
The
いくつかの実施形態に係る眼科装置10には、画像形成部13により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施すデータ処理部が設けられる。例えば、データ処理部は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
The
制御部11及び画像形成部13のそれぞれは、プロセッサを含む。プロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を含む。画像形成部13の機能は、画像形成プロセッサにより実現される。いくつかの実施形態では、制御部11及び画像形成部13の双方の機能が1つのプロセッサにより実現される。いくつかの実施形態では、眼科装置10にデータ処理部が設けられている場合、データ処理部の機能もまたプロセッサにより実現される。
Each of the
プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。記憶回路や記憶装置の少なくとも一部がプロセッサに含まれていてよい。また、記憶回路や記憶装置の少なくとも一部がプロセッサの外部に設けられていてよい。 The processor realizes the functions according to the embodiment by, for example, reading and executing a program stored in a storage circuit or a storage device. At least part of the storage circuit or storage device may be included in the processor. Further, at least a portion of the memory circuit or the memory device may be provided outside the processor.
記憶装置等は、各種のデータを記憶する。記憶装置等に記憶されるデータとしては、データ収集部12により取得されたデータ(測定データ、撮影データ等)や、被検者及び被検眼に関する情報などがある。記憶装置等には、眼科装置10の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
The storage device and the like store various data. The data stored in the storage device or the like includes data acquired by the data collection unit 12 (measurement data, photographic data, etc.), information regarding the subject and the subject's eye, and the like. Various computer programs and data for operating each part of the
通信部14は、制御部11からの制御を受け、眼科情報処理装置100との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
The
いくつかの実施形態に係る眼科装置10は、画像形成部13により形成された被検眼の画像データを眼科情報処理装置100に送信する。
The
いくつかの実施形態に係る眼科装置10には、被検眼の眼底の画像を取得するための眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡が設けられる。いくつかの実施形態では、眼底カメラにより取得される眼底画像は、フルオレセイン蛍光眼底造影画像又は眼底自発蛍光検査画像である。
The
[眼科情報処理装置]
図3~図5に、実施形態に係る眼科情報処理装置100の構成例のブロック図を示す。図3は、眼科情報処理装置100の機能ブロック図を表す。図4は、図3の解析部200の機能ブロック図を表す。図5は、図3の推論モデル構築部210の機能ブロック図を表す。
[Ophthalmology information processing device]
3 to 5 are block diagrams showing an example of the configuration of the ophthalmological information-
眼科情報処理装置100は、制御部110と、画像形成部120と、データ処理部130と、通信部140とを含む。
The ophthalmological
画像形成部120は、制御部110からの制御を受け、眼科装置10により取得された3次元のOCTデータからOCT画像を形成する。画像形成部120は、画像形成部13と同様に上記の画像を形成することが可能である。
The
データ処理部130は、画像形成部120により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施す。例えば、データ処理部130は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部130は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部130は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。
The
また、データ処理部130(又は画像形成部120)は、3次元のOCTデータに基づいて形成されたOCT画像からBスキャン画像、Cスキャン画像、en-face画像、プロジェクション画像、シャドウグラムなどを形成することが可能である。 Further, the data processing unit 130 (or image forming unit 120) forms a B-scan image, a C-scan image, an en-face image, a projection image, a shadowgram, etc. from an OCT image formed based on three-dimensional OCT data. It is possible to do so.
データ処理部130は、形成された被検眼の画像に対して所定のデータ処理を施す。データ処理部130は、解析部200と、推論モデル構築部210と、推論部220とを含む。
The
解析部200は、画像形成部120により形成された被検眼の眼底の画像データ(又は眼科装置10により取得された被検眼の眼底の画像データ)に対して所定の解析処理を施す。いくつかの実施形態に係る解析処理には、眼底の所定の層領域(層組織)の特定処理、眼底の所定の層領域(層組織)の画像の生成処理などが含まれる。
The
解析部200は、図4に示すように、セグメンテーション処理部201と、正面画像生成部202とを含む。
As shown in FIG. 4, the
セグメンテーション処理部201は、眼科装置10により取得された被検眼のデータに基づいてAスキャン方向の複数の層領域を特定する。いくつかの実施形態に係るセグメンテーション処理部201は、3次元のOCTデータを解析することにより、被検眼の複数の組織に相当する複数の部分データセットを特定する。セグメンテーション処理は、特定の組織や組織境界を特定するための画像処理である。例えば、セグメンテーション処理部201は、OCTデータに含まれる各Aスキャン画像における画素値(輝度値)の勾配を求め、勾配が大きい位置を組織境界として特定する。なお、Aスキャン画像は、眼底の深さ方向にのびる1次元画像データである。なお、眼底の深さ方向は、例えば、Z方向、OCT測定光の入射方向、軸方向、干渉光学系の光軸方向などとして定義される。
The
典型的な例において、セグメンテーション処理部201は、眼底(網膜、脈絡膜等)及び硝子体を表す3次元のOCTデータを解析することにより、眼底の複数の層組織に相当する複数の部分データセットを特定する。各部分データセットは、層組織の境界によって画成される。部分データセットとして特定される層組織の例として、網膜を構成する層組織がある。網膜を構成する層組織には、内境界膜、神経繊維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、RPEがある。更に、セグメンテーション処理部201は、ブルッフ膜、脈絡膜、強膜、硝子体等に相当する部分データセットを特定することができる。セグメンテーション処理部201は、脈絡膜におけるChoriocapillaris層、Sattler層、及びHaller層に相当する部分データセットを特定すること可能である。特に、セグメンテーション処理部201は、例えば、上記の“Automated segmentation for en face choroidal images obtained by optical coherent tomography by machine learning”に記載された手法を用いて脈絡膜におけるHaller層に相当する部分データセットを特定することが可能である。いくつかの実施形態に係るセグメンテーション処理部201は、病変部に相当する部分データセットを特定する。病変部の例として、剥離部、浮腫、出血、腫瘍、ドルーゼンなどがある。
In a typical example, the
いくつかの実施形態に係るセグメンテーション処理部201は、RPEに対して強膜側の所定のピクセル数分の層組織をブルッフ膜として特定し、当該層組織に相当する部分データセットをブルッフ膜の部分データセットとして取得する。
The
正面画像生成部202は、正面画像として上記のen-face画像を生成する。具体的には、正面画像生成部202は、セグメンテーション処理部201により特定された脈絡膜のHaller層に相当する層領域の任意の深さ位置におけるen-face画像を生成する。例えば、正面画像生成部202は、Haller層の浅層側の境界位置を基準に深層方向に複数の深さ位置における複数のen-face画像を生成する。Haller層の浅層側の境界位置を0%の深さ位置とし、深層側の境界位置を100%の深さ位置と表記すると、正面画像生成部202は、例えば、10%の深さ位置から50%の深さ位置の範囲で複数のen-face画像を生成することが可能である。
The front
推論モデル構築部210は、図5に示すように、第1学習部211と、第2学習部212と、推論モデル生成部213とを含む。
As shown in FIG. 5, the inference
図6~図8に、図5の推論モデル構築部210の動作説明図を示す。図6は、図5の第1学習部211の動作説明図を模式的に表す。図7は、図5の第2学習部212の動作説明図を模式的に表す。図8は、図5の推論モデル生成部213の動作説明図を模式的に表す。
6 to 8 are diagrams illustrating the operation of the inference
第1学習部211は、自己符号化器(autoencoder)に対して訓練データを用いた教師なし機械学習(unsupervised machine learning)を実行する。この実施形態では、自己符号化器は、変分自己符号化器(Variational autoencoder:VAE)である場合について説明するが、実施形態に係る自己符号化器は、変分自己符号化器以外の自己符号化器であってよい。
The
図6に示すように、実施形態に係る自己符号化器211Bは、エンコーダENと、デコーダDEとを含む。デコーダDEの入力(入力層のユニット)には、エンコーダENの出力データが入力されるように構成されている。エンコーダENの入力の次元数は、エンコーダENの出力の次元数より大きい。エンコーダENは、入力データIn1を所定の確率分布に従った潜在空間に圧縮することで入力データIn1の次元圧縮を行い、入力データIn1を特徴量としての潜在変数Vaに変換する。デコーダDEの入力の次元数は、デコーダDEの出力の次元数より小さい。デコーダDEは、エンコーダENの変換と逆の変換を行い、潜在変数Vaに対応した出力データOut1を出力する。
As shown in FIG. 6, the
このようなエンコーダEN及びデコーダDEのそれぞれは、ニューラルネットワークにより構成される。例えば、自己符号化器211Bが、入力層と中間層と出力層とを含む。この場合、エンコーダENは、入力層における第1~第L(Lは2以上の整数)の入力層ユニットと中間層における第1~第M(MはLより小さい整数)の中間層ユニットとの間のニューラルネットワークにより構成される。同様に、デコーダDEは、中間層における第1~第Mの中間層ユニットと出力層における第1~第N(NはMより大きい整数)の出力層ユニットとの間のニューラルネットワークにより構成される。
Each of the encoder EN and decoder DE is configured by a neural network. For example, the
第1~第Lの入力層ユニットのそれぞれは、第1~第Mの中間層ユニットのいずれかと結合され、入力層ユニットと中間層ユニットとの間には結合係数が割り当てられている。各中間層ユニットには、結合された1以上の入力層ユニットの情報と各結合間の結合係数とから得られた情報を所定の活性化関数で演算した情報が入力される。例えば、第1~第Lの入力層ユニットの情報が入力データに対応し、第1~第Mの中間層ユニットの情報が潜在変数Vaに対応する。 Each of the first to Lth input layer units is coupled to one of the first to Mth intermediate layer units, and a coupling coefficient is assigned between the input layer unit and the intermediate layer unit. Information obtained by calculating information obtained from information of one or more connected input layer units and a coupling coefficient between each connection using a predetermined activation function is input to each intermediate layer unit. For example, information on the first to Lth input layer units corresponds to input data, and information on the first to Mth intermediate layer units corresponds to the latent variable Va.
同様に、第1~第Mの中間層ユニットのそれぞれは、第1~第Nの出力層ユニットのいずれかと結合され、中間層ユニットと出力層ユニットとの間には結合係数が割り当てられている。各出力層ユニットには、結合された1以上の中間層ユニットの情報と各結合間の結合係数とから得られた情報を所定の活性化関数で演算した情報が入力される。例えば、第1~第Nの出力層ユニットの情報が、出力データに対応する。 Similarly, each of the first to Mth intermediate layer units is coupled to one of the first to Nth output layer units, and a coupling coefficient is assigned between the intermediate layer unit and the output layer unit. . Information obtained by calculating information obtained from information of one or more combined intermediate layer units and a coupling coefficient between each connection using a predetermined activation function is input to each output layer unit. For example, information on the first to Nth output layer units corresponds to output data.
第1学習部211は、第1学習処理部211Aを含む。第1学習処理部211Aは、デコーダDEの出力データがエンコーダENの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。これにより、デコーダDEの出力データがエンコーダENの入力データに一致するように、入力層ユニットと中間層ユニットとの間の結合係数と、中間層ユニットと出力層ユニットとの間の結合係数とが更新される。
The
この実施形態では、第1学習部211は、正面画像生成部202により生成された複数のen-face画像を訓練データとして教師なし機械学習を実行する。複数のen-face画像は、Haller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置の範囲の画像である。
In this embodiment, the
第2学習部212は、分類器に対して教師データを用いた教師あり機械学習(supervised machine learning)を実行する。この実施形態では、分類器は、サポートベクタマシン(Support Vector Machine:SVM)である場合について説明するが、実施形態に係る分類器は、ランダムフォレストなどのサポートベクタマシン以外の分類器であってよい。
The
図7に示すように、分類器CLには、第1学習部211により学習されたエンコーダENの出力データ(特徴量)が入力される。すなわち、分類器CLは、エンコーダENの入力データIn2の特徴量に対応した推論結果(分類結果、確信度)を出力データOut2として出力するように構成されている。分類器CLは、例えば、入力データに対する(仮想的な)識別境界線を変更することにより推論結果を変更することが可能である。識別境界線は、教師あり機械学習によって更新される。
As shown in FIG. 7, the output data (feature amount) of the encoder EN learned by the
第2学習部212は、第2学習処理部212Aを含む。第2学習処理部212Aは、教師データを用いて分類器CLに対して教師あり機械学習を実行する。ここで、教師データは、エンコーダENに入力されたラベル付きデータに対応してエンコーダENから出力された出力データと、上記ラベル付きデータに付されたラベルとを含む。このような教師データを用いた公知の機械学習を実行することにより、識別境界線を変更することができる。
The
この実施形態では、第2学習部212は、正面画像生成部202により生成された複数のen-face画像の一部を教師データとして教師あり機械学習を実行する。教師データは、Haller層の浅層側の境界位置を基準に25%の深さ位置の画像に対して、事前に医師等が脈絡膜血管の走行パターンに対称性があるか否かの判断結果をラベルとして付したデータである。すなわち、第2学習部212が用いる教師データは、第1学習部211が用いる複数の訓練データの一部に対してラベルを付したデータを含む。
In this embodiment, the
推論モデル生成部213は、入力データに対応するラベル(例えば、分類結果、確信度。広義には、情報)を推論するための推論モデルを生成する。図8に示すように、推論モデル生成部213は、第1学習部211により実行された教師なし機械学習により得られたエンコーダENと第2学習部212により実行された教師あり機械学習により得られた分類器CLとを用いて、上記の推論モデルを生成する。ここで、推論モデルは、入力データを受け付けるエンコーダENと、エンコーダENの出力にその入力が結合された分類器CLとを含み、分類器CLの出力データが入力データに対する推論結果として出力される。
The inference
推論部220は、推論モデル生成部213により生成された推論モデルを用いて、推論モデルの入力データInに対応する出力データOutを推論結果として出力する。
The
図3において、通信部140は、制御部110からの制御を受け、眼科情報処理装置100の通信部14との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。
In FIG. 3, the
制御部110は、眼科情報処理装置100の各部を制御する。特に、制御部110は、画像形成部120と、データ処理部130と、通信部140とを制御する。制御部110は、主制御部111と、記憶部112とを含む。
The
制御部110は、操作装置180に対するユーザの操作内容に対応した操作指示信号に基づいて、眼科システム1の各部を制御する。
The
制御部110、画像形成部120、及びデータ処理部130のそれぞれは、プロセッサを含む。画像形成部120の機能は、画像形成プロセッサにより実現される。データ処理部130の機能は、データ処理プロセッサにより実現される。いくつかの実施形態では、制御部110、画像形成部120、及びデータ処理部130のうち少なくとも2つの機能が1つのプロセッサにより実現される。
Each of the
記憶部112は、各種のデータを記憶する。記憶部112に記憶されるデータとしては、眼科装置10により取得されたデータ(測定データ、撮影データ等)、画像形成部120により形成された画像データ、データ処理部130によるデータ処理結果、被検者及び被検眼に関する情報などがある。記憶部112には、眼科情報処理装置100の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。
The
眼科情報処理装置100は、実施形態に係る「情報処理装置」の一例である。エンコーダENは、実施形態に係る「特徴量抽出器」の一例である。
The ophthalmological
[動作例]
いくつかの実施形態に係る眼科情報処理装置100の動作例について説明する。
[Operation example]
Operation examples of the ophthalmological
図9及び図10に、実施形態に係る眼科情報処理装置100の動作説明図を示す。図9は、眼科情報処理装置100の動作例のフロー図を表す。記憶部112には、図9に示す処理を実現するためのコンピュータプログラムが記憶されている。制御部110(主制御部111)は、このコンピュータプログラムに従って動作することにより、図9に示す処理を実行することが可能である。図10は、図9の動作例のフロー図に対応した動作説明図である。図10において、図6~図8と同様の部分には同一符号を付し、適宜説明を省略する。
Figures 9 and 10 show operation explanatory diagrams of the ophthalmological
図9では、事前に眼科装置10を用いて複数の被検眼に対してOCTを実行し、得られたOCTデータから脈絡膜のHaller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置までの範囲の複数のen-face画像(例えば、14760枚)が形成されているものとする。1つの被検眼のOCTデータから、深さ位置が異なる複数のen-face画像を事前に形成することが可能である。また、得られた複数のen-face画像のうち25%の深さ位置の複数のen-face画像について、事前に脈絡膜血管の走行パターンの対称性の判断結果に対応したラベルが付されているものとする(例えば、対称であると判断された216枚、非対称であると判断された236枚)。
In FIG. 9, OCT is performed on a plurality of eyes to be examined using the
(S1:VAEに対して教師なし機械学習を実行)
まず、制御部110は、第1学習部211を制御することにより、自己符号化器211Bに対して、デコーダDEの出力データがエンコーダENの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。
(S1: Perform unsupervised machine learning on VAE)
First, by controlling the
ステップS1では脈絡膜のHaller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置までの範囲の複数のen-face画像(例えば、14760枚)を訓練データとして、各en-face画像を用いて教師なし機械学習が実行される。 In step S1, a plurality of en-face images (for example, 14,760 images) ranging from a depth position of 10% to a depth position of 50% based on the boundary position of the shallow layer of the Haller layer of the choroid are used as training data. , unsupervised machine learning is performed using each en-face image.
これにより、ステップS1では、図10に示すように、大量の訓練データを用いた教師なし機械学習により学習されたエンコーダENが得られる。 As a result, in step S1, an encoder EN trained by unsupervised machine learning using a large amount of training data is obtained, as shown in FIG. 10.
(S2:SVMに対して教師あり機械学習を実行)
続いて、制御部110は、第2学習部212を制御することにより、分類器(SVM)CLに対して、エンコーダENに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いて教師あり機械学習を実行する。
(S2: Perform supervised machine learning on SVM)
Subsequently, the
ステップS2では、脈絡膜のHaller層の浅層側の境界位置を基準に25%の深さ位置の複数のen-face画像(例えば、452(=216+236)枚)を教師データとして、各en-face画像を用いて教師あり機械学習が実行される。具体的には、ステップS1において教師なし機械学習により学習されたエンコーダENに各en-face画像を入力し、得られたエンコーダENの出力データ(特徴量)を分類器CLに入力し、分類器CLの出力データが教師データのラベルと一致するように、分類器CLを学習させる。 In step S2, a plurality of en-face images (for example, 452 (=216+236) images) at a depth of 25% with respect to the superficial boundary position of the Haller layer of the choroid are used as training data, and each en-face image is Supervised machine learning is performed using images. Specifically, each en-face image is input to the encoder EN learned by unsupervised machine learning in step S1, and the output data (feature amount) of the encoder EN obtained is input to the classifier CL. The classifier CL is trained so that the output data of CL matches the label of the teacher data.
これにより、ステップS2では、図10に示すように、少量の教師データを用いた教師あり機械学習により学習された分類器CLが得られる。 Thereby, in step S2, as shown in FIG. 10, a classifier CL learned by supervised machine learning using a small amount of teacher data is obtained.
(S3:推論モデルを生成)
その後、制御部110は、推論モデル生成部213を制御することにより、推論部220において用いられる推論モデルを生成させる。具体的には、推論モデル生成部213は、ステップS1において得られたエンコーダENと、ステップS2において得られた分類器CLとを用いた推論モデルを生成する。
(S3: Generate inference model)
Thereafter, the
これにより、ステップS3では、図10に示すように、少量の教師データを用いた機械学習により高精度な出力を得ることが可能な推論モデルが得られる。 Thereby, in step S3, as shown in FIG. 10, an inference model that can obtain highly accurate output is obtained by machine learning using a small amount of teacher data.
ステップS3において生成された推論モデルを用いて、ステップS1において得られたエンコーダENの入力データに対応した出力データを入力データの特徴量として出力し、ステップS2において得られた分類器CLにより上記の特徴量に基づいて入力データに対応するラベルを推論することが可能である。 Using the inference model generated in step S3, the output data corresponding to the input data of the encoder EN obtained in step S1 is output as the feature quantity of the input data, and the above-mentioned It is possible to infer a label corresponding to input data based on features.
すなわち、推論モデルを構成するエンコーダENは、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、エンコーダENの入力データに対応した出力データを入力データの特徴量として出力する。また、推論モデルを構成する分類器CLは、エンコーダENに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、エンコーダENにより出力された特徴量に基づいて入力データに対応するラベルを推論する。 That is, the encoder EN constituting the inference model includes an encoder constituting an autoencoder trained by unsupervised machine learning using training data, and outputs output data corresponding to the input data of the encoder EN as a feature of the input data. The classifier CL constituting the inference model is trained by supervised machine learning using the output data corresponding to the labeled data input to the encoder EN and the labels attached to the labeled data as supervised data, and infers a label corresponding to the input data based on the feature output by the encoder EN.
以上で、眼科情報処理装置100の動作は終了である(エンド)。 This is the end of the operation of the ophthalmological information processing apparatus 100 (end).
以上のように、実施形態によれば、少量の教師データを用いた機械学習により高精度な出力を得ることが可能になる。 As described above, according to the embodiment, it is possible to obtain highly accurate output through machine learning using a small amount of training data.
ここで、学習データ(ここでは、教師データ)が少量の場合、畳み込みニューラルネットワークと実施形態に係る推論モデルとについて受信者動作特性曲線下面積(Area Under Receiver Operating Characteritic curve:AUROC)を評価する。 Here, when the learning data (here, teaching data) is small, the area under the receiver operating characteristic curve (AUROC) is evaluated for the convolutional neural network and the inference model according to the embodiment.
図11A及び図11Bに、畳み込みニューラルネットワーク及び実施形態に係る推論モデルのAUROCの評価結果の一例を示す。図11Aは、畳み込みニューラルネットワークのAUROCの評価結果の一例を表す。図11Bは、実施形態に係る推論モデルのAUROCの評価結果の一例を表す。 FIGS. 11A and 11B show examples of AUROC evaluation results of the convolutional neural network and the inference model according to the embodiment. FIG. 11A represents an example of an evaluation result of AUROC of the convolutional neural network. FIG. 11B represents an example of the AUROC evaluation result of the inference model according to the embodiment.
図11A及び図11Bでは、実施形態において教師あり機械学習で用いた452例の教師データの一部である45例を訓練データとし、残りの407例を検証データとし(すなわち、学習データが少ない)、10分割の交差検証の評価結果がAUROCとして表されている。 In FIGS. 11A and 11B, 45 examples, which are part of the 452 examples of teacher data used in supervised machine learning in the embodiment, are used as training data, and the remaining 407 examples are used as verification data (that is, there is little training data). , the evaluation results of 10-fold cross validation are expressed as AUROC.
図11Aに示す畳み込みニューラルネットワークの評価結果では、AUROC=0.747±0.064である。図11Bに示す実施形態に係る推論モデルの評価結果では、AUROC=0.841±0.021である。有意水準のp値が「0.05」であるウィルコクンソンの符号付順位和検定(Wilcoxon signed-rank sum test)では、図11Aと図11Bの評価結果はp値が0.00503であり有意差があると考えられる。学習データが少ない場合、データ依存性が高くなり、畳み込みニューラルネットワークではAUROCの分散が大きくなる。すなわち、実施形態によれば、学習データが少ない場合、データ依存性が低く、畳み込みニューラルネットワークより高い精度で入力データに対応するラベルを推論することができることを意味する。 The evaluation result of the convolutional neural network shown in FIG. 11A is AUROC=0.747±0.064. The evaluation result of the inference model according to the embodiment shown in FIG. 11B is AUROC=0.841±0.021. In the Wilcoxon signed-rank sum test, where the significance level p value is "0.05", the evaluation results in Figures 11A and 11B are significant with a p value of 0.00503. It is thought that there is a difference. When training data is small, data dependence becomes high, and the variance of AUROC becomes large in a convolutional neural network. That is, according to the embodiment, when the training data is small, data dependence is low, and it means that a label corresponding to the input data can be inferred with higher accuracy than a convolutional neural network.
<変形例>
いくつかの実施形態に係る構成は、上記の構成に限定されるものではない。
<Modified example>
Configurations according to some embodiments are not limited to the above configurations.
いくつかの実施形態に係る眼科装置は、眼科装置10の機能に加えて、眼科情報処理装置100の機能、操作装置180の機能、及び表示装置190の機能の少なくとも1つを備える。
In addition to the functions of the
以下、いくつかの実施形態の変形例に係る眼科装置について、上記の実施形態に係る眼科装置との相違点を中心に説明する。 Hereinafter, ophthalmologic apparatuses according to some modified examples of the embodiments will be described, focusing on the differences from the ophthalmologic apparatuses according to the above-described embodiments.
図12に、実施形態の変形例に係る眼科装置10aの構成例のブロック図を示す。図12において、図2と同様の部分には同一符号を付し、適宜説明を省略する。
FIG. 12 shows a block diagram of a configuration example of an
本変形例に係る眼科装置10aの構成が上記の実施形態に係る眼科装置10の構成と異なる点は、眼科装置10aが、眼科情報処理装置100の機能と、操作装置180の機能と、表示装置190の機能とを備えている点である。眼科装置10aは、制御部11aと、データ収集部12と、画像形成部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを含む。
The configuration of the
制御部11aは、眼科装置10aの各部を制御する。特に、制御部11aは、データ収集部12と、画像形成部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを制御する。
The
眼科情報処理部15aは、眼科情報処理装置100と同様の構成を有し、眼科情報処理装置100と同様の機能を備えている。操作部16aは、操作装置180と同様の構成を有し、操作装置180と同様の機能を備えている。表示部17aは、表示装置190と同様の構成を有し、表示装置190と同様の機能を備えている。
The ophthalmological
本変形例によれば、コンパクトな構成で、少量の教師データを用いた機械学習により高精度な出力を得ることが可能な眼科装置を提供することができる。 According to this modification, it is possible to provide an ophthalmologic apparatus that has a compact configuration and can obtain highly accurate output through machine learning using a small amount of teacher data.
<その他の変形例>
上記の実施形態又はその変形例では、脈絡膜におけるHaller層の訓練データ及び教師データを用いて学習された推論モデルを用いて、脈絡血管の走行パターンが対称であるか否かを推論する場合について説明した。しかしながら、実施形態に係る構成はこれに限定されるものではない。例えば、脈絡膜におけるHaller層の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、脈絡血管の走行パターンを予め決められた複数のパターン種別に分類することが可能である。また、例えば、
脈絡膜におけるHaller層の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、pachychoroidスペクトラム疾患群(pachychoroid spectrum disease)に含まれる複数の疾患の種別に分類することが可能である。
<Other variations>
In the above embodiment or its modification, a case will be described in which it is inferred whether or not the running pattern of the choroid blood vessels is symmetrical using an inference model learned using training data and teacher data of the Haller layer in the choroid. did. However, the configuration according to the embodiment is not limited to this. For example, it is possible to classify running patterns of choroidal vessels into a plurality of predetermined pattern types using an inference model learned in the same manner as in the embodiment using training data and teacher data of the Haller layer in the choroid. be. Also, for example,
It is possible to classify multiple disease types included in the pachychoroid spectrum disease group using an inference model learned in the same manner as in the embodiment using training data and teacher data of the Haller layer in the choroid. It is.
また、上記の実施形態又はその変形例において、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、正常眼であるか緑内障眼でるかを分類することが可能である。また、例えば、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、所定の部位(例えば視神経乳頭)が出血しているか否かを分類することが可能である。また、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、網膜芽細胞腫や脈絡膜悪性黒色腫などの眼腫瘍の有無を分類することが可能である。 Further, in the above embodiment or a modification thereof, an inference model learned in the same manner as in the embodiment using training data and teacher data of a fundus photograph (for example, a color fundus photograph) obtained using a fundus camera etc. It is possible to classify whether the eye is normal or has glaucomatous. For example, a predetermined region (e.g., It is possible to classify whether the optic disc (optic disc) is bleeding or not. In addition, using an inference model learned in the same manner as in the embodiment using training data and teacher data of fundus photographs (e.g., color fundus photographs) obtained using a fundus camera, etc., retinoblastoma and choroidal malignant It is possible to classify the presence or absence of eye tumors such as melanoma.
<効果>
以下、いくつかの実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムについて説明する。
<Effect>
Information processing apparatuses, inference model generation methods, information processing methods, and programs according to some embodiments will be described below.
いくつかの実施形態に係る情報処理装置(眼科情報処理装置100、眼科情報処理部15a)は、第1学習部(211)と、第2学習部(212)と、推論モデル生成部(213)とを含む。第1学習部は、エンコーダ(EN)とエンコーダの出力データが入力されるデコーダ(DE)とを含む自己符号化器(211B)に対し、デコーダの出力データがエンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。第2学習部は、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いて分類器(CL)に対して教師あり機械学習を実行する。推論モデル生成部は、教師なし機械学習により得られたエンコーダと教師あり機械学習により得られた分類器とを用いて、エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する。
An information processing device (ophthalmological
このような構成によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能になる。 With this configuration, compared to convolutional neural networks, it is possible to generate an inference model that has low data dependence and can infer labels corresponding to input data with high accuracy even with a small amount of training data. It becomes possible.
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、分類器は、正面画像に描出された血管の走行パターンが対称であるか否かを推論する。 In some embodiments, the training data is image data representing an en-face image of the fundus depicting blood vessels in the choroid, and the classifier infers whether the pattern of blood vessels depicted in the en-face image is symmetric or not.
このような構成によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能な推論モデルを生成することができるようになる。 According to such a configuration, it becomes possible to generate an inference model that can infer with high accuracy whether or not the running pattern of blood vessels in the choroid is symmetrical using a small amount of training data. .
いくつかの実施形態に係る情報処理装置(眼科情報処理装置100、眼科情報処理部15a)は、特徴量抽出器(エンコーダEN)と、分類器(CL)とを含む。特徴量抽出器は、訓練データを用いた教師なし機械学習により学習された自己符号化器(212b)を構成するエンコーダを含み、エンコーダの入力データに対応した出力データを入力データの特徴量として出力する。分類器は、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、特徴量抽出器により出力された特徴量に基づいて入力データに対応するラベルを推論する。
An information processing device (ophthalmological
このような構成によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能になる。 Compared to convolutional neural networks, this configuration has low data dependency and makes it possible to infer labels corresponding to input data with high accuracy, even with a small amount of training data.
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、ラベル付きデータは、血管の走行パターンが対称であるか否かを示すラベルが付された正面画像を表す画像データである。 In some embodiments, the training data is image data representing an en-face image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is image data representing whether the running pattern of the blood vessels is symmetrical or not. This is image data representing a frontal image with a label indicating that it is a front image.
このような構成によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。 According to such a configuration, it is possible to infer with high precision whether the running pattern of blood vessels in the choroid is symmetrical or not using a small amount of training data.
いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。 In some embodiments, the en face image is an en face image of the Haller layer in the choroid.
このような構成によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。 According to this configuration, by using the frontal image of the Haller layer, which is considered to be easy to understand the state of the choroidal blood vessels, it is possible to infer with higher precision whether the running pattern of the blood vessels in the choroid is symmetrical or not. It becomes possible to do so.
いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。 In some embodiments, the labeled data includes labeled portions of the training data.
このような構成によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。 According to such a configuration, by simply preparing a small amount of labeled data, it becomes possible to infer a label corresponding to input data with higher accuracy.
いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus.
このような構成によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a configuration, it becomes possible to create a plurality of training data from measurement data (for example, OCT data) acquired for one eye to be examined. This makes it possible to further improve learning accuracy and infer labels corresponding to input data with even higher accuracy.
いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a frontal image of the fundus at a predetermined depth position within a predetermined depth range.
このような構成によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a configuration, a front image at a predetermined depth position from among a plurality of front images within a predetermined depth range can be used for supervised machine learning. Thereby, training data and teacher data can be collected efficiently, learning accuracy can be further improved, and labels corresponding to input data can be inferred with even higher accuracy.
いくつかの実施形態に係る推論モデル生成方法は、第1学習ステップと、第2学習ステップと、推論モデル生成ステップとを含む。第1学習ステップでは、エンコーダ(EN)とエンコーダの出力データが入力されるデコーダ(DE)とを含む自己符号化器(212b)に対し、デコーダの出力データがエンコーダの入力データに一致するように訓練データを用いた教師なし機械学習が実行される。第2学習ステップでは、エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器(CL)に対して教師あり機械学習が実行される。推論モデル生成ステップでは、教師なし機械学習により得られたエンコーダと教師あり機械学習により得られた分類器とを用いて、エンコーダの入力データに対応するラベルを推論するための推論モデルが生成される。 An inference model generation method according to some embodiments includes a first learning step, a second learning step, and an inference model generation step. In the first learning step, the self-encoder (212b) including an encoder (EN) and a decoder (DE) to which the output data of the encoder is input is trained so that the output data of the decoder matches the input data of the encoder. Unsupervised machine learning is performed using training data. In the second learning step, supervised machine learning is performed on the classifier (CL) using the output data corresponding to the labeled data input to the encoder and the label attached to the labeled data as training data. be done. In the inference model generation step, an inference model for inferring a label corresponding to the input data of the encoder is generated using the encoder obtained by unsupervised machine learning and the classifier obtained by supervised machine learning. .
このような方法によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能になる。 Compared to convolutional neural networks, this method makes it possible to generate an inference model that has low data dependency and can infer labels corresponding to input data with high accuracy, even with a small amount of training data.
いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。 In some embodiments, the labeled data includes labeled portions of the training data.
このような方法によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。 According to such a method, by simply preparing a small amount of labeled data, it becomes possible to infer a label corresponding to input data with higher accuracy.
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、分類器は、正面画像に描出された血管の走行パターンが対称であるか否かを推論する。 In some embodiments, the training data is image data representing an en-face image of the fundus in which blood vessels in the choroid are depicted, and the classifier is configured to Infer whether it is symmetric or not.
このような方法によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。 According to such a method, using a small amount of training data, it is possible to infer with high precision whether the running pattern of blood vessels in the choroid is symmetrical or not.
いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。 In some embodiments, the en face image is an en face image of Haller's layer in the choroid.
このような方法によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。 According to this method, by using a frontal image of the Haller layer, which is considered to be easy to understand the state of choroidal blood vessels, it is possible to infer with higher accuracy whether the running pattern of blood vessels in the choroid is symmetrical or not. It becomes possible to do so.
いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In some embodiments, the training data includes image data of multiple frontal images at multiple positions within a predetermined depth range of the fundus.
このような方法によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a method, it becomes possible to create a plurality of training data from measurement data (for example, OCT data) acquired for one eye to be examined. This makes it possible to further improve learning accuracy and infer labels corresponding to input data with even higher accuracy.
いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a frontal image of the fundus at a predetermined depth position within a predetermined depth range.
このような方法によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a method, a front image at a predetermined depth position from a plurality of front images within a predetermined depth range can be used for supervised machine learning. Thereby, training data and teacher data can be collected efficiently, learning accuracy can be further improved, and labels corresponding to input data can be inferred with even higher accuracy.
いくつかの実施形態に係る情報処理方法は、特徴量抽出ステップと、推論ステップとを含む。特徴量抽出ステップでは、訓練データを用いた教師なし機械学習により学習された自己符号化器(212b)を構成するエンコーダ(EN)を用いて、エンコーダの入力データに対応した出力データが入力データの特徴量として出力される。推論ステップでは、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器(CL)を用いて、特徴量抽出ステップにおいて出力された特徴量に基づいて入力データに対応するラベルが推論される。 Information processing methods according to some embodiments include a feature amount extraction step and an inference step. In the feature extracting step, an encoder (EN) forming an autoencoder (212b) learned by unsupervised machine learning using training data is used to extract output data corresponding to the input data of the encoder from the input data. Output as a feature quantity. In the inference step, a classifier (CL) trained by supervised machine learning using output data corresponding to the labeled data input to the encoder and labels attached to the labeled data as training data is used. A label corresponding to the input data is inferred based on the feature quantity output in the feature quantity extraction step.
このような方法によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能になる。 According to such a method, compared to a convolutional neural network, even with a small amount of training data, data dependence is low, and a label corresponding to input data can be inferred with high accuracy.
いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。 In some embodiments, the labeled data includes labeled portions of the training data.
このような方法によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。 This method makes it possible to infer the label corresponding to the input data with high accuracy by simply preparing a small amount of labeled data.
いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、ラベル付きデータは、血管の走行パターンが対称であるか否かを示すラベルが付された正面画像を表す画像データである。 In some embodiments, the training data is image data representing an en-face image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is image data representing the en-face image with a label attached that indicates whether the blood vessel pattern is symmetric or not.
このような方法によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。 This method makes it possible to infer with high accuracy whether the blood vessel pattern in the choroid is symmetrical or not using a small amount of training data.
いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。 In some embodiments, the en face image is an en face image of Haller's layer in the choroid.
このような方法によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。 According to this method, by using a frontal image of the Haller layer, which is considered to be easy to understand the state of choroidal blood vessels, it is possible to infer with higher accuracy whether the running pattern of blood vessels in the choroid is symmetrical or not. It becomes possible to do so.
いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus.
このような方法によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a method, it becomes possible to create a plurality of training data from measurement data (for example, OCT data) acquired for one eye to be examined. This makes it possible to further improve learning accuracy and infer labels corresponding to input data with even higher accuracy.
いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a frontal image of the fundus at a predetermined depth position within a predetermined depth range.
このような方法によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to this method, a front image at a specified depth position from multiple front images within a specified depth range can be used for supervised machine learning. This makes it possible to efficiently collect training data and teacher data, further improving the accuracy of learning and making it possible to infer labels corresponding to input data with even greater accuracy.
いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の推論モデル生成方法の各ステップを実行させる。 A program according to some embodiments causes a computer to execute each step of the inference model generation method described above.
このようなプログラムによれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能なプログラムを提供することができるようになる。 Compared to convolutional neural networks, such programs can generate inference models that have low data dependence and can infer labels corresponding to input data with high accuracy even with a small amount of training data. We will be able to provide possible programs.
いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の情報処理方法の各ステップを実行させる。 A program according to some embodiments causes a computer to execute each step of any of the information processing methods described above.
このようなプログラムによれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能なプログラムを提供することができるようになる。 According to such a program, compared to a convolutional neural network, it is possible to provide a program that has low data dependence and can infer labels corresponding to input data with high accuracy even with a small amount of training data. become able to.
いくつかの実施形態に係る推論モデル生成方法又は情報処理方法を実現するためのプログラムを、コンピュータによって読み取り可能な非一時的な(non-transitory)任意の記録媒体に記憶させることができる。記録媒体は、磁気、光、光磁気、半導体などを利用した電子媒体であってよい。典型的には、記録媒体は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、ソリッドステートドライブなどである。 A program for implementing the inference model generation method or information processing method according to some embodiments can be stored in any non-transitory computer-readable recording medium. The recording medium may be an electronic medium using magnetism, light, magneto-optical, semiconductor, or the like. Typically, the recording medium is a magnetic tape, magnetic disk, optical disk, magneto-optical disk, flash memory, solid state drive, or the like.
また、インターネットやLAN等のネットワークを通じてコンピュータプログラムを送受信することも可能である。 It is also possible to send and receive computer programs through networks such as the Internet and LAN.
以上に説明した態様は、この発明を実施するための例に過ぎない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。 The embodiments described above are merely examples for implementing the invention. Those who wish to carry out this invention can make any modifications (omissions, substitutions, additions, etc.) within the scope of the gist of this invention.
1 眼科システム
10、10a 眼科装置
11、11a、110 制御部
12 データ収集部
12A 干渉光学系
12B スキャン光学系
13、120 画像形成部
14、140 通信部
15a 眼科情報処理部
16a 操作部
17a 表示部
100 眼科情報処理装置
111 主制御部
112 記憶部
130 データ処理部
180 操作装置
190 表示装置
200 解析部
201 セグメンテーション処理部
202 正面画像生成部
210 推論モデル構築部
211 第1学習部
211A 第1学習処理部
211B 自己符号化器
212 第2学習部
212A 第2学習処理部
213 推論モデル生成部
220 推論部
EN エンコーダ
DE デコーダ
1
Claims (15)
前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習部と、
前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成部と、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記分類器は、前記正面画像に描出された前記血管の走行パターンを予め決められた複数のパターン種別に分類する、情報処理装置。 Performing unsupervised machine learning using training data on an autoencoder including an encoder and a decoder to which the output data of the encoder is input so that the output data of the decoder matches the input data of the encoder. The first learning section,
a second learning unit that performs supervised machine learning on the classifier using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as teacher data;
an inference model that generates an inference model for inferring a label corresponding to input data of the encoder using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning; A generation section,
including;
The training data is image data representing a frontal image of the fundus in which blood vessels in Haller's layer in the choroid are depicted,
The classifier is an information processing device that classifies the running pattern of the blood vessel depicted in the frontal image into a plurality of predetermined pattern types .
前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、前記特徴量抽出器により出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する分類器と、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記ラベル付きデータは、予め決められた複数のパターン種別のうち前記血管の走行パターンが分類されるパターン種別を示すラベルが付された前記正面画像を表す画像データである、情報処理装置。 a feature extractor that includes an encoder constituting an autoencoder trained by unsupervised machine learning using training data, and outputs output data corresponding to input data of the encoder as a feature of the input data;
a classifier that learns by supervised machine learning using output data corresponding to labeled data input to the encoder and labels attached to the labeled data as training data, and infers a label corresponding to the input data based on the features output by the feature extractor;
Including,
The training data is image data representing a front image of a fundus in which blood vessels of the Haller layer in the choroid are depicted,
The labeled data is image data representing the front image to which a label indicating a pattern type into which the blood vessel running pattern is classified, among a plurality of predetermined pattern types, is attached.
ことを特徴とする請求項1又は請求項2に記載の情報処理装置。 The information processing apparatus according to claim 1 or 2, wherein the labeled data includes data in which a label is added to a part of the training data.
ことを特徴とする請求項1~請求項3のいずれか一項に記載の情報処理装置。 4. The information processing device according to claim 1 , wherein the training data includes image data of a plurality of front images taken at a plurality of positions within a predetermined depth range of the fundus.
ことを特徴とする請求項4に記載の情報処理装置。 The information processing apparatus according to claim 4 , wherein the training data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
前記コンピュータが、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習ステップと、
前記コンピュータが、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成ステップと、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記分類器は、前記正面画像に描出された前記血管の走行パターンを予め決められた複数のパターン種別に分類する、推論モデル生成方法。 A first learning step in which a computer executes unsupervised machine learning using training data on an autoencoder including an encoder and a decoder to which output data of the encoder is input, so that output data of the decoder matches input data of the encoder;
a second learning step in which the computer executes supervised machine learning on a classifier using output data corresponding to the labeled data input to the encoder and labels assigned to the labeled data as training data;
an inference model generation step in which the computer generates an inference model for inferring a label corresponding to input data of the encoder, using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning;
Including,
The training data is image data representing a front image of a fundus in which blood vessels of the Haller layer in the choroid are depicted,
An inference model generating method in which the classifier classifies the blood vessel running pattern depicted in the front image into multiple predetermined pattern types .
ことを特徴とする請求項6に記載の推論モデル生成方法。 The inference model generation method according to claim 6 , wherein the labeled data includes data in which a part of the training data is labeled.
ことを特徴とする請求項6又は請求項7に記載の推論モデル生成方法。 The inference model generating method according to claim 6 or claim 7, characterized in that the training data includes image data of multiple frontal images at multiple positions within a predetermined depth range of the fundus.
ことを特徴とする請求項8に記載の推論モデル生成方法。 The inference model generation method according to claim 8 , wherein the teacher data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
前記コンピュータが、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器を用いて、前記特徴量抽出ステップにおいて出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する推論ステップと、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記ラベル付きデータは、予め決められた複数のパターン種別のうち前記血管の走行パターンが分類されるパターン種別を示すラベルが付された前記正面画像を表す画像データである、情報処理方法。 A feature quantity in which a computer outputs output data corresponding to input data of the encoder as a feature quantity of the input data, using an encoder constituting an autoencoder learned by unsupervised machine learning using training data. an extraction step;
The computer uses a classifier learned by supervised machine learning using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as teacher data, an inference step of inferring a label corresponding to the input data based on the feature amount output in the feature amount extraction step;
including;
The training data is image data representing a frontal image of the fundus in which blood vessels in Haller's layer in the choroid are depicted,
The labeled data is image data representing the frontal image attached with a label indicating a pattern type into which the blood vessel running pattern is classified among a plurality of predetermined pattern types.
ことを特徴とする請求項10に記載の情報処理方法。 The information processing method according to claim 10 , wherein the labeled data includes data in which a part of the training data is labeled.
ことを特徴とする請求項10又は請求項11に記載の情報処理方法。 The information processing method according to claim 10 or 11 , wherein the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus of the eye.
ことを特徴とする請求項12に記載の情報処理方法。 The information processing method according to claim 12 , wherein the training data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229892A JP7457315B2 (en) | 2019-12-20 | 2019-12-20 | Information processing device, inference model generation method, information processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229892A JP7457315B2 (en) | 2019-12-20 | 2019-12-20 | Information processing device, inference model generation method, information processing method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099559A JP2021099559A (en) | 2021-07-01 |
JP7457315B2 true JP7457315B2 (en) | 2024-03-28 |
Family
ID=76541217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229892A Active JP7457315B2 (en) | 2019-12-20 | 2019-12-20 | Information processing device, inference model generation method, information processing method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7457315B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220272124A1 (en) * | 2021-02-19 | 2022-08-25 | Intuit Inc. | Using machine learning for detecting solicitation of personally identifiable information (pii) |
JP2024083838A (en) * | 2022-12-12 | 2024-06-24 | DeepEyeVision株式会社 | Information processing device, information processing method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4288124B2 (en) | 2003-09-04 | 2009-07-01 | 株式会社北川鉄工所 | Finger chuck |
JP2019087181A (en) | 2017-11-10 | 2019-06-06 | アズビル株式会社 | Device and method for image inspection |
JP2019530116A (en) | 2016-09-05 | 2019-10-17 | ケイロン メディカル テクノロジーズ リミテッド | Multimodal medical image processing |
-
2019
- 2019-12-20 JP JP2019229892A patent/JP7457315B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4288124B2 (en) | 2003-09-04 | 2009-07-01 | 株式会社北川鉄工所 | Finger chuck |
JP2019530116A (en) | 2016-09-05 | 2019-10-17 | ケイロン メディカル テクノロジーズ リミテッド | Multimodal medical image processing |
JP2019087181A (en) | 2017-11-10 | 2019-06-06 | アズビル株式会社 | Device and method for image inspection |
Also Published As
Publication number | Publication date |
---|---|
JP2021099559A (en) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11935241B2 (en) | Image processing apparatus, image processing method and computer-readable medium for improving image quality | |
US20210304363A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
WO2020036182A1 (en) | Medical image processing device, medical image processing method, and program | |
WO2020183791A1 (en) | Image processing device and image processing method | |
JP7478216B2 (en) | Ophthalmic device, method for controlling ophthalmic device, and program | |
US20230140881A1 (en) | Oct en face pathology segmentation using channel-coded slabs | |
CN113543695A (en) | Image processing apparatus, image processing method, and program | |
JP2021037239A (en) | Area classification method | |
JP2019054992A (en) | Ophthalmologic device and program | |
JP7457315B2 (en) | Information processing device, inference model generation method, information processing method, and program | |
JP2021168932A (en) | Ophthalmic information processing apparatus, ophthalmic system, ophthalmic information processing method, and program | |
US20230267610A1 (en) | Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium | |
WO2021100694A1 (en) | Image processing device, image processing method, and program | |
JP7344847B2 (en) | Image processing device, image processing method, and program | |
JP2021164535A (en) | Image processing device, image processing method and program | |
WO2022145129A1 (en) | Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program | |
JP2021145805A (en) | Ophthalmologic information processing device, ophthalmologic device, ophthalmologic information processing method, and program | |
WO2019102740A1 (en) | Ophthalmic information processing device, ophthalmic system, ophthalmic information processing method, and program | |
JP6976147B2 (en) | Ophthalmology information processing equipment, ophthalmology system, ophthalmology information processing method, and program | |
US20230419451A1 (en) | Image processing method, image processing apparatus, and recording medium | |
WO2022097621A1 (en) | Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program | |
JP2024008246A (en) | Image processing method, image processing device, program, and recording medium | |
Karn et al. | On the eye diseases diagnosis using OCT and fundus imaging techniques | |
JP2024004792A (en) | Image processing method, image processing device, program, and recording medium | |
Heisler | Optical coherence tomography and deep learning for ophthalmology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200114 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200114 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240307 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7457315 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |