JP7457315B2 - Information processing device, inference model generation method, information processing method, and program - Google Patents

Information processing device, inference model generation method, information processing method, and program Download PDF

Info

Publication number
JP7457315B2
JP7457315B2 JP2019229892A JP2019229892A JP7457315B2 JP 7457315 B2 JP7457315 B2 JP 7457315B2 JP 2019229892 A JP2019229892 A JP 2019229892A JP 2019229892 A JP2019229892 A JP 2019229892A JP 7457315 B2 JP7457315 B2 JP 7457315B2
Authority
JP
Japan
Prior art keywords
data
image
encoder
information processing
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229892A
Other languages
Japanese (ja)
Other versions
JP2021099559A (en
Inventor
拓麻 宇田川
光州 安
正博 秋葉
秀夫 横田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
RIKEN Institute of Physical and Chemical Research
Original Assignee
Topcon Corp
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp, RIKEN Institute of Physical and Chemical Research filed Critical Topcon Corp
Priority to JP2019229892A priority Critical patent/JP7457315B2/en
Publication of JP2021099559A publication Critical patent/JP2021099559A/en
Application granted granted Critical
Publication of JP7457315B2 publication Critical patent/JP7457315B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Description

特許法第30条第2項適用 第55回 日本眼光学学会総会 プログラム・抄録集 81頁、発行日 令和1年9月6日Application of Article 30, Paragraph 2 of the Patent Act 55th General Meeting of the Japanese Ophthalmological Society Program/Abstract Collection 81 pages, Publication date: September 6, 2020

本発明は、情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムに関する。 The present invention relates to an information processing device, an inference model generation method, an information processing method, and a program.

近年、深層学習を代表とする機械学習の手法の急速な進歩により、様々な分野で人工知能技術の実用化が進んでいる。例えば、深層学習により物体や歩行者等の検知精度を向上させることによって、自動運転の安全性を向上させることができる。また、例えば、深層学習により診断画像における疾患部位又は組織の態様等の検出精度の向上によって、正確且つ高精度な医療診断を迅速に行うことができる。 In recent years, rapid advances in machine learning techniques, such as deep learning, have led to the practical application of artificial intelligence technology in a variety of fields. For example, by improving the detection accuracy of objects, pedestrians, etc. through deep learning, it is possible to improve the safety of autonomous driving. In addition, for example, by improving the detection accuracy of diseased areas or tissue aspects in diagnostic images through deep learning, it is possible to perform accurate and highly precise medical diagnoses quickly.

このような深層学習には、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)が広く使われている(特許文献1、特許文献2、特許文献3)。 Convolutional neural networks (CNN) are widely used in such deep learning (Patent Document 1, Patent Document 2, Patent Document 3).

特開2019-172010号公報JP 2019-172010 Publication 特開2018-121886号公報Japanese Patent Application Publication No. 2018-121886 特開2019-152977号公報JP 2019-152977 A

しかしながら、深層学習に広く使われている畳み込みニューラルネットワークでは、高精度な出力(例えば、分類結果又は確信度)を得るために大量の教師データが必要になる。従って、教師データの作成に多大なコストと労力がかかる。 However, convolutional neural networks widely used in deep learning require a large amount of training data to obtain highly accurate output (eg, classification results or confidence). Therefore, creating training data requires a great deal of cost and effort.

本発明は、このような事情を鑑みてなされたものであり、その目的は、少量の教師データを用いた機械学習により高精度な出力を得るための新たな技術を提供することにある。 The present invention has been made in view of these circumstances, and its purpose is to provide a new technique for obtaining highly accurate output through machine learning using a small amount of training data.

いくつかの実施形態の第1態様は、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習部と、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習部と、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成部と、を含む、情報処理装置である。 A first aspect of some embodiments is to train an autoencoder including an encoder and a decoder to which output data of the encoder is input so that output data of the decoder matches input data of the encoder. a first learning unit that executes unsupervised machine learning using data; and a classifier using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as training data. a second learning unit that performs supervised machine learning on the input data of the encoder using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning. An information processing apparatus includes: an inference model generation unit that generates an inference model for inferring a label corresponding to the information processing apparatus.

いくつかの実施形態の第2態様では、第1態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記分類器は、前記正面画像に描出された前記血管の走行パターンが対称であるか否かを推論する。 In a second aspect of some embodiments, in the first aspect, the training data is image data representing an en face image of the fundus in which blood vessels in the choroid are depicted, and the classifier infers whether the course pattern of the blood vessels depicted in the en face image is symmetrical or not.

いくつかの実施形態の第3態様は、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出器と、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、前記特徴量抽出器により出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する分類器と、を含む、情報処理装置である。 A third aspect of some embodiments is an information processing device including an encoder constituting an autoencoder trained by unsupervised machine learning using training data, a feature extractor that outputs output data corresponding to input data of the encoder as features of the input data, and a classifier that is trained by supervised machine learning using output data corresponding to labeled data input to the encoder and labels assigned to the labeled data as supervised data, and that infers a label corresponding to the input data based on the features output by the feature extractor.

いくつかの実施形態の第4態様では、第3態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記ラベル付きデータは、前記血管の走行パターンが対称であるか否かを示すラベルが付された前記正面画像を表す画像データである。 In a fourth aspect of some embodiments, in the third aspect, the training data is image data representing a frontal image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is image data representing a running pattern of the blood vessels. This is image data representing the front image with a label indicating whether or not it is symmetrical.

いくつかの実施形態の第5態様では、第2態様又は第4態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。 In a fifth aspect of some embodiments, in the second aspect or the fourth aspect, the front image is a front image of Haller's layer in the choroid.

いくつかの実施形態の第6態様では、第1態様~第5態様のいずれかにおいて、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。 In a sixth aspect of some embodiments, in any one of the first to fifth aspects, the labeled data includes data in which a portion of the training data is labeled.

いくつかの実施形態の第7態様では、第1態様~第6態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In a seventh aspect of some embodiments, in any of the first to sixth aspects, the training data includes image data of multiple frontal images at multiple positions within a predetermined depth range of the fundus.

いくつかの実施形態の第8態様では、第7態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。 In an eighth aspect of some embodiments, in the seventh aspect, the teacher data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.

いくつかの実施形態の第9態様は、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習ステップと、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習ステップと、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成ステップと、を含む、推論モデル生成方法である。 A ninth aspect of some embodiments is an inference model generation method including: a first learning step of performing unsupervised machine learning using training data on an autoencoder including an encoder and a decoder to which output data of the encoder is input, so that output data of the decoder matches input data of the encoder; a second learning step of performing supervised machine learning on a classifier using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as supervised data; and an inference model generation step of generating an inference model for inferring a label corresponding to the input data of the encoder, using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning.

いくつかの実施形態の第10態様では、第9態様において、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。 In a tenth aspect of some embodiments, in the ninth aspect, the labeled data includes data in which a portion of the training data is labeled.

いくつかの実施形態の第11態様では、第9態様又は第10態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記分類器は、前記正面画像に描出された前記血管の走行パターンが対称であるか否かを推論する。 In an eleventh aspect of some embodiments, in the ninth aspect or the tenth aspect, the training data is image data representing a frontal image of the fundus in which blood vessels in the choroid are depicted, and the classifier is configured to It is inferred whether the running pattern of the blood vessels depicted in the image is symmetrical.

いくつかの実施形態の第12態様では、第11態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。 In a twelfth aspect of some embodiments, in the eleventh aspect, the frontal image is a frontal image of Haller's layer in the choroid.

いくつかの実施形態の第13態様では、第9態様~第12態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In a thirteenth aspect of some embodiments, in any of the ninth to twelfth aspects, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range of the fundus.

いくつかの実施形態の第14態様では、第13態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。 In a fourteenth aspect of some embodiments, in the thirteenth aspect, the teacher data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.

いくつかの実施形態の第15態様は、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを用いて、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出ステップと、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器を用いて、前記特徴量抽出ステップにおいて出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する推論ステップと、を含む、情報処理方法である。 In a fifteenth aspect of some embodiments, an encoder forming an autoencoder learned by unsupervised machine learning using training data is used to convert output data corresponding to input data of the encoder into the input data. A step of extracting a feature amount to output it as a feature amount, and learning by supervised machine learning using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as training data. and an inference step of inferring a label corresponding to the input data based on the feature amount output in the feature amount extraction step using a classifier obtained by using the method.

いくつかの実施形態の第16態様では、第15態様において、前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む。 In a sixteenth aspect of some embodiments, in the fifteenth aspect, the labeled data includes data in which a portion of the training data is labeled.

いくつかの実施形態の第17態様では、第15態様又は第16態様において、前記訓練データは、脈絡膜における血管が描出された眼底の正面画像を表す画像データであり、前記ラベル付きデータは、前記血管の走行パターンが対称であるか否かを示すラベルが付された前記正面画像を表す画像データである。 In a seventeenth aspect of some embodiments, in the fifteenth aspect or the sixteenth aspect, the training data is image data representing a frontal image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is This is image data representing the front image with a label indicating whether or not the running pattern of blood vessels is symmetrical.

いくつかの実施形態の第18態様では、第17態様において、前記正面画像は、前記脈絡膜におけるHaller層の正面画像である。 In an eighteenth aspect of some embodiments, in the seventeenth aspect, the en face image is an en face image of the Haller layer in the choroid.

いくつかの実施形態の第19態様では、第15態様~第18態様のいずれかにおいて、前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In a nineteenth aspect of some embodiments, in any of the fifteenth to eighteenth aspects, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus of the eye. .

いくつかの実施形態の第20態様では、第19態様において、前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む。 In a twentieth aspect of some embodiments, in the nineteenth aspect, the training data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.

いくつかの実施形態の第21態様は、コンピュータに、第9態様~第14態様のいずれかに記載の推論モデル生成方法の各ステップを実行させるプログラムである。 A twenty-first aspect of some embodiments is a program that causes a computer to execute each step of the inference model generation method according to any one of the ninth to fourteenth aspects.

いくつかの実施形態の第22態様は、コンピュータに、第15態様~第20態様のいずれかに記載の情報処理方法の各ステップを実行させるプログラムである。 A twenty-second aspect of some embodiments is a program that causes a computer to execute each step of the information processing method according to any one of the fifteenth to twentieth aspects.

なお、上記した複数の態様に係る構成を任意に組み合わせることが可能である。 Note that it is possible to arbitrarily combine the configurations according to the plurality of aspects described above.

本発明に係るいくつかの実施形態によれば、少量の教師データを用いた機械学習により高精度な出力を得るための新たな技術を提供することができる。 According to some embodiments of the present invention, it is possible to provide a new technique for obtaining highly accurate output through machine learning using a small amount of training data.

実施形態に係る眼科システムの構成の一例を表す概略図である。It is a schematic diagram showing an example of composition of an ophthalmology system concerning an embodiment. 実施形態に係る眼科装置の構成の一例を表す概略図である。FIG. 1 is a schematic diagram showing an example of the configuration of an ophthalmologic apparatus according to an embodiment. 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。1 is a schematic diagram illustrating an example of a configuration of an ophthalmologic information processing apparatus according to an embodiment. 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。1 is a schematic diagram showing an example of the configuration of an ophthalmological information processing device according to an embodiment. 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。1 is a schematic diagram showing an example of the configuration of an ophthalmological information processing device according to an embodiment. 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。1 is a schematic diagram illustrating an example of a configuration of an ophthalmologic information processing apparatus according to an embodiment. 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。1 is a schematic diagram showing an example of the configuration of an ophthalmological information processing device according to an embodiment. 実施形態に係る眼科情報処理装置の構成の一例を表す概略図である。1 is a schematic diagram showing an example of the configuration of an ophthalmological information processing device according to an embodiment. 実施形態に係る眼科情報処理装置の動作フローの一例を表す概略図である。It is a schematic diagram showing an example of an operation flow of an ophthalmology information processing device concerning an embodiment. 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。It is a schematic diagram for explaining operation of an ophthalmology information processing device concerning an embodiment. 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。It is a schematic diagram for explaining operation of an ophthalmology information processing device concerning an embodiment. 実施形態に係る眼科情報処理装置の動作を説明するための概略図である。3 is a schematic diagram for explaining an operation of the ophthalmologic information processing apparatus according to the embodiment. FIG. 実施形態の変形例に係る眼科装置の構成の一例を表す概略図である。It is a schematic diagram showing an example of composition of an ophthalmologic device concerning a modification of an embodiment.

この発明のいくつかの実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムの例について、図面を参照しながら詳細に説明する。なお、この明細書で引用する文献に記載された事項や任意の公知技術を実施形態に援用することができる。 Examples of an information processing device, an inference model generating method, an information processing method, and a program according to some embodiments of the present invention will be described in detail with reference to the drawings. Note that matters described in the documents cited in this specification and any publicly known technology may be incorporated into the embodiments.

以下、実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムが眼科分野に適用される場合について説明する。しかしながら、実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムの適用分野は眼科分野に限定されるものではない。 Hereinafter, a case where the information processing apparatus, inference model generation method, information processing method, and program according to the embodiments are applied to the ophthalmology field will be described. However, the field of application of the information processing device, inference model generation method, information processing method, and program according to the embodiments is not limited to the field of ophthalmology.

実施形態に係る情報処理装置が眼科分野に適用される場合、実施形態に係る情報処理装置の機能は眼科情報処理装置によって実現される。同様に、実施形態に係る情報処理方法が眼科分野に適用される場合、実施形態に係る情報処理方法の機能は眼科情報処理方法によって実現される。 When the information processing apparatus according to the embodiment is applied to the ophthalmology field, the functions of the information processing apparatus according to the embodiment are realized by the ophthalmology information processing apparatus. Similarly, when the information processing method according to the embodiment is applied to the ophthalmology field, the functions of the information processing method according to the embodiment are realized by the ophthalmology information processing method.

実施形態に係る眼科情報処理装置は、眼科装置により光学的に取得された被検眼の眼底のデータに対して所定の解析処理や所定の表示処理を施すことが可能である。いくつかの実施形態に係る眼科装置は、被検眼の眼底の正面画像を取得する機能を備える。被検眼の眼底の正面画像を取得する機能を備えた眼科装置には、光コヒーレンストモグラフィ(Optical Coherence Tomography:OCT)装置、眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡、手術用顕微鏡などがある。いくつかの実施形態に係る眼科装置は、被検眼の光学的な特性を測定する機能を備える。被検眼の光学的な特性を測定する機能を備えた眼科装置には、レフラクトメーター、ケラトメーター、眼圧計、ウェーブフロントアナライザー、スペキュラーマイクロスコープ、視野計などがある。いくつかの実施形態に係る眼科装置は、レーザー治療に用いられるレーザー治療装置の機能を備える。 The ophthalmologic information processing device according to the embodiment can perform predetermined analysis processing and predetermined display processing on data of the fundus of the subject's eye optically acquired by the ophthalmologic device. The ophthalmological apparatus according to some embodiments has a function of acquiring a frontal image of the fundus of an eye to be examined. Ophthalmological equipment that has the function of acquiring a frontal image of the fundus of the eye to be examined includes optical coherence tomography (OCT) devices, fundus cameras, scanning laser ophthalmoscopes, slit lamp microscopes, and surgical microscopes. be. Ophthalmological apparatuses according to some embodiments have a function of measuring optical characteristics of an eye to be examined. Ophthalmic devices that have the function of measuring the optical characteristics of the eye to be examined include refractometers, keratometers, tonometers, wavefront analyzers, specular microscopes, and perimeters. The ophthalmological device according to some embodiments has the functionality of a laser treatment device used for laser treatment.

以下の実施形態では、眼科装置が被検眼に対してOCTを実行することによりOCTデータを取得する場合について説明する。眼科装置又は眼科情報処理装置は、取得されたOCTデータを用いて眼底の正面画像を形成することが可能である。 In the following embodiments, a case will be described in which an ophthalmological apparatus acquires OCT data by performing OCT on a subject's eye. The ophthalmological apparatus or the ophthalmological information processing apparatus can form a frontal image of the fundus using the acquired OCT data.

また、以下の実施形態では、眼科情報処理装置が、被検眼の眼底の脈絡膜における血管の走行パターンが対称性を有するか否かを推論する場合について説明する。脈絡膜における血管の走行パターンの対称性は、中心窩と視神経乳頭とを結ぶ線を対称軸として判断される。脈絡膜における血管の走行パターンが非対称であると判断される症例では、所定の疾患を発症しやすいと考えられている(例えば、T.Hiroe, et al., “Dilatation of Asymmetric Vortex Vein in Cetnral Serous Chorioretinopathy”, American Academy of Ophthalmology, 2017年, ISSN 2468-6530/17、又は、M.C.SAVASTANO, et al., “CLASSIFICATION OF HALLER VESSEL ARRANGEMENTS IN ACUTE AND CHRONIC CENTRAL SEROUS CHORIORETINOPATHY IMAGED WITH EN FACE OPTICAL COHERENCE TOMOGRAPHY”, 2017年, Ophthalmic Communications Society)。 Furthermore, in the following embodiments, a case will be described in which the ophthalmological information processing apparatus infers whether or not the running pattern of blood vessels in the choroid of the fundus of the eye to be examined has symmetry. The symmetry of the running pattern of blood vessels in the choroid is judged with the line connecting the fovea and the optic disc as the axis of symmetry. Cases in which the running pattern of blood vessels in the choroid is determined to be asymmetrical are thought to be more likely to develop certain diseases (for example, see T. Hiroe, et al., “Dilation of Asymmetric Vortex Vein in Cetnral Serious Chorioretinopathies”). ”, American Academy of Ophthalmology, 2017, ISSN 2468-6530/17, or M.C. SAVASTANO, et al., “CLASSIFICATION OF HALLER VESSEL ARR ANGEMENTS IN ACUTE AND CHRONIC CENTRAL SEROUS CHORIORETINOPATHY IMAGED WITH EN FACE OPTICAL COHERENCE TOMOGRAPHY” , 2017, Ophthalmic Communications Society).

例えば、脈絡膜における血管の走行パターンが非対称であると判断される症例の場合、加齢黄斑変性の病態にPachychoroidが関連している可能性が指摘されている。従って、上記の走行パターンの対称性を推論することにより、Pachychoroidに対する治療方針の決定を補助することができる。 For example, in cases where the running pattern of blood vessels in the choroid is determined to be asymmetric, it has been pointed out that pachychoroids may be related to the pathology of age-related macular degeneration. Therefore, by inferring the symmetry of the traveling pattern described above, it is possible to assist in determining a treatment policy for pachychoroid.

例えば、“Intravitreal aflibercept and ranibizumab for pachychoroid neovasculopathy”(B.J.Yung, et al., 2019年, 9:2055, SCIENTIFIC REPORTS)には、Pachychoroidに有効と考えられている治療薬が存在すると指摘されている。従って、上記の走行パターンの対称性の推論結果から加齢黄斑変性の治療薬を選択することができる。 For example, “Intravitreal aflibercept and ranibizumab for pachychoroid neovasculopathy” (B.J. Yung, et al., 2019, 9:2055, SCIENTIFIC REPORTS) points out that there are therapeutic drugs considered to be effective against Pachychoroids. ing. Therefore, a therapeutic drug for age-related macular degeneration can be selected from the above inference result of the symmetry of the running pattern.

例えば、“Efficacy of Photodynamic Therapy for Polypoidal Chroidal Vasculopathy Associated with and without Pachychoroid Phenotypes”(M.Hata, et al., 2018年, Ophthalmology Retina)には、ポリープ状脈絡膜血管症(Polypoidal Choroidal Vasculopathy:PCV)に光線力学的療法(photodynamic therapy:PDT)が有効であると指摘されている。従って、上記の走行パターンの対称性の推論結果から加齢黄斑変性の治療法を選択することができる。 For example, "Efficacy of Photodynamic Therapy for Polypoidal Chroidal Vasculopathy Associated with and without Pachychoroid Phenotypes" (M. Hata, et al., 2018, Ophthalmology Retina) indicates that photodynamic therapy (PDT) is effective for polypoidal choroidal vasculopathy (PCV). Therefore, a treatment for age-related macular degeneration can be selected based on the inference results of the symmetry of the above running patterns.

実施形態に係る眼科情報処理装置は、機械学習によって得られた推論モデルを用いて、被検眼の眼底の正面画像(特に、OCTを用いて取得されたOCT画像)に描出された脈絡膜における血管の走行パターンが対称性を有するか否かを推論することが可能である。実施形態に係る推論モデル生成方法は、上記の走行パターンが対称性を有するか否かを推論するための推論モデルを生成する方法である。 The ophthalmological information processing device according to the embodiment uses an inference model obtained by machine learning to evaluate blood vessels in the choroid depicted in a frontal image of the fundus of an eye to be examined (in particular, an OCT image acquired using OCT). It is possible to infer whether the driving pattern has symmetry or not. The inference model generation method according to the embodiment is a method of generating an inference model for inferring whether or not the above-mentioned driving pattern has symmetry.

実施形態に係る眼科システムは、眼科情報処理装置を含む。実施形態に係る眼科情報処理方法又は推論モデル生成方法は、眼科情報処理装置により実行される。実施形態に係るプログラムは、眼科情報処理方法又は推論モデル生成方法の各ステップをコンピュータに実行させる。 The ophthalmology system according to the embodiment includes an ophthalmology information processing device. The ophthalmologic information processing method or inference model generation method according to the embodiment is executed by an ophthalmologic information processing device. The program according to the embodiment causes a computer to execute each step of the ophthalmological information processing method or the inference model generation method.

[眼科システム]
図1に、実施形態に係る眼科システムの構成例のブロック図を示す。実施形態に係る眼科システム1は、眼科装置10と、眼科情報処理装置(眼科画像処理装置、眼科解析装置)100と、操作装置180と、表示装置190とを含む。
[Ophthalmology system]
FIG. 1 shows a block diagram of a configuration example of an ophthalmologic system according to an embodiment. The ophthalmology system 1 according to the embodiment includes an ophthalmology apparatus 10, an ophthalmology information processing apparatus (an ophthalmology image processing apparatus, an ophthalmology analysis apparatus) 100, an operating device 180, and a display device 190.

眼科装置10は、被検眼のデータを光学的に収集する。眼科装置10は、被検眼の眼底をスキャンすることにより被検眼の眼底のデータを光学的に収集する。この実施形態では、眼科装置10は、OCTを用いて被検眼の眼底のOCTデータを取得する。眼科装置10は、取得された被検眼のデータから被検眼の眼底の画像を取得することが可能である。眼底の画像には、眼底の断層像及び正面画像が含まれる。眼底の断層像には、Bスキャン画像などがある。眼底の正面画像には、Cスキャン画像、en-face画像、シャドウグラム、又はプロジェクション画像などがある。眼科装置10は、取得された被検眼のデータ又は取得された画像のデータを眼科情報処理装置100に送信する。 The ophthalmologic apparatus 10 optically collects data on the subject's eye. The ophthalmologic apparatus 10 optically collects data on the fundus of the eye to be examined by scanning the fundus of the eye to be examined. In this embodiment, the ophthalmologic apparatus 10 uses OCT to acquire OCT data of the fundus of the eye to be examined. The ophthalmologic apparatus 10 is capable of acquiring an image of the fundus of the eye to be examined from the acquired data of the eye to be examined. The fundus image includes a tomographic image and a frontal image of the fundus. Tomographic images of the fundus include B-scan images and the like. The front image of the fundus includes a C-scan image, an en-face image, a shadowgram, a projection image, and the like. The ophthalmological apparatus 10 transmits the acquired data of the subject's eye or the acquired image data to the ophthalmological information processing apparatus 100.

いくつかの実施形態では、眼科装置10と眼科情報処理装置100とは、データ通信ネットワークを介して接続される。いくつかの実施形態に係る眼科情報処理装置100は、データ通信ネットワークを介して選択的に接続された複数の眼科装置10の1つから上記のデータを受信する。 In some embodiments, the ophthalmological device 10 and the ophthalmological information processing device 100 are connected via a data communication network. The ophthalmological information processing apparatus 100 according to some embodiments receives the above data from one of the plurality of ophthalmological apparatuses 10 selectively connected via a data communication network.

眼科情報処理装置100は、機械学習によって得られた推論モデル(学習モデル)を用いて、被検眼の眼底の正面画像に描出された脈絡膜血管の走行パターン(分布)に対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、眼底の正面画像に描出された中心窩(具体的には、中心窩に相当する領域の中心位置)と視神経乳頭(具体的には、視神経乳頭に相当する領域の中心位置)とを結ぶ線を対称軸として、脈絡膜血管の走行パターンに対称性があるか否かを推論する。 The ophthalmological information processing device 100 uses an inference model (learning model) obtained by machine learning to determine whether there is symmetry in the running pattern (distribution) of the choroidal blood vessels depicted in the frontal image of the fundus of the subject's eye. infer. In some embodiments, the ophthalmological information processing apparatus 100 can detect the fovea (specifically, the center position of the area corresponding to the fovea) and the optic disc (specifically, the optic nerve) depicted in the front image of the fundus. It is inferred whether or not there is symmetry in the running pattern of the choroidal blood vessels, using a line connecting the center position of the area corresponding to the papilla as an axis of symmetry.

いくつかの実施形態では、眼科情報処理装置100は、外部で構築された推論モデルを用いて脈絡膜血管の走行パターンに対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、上記の推論モデルを構築し、構築された推論モデルを用いて脈絡膜血管の走行パターンに対称性があるか否かを推論する。いくつかの実施形態では、眼科情報処理装置100は、上記の推論モデルを構築し、構築された推論モデルを外部の装置に出力する。 In some embodiments, the ophthalmological information processing apparatus 100 uses an externally constructed inference model to infer whether or not there is symmetry in the running pattern of the choroidal blood vessels. In some embodiments, the ophthalmological information processing apparatus 100 constructs the above inference model, and uses the constructed inference model to infer whether or not there is symmetry in the running pattern of the choroidal blood vessels. In some embodiments, the ophthalmological information processing apparatus 100 constructs the above inference model and outputs the constructed inference model to an external device.

以下、眼科情報処理装置100は、眼底のen-face画像に対して上記の推論を行うものとする。脈絡膜は、Choriocapillaris(脈絡毛細管板)層、Sattler(中血管)層、及びHaller(大血管)層を含む。脈絡膜のHaller層(大血管層)における血管を解析対象とすることで、脈絡膜血管の走行パターンの対称性を判断しやすくなる(例えば、H.Shiihara, et al., “Automated segmentation for en face choroidal images obtained by optical coherent tomography by machine learning”, 2018年3月29日, Japanese Journal of Ophthalmology)。実施形態に係る眼科情報処理装置100は、脈絡膜のHaller層のen-face画像に対して、上記の推論を行うことができる。 Hereinafter, it is assumed that the ophthalmological information processing apparatus 100 performs the above inference on the en-face image of the fundus. The choroid includes the Choriocapillaris layer, the Sattler layer, and the Haller layer. By targeting blood vessels in the Haller layer (large vessel layer) of the choroid, it becomes easier to judge the symmetry of the running pattern of choroidal vessels (for example, H. Shiihara, et al., “Automated segmentation for en face choroidal “images bound by optical coherent tomography by machine learning”, March 29, 2018, Japanese Journal of Ophthalmology). The ophthalmological information processing apparatus 100 according to the embodiment can perform the above inference on the en-face image of the Haller layer of the choroid.

眼科情報処理装置100は、推論結果として、脈絡膜血管の走行パターンに対称性があるか否かの分類結果(対称である、非対称である)を出力することができる。いくつかの実施形態では、眼科情報処理装置100は、推論結果として、脈絡膜血管の走行性パターンが対称(又は非対称)であると判断する指標(度合い)を表す確信度を表す情報(数値、画像など)を出力する。 The ophthalmological information processing apparatus 100 can output a classification result (symmetrical, asymmetrical) as to whether the running pattern of the choroidal blood vessels has symmetry or not as an inference result. In some embodiments, the ophthalmological information processing device 100 generates, as an inference result, information (numerical value, image etc.) is output.

操作装置180及び表示装置190は、ユーザインターフェイス部として情報の表示、情報の入力、操作指示の入力など、眼科情報処理装置100とそのユーザとの間で情報をやりとりするための機能を提供する。操作装置180は、レバー、ボタン、キー、ポインティングデバイス等の操作デバイスを含む。いくつかの実施形態に係る操作装置180は、音で情報を入力するためのマイクロフォンを含む。表示装置190は、フラットパネルディスプレイ等の表示デバイスを含む。いくつかの実施形態では、操作装置180及び表示装置190の機能は、タッチパネルディスプレイのような入力機能を有するデバイスと表示機能を有するデバイスとが一体化されたデバイスにより実現される。いくつかの実施形態では、操作装置180及び表示装置190は、情報の入出力を行うためのグラフィカルユーザインターフェイス(GUI)を含む。 The operating device 180 and the display device 190 serve as user interface units and provide functions for exchanging information between the ophthalmological information processing device 100 and its user, such as displaying information, inputting information, and inputting operation instructions. The operating device 180 includes operating devices such as levers, buttons, keys, and pointing devices. The operating device 180 according to some embodiments includes a microphone for inputting information by sound. Display device 190 includes a display device such as a flat panel display. In some embodiments, the functions of the operating device 180 and the display device 190 are realized by a device that integrates a device with an input function and a device with a display function, such as a touch panel display. In some embodiments, operating device 180 and display device 190 include a graphical user interface (GUI) for inputting and outputting information.

[眼科装置]
図2に、実施形態に係る眼科装置10の構成例のブロック図を示す。
[Ophthalmological equipment]
FIG. 2 shows a block diagram of a configuration example of the ophthalmologic apparatus 10 according to the embodiment.

眼科装置10には、被検眼のOCTデータを取得するための光学系が設けられている。眼科装置10は、スウェプトソースOCTを実行する機能を備えているが、実施形態はこれに限定されない。例えば、OCTの種別はスウェプトソースOCTには限定されず、スペクトラルドメインOCT等であってもよい。スウェプトソースOCTは、波長掃引型(波長走査型)光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光をバランスドフォトダイオード等で検出し、波長の掃引及び測定光のスキャンに応じて収集された検出データにフーリエ変換等を施して画像を形成する手法である。スペクトラルドメインOCTは、低コヒーレンス光源からの光を測定光と参照光とに分割し、被測定物体を経由した測定光の戻り光を参照光と干渉させて干渉光を生成し、この干渉光のスペクトル分布を分光器で検出し、検出されたスペクトル分布にフーリエ変換等を施して画像を形成する手法である。 The ophthalmological apparatus 10 is provided with an optical system for acquiring OCT data of the eye to be examined. Although the ophthalmologic apparatus 10 has the ability to perform swept source OCT, embodiments are not limited thereto. For example, the type of OCT is not limited to swept source OCT, but may be spectral domain OCT or the like. Swept source OCT splits light from a wavelength swept (wavelength scanning) light source into measurement light and reference light, and generates interference light by interfering with the reference light and the return light of the measurement light that has passed through the measured object. This interference light is then detected by a balanced photodiode or the like, and an image is formed by performing Fourier transform or the like on the detection data collected according to the wavelength sweep and measurement light scan. Spectral domain OCT splits light from a low-coherence light source into measurement light and reference light, makes the return light of the measurement light via the measured object interfere with the reference light, and generates interference light. This is a method in which the spectral distribution is detected with a spectrometer and the detected spectral distribution is subjected to Fourier transform or the like to form an image.

眼科装置10は、制御部11と、データ収集部12と、画像形成部13と、通信部14とを含む。 The ophthalmological apparatus 10 includes a control section 11, a data collection section 12, an image forming section 13, and a communication section 14.

制御部11は、眼科装置10の各部を制御する。特に、制御部11は、データ収集部12、画像形成部13、及び通信部14を制御する。 The control unit 11 controls each part of the ophthalmological apparatus 10. In particular, the control section 11 controls the data collection section 12, the image forming section 13, and the communication section 14.

データ収集部12は、OCTを用いて被検眼をスキャンすることにより被検眼のデータ(例えば、3次元のOCTデータ)を収集する。データ収集部12は、干渉光学系12Aと、スキャン光学系12Bとを含む。 The data collection unit 12 collects data on the eye to be examined (for example, three-dimensional OCT data) by scanning the eye to be examined using OCT. The data collection unit 12 includes an interference optical system 12A and a scanning optical system 12B.

干渉光学系12Aは、光源(波長掃引型光源)からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光を参照光路を経由した参照光と干渉させて干渉光を生成し、生成された干渉光を検出する。干渉光学系12Aは、ファイバーカプラと、バランスドフォトダイオード等の受光器とを少なくとも含む。ファイバーカプラは、光源からの光を測定光と参照光とに分割し、被検眼を経由した測定光の戻り光と参照光路を経由した参照光と干渉させて干渉光を生成する。受光器は、ファイバーカプラにより生成された干渉光を検出する。干渉光学系12Aは、光源を含んでよい。 The interference optical system 12A splits the light from the light source (wavelength sweep type light source) into measurement light and reference light, and causes the return light of the measurement light that has passed through the eye to be examined to interfere with the reference light that has passed through the reference optical path to generate interference. Generate light and detect the generated interference light. The interference optical system 12A includes at least a fiber coupler and a light receiver such as a balanced photodiode. The fiber coupler splits the light from the light source into measurement light and reference light, and generates interference light by interfering with the return light of the measurement light that has passed through the eye to be examined and the reference light that has passed through the reference optical path. The optical receiver detects the interference light generated by the fiber coupler. The interference optical system 12A may include a light source.

スキャン光学系12Bは、制御部11からの制御を受け、干渉光学系12Aにより生成された測定光を偏向することにより被検眼の眼底における測定光の入射位置を変更する。スキャン光学系12Bは、例えば、被検眼の瞳孔と光学的に略共役な位置に配置された光スキャナを含む。光スキャナは、例えば、測定光を水平方向に偏向する第1ガルバノミラーと、測定光を垂直方向に偏向する第2ガルバノミラーと、これらを独立に駆動する機構とを含んで構成される。例えば、第2ガルバノミラーは、第1ガルバノミラーにより偏向された測定光を更に偏向するように構成される。それにより、測定光を眼底平面上の任意の方向にスキャンすることができる。 The scanning optical system 12B is controlled by the control unit 11 and changes the incident position of the measurement light on the fundus of the test eye by deflecting the measurement light generated by the interference optical system 12A. The scanning optical system 12B includes, for example, an optical scanner arranged at a position that is optically approximately conjugate with the pupil of the test eye. The optical scanner includes, for example, a first galvanometer mirror that deflects the measurement light in the horizontal direction, a second galvanometer mirror that deflects the measurement light in the vertical direction, and a mechanism for independently driving these. For example, the second galvanometer mirror is configured to further deflect the measurement light deflected by the first galvanometer mirror. This allows the measurement light to be scanned in any direction on the fundus plane.

干渉光学系12Aによる干渉光の検出結果(検出信号)は、干渉光のスペクトルを示す干渉信号である。 The detection result (detection signal) of the interference light by the interference optical system 12A is an interference signal indicating the spectrum of the interference light.

画像形成部13は、制御部11からの制御を受け、データ収集部12により収集された被検眼のデータに基づいて被検眼の眼底の断層像の画像データを形成する。この処理には、ノイズ除去(ノイズ低減)、フィルタ処理、FFT(Fast Fourier Transform)などの処理が含まれている。このようにして取得される画像データは、複数のAライン(被検眼内における各測定光の経路)における反射強度プロファイルを画像化することにより形成された一群の画像データを含むデータセットである。画質を向上させるために、同じパターンでのスキャンを複数回繰り返して収集された複数のデータセットを重ね合わせる(加算平均する)ことができる。 The image forming section 13 forms image data of a tomographic image of the fundus of the subject's eye based on the data of the subject's eye collected by the data collecting section 12 under the control of the control section 11 . This processing includes processing such as noise removal (noise reduction), filter processing, and FFT (Fast Fourier Transform). The image data acquired in this manner is a data set including a group of image data formed by imaging reflection intensity profiles in a plurality of A-lines (paths of each measurement light within the subject's eye). To improve image quality, multiple data sets collected by scanning the same pattern multiple times can be overlapped (averaged).

画像形成部13は、3次元のOCTデータに各種のレンダリングを施すことで、Bスキャン画像、Cスキャン画像、en-face画像、プロジェクション画像、シャドウグラムなどを形成することができる。Bスキャン画像やCスキャン画像のような任意断面の画像は、指定された断面上の画素(ピクセル、ボクセル)を3次元のOCTデータ(画像データ)から選択することにより形成される。en-face画像は、3次元のOCTデータ(画像データ)の一部を平坦化(フラットニング)することにより形成される。いくつかの実施形態では、en-face画像は、Aスキャン方向(Z方向、深さ方向)の所定の位置のOCT画像として形成される。プロジェクション画像は、3次元のOCTデータを所定方向(Z方向、深さ方向、Aスキャン方向)に投影することによって形成される。シャドウグラムは、3次元のOCTデータの一部(例えば特定層に相当する部分データ)を所定方向に投影することによって形成される。 The image forming unit 13 can form a B-scan image, a C-scan image, an en-face image, a projection image, a shadowgram, etc. by performing various types of rendering on three-dimensional OCT data. An image of an arbitrary cross section, such as a B scan image or a C scan image, is formed by selecting pixels (pixels, voxels) on a specified cross section from three-dimensional OCT data (image data). The en-face image is formed by flattening a portion of three-dimensional OCT data (image data). In some embodiments, the en-face image is formed as an OCT image at a predetermined position in the A-scan direction (Z direction, depth direction). A projection image is formed by projecting three-dimensional OCT data in a predetermined direction (Z direction, depth direction, A scan direction). A shadowgram is formed by projecting a portion of three-dimensional OCT data (for example, partial data corresponding to a specific layer) in a predetermined direction.

いくつかの実施形態に係る眼科装置10には、画像形成部13により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施すデータ処理部が設けられる。例えば、データ処理部は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。 The ophthalmological apparatus 10 according to some embodiments is provided with a data processing section that performs various data processing (image processing) and analysis processing on the image formed by the image forming section 13. For example, the data processing unit executes correction processing such as image brightness correction and dispersion correction. The data processing unit can form volume data (voxel data) of the eye to be examined by performing known image processing such as interpolation processing that interpolates pixels between tomographic images. When displaying an image based on volume data, the data processing unit performs rendering processing on the volume data to form a pseudo three-dimensional image when viewed from a specific viewing direction.

制御部11及び画像形成部13のそれぞれは、プロセッサを含む。プロセッサは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、プログラマブル論理デバイス(例えば、SPLD(Simple Programmable Logic Device)、CPLD(Complex Programmable Logic Device)、FPGA(Field Programmable Gate Array))等の回路を含む。画像形成部13の機能は、画像形成プロセッサにより実現される。いくつかの実施形態では、制御部11及び画像形成部13の双方の機能が1つのプロセッサにより実現される。いくつかの実施形態では、眼科装置10にデータ処理部が設けられている場合、データ処理部の機能もまたプロセッサにより実現される。 Each of the control section 11 and the image forming section 13 includes a processor. The processor is, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an ASIC (Application Specific Integrated Circuit), a programmable logic device (for example, an SPLD (S complex programmable logic device), CPLD (complex programmable logic device), FPGA (Field Programmable Gate Array)). The functions of the image forming section 13 are realized by an image forming processor. In some embodiments, the functions of both the control unit 11 and the image forming unit 13 are implemented by one processor. In some embodiments, if the ophthalmological device 10 is provided with a data processing unit, the functionality of the data processing unit is also implemented by the processor.

プロセッサは、例えば、記憶回路や記憶装置に格納されているプログラムを読み出し実行することで、実施形態に係る機能を実現する。記憶回路や記憶装置の少なくとも一部がプロセッサに含まれていてよい。また、記憶回路や記憶装置の少なくとも一部がプロセッサの外部に設けられていてよい。 The processor realizes the functions according to the embodiment by, for example, reading and executing a program stored in a storage circuit or a storage device. At least part of the storage circuit or storage device may be included in the processor. Further, at least a portion of the memory circuit or the memory device may be provided outside the processor.

記憶装置等は、各種のデータを記憶する。記憶装置等に記憶されるデータとしては、データ収集部12により取得されたデータ(測定データ、撮影データ等)や、被検者及び被検眼に関する情報などがある。記憶装置等には、眼科装置10の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。 The storage device and the like store various data. The data stored in the storage device or the like includes data acquired by the data collection unit 12 (measurement data, photographic data, etc.), information regarding the subject and the subject's eye, and the like. Various computer programs and data for operating each part of the ophthalmologic apparatus 10 may be stored in the storage device or the like.

通信部14は、制御部11からの制御を受け、眼科情報処理装置100との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。 The communication unit 14 receives control from the control unit 11 and executes communication interface processing for transmitting or receiving information with the ophthalmological information processing apparatus 100.

いくつかの実施形態に係る眼科装置10は、画像形成部13により形成された被検眼の画像データを眼科情報処理装置100に送信する。 The ophthalmological apparatus 10 according to some embodiments transmits image data of the eye to be examined formed by the image forming unit 13 to the ophthalmological information processing apparatus 100.

いくつかの実施形態に係る眼科装置10には、被検眼の眼底の画像を取得するための眼底カメラ、走査型レーザー検眼鏡、スリットランプ顕微鏡が設けられる。いくつかの実施形態では、眼底カメラにより取得される眼底画像は、フルオレセイン蛍光眼底造影画像又は眼底自発蛍光検査画像である。 The ophthalmic device 10 according to some embodiments is provided with a fundus camera, a scanning laser ophthalmoscope, and a slit lamp microscope for acquiring an image of the fundus of the examinee's eye. In some embodiments, the fundus image acquired by the fundus camera is a fluorescein fundus angiography image or a fundus autofluorescence examination image.

[眼科情報処理装置]
図3~図5に、実施形態に係る眼科情報処理装置100の構成例のブロック図を示す。図3は、眼科情報処理装置100の機能ブロック図を表す。図4は、図3の解析部200の機能ブロック図を表す。図5は、図3の推論モデル構築部210の機能ブロック図を表す。
[Ophthalmology information processing device]
3 to 5 are block diagrams showing an example of the configuration of the ophthalmological information-processing device 100 according to the embodiment. Fig. 3 shows a functional block diagram of the ophthalmological information-processing device 100. Fig. 4 shows a functional block diagram of the analysis unit 200 in Fig. 3. Fig. 5 shows a functional block diagram of the inference model construction unit 210 in Fig. 3.

眼科情報処理装置100は、制御部110と、画像形成部120と、データ処理部130と、通信部140とを含む。 The ophthalmological information processing apparatus 100 includes a control section 110, an image forming section 120, a data processing section 130, and a communication section 140.

画像形成部120は、制御部110からの制御を受け、眼科装置10により取得された3次元のOCTデータからOCT画像を形成する。画像形成部120は、画像形成部13と同様に上記の画像を形成することが可能である。 The image forming section 120 forms an OCT image from the three-dimensional OCT data acquired by the ophthalmologic apparatus 10 under the control of the control section 110 . The image forming section 120 can form the above-mentioned image similarly to the image forming section 13.

データ処理部130は、画像形成部120により形成された画像に対して各種のデータ処理(画像処理)や解析処理を施す。例えば、データ処理部130は、画像の輝度補正や分散補正等の補正処理を実行する。データ処理部130は、断層像の間の画素を補間する補間処理などの公知の画像処理を実行することにより、被検眼のボリュームデータ(ボクセルデータ)を形成することができる。ボリュームデータに基づく画像を表示させる場合、データ処理部130は、このボリュームデータに対してレンダリング処理を施して、特定の視線方向から見たときの擬似的な3次元画像を形成する。 The data processing unit 130 performs various data processing (image processing) and analysis processing on the image formed by the image forming unit 120. For example, the data processing unit 130 executes correction processing such as image brightness correction and dispersion correction. The data processing unit 130 can form volume data (voxel data) of the eye to be examined by performing known image processing such as interpolation processing that interpolates pixels between tomographic images. When displaying an image based on volume data, the data processing unit 130 performs rendering processing on the volume data to form a pseudo three-dimensional image when viewed from a specific viewing direction.

また、データ処理部130(又は画像形成部120)は、3次元のOCTデータに基づいて形成されたOCT画像からBスキャン画像、Cスキャン画像、en-face画像、プロジェクション画像、シャドウグラムなどを形成することが可能である。 Further, the data processing unit 130 (or image forming unit 120) forms a B-scan image, a C-scan image, an en-face image, a projection image, a shadowgram, etc. from an OCT image formed based on three-dimensional OCT data. It is possible to do so.

データ処理部130は、形成された被検眼の画像に対して所定のデータ処理を施す。データ処理部130は、解析部200と、推論モデル構築部210と、推論部220とを含む。 The data processing unit 130 performs predetermined data processing on the formed image of the eye to be examined. The data processing section 130 includes an analysis section 200, an inference model construction section 210, and an inference section 220.

解析部200は、画像形成部120により形成された被検眼の眼底の画像データ(又は眼科装置10により取得された被検眼の眼底の画像データ)に対して所定の解析処理を施す。いくつかの実施形態に係る解析処理には、眼底の所定の層領域(層組織)の特定処理、眼底の所定の層領域(層組織)の画像の生成処理などが含まれる。 The analysis unit 200 performs a predetermined analysis process on the image data of the fundus of the test eye formed by the image forming unit 120 (or the image data of the fundus of the test eye acquired by the ophthalmologic device 10). The analysis process according to some embodiments includes a process for identifying a predetermined layer region (layer tissue) of the fundus, a process for generating an image of the predetermined layer region (layer tissue) of the fundus, etc.

解析部200は、図4に示すように、セグメンテーション処理部201と、正面画像生成部202とを含む。 As shown in FIG. 4, the analysis unit 200 includes a segmentation processing unit 201 and a front image generation unit 202.

セグメンテーション処理部201は、眼科装置10により取得された被検眼のデータに基づいてAスキャン方向の複数の層領域を特定する。いくつかの実施形態に係るセグメンテーション処理部201は、3次元のOCTデータを解析することにより、被検眼の複数の組織に相当する複数の部分データセットを特定する。セグメンテーション処理は、特定の組織や組織境界を特定するための画像処理である。例えば、セグメンテーション処理部201は、OCTデータに含まれる各Aスキャン画像における画素値(輝度値)の勾配を求め、勾配が大きい位置を組織境界として特定する。なお、Aスキャン画像は、眼底の深さ方向にのびる1次元画像データである。なお、眼底の深さ方向は、例えば、Z方向、OCT測定光の入射方向、軸方向、干渉光学系の光軸方向などとして定義される。 The segmentation processing unit 201 specifies a plurality of layer regions in the A-scan direction based on the data of the eye to be examined acquired by the ophthalmologic apparatus 10. The segmentation processing unit 201 according to some embodiments specifies a plurality of partial data sets corresponding to a plurality of tissues of the eye to be examined by analyzing three-dimensional OCT data. Segmentation processing is image processing for identifying specific tissues and tissue boundaries. For example, the segmentation processing unit 201 determines the gradient of pixel values (luminance values) in each A-scan image included in the OCT data, and identifies a position where the gradient is large as a tissue boundary. Note that the A-scan image is one-dimensional image data extending in the depth direction of the fundus. Note that the depth direction of the fundus is defined as, for example, the Z direction, the incident direction of OCT measurement light, the axial direction, the optical axis direction of the interference optical system, etc.

典型的な例において、セグメンテーション処理部201は、眼底(網膜、脈絡膜等)及び硝子体を表す3次元のOCTデータを解析することにより、眼底の複数の層組織に相当する複数の部分データセットを特定する。各部分データセットは、層組織の境界によって画成される。部分データセットとして特定される層組織の例として、網膜を構成する層組織がある。網膜を構成する層組織には、内境界膜、神経繊維層、神経節細胞層、内網状層、内顆粒層、外網状層、外顆粒層、外境界膜、視細胞層、RPEがある。更に、セグメンテーション処理部201は、ブルッフ膜、脈絡膜、強膜、硝子体等に相当する部分データセットを特定することができる。セグメンテーション処理部201は、脈絡膜におけるChoriocapillaris層、Sattler層、及びHaller層に相当する部分データセットを特定すること可能である。特に、セグメンテーション処理部201は、例えば、上記の“Automated segmentation for en face choroidal images obtained by optical coherent tomography by machine learning”に記載された手法を用いて脈絡膜におけるHaller層に相当する部分データセットを特定することが可能である。いくつかの実施形態に係るセグメンテーション処理部201は、病変部に相当する部分データセットを特定する。病変部の例として、剥離部、浮腫、出血、腫瘍、ドルーゼンなどがある。 In a typical example, the segmentation processing unit 201 analyzes three-dimensional OCT data representing the fundus (retina, choroid, etc.) and the vitreous body to generate multiple partial datasets corresponding to multiple layer tissues of the fundus. Identify. Each partial data set is defined by the boundaries of the layer organization. An example of a layered tissue specified as a partial data set is a layered tissue that constitutes a retina. The layered tissues constituting the retina include the inner limiting membrane, the nerve fiber layer, the ganglion cell layer, the inner plexiform layer, the inner nuclear layer, the outer plexiform layer, the outer nuclear layer, the outer limiting membrane, the photoreceptor layer, and the RPE. Furthermore, the segmentation processing unit 201 can specify partial data sets corresponding to Bruch's membrane, choroid, sclera, vitreous body, and the like. The segmentation processing unit 201 is capable of identifying partial data sets corresponding to the Choriocapillaris layer, Sattler layer, and Haller layer in the choroid. In particular, the segmentation processing unit 201 performs, for example, the above-mentioned “Automated segmentation for en face choroidal images bound by optical coherent tomography by machine lea Identify a partial data set corresponding to the Haller layer in the choroid using the method described in Is possible. The segmentation processing unit 201 according to some embodiments identifies a partial data set corresponding to a lesion. Examples of lesions include avulsions, edema, hemorrhages, tumors, and drusen.

いくつかの実施形態に係るセグメンテーション処理部201は、RPEに対して強膜側の所定のピクセル数分の層組織をブルッフ膜として特定し、当該層組織に相当する部分データセットをブルッフ膜の部分データセットとして取得する。 The segmentation processing unit 201 according to some embodiments specifies a layer tissue corresponding to a predetermined number of pixels on the sclera side with respect to the RPE as Bruch's membrane, and identifies a partial data set corresponding to the layer tissue as a portion of Bruch's membrane. Obtain as a dataset.

正面画像生成部202は、正面画像として上記のen-face画像を生成する。具体的には、正面画像生成部202は、セグメンテーション処理部201により特定された脈絡膜のHaller層に相当する層領域の任意の深さ位置におけるen-face画像を生成する。例えば、正面画像生成部202は、Haller層の浅層側の境界位置を基準に深層方向に複数の深さ位置における複数のen-face画像を生成する。Haller層の浅層側の境界位置を0%の深さ位置とし、深層側の境界位置を100%の深さ位置と表記すると、正面画像生成部202は、例えば、10%の深さ位置から50%の深さ位置の範囲で複数のen-face画像を生成することが可能である。 The front image generation unit 202 generates the en-face image described above as a front image. Specifically, the frontal image generation unit 202 generates an en-face image at an arbitrary depth position in the layer region corresponding to the Haller layer of the choroid identified by the segmentation processing unit 201. For example, the front image generation unit 202 generates a plurality of en-face images at a plurality of depth positions in the depth direction based on the boundary position on the shallow side of the Haller layer. If the boundary position on the shallow side of the Haller layer is expressed as a 0% depth position, and the boundary position on the deep side is expressed as a 100% depth position, the front image generation unit 202, for example, It is possible to generate multiple en-face images with a range of 50% depth positions.

推論モデル構築部210は、図5に示すように、第1学習部211と、第2学習部212と、推論モデル生成部213とを含む。 As shown in FIG. 5, the inference model construction unit 210 includes a first learning unit 211, a second learning unit 212, and an inference model generation unit 213.

図6~図8に、図5の推論モデル構築部210の動作説明図を示す。図6は、図5の第1学習部211の動作説明図を模式的に表す。図7は、図5の第2学習部212の動作説明図を模式的に表す。図8は、図5の推論モデル生成部213の動作説明図を模式的に表す。 6 to 8 are diagrams illustrating the operation of the inference model construction unit 210 of FIG. 5. FIG. 6 schematically represents an operation explanatory diagram of the first learning section 211 of FIG. 5. As shown in FIG. FIG. 7 schematically represents an operation explanatory diagram of the second learning section 212 of FIG. 5. FIG. 8 schematically represents an operation explanatory diagram of the inference model generation unit 213 of FIG. 5.

第1学習部211は、自己符号化器(autoencoder)に対して訓練データを用いた教師なし機械学習(unsupervised machine learning)を実行する。この実施形態では、自己符号化器は、変分自己符号化器(Variational autoencoder:VAE)である場合について説明するが、実施形態に係る自己符号化器は、変分自己符号化器以外の自己符号化器であってよい。 The first learning unit 211 performs unsupervised machine learning using training data on an autoencoder. In this embodiment, a case will be described in which the autoencoder is a variational autoencoder (VAE), but the autoencoder according to the embodiment It may be an encoder.

図6に示すように、実施形態に係る自己符号化器211Bは、エンコーダENと、デコーダDEとを含む。デコーダDEの入力(入力層のユニット)には、エンコーダENの出力データが入力されるように構成されている。エンコーダENの入力の次元数は、エンコーダENの出力の次元数より大きい。エンコーダENは、入力データIn1を所定の確率分布に従った潜在空間に圧縮することで入力データIn1の次元圧縮を行い、入力データIn1を特徴量としての潜在変数Vaに変換する。デコーダDEの入力の次元数は、デコーダDEの出力の次元数より小さい。デコーダDEは、エンコーダENの変換と逆の変換を行い、潜在変数Vaに対応した出力データOut1を出力する。 As shown in FIG. 6, the autoencoder 211B according to the embodiment includes an encoder EN and a decoder DE. The input of the decoder DE (input layer unit) is configured to receive output data of the encoder EN. The number of dimensions of the input of encoder EN is greater than the number of dimensions of the output of encoder EN. The encoder EN performs dimension compression of the input data In1 by compressing the input data In1 into a latent space according to a predetermined probability distribution, and converts the input data In1 into a latent variable Va as a feature quantity. The number of dimensions of the input of the decoder DE is smaller than the number of dimensions of the output of the decoder DE. The decoder DE performs a conversion inverse to the conversion performed by the encoder EN, and outputs output data Out1 corresponding to the latent variable Va.

このようなエンコーダEN及びデコーダDEのそれぞれは、ニューラルネットワークにより構成される。例えば、自己符号化器211Bが、入力層と中間層と出力層とを含む。この場合、エンコーダENは、入力層における第1~第L(Lは2以上の整数)の入力層ユニットと中間層における第1~第M(MはLより小さい整数)の中間層ユニットとの間のニューラルネットワークにより構成される。同様に、デコーダDEは、中間層における第1~第Mの中間層ユニットと出力層における第1~第N(NはMより大きい整数)の出力層ユニットとの間のニューラルネットワークにより構成される。 Each of the encoder EN and decoder DE is configured by a neural network. For example, the autoencoder 211B includes an input layer, a hidden layer, and an output layer. In this case, the encoder EN encodes the first to Lth (L is an integer greater than or equal to 2) input layer units in the input layer and the first to Mth (M is an integer smaller than L) intermediate layer units in the intermediate layer. It is composed of a neural network between. Similarly, the decoder DE is configured by a neural network between the first to Mth intermediate layer units in the intermediate layer and the first to Nth (N is an integer greater than M) output layer units in the output layer. .

第1~第Lの入力層ユニットのそれぞれは、第1~第Mの中間層ユニットのいずれかと結合され、入力層ユニットと中間層ユニットとの間には結合係数が割り当てられている。各中間層ユニットには、結合された1以上の入力層ユニットの情報と各結合間の結合係数とから得られた情報を所定の活性化関数で演算した情報が入力される。例えば、第1~第Lの入力層ユニットの情報が入力データに対応し、第1~第Mの中間層ユニットの情報が潜在変数Vaに対応する。 Each of the first to Lth input layer units is coupled to one of the first to Mth intermediate layer units, and a coupling coefficient is assigned between the input layer unit and the intermediate layer unit. Information obtained by calculating information obtained from information of one or more connected input layer units and a coupling coefficient between each connection using a predetermined activation function is input to each intermediate layer unit. For example, information on the first to Lth input layer units corresponds to input data, and information on the first to Mth intermediate layer units corresponds to the latent variable Va.

同様に、第1~第Mの中間層ユニットのそれぞれは、第1~第Nの出力層ユニットのいずれかと結合され、中間層ユニットと出力層ユニットとの間には結合係数が割り当てられている。各出力層ユニットには、結合された1以上の中間層ユニットの情報と各結合間の結合係数とから得られた情報を所定の活性化関数で演算した情報が入力される。例えば、第1~第Nの出力層ユニットの情報が、出力データに対応する。 Similarly, each of the first to Mth intermediate layer units is coupled to one of the first to Nth output layer units, and a coupling coefficient is assigned between the intermediate layer unit and the output layer unit. . Information obtained by calculating information obtained from information of one or more combined intermediate layer units and a coupling coefficient between each connection using a predetermined activation function is input to each output layer unit. For example, information on the first to Nth output layer units corresponds to output data.

第1学習部211は、第1学習処理部211Aを含む。第1学習処理部211Aは、デコーダDEの出力データがエンコーダENの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。これにより、デコーダDEの出力データがエンコーダENの入力データに一致するように、入力層ユニットと中間層ユニットとの間の結合係数と、中間層ユニットと出力層ユニットとの間の結合係数とが更新される。 The first learning section 211 includes a first learning processing section 211A. The first learning processing unit 211A executes unsupervised machine learning using training data so that the output data of the decoder DE matches the input data of the encoder EN. Thereby, the coupling coefficient between the input layer unit and the hidden layer unit and the coupling coefficient between the hidden layer unit and the output layer unit are adjusted so that the output data of the decoder DE matches the input data of the encoder EN. Updated.

この実施形態では、第1学習部211は、正面画像生成部202により生成された複数のen-face画像を訓練データとして教師なし機械学習を実行する。複数のen-face画像は、Haller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置の範囲の画像である。 In this embodiment, the first learning unit 211 executes unsupervised machine learning using a plurality of en-face images generated by the front image generation unit 202 as training data. The plurality of en-face images are images ranging from a 10% depth position to a 50% depth position based on the shallow boundary position of the Haller layer.

第2学習部212は、分類器に対して教師データを用いた教師あり機械学習(supervised machine learning)を実行する。この実施形態では、分類器は、サポートベクタマシン(Support Vector Machine:SVM)である場合について説明するが、実施形態に係る分類器は、ランダムフォレストなどのサポートベクタマシン以外の分類器であってよい。 The second learning unit 212 performs supervised machine learning on the classifier using training data. In this embodiment, a case will be described in which the classifier is a support vector machine (SVM), but the classifier according to the embodiment may be a classifier other than a support vector machine such as a random forest. .

図7に示すように、分類器CLには、第1学習部211により学習されたエンコーダENの出力データ(特徴量)が入力される。すなわち、分類器CLは、エンコーダENの入力データIn2の特徴量に対応した推論結果(分類結果、確信度)を出力データOut2として出力するように構成されている。分類器CLは、例えば、入力データに対する(仮想的な)識別境界線を変更することにより推論結果を変更することが可能である。識別境界線は、教師あり機械学習によって更新される。 As shown in FIG. 7, the output data (feature amount) of the encoder EN learned by the first learning unit 211 is input to the classifier CL. That is, the classifier CL is configured to output the inference result (classification result, confidence) corresponding to the feature amount of the input data In2 of the encoder EN as the output data Out2. For example, the classifier CL can change the inference result by changing the (virtual) identification boundary line for the input data. The identification boundaries are updated by supervised machine learning.

第2学習部212は、第2学習処理部212Aを含む。第2学習処理部212Aは、教師データを用いて分類器CLに対して教師あり機械学習を実行する。ここで、教師データは、エンコーダENに入力されたラベル付きデータに対応してエンコーダENから出力された出力データと、上記ラベル付きデータに付されたラベルとを含む。このような教師データを用いた公知の機械学習を実行することにより、識別境界線を変更することができる。 The second learning section 212 includes a second learning processing section 212A. The second learning processing unit 212A performs supervised machine learning on the classifier CL using the teacher data. Here, the teacher data includes output data output from the encoder EN corresponding to the labeled data input to the encoder EN, and a label attached to the labeled data. By performing known machine learning using such training data, the identification boundary line can be changed.

この実施形態では、第2学習部212は、正面画像生成部202により生成された複数のen-face画像の一部を教師データとして教師あり機械学習を実行する。教師データは、Haller層の浅層側の境界位置を基準に25%の深さ位置の画像に対して、事前に医師等が脈絡膜血管の走行パターンに対称性があるか否かの判断結果をラベルとして付したデータである。すなわち、第2学習部212が用いる教師データは、第1学習部211が用いる複数の訓練データの一部に対してラベルを付したデータを含む。 In this embodiment, the second learning unit 212 executes supervised machine learning using a portion of the plurality of en-face images generated by the front image generation unit 202 as training data. The training data is based on the results of a doctor's judgment in advance of whether there is symmetry in the running pattern of choroidal blood vessels for an image at a depth of 25% based on the shallow boundary position of the Haller layer. This is data attached as a label. That is, the teacher data used by the second learning unit 212 includes data in which a portion of the plurality of training data used by the first learning unit 211 is labeled.

推論モデル生成部213は、入力データに対応するラベル(例えば、分類結果、確信度。広義には、情報)を推論するための推論モデルを生成する。図8に示すように、推論モデル生成部213は、第1学習部211により実行された教師なし機械学習により得られたエンコーダENと第2学習部212により実行された教師あり機械学習により得られた分類器CLとを用いて、上記の推論モデルを生成する。ここで、推論モデルは、入力データを受け付けるエンコーダENと、エンコーダENの出力にその入力が結合された分類器CLとを含み、分類器CLの出力データが入力データに対する推論結果として出力される。 The inference model generation unit 213 generates an inference model for inferring a label (e.g., classification result, confidence level; in a broader sense, information) corresponding to the input data. As shown in FIG. 8, the inference model generation unit 213 generates the above inference model using an encoder EN obtained by unsupervised machine learning performed by the first learning unit 211 and a classifier CL obtained by supervised machine learning performed by the second learning unit 212. Here, the inference model includes an encoder EN that accepts input data and a classifier CL whose input is combined with the output of the encoder EN, and the output data of the classifier CL is output as an inference result for the input data.

推論部220は、推論モデル生成部213により生成された推論モデルを用いて、推論モデルの入力データInに対応する出力データOutを推論結果として出力する。 The inference unit 220 uses the inference model generated by the inference model generation unit 213 to output output data Out corresponding to the input data In of the inference model as an inference result.

図3において、通信部140は、制御部110からの制御を受け、眼科情報処理装置100の通信部14との間で情報の送信又は受信を行うための通信インターフェース処理を実行する。 In FIG. 3, the communication unit 140 executes communication interface processing for transmitting or receiving information with the communication unit 14 of the ophthalmological information processing device 100 under control from the control unit 110.

制御部110は、眼科情報処理装置100の各部を制御する。特に、制御部110は、画像形成部120と、データ処理部130と、通信部140とを制御する。制御部110は、主制御部111と、記憶部112とを含む。 The control section 110 controls each section of the ophthalmological information processing apparatus 100. In particular, the control section 110 controls the image forming section 120, the data processing section 130, and the communication section 140. Control unit 110 includes a main control unit 111 and a storage unit 112.

制御部110は、操作装置180に対するユーザの操作内容に対応した操作指示信号に基づいて、眼科システム1の各部を制御する。 The control unit 110 controls each unit of the ophthalmological system 1 based on an operation instruction signal corresponding to the user's operation on the operating device 180.

制御部110、画像形成部120、及びデータ処理部130のそれぞれは、プロセッサを含む。画像形成部120の機能は、画像形成プロセッサにより実現される。データ処理部130の機能は、データ処理プロセッサにより実現される。いくつかの実施形態では、制御部110、画像形成部120、及びデータ処理部130のうち少なくとも2つの機能が1つのプロセッサにより実現される。 Each of the control section 110, the image forming section 120, and the data processing section 130 includes a processor. The functions of the image forming section 120 are realized by an image forming processor. The functions of the data processing section 130 are realized by a data processing processor. In some embodiments, the functions of at least two of the control unit 110, the image forming unit 120, and the data processing unit 130 are implemented by one processor.

記憶部112は、各種のデータを記憶する。記憶部112に記憶されるデータとしては、眼科装置10により取得されたデータ(測定データ、撮影データ等)、画像形成部120により形成された画像データ、データ処理部130によるデータ処理結果、被検者及び被検眼に関する情報などがある。記憶部112には、眼科情報処理装置100の各部を動作させるための各種のコンピュータプログラムやデータが記憶されていてよい。 The storage unit 112 stores various data. The data stored in the storage unit 112 includes data acquired by the ophthalmological apparatus 10 (measured data, photographed data, etc.), image data formed by the image forming unit 120, data processing results by the data processing unit 130, and the subject. There is information regarding the subject and the eye to be examined. The storage unit 112 may store various computer programs and data for operating each unit of the ophthalmological information processing device 100.

眼科情報処理装置100は、実施形態に係る「情報処理装置」の一例である。エンコーダENは、実施形態に係る「特徴量抽出器」の一例である。 The ophthalmological information processing device 100 is an example of an "information processing device" according to the embodiment. The encoder EN is an example of a "feature extractor" according to the embodiment.

[動作例]
いくつかの実施形態に係る眼科情報処理装置100の動作例について説明する。
[Operation example]
Operation examples of the ophthalmological information processing apparatus 100 according to some embodiments will be described.

図9及び図10に、実施形態に係る眼科情報処理装置100の動作説明図を示す。図9は、眼科情報処理装置100の動作例のフロー図を表す。記憶部112には、図9に示す処理を実現するためのコンピュータプログラムが記憶されている。制御部110(主制御部111)は、このコンピュータプログラムに従って動作することにより、図9に示す処理を実行することが可能である。図10は、図9の動作例のフロー図に対応した動作説明図である。図10において、図6~図8と同様の部分には同一符号を付し、適宜説明を省略する。 Figures 9 and 10 show operation explanatory diagrams of the ophthalmological information processing device 100 according to the embodiment. Figure 9 shows a flow diagram of an operation example of the ophthalmological information processing device 100. A computer program for realizing the processing shown in Figure 9 is stored in the memory unit 112. The control unit 110 (main control unit 111) is able to execute the processing shown in Figure 9 by operating according to this computer program. Figure 10 is an operation explanatory diagram corresponding to the flow diagram of the operation example in Figure 9. In Figure 10, parts similar to those in Figures 6 to 8 are given the same reference numerals, and explanations will be omitted as appropriate.

図9では、事前に眼科装置10を用いて複数の被検眼に対してOCTを実行し、得られたOCTデータから脈絡膜のHaller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置までの範囲の複数のen-face画像(例えば、14760枚)が形成されているものとする。1つの被検眼のOCTデータから、深さ位置が異なる複数のen-face画像を事前に形成することが可能である。また、得られた複数のen-face画像のうち25%の深さ位置の複数のen-face画像について、事前に脈絡膜血管の走行パターンの対称性の判断結果に対応したラベルが付されているものとする(例えば、対称であると判断された216枚、非対称であると判断された236枚)。 In FIG. 9, OCT is performed on a plurality of eyes to be examined using the ophthalmological apparatus 10 in advance, and from the obtained OCT data, a position at a depth of 10% based on the boundary position on the shallow side of the Haller layer of the choroid is shown. It is assumed that a plurality of en-face images (for example, 14,760 images) have been formed in the range from to 50% depth position. It is possible to form in advance a plurality of en-face images with different depth positions from OCT data of one eye to be examined. Furthermore, among the multiple en-face images obtained, multiple en-face images at 25% depth positions are labeled in advance according to the judgment result of the symmetry of the running pattern of the choroidal blood vessels. (For example, 216 images were determined to be symmetrical, and 236 images were determined to be asymmetrical.)

(S1:VAEに対して教師なし機械学習を実行)
まず、制御部110は、第1学習部211を制御することにより、自己符号化器211Bに対して、デコーダDEの出力データがエンコーダENの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。
(S1: Perform unsupervised machine learning on VAE)
First, by controlling the first learning unit 211, the control unit 110 causes the self-encoder 211B to perform unsupervised training using training data so that the output data of the decoder DE matches the input data of the encoder EN. Run machine learning.

ステップS1では脈絡膜のHaller層の浅層側の境界位置を基準に10%の深さ位置から50%の深さ位置までの範囲の複数のen-face画像(例えば、14760枚)を訓練データとして、各en-face画像を用いて教師なし機械学習が実行される。 In step S1, a plurality of en-face images (for example, 14,760 images) ranging from a depth position of 10% to a depth position of 50% based on the boundary position of the shallow layer of the Haller layer of the choroid are used as training data. , unsupervised machine learning is performed using each en-face image.

これにより、ステップS1では、図10に示すように、大量の訓練データを用いた教師なし機械学習により学習されたエンコーダENが得られる。 As a result, in step S1, an encoder EN trained by unsupervised machine learning using a large amount of training data is obtained, as shown in FIG. 10.

(S2:SVMに対して教師あり機械学習を実行)
続いて、制御部110は、第2学習部212を制御することにより、分類器(SVM)CLに対して、エンコーダENに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いて教師あり機械学習を実行する。
(S2: Perform supervised machine learning on SVM)
Subsequently, the control unit 110 controls the second learning unit 212 to cause the classifier (SVM) CL to perform labeling on the output data corresponding to the labeled data input to the encoder EN and the labeled data. Perform supervised machine learning using the obtained labels as training data.

ステップS2では、脈絡膜のHaller層の浅層側の境界位置を基準に25%の深さ位置の複数のen-face画像(例えば、452(=216+236)枚)を教師データとして、各en-face画像を用いて教師あり機械学習が実行される。具体的には、ステップS1において教師なし機械学習により学習されたエンコーダENに各en-face画像を入力し、得られたエンコーダENの出力データ(特徴量)を分類器CLに入力し、分類器CLの出力データが教師データのラベルと一致するように、分類器CLを学習させる。 In step S2, a plurality of en-face images (for example, 452 (=216+236) images) at a depth of 25% with respect to the superficial boundary position of the Haller layer of the choroid are used as training data, and each en-face image is Supervised machine learning is performed using images. Specifically, each en-face image is input to the encoder EN learned by unsupervised machine learning in step S1, and the output data (feature amount) of the encoder EN obtained is input to the classifier CL. The classifier CL is trained so that the output data of CL matches the label of the teacher data.

これにより、ステップS2では、図10に示すように、少量の教師データを用いた教師あり機械学習により学習された分類器CLが得られる。 Thereby, in step S2, as shown in FIG. 10, a classifier CL learned by supervised machine learning using a small amount of teacher data is obtained.

(S3:推論モデルを生成)
その後、制御部110は、推論モデル生成部213を制御することにより、推論部220において用いられる推論モデルを生成させる。具体的には、推論モデル生成部213は、ステップS1において得られたエンコーダENと、ステップS2において得られた分類器CLとを用いた推論モデルを生成する。
(S3: Generate inference model)
Thereafter, the control unit 110 controls the inference model generation unit 213 to generate an inference model used in the inference unit 220. Specifically, the inference model generation unit 213 generates an inference model using the encoder EN obtained in step S1 and the classifier CL obtained in step S2.

これにより、ステップS3では、図10に示すように、少量の教師データを用いた機械学習により高精度な出力を得ることが可能な推論モデルが得られる。 Thereby, in step S3, as shown in FIG. 10, an inference model that can obtain highly accurate output is obtained by machine learning using a small amount of teacher data.

ステップS3において生成された推論モデルを用いて、ステップS1において得られたエンコーダENの入力データに対応した出力データを入力データの特徴量として出力し、ステップS2において得られた分類器CLにより上記の特徴量に基づいて入力データに対応するラベルを推論することが可能である。 Using the inference model generated in step S3, the output data corresponding to the input data of the encoder EN obtained in step S1 is output as the feature quantity of the input data, and the above-mentioned It is possible to infer a label corresponding to input data based on features.

すなわち、推論モデルを構成するエンコーダENは、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、エンコーダENの入力データに対応した出力データを入力データの特徴量として出力する。また、推論モデルを構成する分類器CLは、エンコーダENに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、エンコーダENにより出力された特徴量に基づいて入力データに対応するラベルを推論する。 That is, the encoder EN constituting the inference model includes an encoder constituting an autoencoder trained by unsupervised machine learning using training data, and outputs output data corresponding to the input data of the encoder EN as a feature of the input data. The classifier CL constituting the inference model is trained by supervised machine learning using the output data corresponding to the labeled data input to the encoder EN and the labels attached to the labeled data as supervised data, and infers a label corresponding to the input data based on the feature output by the encoder EN.

以上で、眼科情報処理装置100の動作は終了である(エンド)。 This is the end of the operation of the ophthalmological information processing apparatus 100 (end).

以上のように、実施形態によれば、少量の教師データを用いた機械学習により高精度な出力を得ることが可能になる。 As described above, according to the embodiment, it is possible to obtain highly accurate output through machine learning using a small amount of training data.

ここで、学習データ(ここでは、教師データ)が少量の場合、畳み込みニューラルネットワークと実施形態に係る推論モデルとについて受信者動作特性曲線下面積(Area Under Receiver Operating Characteritic curve:AUROC)を評価する。 Here, when the learning data (here, teaching data) is small, the area under the receiver operating characteristic curve (AUROC) is evaluated for the convolutional neural network and the inference model according to the embodiment.

図11A及び図11Bに、畳み込みニューラルネットワーク及び実施形態に係る推論モデルのAUROCの評価結果の一例を示す。図11Aは、畳み込みニューラルネットワークのAUROCの評価結果の一例を表す。図11Bは、実施形態に係る推論モデルのAUROCの評価結果の一例を表す。 FIGS. 11A and 11B show examples of AUROC evaluation results of the convolutional neural network and the inference model according to the embodiment. FIG. 11A represents an example of an evaluation result of AUROC of the convolutional neural network. FIG. 11B represents an example of the AUROC evaluation result of the inference model according to the embodiment.

図11A及び図11Bでは、実施形態において教師あり機械学習で用いた452例の教師データの一部である45例を訓練データとし、残りの407例を検証データとし(すなわち、学習データが少ない)、10分割の交差検証の評価結果がAUROCとして表されている。 In FIGS. 11A and 11B, 45 examples, which are part of the 452 examples of teacher data used in supervised machine learning in the embodiment, are used as training data, and the remaining 407 examples are used as verification data (that is, there is little training data). , the evaluation results of 10-fold cross validation are expressed as AUROC.

図11Aに示す畳み込みニューラルネットワークの評価結果では、AUROC=0.747±0.064である。図11Bに示す実施形態に係る推論モデルの評価結果では、AUROC=0.841±0.021である。有意水準のp値が「0.05」であるウィルコクンソンの符号付順位和検定(Wilcoxon signed-rank sum test)では、図11Aと図11Bの評価結果はp値が0.00503であり有意差があると考えられる。学習データが少ない場合、データ依存性が高くなり、畳み込みニューラルネットワークではAUROCの分散が大きくなる。すなわち、実施形態によれば、学習データが少ない場合、データ依存性が低く、畳み込みニューラルネットワークより高い精度で入力データに対応するラベルを推論することができることを意味する。 The evaluation result of the convolutional neural network shown in FIG. 11A is AUROC=0.747±0.064. The evaluation result of the inference model according to the embodiment shown in FIG. 11B is AUROC=0.841±0.021. In the Wilcoxon signed-rank sum test, where the significance level p value is "0.05", the evaluation results in Figures 11A and 11B are significant with a p value of 0.00503. It is thought that there is a difference. When training data is small, data dependence becomes high, and the variance of AUROC becomes large in a convolutional neural network. That is, according to the embodiment, when the training data is small, data dependence is low, and it means that a label corresponding to the input data can be inferred with higher accuracy than a convolutional neural network.

<変形例>
いくつかの実施形態に係る構成は、上記の構成に限定されるものではない。
<Modified example>
Configurations according to some embodiments are not limited to the above configurations.

いくつかの実施形態に係る眼科装置は、眼科装置10の機能に加えて、眼科情報処理装置100の機能、操作装置180の機能、及び表示装置190の機能の少なくとも1つを備える。 In addition to the functions of the ophthalmologic apparatus 10, the ophthalmologic apparatus according to some embodiments includes at least one of the functions of the ophthalmologic information processing apparatus 100, the operation device 180, and the display device 190.

以下、いくつかの実施形態の変形例に係る眼科装置について、上記の実施形態に係る眼科装置との相違点を中心に説明する。 Hereinafter, ophthalmologic apparatuses according to some modified examples of the embodiments will be described, focusing on the differences from the ophthalmologic apparatuses according to the above-described embodiments.

図12に、実施形態の変形例に係る眼科装置10aの構成例のブロック図を示す。図12において、図2と同様の部分には同一符号を付し、適宜説明を省略する。 FIG. 12 shows a block diagram of a configuration example of an ophthalmologic apparatus 10a according to a modification of the embodiment. In FIG. 12, parts similar to those in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.

本変形例に係る眼科装置10aの構成が上記の実施形態に係る眼科装置10の構成と異なる点は、眼科装置10aが、眼科情報処理装置100の機能と、操作装置180の機能と、表示装置190の機能とを備えている点である。眼科装置10aは、制御部11aと、データ収集部12と、画像形成部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを含む。 The configuration of the ophthalmologic apparatus 10a according to this modification differs from the configuration of the ophthalmologic apparatus 10 according to the above-described embodiments in that the ophthalmologic apparatus 10a has the functions of the ophthalmologic information processing apparatus 100, the functions of the operating device 180, and the display device. It has 190 functions. The ophthalmologic apparatus 10a includes a control section 11a, a data collection section 12, an image forming section 13, an ophthalmology information processing section 15a, an operation section 16a, and a display section 17a.

制御部11aは、眼科装置10aの各部を制御する。特に、制御部11aは、データ収集部12と、画像形成部13と、眼科情報処理部15aと、操作部16aと、表示部17aとを制御する。 The control unit 11a controls each part of the ophthalmologic apparatus 10a. In particular, the control section 11a controls the data collection section 12, the image forming section 13, the ophthalmological information processing section 15a, the operation section 16a, and the display section 17a.

眼科情報処理部15aは、眼科情報処理装置100と同様の構成を有し、眼科情報処理装置100と同様の機能を備えている。操作部16aは、操作装置180と同様の構成を有し、操作装置180と同様の機能を備えている。表示部17aは、表示装置190と同様の構成を有し、表示装置190と同様の機能を備えている。 The ophthalmological information processing unit 15a has the same configuration as the ophthalmological information processing device 100, and has the same functions as the ophthalmological information processing device 100. The operation unit 16a has the same configuration as the operation device 180, and has the same functions as the operation device 180. The display unit 17a has the same configuration as the display device 190, and has the same functions as the display device 190.

本変形例によれば、コンパクトな構成で、少量の教師データを用いた機械学習により高精度な出力を得ることが可能な眼科装置を提供することができる。 According to this modification, it is possible to provide an ophthalmologic apparatus that has a compact configuration and can obtain highly accurate output through machine learning using a small amount of teacher data.

<その他の変形例>
上記の実施形態又はその変形例では、脈絡膜におけるHaller層の訓練データ及び教師データを用いて学習された推論モデルを用いて、脈絡血管の走行パターンが対称であるか否かを推論する場合について説明した。しかしながら、実施形態に係る構成はこれに限定されるものではない。例えば、脈絡膜におけるHaller層の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、脈絡血管の走行パターンを予め決められた複数のパターン種別に分類することが可能である。また、例えば、
脈絡膜におけるHaller層の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、pachychoroidスペクトラム疾患群(pachychoroid spectrum disease)に含まれる複数の疾患の種別に分類することが可能である。
<Other variations>
In the above embodiment or its modification, a case will be described in which it is inferred whether or not the running pattern of the choroid blood vessels is symmetrical using an inference model learned using training data and teacher data of the Haller layer in the choroid. did. However, the configuration according to the embodiment is not limited to this. For example, it is possible to classify running patterns of choroidal vessels into a plurality of predetermined pattern types using an inference model learned in the same manner as in the embodiment using training data and teacher data of the Haller layer in the choroid. be. Also, for example,
It is possible to classify multiple disease types included in the pachychoroid spectrum disease group using an inference model learned in the same manner as in the embodiment using training data and teacher data of the Haller layer in the choroid. It is.

また、上記の実施形態又はその変形例において、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、正常眼であるか緑内障眼でるかを分類することが可能である。また、例えば、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、所定の部位(例えば視神経乳頭)が出血しているか否かを分類することが可能である。また、眼底カメラ等を用いて取得された眼底写真(例えば、カラー眼底写真)の訓練データ及び教師データを用いて実施形態と同様に学習された推論モデルを用いて、網膜芽細胞腫や脈絡膜悪性黒色腫などの眼腫瘍の有無を分類することが可能である。 Further, in the above embodiment or a modification thereof, an inference model learned in the same manner as in the embodiment using training data and teacher data of a fundus photograph (for example, a color fundus photograph) obtained using a fundus camera etc. It is possible to classify whether the eye is normal or has glaucomatous. For example, a predetermined region (e.g., It is possible to classify whether the optic disc (optic disc) is bleeding or not. In addition, using an inference model learned in the same manner as in the embodiment using training data and teacher data of fundus photographs (e.g., color fundus photographs) obtained using a fundus camera, etc., retinoblastoma and choroidal malignant It is possible to classify the presence or absence of eye tumors such as melanoma.

<効果>
以下、いくつかの実施形態に係る情報処理装置、推論モデル生成方法、情報処理方法、及びプログラムについて説明する。
<Effect>
Information processing apparatuses, inference model generation methods, information processing methods, and programs according to some embodiments will be described below.

いくつかの実施形態に係る情報処理装置(眼科情報処理装置100、眼科情報処理部15a)は、第1学習部(211)と、第2学習部(212)と、推論モデル生成部(213)とを含む。第1学習部は、エンコーダ(EN)とエンコーダの出力データが入力されるデコーダ(DE)とを含む自己符号化器(211B)に対し、デコーダの出力データがエンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する。第2学習部は、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いて分類器(CL)に対して教師あり機械学習を実行する。推論モデル生成部は、教師なし機械学習により得られたエンコーダと教師あり機械学習により得られた分類器とを用いて、エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する。 An information processing device (ophthalmological information processing device 100, ophthalmological information processing unit 15a) according to some embodiments includes a first learning unit (211), a second learning unit (212), and an inference model generation unit (213). The first learning unit performs unsupervised machine learning using training data on an autoencoder (211B) including an encoder (EN) and a decoder (DE) to which output data from the encoder is input, so that the output data from the decoder matches the input data from the encoder. The second learning unit performs supervised machine learning on a classifier (CL) using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as supervised data. The inference model generation unit generates an inference model for inferring a label corresponding to the input data of the encoder, using an encoder obtained by unsupervised machine learning and a classifier obtained by supervised machine learning.

このような構成によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能になる。 With this configuration, compared to convolutional neural networks, it is possible to generate an inference model that has low data dependence and can infer labels corresponding to input data with high accuracy even with a small amount of training data. It becomes possible.

いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、分類器は、正面画像に描出された血管の走行パターンが対称であるか否かを推論する。 In some embodiments, the training data is image data representing an en-face image of the fundus depicting blood vessels in the choroid, and the classifier infers whether the pattern of blood vessels depicted in the en-face image is symmetric or not.

このような構成によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能な推論モデルを生成することができるようになる。 According to such a configuration, it becomes possible to generate an inference model that can infer with high accuracy whether or not the running pattern of blood vessels in the choroid is symmetrical using a small amount of training data. .

いくつかの実施形態に係る情報処理装置(眼科情報処理装置100、眼科情報処理部15a)は、特徴量抽出器(エンコーダEN)と、分類器(CL)とを含む。特徴量抽出器は、訓練データを用いた教師なし機械学習により学習された自己符号化器(212b)を構成するエンコーダを含み、エンコーダの入力データに対応した出力データを入力データの特徴量として出力する。分類器は、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、特徴量抽出器により出力された特徴量に基づいて入力データに対応するラベルを推論する。 An information processing device (ophthalmological information processing device 100, ophthalmological information processing unit 15a) according to some embodiments includes a feature extractor (encoder EN) and a classifier (CL). The feature extractor includes an encoder constituting an autoencoder (212b) trained by unsupervised machine learning using training data, and outputs output data corresponding to input data of the encoder as features of the input data. The classifier is trained by supervised machine learning using output data corresponding to labeled data input to the encoder and labels attached to the labeled data as supervised data, and infers a label corresponding to the input data based on the features output by the feature extractor.

このような構成によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能になる。 Compared to convolutional neural networks, this configuration has low data dependency and makes it possible to infer labels corresponding to input data with high accuracy, even with a small amount of training data.

いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、ラベル付きデータは、血管の走行パターンが対称であるか否かを示すラベルが付された正面画像を表す画像データである。 In some embodiments, the training data is image data representing an en-face image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is image data representing whether the running pattern of the blood vessels is symmetrical or not. This is image data representing a frontal image with a label indicating that it is a front image.

このような構成によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。 According to such a configuration, it is possible to infer with high precision whether the running pattern of blood vessels in the choroid is symmetrical or not using a small amount of training data.

いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。 In some embodiments, the en face image is an en face image of the Haller layer in the choroid.

このような構成によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。 According to this configuration, by using the frontal image of the Haller layer, which is considered to be easy to understand the state of the choroidal blood vessels, it is possible to infer with higher precision whether the running pattern of the blood vessels in the choroid is symmetrical or not. It becomes possible to do so.

いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。 In some embodiments, the labeled data includes labeled portions of the training data.

このような構成によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。 According to such a configuration, by simply preparing a small amount of labeled data, it becomes possible to infer a label corresponding to input data with higher accuracy.

いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus.

このような構成によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a configuration, it becomes possible to create a plurality of training data from measurement data (for example, OCT data) acquired for one eye to be examined. This makes it possible to further improve learning accuracy and infer labels corresponding to input data with even higher accuracy.

いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a frontal image of the fundus at a predetermined depth position within a predetermined depth range.

このような構成によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a configuration, a front image at a predetermined depth position from among a plurality of front images within a predetermined depth range can be used for supervised machine learning. Thereby, training data and teacher data can be collected efficiently, learning accuracy can be further improved, and labels corresponding to input data can be inferred with even higher accuracy.

いくつかの実施形態に係る推論モデル生成方法は、第1学習ステップと、第2学習ステップと、推論モデル生成ステップとを含む。第1学習ステップでは、エンコーダ(EN)とエンコーダの出力データが入力されるデコーダ(DE)とを含む自己符号化器(212b)に対し、デコーダの出力データがエンコーダの入力データに一致するように訓練データを用いた教師なし機械学習が実行される。第2学習ステップでは、エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器(CL)に対して教師あり機械学習が実行される。推論モデル生成ステップでは、教師なし機械学習により得られたエンコーダと教師あり機械学習により得られた分類器とを用いて、エンコーダの入力データに対応するラベルを推論するための推論モデルが生成される。 An inference model generation method according to some embodiments includes a first learning step, a second learning step, and an inference model generation step. In the first learning step, the self-encoder (212b) including an encoder (EN) and a decoder (DE) to which the output data of the encoder is input is trained so that the output data of the decoder matches the input data of the encoder. Unsupervised machine learning is performed using training data. In the second learning step, supervised machine learning is performed on the classifier (CL) using the output data corresponding to the labeled data input to the encoder and the label attached to the labeled data as training data. be done. In the inference model generation step, an inference model for inferring a label corresponding to the input data of the encoder is generated using the encoder obtained by unsupervised machine learning and the classifier obtained by supervised machine learning. .

このような方法によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能になる。 Compared to convolutional neural networks, this method makes it possible to generate an inference model that has low data dependency and can infer labels corresponding to input data with high accuracy, even with a small amount of training data.

いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。 In some embodiments, the labeled data includes labeled portions of the training data.

このような方法によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。 According to such a method, by simply preparing a small amount of labeled data, it becomes possible to infer a label corresponding to input data with higher accuracy.

いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、分類器は、正面画像に描出された血管の走行パターンが対称であるか否かを推論する。 In some embodiments, the training data is image data representing an en-face image of the fundus in which blood vessels in the choroid are depicted, and the classifier is configured to Infer whether it is symmetric or not.

このような方法によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。 According to such a method, using a small amount of training data, it is possible to infer with high precision whether the running pattern of blood vessels in the choroid is symmetrical or not.

いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。 In some embodiments, the en face image is an en face image of Haller's layer in the choroid.

このような方法によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。 According to this method, by using a frontal image of the Haller layer, which is considered to be easy to understand the state of choroidal blood vessels, it is possible to infer with higher accuracy whether the running pattern of blood vessels in the choroid is symmetrical or not. It becomes possible to do so.

いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In some embodiments, the training data includes image data of multiple frontal images at multiple positions within a predetermined depth range of the fundus.

このような方法によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a method, it becomes possible to create a plurality of training data from measurement data (for example, OCT data) acquired for one eye to be examined. This makes it possible to further improve learning accuracy and infer labels corresponding to input data with even higher accuracy.

いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a frontal image of the fundus at a predetermined depth position within a predetermined depth range.

このような方法によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a method, a front image at a predetermined depth position from a plurality of front images within a predetermined depth range can be used for supervised machine learning. Thereby, training data and teacher data can be collected efficiently, learning accuracy can be further improved, and labels corresponding to input data can be inferred with even higher accuracy.

いくつかの実施形態に係る情報処理方法は、特徴量抽出ステップと、推論ステップとを含む。特徴量抽出ステップでは、訓練データを用いた教師なし機械学習により学習された自己符号化器(212b)を構成するエンコーダ(EN)を用いて、エンコーダの入力データに対応した出力データが入力データの特徴量として出力される。推論ステップでは、エンコーダに入力されたラベル付きデータに対応した出力データとラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器(CL)を用いて、特徴量抽出ステップにおいて出力された特徴量に基づいて入力データに対応するラベルが推論される。 Information processing methods according to some embodiments include a feature amount extraction step and an inference step. In the feature extracting step, an encoder (EN) forming an autoencoder (212b) learned by unsupervised machine learning using training data is used to extract output data corresponding to the input data of the encoder from the input data. Output as a feature quantity. In the inference step, a classifier (CL) trained by supervised machine learning using output data corresponding to the labeled data input to the encoder and labels attached to the labeled data as training data is used. A label corresponding to the input data is inferred based on the feature quantity output in the feature quantity extraction step.

このような方法によれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能になる。 According to such a method, compared to a convolutional neural network, even with a small amount of training data, data dependence is low, and a label corresponding to input data can be inferred with high accuracy.

いくつかの実施形態では、ラベル付きデータは、訓練データの一部にラベルを付したデータを含む。 In some embodiments, the labeled data includes labeled portions of the training data.

このような方法によれば、少量のラベル付きデータを用意するだけで、入力データに対応するラベルをより高精度に推論することが可能になる。 This method makes it possible to infer the label corresponding to the input data with high accuracy by simply preparing a small amount of labeled data.

いくつかの実施形態では、訓練データは、脈絡膜における血管が描出された眼底の正面画像(en-face画像)を表す画像データであり、ラベル付きデータは、血管の走行パターンが対称であるか否かを示すラベルが付された正面画像を表す画像データである。 In some embodiments, the training data is image data representing an en-face image of the fundus in which blood vessels in the choroid are depicted, and the labeled data is image data representing the en-face image with a label attached that indicates whether the blood vessel pattern is symmetric or not.

このような方法によれば、少量の教師データを用いて、脈絡膜における血管の走行パターンが対称であるか否かを高精度に推論することが可能になる。 This method makes it possible to infer with high accuracy whether the blood vessel pattern in the choroid is symmetrical or not using a small amount of training data.

いくつかの実施形態では、正面画像は、脈絡膜におけるHaller層の正面画像である。 In some embodiments, the en face image is an en face image of Haller's layer in the choroid.

このような方法によれば、脈絡膜血管の状態を把握しやすいと考えられているHaller層の正面画像を用いることで、脈絡膜における血管の走行パターンが対称であるか否かをより高精度に推論することが可能になる。 According to this method, by using a frontal image of the Haller layer, which is considered to be easy to understand the state of choroidal blood vessels, it is possible to infer with higher accuracy whether the running pattern of blood vessels in the choroid is symmetrical or not. It becomes possible to do so.

いくつかの実施形態では、訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus.

このような方法によれば、1つの被検眼について取得された計測データ(例えば、OCTデータ)から複数の訓練データを作成することができるようになる。それにより、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to such a method, it becomes possible to create a plurality of training data from measurement data (for example, OCT data) acquired for one eye to be examined. This makes it possible to further improve learning accuracy and infer labels corresponding to input data with even higher accuracy.

いくつかの実施形態では、教師データは、所定の深さ範囲内の所定の深さ位置における眼底の正面画像の画像データを含む。 In some embodiments, the training data includes image data of a frontal image of the fundus at a predetermined depth position within a predetermined depth range.

このような方法によれば、所定の深さ範囲内の複数の正面画像から所定の深さ位置における正面画像を教師あり機械学習に用いることができる。それにより、訓練データ及び教師データを効率的に収集することができ、学習の精度をより向上させ、入力データに対応するラベルをより一層高精度に推論することが可能になる。 According to this method, a front image at a specified depth position from multiple front images within a specified depth range can be used for supervised machine learning. This makes it possible to efficiently collect training data and teacher data, further improving the accuracy of learning and making it possible to infer labels corresponding to input data with even greater accuracy.

いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の推論モデル生成方法の各ステップを実行させる。 A program according to some embodiments causes a computer to execute each step of the inference model generation method described above.

このようなプログラムによれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することができる推論モデルを生成することが可能なプログラムを提供することができるようになる。 Compared to convolutional neural networks, such programs can generate inference models that have low data dependence and can infer labels corresponding to input data with high accuracy even with a small amount of training data. We will be able to provide possible programs.

いくつかの実施形態に係るプログラムは、コンピュータに、上記のいずれかに記載の情報処理方法の各ステップを実行させる。 A program according to some embodiments causes a computer to execute each step of any of the information processing methods described above.

このようなプログラムによれば、畳み込みニューラルネットワークと比較して、少量の教師データでも、データ依存性が低く、入力データに対応するラベルを高精度に推論することが可能なプログラムを提供することができるようになる。 According to such a program, compared to a convolutional neural network, it is possible to provide a program that has low data dependence and can infer labels corresponding to input data with high accuracy even with a small amount of training data. become able to.

いくつかの実施形態に係る推論モデル生成方法又は情報処理方法を実現するためのプログラムを、コンピュータによって読み取り可能な非一時的な(non-transitory)任意の記録媒体に記憶させることができる。記録媒体は、磁気、光、光磁気、半導体などを利用した電子媒体であってよい。典型的には、記録媒体は、磁気テープ、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、ソリッドステートドライブなどである。 A program for implementing the inference model generation method or information processing method according to some embodiments can be stored in any non-transitory computer-readable recording medium. The recording medium may be an electronic medium using magnetism, light, magneto-optical, semiconductor, or the like. Typically, the recording medium is a magnetic tape, magnetic disk, optical disk, magneto-optical disk, flash memory, solid state drive, or the like.

また、インターネットやLAN等のネットワークを通じてコンピュータプログラムを送受信することも可能である。 It is also possible to send and receive computer programs through networks such as the Internet and LAN.

以上に説明した態様は、この発明を実施するための例に過ぎない。この発明を実施しようとする者は、この発明の要旨の範囲内における任意の変形(省略、置換、付加等)を施すことが可能である。 The embodiments described above are merely examples for implementing the invention. Those who wish to carry out this invention can make any modifications (omissions, substitutions, additions, etc.) within the scope of the gist of this invention.

1 眼科システム
10、10a 眼科装置
11、11a、110 制御部
12 データ収集部
12A 干渉光学系
12B スキャン光学系
13、120 画像形成部
14、140 通信部
15a 眼科情報処理部
16a 操作部
17a 表示部
100 眼科情報処理装置
111 主制御部
112 記憶部
130 データ処理部
180 操作装置
190 表示装置
200 解析部
201 セグメンテーション処理部
202 正面画像生成部
210 推論モデル構築部
211 第1学習部
211A 第1学習処理部
211B 自己符号化器
212 第2学習部
212A 第2学習処理部
213 推論モデル生成部
220 推論部
EN エンコーダ
DE デコーダ
1 Ophthalmology system 10, 10a Ophthalmology apparatus 11, 11a, 110 Control section 12 Data collection section 12A Interference optical system 12B Scanning optical system 13, 120 Image forming section 14, 140 Communication section 15a Ophthalmology information processing section 16a Operation section 17a Display section 100 Ophthalmology information processing device 111 Main control section 112 Storage section 130 Data processing section 180 Operating device 190 Display device 200 Analysis section 201 Segmentation processing section 202 Front image generation section 210 Inference model construction section 211 First learning section 211A First learning processing section 211B Self-encoder 212 Second learning section 212A Second learning processing section 213 Inference model generation section 220 Inference section EN Encoder DE Decoder

Claims (15)

エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習部と、
前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習部と、
前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成部と、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記分類器は、前記正面画像に描出された前記血管の走行パターンを予め決められた複数のパターン種別に分類する、情報処理装置。
Performing unsupervised machine learning using training data on an autoencoder including an encoder and a decoder to which the output data of the encoder is input so that the output data of the decoder matches the input data of the encoder. The first learning section,
a second learning unit that performs supervised machine learning on the classifier using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as teacher data;
an inference model that generates an inference model for inferring a label corresponding to input data of the encoder using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning; A generation section,
including;
The training data is image data representing a frontal image of the fundus in which blood vessels in Haller's layer in the choroid are depicted,
The classifier is an information processing device that classifies the running pattern of the blood vessel depicted in the frontal image into a plurality of predetermined pattern types .
訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを含み、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出器と、
前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習され、前記特徴量抽出器により出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する分類器と、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記ラベル付きデータは、予め決められた複数のパターン種別のうち前記血管の走行パターンが分類されるパターン種別を示すラベルが付された前記正面画像を表す画像データである、情報処理装置。
a feature extractor that includes an encoder constituting an autoencoder trained by unsupervised machine learning using training data, and outputs output data corresponding to input data of the encoder as a feature of the input data;
a classifier that learns by supervised machine learning using output data corresponding to labeled data input to the encoder and labels attached to the labeled data as training data, and infers a label corresponding to the input data based on the features output by the feature extractor;
Including,
The training data is image data representing a front image of a fundus in which blood vessels of the Haller layer in the choroid are depicted,
The labeled data is image data representing the front image to which a label indicating a pattern type into which the blood vessel running pattern is classified, among a plurality of predetermined pattern types, is attached.
前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む
ことを特徴とする請求項1又は請求項2に記載の情報処理装置。
The information processing apparatus according to claim 1 or 2, wherein the labeled data includes data in which a label is added to a part of the training data.
前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む
ことを特徴とする請求項1~請求項3のいずれか一項に記載の情報処理装置。
4. The information processing device according to claim 1 , wherein the training data includes image data of a plurality of front images taken at a plurality of positions within a predetermined depth range of the fundus.
前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む
ことを特徴とする請求項4に記載の情報処理装置。
The information processing apparatus according to claim 4 , wherein the training data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
コンピュータが、エンコーダと前記エンコーダの出力データが入力されるデコーダとを含む自己符号化器に対し、前記デコーダの出力データが前記エンコーダの入力データに一致するように訓練データを用いた教師なし機械学習を実行する第1学習ステップと、
前記コンピュータが、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いて分類器に対して教師あり機械学習を実行する第2学習ステップと、
前記コンピュータが、前記教師なし機械学習により得られた前記エンコーダと前記教師あり機械学習により得られた前記分類器とを用いて、前記エンコーダの入力データに対応するラベルを推論するための推論モデルを生成する推論モデル生成ステップと、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記分類器は、前記正面画像に描出された前記血管の走行パターンを予め決められた複数のパターン種別に分類する、推論モデル生成方法。
A first learning step in which a computer executes unsupervised machine learning using training data on an autoencoder including an encoder and a decoder to which output data of the encoder is input, so that output data of the decoder matches input data of the encoder;
a second learning step in which the computer executes supervised machine learning on a classifier using output data corresponding to the labeled data input to the encoder and labels assigned to the labeled data as training data;
an inference model generation step in which the computer generates an inference model for inferring a label corresponding to input data of the encoder, using the encoder obtained by the unsupervised machine learning and the classifier obtained by the supervised machine learning;
Including,
The training data is image data representing a front image of a fundus in which blood vessels of the Haller layer in the choroid are depicted,
An inference model generating method in which the classifier classifies the blood vessel running pattern depicted in the front image into multiple predetermined pattern types .
前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む
ことを特徴とする請求項6に記載の推論モデル生成方法。
The inference model generation method according to claim 6 , wherein the labeled data includes data in which a part of the training data is labeled.
前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む
ことを特徴とする請求項6又は請求項7に記載の推論モデル生成方法。
The inference model generating method according to claim 6 or claim 7, characterized in that the training data includes image data of multiple frontal images at multiple positions within a predetermined depth range of the fundus.
前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む
ことを特徴とする請求項8に記載の推論モデル生成方法。
The inference model generation method according to claim 8 , wherein the teacher data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
コンピュータが、訓練データを用いた教師なし機械学習により学習された自己符号化器を構成するエンコーダを用いて、前記エンコーダの入力データに対応した出力データを前記入力データの特徴量として出力する特徴量抽出ステップと、
前記コンピュータが、前記エンコーダに入力されたラベル付きデータに対応した出力データと前記ラベル付きデータに付されたラベルとを教師データとして用いた教師あり機械学習により学習された分類器を用いて、前記特徴量抽出ステップにおいて出力された前記特徴量に基づいて前記入力データに対応するラベルを推論する推論ステップと、
を含み、
前記訓練データは、脈絡膜におけるHaller層の血管が描出された眼底の正面画像を表す画像データであり、
前記ラベル付きデータは、予め決められた複数のパターン種別のうち前記血管の走行パターンが分類されるパターン種別を示すラベルが付された前記正面画像を表す画像データである、情報処理方法。
A feature quantity in which a computer outputs output data corresponding to input data of the encoder as a feature quantity of the input data, using an encoder constituting an autoencoder learned by unsupervised machine learning using training data. an extraction step;
The computer uses a classifier learned by supervised machine learning using output data corresponding to the labeled data input to the encoder and a label attached to the labeled data as teacher data, an inference step of inferring a label corresponding to the input data based on the feature amount output in the feature amount extraction step;
including;
The training data is image data representing a frontal image of the fundus in which blood vessels in Haller's layer in the choroid are depicted,
The labeled data is image data representing the frontal image attached with a label indicating a pattern type into which the blood vessel running pattern is classified among a plurality of predetermined pattern types.
前記ラベル付きデータは、前記訓練データの一部にラベルを付したデータを含む
ことを特徴とする請求項10に記載の情報処理方法。
The information processing method according to claim 10 , wherein the labeled data includes data in which a part of the training data is labeled.
前記訓練データは、眼底における所定の深さ範囲内の複数の位置における複数の正面画像の画像データを含む
ことを特徴とする請求項10又は請求項11に記載の情報処理方法。
The information processing method according to claim 10 or 11 , wherein the training data includes image data of a plurality of frontal images at a plurality of positions within a predetermined depth range in the fundus of the eye.
前記教師データは、前記所定の深さ範囲内の所定の深さ位置における前記眼底の正面画像の画像データを含む
ことを特徴とする請求項12に記載の情報処理方法。
The information processing method according to claim 12 , wherein the training data includes image data of a front image of the fundus at a predetermined depth position within the predetermined depth range.
コンピュータに、請求項6~請求項9のいずれか一項に記載の推論モデル生成方法の各ステップを実行させることを特徴とするプログラム。 A program that causes a computer to execute each step of the inference model generation method according to any one of claims 6 to 9 . コンピュータに、請求項10~請求項13のいずれか一項に記載の情報処理方法の各ステップを実行させることを特徴とするプログラム。 A program that causes a computer to execute each step of the information processing method according to any one of claims 10 to 13 .
JP2019229892A 2019-12-20 2019-12-20 Information processing device, inference model generation method, information processing method, and program Active JP7457315B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019229892A JP7457315B2 (en) 2019-12-20 2019-12-20 Information processing device, inference model generation method, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019229892A JP7457315B2 (en) 2019-12-20 2019-12-20 Information processing device, inference model generation method, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2021099559A JP2021099559A (en) 2021-07-01
JP7457315B2 true JP7457315B2 (en) 2024-03-28

Family

ID=76541217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229892A Active JP7457315B2 (en) 2019-12-20 2019-12-20 Information processing device, inference model generation method, information processing method, and program

Country Status (1)

Country Link
JP (1) JP7457315B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220272124A1 (en) * 2021-02-19 2022-08-25 Intuit Inc. Using machine learning for detecting solicitation of personally identifiable information (pii)
JP2024083838A (en) * 2022-12-12 2024-06-24 DeepEyeVision株式会社 Information processing device, information processing method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4288124B2 (en) 2003-09-04 2009-07-01 株式会社北川鉄工所 Finger chuck
JP2019087181A (en) 2017-11-10 2019-06-06 アズビル株式会社 Device and method for image inspection
JP2019530116A (en) 2016-09-05 2019-10-17 ケイロン メディカル テクノロジーズ リミテッド Multimodal medical image processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4288124B2 (en) 2003-09-04 2009-07-01 株式会社北川鉄工所 Finger chuck
JP2019530116A (en) 2016-09-05 2019-10-17 ケイロン メディカル テクノロジーズ リミテッド Multimodal medical image processing
JP2019087181A (en) 2017-11-10 2019-06-06 アズビル株式会社 Device and method for image inspection

Also Published As

Publication number Publication date
JP2021099559A (en) 2021-07-01

Similar Documents

Publication Publication Date Title
US11935241B2 (en) Image processing apparatus, image processing method and computer-readable medium for improving image quality
US20210304363A1 (en) Image processing apparatus, image processing method and computer-readable medium
WO2020036182A1 (en) Medical image processing device, medical image processing method, and program
WO2020183791A1 (en) Image processing device and image processing method
JP7478216B2 (en) Ophthalmic device, method for controlling ophthalmic device, and program
US20230140881A1 (en) Oct en face pathology segmentation using channel-coded slabs
CN113543695A (en) Image processing apparatus, image processing method, and program
JP2021037239A (en) Area classification method
JP2019054992A (en) Ophthalmologic device and program
JP7457315B2 (en) Information processing device, inference model generation method, information processing method, and program
JP2021168932A (en) Ophthalmic information processing apparatus, ophthalmic system, ophthalmic information processing method, and program
US20230267610A1 (en) Ophthalmic information processing apparatus, ophthalmic apparatus, ophthalmic information processing method, and recording medium
WO2021100694A1 (en) Image processing device, image processing method, and program
JP7344847B2 (en) Image processing device, image processing method, and program
JP2021164535A (en) Image processing device, image processing method and program
WO2022145129A1 (en) Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program
JP2021145805A (en) Ophthalmologic information processing device, ophthalmologic device, ophthalmologic information processing method, and program
WO2019102740A1 (en) Ophthalmic information processing device, ophthalmic system, ophthalmic information processing method, and program
JP6976147B2 (en) Ophthalmology information processing equipment, ophthalmology system, ophthalmology information processing method, and program
US20230419451A1 (en) Image processing method, image processing apparatus, and recording medium
WO2022097621A1 (en) Ophthalmic information processing device, ophthalmic device, ophthalmic information processing method, and program
JP2024008246A (en) Image processing method, image processing device, program, and recording medium
Karn et al. On the eye diseases diagnosis using OCT and fundus imaging techniques
JP2024004792A (en) Image processing method, image processing device, program, and recording medium
Heisler Optical coherence tomography and deep learning for ophthalmology

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20200114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240307

R150 Certificate of patent or registration of utility model

Ref document number: 7457315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150