JP7328489B2 - 眼科画像処理装置、および眼科撮影装置 - Google Patents
眼科画像処理装置、および眼科撮影装置 Download PDFInfo
- Publication number
- JP7328489B2 JP7328489B2 JP2018166449A JP2018166449A JP7328489B2 JP 7328489 B2 JP7328489 B2 JP 7328489B2 JP 2018166449 A JP2018166449 A JP 2018166449A JP 2018166449 A JP2018166449 A JP 2018166449A JP 7328489 B2 JP7328489 B2 JP 7328489B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- ophthalmologic
- processing model
- ophthalmic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Description
(2) 被検眼の眼科画像を撮影する眼科撮影装置であって、前記眼科画像を撮影する撮影手段と、前記眼科撮影装置を制御する制御手段と、を備え、前記制御手段は、前記撮影手段によって撮影された前記眼科画像の中から、前記眼科画像における網膜層のセグメンテーションを行う画像処理モデルに学習させる学習用画像を、前記眼科画像を前記画像処理モデルに入力したときの、各画素がどの網膜層であるかを示す確率分布のエントロピーまたは各画素がどの網膜層であるかを示す確率分布の散布度によって選択することを特徴とする。
以下、本開示に係る実施形態について説明する。本開示の眼科画像処理装置は、被検眼の眼科画像を処理する。眼科画像処理装置は、例えば、画像取得部(例えば、制御部21など)と、制御部(例えば、制御部21など)を備える。画像取得部は、例えば、眼科画像を取得する。制御部は眼科画像を処理する。また、制御部は、画像取得部によって取得された眼科画像の中から、画像処理モデル(例えば、画像処理モデル15)に学習させる学習用画像を選択する。
以下、本開示における典型的な実施例の1つについて説明する。図1に示すように、本実施例の画像処理モデル構築システム1は、画像処理モデル構築装置10、眼科画像処理装置20、眼科撮影装置30、および画像データベース(以下、画像DBと略す)40などを備える。画像処理モデル構築装置10は、機械学習アルゴリズムによって画像処理モデル15を訓練させることで、画像処理モデル15を構築する。画像処理モデル15は、例えば、被検眼における各々の組織の種類を確率変数とする確率分布を、入力された眼科画像の各領域毎(例えば画素毎)に出力する。この場合、画像処理モデル15によって出力される確率分布に基づいて、眼科画像中の組織が識別される。また、画像処理モデル15は、組織の識別結果を示すマッピング画像を出力してもよい。例えば、図2に示す画像処理モデル15の例では、眼底断層画像が入力されることによって、網膜層ごとに色分けされたマッピング画像が出力される。いわゆる、網膜層のセグメンテーションである。眼科撮影装置30は、被検眼の組織の画像である眼科画像を撮影する。画像DB40は、眼科撮影装置30によって撮影された眼科画像が記憶される。画像DB40は、例えば、サーバなどである。
画像処理モデル構築装置10について説明する。画像処理モデル構築装置10は、例えば、眼科画像処理装置20または眼科画像処理プログラムをユーザに提供するメーカー等に配置される。画像処理モデル構築装置10は、各種制御処理を行う制御部11を備える。制御部11は、制御を司るコントローラであるCPU12と、プログラムおよびデータ等を記憶することが可能な記憶装置13を備える。記憶装置13には、画像処理モデル構築処理を実行するための画像処理モデル構築プログラムが記憶されている。また、記憶装置13には、ラベル付き画像が記憶されるラベル付き画像データベース(以下、ラベル付き画像DBと略す)14と、画像処理モデル15が記憶される。なお、画像処理モデル構築装置10は、図示なき通信手段によって他のデバイス(例えば、眼科画像処理装置20および眼科撮影装置30等)と接続される。
眼科画像処理装置20について説明する。眼科画像処理装置20は、例えば、被検者の診断または検査等を行う施設(例えば、病院または健康診断施設等)に配置される。眼科画像処理装置20は、各種制御処理を行う制御部21を備える。制御部21は、制御を司るコントローラであるCPU22と、プログラムおよびデータ等を記憶することが可能な記憶装置23を備える。記憶装置23には、眼科画像処理を実行するための眼科画像処理プログラムが記憶されている。眼科画像処理プログラムには、画像処理モデル構築装置10によって構築された画像処理モデルを実現させるプログラムが含まれる。眼科画像処理装置20は、図示なき通信手段によって、眼科画像処理モデル構築装置10、眼科撮影装置30、画像DB40などに接続されている。
眼科撮影装置30について説明する。本実施例では、眼科撮影装置30として、OCT装置を例示する。ただし、OCT装置以外の眼科撮影装置(例えば、レーザ走査型検眼装置(SLO)、眼底カメラ、シャインプルーフカメラ、または角膜内皮細胞撮影装置(CEM)等)が用いられてもよい。
画像処理モデル構築システム1は、図3のフローチャートに示すように、ステップS1~ステップS8の流れで画像処理モデルを作成する。以下、各ステップについて説明する。
ステップS1では、ラベルの付いていない眼科画像であるラベル無し画像が、眼科撮影装置30から画像DB40に大量に入力される。例えば、眼科撮影装置30によって撮影されたラベル無し画像が通信手段を介して自動的に送信される。または、ユーザUによって選択されたラベル無し画像が眼科撮影装置30に入力されてもよい。眼科撮影装置30としてOCT装置が用いられる場合、例えば、網膜層のセグメンテーションの行われていない断層画像がラベル無し画像として画像DB40に入力される。
ステップS2において、眼科画像処理装置20の制御部21は、画像DB40に記憶された大量のラベル無し画像のうち一部をランダムに選択し、画像処理モデル15に学習させるための学習用画像としてユーザUに提供する。例えば、制御部21は、選択したラベル無し画像を表示部28に表示してもよい。
ステップS3では、眼科画像処理装置20の制御部21によって提供された学習用画像に対して、ユーザUがラベル付け(アノテーション)を行う。ラベル(アノテーション情報)は、組織の識別情報などである。ユーザUは、例えば、ラベル無し画像の各画素に対してラベル付けを行う。ユーザUは、例えば、ペイントツールなどによって網膜層ごとの領域に断層画像を塗り分ける作業を行う。ユーザUは、眼科画像処理装置20の操作部27および表示部28などを用いてラベル付けを行ってもよいし、画像処理モデル構築装置10の操作部17および表示部18などを用いてラベル付けを行ってもよい。また、眼科撮影装置30が操作部37および表示部38を備えている場合、ユーザUは、それらを用いてラベル付けを行ってもよい。
ステップS4では、ユーザUによってラベル付けされたラベル付き画像が、ラベル付き画像DB14に入力される。例えば、眼科画像処理装置20は、ユーザUによってラベル付けされたラベル付き画像を画像処理モデル構築装置10に送信する。画像処理モデル構築装置10のCPU12は、眼科画像処理装置20から受信したラベル付き画像をラベル付き画像DB14に記憶する。
ステップS5において、画像処理モデル構築装置10は、ラベル付き画像DB14に記憶されたラベル付き画像を画像処理モデル15に学習させる。例えば、ラベル付き画像の画像のみを入力し、その結果がラベルの情報と近づくように画像処理モデル15の内部パラメータ(重み)が調整される。
ステップS6では、画像処理モデル構築装置10は、画像処理モデル15の精度を評価する。例えば、予め正解の用意された眼科画像を画像処理モデル15に入力し、そのときの出力と、正解との比較によって評価する。また、画像処理モデル15に眼科画像を入力し、そのときの出力が適正かどうか、ユーザUが確認することで評価してもよい。画像処理モデル構築装置10は、画像処理モデル15の評価が良ければ画像処理モデルの構築処理を終了し、評価が悪ければステップS7の処理に移る。
ステップS7において、眼科画像処理装置20は、学習途中の画像処理モデル15に画像DB40のラベル無し画像を入力し、この画像に対する画像処理モデル15の迷い度を算出させる。
ステップS8において、眼科画像処理装置20は、ステップS7において算出した迷い度に基づいて画像を画像処理モデル15に学習させるための学習用画像を選択する。例えば、迷い度の高い画像の上位数枚を選択し、ユーザUに提供する。画像処理モデル構築システム1は、画像処理モデル15の精度が改善するまでステップS3~ステップS8を繰り返す。
ステップS301において、眼科画像処理装置20は、迷い度に基づいて選択した学習用画像を画像処理モデル15に入力して候補ラベルを作成する。つまり、学習途中である画像処理モデル15に学習用画像(ラベル無し画像)を入力したときの出力をその学習用画像のラベルとする。
ステップS302において、眼科画像処理装置20は、ステップS301で作成した候補ラベルを学習用画像に付加する。
ステップS303において、ユーザUは画像処理モデル構築システム1によって提供された学習用画像と、その候補ラベルを比較し、候補ラベルが学習用画像に対して適切か否かを確認する。候補ラベルが適切であれば、それを学習用画像のラベルとする。候補ラベルが適切でなければ、候補ラベルを修正するか、新たにラベルを作成する。
10 画像処理モデル構築装置
20 眼科画像処理装置
30 眼科撮影装置
Claims (2)
- 被検眼の眼科画像を処理する眼科画像処理装置であって、
前記眼科画像を取得する画像取得手段と、
前記眼科画像を処理する制御手段と、を備え、
前記制御手段は、前記画像取得手段によって取得された前記眼科画像の中から、前記眼科画像における網膜層のセグメンテーションを行う画像処理モデルに学習させる学習用画像を、前記眼科画像を前記画像処理モデルに入力したときの、各画素がどの網膜層であるかを示す確率分布のエントロピーまたは各画素がどの網膜層であるかを示す確率分布の散布度によって選択することを特徴とする眼科画像処理装置。 - 被検眼の眼科画像を撮影する眼科撮影装置であって、
前記眼科画像を撮影する撮影手段と、
前記眼科撮影装置を制御する制御手段と、を備え、
前記制御手段は、前記撮影手段によって撮影された前記眼科画像の中から、前記眼科画像における網膜層のセグメンテーションを行う画像処理モデルに学習させる学習用画像を、前記眼科画像を前記画像処理モデルに入力したときの、各画素がどの網膜層であるかを示す確率分布のエントロピーまたは各画素がどの網膜層であるかを示す確率分布の散布度によって選択することを特徴とする眼科撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018166449A JP7328489B2 (ja) | 2018-09-05 | 2018-09-05 | 眼科画像処理装置、および眼科撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018166449A JP7328489B2 (ja) | 2018-09-05 | 2018-09-05 | 眼科画像処理装置、および眼科撮影装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020036837A JP2020036837A (ja) | 2020-03-12 |
JP2020036837A5 JP2020036837A5 (ja) | 2021-09-16 |
JP7328489B2 true JP7328489B2 (ja) | 2023-08-17 |
Family
ID=69737141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018166449A Active JP7328489B2 (ja) | 2018-09-05 | 2018-09-05 | 眼科画像処理装置、および眼科撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7328489B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022209836A1 (ja) * | 2021-04-01 | 2022-10-06 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030088165A1 (en) | 2001-08-14 | 2003-05-08 | University Of Alabama In Huntsville | Multispectral image processing method, apparatus and computer program product for determining the blood oxygen saturation in a vessel |
CN106097335A (zh) | 2016-06-08 | 2016-11-09 | 安翰光电技术(武汉)有限公司 | 消化道病灶图像识别***及识别方法 |
JP2016220832A (ja) | 2015-05-28 | 2016-12-28 | 国立大学法人 東京大学 | 視野検査装置 |
JP2017162438A (ja) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 危険予測方法 |
JP2017224184A (ja) | 2016-06-16 | 2017-12-21 | 株式会社日立製作所 | 機械学習装置 |
WO2018035473A2 (en) | 2016-08-18 | 2018-02-22 | Google Llc | Processing fundus images using machine learning models |
US20180144214A1 (en) | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
US20180192870A1 (en) | 2017-01-11 | 2018-07-12 | Canon Kabushiki Kaisha | Image processing apparatus, optical coherence tomography apparatus, image processing method, and computer-readable storage medium |
-
2018
- 2018-09-05 JP JP2018166449A patent/JP7328489B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030088165A1 (en) | 2001-08-14 | 2003-05-08 | University Of Alabama In Huntsville | Multispectral image processing method, apparatus and computer program product for determining the blood oxygen saturation in a vessel |
JP2016220832A (ja) | 2015-05-28 | 2016-12-28 | 国立大学法人 東京大学 | 視野検査装置 |
JP2017162438A (ja) | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 危険予測方法 |
CN106097335A (zh) | 2016-06-08 | 2016-11-09 | 安翰光电技术(武汉)有限公司 | 消化道病灶图像识别***及识别方法 |
JP2017224184A (ja) | 2016-06-16 | 2017-12-21 | 株式会社日立製作所 | 機械学習装置 |
WO2018035473A2 (en) | 2016-08-18 | 2018-02-22 | Google Llc | Processing fundus images using machine learning models |
US20180144214A1 (en) | 2016-11-23 | 2018-05-24 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
US20180192870A1 (en) | 2017-01-11 | 2018-07-12 | Canon Kabushiki Kaisha | Image processing apparatus, optical coherence tomography apparatus, image processing method, and computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP2020036837A (ja) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11633096B2 (en) | Ophthalmologic image processing device and non-transitory computer-readable storage medium storing computer-readable instructions | |
US11357398B2 (en) | Image processing device and non-transitory computer-readable recording medium | |
JP6878923B2 (ja) | 画像処理装置、画像処理システム、および画像処理プログラム | |
JP2018121886A (ja) | 画像処理装置、および画像処理プログラム | |
US11961229B2 (en) | Ophthalmic image processing device, OCT device, and non-transitory computer-readable storage medium | |
US20220164949A1 (en) | Ophthalmic image processing device and ophthalmic image processing method | |
US20240020839A1 (en) | Medical image processing device, medical image processing program, and medical image processing method | |
JP7196908B2 (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
JP7328489B2 (ja) | 眼科画像処理装置、および眼科撮影装置 | |
JP2019208851A (ja) | 眼底画像処理装置および眼底画像処理プログラム | |
WO2020116351A1 (ja) | 診断支援装置、および診断支援プログラム | |
JP6703319B1 (ja) | 眼科画像処理装置、およびoct装置 | |
JP6866954B2 (ja) | 眼科画像処理プログラム、およびoct装置 | |
WO2021020419A1 (ja) | 医療画像処理装置および医療画像処理プログラム | |
JP6747617B2 (ja) | 眼科画像処理装置、およびoct装置 | |
JP2021074095A (ja) | 眼科画像処理装置および眼科画像処理プログラム | |
JP7302183B2 (ja) | 眼科画像処理装置、および眼科画像処理プログラム | |
JP7210927B2 (ja) | 眼科画像処理装置、oct装置、および眼科画像処理プログラム | |
JP7180187B2 (ja) | 眼科画像処理装置、oct装置、および眼科画像処理プログラム | |
WO2020241794A1 (ja) | 眼科画像処理装置、眼科画像処理プログラム、および眼科画像処理システム | |
WO2021045019A1 (ja) | 眼科画像処理プログラムおよび眼科画像処理装置 | |
JP2023149095A (ja) | 眼底画像処理装置および眼底画像処理プログラム | |
JP2023149742A (ja) | 眼底画像処理装置および眼底画像処理プログラム | |
JP2020121038A (ja) | 眼科画像処理装置、および眼科画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210804 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230410 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7328489 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |