JP2012075938A - 画像処理装置及びその制御方法、コンピュータプログラム - Google Patents
画像処理装置及びその制御方法、コンピュータプログラム Download PDFInfo
- Publication number
- JP2012075938A JP2012075938A JP2012001582A JP2012001582A JP2012075938A JP 2012075938 A JP2012075938 A JP 2012075938A JP 2012001582 A JP2012001582 A JP 2012001582A JP 2012001582 A JP2012001582 A JP 2012001582A JP 2012075938 A JP2012075938 A JP 2012075938A
- Authority
- JP
- Japan
- Prior art keywords
- layer
- image
- feature
- layer structure
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】被検眼の網膜層を解析する画像処理装置であって、網膜層の断層像から得られた投影像と、被検眼の眼底画像とから、被検眼における解剖学的特徴を表す特徴量を抽出する特徴抽出手段と、特徴量に基づいて、解剖学的特徴の種類を判定する判定手段と、判定された解剖学的特徴の種類に応じて網膜層の中から検出する層を決定し、決定した層の構造を断層像において検出する層構造検出手段と、層構造検出手段により検出された層の構造のうち、解剖学的特徴を有する領域に含まれる層の構造を変更する層構造変更手段とを備える。
【選択図】図1
Description
前記網膜層の断層像から得られた投影像と、前記被検眼の眼底画像とから、前記被検眼における解剖学的特徴を表す特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、前記解剖学的特徴の種類を判定する判定手段と、
判定された前記解剖学的特徴の種類に応じて前記網膜層の中から検出する層を決定し、決定した層の構造を前記断層像において検出する層構造検出手段と、
前記層構造検出手段により検出された前記層の構造のうち、前記解剖学的特徴を有する領域に含まれる層の構造を変更する層構造変更手段と
を備える。
本実施形態における画像処理装置10は、被検眼の断層像と眼底画像とを取得し、断層像と眼底画像との位置合わせを行うために、断層像から投影像を作成する。そして、眼底画像と投影像から病気の有無や種類を判定するための解剖学的情報を検出し、その結果に基づいて計測対象とする層を判定し、所定の層の解析処理を実行する。なお、本実施形態においては黄斑部が撮影された断層像について説明をする。ただし、撮影部位は黄斑部に限定されるものではなく、視神経乳頭に同様の処理をしてもよい。さらには、黄斑部と視神経乳頭とが同時に撮影されている画像に対しても処理を適用可能である。また、本実施形態においては取得する三次元の断層像全体に対して解析処理を行う場合について説明をする。しかし、三次元の断層像から注目すべき二次元の断層像(以下、二次元断層像を断面像と呼ぶ)を選択して、選択した断面像に対して処理を行う構成であってもよい。例えば、予め定めた眼底の特定部位(例えば中心窩)を含む断面像に対して処理を行ってもよい。この場合、検出される層の境界、正常構造、正常時データ等は、何れも当該断面上における二次元のデータとなる。
これら血管、病変部を表す特徴量の抽出方法は、上記の手法に限られるものではない。また、ひとつの手法に限定する必要はなく、複数の手法を組み合わせてもよい。病変部に関しては、投影像、あるいは眼底画像のどちらかから抽出できればよく、両方の抽出結果を統合することで、断層像での病変位置を特定することができる。
λ3 ≦ λ2 ≦ λ1 ・・・(式2)
λ3 << λ2 = λ1=0 ・・・(式3)
これらで求めた3つの固有値から、以下の式4を求めることで、網膜の層構造を強調することができる。ここで、式4におけるω(λs;λt)は重み関数であり、それを式5に示す。式5におけるγとαは重みである。
ここでは、式8を用いて複数の解像度σfを統合化する処理の説明をしたが、必ずしも統合化する必要はなく、各層の厚みに適した解像度で処理した結果を夫々保持しておき、層毎にそれらの結果を使い分けるようにしてもよい。例えば、断層像の画像サイズを256*240*256とした場合、内境界膜1などを求める時の解像度は3以上で、内網状層境界3などを求める時の解像度は1〜2とする。内境界膜1に関しては、低い解像度で強調した画像でもよいが、高い解像度で網膜層全体を強調した画像を用いることにより、網膜から剥離した硝子体皮質を誤検出する確率を小さくすることができる。
本実施形態は、第1実施形態の画像処理部200に、第一の判定部259の代わりに第二の判定部260を追加した場合の実施形態である。一般的に、加齢黄斑変性や浮腫などの疾患は眼底像や投影像からは判断が難しい。そこで、第二の判定部260を追加し、眼底画像や投影像から得られる画像特徴に加えて、網膜断層像の形状特徴も利用する。これにより、ユーザに提示する層の種類の選択をロバストに行うことが可能となる。
本実施形態は、第1実施形態の特徴抽出部257と第一の判定部259の処理内容を変更した場合の例である。第1実施形態とは、特徴抽出部257が抽出した特徴量に重みを設定する点、また、第一の判定部259が断層像内にマスク領域として逆投影する特徴量を、眼底画像と投影像から抽出した特徴量の中から選択する点が異なる。
本実施形態は、第1実施形態の画像処理部200に、層構造更新部261を追加した場合の実施形態である。層構造更新部261は、A−scanごとにそれぞれ独立に検出した層の位置を、3次元的に滑らかな層形状となるように、層の位置を更新する働きをする。本実施形態に係る画像処理装置は、第1実施形態の画像処理部200において、層構造変更部255と定量化部256との間に層構造更新部261を有する点で異なる。それ以外の構成については同様である。
Eimage = weEedge + wν(Evariance_of_upper_layer+ Evariance_of_lower_layer ・・・(式11)
以上で述べた構成によれば、網膜の状態に応じた層境界を検出することができる。そして、血管や白斑等の病変により減弱した層を検出するとともに、層の形状構造を維持しながら層の境界を検出するように検出結果を更新する。そのため、3次元的に滑らかに網膜の層構造を検出することができる。
本実施形態に係る画像処理装置は、眼底像が存在せず、断層像のみ存在する場合に対応するため、第2実施形態から眼底画像取得部222を削除した構成を有する。それ以外の構成については図11と同様であるため、ここでは説明を省略する。本実施形態の画像処理装置の処理手順も、第2実施形態の図12とほぼ同様であるが、S1205とS1206の処理がない点で異なる。また、入力画像は、断層像と、断層像から作成する投影像のみである点が異なる。
第1乃至第5実施形態においては、画像から得られる特徴量のみを用いて、計測する層の種類を選択していた。しかし、過去の検査結果がある場合、セグメンテーションを行いたい層は決まっていることが多い。したがって、この情報を利用することで、処理を簡素化、または高速化することができる。
第1乃至第6実施形態においては、層構造強調処理を画像全体に対して適用していた。しかし、網膜層以外の画像領域に層構造強調処理を適用しても効果はなく、処理時間もかかってしまう。そのため、本実施形態では、層構造検出処理フロー全体の時間を短縮するために、層構造強調処理を行う前に、網膜層を検出して注目領域として設定し、層構造強調処理は、この注目領域内のみに適用する。本実施形態では、前記高速化処理のために、各実施形態において下記のように処理を変更する。ここでは、第1実施形態を例にとり、説明を行うが、同様の処理を第2〜第5実施形態に適用すれば、それぞれにおいて高速化を実現できる。
上述の各実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本実施形態では、本発明をコンピュータ上で動作するソフトウェアとして実現する。図13は、画像処理装置10の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。CPU1901は、RAM1902やROM1903に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置10の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。RAM1902は、外部記憶装置1904からロードされたコンピュータプログラムやデータを一時的に記憶するエリアを備えると共に、CPU1901が各種の処理を行うために必要とするワークエリアを備える。記憶部240の機能はRAM1902によって実現される。
Claims (10)
- 被検眼の網膜層を解析する画像処理装置であって、
前記網膜層の断層像から得られた投影像と、前記被検眼の眼底画像とから、前記被検眼における解剖学的特徴を表す特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、前記解剖学的特徴の種類を判定する判定手段と、
判定された前記解剖学的特徴の種類に応じて前記網膜層の中から検出する層を決定し、決定した層の構造を前記断層像において検出する層構造検出手段と、
前記層構造検出手段により検出された前記層の構造のうち、前記解剖学的特徴を有する領域に含まれる層の構造を変更する層構造変更手段と
を備えることを特徴とする画像処理装置。 - 前記解剖学的特徴に血管が含まれる場合に、前記特徴抽出手段は線状構造を強調するフィルタを用いて前記血管の特徴量を抽出し、
前記層構造変更手段は、前記血管に隣接する層について、前記領域に隣接する該血管に隣接する層の境界を利用した補間処理により探索範囲を限定し、該探索範囲内で層構造を再検出することにより、前記変更を行うことを特徴とする請求項1に記載の画像処理装置。 - 前記解剖学的特徴に病変部が含まれる場合に、画素値に基づき前記病変部の特徴量を抽出し、
前記層構造変更手段は、前記検出された層の境界であって前記領域に隣接する境界を利用した補間処理により、該領域に含まれる層の構造を変更することを特徴とする請求項1または2に記載の画像処理装置。 - 前記特徴抽出手段は、前記特徴量を、前記被検眼において前記解剖学的特徴が存在する確信度を反映する値として抽出し、
前記層構造変更手段は、前記確信度が所定値以上の領域に含まれる層の構造を変更することを特徴とすることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 前記層構造変更手段により変更された層の構造を更新する層構造更新手段を更に備え、
前記層構造更新手段は、前記層構造検出手段が検出した層を構成する検出点を用いて、該検出点を挟む層における輝度値の分散、該検出点における輝度勾配とに基づく画像エネルギー、前記検出点を結んで構成される前記層の形状の滑らかさを表す形状エネルギーとの少なくとも1つにより求められるエネルギー値が最小となる層境界を特定し、特定した層境界に基づいて前記更新を行うことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 被検眼の網膜層を解析する画像処理装置であって、
前記網膜層の断層像から得られた投影像から、前記被検眼における解剖学的特徴を表す特徴量を抽出する特徴抽出手段と、
前記網膜層における層の構造を前記断層像において検出する層構造検出手段と、
前記層構造検出手段が検出した前記層の構造に基づいて、所定の層の間における輝度の情報、及び、層の形状の情報を抽出する特徴抽出手段と、
前記特徴量、前記輝度の情報及び前記形状の情報に基づいて、前記網膜層における病変の有無及び種類を判定する判定手段と、
前記判定手段における判定結果に応じて、前記層構造検出手段により検出された前記層の構造を変更する層構造変更手段と
を備え、
前記層構造変更手段は、前記判定手段により前記病変が有ると判定された場合に、前記層構造検出手段により検出された前記層の一部の構造を変更することを特徴とする画像処理装置。 - 前記特徴抽出手段は、前記被検眼の眼底画像から前記特徴量をさらに抽出し、
前記解剖学的特徴に血管が含まれる場合に、前記特徴抽出手段は線状構造を強調するフィルタを用いて前記血管の特徴量を抽出し、
前記解剖学的特徴に病変部が含まれる場合に、画素値に基づき前記病変部の特徴量を抽出する
ことを特徴とする請求項6に記載の画像処理装置。 - 被検眼の網膜層を解析する画像処理装置の制御方法であって、
特徴抽出手段が、前記網膜層の複数の断層像から得られた投影像と、前記被検眼の眼底画像とから、前記被検眼における解剖学的特徴を表す特徴量を抽出する工程と、
判定手段が、前記特徴量に基づいて、前記解剖学的特徴の種類を判定する工程と、
層構造検出手段が、判定された前記解剖学的特徴の種類に応じて前記網膜層の中から検出する層を決定し、決定した層の構造を前記断層像において検出する工程と、
層構造変更手段が、検出された前記層の構造のうち、前記解剖学的特徴を有する領域に含まれる層の構造を変更する工程と
を備えることを特徴とする画像処理装置の制御方法。 - 被検眼の網膜層を解析する画像処理装置の制御方法であって、
特徴抽出手段が、前記網膜層の複数の断層像から得られた投影像から、前記被検眼における解剖学的特徴を表す特徴量を抽出する工程と、
層構造検出手段が、前記網膜層における層の構造を前記断層像において検出する工程と、
前記特徴抽出手段が、検出された前記層の構造に基づいて、所定の層の間における輝度の情報、及び、層の形状の情報を抽出する工程と、
判定手段が、前記特徴量、前記輝度の情報及び前記形状の情報に基づいて、前記網膜層における病変の有無及び種類を判定する工程と、
層構造変更手段が、前記判定の結果に応じて、前記層構造検出手段により検出された前記層の構造を変更する工程と
を備え、
前記層の構造を変更する工程では、前記判定手段により前記病変が有ると判定された場合に、前記層構造検出手段により検出された前記層の一部の構造が変更されることを特徴とする画像処理装置の制御方法。 - コンピュータを請求項1乃至7のいずれか1項に記載の画像処理装置として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012001582A JP5631339B2 (ja) | 2012-01-06 | 2012-01-06 | 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012001582A JP5631339B2 (ja) | 2012-01-06 | 2012-01-06 | 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009133454A Division JP4909377B2 (ja) | 2009-06-02 | 2009-06-02 | 画像処理装置及びその制御方法、コンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012075938A true JP2012075938A (ja) | 2012-04-19 |
JP2012075938A5 JP2012075938A5 (ja) | 2012-09-06 |
JP5631339B2 JP5631339B2 (ja) | 2014-11-26 |
Family
ID=46236812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012001582A Expired - Fee Related JP5631339B2 (ja) | 2012-01-06 | 2012-01-06 | 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5631339B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014023867A (ja) * | 2012-07-30 | 2014-02-06 | Topcon Corp | 眼底解析装置、眼底解析プログラム及び眼底解析方法 |
JP2015160105A (ja) * | 2014-02-28 | 2015-09-07 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2016120262A (ja) * | 2014-12-25 | 2016-07-07 | カシオ計算機株式会社 | 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム |
WO2017030057A1 (ja) * | 2015-08-19 | 2017-02-23 | 興和株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017030058A1 (ja) * | 2015-08-19 | 2017-02-23 | 興和株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2019192215A (ja) * | 2018-02-21 | 2019-10-31 | 株式会社トプコン | 深層学習を用いた網膜層の3d定量解析 |
US10674909B2 (en) | 2016-09-07 | 2020-06-09 | Nidek Co., Ltd. | Ophthalmic analysis apparatus and ophthalmic analysis method |
WO2021021657A1 (en) * | 2019-07-29 | 2021-02-04 | University Of Miami | System and method for ai-based eye condition determinations |
JP2022151874A (ja) * | 2021-03-26 | 2022-10-07 | オプトス ピーエルシー | マルチモーダル網膜画像の処理 |
WO2023182223A1 (ja) * | 2022-03-22 | 2023-09-28 | 株式会社Luxonus | データ圧縮装置、データ圧縮プログラム、データ圧縮方法、データ伸長装置、データ伸長プログラム及びデータ伸長方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007127425A (ja) * | 2005-10-31 | 2007-05-24 | Univ Of Tsukuba | 光断層画像化法における補正方法 |
JP2009078088A (ja) * | 2007-09-27 | 2009-04-16 | Topcon Corp | 眼科装置 |
JP2009089792A (ja) * | 2007-10-04 | 2009-04-30 | Topcon Corp | 眼底観察装置及び眼底画像処理装置 |
-
2012
- 2012-01-06 JP JP2012001582A patent/JP5631339B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007127425A (ja) * | 2005-10-31 | 2007-05-24 | Univ Of Tsukuba | 光断層画像化法における補正方法 |
JP2009078088A (ja) * | 2007-09-27 | 2009-04-16 | Topcon Corp | 眼科装置 |
JP2009089792A (ja) * | 2007-10-04 | 2009-04-30 | Topcon Corp | 眼底観察装置及び眼底画像処理装置 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014023867A (ja) * | 2012-07-30 | 2014-02-06 | Topcon Corp | 眼底解析装置、眼底解析プログラム及び眼底解析方法 |
WO2014020966A1 (ja) * | 2012-07-30 | 2014-02-06 | 株式会社トプコン | 眼底解析装置、眼底解析プログラム及び眼底解析方法 |
JP2015160105A (ja) * | 2014-02-28 | 2015-09-07 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2016120262A (ja) * | 2014-12-25 | 2016-07-07 | カシオ計算機株式会社 | 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム |
JPWO2017030057A1 (ja) * | 2015-08-19 | 2018-06-07 | 興和株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017030058A1 (ja) * | 2015-08-19 | 2017-02-23 | 興和株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
WO2017030057A1 (ja) * | 2015-08-19 | 2017-02-23 | 興和株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US10674909B2 (en) | 2016-09-07 | 2020-06-09 | Nidek Co., Ltd. | Ophthalmic analysis apparatus and ophthalmic analysis method |
JP2019192215A (ja) * | 2018-02-21 | 2019-10-31 | 株式会社トプコン | 深層学習を用いた網膜層の3d定量解析 |
WO2021021657A1 (en) * | 2019-07-29 | 2021-02-04 | University Of Miami | System and method for ai-based eye condition determinations |
JP2022151874A (ja) * | 2021-03-26 | 2022-10-07 | オプトス ピーエルシー | マルチモーダル網膜画像の処理 |
JP7382439B2 (ja) | 2021-03-26 | 2023-11-16 | オプトス ピーエルシー | マルチモーダル網膜画像の処理 |
WO2023182223A1 (ja) * | 2022-03-22 | 2023-09-28 | 株式会社Luxonus | データ圧縮装置、データ圧縮プログラム、データ圧縮方法、データ伸長装置、データ伸長プログラム及びデータ伸長方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5631339B2 (ja) | 2014-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4909377B2 (ja) | 画像処理装置及びその制御方法、コンピュータプログラム | |
JP5631339B2 (ja) | 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム | |
Abràmoff et al. | Retinal imaging and image analysis | |
JP7193343B2 (ja) | 機械学習技法を用いたoctアンギオグラフィにおけるアーチファクトを減少させるための方法及び装置 | |
JP6005663B2 (ja) | 血管画像における動静脈比の自動測定 | |
JP6594033B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4850927B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP4466968B2 (ja) | 画像処理装置、画象処理方法、プログラム、及びプログラム記憶媒体 | |
US9098742B2 (en) | Image processing apparatus and image processing method | |
Niemeijer et al. | Fast detection of the optic disc and fovea in color fundus photographs | |
US9418423B2 (en) | Motion correction and normalization of features in optical coherence tomography | |
JP4909378B2 (ja) | 画像処理装置及びその制御方法、コンピュータプログラム | |
US20110137157A1 (en) | Image processing apparatus and image processing method | |
US20160206191A1 (en) | Image processing apparatus, method for image processing, image pickup system, and computer-readable storage medium | |
Kipli et al. | A review on the extraction of quantitative retinal microvascular image feature | |
JP2010110656A (ja) | 断層像撮影装置、断層像撮影方法法、プログラム、及びプログラム記憶媒体 | |
JP5174232B2 (ja) | 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム | |
US10916012B2 (en) | Image processing apparatus and image processing method | |
JP6825058B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018057828A (ja) | 画像処理装置及び画像処理方法 | |
JP5624532B2 (ja) | 画像処理装置、画像処理方法、眼科システム及びコンピュータプログラム | |
Muramatsu et al. | Detection of Eye Diseases | |
JP2018089304A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120720 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140908 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141007 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5631339 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |