JP2020103579A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2020103579A JP2020103579A JP2018245139A JP2018245139A JP2020103579A JP 2020103579 A JP2020103579 A JP 2020103579A JP 2018245139 A JP2018245139 A JP 2018245139A JP 2018245139 A JP2018245139 A JP 2018245139A JP 2020103579 A JP2020103579 A JP 2020103579A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tomographic image
- disc
- boundary
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】 被検査物の断層画像における特定の部位を簡便かつ正確に特定すること。【解決手段】 画像処理装置は、被検眼の断層画像を取得する取得手段と、被検眼の断層画像と該断層画像における所定の層の端部に関するデータとを対にして学習して得た学習済モデルを用いて、取得された断層画像から該所定の層の端部を検出する第一の検出処理を実行する検出手段と、を備える。【選択図】 図1
Description
開示の技術は、画像処理装置、画像処理方法及びプログラムに関する。
光干渉断層計(OCT;Optical Coherence Tomography)などの断層画像撮影装置を用いると、被検眼の状態を三次元的に観察できる。この断層画像撮影装置は、疾病の診断をより的確に行うのに有用であることから眼科診療に広く用いられている。OCTの形態として、例えば、広帯域な光源とマイケルソン干渉計を組み合わせたTD−OCT(Time domain OCT)がある。これは、参照ミラーの位置を一定速度で移動させて信号アームで取得した後方散乱光との干渉光を計測し、深さ方向の反射光強度分布を得るように構成されている。しかし、このようなTD−OCTでは機械的な走査が必要となるため高速な画像取得は難しい。そこで、より高速な画像取得法として広帯域光源を用い、分光器で干渉信号を取得するSD−OCT(Spectral domain OCT)や、高速波長掃引光源を用いることで時間的に分光するSS−OCT(Swept Source OCT)が開発され、より広画角・高深達な断層画像を取得できるようになっている。
図4(a)に眼底の視神経乳頭部を撮像した断層画像の例を示す。視神経乳頭部は、網膜神経節細胞の軸索が集まる領域であり、中心に陥凹Cが存在する。緑内障眼においては視神経乳頭陥凹が拡大しやすいため、ブルッフ膜開口端Boと呼ばれるブルッフ膜B5の端部(Bruch Membrane Opening;BMO)を視神経乳頭外縁(Disc)境界として特定した上で、該境界内の陥凹Cの形状を計測する。BMOの位置は、近傍の網膜色素上皮(RPE)の端部よりも視神経乳頭陥凹形状の変化の影響を受けにくいという性質があるため、Disc境界の位置としてBMOを用いることが眼科専門医の間で推奨されている。
また、視神経乳頭陥凹の形状として、Disc境界や視神経乳頭陥凹外縁(Cup)境界、視神経乳頭辺縁部(Rim)に関する形状が計測される。Cup境界は、Disc境界点を結ぶ線分を(Disc境界間を結ぶ線分に垂直な方向に)所定値だけ上方に移動させたものと内境界膜B1との交点(図4(c)の+印)として定義できる。あるいは、Cup境界をDisc境界−内境界膜B1境界(図4(d)の白線部)間の距離が最短となる点(図4(d)の灰色点部)として定義してもよい。Rimは、Disc境界とCup境界とを用いて定義される視神経乳頭辺縁領域であり、2次元的にはDisc境界とCup境界で囲まれる領域として、また、3次元的には例えば図4(c)の白領域で表される領域を表す。また、BMOと内境界膜B1との間の最短距離はMinimum Rim Width(MRW)と呼ばれる。MRWは、前視野緑内障(Preperimetric Glaucoma;PPG)において低い値になりやすく、緑内障の早期診断に有用とされている。陥凹Cの3次元形状としてCup体積やRim体積が算出される。さらに、断層画像を光軸方向に投影した正面画像(図4(e))におけるDisc境界(黒点線部)やCup境界(白点線部)を用いて、Disc/Cup/Rimの面積やDisc/Cupの径が算出される。
また、陥凹Cの下部には、篩状板部Lという多孔性のコラーゲン組織が存在し、各孔を篩状板孔と呼ぶ。篩状板孔を神経節細胞の軸索が貫通している。篩状板が変形すると神経節細胞の軸索が障害され、緑内障を引き起こすことが知られている。なお、篩状板部を高コントラストに撮影する方法の一つとしてEDI(Enhanced Depth Imaging)があり、コヒーレンスゲートを脈絡膜や篩状板側に設定して断層像撮影が行われる。
ここで、非特許文献1には、3次元OCT断層画像から生成したラジアル画像から検出したBMO候補点近傍の輝度値を用いて算出した3種類の画像特徴量を学習済のランダムフォレスト識別器に入力し、BMOを検出する技術が開示されている。
Miri et al;"A Machine−Learning Graph−Based Approach for 3D Segmentation of Bruch’s Membrane Opening from Glaucomatous SD−OCT Volumes", Medical Image Analysis, Vol.39, pp.206−217, July 2017.
しかしながら、従来技術の識別器は、学習データとして画像そのものを用いることはできず、このため、画像特徴量を予め算出する必要があった。そこで、BMO等の特定の部位の検出精度や利便性が低かった。
開示の技術の目的の一つは、被検査物の断層画像における特定の部位を簡便かつ正確に特定することを目的の一つとする。
なお、上記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の一つとして位置付けることができる。
開示の技術に係る画像処理装置の一つは、
被検眼の断層画像を取得する取得手段と、
前記被検眼の断層画像と該断層画像における所定の層の端部に関するデータとを対にして学習して得た学習済モデルを用いて、前記取得された断層画像から該所定の層の端部を検出する第一の検出処理を実行する検出手段と、を備える。
被検眼の断層画像を取得する取得手段と、
前記被検眼の断層画像と該断層画像における所定の層の端部に関するデータとを対にして学習して得た学習済モデルを用いて、前記取得された断層画像から該所定の層の端部を検出する第一の検出処理を実行する検出手段と、を備える。
開示の技術の一つによれば、被検査物の断層画像における特定の部位を簡便かつ正確に特定することができる。
[第一実施形態]
本実施形態に係る画像処理装置の一つは、断層画像と該断層画像から特定したブルッフ膜開口端の位置データとを対にして深層学習したモデルを用いて以下の処理を行う。すなわち、画像処理により絞り込んだブルッフ膜開口端(BMO)の候補領域を該深層学習済モデルに入力することで、断層画像からブルッフ膜開口端を検出する場合について説明する。
本実施形態に係る画像処理装置の一つは、断層画像と該断層画像から特定したブルッフ膜開口端の位置データとを対にして深層学習したモデルを用いて以下の処理を行う。すなわち、画像処理により絞り込んだブルッフ膜開口端(BMO)の候補領域を該深層学習済モデルに入力することで、断層画像からブルッフ膜開口端を検出する場合について説明する。
以下、図面を参照しながら、第一実施形態に係る画像処理装置を備える画像処理システムについて説明する。
図2は、本実施形態に係る画像処理装置101を備える画像処理システム10の構成を示す図である。図2に示すように、画像処理システム10は、画像処理装置101が、インタフェースを介して断層画像撮影装置100(OCTとも言う)、外部記憶部102、入力部103、表示部104と接続されることにより構成されている。
断層画像撮影装置100は、眼部の断層画像を撮影する装置である。本実施形態においては、断層画像撮影装置100としてSD−OCTを用いるものとする。これに限らず、例えばSS−OCTを用いて構成しても良い。
図2(a)において、測定光学系100−1は前眼部像、被検眼のSLO眼底像、断層画像を取得するための光学系である。ステージ部100−2は、測定光学系100−1を前後左右に移動可能にする。ベース部100−3は、後述の分光器を内蔵している。
画像処理装置101は、ステージ部100−2の制御、アラインメント動作の制御、断層画像の再構成などを実行するコンピュータである。外部記憶部102は、断層撮像用のプログラム、患者情報、撮影データ、過去検査の画像データや計測データなどを記憶する。
入力部103は例えばキーボードやマウス、タッチ操作画面などから構成され、操作者は入力部103を介して画像処理装置101や断層画像撮影装置100へ指示を行う。表示部104は、例えばモニタからなる。
(断層画像撮影装置の構成)
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
本実施形態の断層画像撮影装置100における測定光学系及び分光器の構成について図2(b)を用いて説明する。
まず、測定光学系100−1の内部について説明する。被検眼200に対向して対物レンズ201が設置され、その光軸上に第1ダイクロイックミラー202及び第2ダイクロイックミラー203が配置されている。これらのダイクロイックミラーによってOCT光学系の光路250、SLO光学系と固視灯用の光路251、及び前眼観察用の光路252とに波長帯域ごとに分岐される。
SLO光学系と固視灯用の光路251は、SLO走査手段204、レンズ205及び206、ミラー207、第3ダイクロイックミラー208、APD(Avalanche Photodiode)209、SLO光源210、固視灯211を有している。
ミラー207は、穴あきミラーや中空のミラーが蒸着されたプリズムであり、SLO光源210による照明光と、被検眼からの戻り光とを分離する。第3ダイクロイックミラー208はSLO光源210の光路と固視灯211の光路とに波長帯域ごとに分離する。
SLO走査手段204は、SLO光源210から発せられた光を被検眼200上で走査するものであり、X方向に走査するXスキャナ、Y方向に走査するYスキャナから構成されている。本実施形態では、Xスキャナは高速走査を行う必要があるためポリゴンミラーで、Yスキャナはガルバノミラーによって構成されている。
レンズ205はSLO光学系及び固視灯211の焦点合わせのため、不図示のモータによって駆動される。SLO光源210は780nm付近の波長の光を発生する。APD209は、被検眼からの戻り光を検出する。固視灯211は可視光を発生して被検者の固視を促すものである。
SLO光源210から発せられた光は、第3ダイクロイックミラー208で反射され、ミラー207を通過し、レンズ206及び205を通ってSLO走査手段204によって被検眼200上で走査される。被検眼200からの戻り光は、照明光と同じ経路を戻った後、ミラー207によって反射され、APD209へと導かれ、SLO眼底像が得られる。
固視灯211から発せられた光は、第3ダイクロイックミラー208、ミラー207を透過し、レンズ206及び205を通り、SLO走査手段204によって被検眼200上の任意の位置に所定の形状を作り、被検者の固視を促す。
前眼観察用の光路252には、レンズ212及び213、スプリットプリズム214、赤外光を検知する前眼部観察用のCCD215が配置されている。このCCD215は、不図示の前眼部観察用照射光の波長、具体的には970nm付近に感度を持つものである。スプリットプリズム214は、被検眼200の瞳孔と共役な位置に配置されており、被検眼200に対する測定光学系100−1のZ軸方向(光軸方向)の距離を、前眼部のスプリット像として検出できる。
OCT光学系の光路250は前述の通りOCT光学系を構成しており、被検眼200の断層画像を撮影するためのものである。より具体的には、断層画像を形成するための干渉信号を得るものである。XYスキャナ216は光を被検眼200上で走査するためのものであり、図2(b)では1枚のミラーとして図示されているが、実際はXY2軸方向の走査を行うガルバノミラーである。
レンズ217及び218のうち、レンズ217については光カプラー219に接続されているファイバー224から出射するOCT光源220からの光を、被検眼200に焦点合わせするために不図示のモータによって駆動される。この焦点合わせによって、被検眼200からの戻り光は同時にファイバー224の先端に、スポット状に結像されて入射されることとなる。次に、OCT光源220からの光路と参照光学系、分光器の構成について説明する。220はOCT光源、221は参照ミラー、222は分散補償硝子、223はレンズ、219は光カプラー、224から227は光カプラーに接続されて一体化しているシングルモードの光ファイバー、230は分光器である。
これらの構成によってマイケルソン干渉計を構成している。OCT光源220から出射された光は、光ファイバー225を通じ、光カプラー219を介して光ファイバー224側の測定光と、光ファイバー226側の参照光とに分割される。測定光は前述のOCT光学系光路を通じ、観察対象である被検眼200に照射され、被検眼200による反射や散乱により同じ光路を通じて光カプラー219に到達する。
一方、参照光は光ファイバー226、レンズ223、測定光と参照光の波長分散を合わせるために挿入された分散補償ガラス222を介して参照ミラー221に到達し反射される。そして同じ光路を戻り、光カプラー219に到達する。
光カプラー219によって、測定光と参照光は合波され干渉光となる。
ここで、測定光の光路長と参照光の光路長がほぼ同一となったときに干渉を生じる。参照ミラー221は、不図示のモータおよび駆動機構によって光軸方向に調整可能に保持され、測定光の光路長に参照光の光路長を合わせることが可能である。干渉光は光ファイバー227を介して分光器230に導かれる。
また、偏光調整部228、229は、各々光ファイバー224、226中に設けられ、偏光調整を行う。これらの偏光調整部は光ファイバーをループ状に引きまわした部分を幾つか持っている。このループ状の部分をファイバーの長手方向を中心として回転させることでファイバーに捩じりを加え、測定光と参照光の偏光状態を各々調整して合わせることができる。
分光器230はレンズ232、234、回折格子233、ラインセンサ231から構成される。光ファイバー227から出射された干渉光はレンズ234を介して平行光となった後、回折格子233で分光され、レンズ232によってラインセンサ231に結像される。
次に、OCT光源220の周辺について説明する。OCT光源220は、代表的な低コヒーレント光源であるSLD(Super Luminescent Diode)である。中心波長は855nm、波長バンド幅は約100nmである。ここで、バンド幅は、得られる断層画像の光軸方向の分解能に影響するため、重要なパラメータである。
光源の種類は、ここではSLDを選択したが、低コヒーレント光が出射できればよく、ASE(Amplified Spontaneous Emission)等を用いることができる。中心波長は眼を測定することを鑑みると近赤外光が適する。また、中心波長は得られる断層画像の横方向の分解能に影響するため、なるべく短波長であることが望ましい。双方の理由から中心波長は855nmとした。
本実施形態では干渉計としてマイケルソン干渉計を用いたが、マッハツェンダー干渉計を用いても良い。測定光と参照光との光量差に応じて、光量差が大きい場合にはマッハツェンダー干渉計を、光量差が比較的小さい場合にはマイケルソン干渉計を用いることが望ましい。
(画像処理装置の構成)
本実施形態の画像処理装置101の構成について図1を用いて説明する。
本実施形態の画像処理装置101の構成について図1を用いて説明する。
画像処理装置101は断層画像撮影装置100に接続されたパーソナルコンピュータ(PC)であり、画像取得部101−01、記憶部101−02、撮影制御部101−03、画像処理部101−04、表示制御部101−05を備える。また、画像処理装置101は演算処理装置CPUが画像取得部101−01、撮影制御部101−03、画像処理部101−04および表示制御部101−05を実現するソフトウェアモジュールを実行することで機能を実現する。本発明はこれに限定されず、例えば画像処理部101−04をASIC等の専用のハードウェアで実現してもよいし、表示制御部101−05をCPUとは異なるGPU等の専用プロセッサを用いて実現してもよい。また断層画像撮影装置100と画像処理装置101との接続はネットワークを介した構成であってもよい。
画像取得部101−01は断層画像撮影装置100により撮影されたSLO眼底像や断層画像の信号データを取得する。また画像取得部101−01は断層画像生成部101―11を有する。断層画像生成部101―11は断層画像撮影装置100により撮影された断層画像の信号データ(干渉信号)を取得して信号処理により断層画像を生成し、生成した断層画像を記憶部101−02に格納する。
撮影制御部101−03は、断層画像撮影装置100に対する撮影制御を行う。撮影制御には、断層画像撮影装置100に対して撮影パラメータの設定に関して指示することや、撮影の開始もしくは終了に関して指示することも含まれる。
画像処理部101−04は、撮影条件取得部101−41、位置合わせ部101−42、検出部101−43、投影部101−44を有する。先に述べた画像取得部101−01は、取得手段の一例である。撮影条件取得部101−41は、画像処理部101−04が画像処理を行う際に必要となる入力画像の撮影条件データ(例えば、撮影日時、部位名、画角、スキャンモード、画像の解像度や階調数、画素サイズ、画像のデータ形式に関する情報など)を取得する。検出部101−43は層取得部101−431、部位取得部101−432、視神経乳頭辺縁部取得部101−433を有する。層取得部101−431は断層画像から網膜や脈絡膜の層境界、篩状板領域の境界を検出して層領域を取得する。部位取得部101−432は黄斑部や視神経乳頭部のような部位を取得するために中心窩や視神経乳頭中心の位置を検出する。さらに、視神経乳頭辺縁部取得部101−433は画像処理もしくは機械学習モデルを用いて視神経乳頭外縁(Disc)境界、視神経乳頭陥凹外縁(Cup)、視神経乳頭辺縁部(Rim)の少なくとも一つを2次元もしくは3次元的に検出する処理を行う。投影部101−44は検出部101−43が取得した層境界に基づく深度範囲で断層画像を投影し、正面断層画像を生成する。
外部記憶部102は、被検眼の情報(患者の氏名、年齢、性別など)と、撮影した画像(断層画像及びSLO画像)や該画像を処理して得られた画像、撮影パラメータ、操作者が設定したパラメータを関連付けて保持している。入力部103は、例えば、マウス、キーボード、タッチ操作画面などであり、操作者は、入力部103を介して、画像処理装置101や断層画像撮影装置100へ指示を行う。
次に、図3を参照して本実施形態の画像処理装置101の処理手順を示す。図3は、本実施形態における本システム全体の動作処理の流れを示すフローチャートである。
<ステップ301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像の撮影条件を設定する。
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像の撮影条件を設定する。
具体的には
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302においてOCT撮影を実行する。
1)Disc検査セットを登録
2)Disc 3Dスキャンモードを選択
3)以下の撮影パラメータを設定
3−1)走査領域サイズ:6x6mm
3−2)主走査方向:水平方向
3−3)走査間隔:0.01mm
3−5)固視灯位置:視神経乳頭
3−6)コヒーレンスゲート位置:硝子体側
3−7)既定表示レポート種別:単検査用レポート
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302においてOCT撮影を実行する。
1)Disc検査セットを登録
2)Disc 3Dスキャンモードを選択
3)以下の撮影パラメータを設定
3−1)走査領域サイズ:6x6mm
3−2)主走査方向:水平方向
3−3)走査間隔:0.01mm
3−5)固視灯位置:視神経乳頭
3−6)コヒーレンスゲート位置:硝子体側
3−7)既定表示レポート種別:単検査用レポート
なお、検査セットとは検査目的別に設定した(スキャンモードを含む)撮像手順や、各スキャンモードで取得した画像の既定の表示法を指す。
これにより、視神経乳頭疾患眼向けの設定がなされたDisc 3Dスキャンモードを含む検査セットが「Disc」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
本実施形態においては、検査セットとして「Disc」、スキャンモードとして「Disc 3D」モードを選択する。
<ステップ302>
操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下することにより、S301で指定した撮影条件によるOCT断層画像の撮影を開始する。
操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下することにより、S301で指定した撮影条件によるOCT断層画像の撮影を開始する。
撮影制御部101−03は断層画像撮影装置100に対してS301で操作者が指示した設定に基づいてOCT撮影を実施することを指示し、断層画像撮影装置100が対応するOCT断層画像を取得する。
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。なお、本実施形態では同一走査位置における繰り返し撮像回数を1回(繰り返さない)とする。これに限らず、同一走査位置における繰り返し撮像回数は任意の回数に設定してよい。なお繰り返し撮像回数が2以上の場合、撮影中の追尾処理に用いる基準SLO画像は1回目のOCT撮影時に設定した基準SLO画像とし、全ての繰り返しOCT撮影において共通の基準SLO画像を用いる。また繰り返し撮影中は、S301で設定した撮影条件に加えて
・左右眼の選択
・追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。
・左右眼の選択
・追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。
<ステップ303>
画像取得部101−01及び画像処理部101−04は、S302で取得された断層画像を再構成する。
画像取得部101−01及び画像処理部101−04は、S302で取得された断層画像を再構成する。
まず断層画像生成部101−11は画像取得部101−01が取得した干渉信号に対して波数変換及び高速フーリエ変換(FFT)、絶対値変換(振幅の取得)を行うことで断層画像を生成する。次に位置合わせ部101−42は断層画像間の位置合わせを行う。
なおS301において同一走査位置における繰り返し撮影回数が2以上の場合は、位置合わせ部101−42が同一走査位置内で撮影した断層画像内の位置合わせと走査位置間での断層画像間の位置合わせの双方を実施し、重ね合わせ断層画像を生成するものとする。
次に、部位取得部101−432が視神経乳頭の中心位置を検出する。本実施形態では、S302で取得したSLO画像上の所定値以上の面積を持つ低輝度領域の境界を視神経乳頭外縁(Disc)の概略位置とみなし、重心位置を仮の乳頭中心として検出する。なお乳頭中心検出処理はSLO画像や眼底カメラ画像のような眼底表面画像から検出することに限定されるものではなく、例えば断層画像上で検出した内境界膜上で陥凹の有無を調べ、陥凹がある場合に該陥凹部の最深層側の位置を乳頭中心として検出してもよい。
さらに、層取得部101−431は単独もしくは重ね合わせ済の断層画像から網膜及び脈絡膜の層境界、篩状板部の前面B6・後面B7を検出する。本実施形態では、層境界として内境界膜B1、神経線維層‐神経節細胞層境界B2、神経節細胞層‐内網状層境界B3、視細胞内節外節接合部B4、網膜色素上皮、ブルッフ膜B5、脈絡膜−強膜境界B8を取得する。また検出したブルッフ膜B5の端部Bo(ブルッフ膜開口端部)を視神経乳頭部の境界(Disc境界)として検出する。本実施形態では網膜及び脈絡膜の層境界及び篩状板部の前面B6・後面B7境界の検出手法として可変形状モデルを用いるが、これに限らず任意の公知のセグメンテーション手法を用いてよい。また検出する層境界は上記に限らない。例えば網膜の内網状層−内顆粒層境界、内顆粒層−外網状層境界、外網状層‐外顆粒層境界、外境界膜、視細胞外節先端(COST)を任意の公知のセグメンテーション法により検出してもよい。あるいは、脈絡膜の脈絡膜毛細血管板‐Sattler層境界、Sattler層‐Haller層境界、を任意の公知のセグメンテーション法により検出する場合も本発明に含まれる。また、篩状板部の前面・後面境界は手動で設定してもよい。例えば、特定の層境界(例えば内境界膜B1)の位置を所定量だけ動かすことにより手動で設定できる。
なお、本ステップにおいて断層画像内の血管領域下に生じる影領域の補正処理を実施してもよい。視神経乳頭部には網膜の大血管が集中しているために影領域が多数生じ、特に視神経乳頭部の深部に存在する篩状板部の描出や検出、計測の妨げになる場合がある。血管影の補正法としては任意の公知の影補正法を用いてよく、例えば
(処理対象のAスキャンでの内網状層及び外網状層領域内の平均輝度値)/(所定サイズの近傍Aスキャンでの内網状層及び外網状層領域内の平均輝度値)
が所定値未満の場合に影領域と判定できる。そこで(影領域と判定されたAスキャンに対しては)各層領域内の平均輝度値と該近傍領域での各層領域内の平均輝度値との比率に基づいて輝度補正係数を算出し、各層領域の輝度値に乗算することで影領域を補正できる。
(処理対象のAスキャンでの内網状層及び外網状層領域内の平均輝度値)/(所定サイズの近傍Aスキャンでの内網状層及び外網状層領域内の平均輝度値)
が所定値未満の場合に影領域と判定できる。そこで(影領域と判定されたAスキャンに対しては)各層領域内の平均輝度値と該近傍領域での各層領域内の平均輝度値との比率に基づいて輝度補正係数を算出し、各層領域の輝度値に乗算することで影領域を補正できる。
<ステップ304>
検出部101−43は、断層画像から視神経乳頭特徴として視神経乳頭外縁(Disc)境界を検出する。本実施形態では、Disc境界としてブルッフ膜開口端Bo(BMO)の位置を検出するものとする。
検出部101−43は、断層画像から視神経乳頭特徴として視神経乳頭外縁(Disc)境界を検出する。本実施形態では、Disc境界としてブルッフ膜開口端Bo(BMO)の位置を検出するものとする。
特に近視眼や緑内障眼の視神経乳頭部では
i)症例により層形状のばらつきが大きい
ii)BMO(図4(f)中の○印)を近接する網膜色素上皮(RPE)の端部(図4(f)の×印)や強膜(図4(f)の△印)と区別するのが難しい
ため、画像処理のみではBMO検出を正確に行うのが難しいという課題があった。
i)症例により層形状のばらつきが大きい
ii)BMO(図4(f)中の○印)を近接する網膜色素上皮(RPE)の端部(図4(f)の×印)や強膜(図4(f)の△印)と区別するのが難しい
ため、画像処理のみではBMO検出を正確に行うのが難しいという課題があった。
RPEはある程度厚みがあり視認しやすいものの、ブルッフ膜は非常に薄く視認しにくい。通常両者の端部は隣接しており、略同一位置とみなせる。しかし近視眼や緑内障眼においては、RPE端部の位置(図4(f)の×印)とBMO(図4(f)中の○印)の位置が異なり、RPE端部(もしくは強膜(図4(f)の△印))の位置をBMOとして誤検出しやすかった。
本実施形態では画像処理で算出したBMO候補を深層学習済の識別器(深層学習済モデル)に入力することにより、断層画像におけるBMOの位置を精密に検出する。画像処理によってBMO候補領域を絞り込んだ上で深層学習済モデルを用いてBMO検出処理を行うことで、計算時間の短さと正確性とを両立した実用的なBMO検出が実現できる。また深層学習済モデルを用いたBMO検出法では学習時に画像特徴量が自動的に選択されるため、他の機械学習モデル(例えばランダムフォレスト)のように手動で画像特徴量を選択する必要がなく、より簡便に視神経乳頭外縁境界を検出できる。
視神経乳頭特徴取得処理の詳細はS3041〜3044で説明する。
<ステップ305>
表示制御部101−05は、断層画像やS304で検出したDisc及びCup境界、撮影条件に関する情報を表示部104に表示させる。
表示制御部101−05は、断層画像やS304で検出したDisc及びCup境界、撮影条件に関する情報を表示部104に表示させる。
図8(a)に単独検査に対するレポート画面800の例を示す。表示制御部101−05はレポート画面800の左上にSLO画像802、右上にBスキャン断層画像805を表示する。SLO画像802上に層厚マップ803やDisc境界及びCup境界、Bスキャン断層画像805の走査位置を示す矢印(灰色)を表示する。
またBスキャン断層画像805にはS303で取得した層境界やDisc境界(BMO)、Cup境界を重畳表示する。なお図8に示すように層境界やDisc境界、Cup境界の表示/非表示切り替え用ユーザインターフェース806を表示部に表示させ、該ユーザインターフェース806への入力に応じて該層境界やDisc境界、Cup境界の表示/非表示を切り替えてもよい。MRWを示す線分を断層画像上に重畳表示してもよい。
左下には正面断層画像804とBスキャン断層画像805の走査位置を示す矢印を表示する。正面断層が図804上にDisc境界及びCup境界を重畳表示してもよい。なお、レポート画面800の右下にS303で検出した層境界に基づいて算出した層厚グラフ807を表示させてもよい。
さらに、例えばBスキャン断層画像の選択操作(例えばマウスのダブルクリック)に応じてBスキャン断層画像及び層境界、BMO(Disc境界)を図8(b)のように拡大表示させ、層境界やBMO(Disc境界)、Cup境界の位置を修正可能な位置修正用のユーザインターフェースであってもよい。
修正操作の具体例として、例えば層境界の位置を修正したい場合は以下のように行う。すなわち、操作者が層境界の修正指示ボタン808を押下し、表示された選択画面(非表示)から修正する層境界の種類を選択した上で修正したい層境界点列を所望の位置まで拡大Bスキャン断層画像上で入力部103を用いて移動させる。また、BMO(Disc境界)やCup境界の位置を修正したい場合は操作者がDisc境界もしくはCup境界の修正指示ボタン808を押下する。表示された選択画面(図8(c))から修正対象のBMO(図8(b)の×印)もしくはCup境界の位置(図8(b)の○印)を選択した上で所望の位置まで拡大Bスキャン断層画像上で入力部103を用いて移動させればよい。Cup境界の修正についてはCup境界点自体を所望の位置まで移動させてもよいし、Cup境界を結ぶ線分に対して垂直な方向にのみ所望の距離だけ移動可能なように実現してもよい。また、いったん修正した点列の位置を初期状態に戻すには図8(c)のResetボタンを押下すればよいし、修正を取り消す場合は図8(c)のCancelボタンを押下する。
また、Bスキャン断層画像の表示に関して、拡大率については高解像度表示(High Resolution)、画面サイズに合わせた表示(Fit)、深度方向・横方向とも実スケールの表示(Real Scale)のうちから選択可能なユーザインターフェースを備えてよい。また、断層画像の表示色に関してもグレースケール(Gray Scale)/反転表示(Invert)/疑似カラー表示(False Color)の中から選択可能なユーザインターフェースを備えるものとする。
なおS303において断層画像に対する血管影補正処理を適用済の場合は、影領域の補正処理の適用可否切り替え用ユーザインターフェースや、影領域の補正処理の適用状態を示す文字列やマーク、補正量の値を表示部104に表示してもよい。
さらに、図3(b)に示すフローチャートを参照しながら、S304で実行される処理の詳細について説明する。
<ステップ3041>
視神経乳頭辺縁部取得部101−433は、S303で部位取得部101−432が検出した視神経乳頭中心の位置データを記憶部101−02から取得し、断層画像上の位置座標に換算する。
視神経乳頭辺縁部取得部101−433は、S303で部位取得部101−432が検出した視神経乳頭中心の位置データを記憶部101−02から取得し、断層画像上の位置座標に換算する。
<ステップ3042>
視神経乳頭辺縁部取得部101−433は、S303で層取得部101−431が検出した層境界から所定の層境界として内境界膜(ILM)B1、視細胞内節外節境界(IS/OS)B4、ブルッフ膜B5の位置データを記憶部101−02から取得する。
視神経乳頭辺縁部取得部101−433は、S303で層取得部101−431が検出した層境界から所定の層境界として内境界膜(ILM)B1、視細胞内節外節境界(IS/OS)B4、ブルッフ膜B5の位置データを記憶部101−02から取得する。
<ステップ3043>
視神経乳頭辺縁部取得部101−433は、S3041及びS3042で取得した視神経乳頭中心及び内境界膜B1・視細胞内節外節境界B4ブルッフ膜B5に基づいて、ルールベースの画像処理によってBMO(Disc境界)の概略位置を検出する。
視神経乳頭辺縁部取得部101−433は、S3041及びS3042で取得した視神経乳頭中心及び内境界膜B1・視細胞内節外節境界B4ブルッフ膜B5に基づいて、ルールベースの画像処理によってBMO(Disc境界)の概略位置を検出する。
本実施形態では、以下のi)〜vi)の手順でBMO(Disc境界)候補を検出する。
i)断層画像に対するエッジ検出処理
断層画像に対してメディアンフィルタを適用することによりエッジ保存平滑化処理した後、エッジ検出処理を行う。エッジ保存平滑化した断層画像の例を図5(a)、エッジ検出した断層画像の例を図5(b)に示す。エッジ検出処理は任意の公知の手法を用いてよいが、本実施形態ではSobelフィルタを適用する。すなわち、
((縦線検出用Sobelオペレータ適用後の画素値)2+(横線検出用Sobelオペレータ適用後の画素値)2)1/2
を画素値として持つ画像を生成する。
ii)エッジ検出した断層画像に対して視細胞外節内節境界を含む所定の深度範囲での投影処理を行い、視細胞存在マップを生成する
視神経乳頭内には視細胞が存在しない。また視細胞層内では視細胞内節外節境界(IS/OS)が最も高輝度で検出しやすい。そこで、エッジ検出した断層画像を視細胞内節外節境界を含む所定の深度範囲(図5(b)白点線部)で投影することにより、図5(c)に示すような視細胞存在マップを生成する。なお、視神経乳頭内では視神経乳頭周囲の投影深度範囲を補間した深度範囲で投影するものとする。本実施形態では投影深度範囲をIS/OS境界−50μm〜IS/OS境界+50μmとするが、視細胞層の有無を確実に検出可能であればこれに限らず任意の投影深度範囲を設定してよい。
iii)視細胞存在マップの極座標表示
S3041で取得した仮の視神経乳頭中心位置を起点としてDisc境界の概略位置を検出可能にするため、視細胞存在マップを極座標変換する(図5(d))。左上が画像の原点であり、極座標表示した画像の縦軸が乳頭中心からの距離(Radius)、横軸が角度(Angle)を示す。さらに、Disc境界に相当するエッジを検出しやすくするため、該極座標表示した視細胞存在マップに対してエッジ検出処理を適用する(図5(e))。
iv)極座標表示した視細胞層存在マップに対する高輝度最短経路の探索
エッジ検出後の極座標表示された視細胞存在マップ(図5(e))において、Disc境界に相当する位置は
a)最も高輝度になりやすい
b)各角度において1点だけ定まる
c)角度が0°と360°の時の距離(Radius)が略同値になる
という制約条件を満たす。
i)断層画像に対するエッジ検出処理
断層画像に対してメディアンフィルタを適用することによりエッジ保存平滑化処理した後、エッジ検出処理を行う。エッジ保存平滑化した断層画像の例を図5(a)、エッジ検出した断層画像の例を図5(b)に示す。エッジ検出処理は任意の公知の手法を用いてよいが、本実施形態ではSobelフィルタを適用する。すなわち、
((縦線検出用Sobelオペレータ適用後の画素値)2+(横線検出用Sobelオペレータ適用後の画素値)2)1/2
を画素値として持つ画像を生成する。
ii)エッジ検出した断層画像に対して視細胞外節内節境界を含む所定の深度範囲での投影処理を行い、視細胞存在マップを生成する
視神経乳頭内には視細胞が存在しない。また視細胞層内では視細胞内節外節境界(IS/OS)が最も高輝度で検出しやすい。そこで、エッジ検出した断層画像を視細胞内節外節境界を含む所定の深度範囲(図5(b)白点線部)で投影することにより、図5(c)に示すような視細胞存在マップを生成する。なお、視神経乳頭内では視神経乳頭周囲の投影深度範囲を補間した深度範囲で投影するものとする。本実施形態では投影深度範囲をIS/OS境界−50μm〜IS/OS境界+50μmとするが、視細胞層の有無を確実に検出可能であればこれに限らず任意の投影深度範囲を設定してよい。
iii)視細胞存在マップの極座標表示
S3041で取得した仮の視神経乳頭中心位置を起点としてDisc境界の概略位置を検出可能にするため、視細胞存在マップを極座標変換する(図5(d))。左上が画像の原点であり、極座標表示した画像の縦軸が乳頭中心からの距離(Radius)、横軸が角度(Angle)を示す。さらに、Disc境界に相当するエッジを検出しやすくするため、該極座標表示した視細胞存在マップに対してエッジ検出処理を適用する(図5(e))。
iv)極座標表示した視細胞層存在マップに対する高輝度最短経路の探索
エッジ検出後の極座標表示された視細胞存在マップ(図5(e))において、Disc境界に相当する位置は
a)最も高輝度になりやすい
b)各角度において1点だけ定まる
c)角度が0°と360°の時の距離(Radius)が略同値になる
という制約条件を満たす。
そこで、上記a)〜c)の制約条件を満たすDisc境界候補点を検出するためにDijkstra法を用いて各角度における高輝度点を最短で結ぶ経路を選択し、Disc境界の概略位置候補点とする。図5(e)において、黒実線部がDijkstra法を用いて選択した最短経路を示している。なお経路探索法はDjjksta法に限られるものはなく、任意の公知の手法を用いてよい。
v)iv)で選択した候補点列の位置を直交座標に換算する
iv)で選択した候補点列の位置を直交座標に換算することにより、図5(f)の黒線部に示すようなBMO(Disc境界)候補点列を検出する。
vi)Disc境界候補点列における深度位置の更新処理
i)〜v)で検出したDisc境界候補点列の深度方向の位置はIS/OS境界の深度方向の位置であり、ブルッフ膜境界B5の深度位置ではない。そこで、本実施形態ではCircle画像と呼ばれる曲断面断層画像を生成した上で、ブルッフ膜境界B5に相当するエッジの検出処理を行うことによりDisc境界候補点列の深度位置をブルッフ膜B5の深度位置に近づける。本実施形態では、Circle画像として図5(f)の黒実線部の位置で深度方向に切り出した曲断面画像(図5(g))を生成し、エッジ検出を行う。該エッジ検出したCircle画像(図5(h))において、IS/OS境界よりもより深層側にあるエッジ(高輝度点列)に関してiv)と同様の最短経路探索処理を行い、得られた深度位置をDisc境界候補点列の新たな深度位置として設定する。
v)iv)で選択した候補点列の位置を直交座標に換算する
iv)で選択した候補点列の位置を直交座標に換算することにより、図5(f)の黒線部に示すようなBMO(Disc境界)候補点列を検出する。
vi)Disc境界候補点列における深度位置の更新処理
i)〜v)で検出したDisc境界候補点列の深度方向の位置はIS/OS境界の深度方向の位置であり、ブルッフ膜境界B5の深度位置ではない。そこで、本実施形態ではCircle画像と呼ばれる曲断面断層画像を生成した上で、ブルッフ膜境界B5に相当するエッジの検出処理を行うことによりDisc境界候補点列の深度位置をブルッフ膜B5の深度位置に近づける。本実施形態では、Circle画像として図5(f)の黒実線部の位置で深度方向に切り出した曲断面画像(図5(g))を生成し、エッジ検出を行う。該エッジ検出したCircle画像(図5(h))において、IS/OS境界よりもより深層側にあるエッジ(高輝度点列)に関してiv)と同様の最短経路探索処理を行い、得られた深度位置をDisc境界候補点列の新たな深度位置として設定する。
<ステップ3044>
視神経乳頭辺縁部取得部101−433は、S3043で取得したBMO(Disc境界)候補の位置データを用いて得た局所の断層画像を深層学習済モデルに入力することにより、BMO(Disc境界)を精密検出する。
視神経乳頭辺縁部取得部101−433は、S3043で取得したBMO(Disc境界)候補の位置データを用いて得た局所の断層画像を深層学習済モデルに入力することにより、BMO(Disc境界)を精密検出する。
本実施形態における深層学習済モデルとは事前に適切な教師データを用いて深層学習を行った識別器である。まず、深層学習アルゴリズムについて、図6(a)を用いて説明した後、本ステップで行う処理について図7を用いて説明する。
教師データは、1つ以上の入力データと出力データとのペア群で構成される。具体的には、OCTによって取得された視神経乳頭部を少なくとも含む1以上の断層画像と、該断層画像上のBMO(Disc境界)ラベルとのペア群によって構成された教師データが挙げられる。なお、教師データとして用いられる断層画像としては、任意のスキャンパターンの断層画像を用いてよく、例えば任意方向のラスタスキャン、ラジアルスキャンの断層画像、あるいはその組み合わせを用いてよい。このとき、教師データとして用いられる断層画像としては、OCTデータから得られた断層画像の少なくとも一部であっても良いし、OCTデータから得られた断層画像に対して各種の画像処理を実施して得た画像処理後の断層画像であっても良い。また、教師データとして用いられる断層画像としては、OCTデータに対して各種の信号処理を実施して得た信号処理後の断層画像であっても良い。また、教師データとして用いられる断層画像としては、通常の輝度断層画像の他に、後述するOCTAの断層画像、AO(Adaptive Optics:補償光学)−OCT、PS(Polarization Sensitivity:偏光)−OCT等であっても良い。また、前記BMO(Disc境界)ラベルはBMO(Disc境界)であることを表す数値もしくは文字列データであれば任意の形式でよい。例えば、BMO(Disc境界)の位置を示す画像または数値またはテキストデータ、BMO(Disc境界)である確率を画素値として持つ画像、各座標がBMO(Disc境界)である確率に関する数値もしくはテキストデータをBMO(Disc境界)ラベルとして用いてよい。
次に、学習時の画像について説明する。例えば、教師データを構成するペア群として断層画像601とBMO(Disc境界)ラベル画像602があるとした場合、図6(a)に示した例では両画像は画像全体としている。本発明はこれに限られるものではなく、断層画像601のうちの任意のサイズの矩形領域画像を入力データ、ラベル画像602における対応する領域の矩形領域画像を出力データとして、ペアを構成しても良い。なお、学習時には、スキャン範囲(撮影画角)、スキャン密度(Aスキャン数)を正規化して画像サイズを揃えて、学習時の矩形領域サイズを一定に揃えることが望ましい。
矩形領域の数は、1つであってもよいし、複数設定してもよい。なお、例えば矩形領域の位置や角度を様々に変えたりしながら多数の矩形領域画像のペアを作成することで教師データを構成するペア群が充実する。
次に、学習済モデルとして本実施形態では入力された断層画像に対してセグメンテーション処理を行う畳み込みニューラルネットワーク(CNN)に関して図6(a)を用いて説明する。図6(a)は、検出部101−43における深層学習済モデルの構成の一例を示している。図6(a)で示す構成は、入力値群を加工して出力する処理を担う、複数の層群によって構成される。なお、前記構成に含まれる層の種類としては、図6(a)に示すように、畳み込み(Convolution)層、ダウンサンプリング(Downsampling)層、アップサンプリング(Upsampling)層、合成(Merger)層がある。畳み込み層は、設定されたフィルタのカーネルサイズ、フィルタの数、ストライドの値、ダイレーションの値等のパラメータに従い、入力値群に対して畳み込み処理を行う層である。なお、入力される画像の次元数に応じて、前記フィルタのカーネルサイズの次元数も変更してもよい。ダウンサンプリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理である。具体的には、例えば、Max Pooling処理がある。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理である。具体的には、例えば、線形補間処理がある。合成層は、ある層の出力値群や画像を構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。なお、図6(a)に代えて、図6(b)のような深層学習済モデルを用いることもできる。この場合、合成層を省略することができる。
なお、図6(a)の構成に含まれる畳み込み層群に設定されるパラメータとして、例えば、フィルタのカーネルサイズを幅3画素、高さ3画素、フィルタの数(画像特徴量の次元数)を64とすることで、一定の精度のセグメンテーション処理が可能である。ただし、ニューラルネットワークを構成する層群やノード群に対するパラメータの設定が異なると、教師データからトレーニングされた傾向を出力データに再現可能な程度が異なる場合があるので注意が必要である。つまり、多くの場合、実施する際の形態に応じて適切なパラメータは異なるので、必要に応じて変更することが好ましい。また、上述したようなパラメータを変更するという方法だけでなく、CNNの構成を変更することによって、CNNがより良い特性を得られる場合がある。より良い特性とは、例えば、画像セグメンテーション処理の精度やロバスト性が高かったり、処理時間が短かったり、深層学習済モデルのトレーニングにかかる時間が短かったりする等である。
図示はしないが、CNNの構成の変更例として、例えば、畳み込み層の後にバッチ正規化(Batch Normalization)層や、正規化線形関数(Rectifier Linear Unit)を用いた活性化層を組み込む等をしても良い。あるいは、オートエンコーダを用いて該CNNを構成してもよい。
深層学習済モデルにデータを入力すると、深層学習済モデルの設計に従ったデータが出力される。例えば、教師データからトレーニングされた傾向に従って入力データに対応する可能性の高い出力データが出力される。具体的には、以下の1)〜2)のような場合が挙げられる。
1)断層画像とBMO(Disc境界)ラベル画像とのペアで構成される教師データで深層学習を行ったモデルの場合、断層画像601を入力するとBMO(Disc境界)の位置を示すラベル画像602もしくはBMO(Disc境界)である確率を画素値として持つ画像が出力される。
2)断層画像とBMO(Disc境界)の位置に関する数値またはテキストデータとのペアで構成される教師データで深層学習を行ったモデルの場合、断層画像601を入力するとBMO(Disc境界)の位置もしくは各位置がBMO(Disc境界)である確率に関する数値またはテキストデータが出力される。
1)断層画像とBMO(Disc境界)ラベル画像とのペアで構成される教師データで深層学習を行ったモデルの場合、断層画像601を入力するとBMO(Disc境界)の位置を示すラベル画像602もしくはBMO(Disc境界)である確率を画素値として持つ画像が出力される。
2)断層画像とBMO(Disc境界)の位置に関する数値またはテキストデータとのペアで構成される教師データで深層学習を行ったモデルの場合、断層画像601を入力するとBMO(Disc境界)の位置もしくは各位置がBMO(Disc境界)である確率に関する数値またはテキストデータが出力される。
本実施形態では、1)の場合、具体的には「断層画像とBMO(Disc境界)の位置を示すラベル画像とのペアで構成される教師データで深層学習したモデルに対して断層画像を入力した場合に、BMO(Disc境界)である確率を画素値として持つ画像を出力する」場合の例を説明する。
なお、教師データを構成するペア群の入力データと出力データの形式や組み合わせは、一方が画像で他方が数値またはテキストデータであったり、一方が複数の画像群で構成され他方が数値またはテキストデータであったり、双方が画像であったりする等、実施形態に適した組み合わせで実施される。なお、領域を分割して学習をしている場合、深層学習済モデルは、各矩形領域においてBMO(Disc境界)のラベル画像もしくは確率画像、BMO(Disc境界)の位置もしくは確率に関する数値またはテキストデータの少なくとも一つを出力する。検出部101−43は、それぞれの矩形領域においてBMO(Disc境界)を検出する。すなわち、画素ごとにBMO(Disc境界)の有無を示すラベルもしくはBMO(Disc境界)である確率を付与した矩形領域画像群を得る。検出部101−43は、BMO(Disc境界)ラベルもしくはBMO(Disc境界)である確率を付与した矩形領域画像群の各々を、矩形領域画像群の各々と同様の位置関係に配置して結合し、BMO(Disc境界)を検出したラベル画像602もしくは確率画像を得る。
本実施形態においては、以下のi)〜iv)に示す手順で深層学習済モデルを用いた乳頭外縁(Disc)境界の精密抽出処理を行う。
i) S3043で抽出した仮のBMO(Disc境界)を画像中心とし、S3041で取得した仮のDisc中心とを結ぶ方向に沿った所定画角の局所ラジアル断層画像(図7(a)の実線部)を所定角度間隔で生成する。
i) S3043で抽出した仮のBMO(Disc境界)を画像中心とし、S3041で取得した仮のDisc中心とを結ぶ方向に沿った所定画角の局所ラジアル断層画像(図7(a)の実線部)を所定角度間隔で生成する。
画角を大きく設定するとBMO(Disc境界)を含む可能性が高まるものの、BMO(Disc境界)検出処理の計算量が増加するというトレードオフが存在する。また角度間隔についても、小さく設定するほどBMO(Disc境界)をより滑らかに検出可能になるものの、BMO(Disc境界)検出処理の計算量が増加するというトレードオフが存在する。任意サイズの画角及び角度間隔で生成した局所ラジアル断層画像を深層学習済モデルに入力してよいが、本実施形態では64画素×64画素かつ1°間隔で生成した局所ラジアル断層画像を深層学習済モデルに入力するものとする。
ii)i)で生成した各局所ラジアル断層画像を深層学習済モデルに入力し、該局所ラジアル断層画像の各画素に対してBMO(Disc境界)である確率を画素値として持つ画像(図7(b))を出力する。
ii)i)で生成した各局所ラジアル断層画像を深層学習済モデルに入力し、該局所ラジアル断層画像の各画素に対してBMO(Disc境界)である確率を画素値として持つ画像(図7(b))を出力する。
図7(b)に示した画像では、発明内容を理解しやすくするためDisc境界である確率値が所定値未満の画素においては該確率値ではなく局所ラジアル断層画像の輝度値を表示している。なお図7(b)の例では×印を示した位置において該確率値が最高(0.884)値であることを示している。
iii)ii)の処理で生成した各角度の局所ラジアル断層画像に対応するBMO(Disc境界)である確率を画素値として持つ画像を角度方向に並べることで、図7(c)に示すような3次元データを生成する。
iii)ii)の処理で生成した各角度の局所ラジアル断層画像に対応するBMO(Disc境界)である確率を画素値として持つ画像を角度方向に並べることで、図7(c)に示すような3次元データを生成する。
図7(c)においてはBMO(Disc境界)である確率が所定値未満の画素の画素値を0として表示している。該3次元データから3次元の最短経路探索を行い、高確率点を滑らかに連結することで3次元のDisc境界を検出する。S3043のiv)の場合と同様に、Disc境界に相当する位置は
a)最も高輝度(高確率)になりやすい
b)各角度において1点だけ定まる
c)角度が0°と360°の時の位置が略同位置になる
という制約条件を満たす。そこで、上記a)〜c)の制約条件を満たすDisc境界候補点を検出するためにDijkstra法を用いて各角度における高確率点を最短で結ぶ経路を選択し、Disc境界候補とする。なお経路探索法はDjjksta法に限られるものはなく、任意の公知の手法を用いてよい。
a)最も高輝度(高確率)になりやすい
b)各角度において1点だけ定まる
c)角度が0°と360°の時の位置が略同位置になる
という制約条件を満たす。そこで、上記a)〜c)の制約条件を満たすDisc境界候補点を検出するためにDijkstra法を用いて各角度における高確率点を最短で結ぶ経路を選択し、Disc境界候補とする。なお経路探索法はDjjksta法に限られるものはなく、任意の公知の手法を用いてよい。
なお、各局所ラジアル断層画像において該確率値が所定値未満の点しか存在しない場合や断層画像の画質指標値が極端に低い場合は該確率値の信頼性が低いとみなして当該角度においては直接Disc境界を直接検出しなくてよい。BMO(Disc境界)を検出しなかった角度については、近傍の角度において検出したBMO(Disc境界)候補の位置を補間することによって当該角度におけるBMO(Disc境界)候補を決定してもよい。
iv)iii)で特定したBMO(Disc境界)候補位置を3次元直交座標系の座標値に変換し、各BMO(Disc境界)候補点を所定の補間法、例えばbiCubic補間法で補間することにより、精密な3次元のBMO(Disc境界)位置を特定できる。特定したBMO(Disc境界)位置を深度方向に投影して正面断層画像上に重畳表示したものを図7(d)に示す。点線部がS3043で画像処理のみで粗抽出したBMO(Disc境界)、実線部が本ステップにおいて深層学習済モデルを用いて精密抽出したBMO(Disc境界)を示す。画像処理のみを用いたBMO(Disc境界)検出法では乳頭周囲網脈絡膜萎縮(Parapapillary Atrophy; PPA)を生じている領域が除外されDisc領域を過小評価していたのに対し、深層学習済モデルを用いた場合では正しくDisc領域を検出している。
iv)iii)で特定したBMO(Disc境界)候補位置を3次元直交座標系の座標値に変換し、各BMO(Disc境界)候補点を所定の補間法、例えばbiCubic補間法で補間することにより、精密な3次元のBMO(Disc境界)位置を特定できる。特定したBMO(Disc境界)位置を深度方向に投影して正面断層画像上に重畳表示したものを図7(d)に示す。点線部がS3043で画像処理のみで粗抽出したBMO(Disc境界)、実線部が本ステップにおいて深層学習済モデルを用いて精密抽出したBMO(Disc境界)を示す。画像処理のみを用いたBMO(Disc境界)検出法では乳頭周囲網脈絡膜萎縮(Parapapillary Atrophy; PPA)を生じている領域が除外されDisc領域を過小評価していたのに対し、深層学習済モデルを用いた場合では正しくDisc領域を検出している。
最後に、画像処理装置101は取得した画像群と撮影条件データ、BMO(Disc境界)のラベルもしくは確率に関する画像、層境界及び篩状板前面・後面境界データを検査日時、披検眼を同定する情報と関連付けて外部記憶部102へ保存する。
なお、本実施形態においては断層画像とブルッフ膜の端部(Disc境界)に関するラベルもしくは確率データに基づいて深層学習を行い、該深層学習モデルを用いてブルッフ膜の端部(Disc境界)を検出する場合について説明したが、本発明はこれに限定されない。断層画像と任意の種類の層の端部に関するラベルもしくは確率データに基づいて深層学習を行い、該深層学習モデルを用いて該任意の種類の層の端部を検出してもよい。例えば断層画像と網膜色素上皮の端部に関するラベルもしくは確率データに対して深層学習を行い、該学習済モデルを用いて断層画像から網膜色素上皮の端部を検出してもよい。あるいは、(SS−OCTまたはEDI法を用いて撮影した)断層画像と脈絡膜の端部に関するラベルもしくは確率データに基づいて深層学習を行い、該学習済モデルを用いて断層画像から脈絡膜の端部を検出してもよい。同様に、断層画像と強膜の端部に関するラベルもしくは確率データに基づいて深層学習を行い、該学習済モデルを用いて断層画像から強膜の端部を検出してよい。あるいは、断層画像と篩状板の端部に関するラベルもしくは確率データに基づいて深層学習を行い、該学習済モデルを用いて断層画像から篩状板の端部を検出する場合も本発明に含まれる。さらに、断層画像と任意の1以上の種類の層の端部に関するラベルもしくは確率データに基づいて深層学習を行い、該深層学習モデルを用いて該任意の1以上の種類の層のうちの少なくとも一つの端部を検出してもよい。
なお、脈絡膜や強膜、篩状板の端部のラベルとしては端部の表層側の末端(例えば脈絡膜の場合はBMO)や該端部の深層側の末端(例えば脈絡膜の場合は脈絡膜−強膜境界の端部Bc)のみに限定されない。すなわち、該表層側の末端と該深層側の末端とを結ぶ脈絡膜/強膜/篩状板境界に属する任意の画素または画素群をラベルデータとし、断層画像とともに教師データとして学習させてよい。あるいは、該表層側の末端と該深層側の末端とを結ぶ脈絡膜/強膜/篩状板境界に属する任意の画素または画素群に近いほど高確率となるような確率値を付与したデータと、断層画像とをペアとした教師データを与えて学習させてもよい。また、該表層側の末端と該深層側の末端とを結ぶ脈絡膜/強膜/篩状板境界に属する任意の画素または画素群を脈絡膜/強膜/篩状板の端部として検出してよい。
また、本実施形態では学習時に用いる断層画像やラベルもしくは確率データは3次元データとして説明したが、本発明はこれに限定されるものではない。任意の平面もしくは曲面に投影もしくは切断した断層画像と、対応する位置におけるラベルもしくは確率データとをペアで学習する場合も本発明に含まれる。
さらに、学習処理や学習済モデルを用いた検出処理を複数の演算処理部による並列処理により実行してもよい。該複数の演算処理部による並列処理は、例えばGPU(Graphics Processing Unit)を用いることで実現できる。学習済モデルを用いた画像認識を行う場合、学習時には多数の画像をニューラルネットワークへ投入して誤差関数を計算し、誤差がより小さくなるように重みを変える処理を繰り返すことで正解に近づけるということが行われる。画像は(画素値を要素として持つ)行列として表現でき、どのパラメータに重みを置くかということも重み行列で表現できるため、上記処理はGPUが得意な行列の積和演算で実現できる。GPUを用いて学習処理や学習済モデルを用いた検出処理を行うことで、被検眼の断層画像から視神経乳頭領域を(CPUを用いた場合に比べて)より高速に特定できる。
以上述べた構成によれば、画像処理装置101は、断層画像と該断層画像から特定したブルッフ膜開口端(BMO)等の特定の部位の位置データとを対にして深層学習等により得た学習済モデルを用いて以下の処理を行う。すなわち、画像処理により絞り込んだBMO等の特定の部位の候補領域を該学習済モデルに入力することで、断層画像からBMO等の特定の部位を検出する。これにより、被検査物の断層画像における特定の部位を簡便かつ正確に特定することができる。このため、例えば、被検査物の一例である被検眼の断層画像における視神経乳頭部等の特徴領域を簡便かつ正確に特定することができる。
なお、従来技術として、3次元OCT断層画像から生成したラジアル画像から検出したBMO候補点近傍の輝度値を用いて算出した3種類の画像特徴量を学習済ランダムフォレスト識別器に入力し、BMOを検出する技術が知られている。ただし、従来技術には、下記の1)〜4)に示すような課題があった。
1)学習時に識別器に入力する画像特徴量を手動で選択したり、予め算出したりする必要がある。
2)画素間で独立に識別を行うため、BMOが検出されなかったり、複数検出されたりするリスクがある。
3)識別器への入力時に用いる画素数が非常に少なくBMO検出の成功率が画像処理の成功率に依存しやすい。
4)乳頭陥凹が断層像内に必ず存在することを前提としており、走査パターンや病態(乳頭浮腫等)によっては自動処理が難しい。
1)学習時に識別器に入力する画像特徴量を手動で選択したり、予め算出したりする必要がある。
2)画素間で独立に識別を行うため、BMOが検出されなかったり、複数検出されたりするリスクがある。
3)識別器への入力時に用いる画素数が非常に少なくBMO検出の成功率が画像処理の成功率に依存しやすい。
4)乳頭陥凹が断層像内に必ず存在することを前提としており、走査パターンや病態(乳頭浮腫等)によっては自動処理が難しい。
本実施形態の目的の一つは、例えばこれらの課題に鑑みてなされたものであり、被検眼の断層画像における視神経乳頭部を簡便かつ正確に特定することを目的の一つとしている。
[第二実施形態]
本実施形態に係る画像処理装置は、同一被験者に対して撮影した両眼の断層画像から、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて視神経乳頭陥凹外縁(Cup)境界を検出し、視神経乳頭陥凹形状を計測する場合について説明する。
本実施形態に係る画像処理装置は、同一被験者に対して撮影した両眼の断層画像から、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて視神経乳頭陥凹外縁(Cup)境界を検出し、視神経乳頭陥凹形状を計測する場合について説明する。
なお、本実施形態では第一実施形態で説明した方法を用いてブルッフ膜の端部(BMO)をDisc境界として検出するが、これに限定されるものではなく、例えば網膜色素上皮の端部をDisc境界として検出してもよい。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図9に示す。画像処理部に解析部101−45を備える点が第一実施形態と異なっている。解析部101−46は計測処理を行う計測部101−451を備える。
なお、本実施形態においては外部記憶部102が、被検眼の情報と撮影した画像や撮影パラメータ、操作者が設定したパラメータだけでなく、Disc境界やCup境界に関するデータや計測値も関連付けて保持している。
次に、本実施形態における画像処理フローは第一実施形態の場合と同様である。なお、本実施形態の画像処理フローのうち図3のS302、S303、S306については第一実施形態の場合と同様であるので説明を省略する。
<ステップ301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像の撮影条件を設定する。本実施形態で選択する検査セットやスキャンモード、撮影パラメータ設定値は第一実施形態の場合と同様であり、両眼に対してOCT撮影を行う点、表示するレポート種別が両眼検査用レポート(Both Eyes)である点が第一実施形態の場合と異なる。
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像の撮影条件を設定する。本実施形態で選択する検査セットやスキャンモード、撮影パラメータ設定値は第一実施形態の場合と同様であり、両眼に対してOCT撮影を行う点、表示するレポート種別が両眼検査用レポート(Both Eyes)である点が第一実施形態の場合と異なる。
なお早期緑内障では両眼間で視神経乳頭部の網膜表層厚や陥凹形状の差が生じやすいことが一般に知られており、両眼検査は両眼間での視神経乳頭部の網膜表層厚や陥凹形状を比較観察するための検査として実施される。
<ステップ304>
検出部101−43は、第一実施形態と同様の方法を用いて、視神経乳頭特徴として視神経乳頭外縁(Disc)境界を検出する。また検出した該Disc境界に基づいて視神経乳頭陥凹外縁(Cup)境界を検出し、視神経乳頭陥凹の形状に関する指標値を算出する。
検出部101−43は、第一実施形態と同様の方法を用いて、視神経乳頭特徴として視神経乳頭外縁(Disc)境界を検出する。また検出した該Disc境界に基づいて視神経乳頭陥凹外縁(Cup)境界を検出し、視神経乳頭陥凹の形状に関する指標値を算出する。
視神経乳頭特徴取得処理の詳細はS1001〜1006で説明する。
<ステップ305>
表示制御部101−05は、Bスキャン断層画像や視神経乳頭中心を起点として所定の半径で生成した曲断面の断層画像(Circle画像)、撮影条件に関する情報を表示部104に表示させる。またS304で検出したDisc境界及びCup境界、層厚マップや該層厚の正常範囲値との比較に基づく指標値マップ、Disc境界とCup境界を用いて算出される乳頭陥凹形状に関する計測値についても表示部104に表示する。
表示制御部101−05は、Bスキャン断層画像や視神経乳頭中心を起点として所定の半径で生成した曲断面の断層画像(Circle画像)、撮影条件に関する情報を表示部104に表示させる。またS304で検出したDisc境界及びCup境界、層厚マップや該層厚の正常範囲値との比較に基づく指標値マップ、Disc境界とCup境界を用いて算出される乳頭陥凹形状に関する計測値についても表示部104に表示する。
図11(a)に両眼検査に対するレポート画面の例を示す。表示制御部101−05はレポート画面の左側/右側に各々右眼/左眼のSLO画像、断層画像及び層厚マップを表示する。矢印1101が示されている方が対象眼の検査、示されていない方が僚眼(比較対象)の検査を表している。SLO画像1102上には実施形態1の場合と同様に視神経乳頭内にDisc境界及びCup境界の位置や断層画像の表示スライス位置を示す線を重畳表示する。断層画像に関しては、水平断面画像1103と垂直断面画像1104、視神経乳頭中心を起点として半径3.45mmの位置で生成した曲断面における断層画像(Circle画像)1105を表示する。さらに、SLO画像の隣には層厚マップとして神経線維層(NFL)厚に関するカラーマップ1106を表示する。また層厚の正常範囲値との比較に基づく指標値のカラーマップとして、層厚の正常値からの偏差(Deviation)に関するマップ1107と、層厚の(正常値と比較した場合の)統計的有意差(Significance)に関するマップ1108を表示する。なお、該神経線維層厚に関する層厚マップ/Deviationマップ/SignificanceマップにはDisc境界及びCup境界の位置と、Circle画像の生成位置を重畳表示するものとする。
深層学習済モデルを用いて検出したDisc境界と該Disc境界に基づいて検出したCup境界を両眼で並べて表示することで、Disc境界及びCup境界の位置に関する差異を、両眼間でより正確に比較できる。
また、該レポート画面中央には両眼に対して計測した視神経乳頭形状値群(ONH Parameters)を並べて表示する。本実施形態では、以下の1)〜10)に示す計測値を並置表示する。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
なお計測値もしくは計測値の背景領域を健常眼データベースに登録された正常値と比較した値に基づいて色分けしてもよい。例えば信頼区間内であれば緑、有意水準に達していれば赤、両者の境界付近であれば黄色のように色分けすることで検査値の重要性(統計的有意性)の把握が容易になる。また視神経乳頭形状に関する計測値は上記に限らず、任意の公知の計測値を表示してよい。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
なお計測値もしくは計測値の背景領域を健常眼データベースに登録された正常値と比較した値に基づいて色分けしてもよい。例えば信頼区間内であれば緑、有意水準に達していれば赤、両者の境界付近であれば黄色のように色分けすることで検査値の重要性(統計的有意性)の把握が容易になる。また視神経乳頭形状に関する計測値は上記に限らず、任意の公知の計測値を表示してよい。
深層学習済モデルを用いて検出したDisc境界に基づいて計測した両眼の視神経乳頭形状値を左右に並べて表示することで、視神経乳頭形状値の差異を両眼間でより正確に比較できる。
さらに、本実施形態ではレポート画面中央部にCircle画像上で計測した両眼の網膜神経線維層厚に関する計測値として、左眼・右眼各々の神経線維層厚の平均と標準偏差1110と、
i)上側・下側・鼻側・側頭部側(図11(a)の1111a)
ii)12分円(図11(a)の1111b)
の各領域に対して計測した網膜神経線維層厚の平均値を表示する。視神経乳頭形状値(ONH Parameters)の表示の場合と同様に、上記網膜神経線維層厚について計測値もしくは計測値の背景領域(分円領域も場合も含む)を健常眼データベースに登録された正常値と比較した値に基づいて色分けしてもよい。
i)上側・下側・鼻側・側頭部側(図11(a)の1111a)
ii)12分円(図11(a)の1111b)
の各領域に対して計測した網膜神経線維層厚の平均値を表示する。視神経乳頭形状値(ONH Parameters)の表示の場合と同様に、上記網膜神経線維層厚について計測値もしくは計測値の背景領域(分円領域も場合も含む)を健常眼データベースに登録された正常値と比較した値に基づいて色分けしてもよい。
深層学習済モデルを用いて検出したDisc境界に基づいて計測した局所領域単位での視神経乳頭形状値を両眼で並べて表示することで、視神経乳頭における局所領域単位での形状値の差異を両眼間でより正確に比較できる。
レポート画面中央下部には左右両眼のCircle断層画像上で計測した神経線維層厚を健常眼データベースに基づいて算出された正常値/境界値/異常値範囲データ(1112a〜1112c)とともに表示する。本表示により、視神経乳頭周囲神経線維層厚に関して、視神経乳頭周囲のどの角度位置において両眼間の差が生じているか、また正常値範囲とどの程度差異が生じているか把握可能になる。
さらに、図10(a)に示すフローチャートを参照しながら、S304で実行される処理の詳細について説明する。なお、図10(a)に示す画像処理フローのうちS1001〜S1004については第一実施形態の場合と同様であるので説明を省略する。
<ステップ1005>
視神経乳頭辺縁部取得部101−433は、S1004で検出したDisc境界に基づいてCup境界を検出する。本実施形態では両眼の断層画像に対してDisc境界を検出しているため、Cup境界についても両眼の断層像各々に対して検出する。
視神経乳頭辺縁部取得部101−433は、S1004で検出したDisc境界に基づいてCup境界を検出する。本実施形態では両眼の断層画像に対してDisc境界を検出しているため、Cup境界についても両眼の断層像各々に対して検出する。
Cup境界の定義としては
i)Disc境界で規定される平面(線分)を該平面(線分)に対して垂直な方向に所定値だけ表層側に移動させた場合の内境界膜との交点に基づいて決定する方法(図4(c))
ii)Disc境界(BMO)と内境界膜との間の最短距離に基づいて決定する方法(図4(d))
とがあり、本発明ではいずれの定義も利用できる。
i)Disc境界で規定される平面(線分)を該平面(線分)に対して垂直な方向に所定値だけ表層側に移動させた場合の内境界膜との交点に基づいて決定する方法(図4(c))
ii)Disc境界(BMO)と内境界膜との間の最短距離に基づいて決定する方法(図4(d))
とがあり、本発明ではいずれの定義も利用できる。
本実施形態ではi)(図4(c))の定義に基づいてCup境界の位置を検出するものとし、150umだけ表層側に移動させる。なお表層への移動距離についてはこれに限らず、任意の値を設定してよい。
<ステップ1006>
計測部101−451は、S1004で検出したDisc境界と、S1005で検出したCup境界に基づいて両眼の断層画像に対して各々視神経乳頭陥凹形状を計測する。
計測部101−451は、S1004で検出したDisc境界と、S1005で検出したCup境界に基づいて両眼の断層画像に対して各々視神経乳頭陥凹形状を計測する。
本実施形態では、視神経乳頭形状(ONH Parameters)として以下の1)〜10)に示す計測を行う。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
1)のDisc面積、2)Rim面積については正面断層画像上に投影したDisc境界、Rim領域に対して計測を行い、3)のCup体積についてはCup境界で規定される平面と、内境界膜で囲まれる3次元領域の体積を計測するものとする。4)のRim体積についてはDisc境界とCup境界を用いて図4(c)の白領域を(該Bスキャン断層画像における)Rimと定義した場合の(全断層画像における白領域の)面積の総和として算出する。またDDLSはDisc径と最小Rim径の計測値の組み合わせに応じて(0a、0b、1〜6、7a、7bの)計10段階の視神経乳頭障害レベルに分類する指標である。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
1)のDisc面積、2)Rim面積については正面断層画像上に投影したDisc境界、Rim領域に対して計測を行い、3)のCup体積についてはCup境界で規定される平面と、内境界膜で囲まれる3次元領域の体積を計測するものとする。4)のRim体積についてはDisc境界とCup境界を用いて図4(c)の白領域を(該Bスキャン断層画像における)Rimと定義した場合の(全断層画像における白領域の)面積の総和として算出する。またDDLSはDisc径と最小Rim径の計測値の組み合わせに応じて(0a、0b、1〜6、7a、7bの)計10段階の視神経乳頭障害レベルに分類する指標である。
上記1)〜10)は緑内障等の診断の際に必要とされる指標であり、いずれもDisc境界の位置に基づいて算出される。深層学習済モデルを用いたDisc境界検出法により検出したDisc境界に基づいて上記指標値を算出することで、上記1)〜10)に示すような視神経乳頭形状に関する計測値を簡便かつ正確に算出できる。
またDisc境界内を4分円もしくは8分円、12分円に分割した場合の各部分領域内で上記1)〜9)を算出してもよい。あるいは、両眼の3次元断層画像もしくはCircle断層画像における下記i)〜ii)に示す乳頭周囲の部分領域に対して神経線維層厚を算出してもよい。
i)上側・下側・鼻側・側頭部側
ii)12分円(図11(a)の1111b)
i)上側・下側・鼻側・側頭部側
ii)12分円(図11(a)の1111b)
また、本実施形態では両眼の断層画像の
a)全体に対する上記1)〜10)の計測
b)乳頭内部分領域(4分円/8分円/12分円)に対する上記1)〜9)の計測
c)乳頭周囲部分領域(上側/下側/鼻側/側頭部側、12分円)に対する神経線維層厚の計測
を行っていることから、両眼間での上記a)〜c)の計測値の差分を算出してもよい。
a)全体に対する上記1)〜10)の計測
b)乳頭内部分領域(4分円/8分円/12分円)に対する上記1)〜9)の計測
c)乳頭周囲部分領域(上側/下側/鼻側/側頭部側、12分円)に対する神経線維層厚の計測
を行っていることから、両眼間での上記a)〜c)の計測値の差分を算出してもよい。
早期緑内障では両眼間で視神経乳頭部の網膜表層厚や陥凹形状の差が生じやすいことが一般に知られており、両眼の断層画像間で上記a)〜c)の計測値の差分を表示することにより、両眼間での視神経乳頭形状値の差異をより正確に算出できる。
なお視神経乳頭形状に関する計測は上記に限らず、任意の公知の形状や指標、該形状や指標の両眼間での差異を計測してよい。例えば、第一実施形態で説明したように深層学習済モデルを用いて検出した脈絡膜/強膜/篩状板の端部データを用いて視神経乳頭部(Discもしくは篩状板領域)の面積等を計測してもよい。
以上述べた構成によれば、画像処理装置101は、同一被験者に対して撮影した両眼の断層画像から深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて視神経乳頭陥凹外縁(Cup)境界を検出し、視神経乳頭陥凹形状を計測する。
これにより、被検眼の断層画像から簡便かつ正確に検出した視神経乳頭外縁(Disc)境界に基づいて、より正確に視神経乳頭陥凹外縁(Cup)境界を検出したり、視神経乳頭陥凹形状を計測したりできる。
[第三実施形態]
本実施形態に係る画像処理装置は、同一被験者に対して撮影した異なる検査日時の断層画像から、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて視神経乳頭陥凹形状を計測して時系列表示する場合について説明する。
本実施形態に係る画像処理装置は、同一被験者に対して撮影した異なる検査日時の断層画像から、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて視神経乳頭陥凹形状を計測して時系列表示する場合について説明する。
なお、本実施形態では第一実施形態で説明した方法を用いてブルッフ膜の端部(BMO)をDisc境界として検出するが、これに限定されるものではなく、例えば網膜色素上皮の端部をDisc境界として検出してもよい。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図12に示す。解析部に比較部101−452を備える点が第二実施形態と異なっている。
なお、本実施形態においては外部記憶部102が、被検眼の情報と異なる検査日時に撮影した画像やDisc境界に関するデータ、撮影パラメータ、操作者が設定したパラメータ、視神経乳頭陥凹外縁(Cup)境界のデータや計測値を関連付けて保持している。
次に、本実施形態における画像処理フローは第一実施形態の場合と同様である。なお、本実施形態の画像処理フローのうち図3のS302、S303、S306については第一実施形態の場合と同様であるので説明を省略する。
<ステップ301>
操作者は過去検査データが保存されている被検眼に関して基準検査を選択する。また、画像処理装置101は選択された基準検査と同一撮影条件になるようにOCT撮影の撮影条件を設定する。
操作者は過去検査データが保存されている被検眼に関して基準検査を選択する。また、画像処理装置101は選択された基準検査と同一撮影条件になるようにOCT撮影の撮影条件を設定する。
本実施形態においては、患者画面(非図示)において、操作者が入力部103を操作することで患者リスト(Patient List)から被検者を選択する。さらに操作者が該被検者の検査リスト(Examination List)から基準検査(Baseline)を選択する。検査セットやスキャンモードの選択については、操作者が基準検査を選択した状態で撮影画面を開くことにより画像処理装置101がフォローアップ検査セットを選択し、スキャンモードを基準検査と同一のスキャンモード(Disc 3Dモード)に設定する。
なお、OCT撮影に関する撮影条件としては以下の1)〜6)に示すような設定項目があり、これらの設定項目を基準検査と同一の値に設定した上で、S302においてOCT撮影を実行する。
1)走査パターン
2)走査領域サイズ
3)主走査方向
4)走査間隔
5)固視灯位置
6)コヒーレンスゲート位置
1)走査パターン
2)走査領域サイズ
3)主走査方向
4)走査間隔
5)固視灯位置
6)コヒーレンスゲート位置
<ステップ304>
検出部101−43は、第一実施形態と同様の方法を用いて、視神経乳頭特徴としてDisc境界を検出する。また検出したDisc境界に基づいてCup境界を検出し、視神経乳頭陥凹の形状に関する指標値を算出する。
検出部101−43は、第一実施形態と同様の方法を用いて、視神経乳頭特徴としてDisc境界を検出する。また検出したDisc境界に基づいてCup境界を検出し、視神経乳頭陥凹の形状に関する指標値を算出する。
視神経乳頭特徴取得処理の詳細はS1101〜S1108で説明する。
<ステップ305>
表示制御部101−05は、各検査における
i)層厚に関する(基準検査との)差分マップ
ii)層厚の(正常値と比較した場合の)統計的有意差(Significance)に関するマップやグラフを表示部104に時系列で並置表示する。
表示制御部101−05は、各検査における
i)層厚に関する(基準検査との)差分マップ
ii)層厚の(正常値と比較した場合の)統計的有意差(Significance)に関するマップやグラフを表示部104に時系列で並置表示する。
またS304で検出したDisc境界及びCup境界を用いて算出される乳頭陥凹形状に関する計測値についても時系列で並べて表示部104に表示する。
さらに、S304で検出したDisc境界及びCup境界を用いて算出される乳頭陥凹形状に関する計測値の時系列グラフを表示部104に表示する。
なお、i)やii)の各々に対してDisc境界及びCup境界の位置、Circle画像の生成位置を重畳し、正面断層画像とブレンドした上で表示部104に表示する。
深層学習済モデルを用いて検出したDisc境界と該Disc境界に基づいて検出したCup境界、両境界を用いて算出した視神経乳頭形状値を時系列で並べて表示することで、Disc境界及びCup境界、視神経乳頭陥凹形状の経時変化をより正確に把握できる。
図11(b)に両眼検査に対するレポート画面の例を示す。
表示制御部101−05は、レポート画面最上段に神経線維層厚に関する基準検査との差分値のカラーマップ1201bを時系列で並べて表示する。最上段に表示される画像は該差分値マップに限らず、例えば神経線維層厚のカラーマップでもよい。
レポート画面の2段目には、神経線維層厚の(正常値と比較した場合の)統計的有意差(Significance)に関するカラーマップ1201cを表示する。2段目に表示される画像は該Significanceマップに限らず、例えば神経線維層厚の(正常値と比較した場合の)偏差(Deviation)に関するカラーマップを表示させてもよい。
なお、本レポート画面において基準検査は最左列の検査であり、基準検査であることを示す記号やマーク、検査日時のハイライト、画像の枠線等を表示させてもよい。
レポート画面中央の3段目には、基準検査及び当該検査におけるCircle断層画像上で計測した神経線維層厚1208を健常眼データベースに基づいて算出された正常値/異常値範囲データとともに表示する。本表示により、視神経乳頭周囲神経線維層厚に関して、視神経乳頭周囲のどの角度位置において経時変化が生じているか、また正常値範囲とどの程度差異が生じているか把握可能になる。
また、該レポート画面右下には各検査に対して計測した視神経乳頭形状値群(ONH Parameters)1206を時系列で並べて表示する。本実施形態では、以下の1)〜10)に示す計測値を時系列で並べて表示する。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
なお実施形態2の場合と同様に、計測値もしくは計測値の背景領域を健常眼データベースに登録された正常値と比較した値に基づいて色分けしてもよい。例えば信頼区間内であれば緑、有意水準に達していれば赤、両者の境界付近であれば黄色のように色分けすることで検査値の重要性(統計的有意性)の把握が容易になる。また視神経乳頭形状に関する計測値は上記に限らず、任意の公知の計測値を表示してよい。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
なお実施形態2の場合と同様に、計測値もしくは計測値の背景領域を健常眼データベースに登録された正常値と比較した値に基づいて色分けしてもよい。例えば信頼区間内であれば緑、有意水準に達していれば赤、両者の境界付近であれば黄色のように色分けすることで検査値の重要性(統計的有意性)の把握が容易になる。また視神経乳頭形状に関する計測値は上記に限らず、任意の公知の計測値を表示してよい。
深層学習済モデルを用いて検出したDisc境界に基づいて計測した視神経乳頭形状値1206を時系列で並べて表示することで、視神経乳頭形状値の経時変化をより正確に把握できる。
なお、レポート画面には視神経乳頭形状値1206以外に(乳頭周囲全体もしくは部分領域単位の)神経線維層厚1207についても時系列表示させるものとする。
さらに、本実施形態ではレポート画面中央下部に
a)乳頭部全体もしくは乳頭内の部分領域(上側/下側/鼻側/側頭部側、あるいは8分円、12分円)で計測した上記1)〜9)の値
b)断層画像全体もしくは乳頭周囲の部分領域(2分円もしくは4分円、8分円、12分円)で計測した神経線維層厚
のいずれかを時系列グラフ1209で表示する。また該時系列グラフの回帰直線の傾きを表示する。該グラフの背景領域を(視神経乳頭形状値の表示の場合と同様に)正常値と比較した値に基づいて色分けしてもよい。図11(b)では乳頭周囲全体の網膜神経線維層厚に関する時系列グラフの例を表示しており、1.9um/年の変化が起きたことを示している。
a)乳頭部全体もしくは乳頭内の部分領域(上側/下側/鼻側/側頭部側、あるいは8分円、12分円)で計測した上記1)〜9)の値
b)断層画像全体もしくは乳頭周囲の部分領域(2分円もしくは4分円、8分円、12分円)で計測した神経線維層厚
のいずれかを時系列グラフ1209で表示する。また該時系列グラフの回帰直線の傾きを表示する。該グラフの背景領域を(視神経乳頭形状値の表示の場合と同様に)正常値と比較した値に基づいて色分けしてもよい。図11(b)では乳頭周囲全体の網膜神経線維層厚に関する時系列グラフの例を表示しており、1.9um/年の変化が起きたことを示している。
深層学習済モデルを用いて検出したDisc境界に基づいて計測した局所領域単位での視神経乳頭形状値を時系列で並べて表示することで、視神経乳頭形状値の局所領域単位での経時変化をより正確に把握できる。
さらに、図10(b)に示すフローチャートを参照しながら、S304で実行される処理の詳細について説明する。なお、図10(b)に示す画像処理フローのうちS1101〜S1106については第二実施形態の場合と同様であるので説明を省略する。
<ステップ1107>
図11(b)のProgressionモードタブ1200を指定することにより経時変化計測に関する処理が開始される。本実施形態ではProgression計測対象画像として検査日が新しいものから順に4検査を自動選択するものとする。これに限らず、例えば最も古い検査日の画像と最新検査の画像、両検査日間に撮影された画像で検査間隔が略等しい画像を選択するよう構成してもよい。あるいは選択画面を表示させ、該選択画面上に表示された画像リストから選択するよう構成してもよい。なお、正確に計測することが期待できないような画像選択が行われたと考えられる場合、すなわち
i)Disc領域もしくはCup領域を検出できなかった断層画像
ii)画質指標値(Quality Index)が所定値未満の断層画像
の少なくとも一方が選択された場合に、再選択を促す警告表示を行うか、計測不能もしくは計測値が信頼できないことを示すメッセージや記号、マーク、画像等を表示してもよい。
図11(b)のProgressionモードタブ1200を指定することにより経時変化計測に関する処理が開始される。本実施形態ではProgression計測対象画像として検査日が新しいものから順に4検査を自動選択するものとする。これに限らず、例えば最も古い検査日の画像と最新検査の画像、両検査日間に撮影された画像で検査間隔が略等しい画像を選択するよう構成してもよい。あるいは選択画面を表示させ、該選択画面上に表示された画像リストから選択するよう構成してもよい。なお、正確に計測することが期待できないような画像選択が行われたと考えられる場合、すなわち
i)Disc領域もしくはCup領域を検出できなかった断層画像
ii)画質指標値(Quality Index)が所定値未満の断層画像
の少なくとも一方が選択された場合に、再選択を促す警告表示を行うか、計測不能もしくは計測値が信頼できないことを示すメッセージや記号、マーク、画像等を表示してもよい。
比較部101−452はS1106で実施した単検査の計測内容に対応する過去検査の画像及び計測値に関するデータを外部記憶部102から取得する。なお、過去検査画像・計測値取得については、S1101(視神経乳頭中心の位置データを記憶部101−02から取得するステップ)の後ではなく、この前に実行されても良い。
<ステップ1108>
比較部101−452は層厚や視神経乳頭形状に関する経時変化計測値を算出する。位置合わせ部101−42はS1106で計測した単検査の画像と過去検査画像間の位置合わせを行い、比較部101−452が共通した領域において以下の1)〜10)に示す計測値を算出したり、該1)〜10)に関する計測値の経時変化として(基準画像あるいは隣接検査の画像との)差分値を算出したりする。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
深層学習済モデルを用いて検出したDisc境界に基づいて計測した視神経乳頭形状値や、該形状値の基準検査との差分値を時系列で並べて表示することで、視神経乳頭形状値の経時変化をより正確に把握できる。
比較部101−452は層厚や視神経乳頭形状に関する経時変化計測値を算出する。位置合わせ部101−42はS1106で計測した単検査の画像と過去検査画像間の位置合わせを行い、比較部101−452が共通した領域において以下の1)〜10)に示す計測値を算出したり、該1)〜10)に関する計測値の経時変化として(基準画像あるいは隣接検査の画像との)差分値を算出したりする。
1)視神経乳頭外縁面積(Disc Area)[mm2]
2)視神経乳頭辺縁部面積(Rim Area)[mm2]
3)視神経乳頭陥凹外縁体積(Cup Volume)[mm3]
4)視神経乳頭辺縁部体積(Rim Volume)[mm3]
5)面積に関するCup/Disc比(C/D Area)
6)垂直方向におけるCup/Disc比(C/D Vertical)
7)水平方向におけるCup/Disc比(C/D Horizontal)
8)Rim/Disc比の最小値(R/D Minimum)
9)Disc中心とRimが0である位置とがなす角度(Rim Absence)[°]
10)視神経乳頭障害指標(Disc Damage Likelihood Scale;DDLS)
深層学習済モデルを用いて検出したDisc境界に基づいて計測した視神経乳頭形状値や、該形状値の基準検査との差分値を時系列で並べて表示することで、視神経乳頭形状値の経時変化をより正確に把握できる。
以上述べた構成によれば、画像処理装置101は、同一被験者に対して撮影した異なる検査日時の断層画像から、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて視神経乳頭陥凹形状を計測し、時系列表示する。
これにより、被検眼の断層画像から簡便かつ正確に特定した視神経乳頭外縁(Disc)境界に基づいて、より正確に視神経乳頭陥凹形状の経時変化を把握もしくは計測できる。
[第四実施形態]
本実施形態に係る画像処理装置は、視神経乳頭部を少なくとも含む断層画像から検出した篩状板領域と、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて篩状板形状を計測する場合について説明する。
本実施形態に係る画像処理装置は、視神経乳頭部を少なくとも含む断層画像から検出した篩状板領域と、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて篩状板形状を計測する場合について説明する。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図13に示す。検出部に篩状板特徴取得部101−434を備える点が第二実施形態と異なっている。
なお、本実施形態においては外部記憶部102が、被検眼の情報と撮影した画像や撮影パラメータ、操作者が設定したパラメータだけでなく、Disc境界やCup境界に関するデータや計測値も関連付けて保持している。
次に、本実施形態における画像処理フローは第二実施形態の場合と同様である。なお、本実施形態の画像処理フローのうち図3のS302、S303、S306については第二実施形態の場合と同様であるので説明を省略する。
<ステップ301>
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像の撮影条件を設定する。
操作者は入力部103を操作することにより、断層画像撮影装置100に対して指示するOCT画像の撮影条件を設定する。
具体的には
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302においてOCT撮影を実行する。
1)Disc検査セットを登録
2)Disc 3Dスキャンモードを選択
3)以下の撮影パラメータを設定
3−1)走査領域サイズ:6x6mm
3−2)主走査方向:水平方向
3−3)走査間隔:0.01mm
3−5)固視灯位置:視神経乳頭
3−6)コヒーレンスゲート位置:脈絡膜側
3−7)既定表示レポート種別:単検査用レポート
本実施形態では網膜よりも深い位置に存在する篩状板Lを明瞭に描出するため、コヒーレンスゲートを脈絡膜側に設定して撮影する。また、篩状板部を描出しやすい設定がなされたDisc 3Dスキャンモードを含む検査セットが「Lamina」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
1)検査セットの選択もしくは登録
2)選択した検査セットにおけるスキャンモードの選択もしくは追加
3)スキャンモードに対応する撮影パラメータ設定
の手順からなり、本実施形態では以下のように設定してS302においてOCT撮影を実行する。
1)Disc検査セットを登録
2)Disc 3Dスキャンモードを選択
3)以下の撮影パラメータを設定
3−1)走査領域サイズ:6x6mm
3−2)主走査方向:水平方向
3−3)走査間隔:0.01mm
3−5)固視灯位置:視神経乳頭
3−6)コヒーレンスゲート位置:脈絡膜側
3−7)既定表示レポート種別:単検査用レポート
本実施形態では網膜よりも深い位置に存在する篩状板Lを明瞭に描出するため、コヒーレンスゲートを脈絡膜側に設定して撮影する。また、篩状板部を描出しやすい設定がなされたDisc 3Dスキャンモードを含む検査セットが「Lamina」という名前で登録される。登録された検査セットは外部記憶部102に記憶される。
本実施形態においては、検査セットとして「Lamina」、スキャンモードとして「Disc 3D」モードを選択する。
<ステップ304>
検出部101−43は、視神経乳頭特徴としてDisc境界、Cup境界、篩状板を検出し、篩状板形状を計測する。
検出部101−43は、視神経乳頭特徴としてDisc境界、Cup境界、篩状板を検出し、篩状板形状を計測する。
視神経乳頭特徴取得処理の詳細は図10(c)のS1201〜1206で説明する。
<ステップ305>
表示制御部101−05は、S304で取得した計測に関する情報を表示部104に表示させる。図14(a)に、表示部104に表示されるレポート画面1400の例を示す。
表示制御部101−05は、S304で取得した計測に関する情報を表示部104に表示させる。図14(a)に、表示部104に表示されるレポート画面1400の例を示す。
表示制御部101−05は、レポート画面1400の左上のSLO画像802に対し、S304で計測部101−451が計測した網膜厚を示す半透明のカラーマップを重畳表示させる。なお表示する厚みマップは網膜厚に限定されるものではなく、S305で計測可能な種類の層厚であれば任意の層厚マップを表示させてよい。例えば、脈絡膜厚マップを表示させてもよい。また第二実施形態の場合と同様に、レポート画面1400の右上に断層画像(Bスキャン画像)1401を、左下には正面断層画像1402を表示させる。レポート画面1400の右下には、現在表示中のBスキャン画像上で計測した厚み(本実施形態ではDisc領域外における網膜表層厚及びDisc領域内における篩状板厚)グラフ1403を表示する。
本実施形態によれば、Bスキャン断層画像から取得した層境界及び篩状板部の境界に基づいて算出された計測データが表示される。このため、神経線維層をはじめとする網膜表層もしくは篩状板の形状の計測ができる。
さらに、図10(c)に示すフローチャートを参照しながら、S304で実行される処理の詳細について説明する。なお、図10(c)に示す画像処理フローのうちS1201〜S1205については第二実施形態の場合と同様であるので説明を省略する。
<ステップ1206>
篩状板特徴取得部101−434は、断層画像から取得した層境界や篩状板部の前面・後面境界に基づいて所定の層領域と篩状板領域、篩状板孔領域を特定する。本実施形態では、S303で検出したブルッフ膜境界B5の端部及び篩状板部Lの前面B6及び後面B7で囲まれる深度範囲内の高輝度領域を篩状板領域として特定する。そして、S303で正面断層画像から取得した低輝度塊状領域を篩状板孔領域として特定する。なお篩状板孔領域は2次元領域として特定することに限定されるものではない。例えば3次元断層画像に対して3次元ヘシアンフィルタを適用し、篩状板孔領域を強調してからブルッフ膜境界の端部及び篩状板部の前面及び後面で囲まれる深度範囲内に存在する低輝度管状領域を3次元の篩状板孔領域として特定してもよい。またS303で断層画像に対して血管影補正処理が適用された場合には視神経乳頭部の網膜深層や外層、篩状板部における影領域が低減され、特に篩状板や篩状板孔領域をより正確に特定できる。
篩状板特徴取得部101−434は、断層画像から取得した層境界や篩状板部の前面・後面境界に基づいて所定の層領域と篩状板領域、篩状板孔領域を特定する。本実施形態では、S303で検出したブルッフ膜境界B5の端部及び篩状板部Lの前面B6及び後面B7で囲まれる深度範囲内の高輝度領域を篩状板領域として特定する。そして、S303で正面断層画像から取得した低輝度塊状領域を篩状板孔領域として特定する。なお篩状板孔領域は2次元領域として特定することに限定されるものではない。例えば3次元断層画像に対して3次元ヘシアンフィルタを適用し、篩状板孔領域を強調してからブルッフ膜境界の端部及び篩状板部の前面及び後面で囲まれる深度範囲内に存在する低輝度管状領域を3次元の篩状板孔領域として特定してもよい。またS303で断層画像に対して血管影補正処理が適用された場合には視神経乳頭部の網膜深層や外層、篩状板部における影領域が低減され、特に篩状板や篩状板孔領域をより正確に特定できる。
計測部101−451は視神経乳頭部の層領域及び篩状板部の形状に関する計測値を算出する。本実施形態では、Disc境界外において層形状に関する計測値として「神経線維層(NFL)厚」、「神経節細胞層(GCL)厚と内網状層(IPL)厚との和」を計測する。またDisc境界内では内境界膜B1の陥凹形状としてC/D比を、また篩状板形状に関する計測値として、篩状板厚や篩状板孔の径に加えて以下の計測値を算出する。
1)「ブルッフ膜開口端Boで規定される基準平面BLから篩状板前面外縁までの距離(Anterior Laminar Insertion Depth;ALID)
2)篩状板の曲率に関する指標値(Lamina Cribrosa Curvature Index;LCCI)
1)「ブルッフ膜開口端Boで規定される基準平面BLから篩状板前面外縁までの距離(Anterior Laminar Insertion Depth;ALID)
2)篩状板の曲率に関する指標値(Lamina Cribrosa Curvature Index;LCCI)
緑内障眼においては眼圧が脳内圧よりも高くなるため篩状板前面の位置が深く、かつ凹んだ形状になりやすい。従って緑内障眼においてはALIDやLCCIの値が高値を示す場合が多く、これらの指標の算出が緑内障診断の際に有用となる。
本実施形態では、図14(b)に示すように
ALID=(Ld1+Ld2)/2
とする。
ALID=(Ld1+Ld2)/2
とする。
ここで、Ld1は「篩状板前面B6の左端A1とブルッフ膜開口端Boで規定される基準平面BLとの距離」、Ld2は「篩状板前面の右端A2とブルッフ膜開口端Boで規定される基準平面BLとの距離」である。
またLCCIとして
LCCI=(mLCD−ALID)
を算出する。
LCCI=(mLCD−ALID)
を算出する。
ここで、mLCDは「篩状板前面B6とブルッフ膜開口端Boで規定される基準平面BLとの距離Lcdの平均値」である。
ALIDに関しては上下方向の断層像及び耳側方向の断層像各々でALIDを計測した場合、健常眼、(眼圧が高値を示す)原発開放隅角緑内障眼、正常眼圧緑内障眼との間で以下のa)〜c)に示す違いが生じやすいことが知られており、3者の鑑別に有用とされている。
a)健常眼では上下方向・鼻側方向ともALIDの値は低く、かつ両者の差は小さくなりやすい
b)原発開放隅角緑内障眼では上下方向・鼻側方向ともALIDの値は高く、両者の差は小さくなりやすい
c)正常眼圧緑内障では上下方向のALIDの値と鼻側方向のALIDの値との差が大きくなりやすい
ここで、上下方向、鼻側方向とは各々眼科領域で言うところのSuperior−Inferior方向、Nasal−Temporal方向を指す。
a)健常眼では上下方向・鼻側方向ともALIDの値は低く、かつ両者の差は小さくなりやすい
b)原発開放隅角緑内障眼では上下方向・鼻側方向ともALIDの値は高く、両者の差は小さくなりやすい
c)正常眼圧緑内障では上下方向のALIDの値と鼻側方向のALIDの値との差が大きくなりやすい
ここで、上下方向、鼻側方向とは各々眼科領域で言うところのSuperior−Inferior方向、Nasal−Temporal方向を指す。
また篩状板の曲率値としては上記のLCCI以外にも様々な指標の算出が可能であり、例えば篩状板前面B6もしくは後面B7の曲率の平均値もしくは曲率分布を算出してもよい。
ALID、LCCIとも篩状板前面の深度位置や陥凹形状の異常をブルッフ膜開口端Boで規定される基準平面BLからの距離を用いて表すため、本発明のように深層学習済モデルを用いて正確にブルッフ膜開口端Boの位置を検出することで、篩状板形状をより正確に計測可能になる。
なお、セグメンテーション処理や計測処理は画像全体やDisc境界に囲まれた領域全体に適用されることに限定されるものではない。例えば、操作者が入力部103を用いて断層画像もしくは該断層画像の強調画像上に設定した任意形状の領域内のみに対してセグメンテーション処理や計測処理を実施してもよい。例えばDisc領域内の分円領域(円グラフ状の領域)内のみに対してセグメンテーションもしくは計測処理を行ってもよい。本実施形態では断層画像に対して直接セグメンテーション処理を行ったが、本発明は例示した処理に限らず断層画像に対して任意の公知の強調処理を適用してからセグメンテーション処理を行ってもよい。
また、本実施形態では深層学習済モデルを用いて検出したBMOに基づいてALIDやLCCI等の篩状板形状を計測する場合について説明したが、本発明はこれに限定されない。例えば、深層学習済モデルを用いて検出した網膜色素上皮の端部に基づいてALIDやLCCI等の篩状板形状を計測してもよい。あるいは、深層学習済モデルを用いて検出した脈絡膜の端部や強膜の端部、篩状板の端部に基づいて決定した関心領域に基づいて正面断層画像を表示したり、篩状板領域に関する計測(篩状板厚や篩状板孔体積の計測等)を行ったりしてもよい。
以上述べた構成によれば、画像処理装置101は、視神経乳頭部を少なくとも含む断層画像から検出した篩状板領域と、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて篩状板形状を計測する。
これにより、被検眼の断層画像から簡便かつ正確に特定した視神経乳頭外縁(Disc)境界に基づいて、篩状板に関する形状をより正確に計測できる。
[第五実施形態]
本実施形態に係る画像処理装置は、視神経乳頭部を含む断層画像から深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて篩状板部を含むモーションコントラスト画像を生成し、篩状板部を潅流する血管を含む血管に対する計測を行う場合について説明する。ここで、眼底血管の病態を把握するためにOCTを用いて非侵襲に眼底血管を3次元で描出するOCT Angiography(以下、OCTAと表記)技術が用いられる。OCTAでは測定光で同一位置を複数回走査し、赤血球の変位と測定光との相互作用により得られるモーションコントラストを画像化する。OCTA撮像において同一位置で複数回走査することをクラスタ走査、同一位置で得られた複数枚の断層画像のことをクラスタと呼び、クラスタ単位でモーションコントラスト画像が生成される。視神経乳頭部では神経線維層(図4(a)のB1とB2を境界とする層)を潅流する放射状乳頭周囲毛細血管(Radial Peripapillary Capillaries;RPC)や網膜表層毛細血管1902、網膜深層毛細血管、篩状板部を潅流する毛細血管1905の分布が観察される(図4(b))。
本実施形態に係る画像処理装置は、視神経乳頭部を含む断層画像から深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて篩状板部を含むモーションコントラスト画像を生成し、篩状板部を潅流する血管を含む血管に対する計測を行う場合について説明する。ここで、眼底血管の病態を把握するためにOCTを用いて非侵襲に眼底血管を3次元で描出するOCT Angiography(以下、OCTAと表記)技術が用いられる。OCTAでは測定光で同一位置を複数回走査し、赤血球の変位と測定光との相互作用により得られるモーションコントラストを画像化する。OCTA撮像において同一位置で複数回走査することをクラスタ走査、同一位置で得られた複数枚の断層画像のことをクラスタと呼び、クラスタ単位でモーションコントラスト画像が生成される。視神経乳頭部では神経線維層(図4(a)のB1とB2を境界とする層)を潅流する放射状乳頭周囲毛細血管(Radial Peripapillary Capillaries;RPC)や網膜表層毛細血管1902、網膜深層毛細血管、篩状板部を潅流する毛細血管1905の分布が観察される(図4(b))。
本実施形態に係る画像処理装置101を備える画像処理システム10の構成を図15に示す。画像取得部101−01にモーションコントラストデータ生成部101−12、検出部101−43に血管取得部101−435、画像処理部101−04に高画質化処理部101−46を各々備える点が第四実施形態と異なっている。
なお、本実施形態においては外部記憶部102が、被検眼の情報と撮影した画像や撮影パラメータ、操作者が設定したパラメータだけでなく、モーションコントラストデータやDisc境界に関するデータ、計測値も関連付けて保持している。
次に、本実施形態における画像処理フローを図16に示す。なお、本実施形態の画像処理フローのうち図16のS1603、S1604、S1611については第四実施形態の場合と同様であるので説明を省略する。
<ステップ1601>
操作者は入力部103を操作することにより、断層画像撮影装置100によりOCTA画像を撮影する際の撮影条件を設定する。なお、本実施形態では、以下のように撮影条件を設定して、適宜休憩を挟みながら(同一撮影条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
1) OCTAスキャンモードの選択
2) 以下の撮影パラメータを設定
2−1) 走査パターン:Small Square
2−2) 走査領域サイズ:3x3mm
2−3) 主走査方向:水平方向
2−4) 走査間隔:0.01mm
2−5) 固視灯位置:黄斑、又は視神経乳頭撮影時の点灯位置
2−6) 1クラスタあたりのBスキャン数:4
操作者は入力部103を操作することにより、断層画像撮影装置100によりOCTA画像を撮影する際の撮影条件を設定する。なお、本実施形態では、以下のように撮影条件を設定して、適宜休憩を挟みながら(同一撮影条件の)OCTA撮影を所定の回数だけ繰り返し実行する。
1) OCTAスキャンモードの選択
2) 以下の撮影パラメータを設定
2−1) 走査パターン:Small Square
2−2) 走査領域サイズ:3x3mm
2−3) 主走査方向:水平方向
2−4) 走査間隔:0.01mm
2−5) 固視灯位置:黄斑、又は視神経乳頭撮影時の点灯位置
2−6) 1クラスタあたりのBスキャン数:4
<ステップ1602>
撮影条件の設定終了後、操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下する。これにより、断層画像撮影装置100による、S1601で指定した撮影条件による繰り返しOCTA撮影が開始される。具体的には、撮影制御部101−03は、断層画像撮影装置100に対して、操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示する。これにより、断層画像撮影装置100は、対応するOCT断層画像を取得する。
撮影条件の設定終了後、操作者は入力部103を操作して撮影画面中の撮影開始ボタン(非表示)を押下する。これにより、断層画像撮影装置100による、S1601で指定した撮影条件による繰り返しOCTA撮影が開始される。具体的には、撮影制御部101−03は、断層画像撮影装置100に対して、操作者が指示した設定に基づいて繰り返しOCTA撮影を実施することを指示する。これにより、断層画像撮影装置100は、対応するOCT断層画像を取得する。
なお、本実施形態では本ステップにおける繰り返し撮像回数(クラスタ数)を5回とする。しかし、繰り返し撮像回数(クラスタ数)はこれに限られず、任意の回数に設定してよい。
また断層画像撮影装置100はSLO画像の取得も行い、SLO動画像に基づく追尾処理を実行する。なお、クラスタ数が2以上の場合、繰り返しOCTA撮影における追尾処理に用いる基準SLO画像は1回目のクラスタ撮影時に設定した基準SLO画像とし、全てのクラスタ撮影において共通の基準SLO画像を用いる。また2回目以降のクラスタ撮影中は、S1601で設定した撮影条件に加えて
1) 左右眼の選択
2) 追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。しかし、追尾処理の条件はこれに限られず、OCT断層画像の撮影条件などに応じて適宜変更できる。
1) 左右眼の選択
2) 追尾処理の実行有無
についても同じ設定値を用いる(変更しない)ものとする。しかし、追尾処理の条件はこれに限られず、OCT断層画像の撮影条件などに応じて適宜変更できる。
<ステップ1605>
次に、画像取得部101−01及び画像処理部101−04は、S1603で生成された位置合わせ処理済のOCT断層画像を用いてモーションコントラスト画像を生成する。モーションコントラストデータ生成部101−12が、同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。
次に、画像取得部101−01及び画像処理部101−04は、S1603で生成された位置合わせ処理済のOCT断層画像を用いてモーションコントラスト画像を生成する。モーションコントラストデータ生成部101−12が、同一クラスタ内の隣接する断層画像間でモーションコントラストを算出する。
本実施形態では、モーションコントラストとして脱相関値Mxyを以下の式(1)に基づき求める。
ここで、Axyは断層画像データAの位置(x,y)における(FFT処理後の複素数データの)振幅、Bxyは断層データBの同一位置(x,y)における振幅を示している。0≦Mxy≦1であり、両振幅値の差異が大きいほど1に近い値をとる。式(1)のような脱相関演算処理を(同一クラスタに属する)任意の隣接する断層画像間で行い、得られた(1クラスタあたりの断層画像数−1)個のモーションコントラスト値の平均を画素値として持つ画像を最終的なモーションコントラスト画像として生成する。
なお、ここではFFT処理後の複素数データの振幅に基づいてモーションコントラストを計算したが、モーションコントラストの計算法は上記に限定されない。例えば複素数データの位相情報に基づいてモーションコントラストを計算してもよいし、振幅と位相の両方の情報に基づいてモーションコントラストを計算してもよい。あるいは、複素数データの実部や虚部に基づいてモーションコントラストを計算してもよい。
また本実施形態ではモーションコントラストとして脱相関値を計算したが、モーションコントラストの計算法はこれに限定されない。例えば二つの値の差分に基づいてモーションコントラストを計算してもよいし、二つの値の比に基づいてモーションコントラストを計算してもよい。さらに、本実施形態では取得された複数の脱相関値の平均値を求めることで最終的なモーションコントラスト画像を得ているが、本発明はこれに限定されない。例えば取得された複数の脱相関値の中央値、あるいは最大値を画素値として持つ画像を最終的なモーションコントラスト画像として生成してもよい。
画像処理部101−04は、繰り返しOCTA撮影を通して得られたモーションコントラスト画像群を3次元的に位置合わせし、加算平均することで高コントラストな合成モーションコントラスト画像を生成する。なお、合成処理は単純加算平均に限定されない。例えば各モーションコントラスト画像の輝度値に対して任意の重みづけをした上で平均した値でもよい。あるいは、中央値をはじめとする任意の統計値を算出してもよい。また位置合わせ処理を2次元的に行う場合も本発明に含まれる。
なお、高画質化処理部101−46が高画質化処理に不適なモーションコントラスト画像が含まれているか否かを判定した上で、不適と判定したモーションコントラスト画像を除いて高画質化処理を行うよう構成してもよい。例えば、各モーションコントラスト画像に対して評価値(例えば脱相関値の平均値や中央値)が所定の範囲外である場合に、高画質化処理に不適と判定すればよい。
本実施形態では高画質化処理部101−46がモーションコントラスト画像を3次元的に合成した後、モーションコントラスト画像内に生じるプロジェクションアーチファクトを3次元的に抑制する処理を行う。
ここで、プロジェクションアーチファクトは網膜表層血管内のモーションコントラストが深層側に映り込み、実際には血管が存在しないにも関わらず高い脱相関値が生じる現象を指す。高画質化処理101−46は、3次元の合成モーションコントラスト画像上に生じたプロジェクションアーチファクトを抑制する処理を実行する。任意の公知のプロジェクションアーチファクト抑制手法を用いてよいが、本実施形態ではStep−down Exponential Filteringを用いる。Step−down Exponential Filteringでは、3次元モーションコントラスト画像上の各Aスキャンデータに対して式(2)で表される処理を実行することにより、プロジェクションアーチファクトを抑制する。
ここで、γは負の値を持つ減衰係数、D(x,y,z)はプロジェクションアーチファクト抑制処理前の脱相関値、DE(x,y,z)は該抑制処理後の脱相関値を表す。
投影部101−44は、検出部101−43が取得した層境界及び篩状板前面及び後面の位置に基づいてモーションコントラスト画像を投影する。そして、これらを重ね合わせて、正面モーションコントラスト画像を生成する。なお、その際の投影法としては、最大値投影(MIP; Maximum Intensity Projection)あるいは平均値投影(AIP; Average Intensity Projection)のいずれかを選択できる。本実施形態では、最大値投影で、モーションコントラスト画像を投影するものとする。
最後に、画像処理装置101は、取得した画像群(SLO画像や断層画像)と該画像群の撮影条件データや、生成した3次元及び正面モーションコントラスト画像と付随する生成条件データを検査日時及び被検眼を同定する情報と関連付けて、外部記憶部102に保存する。
<ステップ1606>
表示制御部101−05は、S1603で生成した断層画像や、S1605で生成した3次元及び正面モーションコントラスト画像、及び撮影条件や高画質化処理条件に関する情報を表示部104に表示させる。図18に、表示部104に表示されるレポート画面1800の例を示す。
表示制御部101−05は、S1603で生成した断層画像や、S1605で生成した3次元及び正面モーションコントラスト画像、及び撮影条件や高画質化処理条件に関する情報を表示部104に表示させる。図18に、表示部104に表示されるレポート画面1800の例を示す。
本実施形態では、SLO画像及び断層画像、S1605で生成した正面モーションコントラスト画像、対応する正面OCT画像を表示する。図18に示すレポート画面1800では、Disc境界(黒線部)領域内では篩状板前面から後面まで、該Disc領域外では網膜表層を各々投影深度範囲として生成した、正面モーションコントラスト画像1801及び正面断層画像1805を表示している。Disc領域内(篩状板部)ではプロジェクションアーチファクト(PA)が抑制されている。また、SLO画像1806上には上記正面モーションコントラスト画像1806もしくは上記正面断層画像1805を重畳表示してよい。
視神経乳頭部では、図4(b)に示すように主に網膜表層を網膜中心動脈1901が、脈絡膜や篩状板部を短後毛様動脈1903が各々潅流(酸素や栄養分を供給)している。従って、篩状板部では短後毛様動脈1903から分岐した毛細血管が酸素や栄養分を供給している。従来は篩状板の変形(例えば篩状板厚の菲薄化)が緑内障を引き起こすと考えられてきたが、篩状板部を潅流する毛細血管分布の異常が篩状板厚の菲薄化に関連することが知られるようになってきた。本実施形態のように、篩状板部の断層画像とモーションコントラスト画像とを比較観察可能にすることで、篩状板部を潅流する毛細血管と、篩状板部形状との関連性を把握しやすくなる。本実施形態のように正確に自動で視神経乳頭領域を検出することで、(篩状板部の特定が容易となり)篩状板部の形状や血管分布をより簡便かつ正確に評価できるようになる。なお、視神経乳頭内では観察対象が主に網膜表層の血管、視神経乳頭外では篩状板部の血管というように視神経乳頭内外で描出・計測する際の関心領域や投影深度範囲を異なる設定にしたい場合がある。視神経乳頭内では篩状板部、また視神経乳頭外では神経線維層の範囲に限定したモーションコントラスト画像を生成することで、篩状板部の毛細血管の分布と視神経乳頭周囲の放射状乳頭周囲毛細血管(RPC)の分布とを同時に(効率的に、もしくは比較しながら)観察可能となる。
なお表示部104に表示するモーションコントラスト画像は正面モーションコントラスト画像に限定されるものではない。例えば、3次元の(PAが抑制された)モーションコントラスト画像を表示してもよい。
なお、レポート画面1800において、正面モーションコントラスト画像の投影範囲は、リストボックスに表示された既定の深度範囲セット1802から操作者が選択することで変更できる。また、投影範囲の指定に用いる層境界の種類とオフセット位置を、ユーザインターフェース1803を用いて変更できる。さらに、断層画像に重畳された層境界データ1804を入力部103から操作して移動させたりすることで、モーションコントラスト画像の投影範囲を変更できる。
<ステップ1607>
操作者は入力部103を操作することにより、計測処理の開始を指示する。なお、本実施形態では図18のレポート画面上に表示されたモーションコントラスト画像1801をダブルクリックすることで計測画面に移行し、解析部101−45が該モーションコントラスト画像1801に対する計測処理を開始する。その際、非図示の計測開始画面において、操作者は入力部103を用いて、計測処理の種類を選択する。本実施形態では、モーションコントラスト画像に対する計測の種類として、
1) 血管密度(VAD)及び
2) 血管密度(VLD)
があり、操作者はこれらの中から所望の計測の種類を選択する。
操作者は入力部103を操作することにより、計測処理の開始を指示する。なお、本実施形態では図18のレポート画面上に表示されたモーションコントラスト画像1801をダブルクリックすることで計測画面に移行し、解析部101−45が該モーションコントラスト画像1801に対する計測処理を開始する。その際、非図示の計測開始画面において、操作者は入力部103を用いて、計測処理の種類を選択する。本実施形態では、モーションコントラスト画像に対する計測の種類として、
1) 血管密度(VAD)及び
2) 血管密度(VLD)
があり、操作者はこれらの中から所望の計測の種類を選択する。
本実施形態では乳頭内と乳頭外とで異なる深度範囲が選択されているため、解析部101−45は乳頭内で計測値を算出するものとする。もちろん、解析部101−45が乳頭内と乳頭外とで各々計測値を算出してもよい。
なお、モーションコントラスト画像を用いて行われる計測は、前述した種類に限定されるものではない。例えばモーションコントラスト画像に対して無血管領域(Non Perfusion Area;NPA)の面積や形状を算出する場合も本発明に含まれる。
ここで、VADはVessel Area Densityの略であり、計測対象に含まれる血管領域の割合で定義される血管密度(単位:%)である。また、VLDはVessel Length Density の略であり、単位面積あたりに含まれる血管の長さの総和(単位:mm−1)で定義される血管密度である。
血管密度は血管の閉塞範囲や血管網の疎密の程度を定量化するための指標であり、VADが最もよく用いられている。ただし、VADでは計測値に占める大血管領域の寄与分が大きくなるため、毛細血管の病態に注目して計測したい場合には(より毛細血管の閉塞に敏感な指標として)VLDが用いられる。しかし、血管に関して本発明を適用可能な計測の種類はこれに限られない。例えば、血管構造の複雑さを定量化するFractal Dimensionや、血管径の分布(血管の瘤や狭窄の分布)を表すVessel Diameter Indexを計測してもよい。
次に、解析部101−045は計測処理の前処理を行う。前処理には、任意の公知の画像処理が適用でき、本実施形態ではモーションコントラスト画像に対してモルフォロジー演算の一種であるトップハットフィルタ処理を行う。トップハットフィルタを適用することにより、背景成分の輝度ムラを軽減できる。
<ステップ1608>
解析部101−45は、モーションコントラスト画像に対する血管領域の特定処理を行う。本実施形態では、血管取得部101−435がモーションコントラスト画像に対してヘシアンフィルタに基づく血管強調処理を実施後、該血管強調画像に対してセグメンテーション処理を行って整形処理することにより血管領域を特定する。
解析部101−45は、モーションコントラスト画像に対する血管領域の特定処理を行う。本実施形態では、血管取得部101−435がモーションコントラスト画像に対してヘシアンフィルタに基づく血管強調処理を実施後、該血管強調画像に対してセグメンテーション処理を行って整形処理することにより血管領域を特定する。
血管領域の特定処理の詳細は、図17(a)のフローチャートに示されるS16081〜16085を参照して後述する。
<ステップ1609>
計測部101−451は、操作者により指定された計測対象領域に関する情報に基づいて、単検査の画像に対する血管分布の計測を行う。引き続いて表示制御部101−03が、計測結果を表示部104に表示する。ここで、血管分布の指標である血管密度としては前述のVADとVLDの2種類の指標があり、本実施形態ではより毛細血管の障害に敏感な指標であるVLDを計算する場合の手順を例に説明する。なお、モーションコントラスト画像に対するVLDの計測については図17(b)のフローチャートに示されるS16091〜S16092を参照して後述する。
計測部101−451は、操作者により指定された計測対象領域に関する情報に基づいて、単検査の画像に対する血管分布の計測を行う。引き続いて表示制御部101−03が、計測結果を表示部104に表示する。ここで、血管分布の指標である血管密度としては前述のVADとVLDの2種類の指標があり、本実施形態ではより毛細血管の障害に敏感な指標であるVLDを計算する場合の手順を例に説明する。なお、モーションコントラスト画像に対するVLDの計測については図17(b)のフローチャートに示されるS16091〜S16092を参照して後述する。
<ステップ1610>
表示制御部101−05は、S1609で実施した計測に関するレポートを表示部104に表示させる。なお、その際に、各計測対象画像に関して左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数、OCTA高画質化処理の実施条件を、併せて表示部104に表示させてもよい。さらに、モーションコントラスト画像の評価値、投影法、PA除去実施の有無に関する情報を、併せて表示部104に表示させてもよい。
表示制御部101−05は、S1609で実施した計測に関するレポートを表示部104に表示させる。なお、その際に、各計測対象画像に関して左右眼の別、撮影日時、画角・画素数、略同一位置における断層画像数、OCTA高画質化処理の実施条件を、併せて表示部104に表示させてもよい。さらに、モーションコントラスト画像の評価値、投影法、PA除去実施の有無に関する情報を、併せて表示部104に表示させてもよい。
あるいは、断層正面画像に対し、モーションコントラスト画像や、血管領域もしくは血管中心線の2値画像を所定の深度範囲ごとに適宜色や透明度を変えて表示部104に重畳表示してもよい。この場合、モーションコントラスト画像や血管領域もしくは血管中心線の2値画像は正面画像として投影表示することに限定されるものではなく、3次元的にレンダリングして3次元画像として表示してもよい。さらに、投影方法(MIP/AIP)やプロジェクションアーチファクト抑制処理についても、例えばコンテキストメニューから選択するなどの方法により変更してよい。またS1608で特定した血管領域に関する2値画像や、S1609で算出した計測値や計測値マップを外部記憶部102にファイルとして出力し、保存してもよい。
次に、図17(a)に示すフローチャートを参照しながら、S1608で実行される血管領域の特定処理の詳細について説明する。
<ステップ16081>
本実施形態では、深度範囲や部位に応じて適切な強調スケール設定(パラメータ設定をすることにより、強調スケール調整処理を実施する。黄斑部や視神経乳頭部の網膜表層、あるいは脈絡膜深層のような領域では強調スケールを大きく設定することにより、網膜動静脈や脈絡膜深層血管のような血管径の大きい血管が(消滅したり複数領域に分離したりすることなく)適切に強調される。従って、正確に血管領域を特定できる。一方、網膜の深層や外層、あるいは脈絡膜毛細血管板のように毛細血管や新生血管のみが存在する領域では小さなスケールで強調処理を実施することにより細い血管のエッジが強調される。
本実施形態では、深度範囲や部位に応じて適切な強調スケール設定(パラメータ設定をすることにより、強調スケール調整処理を実施する。黄斑部や視神経乳頭部の網膜表層、あるいは脈絡膜深層のような領域では強調スケールを大きく設定することにより、網膜動静脈や脈絡膜深層血管のような血管径の大きい血管が(消滅したり複数領域に分離したりすることなく)適切に強調される。従って、正確に血管領域を特定できる。一方、網膜の深層や外層、あるいは脈絡膜毛細血管板のように毛細血管や新生血管のみが存在する領域では小さなスケールで強調処理を実施することにより細い血管のエッジが強調される。
従って、2値化した際により正確に血管領域を特定できる(血管領域を過検出する現象を防止できる)。
なお、本実施形態では、異なる太さの血管に対する強調スケールの調整処理に関して、正面モーションコントラスト画像に対して強調スケールを設定することしている。しかし、本発明はこれに限定されるものではない。例えば、3次元モーションコントラスト画像に対して強調スケールを適応的に設定してもよい。
<ステップ16082>
血管取得部101−435は、S1607で前処理を実施されたモーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理(管状構造強調処理)を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばVesselness filterやMulti−scale line filterが挙げられる。本実施形態ではMulti−scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
血管取得部101−435は、S1607で前処理を実施されたモーションコントラスト画像に対してヘッセ行列の固有値に基づく血管強調フィルタ処理(管状構造強調処理)を行う。このような強調フィルタはヘシアンフィルタと総称され、例えばVesselness filterやMulti−scale line filterが挙げられる。本実施形態ではMulti−scale line filterを用いるが、任意の公知の血管強調フィルタを用いてよい。
ヘシアンフィルタでは、強調したい血管の径に適したサイズで画像を平滑化する。その上で、該平滑化画像の各画素において輝度値の2次微分値を要素として持つヘッセ行列を算出し、該行列の固有値の大小関係に基づいて局所構造を強調する。ヘッセ行列は式(2)で与えられるような正方行列であり、該行列の各要素は例えば式(3)に示すような画像の輝度値Iを平滑化した画像の輝度値Isの2次微分値で表される。ヘシアンフィルタでは、このようなヘッセ行列の「固有値(λ1、λ2)の一方が0に近く、他方が負かつ絶対値が大きい」場合に線状構造とみなして強調する。これはモーションコントラスト画像上の血管領域が持つ特徴、すなわち「走行方向では輝度変化が小さく、走行方向に直交する方向では輝度値が大きく低下する」が成り立つ画素を線状構造とみなして強調することに相当する。
またモーションコントラスト画像には、毛細血管から細動静脈まで様々な径の血管が含まれる。このため、複数のスケールでガウスフィルタにより平滑化した画像に対して、ヘッセ行列を用いて線強調画像を生成する。次に式(4)に示すようにガウスフィルタの平滑化パラメータσの二乗を補正係数として乗じた上で、最大値演算により合成し、該合成画像Ihessianをヘシアンフィルタの出力とする。
なお、本発明は正面モーションコントラスト画像に対して2次元ヘシアンフィルタを適用することに限定されるものではない。例えば、3次元モーションコントラスト画像に対して3次元ヘシアンフィルタを適用し、3次元強調画像を生成してもよい。
ヘシアンフィルタはノイズに強く、血管の連続性が向上するという利点がある。一方で、実際には事前に画像に含まれる血管の最大径が不明の場合が多いため、特に平滑化パラメータが画像中の血管の最大径に対して大きすぎる場合に、強調された血管領域が太くなりやすいという欠点がある。本実施形態ではS16081で説明したような強調スケールの調整処理を行うことにより、該欠点を抑制するものとする。なお血管径に関わらず適切にモーションコントラスト画像を強調・2値化する方法は本実施例に述べた方法に限定されるものでない。例えば、ヘシアン強調画像の2値画像とエッジ選択鮮鋭化による血管強調画像の2値画像の共通領域を血管領域として特定してもよい。
<ステップ16083>
血管取得部101−435は、S16082で生成したヘシアンフィルタによる血管強調画像(以下、ヘシアン強調画像と表記)を2値化する。本実施形態ではヘシアン強調画像の平均値を閾値として2値化する。ただし、2値化の閾値には所定の下限値を設定することにより、血管以外の領域がアーチファクトとして誤検出されるのを防止することができる。
血管取得部101−435は、S16082で生成したヘシアンフィルタによる血管強調画像(以下、ヘシアン強調画像と表記)を2値化する。本実施形態ではヘシアン強調画像の平均値を閾値として2値化する。ただし、2値化の閾値には所定の下限値を設定することにより、血管以外の領域がアーチファクトとして誤検出されるのを防止することができる。
なおここで述べる2値化処理は閾値処理に限定されるものではなく、任意の公知のセグメンテーション法によって2値化してもよい。また、2値化によるセグメンテーション処理は画像全体に適用されることに限定されない。例えば、操作者が入力部103を用いてモーションコントラスト画像もしくは該モーションコントラスト画像の強調画像上に設定した任意形状の領域内にのみセグメンテーション処理を実施してもよい。
<ステップ16084>
血管取得部101−435は、S16083で生成した血管領域の2値画像を細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。この処理として、任意の細線化法もしくはスケルトン処理を用いてよいが、本実施形態では細線化法としてHilditchの細線化法を用いる。
血管取得部101−435は、S16083で生成した血管領域の2値画像を細線化処理することにより、血管の中心線に相当する線幅1画素の2値画像(以下、スケルトン画像と表記)を生成する。この処理として、任意の細線化法もしくはスケルトン処理を用いてよいが、本実施形態では細線化法としてHilditchの細線化法を用いる。
<ステップ16085>
血管取得部101−435は、血管領域の整形処理としてモルフォロジー演算処理(オープニング処理(収縮処理後に膨張処理を行うこと)及びクロージング処理(膨張処理後に収縮処理を行うこと))を実施する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
血管取得部101−435は、血管領域の整形処理としてモルフォロジー演算処理(オープニング処理(収縮処理後に膨張処理を行うこと)及びクロージング処理(膨張処理後に収縮処理を行うこと))を実施する。なお、整形処理はこれに限らず例えば2値画像をラベリングした場合の各ラベルの面積に基づく小領域除去を行ってもよい。
さらに、図17(b)に示すフローチャートを参照しながら、S1609で実行される処理の詳細について説明する。
<ステップ16091>
解析部101−45は、操作者が入力部103を用いて指示した内容に基づき関心領域(計測対象画像及び計測領域)を設定する。本実施形態では、OCTAマップとして「None」、OCTA部分領域マップとして「VLD」が選択されているため、関心領域としてDisc境界内の4分円領域を設定する。OCTAマップとは、OCTA画像全体に対し画素単位で計測された血管密度に関するカラー(もしくはグレースケールの)マップを指す。
解析部101−45は、操作者が入力部103を用いて指示した内容に基づき関心領域(計測対象画像及び計測領域)を設定する。本実施形態では、OCTAマップとして「None」、OCTA部分領域マップとして「VLD」が選択されているため、関心領域としてDisc境界内の4分円領域を設定する。OCTAマップとは、OCTA画像全体に対し画素単位で計測された血管密度に関するカラー(もしくはグレースケールの)マップを指す。
また、OCTA部分領域マップとはOCTA画像内に設定した部分領域(本実施形態ではDisc境界内に設定された4分円の各領域における血管密度分布の統計値(例えば平均)マップを指す。なお、関心領域の態様はこれに限らず、セクタ(扇状)領域に分割してもよいし、任意形状の関心領域を設定してもよい。例えば、Disc領域内とDisc領域外とで各々関心領域を設定して血管密度を計測してもよい。
<ステップ16092>
計測部101−451は、S16084で得られたスケルトン画像に基づいて計測処理を行う。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位面積当たりの非0画素(白画素)の長さの総和[mm−1]を当該画素における血管密度(VLD)として算出する。さらに、各画素で算出した血管密度(VLD)の値を持つ画像(VLDマップ)を生成する。
計測部101−451は、S16084で得られたスケルトン画像に基づいて計測処理を行う。本実施形態では、該スケルトン画像の各画素位置において当該画素を中心とした近傍領域における単位面積当たりの非0画素(白画素)の長さの総和[mm−1]を当該画素における血管密度(VLD)として算出する。さらに、各画素で算出した血管密度(VLD)の値を持つ画像(VLDマップ)を生成する。
なお、関心領域として部分領域が指定されている場合は、該スケルトン画像上の各部分領域における単位面積当たりの非0画素(白画素)の長さの総和[mm−1]を当該部分領域における血管密度(VLD)として算出すればよい。また、モーションコントラスト画像に対する計測としてVADマップが指定されている場合は、以下のようにすればよい。すなわちS16083で取得した血管領域に関する2値画像の各画素位置で当該画素を中心とした近傍領域内に占める非0画素(白画素)の割合を当該画素における血管密度(VAD)として算出し、各画素で算出したVAD値を持つ画像(VADマップ)を生成する。また、該血管領域に関する2値画像上の各部分領域における非0画素(白画素)の割合を当該部分領域における血管密度(VAD)として算出することにより、VADに関する部分領域マップを生成できる。
また、本実施形態では深層学習済モデルを用いて検出したBMOに基づいて設定した関心領域における篩状板の血管の描出や血管密度計測を行う場合について説明したが、本発明はこれに限定されない。例えば、深層学習済モデルを用いて検出した網膜色素上皮の端部に基づいて設定した関心領域における篩状板の血管の描出や血管密度計測を行ってもよい。あるいは、深層学習済モデルを用いて検出した脈絡膜の端部や強膜の端部、篩状板の端部に基づいて決定した関心領域に基づいて篩状板の血管の描出や血管密度計測を行ったりしてもよい。
以上述べた構成によれば、画像処理装置101は、視神経乳頭部を少なくとも含む断層画像から、深層学習済モデルを用いて検出した視神経乳頭外縁(Disc)境界に基づいて篩状板領域を含むモーションコントラスト画像を生成し、篩状板部を潅流する血管を少なくとも含む血管領域に対する計測処理を行う。
これにより、被検眼の断層画像から簡便かつ正確に特定した視神経乳頭外縁(Disc)境界に基づいて、より正確に篩状板を潅流する血管を描出したり、該血管の形状や分布を計測したりできる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (20)
- 被検眼の断層画像を取得する取得手段と、
前記被検眼の断層画像と該断層画像における所定の層の端部に関するデータとを対にして学習して得た学習済モデルを用いて、前記取得された断層画像から該所定の層の端部を検出する第一の検出処理を実行する検出手段と、
を備える、画像処理装置。 - 前記所定の層の端部は、網膜色素上皮の端部、ブルッフ膜開口端、脈絡膜の端部、強膜の端部、篩状板の端部の少なくとも一つである、請求項1に記載の画像処理装置。
- 被検眼の断層画像を取得する取得手段と、
深層学習して得た学習済モデルを用いて、前記取得された断層画像から所定の層の端部を検出する第一の検出処理を実行する検出手段と、
を備える、画像処理装置。 - 前記第一の検出処理により検出された端部の位置を表示部に表示させる表示制御手段を更に備える、請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記検出手段は、前記取得された断層画像に基づく画像から所定の層、篩状板、篩状板孔、視神経乳頭の中心の少なくとも一つを検出する第二の検出処理を実行する、請求項4に記載の画像処理装置。
- 前記第二の検出処理は、前記第一の検出処理により検出された端部に基づいて、視神経乳頭の陥凹外縁、視神経乳頭の辺縁部の少なくとも一つを検出する、請求項5に記載の画像処理装置。
- 前記表示制御手段は、前記第一の検出処理により検出された端部に基づく視神経乳頭の外縁、前記第二の検出処理により検出された視神経乳頭の陥凹外縁、視神経乳頭の辺縁部の少なくとも一つを前記表示部に表示させる、請求項5または6に記載の画像処理装置。
- 前記第一の検出処理により検出された所定の層の端部、前記第二の検出処理により検出された所定の層、篩状板、篩状板孔、血管領域、視神経乳頭の陥凹外縁、視神経乳頭の辺縁部の少なくとも一つに基づいて計測値を算出する計測手段を更に備える、請求項5乃至7のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記計測手段が算出した計測値を表示部に表示させる、請求項8に記載の画像処理装置。
- 前記表示制御手段は、異なる検査の断層画像に対して前記計測手段が算出した計測値を、時系列で並べて表示、もしくはグラフとして前記表示部に表示させる、請求項8または9に記載の画像処理装置。
- 前記断層画像もしくは前記断層画像から生成したモーションコントラスト画像に対して、正面画像を生成する処理、前記第二の検出処理による検出処理、前記計測手段による計測処理の少なくとも一つを行う場合の対象領域を、前記第一の検出処理により検出された端部に基づいて指定する指定手段を更に備える、請求項8乃至10のいずれか1項に記載の画像処理装置。
- 前記表示制御手段は、前記所定の層の端部に関する表示と非表示との切り替え用のユーザインターフェース、もしくは前記所定の層の端部に関する位置修正用のユーザインターフェースを前記表示部に表示させる、請求項4乃至11のいずれか1項に記載の画像処理装置。
- 前記取得手段は、前記被検眼の断層画像から前記所定の層の端部の概略位置をルールベースの画像処理により検出し、前記検出された概略位置を用いて局所の断層画像を取得し、
前記検出手段は、前記学習済モデルを用いて、前記取得された局所の断層画像から前記所定の層の端部を検出する前記第一の検出処理を実行する、請求項1乃至12のいずれか1項に記載の画像処理装置。 - 前記検出手段は、前記断層画像における視神経乳頭の中心の有無を判定し、前記断層画像において視神経乳頭の中心が無い場合には、前記第一の検出処理を実行しない、請求項1乃至13のいずれか1項に記載の画像処理装置。
- 被検査物の断層画像を取得する取得手段と、
前記被検査物の断層画像と該断層画像における特定の部位に関するデータとを対にして深層学習して得た学習済モデルを用いて、前記取得された断層画像から該特定の部位を検出する第一の検出処理を実行する検出手段と、
を備える、画像処理装置。 - 前記第一の検出処理は、複数の演算処理装置による並列処理に基づいて実行される、請求項1乃至15のいずれか1項に記載の画像処理装置。
- 被検眼の断層画像を取得する取得工程と、
前記被検眼の断層画像と該断層画像における所定の層の端部に関するデータとを対にして学習して得た学習済モデルを用いて、前記取得された断層画像から該所定の層の端部を検出する第一の検出処理を実行する検出工程と、
を含む、画像処理方法。 - 被検眼の断層画像を取得する取得工程と、
深層学習して得た学習済モデルを用いて、前記取得された断層画像から所定の層の端部を検出する第一の検出処理を実行する検出工程と、
を含む、画像処理方法。 - 被検査物の断層画像を取得する取得工程と、
前記被検査物の断層画像と該断層画像における特定の部位に関するデータとを対にして深層学習して得た学習済モデルを用いて、前記取得された断層画像から該特定の部位を検出する第一の検出処理を実行する検出工程と、
を含む、画像処理方法。 - 請求項17乃至19のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018245139A JP2020103579A (ja) | 2018-12-27 | 2018-12-27 | 画像処理装置、画像処理方法及びプログラム |
PCT/JP2019/049339 WO2020137678A1 (ja) | 2018-12-27 | 2019-12-17 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018245139A JP2020103579A (ja) | 2018-12-27 | 2018-12-27 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020103579A true JP2020103579A (ja) | 2020-07-09 |
Family
ID=71126418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018245139A Pending JP2020103579A (ja) | 2018-12-27 | 2018-12-27 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2020103579A (ja) |
WO (1) | WO2020137678A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022010334A1 (ko) * | 2020-07-10 | 2022-01-13 | 한양대학교 산학협력단 | 안구질환 구조적 손상 판단 방법 및 그 장치 |
WO2022181729A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社ニコン | 画像処理方法、画像処理装置、及び画像処理プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7439990B2 (ja) | 2021-03-31 | 2024-02-28 | 株式会社ニデック | 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法 |
CN113505700A (zh) * | 2021-07-12 | 2021-10-15 | 北京字跳网络技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6086345B2 (ja) * | 2012-11-29 | 2017-03-01 | 国立大学法人大阪大学 | 眼科装置 |
US10123691B1 (en) * | 2016-03-15 | 2018-11-13 | Carl Zeiss Meditec, Inc. | Methods and systems for automatically identifying the Schwalbe's line |
JP6900647B2 (ja) * | 2016-09-30 | 2021-07-07 | 株式会社ニデック | 眼科装置、およびiol度数決定プログラム |
JP2018171177A (ja) * | 2017-03-31 | 2018-11-08 | 大日本印刷株式会社 | 眼底画像処理装置 |
JP2018201629A (ja) * | 2017-05-31 | 2018-12-27 | 大日本印刷株式会社 | 眼底画像処理装置 |
JP7078948B2 (ja) * | 2017-06-27 | 2022-06-01 | 株式会社トプコン | 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体 |
-
2018
- 2018-12-27 JP JP2018245139A patent/JP2020103579A/ja active Pending
-
2019
- 2019-12-17 WO PCT/JP2019/049339 patent/WO2020137678A1/ja active Application Filing
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022010334A1 (ko) * | 2020-07-10 | 2022-01-13 | 한양대학교 산학협력단 | 안구질환 구조적 손상 판단 방법 및 그 장치 |
KR20220007337A (ko) * | 2020-07-10 | 2022-01-18 | 한양대학교 산학협력단 | 안구질환 구조적 손상 판단 방법 및 그 장치 |
KR102400623B1 (ko) * | 2020-07-10 | 2022-05-20 | 한양대학교 산학협력단 | 안구질환 구조적 손상 판단 방법 및 그 장치 |
WO2022181729A1 (ja) * | 2021-02-25 | 2022-09-01 | 株式会社ニコン | 画像処理方法、画像処理装置、及び画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020137678A1 (ja) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11935241B2 (en) | Image processing apparatus, image processing method and computer-readable medium for improving image quality | |
JP7193343B2 (ja) | 機械学習技法を用いたoctアンギオグラフィにおけるアーチファクトを減少させるための方法及び装置 | |
US9055892B2 (en) | Systems and methods for improved ophthalmic imaging | |
WO2020137678A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2014199976A1 (ja) | 脈絡膜の血管網を選択的に可視化し解析する光干渉断層計装置、その画像処理プログラム及び画像処理方法 | |
US20210183019A1 (en) | Image processing apparatus, image processing method and computer-readable medium | |
JP2016002380A (ja) | 画像処理装置、その作動方法及びプログラム | |
JP7106728B2 (ja) | 眼科装置 | |
JP6526145B2 (ja) | 画像処理システム、処理方法及びプログラム | |
WO2020183791A1 (ja) | 画像処理装置および画像処理方法 | |
WO2017094243A1 (en) | Image processing apparatus and image processing method | |
JP7374615B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7362403B2 (ja) | 画像処理装置および画像処理方法 | |
JP6815798B2 (ja) | 眼科撮影装置及び眼科画像処理装置 | |
JP7348374B2 (ja) | 眼科情報処理装置、眼科撮影装置、眼科情報処理方法、及びプログラム | |
JP7009265B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2020050308A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018046959A (ja) | 眼科撮影装置 | |
JP2022189963A (ja) | 眼科装置 | |
WO2020075719A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7195745B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018046958A (ja) | 眼科撮影装置及び眼科画像処理装置 | |
JP7106304B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2019230643A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
WO2022145129A1 (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム |