JP2019111396A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2019111396A
JP2019111396A JP2019055668A JP2019055668A JP2019111396A JP 2019111396 A JP2019111396 A JP 2019111396A JP 2019055668 A JP2019055668 A JP 2019055668A JP 2019055668 A JP2019055668 A JP 2019055668A JP 2019111396 A JP2019111396 A JP 2019111396A
Authority
JP
Japan
Prior art keywords
image
type
display
tomographic
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019055668A
Other languages
English (en)
Inventor
好彦 岩瀬
Yoshihiko Iwase
好彦 岩瀬
佐藤 眞
Makoto Sato
眞 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019055668A priority Critical patent/JP2019111396A/ja
Publication of JP2019111396A publication Critical patent/JP2019111396A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

【課題】 偏光解消領域が自動的に複数の種類に分類された結果を、操作者が簡単に修正可能な画像処理装置及び画像処理方法を提供すること。【解決手段】 画像処理装置は、被検眼の偏光断層画像から偏光解消領域を検出する検出手段と、検出された偏光解消領域を複数の種類に分類する分類手段と、分類された複数の種類に対応する複数の表示形態を偏光断層画像に重ねた状態で表示手段に表示させる表示制御手段と、操作者により指定された表示形態に対応する種類を他の種類に修正する修正手段と、を有する。【選択図】 図7

Description

本発明は、被検眼の断層画像を処理する画像処理装置及び画像処理方法に関する。
多波長光波干渉を利用した光コヒーレンストモグラフィ(Optical Coherence Tomography:以下、OCT)は、試料(特に眼底)の断層画像を高分解能に得ることができる。近年、眼科用OCT装置において、眼底組織の形状をイメージングする通常のOCT画像に加えて、眼底組織の光学特性や動き等をイメージングする機能OCT画像の取得が試みられている。
機能OCTの一つである偏光OCTは、眼底組織の光学特性の一つである偏光パラメータ(リターデーションとオリエンテーション)を用いてイメージングを行っている。偏光OCTは、偏光パラメータを利用して、偏光OCT画像を構成し、眼底組織の区別やセグメンテーションを行うことができる。偏光OCTは、試料を観察する測定光に円偏光に変調した光を用い、干渉光を2つの直交する直線偏光として分割して検出し、偏光OCT画像を生成する(特許文献1参照)。
また、非特許文献1では、偏光OCT画像から抽出された偏光解消領域について、RPE領域とChoroid領域とを識別している。ここで、偏光解消は、被検体において偏光が解消される度合いを表す指標である。偏光解消は、例えば、組織内の微小構造(例えばメラニン)で測定光の反射により、偏光の方向や位相がランダムに変化する事に起因すると考えられている。まず、偏光OCT画像から偏光解消領域を抽出し、抽出された偏光解消領域においてRPE領域の曲線を推定する。そして、深さ方向において推定された曲線から深部または浅部に大きく外れたものをChoroid領域に識別(分類)する。このとき、非特許文献1には、偏光OCT画像におけるRPE領域とChoroid領域とに異なる色を表示することが開示されている。
WO2010/122118A1
Baumann et. al. 「Segmentation and quantification of retinal lesions inage−related macular degeneration using polarization−sensitive optical coherencetomography」 Journal of Biomedical optics Feb. 2010
ここで、疾病を有する被検眼の場合は白内障等により信号強度の低下が生じることや、眼底に病変が存在することによって、RPEとChoroid領域の識別(分類)を失敗することがある。
本発明の目的の一つは、偏光解消領域が自動的に複数の種類(複数の領域)に分類された結果を、操作者が簡単に修正可能な画像処理装置及び画像処理方法を提供することである。
本発明に係る画像処理装置の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する断層画像取得手段と、
前記偏光断層画像における偏光解消領域を検出する検出手段と、
前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する分類手段と、
前記分類された複数の種類に対応する複数の表示形態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる表示制御手段と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する修正手段と、を有し、
前記修正手段は、操作者により前記複数の位置のいずれかの位置が指定された後に、操作者により前記他の種類が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
前記表示制御手段は、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。
また、本発明に係る画像処理装置の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する断層画像取得手段と、
前記偏光断層画像における偏光解消領域を検出する検出手段と、
前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する分類手段と、
前記分類された複数の種類に対応する複数の表示状態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる表示制御手段と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する修正手段と、を有し、
前記修正手段は、操作者により前記他の種類が指定された後に、操作者により前記複数の位置のいずれかの位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
前記表示制御手段は、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。
また、本発明に係る画像処理方法の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する工程と、前記偏光断層画像における偏光解消領域を検出する工程と、
前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する工程と、
前記分類された複数の種類に対応する複数の表示形態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる工程と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する工程と、を有し、
前記修正する工程では、操作者により前記複数の位置のいずれかの位置が指定された後に、操作者により前記他の種類が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
前記表示させる工程では、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。
また、本発明に係る画像処理方法の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する工程と、前記偏光断層画像における偏光解消領域を検出する工程と、
前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する工程と、
前記分類された複数の種類に対応する複数の表示状態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる工程と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する工程と、を有し、
前記修正する工程では、操作者により前記他の種類が指定された後に、操作者により前記複数の位置のいずれかの位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
前記表示させる工程では、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。
本発明の一つによれば、偏光解消領域が自動的に複数の種類(複数の領域)に分類された結果を、操作者が簡単に修正可能な画像処理装置及び画像処理方法を提供することができる。
本実施形態における画像処理装置の全体構成の概略図。 信号処理部190で生成される画像の例。 本実施形態における処理フロー。 本実施形態における画像解析を説明するための図。 本実施形態における画像解析を説明するための図。 本実施形態における画像処理装置の表示部の表示画面における表示例。 本実施形態におけるマニュアル補正を説明するための図。 本実施形態におけるマニュアル補正を説明するための図。 本実施形態における画像処理装置の表示部の表示画面における表示例。
本実施形態に係る画像処理装置は、被検眼の偏光断層画像から偏光解消領域を検出する検出手段を有する。また、本実施形態に係る画像処理装置は、検出された偏光解消領域を複数の種類に分類する分類手段を有する。また、分類手段は、検出された偏光解消領域を複数の領域に分類することもできる。例えば、分類手段は、RPE推定曲線に対応する領域をRPE領域に分類(識別)する。また、分類手段は、RPE領域から分離した領域(RPE領域とは連結していない領域)で且つRPE推定曲線よりも浅部側に位置する領域をParticle領域に分類(識別)する。また、分類手段は、RPE領域から分離した領域(RPE領域とは連結していない領域)で且つRPE推定曲線よりも深部側に位置する領域をChoroid領域に分類(識別)する。なお、Particle領域とChoroid領域については後述する。
また、本実施形態に係る画像処理装置は、分類された複数の種類に対応する複数の表示形態を偏光断層画像に重ねた状態で表示手段に表示させる表示制御手段を有する。また、表示制御手段は、分類された複数の領域を識別可能な表示状態で偏光断層画像に重ねて表示手段に表示させることもできる。例えば、表示制御手段は、偏光断層画像において、RPE領域を赤色で、Particle領域を青色で、Choroid領域を黄緑色で表示手段に表示させる。
そして、本実施形態に係る画像処理装置は、操作者により指定された表示形態に対応する種類を他の種類(操作者が指定した正しい種類)に修正する修正手段を有する。また、修正手段は、操作者により指定された領域(操作者が指定した正しい領域)に対応する表示状態を他の領域に対応する表示状態に修正することもできる。これにより、偏光解消領域が自動的に複数の種類に分類された結果を、操作者が簡単に修正することができる。例えば、断層輝度画像のピクセル値が閾値よりも低い輝度である領域ではDOPUの計算をしないというアルゴリズムを用いる場合を考える。このとき、RPE領域における血管の影で暗くなる領域(偽像領域)等では、閾値よりも低い輝度の領域として判断される。このため、RPE領域において閾値よりも低い輝度の領域ではRPE領域が連結しない(分離する)。このように、DOPU画像を用いてもRPE領域が精度良く検出されない場合がある。このとき、RPE領域から分離した領域がRPE領域とは異なる種類に自動分類される可能性がある。また、例えば、病変によりRPEが湾曲している被検眼において、偏光断層画像の強度が低い等の理由により、RPE領域の一部がRPE領域から分離して検出された領域がある場合を考える。このとき、分離して検出された領域がRPE領域とは異なる種類に自動分類される可能性がある。以上、RPE領域であるにもかかわらず、RPE領域とは異なる領域であると判断された場合においても、操作者は、この領域に対応する表示形態を正しい領域に対応する表示形態、すなわちRPE領域に対応する表示形態に簡単に修正することができる。以下、本発明の実施形態について、図面を用いて詳細に説明する。
[装置の全体構成]
図1は、本実施形態における画像処理装置の全体構成の概略図である。本装置は、偏光OCT(Polarization Sensitive OCT;以下、PS−OCT)100、偏光を利用した走査型検眼鏡(Polarization Sensitive Scanning Laser Ophothalmoscope:以下、PS−SLO)140、前眼部撮像部160、内部固視灯170、制御部200から構成される。内部固視灯170を点灯して被検眼に注視させた状態で、前眼部観察部160により観察される被検体の前眼部の画像を用いて、装置のアライメントが行われる。アライメント完了後に、PS−OCT100とPS−SLO140による眼底の撮像が行われる。
<PS−OCT100の構成>
PS−OCT100の構成について説明する。光源101は、低コヒーレント光源であるSLD光源(Super Luminescent Diode)であり、例えば、中心波長850nm、バンド幅50nmの光を出射する。光源101としてSLDを用いたが、ASE光源(Amplified Spontaneous Emission)等、低コヒーレント光が出射できる光源であれば何れでも良い。光源101から出射された光は、PM(Polarization Maintaining)ファイバ102、偏光コントローラ103を介して、偏光保持機能を有したファイバカップラ104に導かれ、測定光(OCT測定光とも言う)と参照光(OCT測定光に対応する参照光とも言う)に分岐される。偏光コントローラ103は、光源101から出射された光の偏光の状態を調整するものであり、直線偏光に調整される。ファイバカップラ104の分岐比は、90(参照光):10(測定光)である。
分岐された測定光は、PMファイバ105を介してコリメータ106から平行光として出射される。出射された測定光は、眼底Erにおいて測定光を水平方向にスキャンするガルバノミラーから構成されるXスキャナ107、レンズ108、109、眼底Erにおいて測定光を垂直方向にスキャンするガルバノミラーから構成されるYスキャナ110を介し、ダイクロイックミラー111に到達する。Xスキャナ107、Yスキャナ110は、駆動制御部180により制御され、眼底Erの所望の範囲(断層画像の取得範囲、断層画像の取得位置、測定光の照射位置とも言う)で測定光を走査することができる。ダイクロイックミラー111は、800nm〜900nmの光を反射し、それ以外の光を透過する特性を有する。
ダイクロイックミラー111により反射された測定光は、レンズ112を介し、45°傾けて設置されたλ/4偏光板113(偏光調整部材の一例)を通過する事で位相が90°ずれ、円偏光の光に偏光制御される。なお、λ/4偏光板113の傾きは、例えば、偏光ビームスプリッタを内蔵したファイバカップラ123の偏光分割面の光軸からの傾きと対応した角度(配置状態の一例)が好ましい。なお、λ/4偏光板113を光路に対して挿脱可能に構成されることが好ましい。例えば、光軸とは平行な軸を回転軸にしてλ/4偏光板113を回転する機械的な構成が考えられる。これにより、SLO光学系とPS−SLO光学系とを簡単に切り換え可能な小型な装置を実現することができる。また、OCT光学系とPS−OCT光学系とを簡単に切り換え可能な小型な装置を実現することができる。
ここで、被検眼に入射される光は、λ/4偏光板を45°傾けて設置することで円偏光の光に偏光制御されるが、被検眼の特性により眼底Erにおいて円偏光とならない場合がある。そのため、駆動制御部180の制御により、λ/4偏光板の傾きを微調整できるように構成されている。
円偏光に偏光制御された測定光は、ステージ116上に乗ったフォーカスレンズ114により、被検体である眼の前眼部Eaを介し、眼底Erの網膜層にフォーカスされる。眼底Erを照射した測定光は各網膜層で反射・散乱し、上述の光学経路をファイバカップラ104に戻る。
一方、ファイバカプラ104で分岐された参照光は、PMファイバ117を介してコリメータ118から平行光として出射される。出射された参照光は測定光と同様P偏光から22.5°S偏光へ傾けて設置されたλ/4偏光板119で偏光制御される。参照光は分散補償ガラス120介し、コヒーレンスゲートステージ121上のミラー122で反射され、ファイバカップラ104に戻る。参照光は、λ/4偏光板119を二度通過する事で直線偏光の光がファイバカップラ104に戻ることになる。
コヒーレンスゲートステージ121は、被検者の眼軸長の相違等に対応する為、駆動制御部180で制御される。ファイバカップラ104に戻った測定光と参照光は合波されて干渉光(合波光)となり、偏光ビームスプリッタを内蔵したファイバカップラ123に入射され、異なる偏光方向の光(本実施形態では、P偏光の光とS偏光の光)に分岐比50:50で分割される。
P偏光の光は、PMファイバ124、コリメータ130を介し、グレーティング131により分光されレンズ132、ラインカメラ133で受光される。同様に、S偏光の光は、PMファイバ125、コリメータ126を介し、グレーティング127により分光されレンズ128、ラインカメラ129で受光される。なお、グレーティング127、131、ラインカメラ129、133は、各偏光の方向に合わせて配置されているのは言うまでもない。ラインカメラ129、133でそれぞれ受光した光は、光の強度に応じた電気信号として出力され、信号処理部190(断層画像生成部の一例)で受ける。λ/4偏光板113は偏光ビームスプリッタを基準に傾きを調整しているが、眼底の視神経乳頭中心と黄斑中心を結んだ直線に対し傾きを調整しても良い。また、偏光基準として鉛直方向を基準にして偏光ビームスプリッタ、λ/4偏光板113、119を調整しても同様の効果が得られる。
<PS−SLO140の構成>
PS−SLO140の構成について説明する。光源141は、半導体レーザであり、本実施形態では、例えば、中心波長780nmの光を出射する。光源141から出射された測定光(SLO測定光とも言う)は、PMファイバ142を介し、偏光コントローラ145で直線偏光になるよう偏光制御され、コリメータ143から平行光として出射される。出射された測定光は穴あきミラー144の穴あき部を通過し、レンズ155を介し、眼底Erにおいて測定光を水平方向にスキャンするガルバノミラーから構成されるXスキャナ146、レンズ147、148、眼底Erにおいて測定光を垂直方向にスキャンするガルバノミラーから構成されるYスキャナ149を介し、ダイクロイックミラー154に到達する。Xスキャナ146、Yスキャナ149は駆動制御部180により制御され、眼底上で所望の範囲を測定光で走査できる。ダイクロイックミラー154は、760nm〜800nmを反射し、それ以外の光を透過する特性を有する。
ダイクロイックミラー154にて反射された直線偏光の測定光は、PS−OCT100と同様の光路を経由し、眼底Erに到達する。眼底Erを照射した測定光は、眼底Erで反射・散乱され、上述の光学経路をたどり穴あきミラー144に達する。穴あきミラー144で反射された光が、レンズ150を介し、偏光ビームスプリッタ151にて異なる偏光方向の光(本実施形態では、P偏光の光とS偏光の光)に分割され、アバランシェフォトダイオード(以下、APD)152、153で受光され、電気信号に変換されて、信号処理部190(眼底画像生成部の一例)で受ける。ここで、穴あきミラー144の位置は、被検眼の瞳孔位置と共役となっており、眼底Erに照射された測定光が反射・散乱された光のうち、瞳孔周辺部を通った光が、穴あきミラー144によって反射される。本実施形態では、PS−OCT、PS−SLOともにPMファイバを用いたが、シングルモードファイバー(SMF)でも偏光コントローラを用い偏光を制御する事で同様の構成と効果が得られる。
<前眼部撮像部160>
前眼部撮像部160について説明する。前眼部撮像部160は、波長1000nmの照明光を発するLED115−a、115−bから成る照明光源115により前眼部Eaを照射する。前眼部Eaで反射され光は、レンズ114、偏光板113、レンズ112、ダイクロイックミラー111、154を介し、ダイクロイックミラー161に達する。ダイクロイックミラー161は、980nm〜1100nmの光を反射し、それ以外の光を透過する特性を有する。ダイクロイックミラー161で反射された光は、レンズ162、163、164を介し、前眼部カメラ165で受光される。前眼部カメラ165で受光された光は、電気信号に変換され、信号処理部190で受ける。
<内部固視灯170>
内部固視灯170について説明する。内部固視灯170は、内部固視灯用表示部171、レンズ172で構成される。内部固視灯用表示部171として複数の発光ダイオード(LD)がマトリックス状に配置されたものを用いる。発光ダイオードの点灯位置は、駆動制御部180の制御により撮像したい部位に合わせて変更される。内部固視灯用表示部171からの光は、レンズ172を介し、被検眼に導かれる。内部固視灯用表示部171から出射される光は520nmで、制御部180により所望のパターンが表示される。
<制御部200>
本装置全体を制御するための制御部200について説明する。制御部200は、駆動制御部180、信号処理部190、表示制御部191、表示部192から構成される。駆動制御部180は、上述の通り各部を制御する。信号処理部190は、画像生成部193、領域検出部194、分類部195から構成される。信号処理部190は、ラインカメラ129及び133、APD152及び153、前眼部カメラ165からそれぞれ出力される信号に基づき、画像の生成、生成された画像の解析、解析結果の可視化情報の生成を行う。修正部196は、操作者により指定された表示形態に対応する種類を他の種類(操作者が指定した正しい種類)に修正する。なお、画像の生成、解析などの詳細については後述する。
表示制御部191は、眼底画像取得部(不図示)と断層画像取得部(不図示)により、断層画像生成部と眼底画像生成部とでそれぞれ生成された画像を取得した画像等を表示部192(例えば、液晶等のディスプレイ)の表示画面に表示させる。なお、信号処理部190で生成された画像データは、表示制御部191に有線で送信されても良いし、無線で送信されても良い。また、本実施形態では、画像処理装置について説明しているが、別の本発明の実施形態に係る眼科装置や眼科システムとして、眼底画像取得部がSLO光学系を含み、断層画像取得部がOCT光学系を含むように構成しても良い。
表示部192は、表示制御部191の制御の下、後述するように種々の情報を示す表示形態を表示する。なお、表示制御部191からの画像データは、表示部192に有線で送信されても良いし、無線で送信されても良い。また、表示部192等は、制御部200に含まれているが、本発明はこれに限らず、制御部200とは別に設けられても良い。また、表示制御部191と表示部192とを一体的に構成した、ユーザが持ち運び可能な装置(タブレット)でも良い。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等の操作可能に構成することが好ましい。
[画像処理]
次に、画像生成部193における画像生成について説明する。
<断層画像生成、及び、眼底画像生成>
画像生成部193は、ラインカメラ129、133から出力されたそれぞれの干渉信号に対して、一般的なSD−OCT(Spectral Domain OCT)に用いられる再構成処理を行うことで、各偏光成分に基づいた2つの断層画像(第一の偏光に対応する断層画像、第二の偏光に対応する断層画像とも言う)を生成する。まず、画像生成部193は、干渉信号から固定パターンノイズ除去を行う。固定パターンノイズ除去は検出した複数のAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、画像生成部193は、干渉信号を波長から波数に変換し、フーリエ変換を行うことによって断層信号(偏光状態を示す断層信号とも言う)を生成する。以上の処理を2つの偏光成分の干渉信号に対して行うことにより、2つの断層画像が生成される。
また、画像生成部193は、APD152、153から出力された信号を、Xスキャナ146、Yスキャナ149の駆動に同期して整列させることにより、各偏光成分に基づいた2つの眼底画像(第一の偏光に対応する眼底画像、第二の偏光に対応する眼底画像とも言う)を生成する。
<輝度画像生成>
画像生成部193は、前述した2つの断層信号から輝度画像を生成する。輝度画像は従来のOCTにおける断層画像と基本的に同じもので、その画素値rは各ラインセンサ129、133から得られた断層信号AおよびAから式1によって計算される。
また、同様に、2つの眼底画像から眼底輝度画像を生成する。
図2(a)に視神経乳頭部の輝度画像の例を示す。
<リターデーション画像生成>
画像生成部193は、互いに直行する偏光成分の断層画像からリターデーション画像を生成する。
リターデーション画像の各画素の値δは、断層画像を構成する各画素の位置において、垂直偏光成分と水平偏光成分の間の位相差を数値化したものであり、各断層信号AおよびAから式2によって計算される。
図2(b)は、このように生成された視神経乳頭部のリターデーション画像(偏光の位相差を示す断層画像とも言う)の例を示したものであり、各Bスキャン画像に対して式2を計算することによって得ることができる。図2(b)は、断層画像において位相差が生じる箇所をカラーで表示しており、濃淡の濃い場所は位相差が小さく、濃淡の淡い場所は位相差が大きいことを表している。そのため、リターデーション画像を生成することにより、複屈折性のある層を把握することが可能となる。
<リターデーションマップ生成>
画像生成部193は、複数のBスキャン像に対して得たリターデーション(Retardation)画像からリターデーションマップを生成する。まず、画像生成部193は、各Bスキャン画像において、網膜色素上皮(RPE)を検出する。RPEは偏光を解消する性質を持っているため、各Aスキャンを深度方向に沿って内境界膜(ILM)からRPEを含まない範囲でリターデーションの分布を調べ、その最大値を当該Aスキャンにおけるリターデーションの代表値とする。画像生成部193は、以上の処理を全てのリターデーション画像に対して行うことにより、リターデーションマップを生成する。
図2(c)に視神経乳頭部のリターデーションマップの例を示す。図において、濃淡の濃い場所は位相差が小さく、濃淡の淡い場所は位相差が大きいことを表している。視神経乳頭部において、複屈折性を持つ層としては網膜神経線維層(RNFL)であり、リターデーションマップは、RNFLの複屈折性とRNFLの厚みよって引き起こされる位相差を表している。そのため、RNFLが厚い個所では位相差が大きくなり、RNFLが薄い個所では位相差が小さくなる。したがって、リターデーションマップにより、眼底全体のRNFLの厚みを把握することが出来、緑内障の診断に用いることが出来る。
<複屈折マップ生成>
画像生成部193は、先に生成されたリターデーション画像の各Aスキャン画像において、ILMから網膜神経線維層(RNFL)の範囲でリターデーションδの値を線形近似し、その傾きを当該Aスキャン画像の網膜上の位置における複屈折として決定する。この処理を取得した全てのリターデーション画像に対して行うことで、複屈折を表すマップを生成する。図2(d)に視神経乳頭部の複屈折マップの例を示す。複屈折マップは、複屈折の値を直接マップ化するため、RNFLの厚さが変化しない場合であっても、その繊維構造が変化した場合に、複屈折の変化として描出することができる。
<DOPU画像生成>
画像生成部193は、取得した断層信号AH、とそれらの間の位相差ΔΦから、画素毎にストークスベクトルSを式3により計算する。
ただし、ΔΦは2つの断層画像を計算する際に得られる各信号の位相ΦとΦからΔΦ=Φ−Φとして計算する。
次に画像生成部193は、各Bスキャン画像を概ね計測光の主走査方向に70μm、深度方向に18μm程度の大きさのウィンドウを設定し、各ウィンドウ内において数Cで画素毎に計算されたストークスベクトルの各要素を平均し、式4により当該ウィンドウ内の偏光の均一性DOPU(Degree Of Polarization Uniformity)を式4により計算する。
ただし、Q、U、Vは各ウィンドウ内のストークスベクトルの要素Q、U、Vを平均した値である。この処理をBスキャン画像内の全てのウィンドウに対して行うことで、図2(e)に示す視神経乳頭部のDOPU画像(偏光の均一度を示す断層画像とも言う)が生成される。
DOPUは偏光の均一性を表す数値であり、偏光が保たれている個所においては1に近い数値となり、偏光が解消された箇所においては1よりも小さい数値となるものである。網膜内の構造においては、RPEが偏光状態を解消する性質があるため、DOPU画像においてRPEに対応する部分は、他の領域に対してその値が小さくなる。図において、濃淡が淡い場所210がRPEを示しており、濃淡が濃い場所220が変更が保たれている網膜層領域を示している。DOPU画像は、RPE等の偏光を解消する層を画像化しているので、病気などによりRPEが変形している場合においても、輝度の変化よりも確実にRPEを画像化出来る。
なお、本明細書において、上述した第一及び第二の偏光に対応する断層画像、リターデーション画像、DOPU画像等を、偏光状態を示す断層画像とも言うことにする。また、本明細書において、上述したリターデーションマップや複屈折マップ等を、偏光状態を示す眼底画像とも言うことにする。
[処理動作]
次に本画像処理装置による処理動作について説明する。この処理は、偏光OCT画像での偏光解消領域の識別結果の確認を行うと共に、その識別結果に誤りが生じていた場合において補正を行うための動作である。図3は、本画像処理装置の処理動作を示すフローチャートである。
<ステップS301:被検眼情報取得>
ステップS301では、不図示の被検眼情報取得部は、被検眼を同定する情報として被検者識別番号を外部から取得する。そして、被検者識別番号に基づいて、不図示の記憶部が保持している当該被検眼に関する情報を取得する。ここで被検眼に関する情報とは、氏名、性別、年齢、病歴などの個人情報と、眼底画像や断層画像などの画像データ、画像解析などの解析データを意味する。
<ステップS302:撮影、画像生成>
操作者がマウス等の指示装置(不図示)を用いて、画面に表示されるカーソルで撮影指示ボタンを指定し、クリック操作等により指示をすることにより、断層画像の撮影が行われる。なお、本実施形態のマウスには、例えば、操作者の手によってマウス本体が2次元的に移動させたときの移動信号を検出するセンサと、操作者の手によって押圧されたことを検知するための左右2つのマウスボタンと、左右2つのマウスボタンの間に前後左右に回転可能なホイール機構と、が設けられている。また、指示装置は、表示部にタッチパネル機能を搭載させ、タッチパネル上で撮影指示をしてもよいし、装置本体にジョイスティックを搭載し、ジョイスティックによる撮影指示でもよい。撮影は、光源101、光源141からそれぞれ測定光を出射して、網膜Erからの戻り光を、ラインカメラ129、133、APD152、153で受光して、画像生成部193で、前述の通り各画像を生成する。
<ステップS303:画像解析>
領域検出部194は、前述した画像生成部193の生成した画像に対して各種解析を行う。ここでは、領域検出部194が、DOPU画像から偏光解消物質(Depolarizing Material;以下、DMとする)の領域である偏光解消領域を検出する。偏光解消領域には、RPE領域、ドルーゼン(Drusen)領域、地図状萎縮(Geographic Atrophy;以下、GAとする)領域等が含まれる。この検出について、図3(b)と図4を用いて説明をする。
<ステップS331:偏光解消領域の検出>
図4は、DOPU画像から偏光解消領域の検出を説明するための図である。図4(a)の401は輝度画像で、図4(b)の402は(a)の輝度画像に対応する、前述したDOPU計算から求めるDOPU画像である。始めに、DOPU画像402から偏光解消されている領域を求める。DOPU画像402において偏光解消領域は、1よりも値が小さくなる特徴がある。そのため、DOPU画像を閾値処理(例えば、閾値0.75)することで、偏光が保たれている領域と、偏光が解消されている領域とを分ける事が出来る。これらによって求めた偏光解消領域403を図4(c)に示す。
<ステップS332:RPE推定>
次に、偏光解消領域403に対してRPE領域の識別を行う。これについて、図4(d)を用いて説明をする。図4(d)は偏光解消領域403に対してRPEを識別するためにRPE推定曲線404(図では破線)を示している。ここでは、推定曲線404を2次曲線として求める例を示す。偏光解消領域403の一番大きな領域を通るように初期曲線を設定し、曲線の係数パラメータ(a、b、c)をロバスト推定手法(M推定等)を用いて推定することで、曲線を求める事が出来る。曲線の推定方法としてはこれに限らず、N次曲線の推定でもよいし、スプライン曲線としてもよい。
<ステップS333:1回目の解析?>
ステップS333では、1回目の解析か補正後の解析(再解析)かを判定する。1回目の解析の場合、偏光解消領域の識別が行われていないので、ステップS334に処理を進める。2回目以降の解析の場合は、ステップS338に処理を進める。2回目以降の処理については、ステップS306の時に説明する事とし、ここでは、ステップS334について説明を行う。
<ステップS334:識別(分類)>
分類部195が、ステップS332で求めたRPE推定曲線404に基づいて、RPE領域とそれ以外の偏光解消領域(脈絡膜組織、Particle領域)との識別(分類)を行う。すなわち、偏光解消領域を複数の種類に分類する。RPE推定曲線404が通過する領域に存在する偏光解消領域をRPE領域とする。これは、RPE推定曲線404が通過する連結した偏光解消領域をRPE領域405(図の斜線領域部分)とすることを表している。すなわち偏光解消領域が連結している領域の一部をRPE推定曲線が通過していれば、その領域一帯をRPE領域として判断をする。そして、RPE領域とは連結していない領域であって、RPE領域よりも深部に存在する偏光解消領域をChoroid(脈絡膜組織)領域、RPE領域よりも浅部に存在する偏光解消領域をParticle領域とする。図4(e)にこれによって求めたRPE領域405を示す。図4(f)には、輝度画像401にRPE領域405を重畳表示した場合を示している。
<ステップS335:マスク画像作成>
次に、ステップS334、ステップS338で求めた識別結果からRPE以外の領域にマスクを作成する。すなわちRPE領域だけの画像を作成する。なお、この前の処理で識別によりラベリングされているので、必ずしもマスク画像を作成する必要はなく、マスク画像を作成せずに次のドルーゼン計算を行うようにしてもよい。
<ステップS336:ドルーゼン計算>
次に、ステップS335で作成したRPE画像を用いてドルーゼンの計算を行う。ドルーゼンは、各Aスキャン、あるいは離散的なAスキャンにおいてRPE画像の最深部位置をドルーゼン位置とする。ここで検出した位置をスプライン関数などにより滑らかに繋げることで、ドルーゼン曲線を求める。ドルーゼンは一般的には凸形状をしている。そのため、ドルーゼンの面積や体積を求めるため、基準となるRPEベース曲線を求める。これは、ここで求めたドルーゼン曲線に対して、凸包(Convex hull)を計算することで、ドルーゼンの凸形状を含む最小のRPEベース曲線を求める事が出来る。なお、前述したRPE推定曲線とここで述べたRPEベース曲線は異なるものである。
<ステップS337:マップ(Enface)画像生成>
最後に、ステップS333で識別をした領域毎にマップ(Enfaceとも呼ぶ)画像を生成する。なお、本実施形態においては、DM厚みマップ、RPE厚みマップ、ドルーゼン厚みマップ、GAマップを作成するものとする。ここでは、RPE厚みマップを例に、マップ生成方法について説明をする。RPEの厚みマップは、ステップS335で作成したRPEの断層画像において、Aスキャン毎にRPEの存在するピクセル数をカウントする。そして、RPEとしてカウントしたピクセルの総数と、深さ方向のピクセル解像度(μm/ピクセル)を掛ける事により、RPEの厚みを求める事が出来る。
他のマップも同様の処理を行う。DM厚みマップの場合は、S331で求めた偏光解消領域のピクセル数の総数とピクセル解像度を掛けたマップとする。ドルーゼン厚みマップの場合は、ステップS336で求めたドルーゼン曲線とRPEベース曲線との間のピクセル数の総数とピクセル解像度を掛けたマップとする。GAマップにおいては、厚みではなく、RPE厚みマップをある一定の閾値(例えば、閾値10μm)で2値化したマップとする。これは、GAが発症した場合RPEが欠損するため、RPE厚みマップを2値化すると、正常な箇所はRPEが存在し、GAによりRPEが欠損している箇所ではRPEが存在しなくなるため、その欠損領域を用いてGAの面積を求める事が出来る。
図4では、一般的な偏光解消領域の識別について説明を行った。ここでは、マニュアル補正の例を説明するため、図5を用いて偏光解消領域の識別を誤る場合について説明をする。図5は、RPE領域の偏光解消領域が分離している場合で、かつその分離した偏光解消領域をRPE推定曲線が通過しない場合の例を示している。図5(d)と(e)以外は図4と同様であるので説明を省略する。図5(d)の514は偏光解消領域が分離している箇所を示し、503は偏光解消領域、504がステップS332の方法と同様にして求めたRPE推定曲線を示している。図5(e)の505の斜線領域部分がRPEで、515の格子領域部分がParticle、525をChoroidと判定した領域を示している。これ以降は、図5で示した例を用いて説明を行う。なお、本実施形態では、斜線と格子として識別結果を分けた例を示したがこれに限らない。RPEは赤で、Particleは青、Choroidは黄緑というように色を変えて表示するようにしてもよい。
<ステップS304:表示>
信号処理部190内の画像生成部193と領域検出部194において、各画像の生成及び解析が終了すると、その結果に基づき、表示制御部191は、出力情報を生成し、表示部192に出力して表示を行う。
図6は、本実施形態における表示部192における表示例である。図において、600は表示部192に表示されるウィンドウであり、表示領域610、620、630、640を有する。表示領域610には、眼底平面画像と解析マップ(Enface)画像表示611、マップの厚みを色で示すためのカラーバー613、眼底平面画像と解析マップの選択部614、マップでの断層画像の位置を示すための指標615、断層画像501、偏光解消領域の識別結果505と515と525、断層画像選択部616、マニュアル補正選択部617、WW/WL選択部618、厚みグラフ619が表示される。眼底平面画像と解析マップの選択部614では、PseudoSLO、DM厚みマップ、RPE厚みマップ、ドルーゼン厚みマップ、GAマップ、Retardationマップ、複屈折マップ等を切り替えて表示可能とする。断層画像選択部616では、輝度画像、DOPU画像、DM画像、RPE画像、Drusen画像、Retardation画像、AxisOrientation画像とを切り替えて表示可能とする。ここで、DM画像、RPE画像、Drusen画像は、輝度画像に偏光解消領域から求めたもの(ステップS303にて前述)を重畳表示する。すなわち、DM画像の場合、偏光解消領域の識別結果が分かるように色分けして全ての偏光解消領域を重畳表示する。なお、偏光解消領域における複数の種類に対応する複数の色を偏光断層画像に重ねた状態で表示させるのは、一例であり、複数の種類が識別可能な複数の表示形態で表示させれば良い。RPE画像の場合、偏光解消領域から識別したRPEだけを重畳表示する。Drusen画像の場合、ドルーゼン曲線とRPEベース曲線とを重畳表示する。
表示領域620には、検査データのツリーを表示している。621は撮影日、622は撮影情報(左右眼、スキャンパターン、撮影時刻)、623は解析時刻と解析モードが表示される。表示領域630には、患者情報(識別情報、名前、年齢、性別)が表示される。なお、患者情報の表示はこれに限らず、他の情報を表示してもよい。表示領域640は、作業中の画面を識別する情報を表示する。本実施形態では、患者データ管理画面、解析画面、設定画面を表示している。本実施形態では、この領域640が表示だけではなく選択機能を持っており、領域640の場所を選択する事で各機能を切り替える事が出来る。
本実施形態では、解析マップ611をRPE厚みマップ、厚みグラフ619をRPE厚とし、断層画像はDM画像を表示する例を示す。厚みグラフ619に関しては解析マップ611と連動するものとする。なお、解析マップと断層画像とに表示する画像の種類はそれぞれ独立して選択出来るものとするが、これに限らず連動して表示するようにしてもよい。例えば、断層画像でDM画像を選択した場合に、解析マップ画像はDM厚みマップを表示するようにしてもよい。偏光解消領域の識別結果505から作成したRPEの厚みマップの厚さは613のカラーバーで示すように色で表示する。本実施形態では、色が濃い方がマップの厚さが薄く、色が淡い方がマップの厚さが厚くなるように表現している。図6のRPE厚みマップにおいて、中心付近の色が濃い領域612はRPEと認識される箇所が無い場所を示しており、領域612の右下の矩形領域は図5(e)における偏光解消領域の識別結果515に対応する場所であり、RPEをParticleと誤って識別したため、612の領域が歪んだ形状となっている例を示している。
<ステップS305:補正?(修正?)>
ステップS305では、偏光解消領域の識別結果に変更があったかどうかを判断する処理である。図6のマニュアル補正選択部617が選択された場合、図7に示すマニュアル補正画面を表示する。ここで、図7を用いてマニュアル補正画面700について説明を行う。図7(a)はマニュアル補正の前、(b)はマニュアル補正の後を示している。ここで、マニュアル補正とは、操作者により偏光解消領域の複数の種類に対応する複数の表示形態のいずれかの表示形態が指定されると、修正部196が指定された表示形態に対応する種類を他の種類に修正(補正)することである。マニュアル補正画面は、偏光解消領域の識別結果を重畳した断層画像と、断層画像での操作を選択するアイコン701、マニュアル補正をする領域702、識別結果の修正を指示する識別結果指示部703、識別結果表示・非表示指定部704、領域削除指定部705、再解析実行指示部706、キャンセル指示部707で構成する。ここで、アイコン701−1は断層画像の拡大・縮小を指定するもので、701−2は矩形領域の指定、701−3はポリゴン領域を指定するアイコンとする。また、識別結果指示部703は、識別結果をそれぞれ、RPE、Choroid、Particleと指定するものとする。
ユーザが偏光解消領域の識別結果に対して変更したい領域を選択する場合、アイコン701−2か701−3を選択した後に、断層画像上で領域指定をする。本実施形態では、アイコン701−2を選択し矩形領域702(図7において点線)を設定したものとする。矩形領域702の位置、サイズと回転はユーザが任意に設定できる。なお、マニュアル補正を行う際に、輝度値の断層画像を確認したい場合には、識別結果表示・非表示指定部704のチェックを外す事により、輝度画像だけを表示する。図7(a)では偏光解消領域515に矩形領域702を設定する場合を示している。図7(b)では、領域702を設定した後に、識別結果指示部703としてRPEを選択する場合の例を示している。図7(b)で示すように偏光解消領域515は、マニュアル補正により全ての領域がRPE505と補正(修正)される。設定した領域702を修正したい場合には、領域削除指定部705を選択すると領域702を削除する事が出来、再度新しい領域を設定出来るものとする。
偏光解消領域の識別結果の補正方法として、領域を選択した後に識別結果の指示を行ったがこれに限らない。例えば、先に識別結果の指示703を選択し、その後に領域指定を行ってもよい。この場合、識別結果指示部703で識別結果が設定されているので、設定を解除しない限り、領域を設定する毎に自動的にその領域は識別結果指示部703で指定されているものに補正される。識別結果を適用するタイミングとしては、例えば、矩形領域の場合、マウスの左クリックからドラッグにより領域のサイズ指定が行われ、マウス操作が終了したタイミングや、ポリゴン領域の場合、ポリゴン領域の始点と終点が結ばれたタイミングで識別結果の補正を実行する事が出来る。あるいは、不図示の保存ボタンを押下する事により、保存するようにしてもよい。
その他に、領域702の指定ではなく、偏光解消領域の識別結果において、ある1箇所を指定すると、その連結領域全体の識別結果を補正するようにしてもよい。例えば、識別結果の指示部703を先に選択し、図7(a)の偏光解消領域515の1点を左クリックすると、そのクリックされた座標にある偏光解消領域と連結している領域全てを識別結果指示部703で指定されている結果に補正するようにしてもよい。
さらには、ボリュームスキャンを行っている断層画像データの場合、複数枚のスライスが存在する。その場合、あるBスキャン画像に対して設定した領域702をBスキャンのスライス位置を変更した場合においても、そのまま領域702をキープしておき、別のBスキャンに設定済みの領域702を適用出来るようにしてもよい。
このマニュアル補正画面700において、補正を行い再解析実行指示部706を選択した場合はステップS306に進み、キャンセル指示部707を選択した場合はステップS308に進む。なお、上述したマニュアル補正をする領域の形状や偏光解消領域の識別結果指示部の種類はこれに限るものではない。形状は円形やN角形でもよいし、種類は硬性白斑(Hard Exudate)等を指定出来るようにしてもよい。
さらに、図8にマニュアル補正画面の別の形態を示す。図8は、図7で説明をしたマニュアル補正画面において、輝度の断層画像501と断層画像に偏光解消領域の識別結果505と515と525を重畳表示したものを並べて表示している。なお、輝度の断層画像と、偏光解消領域の識別結果を重畳表示した断層画像とを並べて表示している場合、それぞれのスライス位置は連動して同じ場所を表示する方が望ましい。
<ステップS306:画像解析>
ステップS306では、マニュアル補正で補正された結果に基づき再解析を行う。ここでは、図3(b)で示したフローを補正されたBスキャンに対してのみ行う。再解析の場合は、図3(b)のステップS338が異なるだけであり、他の処理は同様である。再解析の場合、マニュアル補正により偏光解消領域の識別がされているので、補正された識別結果を用いて以降の計算をする。
高速化のために、マニュアル補正されたBスキャンのみを修正するようにしたが、これに限らない。画像解析時に隣接するBスキャンの情報を用いて識別を行う場合、識別に必要となる情報を全て用いて再解析を行うのが望ましいため、補正された以外のBスキャンに対しても再度処理を実行するようにしてもよい。
<ステップS307:表示>
ステップS307では、補正をして再解析をした結果を表示する。この表示例を図9に示す。図9ではマニュアル補正の結果として解析マップ911、912と偏光解消領域の識別結果が補正されている状態を表示している。さらに、検査データツリーの解析時刻の前に、解析結果の補正有無が分かる指標923を表示する。なお、1つの画像ボリュームデータに対する補正の有無だけではなく、Bスキャン単位で補正の有無が分かるように表示をしてもよい。例えば、図9の断層画像の端に補正実行を表す指標(アイコン等)をBスキャン単位で表示したり、断層画像のフレームに補正の有無が分かる色を表示する等してもよい。
<ステップS308:終了?>
ステップS308では、解析結果の確認とマニュアル補正の終了の実行を選択する。マニュアル補正の終了、あるいは撮影モードの選択に処理を移行する際に、これまでの処理で求めたマニュアル補正結果、領域検出部194による解析結果を記憶部に保存する。
以上の説明のように、本発明によれば、偏光OCT画像での偏光解消領域の識別結果の確認を行うと共に、その識別結果に誤りが生じている場合において補正を行うための仕組みをもつ。そのため、本発明によれば、偏光解消領域の識別を行うと共に、その結果を正しく保存することが可能となる。なお、本実施形態において、偏光解消領域を解析する例について示したがこれに限らない。画像解析モードとしてDrusen解析モード、GA解析モード、Glaucoma解析モード、疾病に対応した解析モードや全ての処理を実行するFull解析モード等を選択出来ることとする。そして、Glaucoma解析モードでは、Retardationや、AxisOrientation等、神経線維層に関係した偏光成分の解析をするモードを搭載し、ユーザが任意の解析モードを選択して、実行出来るようにしてもよい。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
本発明に係る画像処理装置の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する断層画像取得手段と、
前記偏光断層画像における偏光解消領域を検出する検出手段と、
前記検出された偏光解消領域における複数の領域を複数の種類に自動的に分類する分類手段であって、前記検出された偏光解消領域における曲線を含む領域をRPEに自動的に分類し、前記検出された偏光解消領域における前記曲線を含む領域とは異なる領域をRPE以外の種類に自動的に分類する分類手段と、
前記分類された複数の種類に対応する複数の表示形態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる表示制御手段であって、前記曲線を含む領域に対応する位置と前記異なる領域に対応する位置とに異なる表示形態が重ねられた状態で、前記断層輝度画像を前記表示手段に表示させる表示制御手段と、
前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する修正手段と、を有し、
前記修正手段は、操作者により前記異なる領域に対応する位置が指定された後に、操作者により前記他の種類として前記RPEが指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPE以外の種類から前記RPEに修正し、
前記修正手段は、操作者により前記曲線を含む領域に対応する位置が指定された後に、操作者により前記他の種類として前記RPE以外の種類が指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPEから前記RPE以外の種類に修正し、
前記表示制御手段は、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。
また、本発明に係る画像処理装置の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する断層画像取得手段と、
前記偏光断層画像における偏光解消領域を検出する検出手段と、
前記検出された偏光解消領域における複数の領域を複数の種類に自動的に分類する分類手段であって、前記検出された偏光解消領域における曲線を含む領域をRPEに自動的に分類し、前記検出された偏光解消領域における前記曲線を含む領域とは異なる領域をRPE以外の種類に自動的に分類する分類手段と、
前記分類された複数の種類に対応する複数の表示状態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる表示制御手段であって、前記曲線を含む領域に対応する位置と前記異なる領域に対応する位置とに異なる表示形態が重ねられた状態で、前記断層輝度画像を前記表示手段に表示させる表示制御手段と、
前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する修正手段と、を有し、
前記修正手段は、操作者により前記他の種類として前記RPEが指定された後に、操作者により前記異なる領域に対応する位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPE以外の種類から前記RPEに修正し、
前記修正手段は、操作者により前記他の種類として前記RPE以外の種類が指定された後に、操作者により前記曲線を含む領域に対応する位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPEから前記RPE以外の種類に修正し、
前記表示制御手段は、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。
また、本発明に係る画像処理方法の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する工程と、前記偏光断層画像における偏光解消領域を検出する工程と、
前記検出された偏光解消領域における複数の領域を複数の種類に自動的に分類する工程であって、前記検出された偏光解消領域における曲線を含む領域をRPEに自動的に分類し、前記検出された偏光解消領域における前記曲線を含む領域とは異なる領域をRPE以外の種類に自動的に分類する工程と、
前記分類された複数の種類に対応する複数の表示形態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる工程であって、前記曲線を含む領域に対応する位置と前記異なる領域に対応する位置とに異なる表示形態が重ねられた状態で、前記断層輝度画像を前記表示手段に表示させる工程と、
前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する工程と、を有し、
前記修正する工程では、操作者により前記異なる領域に対応する位置が指定された後に、操作者により前記他の種類として前記RPEが指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPE以外の種類から前記RPEに修正し、
前記修正する工程では、操作者により前記曲線を含む領域に対応する位置が指定された後に、操作者により前記他の種類として前記RPE以外の種類が指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPEから前記RPE以外の種類に修正し、
前記表示させる工程では、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。
また、本発明に係る画像処理方法の一つは、
測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する工程と、前記偏光断層画像における偏光解消領域を検出する工程と、
前記検出された偏光解消領域における複数の領域を複数の種類に自動的に分類する工程であって、前記検出された偏光解消領域における曲線を含む領域をRPEに自動的に分類し、前記検出された偏光解消領域における前記曲線を含む領域とは異なる領域をRPE以外の種類に自動的に分類する工程と、
前記分類された複数の種類に対応する複数の表示状態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる工程であって、前記曲線を含む領域に対応する位置と前記異なる領域に対応する位置とに異なる表示形態が重ねられた状態で、前記断層輝度画像を前記表示手段に表示させる工程と、
前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する工程と、を有し、
前記修正する工程では、操作者により前記他の種類として前記RPEが指定された後に、操作者により前記異なる領域に対応する位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPE以外の種類から前記RPEに修正し、
前記修正する工程では、操作者により前記他の種類として前記RPE以外の種類が指定された後に、操作者により前記曲線を含む領域に対応する位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記RPEから前記RPE以外の種類に修正し、
前記表示させる工程では、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させる。

Claims (13)

  1. 測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する断層画像取得手段と、
    前記偏光断層画像における偏光解消領域を検出する検出手段と、
    前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する分類手段と、
    前記分類された複数の種類に対応する複数の表示形態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる表示制御手段と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する修正手段と、を有し、
    前記修正手段は、操作者により前記複数の位置のいずれかの位置が指定された後に、操作者により前記他の種類が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
    前記表示制御手段は、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させることを特徴とする画像処理装置。
  2. 前記修正手段は、操作者により前記複数の位置のいずれかの位置が先に指定された場合には、前記複数の位置のいずれかの位置が指定された後に、操作者により前記他の種類が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、操作者により前記他の種類が先に指定された場合には、前記他の種類が指定された後に、操作者により前記複数の位置のいずれかの位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正することを特徴とする請求項1に記載の画像処理装置。
  3. 測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する断層画像取得手段と、
    前記偏光断層画像における偏光解消領域を検出する検出手段と、
    前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する分類手段と、
    前記分類された複数の種類に対応する複数の表示状態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる表示制御手段と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する修正手段と、を有し、
    前記修正手段は、操作者により前記他の種類が指定された後に、操作者により前記複数の位置のいずれかの位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
    前記表示制御手段は、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させることを特徴とする画像処理装置。
  4. 前記複数の表示形態は、異なる色であることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記複数の領域は、前記検出された偏光解消領域を用いて推定された曲線を含む領域と、前記曲線を含む領域とは不連続な領域とを含み、
    前記分類手段は、前記曲線を含む領域を被検眼の部位の種類に、且つ前記不連続な領域を前記病変の種類に自動的に分類し、
    前記表示制御手段は、前記曲線を含む領域と前記不連続な領域とに対応する各位置に異なる表示形態が重ねられた状態で、前記断層輝度画像を前記表示手段に表示させ、前記修正手段は、操作者により指定された位置が前記不連続な領域に対応する位置であり、且つ操作者により指定された他の種類が前記部位の種類である場合には、前記指定された位置の表示形態に対応する種類を前記病変の種類から前記部位の種類に修正することを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記曲線を含む領域は、第1の領域であり、
    前記不連続な領域は、前記偏光断層画像の深さ方向に対して前記推定された曲線よりも浅い側の第2の領域及び深い側の第3の領域を含み、
    前記分類手段は、前記第2の領域と前記第3の領域とを、異なる病変の種類に自動的に分類し、
    前記表示制御手段は、前記第1の領域と前記第2の領域と前記第3の領域とに対応する各位置に異なる表示形態が重ねられた状態で、前記断層輝度画像を前記表示手段に表示させ、
    前記修正手段は、操作者により指定された位置が前記第2の領域と前記第3の領域とのいずれかの位置であり、操作者により指定された他の種類が前記部位の種類である場合には、前記指定された位置の表示形態に対応する種類を前記異なる病変の種類から前記部位の種類に修正することを特徴とする請求項5に記載の画像処理装置。
  7. 前記部位の種類は、RPEであることを特徴とする請求項5または6に記載の画像処理装置。
  8. 前記被検眼の異なる位置の複数の前記偏光断層画像における前記曲線を含む領域を用いて、前記曲線を含む領域に関する解析マップを生成し、前記修正手段による修正後に、前記曲線を含む領域に対応する位置の表示形態に対応する種類に関する修正結果を用いて、前記解析マップを再度生成する画像生成手段を更に有することを特徴とする請求項5乃至7のいずれか1項に記載の画像処理装置。
  9. 前記断層輝度画像及び前記偏光断層画像の取得位置とは異なる取得位置の第2の断層輝度画像が前記表示手段に表示された場合に、前記表示された第2の断層輝度画像に対して前記修正手段による修正結果が保持されることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記断層画像取得手段は、測定光を照射した前記被検眼からの戻り光と前記測定光に対応する参照光との合波光を異なる偏光の光に分割して得た複数の光に基づき前記断層輝度画像及び前記偏光断層画像を取得することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する工程と、前記偏光断層画像における偏光解消領域を検出する工程と、
    前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する工程と、
    前記分類された複数の種類に対応する複数の表示形態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる工程と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する工程と、を有し、
    前記修正する工程では、操作者により前記複数の位置のいずれかの位置が指定された後に、操作者により前記他の種類が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
    前記表示させる工程では、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させることを特徴とする画像処理方法。
  12. 測定光を照射した被検眼からの戻り光と参照光とによる共通のOCT信号を処理することで得られる前記被検眼の断層輝度画像及び偏光断層画像であって、画像上での前記被検眼の部位の位置が互いに対応する断層輝度画像及び偏光断層画像を取得する工程と、前記偏光断層画像における偏光解消領域を検出する工程と、
    前記検出された偏光解消領域における複数の領域を、被検眼の病変の種類を含む複数の種類に自動的に分類する工程と、
    前記分類された複数の種類に対応する複数の表示状態が前記複数の領域に対応する複数の位置に重ねられた状態で、前記断層輝度画像を表示手段に表示させる工程と、前記断層輝度画像における前記複数の位置のいずれかの位置であって、操作者により指定された位置の表示形態に対応する種類を、操作者により指定された他の種類に修正する工程と、を有し、
    前記修正する工程では、操作者により前記他の種類が指定された後に、操作者により前記複数の位置のいずれかの位置が指定されることにより、前記指定された位置の表示形態に対応する種類を前記指定された他の種類に修正し、
    前記表示させる工程では、前記指定された位置の表示形態が前記指定された他の種類に対応する表示形態に変更された状態で、前記断層輝度画像を前記表示手段に表示させることを特徴とする画像処理方法。
  13. 請求項11または12に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
JP2019055668A 2019-03-22 2019-03-22 画像処理装置及び画像処理方法 Pending JP2019111396A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019055668A JP2019111396A (ja) 2019-03-22 2019-03-22 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019055668A JP2019111396A (ja) 2019-03-22 2019-03-22 画像処理装置及び画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014229912A Division JP2016093240A (ja) 2014-11-12 2014-11-12 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JP2019111396A true JP2019111396A (ja) 2019-07-11

Family

ID=67221049

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019055668A Pending JP2019111396A (ja) 2019-03-22 2019-03-22 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP2019111396A (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002063545A (ja) * 2000-08-23 2002-02-28 Hitachi Software Eng Co Ltd 地図記号認識結果の確認支援方法及び装置並びに記録媒体
JP2007157176A (ja) * 2000-04-13 2007-06-21 Fujifilm Corp 画像処理方法
WO2010080576A1 (en) * 2008-12-19 2010-07-15 University Of Miami System and method for early detection of diabetic retinopathy using optical coherence tomography
JP2013153879A (ja) * 2012-01-27 2013-08-15 Canon Inc 画像処理装置、画像処理装置の制御方法、眼科装置、眼科装置の制御方法、眼科システムおよびプログラム
JP2013165953A (ja) * 2012-01-20 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2014045905A (ja) * 2012-08-30 2014-03-17 Canon Inc 画像処理装置および画像処理方法
JP2014199560A (ja) * 2013-03-29 2014-10-23 Kddi株式会社 自由視点映像生成装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007157176A (ja) * 2000-04-13 2007-06-21 Fujifilm Corp 画像処理方法
JP2002063545A (ja) * 2000-08-23 2002-02-28 Hitachi Software Eng Co Ltd 地図記号認識結果の確認支援方法及び装置並びに記録媒体
WO2010080576A1 (en) * 2008-12-19 2010-07-15 University Of Miami System and method for early detection of diabetic retinopathy using optical coherence tomography
JP2013165953A (ja) * 2012-01-20 2013-08-29 Canon Inc 画像処理装置及び画像処理方法
JP2013153879A (ja) * 2012-01-27 2013-08-15 Canon Inc 画像処理装置、画像処理装置の制御方法、眼科装置、眼科装置の制御方法、眼科システムおよびプログラム
JP2014045905A (ja) * 2012-08-30 2014-03-17 Canon Inc 画像処理装置および画像処理方法
JP2014199560A (ja) * 2013-03-29 2014-10-23 Kddi株式会社 自由視点映像生成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BERNHARD BAUMANN: "Segmentation and quantification of retinal lesions in age-related macular degeneration using polariz", JOURNAL OF BIOMEDICAL OPTICS, vol. 15, no. 6, JPN7018002906, 12 November 2010 (2010-11-12), pages 061704, ISSN: 0004377150 *

Similar Documents

Publication Publication Date Title
US10360683B2 (en) Image processing apparatus, image processing method, and program
KR101570666B1 (ko) 화상처리장치 및 화상처리방법
JP6071331B2 (ja) 画像処理装置及び画像処理方法
JP6202924B2 (ja) 撮影装置及び撮影方法
JP6061554B2 (ja) 画像処理装置及び画像処理方法
WO2016027589A1 (ja) 眼科撮影装置およびその制御方法
JP6061555B2 (ja) 画像処理装置及び画像処理方法
JP6184231B2 (ja) 画像処理装置および画像処理方法
JP2014110883A (ja) 画像処理装置及び画像処理方法
JP2017131550A (ja) 画像処理装置及び画像処理方法
JP2014110884A (ja) 画像処理装置及び画像処理方法
US9068812B2 (en) Imaging apparatus, imaging method, and storage medium
JP2014083285A (ja) 画像処理装置及び画像処理方法
JP6146951B2 (ja) 画像処理装置、画像処理方法、撮影装置及び撮影方法
JP5988883B2 (ja) 画像処理装置及び画像処理方法
JP6381622B2 (ja) 画像処理装置及び画像処理方法
JP6505072B2 (ja) 画像処理装置及び画像処理方法
JP2019111396A (ja) 画像処理装置及び画像処理方法
JP5936368B2 (ja) 光干渉断層撮影装置及びその作動方法
JP6039185B2 (ja) 撮影装置
JP2013148509A (ja) 画像処理装置及び画像処理方法
JP6254729B2 (ja) 眼科撮影装置
JP2019134896A (ja) 眼科撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190401

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201110