以下、本発明の実施形態について図面に基づいて説明する。なお、以下の実施形態は特許請求の範囲に関わる本発明を限定するものではなく、また、以下の実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
また、本明細書中では、OCT信号を画像として表示したものを強度画像と呼ぶ。さらに、OCT信号から時間変調が起こっている信号を画像として表示したものをモーションコントラスト画像、またその画素値をモーションコントラスト、そのデータセットをモーションコントラストデータと呼ぶ。
(第一の実施形態)
本実施形態では、撮影された3次元光干渉信号から断層画像を生成し、モーションコントラストを算出して、3次元血流部位情報を取得する例を示す。
[画像形成装置全体の構成]
図1は、本発明の実施形態における光干渉断層法を用いた画像形成方法及び装置の構成例を示す図である。画像形成方法及び装置は、光干渉断層信号を取得する光干渉断層取得部であるOCT装置100と制御部143とから構成される。なお、OCT装置としては、例えば上述したSD−OCTやSS−OCTが本発明に適用可能である。以下に述べる実施形態では、OCT装置がSS−OCTである場合の構成を示す。
<OCT装置100の構成>
OCT装置100の構成について以下に図1を参照して説明する。
光源101は波長掃引型(Swept Source:以下SS)光源であり、例えば、掃引中心波長1050nm、掃引幅100nmで掃引しながら光を出射する。
光源101から出射された光は光ファイバ102を介して、ビームスプリッタ110に導かれ、測定光(OCT測定光とも言う)と参照光(OCT測定光に対応する参照光とも言う)に分岐される。ビームスプリッタ110の分岐比は、90(参照光):10(測定光)である。分岐された測定光は、光ファイバ111を介して測定光路に出射される該測定光路には、光ファイバ111から被検眼118まで順に、コリメータレンズ112、ガルバノスキャナ114、スキャンレンズ115、及びフォーカスレンズ116が配置される。
測定光路に射出された測定光は、コリメータレンズ112によって平行光とされる。平行光となった測定光は、被検眼118の眼底Erにおいて測定光を走査するガルバノスキャナ114、スキャンレンズ115、及びフォーカスレンズ116を介して被検眼118に入射する。ここで、ガルバノスキャナ114は単一のミラーとして記載したが、実際は被検眼118の眼底Erをラスタースキャンするように不図示の2枚のガルバノスキャナ、例えばX軸スキャナーとY軸スキャナーとによって構成されている。
フォーカスレンズ116はステージ117上に固定されており、該ステージ117が光軸方向に動くことで、フォーカスレンズ116によるフォーカス調整をすることができる。ガルバノスキャナ114とステージ117は後述する信号取得制御部145によって制御され、被検眼118の眼底Erの所望の範囲(断層画像の取得範囲、断層画像の取得位置、測定光の照射位置とも言う)で測定光を走査することができる。
なお、本実施形態では詳細な説明はしていないが、眼底Erの動きを検出し、ガルバノスキャナ114のミラーを眼底Erの動きに追従させて走査させるトラッキング機能が付与されていることが望ましい。トラッキング方法については一般的な技術を用いて行うことが可能であり、リアルタイムで行うことも、ポストプロセッシングで行うことも可能である。
眼底Erの動き検出のために眼底画像を得る方法として、例えば、走査型レーザ検眼鏡(Scanning Laser Ophthalmoscope:SLO)を用いる方法がある。この方法では、眼底Erの画像について、SLOを用いて光軸に対して垂直な面内の画像(眼底表面画像)を経時的に取得し、画像中の血管分岐などの特徴箇所を抽出する。取得する2次元画像中の特徴箇所がどのように動いたかを眼底Erの移動量として算出し、算出した移動量をガルバノスキャナ114にフィードバックすることでリアルタイムトラッキングを行うことができる。
上述したように、測定光はステージ117上に乗ったフォーカスレンズ116を介して被検眼118に入射し、該フォーカスレンズ116により眼底Erにフォーカスされる。眼底Erを照射した測定光は各網膜層で反射・散乱し、上述の測定光路を経てビームスプリッタ110に戻る。ビームスプリッタ110に入射した測定光の戻り光は光ファイバ126を経由し、ビームスプリッタ128に入射する。
一方、ビームスプリッタ110で分岐された参照光は、光ファイバ119a、偏光制御器150、及び光ファイバ119b、を介して参照光路に出射される該参照光路には、光ファイバ119bより順に、コリメータレンズ120、分散補償ガラス122、NDフィルタ123、コリメータレンズ124が配置される。
光ファイバ119bより射出された参照光は、コリメータレンズ120によって平行光とされる。偏光制御器150は参照光の偏光を所望の偏光状態へ変化させることができる。参照光は分散補償ガラス122、NDフィルタ123、及びコリメータレンズ124を介し、光ファイバ127に入射する。コリメータレンズ124と光ファイバ127の一端はコヒーレンスゲートステージ125の上に固定されており、被検者の眼軸長の相違等に対応してこれらコリメータレンズ124等を光軸方向に駆動するように、後述する信号取得制御部145で制御される。なお本実施形態では参照光の光路長を変更しているが、測定光の光路と参照光の光路との光路長差を変更できればよい。
光ファイバ127を通過した参照光はビームスプリッタ128に入射する。ビームスプリッタ128では上述した測定光の戻り光と参照光とが合波されて干渉光とされた上で二つに分割される。分割される干渉光は、互いに反転した位相の干渉光(以下、正の成分及び負の成分と表現する)となっている。分割された干渉光の正の成分は光ファイバ129を経由してディテクタ141の一方の入力ポートに入射する。一方、干渉光の負の成分は光ファイバ130を経由してディテクタ141の他方の入力ポートに入射する。ディテクタ141は差動検出器となっており、位相が180°反転した二つの干渉信号が入力されると、直流成分を除去し、干渉成分のみを出力する。
ディテクタ141で検出された干渉信号は光の強度に応じた電気信号として出力され、断層画像生成部の一例である信号処理部144に入力する。
<制御部143の構成>
本装置全体を制御するための制御部143について説明する。
制御部143は信号処理部144、信号取得制御部145、表示部146、及び表示制御部149によって構成される。また、信号処理部144はさらに、画像生成部147とマップ生成部148を持つ構成となっている。画像生成部147は送られる電気信号から輝度画像及びモーションコントラスト画像を生成する機能を有し、マップ生成部148は輝度画像から層情報(網膜のセグメンテーション)を生成する機能を有する。
信号取得制御部145は、上述の通りにステージ117、コヒーレンスゲートステージ125等の各部を制御する。信号処理部144はディテクタ141から出力される信号に基づき、画像の生成、生成された画像の解析、及び解析結果の可視情報の生成を行う。
信号処理部144で生成される画像や解析結果は表示制御部149に送られ、表示制御部149は表示部146の表示画面に表示させる。ここで、表示部146は、例えば液晶等のディスプレイである。なお、信号処理部144で生成された画像データは表示制御部149に送られた後、表示部146に有線で送信されてもよいし、無線で送信されてもよい。また、本実施形態において表示部146等は制御部143に含まれているが、本発明はこれに限らず、制御部143とは別に設けられても良く、例えばユーザが持ち運び可能な装置の一例であるタブレットでもよい。この場合、表示部にタッチパネル機能を搭載させ、タッチパネル上で画像の表示位置の移動、拡大縮小、表示される画像の変更等を操作可能に構成することが好ましい。
[スキャンパターン]
<OCT装置における測定光の走査様式>
ここで、OCT装置において測定光を走査する様式について説明する。上述したように被検眼118の眼底上の任意の点に照射した測定光の戻り光と、対応する参照光とから干渉光を得ている。信号処理部144では、ディテクタ141で検出された干渉光の強度に応じた電気信号を処理して当該任意の点における深さ方向の画像データを得る。以上が、被検眼118のある1点における断層に関する情報の取得のプロセスの説明である。このように被検眼118の奥行き方向の断層に関する情報を取得することをA−scanと呼ぶ。
また、A−scanと直交する方向で被検眼118の断層に関する情報、すなわち2次元画像を取得するための走査方向において前述した奥行き方向についての複数の断層に関する情報を取得することをB−scanと呼ぶ。さらに、A−scan及びB−scanのいずれの走査方向とも直交する走査方向において奥行き方向についての複数の断層に関する情報を取得することをC−scanと呼ぶ。3次元断層像を取得する際に眼底面内に2次元ラスター走査する場合、高速な走査方向がB−scan方向、B−scanをその直交方向に並べて走査する低速な走査方向をC−scan方向と呼ぶ。A−scan及びB−scanを行うことで2次元の断層像が得られ、A−scan、B−scan及びC−scanを行うことで、3次元の断層像を得ることができる。これらB−scan並びにC−scanは、上述したガルバノスキャナ114により行われる。
上述したように、ガルバノスキャナ114は不図示のX軸スキャナー及びY軸スキャナーより構成され、その各々はそれぞれ回転軸が互いに直交するよう配置された偏向ミラーで構成されている。X軸スキャナーは例えば眼底Er上で測定光のX軸方向の走査を行い、Y軸スキャナーはY軸方向の走査を行う。X軸方向、Y軸方向の各方向は、眼球の眼軸方向に対して垂直な方向で、互いに垂直な方向である。
また、B−scan及びC−scanのようなライン走査方向と、X軸方向又はY軸方向とは、一致していなくてもよい。このため、B−scan、C−scanのライン走査方向は、撮像したい2次元の断層像あるいは3次元の断層像に応じて、適宜決めることができる。
<本実施形態における測定光の走査様式>
OCTAでは血流によるOCT干渉信号の時間変化を計測するため、同じ場所で複数回の計測が必要となる。本実施形態ではOCT装置は同じ場所でのBスキャン(X軸方向のスキャン)をm回繰り返しつつ、n箇所のyポジション(Y軸方向に測定光の照射位置を移動させた位置)に走査位置を移動するスキャンを行う。具体的なスキャンパターンを図2に示す。同図に示すように、本実施形態では、眼底平面上でy1〜ynのn箇所のyポジションについて、それぞれBスキャンを繰り返しm回ずつ実施する。
ここで、mの値が大きいと同じ場所での計測回数が増えるため、血流の検出精度が向上する。その一方でスキャン時間が長くなり、スキャン中の眼の動き(固視微動)により画像にモーションアーチファクトが発生する問題と被検者の負担が増える問題とが生じる。本実施形態では両者のバランスを考慮してm=4として実施した。なお、OCT装置のAスキャン速度、及び被検眼118の眼底表面画像の運動解析に応じて、制御部143はmを自動的に変更することとしてもよい。
また図2においてpは1つのBスキャンにおけるAスキャンのサンプリング数を示している。すなわち、1つのBスキャンにおいてx1〜xpの位置各々でAスキャンを行っており、p×nにより平面画像サイズが決定される。p×nの値が大きいと、同じ計測ピッチであれば広範囲がスキャンできるが、スキャン時間が長くなり、上述のモーションアーチファクト及び患者負担の問題が生じる。本実施形態では両者のバランスを考慮してn=p=300として実施した。なお、上述したn、pは適宜自由にその値の変更が可能である。
また、図2におけるΔxは隣り合うxポジションの間隔(xピッチ)であり、Δyは隣り合うyポジションの間隔(yピッチ)である。本実施形態ではxピッチ、yピッチは眼底における照射光のビームスポット径の1/2として決定し、10μmとする。xピッチ、yピッチを眼底上ビームスポット径の1/2とすることで 生成する画像を高精細に形成することができる。なお、xピッチ及びyピッチを眼底ビームスポット径の1/2より小さくしても生成する画像の精細度をそれ以上高くする効果は小さい。
逆にxピッチ及びyピッチを眼底ビームスポット径の1/2より大きくすると精細度は悪化するが、小さなデータ容量で広い範囲の画像を取得することができる。しかし、臨床上の要求に応じてxピッチ及びyピッチを各々自由に変更してもよい。
本実施形態のスキャン範囲は、x方向がp×Δx=3mm、y方向がn×Δy=3mmである。
<OCT干渉信号とOCTA信号の取得様式>
OCT干渉信号の取得と、OCTAの信号の取得とは、同一の工程であっても別々の工程であってもよい。ここでは、OCT干渉信号の取得とOCTAの信号の取得を同一の工程で取得する場合について説明する。同一の工程で取得する場合、信号取得制御部145は、測定光でのスキャンにおいて同一位置を複数回測定することで、3次元断層画像を形成する際に用いる複数フレーム分の干渉信号セットを取得する。ここで、該信号取得制御部145は、信号取得手段として機能する。なお、干渉信号セットとは、上述した一Bスキャンにより得られる干渉信号のセットであって、Bスキャンによる断層画像を一フレーム分生成可能な干渉信号のセットを意味する。また、被検眼は常に固視微動を行うため、被検眼における同一位置を複数回走査して複数フレーム分の干渉信号セット得て被検眼の同一断面の画像を構成しようとしても、実際には同一断面を正確に得ることは困難である。よって、ここで述べる複数フレーム分の干渉信号セットは、同一断面を意図して取得される複数フレーム分の干渉信号セットとして把握される。
信号処理部144は、これら干渉信号セットを処理することでOCT干渉信号とOCTAの信号を算出する。同一工程で取得した干渉信号セットを利用することで、OCTによる強度画像とOCTAによるモーションコントラスト画像との各画素は同一の位置とする事ができる。即ち、本実施形態において、OCT強度画像の生成に用いる干渉信号セットは、OCTAによるモーションコントラスト画像を生成するために取得される複数フレーム分の干渉信号セットに含まれる。さらに2次元画像として表示されるOCT強度画像は、上述した複数フレーム分の取得した干渉信号セットの少なくとも2つ以上の干渉信号セット、即ち2つ分のフレームを使って平均化(重ね合わせ)して得ることとしてもよい。このような構成とすることで、干渉信号セットに含まれるランダムノイズが平均化され、強度画像のノイズを低減することができる。ここで、該信号処理部144は、同一断面を構成する複数フレーム分の干渉信号セットにおいて各フレーム間で対応する画素データを用いてモーションコントラスト画像を生成するモーションコントラスト画像生成手段として機能する。
次に、OCT干渉信号の取得とOCTAの信号取得を別々の工程で取得する場合について説明する。別々の工程の場合、信号取得制御部145は、例えばOCT干渉信号の取得の後に、OCTAの信号取得を実行させる。OCT干渉信号の取得時のスキャンパターンにおいては、該スキャンパターンに対応した繰り返し回数、ピッチ等の値になる。例えば、OCT干渉信号の取得は、必ずしもBスキャンをm回ずつ繰り返す必要はない。また、スキャン範囲がOCT干渉信号の取得とOCTAの信号取得とで同一である必要もない。従って、同一のスキャン時間であれば、OCT干渉信号の取得の方が第一の所定範囲として広範囲で取得することができる。また別々の工程とした場合、OCTによる3次元断層像で広い範囲を観察しつつ、第一の所定範囲に含まれる第二の所定範囲として所定の関心領域のみ詳細にOCTAの信号取得をするといった使い方ができる。
次に、図3に示すフローチャートを用いて、本実施形態の画像形成方法の具体的な処理の手順を説明する。なお、当該フローに示される各処理の詳細説明は後述する。図3では、OCT干渉信号の取得とOCTAの信号取得を別々の工程で取得する例で説明する。
第一の信号取得工程即ち2次元画像として表示される被検体画像取得工程であるステップS101において、信号取得制御部145はOCT装置100を制御し、光干渉断層信号を取得する。
第二の信号取得工程即ち信号取得工程であるステップS102において、信号取得制御部145はOCT装置100を制御し、光干渉断層信号を複数フレーム分取得する。より詳細には、副走査方向における同一位置を複数回走査するように制御された測定光に基づく干渉信号セットを複数フレーム分取得する。更に、この操作を副走査方向に走査位置をずらせながら異なる複数の断面からの干渉信号セットを得るために複数回実行して、3次元断層像を形成できるだけの干渉信号セットの取得を行う。
強度画像生成工程であるステップS103において、制御部143は第一の信号取得工程で取得された光干渉断層信号に基づいて、被検眼118の3次元断層像データを算出し、強度画像を生成する。さらに、制御部143は第二の信号取得工程により取得された複数フレームの光干渉断層信号から3次元モーションコントラストデータを算出し、3次元モーションコントラスト画像を生成する。
表示工程であるステップS104において、制御部143は強度画像及び3次元モーションコントラスト画像から表示情報を生成し表示する。制御部143は検者の操作に応じて、表示情報を再構成し再表示する。再構成の処理の詳細説明については、後述する。
以上のステップを実施して、本実施形態の画像形成方法の処理の手順を終了する。
[干渉信号取得手順]
次に、図4を用いて、上述した本実施形態の第一及び第二の信号取得ステップS101及びS102の具体的な処理の手順を説明する。
ステップS109において、信号取得制御部145は図2のポジションyiのインデックスiを1に設定する。ステップS110において、OCT装置100はスキャン位置をyiに移動する。ステップS119において、信号取得制御部145は繰り返しBスキャンのインデックスjを1に設定する。ステップS120において、OCT装置100はBスキャンを実施する。
ステップS130においてディテクタ141はAスキャン毎に干渉信号を検出し、不図示のA/D変換器を介して上述した干渉信号が信号処理部144に記憶される。信号処理部144はAスキャンの干渉信号をpサンプル取得することで、1Bスキャン分の干渉信号とする。
ステップS139において、信号取得制御部145は繰り返しBスキャンのインデックスjをインクリメントする。
ステップS140において信号取得制御部145はjが所定回数(m)より大きいか判断する。すなわち、ポジションyiでのBスキャンがm回繰り返されたかを判断する。繰り返されてない場合はS120に戻り、同一位置のBスキャン計測を繰り返す。所定回数繰り返された場合は、S149に進む。ステップS149において、信号取得制御部145はポジションyiのインデックスiをインクリメントする。ステップS150において信号取得制御部145はiが所定のY位置の計測回数(n)より大きいか、すなわちn箇所の全てのyポジションでBスキャンを実施したかを判断する。所定のY位置の計測回数に満たない(no)の場合はS110に戻り、次の計測ポジションで計測することを繰り返す。所定のY位置の計測回数を終了した(yes)場合は、次のステップS160へ進む。なお、ここで述べた第一の及び第二の信号取得ステップS101及びS102では、それぞれi=1、m=4とした。
ステップS160においてOCT装置100はバックグラウンドデータを取得する。OCT装置100は不図示のシャッターを閉じた状態で100回のAスキャンを実行し、信号取得制御部145はこの100回のAスキャンで得られた信号を平均化して記憶する。なお、バックグラウンドの測定回数はここで例示した100回に限るものではない。
以上の各処理を実施して、本発明の干渉信号取得手順を終了することになる。
なお、OCTA干渉信号の取得では、測定回数やポジションをOCTA干渉信号の取得に対応した値にすることで、OCTの信号取得と同様の手順でOCTA干渉信号を取得することができる。
なお、本実施形態では、OCT信号を取得し、且つ3次元断層像を形成するために該OCT信号による干渉信号セットから得たデータに基づいて2次元として表示される被検体画像を生成している。前述したようにOCT信号を取得する範囲はOCTA信号を取得する範囲と同一である必要はなく、従って前述したようにこの被検体画像は被検眼118においてOCTA信号を取得する第二の範囲を含む第一の範囲の画像として生成される。
[信号処理手順]
次に、図5を用いて、本実施形態として図3に示したステップS103のOCTの3次元画像情報及びOCTAの3次元血流部位情報からなる表示情報生成の具体的な処理を説明する。本発明では、OCTA情報から3次元血流部位情報を生成するために、OCTAのモーションコントラストを計算する。
ステップS210において、信号処理部144は、ポジションyiのインデックスiを1に設定する。ステップS220において、信号処理部144は、ポジションyi(ここではi=1)における繰り返しBスキャン干渉信号(m回分)を抜き出す。ステップS230において、信号処理部144は、繰り返しBスキャンのインデックスjを1に設定する。ステップS240において、信号処理部144はj番目(ここではj=1)のBスキャンデータを抜き出す。
ステップS250において、信号処理部144は、ステップS240のBスキャンデータの干渉信号に対して、再構成処理を行うことで断層像の輝度画像を生成する。まず画像生成部147は、干渉信号からバックグラウンドデータからなる固定パターンノイズ除去を行う。固定パターンノイズ除去は、検出した複数のバックグラウンドデータのAスキャン信号を平均することで固定パターンノイズを抽出し、これを入力した干渉信号から減算することで行われる。次に、画像生成部147は、有限区間でフーリエ変換した場合にトレードオフの関係となる、深さ分解能とダイナミックレンジを最適化するために、所望の窓関数処理を行う。その後、FFT処理を行う事によって断層像の輝度画像を生成する。
ステップS260において、信号処理部144は、繰り返しBスキャンのインデックスjをインクリメントする。ステップS270において、信号処理部144は、インクリメントされたjがmより大きいか否かを判断する。すなわち、ポジションyiでのBスキャンの輝度計算がm回繰り返されたかを判断する。noの場合はS240に戻り、同一Y位置での繰り返しBスキャンの輝度計算を繰り返す。yesの場合は、フローは次のステップへ進む。
ステップS280において、信号処理部144は、あるyiポジションにおける繰り返しBスキャンのmフレームを位置合わせする。具体的には、まず信号処理部144は、mフレームのうち、任意の1枚をテンプレートとして選択する。テンプレートとして選択するフレームは、互いに全ての組み合わせで相関を計算し、フレーム別に相関係数の和を求め、その和が最大となるフレームを選択してもよい。次に、テンプレートでフレーム毎に照合し、各々についての位置ずれ量(δX、δY、δθ)を求める。具体的には、テンプレート画像の位置と角度を変えながら類似度を表す指標であるNormalized Cross-Correlation(NCC)を計算し、この値が最大となるときの画像位置の差を位置ずれ量として求める。
なお、本発明では、類似度を表す指標は、テンプレートとフレーム内の画像の特徴の類似性を表す尺度であれば種々変更が可能である。例えばSum of Abusolute Difference(SAD)、Sum of Squared Difference(SSD)、Zero-means Normalized Cross-Correlation(ZNCC)、Phase Only Correlation(POC)、Rotation Invariant Phase Only Correlation(RIPOC)等を用いてもよい。
次に、信号処理部144は、位置ずれ量(δX、δY、δθ)に応じて位置補正をテンプレート以外のm−1フレームに適用し、mフレームの位置合わせを行う。さらに、本実施形態のように、OCTの3次元画像情報、及びOCTAの3次元血流部位情報の取得を別々のステップで行う場合、3次元画像情報及と3次元血流部位情報の間でも位置合わせを行う。即ち、OCT強度画像を生成する目的で取得された干渉信号セットに基づいて算出された3次元断層像のデータと、モーションコントラスト画像を生成する目的で取得された干渉信号セットに基づいて算出された3次元断層像のデータと、の位置あわせが行われる。これらの位置合わせを行う事で、3次元画像情報と3次元血流部位情報の対応を取り易くなる。位置合わせは、フレーム間での位置合わせと同様の手法をとる事ができる。
ステップS290において、信号処理部144は、ステップS280で計算した位置合わせされた輝度画像を平均化し、輝度平均化画像を生成する。
ステップS300において、マップ生成部148は、信号処理部144がステップS290で生成した輝度平均化画像から、網膜のセグメンテーション(部位情報取得)を実行する。なお、ここで述べる第一の実施形態ではこの工程は使用しないため本工程はスキップされる。説明は第二の実施形態で行う。
ステップS310において、画像生成部147は、モーションコントラストを計算する。本実施形態では、ステップS250にて信号処理部144が出力したmフレームの各断層像の輝度画像から、同じ位置のピクセルごとに分散値を計算し、その分散値をモーションコントラストとする。
なお、モーションコントラストの求め方は種々ある。例えば、本発明においてモーションコントラストとして用いる特徴量の種類は、同一Y位置での複数Bスキャン像の各ピクセルの輝度値の変化である。従ってこの輝度値の変化を表す指標であれば、モーションコントラストを求めるために適用が可能である。また、モーションコントラストはmフレームの断層像の輝度画像から同じ位置のピクセルごとに分散値の変わりに、他の手法を用いてもよい。例えば、各フレームの同ピクセルごとの平均値で正規化した変動係数を用いることも可能である。
ステップS320において、信号処理部144は、信号処理部144で出力したモーションコントラストの第一の閾値処理を実行する。第一閾値の値は、信号処理部144がステップS290で出力した輝度平均化画像から求める。具体的には、この輝度平均化画像からノイズフロアでランダムノイズのみが表示されているエリアを抽出し、標準偏差σを計算し、ノイズフロアの平均輝度+2σを第一の閾値として設定する。信号処理部144は、各輝度が、該第一の閾値以下の領域に対応したモーションコントラストの値を0に設定する。
S320の第一閾値処理により、ランダムノイズによる輝度変化に由来するモーションコントラストを除去することでノイズを軽減することができる。
なお、第一閾値の値は、小さいほどモーションコントラストの検出感度は上がる一方、ノイズ成分も増す。また、大きいほどノイズは減るがモーションコントラスト検出の感度は下がる。本実施形態では閾値をノイズフロアの平均輝度+2σとして設定したが、閾値はこれに限るものではない。
ステップS330において、信号処理部144は、ポジションyiのインデックスiをインクリメントする。
ステップS340において、信号処理部144は、iがnより大きいか判断する。すなわち、n箇所の全てのyポジションで位置合わせ、輝度画像平均化計算、モーションコントラストの計算、及び閾値処理をしたかを判断する。
noの場合はS220に戻る。yesの場合は、フローは次のステップS350へ進む。
S340を終了した時点で、すべてのY位置でのBスキャン像(Z深さ対X方向データ)の各ピクセルのモーションコントラストの3次元データ(3次元データ)が取得されたこととなる。ステップS350において、信号処理部144は、これら3次元画像情報から、表示情報生成処理を行う。
以下に、本実施形態の表示情報生成処理について説明する。図6は、ステップS350にて実行される処理の詳細をフローチャートとして示したものである。
表示情報の生成に際し、ステップS351において、信号処理部144は、先にもとめたモーションコントラストの3次元データを取得する。
ステップS352において、信号処理部144は、血流部位情報は残しつつノイズを除去するために、モーションコントラスト3次元データに対して平滑化処理を施す。モーションコントラストの性質によって最適な平滑化処理は異なるが、例えば以下のようなものが考えられる。
注目画素の近傍nx×ny×nz個のボクセルからモーションコントラストの最大値を出力する平滑化方法。
あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストの平均値を出力する平滑化方法。
あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストの中央値を出力する平滑化方法。
あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストに対して、距離による重みをつける平滑化方法。
あるいは、注目画素の近傍nx×ny×nz個のボクセルのモーションコントラストに対して、距離による重みと注目画素との画素値の差に応じて重みをつける平滑化方法。
あるいは、注目画素のまわりの小領域のモーションコントラストパターンと、周辺画素のまわりの小領域のモーションコントラストのパターンの類似度に応じた重みを用いた値を出力する平滑化方法。
なお、その他の血流部位情報を残しつつ平滑化をおこなう手法を用いてもよい。
以上の平滑化処理後、ステップS353において、信号処理部144は、表示制御部149より、ステップS354にて表示する画素を決定する際に用いる閾値及び表示する深さ方向の範囲の初期値を得る。表示範囲の初期値としては通例深さ方向の1/4程度とし、ほぼ網膜表層の範囲が含まれる位置とする。ここで表示範囲の初期値として深さ方向全範囲としないのは、表層部における主要血管・毛細血管網をまずは見やすく表示したいからである。すなわち、主要血管・毛細血管網を含む表層部と血管を有さずノイズの大きいRPE層とを同時に表示すると、表層部における主要血管・毛細血管網の判別に支障をきたす。なお、表示閾値の初期値は、健常眼等で代表的な値を事前に得ておき、設定しておけばよい。あるいは、繰返し撮影を行う場合、前回の撮影データを利用してもよい。また、後述するステップで表示閾値を調整してもよい。
次にステップ354にて、表示閾値の初期値を用い平滑化処理された3次元データに対してこれを超える画素を表示する表示閾値処理を施す。本処理によるモーションコントラストから表示用画素値への変換例を図7に示す。図7(a)では表示閾値以下の画素値をゼロ、閾値上の画素値から最大強度までの画素に比例する表示画素値を割り振る例であり、図7(b)では表示閾値以下の画素値に対しゼロをかけ、それ以上の画素値には1をかけた表示値を割り振った例となる。いずれにしろモーションコントラストが表示閾値以下のものはモーションコントラストが無効化され、表示される連結を持つモーションコントラストを持つ領域が分離した形で表示されることになる。
図6に示す表示制御部149において実行されるステップ355は、図7に示した表示閾値処理が施されたモーションコントラスト画像を表示する工程である。
次に、ステップ356は、表示条件の変更を行う工程である。変更しうる表示条件については、後述する。表示条件の変更が行われた場合、ステップ354に戻り、表示条件を変えて更新された画像を表示する。表示条件の変更が行われない場合、表示情報生成処理を終了する。
次に、本実施形態の表示情報生成処理により生成する画像の表示例を図8に示す。表示画面では、OCT信号を画像として表示した強度画像400及びモーションコントラスト画像401を並べて表示する。この表示例では、モーションコントラスト画像401のわきにはモーションコントラストの表示閾値を操作するスライダ402が設けられている。
また、強度画像400の脇には、強度画像400の一部における断層像403を表示する。断層像はxz断面403a、yz断面403bで表示する。また、断層像の表示位置を示す線404を強度画像400やモーションコントラスト画像401に表示してもよい。表示位置を示す線404は、画像情報から特定の条件で自動的に決定してもよいし、検者が指定してもよい。例えば、特定の条件の例としては、黄斑部を中心となるような断層像403を指定すればよい。あるいは、検者が強度画像400あるいはモーションコントラスト画像401から任意の位置と長さを指定し、対応するように断層像を表示してもよい。
さらに、断層像から強度画像400及び、モーションコントラスト画像401の深さ方向での表示範囲を指示するために操作されるスライダ405を設けてもよい。当該スライダ405では、深さ方向での調整可能範囲を示すバー405bにおいて強度画像400及びモーションコントラスト画像401を表示する深さ或いは深さ方向の表示範囲をスライド部405aにより指定する。また、表示位置を操作するGUI操作部406を有してもよい。なお、GUI操作部406の詳細については後述する。また、選択位置を示すカーソル407を表示してもよい。この場合、該カーソル407は、強度画像400とモーションコントラスト画像401との対応する位置を同時に指し示すように表示されることが好ましい。当該表示は表示制御部149により指示される。なお、図8の例では、2次元平面像として表示される例で示したが、3次元像や任意の断層像やその組合せであってもよい。
また、本実施形態において、図8に示す2次元平面で表示される画像は、眼底カメラ或いはレーザ走査検眼鏡を用いず、OCT強度信号より生成している。このような画像はEnface画像と呼ばれている。ここで、Enface画像の生成方法について簡単に述べる。
A−scanにより得られた情報を光軸方向手前側から配列し、全く信号のない位置から、最初に強い信号を得ることができる位置が眼底表層(網膜表面)の情報となる。従って、測定光を2軸で走査した際の眼底上の各測定位置(撮影位置)でのAスキャン信号についてそれぞれ最初に強い信号の反射強度をつなぎ合わせていくことにより、眼底表層を2次元的に表現する眼底表層についてのEnface画像を取得することができる。また、当該信号から特定の順位にある強度の信号の反応強度をつなぎ合わせることで、網膜における特定の層或いは深さでのEnface画像が得られる。
また、Bスキャンによって取得された断層画像は、A−scanによる情報を1軸方向に連続的に取得することによって構築されるものである。よって、Enface画像の一部の画像信号と、取得された断層画像の眼底表層部分の画像信号とが照合する位置を求めることにより、該A−scanがEnface画像上のどの位置の断層画像であるかを正確に検出することができる。
次に表示操作について説明する。表示操作について図9に示す。図9は図8の強度画像400とモーションコントラスト画像401を示す。なお、前述したように、本実施形態ではOCT干渉信号の取得とOCTAの信号の取得とを同一の工程で行っており、表示画像の生成に際しては同一走査線におけるこれら信号の位置合わせは終了している。従って、強度画像400とモーションコントラスト画像401とにおける各画素間における対応関係は予め把握されている。
本実施形態の表示操作では、一方の画像の一部(例えば強度画像の血管部分)を選択すると、他方の画像の対応する領域(モーションコントラスト画像の対応する血管部分)を元の画像(強度画像)に重ねて表示する。図9の例では、強度画像400の血管部分450を選択すると、モーションコントラスト画像401において対応する血管及び連結する血管450aを、強度画像400の対応する位置に重ねて重畳表示する。より詳細には、まず一方の画像において血管の選択を行う。ここで、対応する他方の画像とは位置合わせによって各々の画素、或いは血管の位置情報の対応付が既になされている。この状態で、一方の画像において選択された血管の位置情報が取得される。続いて、この取得された位置情報に基づいて、他方の画像における対応する位置情報が選択される。選択された位置情報に基づいて他方の画像における血管が対応する血管として指定される。以上の手順を経て、各々の画像における対応する血管の位置情報に基づいて他方の血管画像に対して一方の画像の血管が重畳表示される。
なお、後述する領域分割処理により、各々の画像において血管の連結状態(太い血管及び該太い血管から分岐した細い血管の一群)はあらかじめ把握されていることとする。従って、血管の選択及び重畳はこの連結状態を勘案して(血管群同士を対応付ける様式で)実行される。この重畳表示は、後述するようにカーソル407からの入力等によって選択された強度画像とモーションコントラスト画像との一方の画像の情報(血管に関する情報)を他方の画像において当該情報が表示される領域に重ねるように実行される。この重畳表示は、このように重畳された画像を表示手段である表示部146に表示させる表示制御手段たる表示制御部149により実行される。
なお、具体的な選択の仕方は、図9に示したように特定の血管を選択してもよいし、あるいは、領域を指定してもよい。指定する領域は、矩形でもよいし、カーソル407の中心から一定距離の円でもよい。また、OCTAの測定領域がOCTの測定領域よりも狭い場合、モーションコントラスト画像全体を重ねてもよい。さらに、他方の画像(モーションコントラスト画像)で重畳する元となった血管の表示色を変えて、どの血管を元の画像(強度画像)に重畳表示しているかを分かるようにしてもよい。
強度画像にモーションコントラスト画像を重ねる例を説明したが、逆であってもよい。モーションコントラスト画像に強度画像を重ねる場合、モーションコントラスト画像401の特定の血管部分を選択すると、強度画像400においてこれに対応する血管及び連結する血管が、モーションコントラスト画像401の対応する位置に重ねて表示される。この場合、視認性を高めるために重畳して表示される血管部分に相当する部分を太線及び点線を重ねた線にて表現することが好ましい。或いは、重畳する血管の表示色を変えてもよい。一般に強度画像で判別できる血管は相対的に太い血管であり、強度画像の構造的な情報との位置的な対応が取りやすい。従って、このようにモーションコントラスト画像に強度画像を重ねることで、太い血管を目印とすることができ、血管以外の構造的な情報との比較がしやすくなる。また、強度画像400をベースとすることにより、血管に限らず、黄斑等或いは病変等、構造的な情報を合せて表示することが可能となる。
以上述べたように、OCT強度画像とOCTAモーションコントラスト画像との一方の画像情報を他方に重ねて表示できる構成とすることで、強度画像とモーションコントラスト画像の対応がとり易くなる。従って、直感的に理解しやすい画像を提供することができる。
本実施形態の表示の例として、カーソル表示について説明する。図8及び9に示すように、強度画像400とモーションコントラスト画像401の両方に、カーソル407を表示してもよい。カーソル407の形状は、例えば、図のように矢印であってもよいし、丸印や四角でもよい。また、両画像で異なる形でもよい。あるいは、X方向Y方向に交差する十字線であってもよい。カーソルは両画像の対応する位置を同時に指し示す。カーソルは、画像形成装置に付随するマウス(不図示)等の操作により自由に移動できる事が望ましい。また、カーソルの移動に伴い、断層像の切断位置を変えてもよい。対応する位置を同時に表示することで、両画像を比較しやすくできる。
次に、本実施形態の表示条件の変更の例として、表示範囲や視点の変更について説明する。両画像の表示倍率や表示位置、又は視点位置の変更を同時に行ってもよい。例えば、図8の表示画面のGUI操作部406において、表示条件の変更を行う。拡大・縮小ボタン406aにより、両画像の拡大(+)、縮小(−)を同時に行う。また、画像を拡大している際には、並進移動ボタン406bにより、両画像の表示範囲の並進移動を同時に行う。同様に、回転ボタン406cにより、両画像の表示視点の回転移動を同時に行う。回転移動は、両画像が3次元的に表示されている場合に、適用できる。即ち、これら構成により、強度画像及びモーションコントラスト画像に関して、倍率、表示する位置、及び視点位置の少なくともいずれかを、両画像において同時に変更することが可能となる。
なお、ここではGUI操作部406が3種類のボタンの例で説明したが、ボタンの数、形状や種類は異なってもよい。あるいは他の方法であってもよい。例えば、画像形成装置に付随するマウス操作で行ってもよい。マウスのカーソルを両画像のどちらかに重ねて、マウスに付随するホイールの操作で拡大・縮小を行ったり、マウスのボタンを押しながらマウスを動かすことで、画像の移動(並進や回転)を行ったりしてもよい。マウス以外の例では、タッチパネルであれば、パネルに表示された画像を指で操作してもよい。いずれにしても、並べて表示した強度画像とモーションコントラスト画像の表示範囲や視点の変更を同時に行えるようにすればよい。本構成によれば、画像の変更が強度画像とモーションコントラスト画像の両方同時になされるので、画像の表示の仕方を変更しても、どの位置を見ているのか理解しやすくできる。
モーションコントラスト画素値の表示閾値について説明する。図8には、表示する画素の閾値を調整するスライダ402が設けられている。表示閾値の初期位置は予め、設定した代表的な値でよい。検者がこのスライダをマウスでドラッグすると、信号処理部144は図6のステップ356において、表示条件が変更された(YES)と判断する。信号処理部144は表示閾値を変更し、ステップS354へ処理を戻し表示する3次元モーションコントラスト画像を更新することになる。この時、閾値の調整は初期値に対する相対値で変更できるよう設定しておくと、異なる被検眼・部位等対象の異なるデータに対しても等価な効果が得られる。
次に、血管情報の表示方法の変形例について説明する。ここでは、2次元モーションコントラスト画像に対して、血管情報を取得する工程を行う。血管情報を取得する工程は、図6で説明した平滑化処理工程であるステップS352と同一タイミングで行われてもよいし、後工程として行われてもよい。具体的には、モーションコントラストデータに対して、平滑化処理を加える工程、血管に相当する領域を分割処理する工程を行う。これらの処理を行う事で、滑らかな血管領域を抽出することができる。
次に、領域分割処理について説明する。領域分割処理のフローの例を図13に示す。
まず、血管候補抽出工程であるステップS601において、信号処理部144は、注目画素のモーションコントラストに対応するボリュームデータを表す画素値に対し、所定閾値以上のものを血管候補の画素として抽出する処理を実行する。
次に、血管連結推定工程であるステップS602において、信号処理部144は、抽出した血管候補の画素の各々に対し、これら血管間での連結関係である血管連結関係の有無を推定する処理を実行する。血管連結推定工程では、血管候補の各画素に対して、隣接する画素が所定の閾値以上の画素値を有する場合、あるいは予め隣接画素も血管候補とされている場合であれば、これら画素は連結する血管候補と判定する。このように特定の画素が連結する血管候補とされた場合、さらに隣接する画素に評価する範囲を広げる。隣接する画素が閾値より小さい場合(あるいは血管候補でない場合)は、当該の隣接画素は血管候補から外し、他の隣接画素の評価を行う。血管連結推定の操作は、全てあるいは指定した範囲の血管候補に対して行えばよい。
血管候補の全ての隣接画素又は全画素の評価が完了したのち、信号処理部144は、連結される血管候補の大きさを元に血管認識処理工程であるステップS603の処理を行う。血管認識処理では、所定数以上の数の画素の連結を有する血管候補を同一の比較的太いあるいは主要な血管として、識別する。
最後に、血管連結関係データ生成工程であるステップS604において、信号処理部144は、第一の血管連結関係データを生成する処理を実行する。第一の血管連結関係データは、少なくとも連結する血管の3次元的な分布情報と、血管の連結情報とを有する。例えば、画素毎に血管の有無及び、各血管を区別する情報を有するボリュームデータであれば第一の血管連結関係データとしてもよい。
前述の血管候補を抽出する閾値は、予め決めた値であってもよいし、変更してもよい。例えば、被検眼についてのOCTA信号を測定して、血管として領域分割する具合をみて検者が閾値を調整してもよい。また、代表的な値を閾値の初期値としてもよい。領域分割工程で、モーションコントラストデータに対し、血管領域とそれ以外に2値化処理がなされている場合は、2値化処理の結果を利用して血管候補を抽出してもよい。同様に、血管と判断する所定の連結数の閾値も予め決めた値で有ってもよいし、変更してもよい。例えば、複数の画素が連結する場合は血管、単独の画素の場合は候補から外すとしてもよい。このような処理を施すことで、モーションコントラスト画像から孤立した領域を除くことができ、連結している血管を抽出することができる。孤立した領域の例としては、スペックルノイズ等の局所的かつランダムな反射強度の変動が挙げられる。
また、強度画像とモーションコントラスト画像の大きさが同一の例で説明したが、前述したように、モーションコントラスト画像を取得する範囲が狭い領域であっても同様に表示できる。強度画像とモーションコントラスト画像の大きさが異なる例を、図14に示す。図14(a)は、同一縮尺に揃えてモーションコントラスト画像の大きさを変えた例を示す。図14(b)は、画像の大きさを揃えて縮尺を変えた例を示す。画角が広い方に他方の表示領域を示す枠線416を設けるとよい。また、図8に示した拡大・縮小ボタン406a等を用いて、強度画像とモーションコントラスト画像の拡大・縮小、視点の移動を行ったり、一方に他方の状態を重畳したりしてもよい。
次に、強度画像で得られる血管とモーションコントラスト画像で得られる血管とを比較する例について説明する。この場合に行われる操作について図15で示すフローチャートを用いて説明する。
まず、第一血管連結推定工程であるステップS651において、信号処理部144は、2次元モーションコントラスト画像から第一の血管連結関係を推定する処理を実行する。なお、このステップS651では、前述したステップS602で行った血管の連結関係を推定した際の方法と同様の手法でこの第一の血管連結関係を推定することができる。
次に、第二血管連結推定工程であるステップS652において、信号処理部144は、3次元断層像のデータから第二の血管連結関係を推定する処理を実行する。第二の血管連結関係の推定は特定の層に対して行えばよい。例えば、3次元断層像のデータの内、網膜層に相当する深さの3次元断層像データから2次元強度画像(例えば強度画像400)を生成し、さらに第二の血管連結関係を推定すればよい。強度画像において、血管より得られる信号の強度は、血液による吸収等により周囲よりも相対的に弱くなる。この場合、網膜層を選択することで、網膜動静脈血管に相当する画素を血管として抽出することが容易になる。
血管に相当する領域の分割は、モーションコントラストデータと同様の手法で行えばよい。また、血管として画素を抽出する際の画素の閾値は、強度画像に対応した値を設定すればよい。第二の血管連結関係の推定により得られる血管は、モーションコントラストデータから得られる血管の連結関係(第一の血管連結関係)よりも抽出できる血管の分解能は劣るが、血管構造に由来する情報である。
次に、血管連結状態比較工程であるステップS653において、信号処理部144は、第二の血管連結関係と第一の血管連結関係の血管の連結状態を比較する処理を実行する。血管の連結状態の比較は対応する位置での第一と第二の血管連結関係に対し、血管の有無を比較すればよい。
次に、比較結果表示工程(表示工程)であるステップS654において、制御部143は、表示部146に対して、血管の連結状態を比較した結果の少なくとも一部を強度画像及び/又はモーションコントラスト画像に重ねて表示させる。例えば、他方では血管と推定されていない部分を表示する。反対に、両方で血管と推定されている部分を表示してもよい。比較は画像全体であってもよいし、特定の領域のみであってもよい。
強度画像にモーションコントラスト画像の血管像を重ねる場合は、強度画像では得られない毛細血管の情報を、強度画像に重畳表示することに相当する。反対に、モーションコントラスト画像に強度画像の血管像を重ねる場合は、血流が滞っている領域を表示することに相当する。血流が滞っている領域は、血流がある領域に対しモーションコントラストの画素値が小さくなる。画素値が閾値以下になると、血管が無いと判定される。血流が滞っている領域とは、例えば、血管瘤により淀みが生じている部分や、途中経路に内径が狭い部位がある部位、閉塞している領域が挙げられる。
以上のように一方の血管の連結状態の情報を他方に重ねることで、両画像をより比較しやすくできる。
さらに、血管の表示においては、特定の血管を選択し強調してもよい。この場合、比較結果表示工程であるステップS654の後に、特定の血管の近傍の画素を選択する工程をさらに設けることとなる。具体的には、例えば表示画像から、任意の画素をマウス等で選択する。この選択の操作に対し、信号処理部144は選択した画素の直近の血管を選択する。ここで、選択される血管は、前述した第一及び第二の血管連結関係の情報を有している。選択した血管に対し、強度画像とモーションコントラスト画像で得られる血管とを比較した結果を表示する。比較結果の表示の仕方は、例えば表示色を変えた半透明の血管の画像を重畳表示すればよい。特定の血管を選択し、強度画像にモーションコントラストの血管画像を重畳した例は図9に示される。
なお、重畳する際の血管の選択様式として、複数のモードを有する態様とすることも考えられる。この場合のモードとして、例えばカーソル407によって指定した血管について当該血管の乳頭から端部までを強度画像400に重畳する様式が考えられる。また、カーソル407によって指定した血管について、指定位置から端部までを強度画像に重畳する様式を含めてもよい。また、カーソル407によって領域指定を行い、当該領域に含まれる血管を強度画像400に重畳する様式を含めてもよい。さらに、後述する血管径の推定を実行し、重畳時に所定の血管径以下と推定される血管を重畳しない様式を含めてもよい。さらにこれら様式を組み合わせてもよい。
このような構成とする事で、特定の血管に着目した比較結果を得られる。例えば、網膜動静脈血管の一つを選択し、当該血管に連なる血管の状態を抽出し、表示することができる。あるいは特定の血管を選択する代わりに、視神経乳頭からの走行毎に、予め色分けしてもよい。例えば、視神経乳頭の中心から広がる方向を基準として色分けしてもよい。
また、モーションコントラスト画像から抽出した血管に対し、血管情報を取得する工程をさらに設けてもよい。例えば、血管領域に対し、少なくとも血管径を検出してもよい。血管径は、抽出した血管に対し、円筒と近似した時の軸方向と径方向を推定し、血管径を得る。血管径のデータは、例えば第一の血管連結関係データ(血管の3次元的な分布情報と、血管の連結情報)のボリュームデータにさらに付加してもよい。このような構成とする事で、モーションコントラスト画像から血管の形態の情報を得られる。
さらに、算出された血管径に基づいて、血管を分類してもよい。はじめに所定の径よりも細い血管を抽出する。所定の径は例えば、毛細血管に相当する径とすればよい。さらにモーションコントラスト画像の所定の領域において、当該血管(例えば毛細血管)として抽出された画素と、その他の画素の存在比率を計算する。さらに存在比率を2次元のマップ化して表示する。このようなマップ化する構成とすることで、血管の粗密を定量的に可視化することができる。所定の領域は、例えば黄斑(あるいは視神経乳頭)を基準に領域を分割すればよい。図16にマップ化する例を示す。図16の例では、黄斑部を中心に複数の領域に分割したマップ408を2次元モーションコントラスト画像に重ねている。複数領域に分けることで、毛細血管の粗密の定性的な評価がしやすくなる。また、マップ化した情報は、モーションコントラスト画像だけでなく、2次元強度画像に重畳表示してもよいし、別の画面で表示してもよい。
このような構成とすることで、モーションコントラスト画像から血管の形態の情報を強度画像と対応づけて可視化することができる。
(第二の実施形態)
次に、本発明の第二の実施形態として、深さ方向の表示範囲の変更について説明する。
図8のスライダ405を操作することで、強度画像とモーションコントラスト画像の表示する深さ方向の表示範囲を変更する。スライダ405は、前述したように表示する深さ範囲を表すスライド部405aと網膜の深さ方向における調整可能範囲を示すバー405bからなる。スライド部405aは画像として表示する深さ方向での幅及び位置を変更可能とし、深さ方向の表示範囲を選択するために用いられる。このスライド部405aの操作による表示範囲の変更に応じて、表示する強度画像400とモーションコントラスト画像401とを同時に更新する。本実施形態とすることにより、深さ方向の変更が同時になされるので、画像の表示深さの範囲を変更しても、どの位置を見ているのか理解しやすくできる。
なお、ここでは深さ範囲の変更の仕方として、スライダを用いた例について説明したが、他の方法であってもよい。例えば、被検眼の層構造毎に表示することで実質的に表示する深さを変更する様式としてもよい。本実施形態では、3次元断層像のデータから被検眼の断層像の層構造を検出する工程(図5のステップ300に相当)を有する。表示深さを設定する工程は、スライダの代わりに、被検眼の層構造情報を元に選択可能とする。ヒトの眼の層構成は既知であり、例えば次の6層が挙げられる。6層の内訳は、(1)神経線維層(NFL)、(2)神経節細胞層(GCL)+内網状層(IPL)を合わせた層、(3)内顆粒層(INL)+外網状層(OPL)を合わせた層、(4)外顆粒層(ONL)+外境界膜(ELM)を合わせた層、(5)Ellipsoid Zone(EZ)+Interdigitation Zone(IZ)+網膜色素上皮(RPE)を合わせた層、及び(6)脈絡膜(Choroid)である。
網膜におけるこれら各層のセグメンテーションについて説明する。マップ生成部148は、強度画像から抜き出した処理の対象とする断層像に対して、メディアンフィルタとSobelフィルタをそれぞれ適用して画像を作成する(以下、それぞれメディアン画像、Sobel画像ともいう)。次に、作成したメディアン画像とSobel画像から、Aスキャン毎にプロファイルを作成する。メディアン画像では輝度値のプロファイル、Sobel画像では輝度勾配のプロファイルとなる。そして、Sobel画像から作成したプロファイル内のピークを検出する。検出したピークの前後やピーク間に対応するメディアン画像のプロファイルを参照することで、網膜層の各領域の境界を抽出する。抽出した境界情報を元に画素と層の対応を行う。
図10にセグメンテーション後に表示する層の選択方法の例を示す。本例では、該断層像中における各層に対応させた選択ボタン410を設ける。選択ボタン410を選択することで、画像の表示範囲あるいは表示させる層を選択的に指示させる。選択ボタン410は同図に例示するように一層毎であってもよいし、複数層をまとめたものでもよい。例えば、網膜上部層や、網膜下部層に分けた選択ボタンであってもよい。あるいは、境界単位で選択できるようにボタンを設ける様にしてもよい。さらにはこれらを組み合わせ、図10に示すように層単位で選択するか境界単位で選択するかを切り替えるラジオボタン411を設けてもよい。また、相当の対応を分かり易くするため、断層像412をこれら選択ボタン410等と並べて表示してもよい。
表示する層の選択処理に応じて、強度画像とモーションコントラスト画像を更新する。なお、層毎にモーションコントラスト画像の表示閾値を調整するスライダ413を設けて、画像更新時に表示閾値を再調整することとしてもよい。以上の構成とすることで、強度画像とモーションコントラスト画像とで、表示する層の変更が同時になされるので、表示する層を変更しても、どの層を見ているのか理解しやすくできる。また、層構造を元に深さ範囲を変えることで、特定の層に注目した情報を表示することができる。
なお、被検眼の層構造に基づいて画像を表示する場合、強度画像とモーションコントラスト画像は2次元画像であってもよい。ここで、2次元画像の生成工程について説明する。2次元画像の生成工程では、指定した深さあるいは選択した層にもとづいて、3次元断層像データを対応する範囲で深さ方向に投影・積算して2次元強度画像を生成する。投影方法の例を図11により説明する。
図11(a)は断層像を表し、それぞれ深さ方向のZ1、Z2の間が選択された範囲に対応する。図11(b)は、3次元のボリュームデータ500と深さ表示バー501を表す。深さ表示バー501において深さZ1とZ2の間として指示されるボリューム領域502が選択した範囲である。当該ボリューム領域502内のボクセル(3次元断層画像のボリュームデータ)を各々深さ方向に投影・積算することにより2次元強度画像を生成することができる。3次元モーションコントラストについても同様に、同じ領域内の各ボクセルを深さ方向に投影及び積算、或いは投影又は積算して2次元モーションコントラスト画像を生成する。
2次元画像を生成するには対応する画素の画素値を積算する他、最大値等の代表値を抽出し投影することでも可能である。生成した2次元画像を、強度画像とモーションコントラスト画像として、表示する。また、これら表示の処理は同時ではなく、2次元画像化して表示状態を確認してからモーションコントラスト画像の表示閾値を変更するように順次行うこととしてもよい。2次元画像化して、並列表示することで、特定の層に着目した情報の全体を一度に把握しやすくできる。
なお、図11に示した例では、指定した一定の深さ範囲でボクセルの投影・積算を実行したが、層構造に対応した深さ範囲でこれを行ってもよい。つまり、場所ごとに選択した層に対応した深さ範囲を選択し、この範囲でのボクセルの投影・積算を行ってもよい。このようにする事で、より層構造を反映した2次元画像を生成することができる。
さらに上述した2次元画像を表示する際に、図8と同様に断層像も並列して表示してもよい。この場合、断層像の切断面の位置は、2次元強度画像と2次元モーションコントラスト画像のいずれか一方で指定する。また、表示される断層像は、3次元断層像データ及び/又は3次元モーションコントラストから指定した位置又は対応した位置での断層像が選択(又は生成)される。表示する断層像の位置を指定する元画像及び表示する断層像は、適宜組合せ可能である。また、強度画像の断層像に対して、モーションコントラスト画像の断層像を重ねて表示してもよい。また、図8に示すように断層像の断面を示す表示線404を両画像に設けてもよい。強度画像とモーションコントラスト画像のいずれかの2次元画像から、断層像の位置を指定し、表示できることで、見たい位置の断層像を容易に表示することができる。
また、上述した断層像は、さらに層構造の情報を表示してもよい。この場合、3次元断層像のデータから被検眼の断層像の層構造を検出した情報を元に、層構造を断層像に重ねて表示する。表示の仕方は、層構造を識別できるようにすればよい。例えば、層境界毎に線を表示してもよいし、層毎に着色してもよい。層毎に分けて断層像を表示する例を図12に示す。図12の例では、断層像に対して検出された層に基づいた境界線422(点線)を重ねて表示している。選択した層の境界線422aは太い点線とし、さらに選択した層領域423を灰色としている。検出した層構造の情報を重ねることで、より分かりやすい表示とすることができる。
(第三の実施形態)
次に、本発明の第三の実施形態について説明する。本実施形態では、OCTによるモーションコントラスト画像の取得とは、別に眼底像の取得を行う。眼底像の取得手段としては、眼底カメラ、走査型レーザ検眼鏡(SLO)、あるいは蛍光造影による血管像が挙げられる。これら構成は、第一の実施形態におけるOCTからなる強度画像を生成する構成と同様に、被検眼118の第一の所定範囲における被検体画像を取得する被検体画像取得手段を構成する。OCTによる強度画像と同様に、これらにより得られた眼底像からも第三の血管連結関係を算出する。算出した血管連結関係と、モーションコントラスト画像による第一の血管連結関係に対し、血管の特徴量を元に位置合わせを行う。位置合わせには既知の位置合わせアルゴリズムを用いることができる。
位置合わせを行ったのち、両画像を並べて表示する。図17に表示例を示す。図17の例では、モーションコントラスト画像(OCTA像)401と眼底像420を並べて表示する。ラジオスイッチ部421により、表示する眼底像の切り替えを行う。例えば、切り替え操作により、例えばOCTの積算による2次元強度画像、眼底カメラによる眼底像、或いはSLOによる眼底像の切り替えを行う。第一の実施形態と同様に、両画像には、対応する位置にカーソル407を設ける。
また、第一の実施形態(図8に示した表示例)と同様に、両画像の拡大や移動を同時に行えるようにすればよい。このような構成とする事で、他の観察装置で得た像に対しても、モーションコントラスト画像との対比が容易に行う事ができる。例えば、カラーの眼底カメラから得られる像と並べて表示することで、カラーで見た血管写真とモーションコントラスト画像を容易に対比できる。
(第四の実施形態)
次に、本発明の第四の実施形態について説明する。本実施形態では、測定されたモーションコントラスト画像による血管の連結関係と他のモーションコントラスト画像による血管の連結関係とを並べて表示する。他のモーションコントラスト画像は、以前に撮影した像とすればよい。第四の実施形態の表示例を図18に示す。図18の例では、過去に撮影した右側のモーションコントラスト画像430に対し、左側のモーションコントラスト画像401の比較を行っている。これら画像間では第三の実施形態同様にそれぞれの血管の連結関係に基づき、位置合わせを行う。また、両画像の拡大や移動を同時に行えるようにすればよい。なお、この場合、上述した実施形態において被検体画像を取得する工程において実行された操作は、測定時である信号取得工程時のモーションコントラスト画像とは異なる時間において他のモーションコントラスト画像を取得する工程に置き換えられる。
図18(a)の例では、モーションコントラスト画像401の破線で囲った領域431の血管の信号が無くなった場合に得られる画像を模式図として示す。表示された両画像の連結状態は比較され、比較結果の少なくとも一部がいずれかの画像に重ねて表示される。図18(b)に、領域431の比較結果(血管)を点線で重畳表示する例を示す。このような構成とする事で、血管の連結関係の経時的な変化を容易に把握することができる。
なお、ここで実行した比較の処理は、一対の画像との比較であってもよいし、複数枚の画像間での比較であってもよい。複数枚の画像に対し比較する場合、表示色を分けてもよい。あるいは、比較対象を逐次切り替えてもよい。
以上、上述した各実施形態によれば、OCTAで得られるモーションコントラスト画像とOCTで得られる強度画像に対し、一方の画像から得られる情報を他方の画像に表示する事で、より直感的に理解しやすい画像を提供することができる。すなわち、OCTAで得られるモーションコントラスト画像とOCTで得られる強度画像との対応を容易にすることができる。また、両画像を並べて表示する際に、対応する画素を示すカーソルを表示することで、より比較しやすい画像を提供することができる。
さらに、両画像の倍率や表示位置、視点位置を同時に変更できる工程を設けることで、画像の表示の仕方を変更しても、どの位置を見ているのか理解しやすい画像を提供することができる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。例えば、画像の表示の位置関係やGUIの形状は変更可能である。また、3Dディスプレイによる立体視による表示でもよい。
(その他の実施形態)
なお、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。例えば、実施形態として、被検体が眼の場合について述べているが、眼以外の皮膚や臓器等の被検体に本発明を適用することも可能である。この場合、本発明は眼科装置以外の、例えば内視鏡等の医療機器より得られるデータに基づいて画像を形成する画像形成方法あるいは装置としての態様を有する。また、上述したOCT装置は眼科装置に例示される検査装置として把握され、被検眼は被検査物の一態様として把握されることが望ましい。
さらに、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。