JP4909377B2 - 画像処理装置及びその制御方法、コンピュータプログラム - Google Patents

Description

本発明は、画像処理装置及びその制御方法、コンピュータプログラムに関する。

生活習慣病や失明原因の上位を占める各種疾病の早期診断を目的として，眼部の検査が広く行われている。検診等においては眼部全体における疾病を見つけることが求められるため、眼部の広い範囲にわたる像（以下、眼底画像と呼ぶ）を用いた検査が必須となる。眼底画像は例えば、眼底カメラや走査型レーザー検眼鏡（ＳＬＯ；Ｓｃａｎｎｉｎｇ Ｌａｓｅｒ Ｏｐｈｔｈａｌｍｏｓｃｏｐｅ）、ＩＲを用いて撮像される。一方、光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）などの眼部断層像撮像装置は、網膜層内部の状態を３次元的に観察することが可能であるため、疾病の診断をより的確に行うのに有用であると期待されている。

図５（ａ）に、ＯＣＴで撮影した網膜の黄斑部断層像の模式図を示す。ＯＣＴによる眼部の断層像は３次元的に得られる。図５（ａ）において、Ｔ１〜Ｔｎは黄斑部の二次元断面像（Ｂ−ｓｃａｎ像）である。そして、１は内境界膜、２は神経線維層とその下部の層との境界（以下、神経線維層境界２と呼ぶ）、２'は神経線維層を表す。３は内網状層とその下部の層との境界（以下、内網状層境界３と呼ぶ）、４は外網状層とその下部の層との境界（以下、外網状層境界４と呼ぶ）を表す。５は視細胞内節外節接合部、６は網膜色素上皮層境界を表している。例えば、このような断層像が入力された場合に、神経線維層２'の厚み（図５（ａ）のＴ１）を計測できれば、緑内障などの疾病の進行度や治療後の回復具合を定量的に診断することが可能となる。これらの層の厚みを定量的に計測するために、コンピュータを用いて断層像から網膜の各層の境界を検出し、各層の厚みを計測する技術が開示されている（特許文献１参照）。

一方、ＯＣＴ断層像では測定光が物体で強く反射したり吸収されたりすると、物体の後方において、信号が減衰もしくは欠損する偽像（アーティファクト）が発生することがある。ここで物体とは、血管（血液）や白斑などである。これに対し、眼底の表面像から血管領域を抽出し、その血管領域をＯＣＴ断層像上に逆投影して、逆投影領域近傍の層境界同士を補間することで、血管による偽像領域内の層境界を推定するという技術が開示されている（特許文献２参照）。

一方、ＯＣＴの検査においては、緑内障や加齢黄斑変性など複数種の眼疾患を検出できることが望まれる。そして、病気の有無や病気の種類に応じて、断層像において注目すべき層は異なるため、網膜の状態に応じた層の検出をすることが望まれる。

特開２００８−０７３０９９号公報 特開２００７−３２５８３１号公報

しかしながら、上記の提案技術には以下の課題があった。上述の特許文献１、２に記載の方法は、複数種の疾病検出に対応するためには、操作者があらかじめ疾病を推定し、その疾病に適した解析モードで計測する必要があった。そして、適切な処理結果が得られなかった場合は別の疾患に適した解析モードに変更したり、画像処理のパラメータを変更したりして再度計測しなければならず、処理が煩雑であった。そのため、大量のデータを解析する場合には、利用者に多大な負担がかかっていた。さらに、上述の特許文献１に記載の方法は、偽像が発生している領域における層境界を求める方法については開示されていない。

また、上述の特許文献２に記載の方法は、ＯＣＴ断層像に逆投影された領域は全て偽像領域（血管直下領域）として扱い、その領域では断層像を検出せず、層境界を補間して推定する。そのため、断層像上の逆投影領域で信号の減弱が発生していない場合に、層境界の結果は不正確になってしまう。また、血管による信号の減弱に対応するのみであり、白斑や出血などの病変による信号の減弱には対応していなかった。

そこで本発明は、被検眼の網膜の状態に応じて検出する層の種類を選択し、網膜層の解剖学的特徴に基づいて層を検出することにより減弱領域も含めて層境界を高精度に検出可能とすることを目的とする。

上記の目的を達成するための、本発明の一態様による画像処理装置は、被検眼の網膜層を解析する画像処理装置であって、
前記網膜層の断層像から得られた投影像と、前記被検眼の眼底画像とから、前記被検眼における解剖学的特徴を表す特徴量を抽出する特徴抽出手段と、
前記特徴量に基づいて、前記解剖学的特徴の種類を判定する判定手段と、
判定された前記解剖学的特徴の種類に応じて前記網膜層の中から検出する層を決定し、決定した層の構造を前記断層像において検出する層構造検出手段と、
前記層構造検出手段により検出された前記層の構造のうち、前記解剖学的特徴を有する領域に含まれる層の構造を変更する層構造変更手段と
を備える。

本発明によれば、被検眼の網膜の状態に応じて、検出する層の種類を選択し、網膜層の解剖学的特徴に基づいて層を検出することにより減弱領域も含めて層境界を高精度に検出することができる。

実施形態に係る画像処理システムの機能構成の一例を示す図。 実施形態に係る画像処理部２００の機能構成を示す図。 実施形態に係る網膜の層構造解析処理手順を示すフローチャート。 層構造解析処理手順における正常時及び異常時の処理を示すフローチャート。 実施形態に係る断層像と投影像の一例を示す概略図。 実施形態に係る層構造強調画像を作成するための固有値と固有ベクトルの関係を示す図。 実施形態に係る多重解像度の層構造強調画像の作成を説明するための図。 実施形態に係る断層像の特徴と層構造強調画像の特徴を説明するための図。 実施形態に係る断層像におけるマスク領域を説明するための図。 実施形態に係る断層像の特徴とマスク領域を説明するための図。 第２実施形態に係る画像処理装置１１の機能構成を示す図。 第２実施形態に係る網膜の層構造解析処理手順を示すフローチャート。 実施形態に係る画像処理装置の基本構成を示す図。

以下、本発明を実施するための最良の形態について、図面を用いて詳細に説明する。ただし、発明の範囲は図示例に限定されるものではない。

（第１実施形態）
本実施形態における画像処理装置１０は、被検眼の断層像と眼底画像とを取得し、断層像と眼底画像との位置合わせを行うために、断層像から投影像を作成する。そして、眼底画像と投影像から病気の有無や種類を判定するための解剖学的情報を検出し、その結果に基づいて計測対象とする層を判定し、所定の層の解析処理を実行する。なお、本実施形態においては黄斑部が撮影された断層像について説明をする。ただし、撮影部位は黄斑部に限定されるものではなく、視神経乳頭に同様の処理をしてもよい。さらには、黄斑部と視神経乳頭とが同時に撮影されている画像に対しても処理を適用可能である。また、本実施形態においては取得する三次元の断層像全体に対して解析処理を行う場合について説明をする。しかし、三次元の断層像から注目すべき二次元の断層像（以下、二次元断層像を断面像と呼ぶ）を選択して、選択した断面像に対して処理を行う構成であってもよい。例えば、予め定めた眼底の特定部位（例えば中心窩）を含む断面像に対して処理を行ってもよい。この場合、検出される層の境界、正常構造、正常時データ等は、何れも当該断面上における二次元のデータとなる。

図１に示す画像処理装置１０は、断層像撮像装置２０、眼底画像撮像装置３０及びデータサーバ５０と、イーサネット（登録商標）等によるローカル・エリア・ネットワーク（ＬＡＮ）４０を介して接続され、画像処理システムを構築している。なお、これらの機器との接続は、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等のインターフェイスを介して行ってもよい。また、これらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。

断層像撮像装置２０は、眼部の断層像を撮像する装置であり、例えばタイムドメイン方式のＯＣＴやフーリエドメイン方式のＯＣＴからなる。眼底画像撮像装置３０は、眼部の眼底画像を撮像する装置であり、例えば、眼底カメラやＳＬＯである。データサーバ５０は、被検眼の断層像や被検眼の画像特徴量などを保持するサーバである。データサーバ５０は、断層像撮像装置２０が出力する被検眼の断層像や、画像処理装置１０が出力する解析結果を保存する。また、画像処理装置１０からの要求に応じて、被検眼に関する過去のデータを画像処理装置１０へと送信する。

次に、本実施形態に係る画像処理装置１０を構成する各機能ブロックについて説明する。画像処理部２００は、眼底画像から病変部や血管の特徴量を検出して眼底の疾病判定を行い、その結果に応じて、所定の層を解析する処理を断層像に対して実行する。被検眼情報取得部２１０は、被検眼を同定する情報を外部から取得する。画像取得部２２０は、断層像取得部２２１と、眼底画像取得部２２２で構成される。画像取得部２２０は、断層像撮像装置２０から送信される断層像と、眼底画像撮像装置３０から送信される眼底画像を取得する。指示取得部２３０は、操作者が入力する処理の指示を取得する。記憶部２４０は、被検眼情報取得部２１０が取得した被検眼に関する情報と、画像取得部２２０が取得した当該被検眼の断層像と眼底画像を一時的に保持する。表示部２７０は、画像取得部２２０で取得した断層像や、画像処理部２００で断層像を処理した結果をモニタに表示する。結果出力部２８０は、検査日時と、被検眼を同定する情報と、被検眼の断層像と、画像処理部２００によって得られた解析結果とを関連付けて、保存すべき情報としてデータサーバ５０へと送信する。

次に図２を参照して、画像処理部２００を構成する各機能ブロックについて説明する。投影像作成部２５１は、眼底画像と断層像との位置合わせを行うために、断層像を深度方向に積算した投影像を作成する。領域特定部２５２は、特徴抽出部２５７の抽出結果に基づいて、断層像における病変部や血管の領域を特定する。層構造強調部２５３は、網膜は層構造をなすという解剖学的特徴に基づいて、断層像から網膜の層構造を強調する。層構造検出部２５４は、網膜層の厚みや体積などを定量化するために、断層像から所定の層を検出する。層構造変更部２５５は、断層像の領域内において、信号強度の減弱などがおこる箇所において、層構造検出部２５４が検出した層の検出結果を変更する。定量化部２５６は、層構造検出部２５４の結果から、層厚、面積および体積を求める。特徴抽出部２５７は、投影像作成部２５１で作成した投影像と眼底画像撮像装置３０が撮影した眼底画像から、血管、病変部を検出する。病変部とは、白斑、ドルーゼン、出血などである。位置合わせ部２５８は、特徴抽出部２５７が抽出した血管特徴、特徴部位を基に、投影像と眼底画像との位置合わせを行う。第一の判定部２５９は、特徴抽出部２５７が抽出した特徴に基づいて、層構造検出部２５４が検出する層の種類を判定する。なお、各機能ブロックが実行する具体的な処理の内容は、後に詳しく説明する。

次に、図３のフローチャートを参照して、本実施形態の画像処理装置１０の処理手順を説明する。本実施形態の処理手順は、被検眼の断層像と眼底画像とを取得し、断層像と眼底画像との位置合わせを行うために、断層像から投影像を作成する。そして、眼底画像と投影像から病気の有無や種類を判定するための解剖学的情報を検出し、その結果に基づいて計測対象とする層を判定し、所定の層の解析処理を実行する。

Ｓ３０１において、被検眼情報取得部２１０は、被検眼を同定する情報として被験者識別番号を外部から取得する。そして、被験者識別番号に基づいて、データサーバ５０が保持している当該被検眼に関する情報を取得する。当該被検眼に関する情報とは、例えば、患者の氏名、年齢、性別、検査対象が右眼であるか左眼であるかなどを取得する。さらに、他の検査情報として、視力、眼軸長や眼圧などの測定データがある場合は、その測定データを取得してもよい。そして、取得した情報を記憶部２４０へと送信する。

Ｓ３０２において、断層像取得部２２１は、断層像撮像装置２０から送信される断層像を取得し、眼底画像取得部２２２は、眼底画像撮像装置３０から送信される眼底画像を取得する。そして、取得した情報を記憶部２４０へと送信する。なお、以下の説明では、画像取得部２２０が取得した断層像と眼底画像は、被検眼情報取得部２１０において同定される被検眼のものであることを前提とする。また、断層像には断層像の撮像に関する各種パラメータが情報として付帯し、眼底画像には眼底画像の撮像に関する各種パラメータが情報として付帯しているものとする。

Ｓ３０３において、投影像作成部２５１は、眼底画像と断層像との位置合わせを行うために、各断面像（例えばＢ−ｓｃａｎ像）を深度方向に積算した投影像を作成する。以下、投影像作成部２５１の処理について図５を用いて説明をする。図５は、断面像と投影像の一例を示す図である。図５（ａ）は、断面像Ｔ₁〜Ｔ_nであり、図５（ｂ）は断面像Ｔ₁〜Ｔ_nから作成した投影像Ｐである。深度方向とは、図５（ａ）のｚ方向であり、深度方向に積算するとは、図５（ａ）のｚ方向の各深度位置における光強度（輝度値）を足し合わせる処理である。投影像Ｐは、各深度位置における輝度値を単純加算した値でもよいし、加算値を加算数で割った平均値でもよい。投影像Ｐは、深度方向に全画素の輝度値を加算する必要はなく、任意の範囲のみ加算するようにしてもよい。例えば、事前に網膜層全体を検出しておいて、網膜層内のみ加算してもよい。さらには、網膜層内の任意の層のみ加算してもよい。投影像作成部２５１は、断層像撮像装置２０によって撮影されたｎ個の断面像Ｔ₁〜Ｔ_nの夫々について深度方向に積算する処理を行い、投影像Ｐを作成する。図５（ｂ）の投影像Ｐは、積算値が大きいほど輝度値が明るく、積算値が小さいほど輝度値が暗くなるように表している。図５（ｂ）の投影像Ｐ内の曲線Ｖは血管を示しており、画像中心の円Ｍは黄斑部を示している。断層像撮像装置２０は、低コヒーレンス光源から照射した光の反射光を、受光素子で受光することにより眼部の断面像Ｔ₁〜Ｔ_nを撮像する。血管がある場所は、血管より深部の位置における光の反射光強度は弱くなりやすく、ｚ方向に積算した値は、血管がない場所に比べて小さくなる。そのため、投影像Ｐを作成することで、血管とそれ以外でのコントラストのある画像を得ることができる。

Ｓ３０４において、特徴抽出部２５７は、投影像作成部２５１で作成した投影像と眼底画像撮像装置３０が撮影した眼底画像から、血管、病変部を表す特徴量を抽出する。ここで病変部とは、白斑、ドルーゼン、出血などをいう。ＯＣＴ断層像において、これら血管や病変部などの吸収物質の後方は信号が減衰もしくは欠損する偽像が発生することがある。そのため、眼底画像と投影像からこれらをよく表す特徴量を抽出し、層構造を決定する際に、この領域をマスク領域として用いる。さらに、これらの特徴量は、次のＳ３０５において、眼底画像と投影像との位置合わせを行う時の特徴として用いることもできる。血管は細い線状構造を有しているため、線状構造を強調するフィルタを用いて血管を抽出する。線状構造を強調するフィルタとしては、線分を構造要素としたときに構造要素内での画像濃度値の平均値と構造要素を囲む局所領域内での平均値の差を計算するフィルタを利用する。ただし、これに限らずＳｏｂｅｌフィルタのような差分フィルタでもよい。また、濃度値画像の画素ごとにヘッセ行列の固有値を計算し、結果として得られる２つの固有値の組み合わせから線分状の領域を抽出してもよい。さらには、単純に線分を構造要素とするトップハット演算でもよい。

病変部である白斑領域は、眼底画像内で局所的に存在し、かつ周辺に比べて輝度値が高いという画像特徴を持つ。そこで、このような画像特徴に注目して白斑抽出を行うことが可能である。抽出手法としては様々なものが考えられるが、例えば眼底画像のＲＧＢのいずれかの成分に対してトップハット演算を適用する方法がある。トップハット演算とは、濃淡画像に対してモルフォロジー演算を適用し、その出力画像と原画像との間で画素ごとに濃度値差分を計算する演算である。トップハット演算適用後の画像において、白斑に含まれる画素はその他の画素に比べて高い信号を持つため、この画像に対して閾値処理を適用することで、白斑領域を抽出できる。

以上の処理により、白斑領域をよく表す特徴量を抽出することができる。ドルーゼン、出血なども同様に、解剖学的特徴量として抽出できる。眼底画像から得られる解剖学的特徴として、ドルーゼンは白い塊状の画像特徴を持つ。出血領域は、出血していない領域よりもＲＧＢ各成分において濃度値が低く、大量出血している箇所に関しては、血管部分の濃度値よりもかなり低くなるという画像特徴がある。このように、白斑、ドルーゼン、出血等の病変部は、投影像の画素値に着目して抽出することが出来る。
これら血管、病変部を表す特徴量の抽出方法は、上記の手法に限られるものではない。また、ひとつの手法に限定する必要はなく、複数の手法を組み合わせてもよい。病変部に関しては、投影像、あるいは眼底画像のどちらかから抽出できればよく、両方の抽出結果を統合することで、断層像での病変位置を特定することができる。

なお、特徴抽出部２５７では、血管や病変部に限らず、黄斑部や視神経乳頭などを抽出してもよい。これら、黄斑部や視神経乳頭位置などは、位置合わせ部２５８が、投影像と眼底画像とを位置合わせする際の特徴量として用いてもよいし、病変の誤検出を減らすための特徴量として用いてもよい。なお、眼底画像から層構造検出時に利用するための有効な特徴量（血管、病変）が抽出できなかった場合には、次のＳ３０５の処理を実行せずに、Ｓ３０６の処理を実行する。

Ｓ３０５において、位置合わせ部２５８は、投影像と眼底画像との位置合わせを行う。眼底画像を基準画像とすると、投影像のスケール（Ｓ_x，Ｓ_y）、位置座標（ｘ，ｙ）、回転（ｒｏｔ）パラメータを求めることにより、投影像と眼底画像の位置を合わせることができる。画像同士の位置を合わせるため、解剖学的に特徴的な領域を抽出する。代表的な解剖学的特徴のひとつとして、本実施形態では血管に注目する。投影像と眼底画像からそれぞれ抽出した血管を用いて、画像間の位置合わせを行う。位置合わせを行う際には、２つの画像間の類似度を表す評価値を事前に定義し、この評価値が最も良くなるように画像の変形を行う。評価値としては、前記処理により得られた投影像血管領域と眼底画像血管領域の重なりの程度を表す値や、血管の分岐部など特徴的な幾何形状を有する領域に注目した時の対応ランドマーク間の距離などが利用できる。また、本実施形態では解剖学的に特徴的な領域として血管を利用したが、視神経乳頭領域のようなその他の解剖学的特徴や、疾患により生じた白斑や出血領域を利用しても良い。さらに、血管などの解剖学的特徴にのみ注目するのではなく、画像全体から計算される評価値、例えば輝度値の平均２乗誤差、相関係数、相互情報量なども利用可能である。

Ｓ３０６において、領域特定部２５２は、特徴抽出部２５７で抽出された血管や病変部をＯＣＴ断層像上に逆投影する。これにより、眼底画像と投影像から得た血管や病変部を断層像にマスク領域として設定することができる。Ｓ３０７において、第一の判定部２５９は、特徴抽出部２５７において抽出された特徴量を用いて、病変部が検出されたか否か、また、検出された病変の種類は何かを判定し、層構造検出部２５４で検出する層の種類を選択する。病変の有無や病変の種類を判定するために、ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ等の識別器や、ＡｄａＢｏｏｓｔ等により構築される識別器のアンサンブルを用いて判定する。例えば、白斑領域を抽出する場合、眼底画像のＲＧＢ各成分の濃度値や、ＲＧＢの各成分で輝度値のコントラストが高い領域を強調可能なさまざまな画像フィルタの出力結果を特徴量とする。そして、識別器やそのアンサンブルを用いて画素ごとに白斑であるか否かの判定を行う。さらに白斑と判定された全画素をクラスタリングし、クラスタごとに再度白斑領域であるかの識別を行う。このときの特徴量は、クラスタ内の輝度値の平均やその分散、クラスタ内外の輝度値コントラストなどを用いる。

第一の判定部２５９の判定結果として、病変部が何も検出されなければ、層構造検出部２５４では、内境界膜１、神経線維層境界２、内網状層境界３、外網状層境界４、視細胞内節外節接合部５、網膜色素上皮層境界６を検出する。病変部が検出された場合は、内境界膜１、網膜色素上皮層境界６を検出する。さらに、病変部としてドルーゼンが検出された場合は、網膜は加齢黄斑変性症であるため、網膜色素上皮層境界６は凹凸形状となる。そのため、網膜色素上皮層境界６を検出すると同時に網膜色素上皮層境界６の正常構造を推定する。第一の判定部２５９が、眼底の状態が正常であると判定した場合はＳ３０８へと処理を進め、眼底の状態が異常であると判定した場合はＳ３０９へと処理を進める。

Ｓ３０８において、網膜の状態が正常であるときの解析処理を実行する。本ステップの処理については、図４（ａ）に示すフローチャートを用いて後に詳しく説明する。Ｓ３０９において、網膜の状態が異常であるときの解析処理を実行する。本ステップの処理については、図４（ｂ）に示すフローチャートを用いて後に詳しく説明する。Ｓ３１０において、指示取得部２３０は、被検眼に関する今回の処理の結果を、データサーバ５０へ保存するか否かの指示を外部から取得する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。そして、保存が指示された場合はＳ３１１へと処理をすすめ、保存が指示されなかった場合はステップ３１１へと処理を進める。

Ｓ３１１において、結果出力部２８０は、検査日時と、被検眼を同定する情報と、被検眼の断層像と眼底画像と、画像処理部２００によって得られた解析結果とを関連付けて、保存すべき情報としてデータサーバ５０へと送信する。Ｓ３１２において、指示取得部２３０は、画像処理装置１０による断層像の解析処理を終了するか否かの指示を外部から取得する。この指示は、不図示のユーザーインターフェイスを用いて、操作者によって入力される。処理を終了する指示を取得した場合には、画像処理装置１０はその処理を終了する。一方、処理を継続する指示を取得した場合には、Ｓ３０１に処理を戻して、次の被検眼に対する処理（あるいは、同一被検眼に対する再処理）を実行する。以上によって、画像処理装置１０の処理が行われる。

次に、図４（ａ）を参照して、Ｓ３０８の処理内容の詳細を説明する。Ｓ４１０において、層構造強調部２５３は、断層像から網膜の層構造を強調する。網膜の層構造を強調するために、ヘッセ行列の固有値に基づく層構造強調フィルタを用いる。これは、ヘッセ行列の３つの固有値（λ₁、λ₂、λ₃）の関係に基づいて、３次元濃淡分布の二次局所構造を強調することができる。ヘッセ行列は式１で与えられる。ヘッセ行列は、多変数関数の２階偏導関数全体が作る正方行列である。Ｉは画像の濃淡値である。図６に、層構造を強調する場合における、ヘッセ行列の固有値と固有ベクトル（ｅ₁、ｅ₂、ｅ₃）の関係を示す。そして、式２にヘッセ行列の固有値の関係を示し、式３に層構造を強調するための固有値の条件式を示す。

λ₃ ≦ λ₂ ≦ λ₁ ・・・（式２）
λ₃ ＜＜ λ₂ ＝ λ₁＝０ ・・・（式３）
これらで求めた３つの固有値から、以下の式４を求めることで、網膜の層構造を強調することができる。ここで、式４におけるω(λ_s;λ_t)は重み関数であり、それを式５に示す。式５におけるγとαは重みである。

さらに、様々な厚みの網膜層に対応するために、多重解像度による層構造強調フィルタを用いることが可能である。そのためには、複数の解像度σ_fのガウス関数Ｇ（x;σ_f）による平滑化画像に対するヘッセ行列の固有値を解析すればよい。ここで、xは(ｘ,ｙ,ｚ)である。図７に解像度σ_fの異なるガウス関数（ａ）、（ｂ）と、それにより、強調される層の厚みのイメージを（ｃ）、（ｄ）に夫々示す。図７（ａ）のガウス関数により強調される層の厚みが（ｃ）で、図７（ｂ）のガウス関数により強調される層の厚みが（ｄ）である。図７（ａ）の解像度はσ_a、（ｂ）の解像度はσ_bであり、二つの解像度の関係は式６に示す通りである。

次に、ガウス関数による平滑化画像の式を式７に示す。式７は、ヘッセ行列における１つの成分であり、他の成分も式７と同様にして求めることができる。式７において、解像度σ_fを複数設定し、夫々の解像度で式１、式４を解くことにより、夫々の解像度に対応した厚みの網膜層を強調することができる。式８は、複数の解像度σ_fの結果を統合化するための式である。それにより、１つの出力で、様々な厚みの網膜層に対応することができる。ここで、式８においてσ_i ²をかけているのは正規化処理をするためである。iは1〜ｎであり、設定した解像度の数ｎに対応する。

σ_a ＜ σ_b ・・・（式６）

ここでは、式８を用いて複数の解像度σ_fを統合化する処理の説明をしたが、必ずしも統合化する必要はなく、各層の厚みに適した解像度で処理した結果を夫々保持しておき、層毎にそれらの結果を使い分けるようにしてもよい。例えば、断層像の画像サイズを２５６＊２４０＊２５６とした場合、内境界膜１などを求める時の解像度は３以上で、内網状層境界３などを求める時の解像度は１〜２とする。内境界膜１に関しては、低い解像度で強調した画像でもよいが、高い解像度で網膜層全体を強調した画像を用いることにより、網膜から剥離した硝子体皮質を誤検出する確率を小さくすることができる。

式４、式５を用いて、ヘッセ行列の固有値から網膜の層構造を強調する説明をしたが、固有値の関係を用いて、層構造を強調するのであれば、式４、式５は上記の式に限定されるものではない。図８（ａ）は、断層像の特徴を説明するための図である。図８（ａ）において、１は内境界膜、２は神経線維層境界、３は内網状層境界、４は外網状層境界、５は視細胞内節外節接合部、６は網膜色素上皮層境界、７は血管領域、７'は血管下の領域を表している。図８（ａ）の左図は、断面像Ｔ_iを示し、右図は左図の血管がある位置におけるＡ−ｓｃａｎに沿った画像のプロファイルを示している。つまり、左図はＡ−ｓｃａｎと示される線上の座標と輝度値の関係を示している。図８（ｂ）は、図８（ａ）における断層像に対して層構造強調フィルタを適用した一例を示している。図８（ｂ）の左図は、断面像Ｔ_iにおける層構造強調画像を示し、右図は左図の血管がある位置におけるA−ｓｃａｎに沿ったフィルタ出力のプロファイルを示している。層構造強調フィルタを用いることで、血管により信号が減弱したとしても、信号成分が失われていなければ、層構造を強調することができる。さらに、層構造以外のノイズ成分を低減することができる。

Ｓ４２０において、まず、層構造検出部２５４は、内境界膜１、神経線維層境界２、視細胞内節外節接合部５、網膜色素上皮層境界６を求める。層構造検出部２５４では、層構造強調部２５３で作成した層構造を強調した画像の特徴と、断層像に対して平滑化処理と勾配検出処理によって得た画像の勾配特徴とを用いて、各層を検出する。内境界膜１は、硝子体側から眼底の深度方向に層構造強調フィルタのピークを探索し、閾値以上の最初のピーク位置を内境界膜１と神経線維層境界２の初期値とする。その初期値から、硝子体側に勾配特徴を探索し、勾配のピーク位置を内境界膜１とする。神経線維層境界２も同様に、その初期値から眼底の深度方向に勾配特徴を探索し、勾配のピーク位置を神経線維層境界２とする。網膜色素上皮層境界６は、さらに、眼底の深度方向に層構造強調フィルタのピークを探索し、閾値以上の最後のピーク位置を網膜色素上皮層境界６の初期値とする。その初期値から、眼底の深度方向に勾配特徴を探索し、勾配のピーク位置を網膜色素上皮層境界６とする。視細胞内節外節接合部５も同様に、その初期値から硝子体側に勾配特徴を探索し、勾配のピーク位置を視細胞内節外節接合部５とする。

次に、外網状層境界４を検出する。外網状層境界４は、神経線維層境界２と視細胞内節外節接合部５の間で、層構造強調フィルタの出力値が式９を満たすものを候補点とする。そして、その中で眼底の一番深度方向に位置するものを外網状層境界４とする。式９においてThは閾値であり、０〜１である。ここでは、Thを０．７とする。S_sheet(x）は、画素(ｘ,ｙ,ｚ)における層構造強調フィルタの出力値である。maxS_{sheet_NFL_ISOS_A}は、各Ａ−ｓｃａｎにおける、神経線維層境界２と視細胞内節外節接合部５の間での、層構造強調フィルタの最大出力値である。外網状層境界４と内網状層境界３の層構造強調フィルタの出力値は、外網状層境界４の方が大きくなる傾向があるが、非常に僅差である。そのため、空間的な位置情報として、外網状層境界４は内網状層境界３よりも深度方向に位置するという解剖学的特徴を用いることで、誤検出を減らすことができる。内網状層境界３は、神経線維層境界２と外網状層境界４の間に位置する層構造強調フィルタのピークを探索し、その位置を初期値とする。そして、その初期値から眼底の深度方向に勾配特徴を探索し、勾配のピーク位置を内網状層境界３とする。

各層において検出された点群は、多項式関数とM推定などにより外れ値除去処理を行う。あるいは、隣接する検出点間で角度計算をして、閾値以上の角度になる点を除去するなどの外れ値除去処理を行う。そして、除去した点については補間処理を行うことで、滑らかな層を検出する。ここでは、層構造強調フィルタの出力結果を利用した例を示した。しかし、必ずしも層構造強調フィルタの結果を用いる必要はなく、内境界膜１や神経線維層境界２などは、閾値処理、勾配検出、領域拡張法などの処理で層を検出するようにしてもよい。正常眼である場合、内境界膜１、神経線維層境界２、内網状層境界３、外網状層境界４、視細胞内節外節接合部５、網膜色素上皮層境界６を求める処理の説明を行った。しかし、その他に、不図示の神経節細胞層と内網状層の境界や外境界膜などを求めてもよい。あるいは、内境界膜１、神経線維層境界２、網膜色素上皮層境界６など、層の厚みや面積などを解析するのに必要な層のみを検出するようにしてもよい。

Ｓ４３０において、層構造変更部２５５は、特徴抽出部２５７が検出した血管の結果を用いて、層構造検出部２５４が検出した層の結果を変更する。図９に図８（ａ）における血管位置にマスクをした画像を示す。図９において、９はマスク領域、９'で示す破線はマスク領域内における探索範囲を示す。このマスク領域９は、特徴抽出部２５７が投影像と眼底画像のどちらか、あるいは両方から検出した血管位置を断層像上に逆投影したものである。層構造変更部２５５は、このマスク領域９内において、神経線維層境界２の検出結果を変更する。神経線維層境界２は血管が存在すると、神経線維層と血管が重なって検出される。そのため、この領域内においては、層構造強調フィルタのピークを初期値として眼底の深度方向に勾配特徴を探索して、神経線維層境界２を再検出する場合に、血管を誤検出しないように探索範囲を限定する。探索範囲の限定は、マスク領域９に隣接する神経線維層境界２の位置から補間処理をすることで求める。補間処理は、線形補間、スプライン補間やｎ次曲線による非線形補間などを用いればよい。ただし、補間により求めた位置よりも数画素程度、深度方向に余裕を持たせた領域で探索範囲を限定することが望ましい。探索範囲内で境界検出を行うことで、血管を誤検出することなく、神経線維層境界２を検出することができる。この領域内においては、探索範囲を限定するだけではなく、勾配検出の閾値や、勾配検出自体のアルゴリズムを変更するようにしてもよい。あるいは、層構造変更部２５５は、このマスク領域内において、内境界膜１以外の検出結果を変更するようにしてもよい。例えば、マスク領域内の点は除去をして、線形補間や非線形補間により層を補間する処理を行ってもよい。

Ｓ４４０において、定量化部２５６は、層構造検出部２５４が検出した層の境界に基づいて、層の厚み、層の面積、層の体積を求める。ここで層の厚みＴ１（神経線維層２'）は、ｘｚ平面上の各座標点で、内境界膜１と神経線維層境界２のｚ座標の差を求めることで計算できる。また、各断面像における神経線維層２'の面積は、夫々のｙ座標毎にｘ軸方向の各座標点での層厚を加算することによって計算できる。また、神経線維層２'の体積は、求めた面積をｙ軸方向に加算することで計算できる。ここでは、神経線維層２'を例に説明したが、他の層や網膜層全体の厚み、面積、体積は同様にして求めることができる。

さらに、過去に定量化した層厚、面積、体積などがある場合には、過去の定量化データとの比較を行うことも可能である。この場合の過去の定量化データとの比較方法の一例を示す。まず、過去と現在の断層像の位置合わせを行う。断層像の位置合わせには、剛体アフィン変形や、非線形変形のＦＦＤ（Ｆｒｅｅ ｆｏｒｍ ｄｅｆｏｒｍａｔｉｏｎ）など公知の手法を用いることができる。過去に撮影された断層像と位置の対応がとれているならば、任意の断面での層厚、面積などの比較や、任意の領域の体積などを比較することができる。なお、過去画像と位置合わせをしてからデータを比較する例を示したが、断層像撮像装置２０に追尾機能などが搭載されており、画像撮影時に前回と同じ位置を撮影できるのであれば、位置合わせを行う必要はない。さらには、位置合わせを行わずに、単純にＢ−ｓｃａｎ像のスライス番号同士での比較や３Ｄで比較をしても良い。定量化部２５６では、上述の数値データの少なくとも一つを求めればよく、定量化するデータは任意に設定できるものとする。もしも、一つも求めることができなければ、次のＳ４５０において、定量化できない旨を表示部２７０で表示してもよい。

Ｓ４５０において、表示部２７０は、断層像と眼底画像と、断層像の層と層の境界を検出した結果と、断層像の層に関して定量化した結果を表示する。ここで、過去のデータがある場合には、過去データと比較をして表示するようにしても良い。Ｓ４２０からＳ４４０で求めた層や定量化した結果の全てを表示する必要はなく、結果は内部で保持しているようにしてもよい。次に、図４（ｂ）を参照して、Ｓ３０９の異常時処理で実行される処理の手順を説明する。ここで、Ｓ４１５は、Ｓ４１０と同じであるため説明を省略する。ここでは、病変として白斑が検出された場合を図１０（ａ）に示す。図１０（ａ）は、白斑が存在する場合の断層像の特徴を説明するための図である。図１０（ａ）において、１は内境界膜、２は神経線維層境界、６は網膜色素上皮層境界、８は白斑領域、８'は白斑下の領域を表している。図１０（ａ）の左図は、断面像Ｔ_ｊを示し、右図は左図の白斑がある位置におけるA−ｓｃａｎに沿った画像のプロファイルを示している。つまり、左図はA−ｓｃａｎと示される線上の座標と輝度値の関係を示している。

Ｓ４２５において、層構造検出部２５４は、内境界膜１、網膜色素上皮層境界６を求める。層の検出方法については、Ｓ４２０と同様であるため、説明を省略する。なお、眼底疾患が存在する場合において、検出する層は、内境界膜１、網膜色素上皮層境界６に限定されるものではなく、ユーザの指示によって、任意の層を検出できるようにしてもよい。

Ｓ４３５において、層構造変更部２５５は、特徴抽出部２５７が検出した血管と白斑（病変部）の結果を用いて、層構造検出部２５４が検出した層の結果を変更する。図１０（ｂ）に、図１０（ａ）における白斑と血管位置にマスクをした画像を示す。図１０（ｂ）において、９はマスク領域を示す。このマスクは、特徴抽出部２５７が断層像と眼底画像のどちらか、あるいは両方から検出した白斑と血管の位置を断層像上に逆投影したものである。層構造変更部２５５は、このマスク領域内において、網膜色素上皮層境界６の検出結果を変更する。例えば、病変領域内のマスク領域内の点を除去した後、残りの点群または曲線を用いて網膜色素上皮層境界６を補間する。それにより、白斑などの病気によって、網膜色素上皮層境界６の信号が欠落したとしても、白斑を誤検出することなく、網膜色素上皮層境界６を検出することができる。

ここでは、白斑と血管によるマスク領域を同一のものとして説明した。しかし、白斑、ドルーゼン、出血、血管など、夫々においてマスクにラベルを付与し、マスク領域が識別できるようにしておくことが望ましい。例えば、投影像と同じ画像サイズで、１画素あたり８ビットのマスク用のラベル領域を確保する。そして、夫々のビットには、病変部、眼底画像からの血管や断層像からの血管を事前に割り当てておく。それにより、同じ座標位置に病変部や血管が重なって検出されたとしても、複数のラベルを同じ座標位置に付与することができる。ビットサイズは、識別したい種類に応じて設定すればよい。

Ｓ４４５において、定量化部２５６は、特徴抽出部２５７が抽出した病変特徴を定量化する。例えば、図１０（ａ）に示すように、網膜の中に白斑が存在する場合、検出した白斑の面積、白斑の体積、白斑の存在位置、白斑の数などを求める。白斑の面積は眼底画像、もしくは投影像から求め、白斑の体積は断層像から求める。さらに、過去に定量化した白斑の面積、白斑の体積、白斑の存在位置、白斑の数などがある場合には、過去の定量化データとの比較を行うようにしてもよい。定量化部２５６では、上述の数値データや層の厚み、面積、体積などの少なくとも一つを求めればよく、定量化するデータは任意に設定できるものとする。もしも、一つも求めることができなければ、次のＳ４５５において、定量化できない旨を表示部２７０で表示してもよい。

Ｓ４５５において、表示部２７０は、断層像と眼底画像と、断層像の層と層の境界を検出した結果と、病変部を検出した結果と、断層像の層に関して定量化した結果と、病変部を定量化した結果を表示する。ここで、過去のデータがある場合には、過去データと比較をして表示するようにしても良い。

以上で述べた構成によれば、眼底像より検出された病変や特徴から抽出すべき網膜層を特定することにより、入力された画像に適した層のセグメンテーションが自動で行え、網膜層のセグメンテーションを行う際の利用者の負荷が軽減される効果がある。また、網膜層の厚みを考慮して層を強調したり、眼底像あるいは投影像より検出された血管や病変等を考慮して網膜層のセグメンテーションを行うことにより、疾患に依存しない正確な層境界の抽出が可能となる。

（第２実施形態）
本実施形態は、第１実施形態の画像処理部２００に、第一の判定部２５９の代わりに第二の判定部２６０を追加した場合の実施形態である。一般的に、加齢黄斑変性や浮腫などの疾患は眼底像や投影像からは判断が難しい。そこで、第二の判定部２６０を追加し、眼底画像や投影像から得られる画像特徴に加えて、網膜断層像の形状特徴も利用する。これにより、ユーザに提示する層の種類の選択をロバストに行うことが可能となる。

図１１は、本実施形態の画像処理装置１１の機能構成を示す図である。図中の画像処理部２０１以外は、第１実施形態と同じであるため、説明を省略する。画像処理部２０１には、図２の第一の判定部２５９の代わりに第二の判定部２６０が含まれる。第二の判定部２６０は特徴抽出部２５７が抽出した特徴量と、層構造検出部２５４で検出された層構造の検出結果に基づいて判定を行い、判定結果を層構造変更部２５５へ出力する。

次に、図１２のフローチャートを参照して、本実施形態の画像処理装置１１の処理手順を説明する。なお、Ｓ１２０１からＳ１２０６、Ｓ１２１４からＳ１２１６の処理は、夫々、第１実施形態におけるＳ３０１からＳ３０６、Ｓ３１０からＳ３１２と同様である。また、Ｓ１２０７、Ｓ１２１２、Ｓ１２１３は、第１実施形態におけるＳ４１０、Ｓ４４０、Ｓ４５０と同様なので、これら説明は省略する。

Ｓ１２０８において、層構造検出部２５４は、内境界膜１、神経線維層境界２、網膜色素上皮層境界６を求める。層の検出方法については、Ｓ４２０と同様であるため、説明を省略する。なお、Ｓ１２０４において、眼底画像から病変部が検出されている場合、断層像における病変部のマスク領域において、そのマスク領域内は、マスク領域近傍で層を検出した位置から、補間により層を求めておくのでもよい。次に、内網状層境界３は、外網状層境界４、視細胞内節外節接合部５を求める。ただし、これらの層は、病気の影響によって検出されないこともあるため、断層像における病変部のマスク領域においては、検出しないか、補間処理によって求めておくことが望ましい。

Ｓ１２０９において、特徴抽出部２５７は、断層像から画像特徴と網膜層の形状特徴を抽出する。まず、断層像の画像特徴について説明する。ここでは、Ｓ１２０８において検出された内境界膜１と網膜色素上皮層境界６の位置情報を用いる。すなわち、特徴抽出部２５７では、画像特徴を抽出するための範囲を内境界膜１と網膜色素上皮層境界６の間に制限する。網膜層の断層像は、層ごとに輝度値が異なり、正常眼の場合は、神経線維層２'と、視細胞内節外節接合部５と網膜色素上皮層境界６との間の視細胞層の輝度値が高い。白斑が網膜層内部に存在する場合は、白斑の位置で輝度値が高く、視細胞内節外節接合部５と網膜色素上皮層境界６との間の視細胞層の輝度値は低くなる。網膜層内部に出血が拡がっている場合は、視細胞内節外節接合部５と網膜色素上皮層境界６との間の視細胞層の輝度値は低くなる特徴がある。画像特徴は、ヒストグラムなどの１次統計量、濃度共起行列の二次統計量、フーリエ特徴などを抽出する。さらに、内境界膜１と網膜色素上皮層境界６との間で、A−ｓｃａｎに沿った輝度値のプロファイル特徴を抽出する。輝度値のプロファイルは、図８（ａ）と図１０（ａ）の右図に示すものである。これらの画像特徴の他に、画像の勾配特徴やヘッセ行列による層構造強調画像の特徴量を用いてもよい。

次に、網膜層の形状特徴について説明する。内境界膜１は、網膜層内が出血していると、網膜の中に血が溜まることで上に凸の形状になる特徴がある。網膜色素上皮層６は、加齢黄斑変性になると、その下部から発生した新生血管によって層の形状が凹凸に変形するという特徴がある。そのため、層の形状特徴も病変を識別する特徴の一つとして利用することができる。形状特徴は、同一の層において隣接する検出点で曲率計算をすることで抽出できる。断層像からの画像特徴と形状特徴は、眼底画像と投影像から抽出したマスク領域内のみで抽出してもよいし、マスク領域内に限定せずに抽出してもよい。断層像の画像特徴のみしか用いない場合は、層の位置を利用せずに画像全体から画像特徴を計算してもよい。なお、網膜層の形状は、黄斑部と視神経乳頭において異なる。例えば、黄斑部中心付近よりも視神経乳頭中心付近の方が、内境界膜１は下に凸の形状となる特徴がある。そして、病気になると視神経乳頭陥凹の拡大が起こるため、内境界膜１の形状は拡大するという特徴がある。そのため、次のＳ１２１０では、部位の違いによる特徴の違いを考慮して学習をしておく。

Ｓ１２１０では、第二の判定部２６０が、眼底画像から求めた画像特徴と、断層像から求めた画像特徴と各層の形状特徴を用いて、病変の有無や病変の種類を判断し、ユーザに出力する層の種類を決定する。例えば、断層像から求めた画像特徴と層の形状特徴は、正常時と病変時の各特徴を、ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅや、ＡｄａＢｏｏｓｔ等の識別器で学習しておくことで、病変の判定をすることができる。

Ｓ１２１１では、層構造変更部２５５は、第二の判定部２６０が、眼底画像と断層像から抽出した画像特徴量から、病変が存在しないと判定した場合、全層の層構造の結果を変更する。また、第二の判定部２６０が、病変が存在すると判定した場合、一部の層構造、即ち網膜色素上皮層境界６の結果を変更する。その際、層構造変更部２５５は、層構造検出部２５４が補間により求めた層の位置を初期値として、一定の範囲内で上下方向に勾配特徴を探索し、それぞれの層を検出する。

以上で述べた構成によれば、眼底画像や投影像から得られる画像特徴の他に、網膜層の断層像から得られる画像特徴、あるいは層の形状特徴を利用して、ユーザに提示する層の種類を選択する。眼部の表面像の特徴量に加え、網膜層内部の特徴量も利用するため、ユーザに提示する層の種類の選択をロバストに行うことができる。

（第３実施形態）
本実施形態は、第１実施形態の特徴抽出部２５７と第一の判定部２５９の処理内容を変更した場合の例である。第１実施形態とは、特徴抽出部２５７が抽出した特徴量に重みを設定する点、また、第一の判定部２５９が断層像内にマスク領域として逆投影する特徴量を、眼底画像と投影像から抽出した特徴量の中から選択する点が異なる。

本実施形態では、眼底画像と投影像から抽出した特徴量の全てを断層像検出時のマスク領域に使用するのではなく、断層像と眼底画像から得た特徴量の中から、確信度の高い特徴量を選択して断層像のマスク領域として設定する。すなわち、断層像上で信号の減弱が発生している可能性が高い領域のみにマスク領域を設定する。そのため、断層像上で信号の減弱が発生している可能性が低い領域は、補間によって層を近似するのではなく、直接層を検出するため、より精度良く層構造を検出することができる。

本実施形態では、図３のＳ３０４とＳ３０７における処理内容と、Ｓ３０６の領域特定処理がＳ３０７の判定結果に応じてそれぞれ実行される点とが、第１実施形態とは異なる。それ以外については同様のため説明は省略する。本実施形態では、特徴抽出部２５７が血管を検出する場合について説明する。なお、血管以外の病変部（白斑、ドルーゼン、出血など）も以下の処理と同様にして求めることができる。

本実施形態では、Ｓ３０４において、特徴抽出部２５７は、投影像と眼底画像から血管を検出する場合に、血管検出フィルタの出力結果を閾値処理して２値化するのではなく、閾値以上の出力値をそのまま保持する。あるいは、フィルタ出力値を閾値から最大値までの間で何分割かして多値化をしてもよい。あるいは、フィルタ出力値の閾値以下は０、最大値は１となるような重み関数をフィルタ出力値にかけてもよい。このようにして、本実施形態では特徴量を解剖学的特徴が存在する確信度を反映する値として抽出するので、特徴抽出部２５７が血管として検出した領域において、血管らしい領域の出力値は大きく、閾値付近の領域の出力値は小さくなる。なお、投影像と眼底画像の画素あたりのビット数が異なる時は、正規化処理をすることが望ましい。

Ｓ３０７において、第一の判定部２５９では、投影像と眼底画像からフィルタ出力値が大きい領域をそれぞれ選択することで、血管として確信度が高い領域を選択する。投影像と眼底画像からの領域の選択方法は、特徴量が所定値以上のものを選択することで行うことができる。それ以外にも、公知の識別器を用いて判定してもよいし、また、閾値以上の上位数％などで判定してもよい。

以上で述べた構成によれば、断層像上で信号の減弱が発生している可能性が低い領域は、補間によって層を近似するのではなく、層を直接検出するため、より精度良く層構造を検出することができる。

（第４実施形態）
本実施形態は、第１実施形態の画像処理部２００に、層構造更新部２６１を追加した場合の実施形態である。層構造更新部２６１は、Ａ−ｓｃａｎごとにそれぞれ独立に検出した層の位置を、３次元的に滑らかな層形状となるように、層の位置を更新する働きをする。本実施形態に係る画像処理装置は、第１実施形態の画像処理部２００において、層構造変更部２５５と定量化部２５６との間に層構造更新部２６１を有する点で異なる。それ以外の構成については同様である。

また、本実施形態の画像処理部における正常処理時及び異常処理時の処理は、基本的には第１実施形態の図４（ａ）及び（ｂ）と同様であるが、Ｓ４３０及びＳ４３５の層構造検出結果変更処理の後で、層構造検出結果更新処理が実行される点が異なる。以下、本実施形態の画像処理部における層構造検出結果更新処理について説明する。

層構造更新部２６１は、層構造検出部２５４が検出し、層構造変更部２５５が変更した網膜層の結果を更新する。Ｓｎａｋｅｓやレベルセット法のような動的輪郭法を適用する場合、層構造検出部２５４の検出結果を初期値とし、エネルギー値を最小化するように繰り返し計算を行う。Ｓｎａｋｅｓの場合、画像エネルギー、形状エネルギーを定義して、そのエネルギーの和を最小化するように計算を繰り返す。式１０にＳｎａｋｅｓのエネルギー式を示す。式１０において、Ｅは全体のエネルギー値、Ｅ_{shape＿local}は形状エネルギー値、Ｅ_imageは画像エネルギー値を表す。それにより、滑らかな層構造を維持しながら画像のエッジに収束する。このようにして得られたエネルギーに基づいて網膜層の変更結果を更新する。

例えば、画像エネルギーを、式１１に示すように、各検出点における輝度勾配と、上下層内の輝度値の分散和で定義する。Ｅ_edgeは、各制御点における輝度勾配、Ｅ_{variance_of_upper_layer}は、上位層の輝度値の分散、Ｅ_{variance_of_lower_layer}は、下位層の輝度値の分散を表す。ｗ_e、ｗ_vは重みである。このように、上下層の輝度値の分散を画像特徴として定義することで、血管や病変により層境界が減弱し、画像勾配が得られないような層境界においても、画像エネルギーは層境界に収束するように動作する。例えば、神経線維層境界２の場合、Ｅ_{variance_of_upper_layer}は、内境界膜１との間の層（神経線維層２'）の輝度値の分散を最小にする。Ｅ_{variance_of_lower_layer}は、内網状層境界３との間の層（不図示の神経節細胞層＋内網状層）の輝度値の分散を最小にする。本実施形態では、下層を内網状層境界３との間の層と定義したが、不図示の神経節細胞層を下層と定義してもよい。なお、式１１で定義した画像エネルギーは、各層ごとに定義を変えてもよい。例えば、内境界膜１では、血管や病変の影響を受けないため、Ｅ_edgeのみを定義するのでもよい。

形状エネルギーは、一次微分、二次微分などの形状特徴を定義することで、各検出点間が滑らかになるように動作する。なお、形状エネルギーと画像エネルギーにそれぞれ与える重みは、マスク領域内外で変えてもよい。例えば、マスク領域内の信号の減弱が起こっている可能性が高い場合、信頼度の低い画像エネルギーの重みは小さく、形状エネルギーの重みを大きくする。形状エネルギーの重みを大きくすることにより、滑らかな層を検出することができる。

Ｅ ＝ Ｅ_{shape_local} ＋ Ｅ_image ・・・（式１０）
Ｅ_image ＝ ｗ_eＥ_edge ＋ ｗ_ν(Ｅ_{variance_of_upper_layer}＋ Ｅ_{variance_of_lower_layer} ・・・（式１１）
以上で述べた構成によれば、網膜の状態に応じた層境界を検出することができる。そして、血管や白斑等の病変により減弱した層を検出するとともに、層の形状構造を維持しながら層の境界を検出するように検出結果を更新する。そのため、３次元的に滑らかに網膜の層構造を検出することができる。

（第５実施形態）
本実施形態に係る画像処理装置は、眼底像が存在せず、断層像のみ存在する場合に対応するため、第２実施形態から眼底画像取得部２２２を削除した構成を有する。それ以外の構成については図１１と同様であるため、ここでは説明を省略する。本実施形態の画像処理装置の処理手順も、第２実施形態の図１２とほぼ同様であるが、Ｓ１２０５とＳ１２０６の処理がない点で異なる。また、入力画像は、断層像と、断層像から作成する投影像のみである点が異なる。

従ってＳ１２０２において、断層像取得部２２１は、断層像撮像装置２０から送信される断層像を取得する。そして、取得した情報を記憶部２４０へと送信する。Ｓ１２０４において、特徴抽出部２５７は、投影像作成部２５１で作成した投影像から、血管、病変部を抽出する。これら血管、病変部の抽出方法は、Ｓ３０４の方法と同様である。ただし、抽出対象は投影像である。また、特徴抽出部２５７では、血管や病変部に限らず、黄斑部や視神経乳頭などを抽出してもよい。これらは、血管や病変抽出において誤検出を減らすための特徴量として用いてもよい。またＳ１２０９において、特徴抽出部２５７は、断層像から病変の特徴抽出を行う。ただし、網膜層内のマスク領域内のみで処理を行うのではなく、網膜層内全体で特徴抽出処理を行うことが望ましい。

以上で述べた構成によれば、断層像のみ存在する場合においても、ユーザの負担を増やすことなく、複数種の疾病を診断するための眼部の診断情報データを、眼部の断層像から取得することが可能となる。

（第６実施形態）
第１乃至第５実施形態においては、画像から得られる特徴量のみを用いて、計測する層の種類を選択していた。しかし、過去の検査結果がある場合、セグメンテーションを行いたい層は決まっていることが多い。したがって、この情報を利用することで、処理を簡素化、または高速化することができる。

本実施形態はこの点を考慮したものであり、第１乃至第５実施形態に係る第一の判定部２５９、または第二の判定部２６０において、検出する層の種類を判定する際に、被検眼情報取得部２１０で取得した情報を用いて判定を行うようにしたものである。被検眼情報取得部２１０は、当該被検眼に関する検査結果を取得し、検査結果の中に断層像撮像装置２０に関する過去の検査結果がある場合、前回の撮影時に計測をした網膜層の情報を取得する。それにより、経過観察の場合、第一の判定部２５９、または第二の判定部２６０は、前回の撮影時に定量化に用いた網膜層と同一の層を選択する。あるいは、被検眼情報取得部２１０は、当該被検眼に関する検査結果を取得し、検査結果に症例名が記載されている場合、その情報を取得する。それにより、第一の判定部２５９、または第二の判定部２６０は、断層像撮像装置２０以外の検査装置による検査結果から、計測対象とする層の種類を選択することができる。

以上で述べた構成によれば、被検眼情報を利用することで、処理を高速化するとともに、抽出すべき層をより正確に特定することができる。

（第７実施形態）
第１乃至第６実施形態においては、層構造強調処理を画像全体に対して適用していた。しかし、網膜層以外の画像領域に層構造強調処理を適用しても効果はなく、処理時間もかかってしまう。そのため、本実施形態では、層構造検出処理フロー全体の時間を短縮するために、層構造強調処理を行う前に、網膜層を検出して注目領域として設定し、層構造強調処理は、この注目領域内のみに適用する。本実施形態では、前記高速化処理のために、各実施形態において下記のように処理を変更する。ここでは、第１実施形態を例にとり、説明を行うが、同様の処理を第２〜第５実施形態に適用すれば、それぞれにおいて高速化を実現できる。

本実施形態に対応する高速化処理は、基本的には第１実施形態の図４（ａ）及び（ｂ）と同様であるが、Ｓ４１０とＳ４１５の層構造強調処理の前に注目領域検出処理が実行される点が異なる。その他の処理は第１実施形態と同様である。以下、本実施形態の画像処理部における注目領域検出処理について説明する。

まず、層構造検出部２５４は、層構造を検出しやすい層を事前に検出しておき、その層を基準に網膜層の全体領域を注目領域として検出する。例えば、内境界膜１を検出し、検出した点群を多次元の曲面で近似する。そして、そこから深度方向に一定の距離までを注目領域として設定する。あるいは、網膜色素上皮層境界６も検出し、検出した点群を多次元の曲面で近似する。そして、近似で検出した内境界膜１と網膜色素上皮層境界６の内部を注目領域として設定する。あるいは、単純に閾値処理により網膜層領域を検出して、検出した領域にラベリング処理をする。そして、ラベリング領域の連結画素数の大きい上位２つを囲むように注目領域を設定する。これらの処理により、網膜層を注目領域として検出することができる。

そして、Ｓ４１０やＳ４１５の層構造強調処理は、以上で設定した注目領域内のみに適用する。Ｓ４２０やＳ４２５で層構造を検出する際も、探索領域は注目領域内のみとする。なお、注目領域検出処理で内境界膜１や網膜色素上皮層境界６などを事前に検出していたとしても、Ｓ４２０やＳ４２５の処理で、層構造を強調した画像特徴を用いて再度検出してもよい。

以上で述べた構成によれば、層構造強調部２５３は、注目領域内のみ層構造強調処理を行い、層構造検出部２５４は、注目領域内のみを探索領域とする。したがって、注目領域内のみで処理を行うことで、層構造検出処理フロー全体の時間を短縮することができる。

（その他の実施形態）
上述の各実施形態は、本発明を画像処理装置として実現したものである。しかしながら、本発明の実施形態は画像処理装置のみに限定されるものではない。本実施形態では、本発明をコンピュータ上で動作するソフトウェアとして実現する。図１３は、画像処理装置１０の各部の機能をソフトウェアで実現するためのコンピュータの基本構成を示す図である。ＣＰＵ１９０１は、ＲＡＭ１９０２やＲＯＭ１９０３に格納されたコンピュータプログラムやデータを用いてコンピュータ全体の制御を行う。また、画像処理装置１０の各部に対応するソフトウェアの実行を制御して、各部の機能を実現する。ＲＡＭ１９０２は、外部記憶装置１９０４からロードされたコンピュータプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１９０１が各種の処理を行うために必要とするワークエリアを備える。記憶部２４０の機能はＲＡＭ１９０２によって実現される。

ＲＯＭ１９０３は、一般にコンピュータのＢＩＯＳや設定データなどが格納されている。外部記憶装置１９０４は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにオペレーティングシステムやＣＰＵ１９０１が実行するコンピュータプログラム等を保存する。また本実施形態の説明において既知としている情報はここに保存されており、必要に応じてＲＡＭ１９０２にロードされる。モニタ１９０５は、液晶ディスプレイなどにより構成されている。例えば、表示部２７０が出力する内容を表示することができる。キーボード１９０６、マウス１９０７は入力デバイスであり、操作者はこれらを用いて、各種の指示を画像処理装置１０に与えることができる。被検眼情報取得部２１０や指示取得部２３０の機能は、これらの入力デバイスを介して実現される。

インターフェイス１９０８は、画像処理装置１０と外部の機器との間で各種データのやりとりを行うためのものであり、ＩＥＥＥ１３９４やＵＳＢ、イーサネット（登録商標）ポート等によって構成される。インターフェイス１９０８を介して取得したデータは、ＲＡＭ１９０２に取り込まれる。画像取得部２２０や結果出力部２８０の機能は、インターフェイス１９０８を介して実現される。上述した各構成要素は、バス１９０９によって相互に接続される。

なお、本実施形態における画像処理装置１０の各部の機能は、各部の機能を実現するコンピュータプログラムをＣＰＵ１９０１が実行し、コンピュータ全体を制御することで実現される。なお、上記夫々の本実施形態では、同フローチャートに従ったプログラムコードは、例えば外部記憶装置１９０４からＲＡＭ１９０２に既にロードされているものとする。本実施形態では、前記夫々の実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

なお、上述した本実施の形態における記述は、本発明に係る好適な画像処理装置の一例であり、本発明はこれに限定されるものではない。

Claims (10)

1. 被検眼の網膜層を解析する画像処理装置であって、
   前記網膜層の断層像から得られた投影像と、前記被検眼の眼底画像とから、前記被検眼における解剖学的特徴を表す特徴量を抽出する特徴抽出手段と、
   前記特徴量に基づいて、前記解剖学的特徴の種類を判定する判定手段と、
   判定された前記解剖学的特徴の種類に応じて前記網膜層の中から検出する層を決定し、決定した層の構造を前記断層像において検出する層構造検出手段と、
   前記層構造検出手段により検出された前記層の構造のうち、前記解剖学的特徴を有する領域に含まれる層の構造を変更する層構造変更手段と
   を備えることを特徴とする画像処理装置。
2. 前記解剖学的特徴に血管が含まれる場合に、前記特徴抽出手段は線状構造を強調するフィルタを用いて前記血管の特徴量を抽出し、
   前記層構造変更手段は、前記血管に隣接する層について、該血管に隣接する層の境界であって、前記領域に隣接する境界を利用した補間処理により探索範囲を限定し、該探索範囲内で層構造を再検出することにより、前記変更を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記解剖学的特徴に病変部が含まれる場合に、画素値に基づき前記病変部の特徴量を抽出し、
   前記層構造変更手段は、前記検出された層の境界であって前記領域に隣接する境界を利用した補間処理により、該領域に含まれる層の構造を変更することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記特徴抽出手段は、前記特徴量を、前記被検眼において前記解剖学的特徴が存在する確信度を反映する値として抽出し、
   前記層構造変更手段は、前記確信度が所定値以上の領域に含まれる層の構造を変更することを特徴とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記層構造変更手段により変更された層の構造を更新する層構造更新手段を更に備え、
   前記層構造更新手段は、前記層構造検出手段が検出した層を構成する検出点を用いて、該検出点を挟む層における輝度値の分散、該検出点における輝度勾配とに基づく画像エネルギー、前記検出点を結んで構成される前記層の形状の滑らかさを表す形状エネルギーとの少なくとも１つにより求められるエネルギー値が最小となる層境界を特定し、特定した層境界に基づいて前記更新を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 被検眼の網膜層を解析する画像処理装置であって、
   前記網膜層の断層像から得られた投影像から、前記被検眼における解剖学的特徴を表す特徴量を抽出する特徴抽出手段と、
   前記網膜層における層の構造を前記断層像において検出する層構造検出手段と、
   前記層構造検出手段が検出した前記層の構造に基づいて、所定の層の間における輝度の情報、及び、層の形状の情報を抽出する特徴抽出手段と、
   前記特徴量、前記輝度の情報及び前記形状の情報に基づいて、前記網膜層における病変の有無及び種類を判定する判定手段と、
   前記判定手段における判定結果に応じて、前記層構造検出手段により検出された前記層の構造を変更する層構造変更手段と
   を備え、
   前記層構造変更手段は、前記判定手段により前記病変が有ると判定された場合に、前記層構造検出手段により検出された前記層の一部の構造を変更することを特徴とする画像処理装置。
7. 前記特徴抽出手段は、前記被検眼の眼底画像から前記特徴量をさらに抽出し、
   前記解剖学的特徴に血管が含まれる場合に、前記特徴抽出手段は線状構造を強調するフィルタを用いて前記血管の特徴量を抽出し、
   前記解剖学的特徴に病変部が含まれる場合に、画素値に基づき前記病変部の特徴量を抽出する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 被検眼の網膜層を解析する画像処理装置の制御方法であって、
   特徴抽出手段が、前記網膜層の複数の断層像から得られた投影像と、前記被検眼の眼底画像とから、前記被検眼における解剖学的特徴を表す特徴量を抽出する工程と、
   判定手段が、前記特徴量に基づいて、前記解剖学的特徴の種類を判定する工程と、
   層構造検出手段が、判定された前記解剖学的特徴の種類に応じて前記網膜層の中から検出する層を決定し、決定した層の構造を前記断層像において検出する工程と、
   層構造変更手段が、検出された前記層の構造のうち、前記解剖学的特徴を有する領域に含まれる層の構造を変更する工程と
   を備えることを特徴とする画像処理装置の制御方法。
9. 被検眼の網膜層を解析する画像処理装置の制御方法であって、
   特徴抽出手段が、前記網膜層の複数の断層像から得られた投影像から、前記被検眼における解剖学的特徴を表す特徴量を抽出する工程と、
   層構造検出手段が、前記網膜層における層の構造を前記断層像において検出する工程と、
   前記特徴抽出手段が、検出された前記層の構造に基づいて、所定の層の間における輝度の情報、及び、層の形状の情報を抽出する工程と、
   判定手段が、前記特徴量、前記輝度の情報及び前記形状の情報に基づいて、前記網膜層における病変の有無及び種類を判定する工程と、
   層構造変更手段が、前記判定の結果に応じて、前記層構造検出手段により検出された前記層の構造を変更する工程と
   を備え、
   前記層の構造を変更する工程では、前記判定手段により前記病変が有ると判定された場合に、前記層構造検出手段により検出された前記層の一部の構造が変更されることを特徴とする画像処理装置の制御方法。
10. コンピュータを請求項１乃至７のいずれか１項に記載の画像処理装置として機能させるためのコンピュータプログラム。

Images