JP5717377B2 - 画像処理装置、画像処理方法、プログラム及びプログラム記録媒体 - Google Patents

Description

本発明は、被検体における断層画像のから抽出された層の表示に関する技術である。

光干渉断層計（ＯＣＴ；Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）の技術が医療分野に適用されている。例えば、眼部の断層像撮像装置は、網膜層内部の状態を三次元的に観察することが可能である。この断層画像撮影装置は、疾病の診断をより 的確に行うのに有用であることから近年注目を集めている。

網膜層解析の従来技術においては、様々な方法で網膜層境界を決定している。特許文献１では、断層画像の画素値を眼底の深度方向に沿って順次参照することにより、層の境界位置を求める技術が開示されている。眼科の診断においては、網膜を構成する層単位の把握が必要であり、網膜断層像上で層単位の形態と厚みを表示したり、層ごとに３次元的に表示したりする。

特開２００８−０７３０９９

しかし、網膜層境界を決定した後に各層の様子を観察するために、操作者が多数の層の中から観察する層を選んで切替え表示の操作を行う場合、操作が煩雑になると言う課題があった。

本発明は上記課題に鑑みてなされたものであり、断層像を観察するための操作を効率的かつ容易にすることを目的とする。

上記の目的を達成するための、本発明の一態様による画像処理装置は、以下の構成を備える。

すなわち、網膜の断層像に含まれる複数の層の硝子体からの距離に基づいて前記複数の層の表示順に関する情報を得る取得手段と、前記表示順に関する情報に基づき前記複数の層の各層の表示形態を順次に変更して表示手段に表示させる表示制御手段とを有する。

本発明によれば、断層像から得られる層情報の把握が容易になる。

本発明による画像処理装置の基本構成図である。 実施例１に係る画像処理装置１０の処理手順を示すフローチャートである。 網膜の黄斑部断層像の摸式図である。 画像処理装置１０の表示装置３０での表示例である。 断層像取得装置１１の構成図である。 実施例２に係る画像処理装置１１の処理手順を示すフローチャートである。 画像処理装置１１の表示装置３０で選択される層名の表示例である。 実施例４に係る画像処理装置１１の処理手順を示すフローチャートである。

（実施例１）
以下、図面を参照しながら、本発明の第１の実施形態について説明する。なお、本実施形態に係る眼科装置は、網膜断層像から抽出された層を予め決められた順番で自動的に表示する表示形態の例を示している。

図１は画像処理システム全体のブロック図である。同図に示す画像処理システムは、画像処理装置１０、断層像像撮像装置２０と表示装置３０を備えて構成される。

画像処理装置１０は、断層像取得装置２０や、不図示のデータベースから断層像や眼底画像を取得して、断層画像から層を抽出して、層の表示制御を行なう。

断層像撮像装置２０は、測定光で被検眼の網膜をスキャンすることで網膜の断層像と眼底画像を撮像する。断層画像撮影装置２０は例えばタイムドメイン方式のＯＣＴやフーリエドメイン方式のＯＣＴからなる。なお、断層画像撮影装置２０は既知の装置であるため、詳細な説明は省略する。
表示装置３０は、被検眼の断層像や断層像の層などを表示する。

まず画像処理装置１０についての詳細説明をする。
画像処理装置１０は、断層像取得部１１０、指示取得部１２０、解析部１３０、表示制御部１４０を備えて構成される。

断層像取得部１１０は、断層像撮像装置２０へ撮像命令を送り、撮像された断層像を取得する。または、予め撮像された断層像を保持する不図示のデータサーバから断層像を取得する。

指示取得部１２０は、取得された断層像に対する処理の指示を、不図示の操作者から取得する。

解析部１３０は、指示取得部１２０が取得した指示に基づいて、断層像の解析を行い、断層像から層情報を抽出する。
表示制御部１４０は、抽出された層を表示可能な情報に処理する。さらに、その情報を表示装置３０に送信し、層情報を順番に所定の表示形態で表示装置３０に表示する制御をおこなう。

次に、図２のフローチャートを参照して、本実施例の画像処理装置１０が実行する具体的な処理の手順を説明する。

ステップＳ２１０
ステップＳ２１０において、指示取得部１２０は、不図示の操作者が入力する、表示する断層像の指定などの指示を取得する。これらの指示は、画像処理装置１０に備えられた不図示のキーボードやマウスを介して、操作者によって入力される。得られた指示は、断層像取得部１１０や解析部１３０へと送信される。

ステップＳ２２０
ステップＳ２２０において、断層像取得部１１０は、断層像撮像装置２０から断層像を取得する。取得された断層像は、解析部１３０へと転送される。

ステップＳ２３０
ステップＳ２３０において、解析部１３０は、ステップＳ２２０で取得された断層像の解析を行い層情報を抽出する。本実施形態では、網膜の層を抽出すると同時に、抽出された層の重要度を設定する。

図３に網膜断層像の模式図を示す。図中のＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７は神経線維層（ＮＦＬ）、神経節細胞層（ＧＣＬ）、内網状層（ＩＰＬ）、内顆粒層（ＩＮＬ）、外網状層（ＯＰＬ）、外顆粒層（ＯＮＬ）、網膜色素上皮（ＲＰＥ）と呼ばれる。また、Ｍ１とＭ２は内境界膜（ＩＬＭ）、視細胞内節外節接合部（ＩＳ／ＯＳ）、と呼ばれる。網膜の断層像から層や膜を抽出する方法は、特許文献１に示される方法など多数の方法が知られている。網膜の断層像はそれぞれの層のピクセルが異なる輝度分布を持つため、本実施例では輝度分布に従って層の抽出を行う。なお、異なる層は異なる特徴のテクスチャパターンを持つので、これらの情報を用いてより精度のよい層抽出を行うこともできる。さらに事前知識として層の順番を用いることも考えられる。または、これらの方法に限らず、断層像から層の抽出をするその他の方法でもよい。

次に、解析部１３０はそれぞれの層の重要度を算出する。本実施形態では予めそれぞれの層の重要度が決定されているとする。表１にあらかじめ決められている層の重要度の一例を示す。重要度値が高い方が重要な層であると示す。

なお、層の重要度の決め方はこれ以外にも入力された網膜断層像または関連情報の解析に基づいて決定することも考えられる。例えば、網膜断層像の解析結果として図３が示す高輝度を特徴とする白斑Ｅ０１が検出された場合に、白斑の検出された位置のＯＰＬの重要度値を１０にして、その他の層の重要度をそれより小さくする。同様に、図３が示すのう胞Ｎ０１が検出された場合に、のう胞の検出された位置のＯＰＬとＯＮＬの重要度値を１０にして、その他の層の重要度をそれより小さくする。または、緑内障と診断された場合には、ＮＦＬ、ＧＣＬとＩＰＬの重要度値を１０にして、その他の層の重要度値を小さくする。なお、重要度の決定方法はこれらの方法に限定されるものではなく、そのほかの方法で網膜層の重要度値を決定しても良い。

抽出された層及び表示順としての重要度の情報は層の表示順に関する情報として解析部１３０から表示制御部１４０へと転送される。

ステップＳ２４０
ステップＳ２４０において、表示制御部１４０は、ステップＳ２３０で抽出された情報に基づいて、層を選択してその層の表示制御を行う。

本実施形態の次の例では、表示する層の選択方法として、解析部１３０は表１に表すようにＮＦＬからＲＰＥへ、網膜の解剖学的構造の順番で層を選択する。さらに、ステップＳ２３０で選択された層の抽出が解析部１３０で失敗した場合、例えばＧＣＬとＩＰＬのコントラストが足りずに境界線抽出に失敗したら、その層の境界線を描画をせずに、警告メッセージを表示する。なお、層検出に失敗した場合の表示制御はこれに限定されるものではない。例えば隣り合う層の境界線（例：ＧＣＬとＩＰＬ）が抽出できなかった場合、まとめて一つの層として解析部１３０は情報を表示制御部１４０送信し、表示装置３０はまとめて一つの層として表示する。

次に表示制御部１４０は、２Ｄ断層像上で、選択された層の境界線を重ねて描画するように層の強調表示の表示制御を行う。なお、描画する境界線はそれぞれの層によって色、太さ、点線・破線・実線などの特徴を変えても良い。さらに、強調表示として層の境界線だけでなく、選択された層領域全体をそのたの層と異なる色やテクスチャーなどその他の層と区別するための特別な描画をしても良い。

なお、層の表示方法は２次元的表示に限定されず、網膜断層像の撮像を３次元的に行った場合には、３次元的に表示制御をすることも可能になる。例えば、ステップＳ２３０で層の３次元領域抽出結果を用いて、レイキャスティングなどの手法で選択された層のボリュームレンダリングをすることも考えられるし、層の境界面情報からメッシュを作成して、サーフェースレンダリングをすること等も考えられる。

さらに、ステップＳ２４０において、表示制御部１４０は、選択された層の表示時間の制御も行う。本実施形態では表１の重要度を用いて表示時間を制御する。ここでは、表示時間は重要度と比例させて、次式のようにする。

表示時間＝重要度ｘ１０（秒） 式１
なお、この方法に限らず、たとえば
表示時間＝重要度ｘ重要度ｘ２（秒） 式２
または、重要度と依存しないで表示時間を一定の時間にする、などその他の決定方法でもよい。

なお、本実施形態では網膜内の各層の表示制御に関して説明をしたが、ＩＬＭやＩＳ／ＯＳなど網膜内の各膜の表示制御も同様に行うことができる。

ステップＳ２５０
ステップＳ２５０において、解析部１３０で得られた複数の層の表示順に関する情報に基づいて表示制御１４０は、表示装置３０に所定の表示形態で順次に断層像を表示する。

図４は、ステップＳ２４０の結果の例を示す。図４（ａ）、（ｂ）、（ｃ）、（ｄ）は２次元（２Ｄ）の断層像で選択された層の表示例を示す。図４（ｅ）、（ｆ）は３次元（３Ｄ）の断層像の選択された層の表示例を示す。さらに、図４（ａ）、（ｂ）、（ｃ）、（ｄ）は網膜全体を表示しながら選択された層の強調表示の例である。図４（ｅ）、（ｆ）は選択された層のみの表示の例である。

ステップＳ２６０
ステップＳ２６０において、表示制御部１４０は、指示取得部１２０が取得した指示に応じて、処理を終了するかどうかを判断する。次の断層像の表示指示がある場合は処理はステップＳ２１０へ進む。新たな指示がなければ、処理を終了する。

以上の実施形態例では、断層像の解析を行い、網膜を構成する層を抽出して、自動的に層を選択して順番に表示形態を変えて表示することができる。また、層の重要度に基づいて表示形態を順次変えることで診断の効率が上がる。また、表示時間を制御することで、操作者が少ない操作で層の状態の把握が効率よくかつ容易に行える。

（実施例２）
実施例１において、網膜断層像の解析によって抽出された層を順次に表示形態を変更して表示する例を示した。本実施例では、解析部１３０が断層像解析から得られる網膜層の状態に基づいて選択する層の順番を決める方法を説明する。

図５は本実施形態の画像処理装置１１の機能構成を示す図である。同図のリスト作成部１５０以外は第１実施形態と同じであるため説明を省略する。

リスト作成部１５０は解析部１３０が断層像から抽出した層から層リストを作成する。そして、リスト作成部１５０が作成した層リストに基づいて表示制御部１４０は表示する層を選択し、表示制御を行う。

次に、図６のフローチャートを参照して、本実施例の画像処理装置１１が実行する具体的な処理の手順を説明する。なお、ステップＳ６３５とステップＳ６４０以外は第１の実施形態と同様なので、その説明を省略する。

ステップＳ６３５
ステップＳ６３５において、リスト作成部１５０は解析部１３０で抽出された断層像の層のリストを作成する。まず、解剖学的構造の硝子体からの距離に基づき、例えば硝子体から近い順に層リストを作成する。この際に、抽出されなかった層はリストから削除する。次にそのリストの編集を行い、層の順番を入れ替える。ここでは、ステップＳ２３０で解析部１３０が算出した層の重要度の順でリストの並べ替えを行う。この際、もっとも重要な層がリストの一番目に来るようにする。重要度が同じである層の順番は、解剖学的構造の順にする。表２は、層リストの例を示す。表２は、実施形態１のステップＳ２３０で決定された重要度に基づいて作成された層リストである。層リストは、層の状態を示す情報も持つ。ここですべての層の初期状態は非選択にする。なお、初期状態はこれに限らず、すべて選択、またはランダムにしても良い。

なお、層リスト作成方法はこの方法に限らず、例えば層はステップＳ２３０で抽出された順でリストを作成するのも良い。

ステップＳ６４０
ステップＳ６４０において、表示制御部１４０はリスト作成部１５０で作成した層リスト、つまり複数の層の表示順関する情報に基づいて層の表示制御を行う。本実施形態では、表示の順番は層リストの順番にする。
そして、各層の表示時間はステップＳ２４０と同様な方法で決定する。

以上の構成によれば、網膜断層像の解析から得られる網膜の層の状態に基づいて、より重要とされた層の順番に層を選択されて表示することで、重要な層の観察を強調する表示をするという効果がある。

（実施例３）
前記それぞれの実施形態は、重要度に基づいて層の表示制御を自動的に行う例を示した。本実施形態では、操作者の入力によって表示の制御を行う場合の説明をする。

本実施形態に係る画像処理装置１１の構成は第２実施形態と同じであるため、説明を省略する。

次に、図６のフローチャートを参照して、本実施例が実行する具体的な処理の手順を説明する。なお、ステップＳ６３５の層リスト作成処理以外は第２実施形態と同様であるため、その説明を省略する。本実施形態でのステップＳ６３５の処理を以下に説明する。

ステップＳ６３５
ステップＳ６３５において、リスト作成部１５０は解析部１３０で抽出された断層像の層情報のリストを作成する。まず、解剖学構造の硝子体に近い順に層リストを作成する。この際に、抽出されなかった層はリストから削除する。次にそのリストの層の順番を入れ替える。ここでは、ステップＳ２３０で解析部１３０が算出した層の重要度の順でリストの並べ替えを行う。この際、もっとも重要な層がリストの一番目に来るようにする。重要度が同じである層の順番は、解剖学的構造の順にする。

次にリスト作成部１５０が作成した層リストを複数の層の表示順に関する情報として表示制御部１４０へ送り、表示制御部１４０は表示装置３０を用いてその層リストを不図示の操作者に提示する。図７（ａ）は、表２が示す層リストを表示装置３０に表示する例を示す。表示された層名の隣に層を選択するためのトグルボタンがある。そして、操作者が表示したい層の、層名のトグルボタンをクリックして選択状態にする。指示取得部１２０は操作者の指示入力を取得し、リスト作成部１５０へ送る。リスト作成部１５０は選択指示を元に、層リストを更新する。さらに、更新されたリストを元に、表示制御部１４０は表示装置３０の表示を更新する。図７（ｂ）は、操作者がＲＰＥ、ＧＣＬ、ＩＰＬを選択した状態の表示例を示す。

なお、操作者の指示の元に層リストの層の順番や優先順位を変えることも考えられる。例えば、図７（ｃ）が示すように、指示入力部１２０はテキスト入力として、選択された層の表示順番や、層の重要度値を取得する。

以上の構成によれば、重要度に基づいて操作者に層名を提示し、操作者の指示に基づいて層リストを作成することで、操作者は容易に層の選択ができ、その層の観察と状態の把握をよくすることが可能である。

（実施例４）
前記それぞれの実施形態は、表示の順番や表示時間の制御を行う例について説明した。本実施形態では、表示制御部１４０が表示のために選択された層の表示方法の制御を行うことにより、より最適な層の表示（提示）方法を提供する。

本実施形態に係る画像処理装置１１の構成は第２実施形態と同じであるため、説明を省略する。

次に、図８のフローチャートを参照して、本実施例が実行する具体的な処理の手順を説明する。なお、ステップＳ８３７での層表示方法の処理以外は第３実施形態と同様なため、その説明を省略する。

ステップＳ８３７
ステップＳ８３７において、表示制御部１４０は、選択された網膜の層の表示方法を決定する。本実施形態では、表示方法はグレースケール表示、擬似カラー表示、またはＭＩＰ（最大値投影法）表示である。

表示制御部１４０で決められた層を、断層像から抽出された層の画素の分布に基づいてグレースケール表示、擬似カラー表示、またはＭＩＰ表示を選択し、選択された表示方法で層を表示装置３０に表示する。表示方法は以下の条件で選択される。

〔１〕 表示する層が低輝度の層（ＧＣＬ，ＩＰＬ，ＩＮＬ，ＯＰＬ，ＯＮＬ）であり、かつこれらの層に異常があって、その異常は画像上で高輝度のである場合は、ＭＩＰ表示を選択する。

〔２〕 〔１〕以外で、表示する層の画像のダイナミックレンジが２５６階調より狭い場合は、グレースケール表示を選択する。ここでは、表示する層の画素値分布を解析して、表示装置表現可能なコントラストでコントラスト調整を行う。ダイナミックレンジの狭い層郡として、例えばＧＣＬ，ＩＰＬ，ＩＮＬが挙げられる。

〔３〕 〔１〕と〔２〕以外の場合は、擬似カラー表示を選択する。表示するダイナミックレンジが２５６階調より広く、表示装置で表現可能なコントラストが足りない場合には、輝度値を擬似カラーにマッピングして、隣接する層の区別をより明確にする。

なお、以上の説明ではダイナミックレンジが２５６階調小さい場合はダイナミックレンジは狭いとしましたが、本実施形態ではこの諧調数に限定されるものではなく、表示装置の表現できる諧調数に基づく、などのその他の諧調数でも良い。

なお、表示方法の決定法は上記の条件に基づくものに限定されるものではなく、例えば単純に同じ層を順番に異なる表示方法で表示しても良い。または、指示取得部１２０は操作者の指示を取得して、操作者が選択した表示方法で層を表示することも考えられる。

以上で述べた構成によれば、表示する層（選択された層）の解析結果に基づいて表示方法を選択することにより、断層像の観察またはその状態をよりよく把握することが可能になる。

（その他の実施例）
また本発明の目的は、前述の実施例の機能を実現するソフトウェアのプログラムコードを記録した記録媒体をシステムや装置に供給し、そのシステムや装置の演算装置が記録媒体に格納されたプログラムコードを実行することによっても達成される。

この場合、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

またコンピュータが読み出したプログラムコードを実行することにより、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。

さらに記録媒体から読み出したプログラムコードが、コンピュータ付属の機能拡張カードや機能拡張ユニット内のメモリに書込まれ、前記拡張カードや拡張ユニット内の演算装置が実際の処理の一部か全部を行い、前述の実施例の機能が実現される場合も含む。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明した図に対応したプログラムコードが格納されることになる。

なお、上述した本実施の形態における記述は、本発明に係る好適な眼底断層像撮影装置の制御装置の一例であり、本発明はこれに限定されるものではない。

１０ 画像処理装置
２０ 断層像撮像装置
３０ 表示装置
１１０ 断層像取得部
１２０ 指示取得部
１３０ 解析部
１４０ 表示制御部
１５０ リスト作成部

Claims (20)

1. 網膜の断層像に含まれる複数の層の硝子体からの距離に基づいて前記複数の層の表示順に関する情報を得る取得手段と、
   前記表示順に関する情報に基づき前記複数の層の各層の表示形態を順次に変更して表示手段に表示させる表示制御手段と、を有することを特徴とする画像処理装置。
2. 前記取得手段は、前記表示順に関する情報として、前記複数の層のうち前記硝子体からの距離が近い程、表示順を先にすることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記断層像の層を２次元的に表示させ、
   前記複数の層の境界線、層のいずれかを前記表示順に関する情報に従い強調表示することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記表示制御手段は、前記断層像の層を３次元的に表示させ、
   前記複数の層の境界線、層のいずれかを前記表示順に関する情報に従い強調表示することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記表示制御手段は、前記断層像の層を表示し、前記表示順の情報に従い所定の層をその他の層と異なる表示形態で表示をすることを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記表示制御手段は、前記表示順の情報に従い順次に所定の層のみを表示することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記取得手段は、前記複数の層のそれぞれに対して重要度を取得し、
   前記表示制御手段は、前記重要度に基づいて、前記複数の層のそれぞれの表示時間を制御することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
8. 前記表示順に関する情報に基づき前記複数の層のリストを作成するリスト作成手段を備え、
   前記制御手段は前記作成されたリストに基づいて前記選択された層の表示形態の制御を行うことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 操作者の指示を取得する指示取得部を備え、
   前記操作者から選択する層の順番または表示時間の指示を取得し、
   前記リスト作成手段は前記取得された指示に基づいて前記層リストを作成することを特徴とする請求項８に記載の画像処理装置。
10. 前記表示制御部は、前記表示順に関する情報に従い層の輝度分布に基づいて層の表示方法を制御することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
11. 前記表示制御部は、グレースケール表示、擬似カラー表示、ＭＩＰ表示のいずれかの表示方法を用いて層を表示することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 網膜の断層像に含まれる複数の層の硝子体からの距離に基づいて前記複数の層の表示順に関する情報を得る工程と、
    前記表示順に関する情報に基づき前記複数の層の各層の表示形態を順次に変更して表示手段に表示させる工程と、を有することを特徴とする画像処理方法。
13. 断層像に含まれる複数の層の表示順に関する情報を得る取得手段と、
    前記表示順に関する情報に基づき前記複数の層の各層の表示形態を順次に変更して表示手段に表示させる制御をする表示制御手段と、を有し、
    前記表示制御手段は、前記表示順の情報に従い順次に前記複数の層のうち所定の層のみを前記表示手段に表示させることを特徴とする画像処理装置。
14. 網膜の断層像に含まれる複数の層の硝子体からの距離に基づいて前記複数の層の表示順に関する情報を得る取得手段と、
    前記表示順に関する情報に基づき前記複数の層の各層を順次に表示手段に表示させる表示制御手段と、を有することを特徴とする画像処理装置。
15. 前記表示制御手段は、前記表示順の情報に従い順次に前記複数の層のうち所定の層のみを前記表示手段に表示させることを特徴とする請求項１４記載の画像処理装置。
16. 断層像に含まれる複数の層の表示順に関する情報を得る取得手段と、
    前記表示順に関する情報に基づき前記複数の層の各層を順次に表示手段に表示させる表示制御手段と、を有し、
    前記表示制御手段は、前記表示順の情報に従い順次に前記複数の層のうち所定の層のみを前記表示手段に表示させることを特徴とする画像処理装置。
17. 網膜の断層像に含まれる複数の層の硝子体からの距離に基づいて前記複数の層の表示順に関する情報を得る取得工程と、
    前記表示順に関する情報に基づき前記複数の層の各層を順次に表示手段に表示させる表示制御工程と、を有することを特徴とする画像処理方法。
18. 断層像に含まれる複数の層の表示順に関する情報を得る取得工程と、
    前記表示順に関する情報に基づき前記複数の層の各層を順次に表示手段に表示させる表示制御工程と、を有し、
    前記表示制御工程において、前記表示順の情報に従い順次に前記複数の層のうち所定の層のみを前記表示手段に表示させることを特徴とする画像処理方法。
19. 請求項１２、請求項１７および請求項１８のいずれか一項に記載の画像処理方法をコンピュータに実現させるプログラム。
20. 請求項１９に記載のプログラムを記録した記録媒体。