JP5408843B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、体内の管空内を移動する撮像機により撮像された時系列の管空内画像をもとに、撮像機の管空内での位置を推定することができる画像処理装置および画像処理プログラムに関するものである。

近年、カプセル型内視鏡に代表されるように、消化管等の体内の管空内を移動しながら時系列の管空内画像を順次撮像する医用の撮像機が開発されている。この撮像機は、患者の口から飲み込まれた後、管空内を蠕動運動等により移動しながら順次画像を撮像して体外の受信装置に送信し、最終的に体外に排出される。医師は、体外の受信装置で受信した時系列の管空内画像を診断用のワークステーション等で確認し、患部を発見した場合には、必要に応じて再度患者の体内に医療処置具を挿入したり、患者の体を切開する等して、組織採取や止血、患部切除といった医療処置をおこなう。

このような医療処置を効率よく行うためには、目標の患部が管空内のどこにあるのかという情報が必要となるが、撮像機が患部を撮像した場合、撮像時の撮像機の位置は患部の付近に相当する。したがって、撮像時の撮像機の位置を把握しておけば、患部の位置を推定することができる。

撮像時の撮像機の位置に関する情報は、体内での空間的な座標よりも、管空の入口や出口、あるいは特定の臓器の開始位置または終了位置から管空に沿ってどの程度の位置で撮像したのかという情報が有用である。例えば、小腸のように体内で形を変える臓器では、撮像時の撮像機の位置を座標で把握しても、臓器が変形してしまうと、特定した位置と実際の患部の位置とが一致しなくなる。撮像時の撮像機の位置を、管空の入口等の基点からの距離によって把握すれば、臓器が変形した場合であっても患部の位置を知ることができる。ここで、カプセル型内視鏡の管空内における所定の位置からの移動量を算出するものとしては、撮像機内にある磁界発生用の単心コイルにより発生した磁界を、体外に配置した複数のコイルによって検出することによって求めるものが知られている（特許文献１参照）。

特開２００５−１９８７８９号公報

しかしながら、特許文献１では、所定の位置からのカプセル型内視鏡の移動量を求めるために、カプセル型内視鏡内に単心コイルを設ける必要があり、カプセル型内視鏡が大型化するという問題がある。また、患者の体外に移動量検出用のコイルを配置せねばならず、システムの構成が複雑化し、コストが増大するという問題もある。

本発明は、上記に鑑みてなされたものであって、簡易な構成によって撮像機の管空内での移動量を推定することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、この発明にかかる画像処理装置は、体内の管空内を移動する撮像機により撮像された時系列の管空内画像を処理して、撮像機の移動量を推定する撮像機移動量推定手段を備えることを特徴とする。

また、この発明にかかる画像処理プログラムは、コンピュータに、体内の管空内を移動する撮像機により撮像された時系列の管空内画像を処理して、撮像機の移動量を推定する撮像機移動量推定ステップ、前記撮像機移動量推定ステップで複数枚の前記管空内画像を処理することで推定した複数の移動量の値を累積することにより、各管空内画像を撮像した際の前記管空内での前記撮像機の位置を推定する位置推定ステップ、を実行させることを特徴とする。

また、この発明にかかる画像処理プログラムは、体内の管空内を移動する撮像機により撮像された時系列の管空内画像を処理するコンピュータに、異なる時刻の管空内画像において管空内の所定部位を抽出する所定部位抽出ステップ、前記所定部位の位置をもとに前記撮像機の移動量を推定する移動量推定ステップ、を実行させることを特徴とする。

本発明に係る画像処理装置によれば、撮像機が時系列で撮像した画像を処理することによって撮像機の体内の管空内での移動量を推定することができるので、撮像機の管空内での位置の推定を、簡易な構成によって実現できる。

以下、本発明を実施するための最良の形態である画像処理装置について、図面を参照して説明する。

（実施の形態）
図１は、本発明の実施の形態である画像処理装置を含む画像処理得システムの全体構成を示す概略模式図である。なお、本実施の形態では、体内の管空内の画像（以下、管空内画像という。）を撮像する撮像機の一例として、カプセル型内視鏡を用いる。このカプセル型内視鏡は、撮像機能や無線機能、撮像部位を照明する照明機能等を具備するものであって、例えば、検査のために人や動物等の被検体の口から飲込まれて被検体内部に導入される。そして、自然排出されるまでの間、食道、胃、小腸、大腸等の内部の管空内画像を順次撮像して取得し、体外に無線送信する。

図１に示すように、画像処理システムは、被検体１内部の管空内画像を撮像する撮像機（カプセル型内視鏡）２、撮像機２から無線送信される管空内画像データを受信する受信装置３、受信装置３によって受信された管空内画像をもとに、撮像機２によって撮像された管空内画像を処理する画像処理装置５等を備える。受信装置３と画像処理装置５との間の管空内画像のデータの受け渡しには、例えば携帯型の記録媒体（携帯型記録媒体）４が使用される。

受信装置３は、被検体１の体外表面に貼付される複数の受信用アンテナ群Ａ１〜Ａｎを介して撮像機２から送信された無線信号を受信する無線ユニット３ａと、無線ユニット３ａが受信した無線信号の処理等をおこなう受信本体ユニット３ｂとを備え、無線ユニット３ａと受信本体ユニット３ｂとは、コネクタ等を介して着脱可能に接続される。この受信装置３は、携帯型記録媒体４の着脱が自在に構成されており、撮像機２によって撮像された被検体１内部の管空内画像の画像データを受信し、時系列順に携帯型記録媒体４に蓄積する。本実施の形態では、携帯型記録媒体４に、管空の入口での時刻ｔ（０）から、管空の出口での時刻ｔ（Ｔ）までの間に撮像された管空内画像の画像データが時系列順に蓄積されることとする。ここで、管空の入口での時刻ｔ（０）は、例えば撮像機２が被検体内部に導入された時刻に相当し、管空の出口における時刻ｔ（Ｔ）は、撮像機２が体外に排出された時刻に相当する。

画像処理装置５は、携帯型記録媒体４を着脱自在に装着し、この携帯型記録媒体４に蓄積された管空内画像の画像データを取得する外部インターフェース１０と、画像処理装置５全体の動作を制御する制御部１１と、記憶部１２と、管空内画像をもとにその撮像時における撮像機２の位置を推定するための種々の演算処理を行う演算部１３と、各種の指示情報を入力する入力部１４と、演算部１３の演算結果等を表示出力する表示部１５とを備える。

記憶部１２は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ−ＲＯＭ等の情報記憶媒体及びその読取装置等によって実現されるものであり、画像処理装置５の動作に係るプログラムや、画像処理装置５の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、演算部１３が管空内画像を処理して撮像時の撮像機２の位置を推定するための画像処理プログラム１２ａが格納される。

演算部１３は、構造領域抽出部１３ａと、対応領域抽出部１３ｂと、管空深部抽出部１３ｃと、移動量推定部１３ｄと、位置推定部１３ｅとを備える。構造領域抽出部１３ａは、管空内を移動する撮像機２によって撮像された一の管空内画像の中から、構造領域を抽出する。対応領域抽出部１３ｂは、一の管空内画像とは異なる時刻に撮像された他の管空内画像の中から、構造領域抽出部１３ａによって一の管空内画像の中から抽出された構造領域に対応する対応領域を抽出する。管空深部抽出部１３ｃは、一の管空内画像の中から、撮像機２の進行方向奥側の管空部分（以下、「管空深部」と称す。）を抽出する。移動量推定部１３ｄは、一の管空内画像中の構造領域と、他の管空内画像中の対応領域と、管空深部との位置関係をもとに、一の管空内画像の撮像時から他の管空内画像の撮像時までに移動した撮像機２の移動量を推定する。位置推定部１３ｅは、移動量推定部１３ｄによって推定された撮像機２の移動量をもとに、各管空内画像が撮像された際の管空内での撮像機２の位置を推定する。

図２は、画像処理装置５の演算部１３が行う演算処理手順を示す全体フローチャートである。なお、ここで説明する処理は、演算部１３が記憶部１２に格納された画像処理プログラム１２ａを実行することにより実現される。

図２に示すように、演算部１３は、先ず、処理対象の管空内画像の時系列順序を示す符号ｉを「０」に初期化する（ステップＳ１０１）。そして、演算部１３は、外部インターフェース１０および制御部１１を介して処理対象の管空内画像である時刻ｔ（ｉ）の管空内画像と、この管空内画像と時系列的に連続する管空内画像である時刻ｔ（ｉ＋１）の管空内画像とを取得する（ステップＳ１０２）。なお、ここでは、時系列的に連続する管空内画像を取得することとしたが、互いの管空内画像に管空内の共通部分が映る場合であれば、必ずしも時系列的に連続した管空内画像を取得する必要はない。

図３は、撮像機２によって撮像された管空内画像の一例を示す図である。管空内画像には、管空内の粘膜（以下、「管空粘膜」と称す。）２１、管空内を浮遊する内容物２２や泡２３等に加え、撮像機２の進行方向奥側の管空深部２４が映る。なお、撮像機２によって撮像される管空内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。

そして、図２に示すように、構造領域抽出部１３ａが時刻ｔ（ｉ）の管空内画像の中から構造領域を抽出する構造領域抽出処理を実行し（ステップＳ１０３）、対応領域抽出部１３ｂが時刻ｔ（ｉ＋１）の管空内画像の中から対応領域を抽出する対応領域抽出処理を実行し（ステップＳ１０４）、管空深部抽出部１３ｃが時刻ｔ（ｉ），ｔ（ｉ＋１）の各管空内画像の中から管空深部を抽出する管空深部抽出処理を実行し（ステップＳ１０５）、移動量推定部１３ｄが時刻ｔ（ｉ）からｔ（ｉ＋１）までの撮像機２の移動量を推定する移動量推定処理を実行する（ステップＳ１０６）。

そして、ステップＳ１０６の移動量推定処理の後、演算部１３が、時系列順序を示す符号をインクリメントしてｉ＝ｉ＋１とし（ステップＳ１０７）、次に処理対象とする時刻ｔ（ｉ）の管空内画像の有無をｔ（ｉ）≦ｔ（Ｔ）により判定する。ここで、ｔ（Ｔ)は、処理対象とする管空内画像に係る最終の時刻である。ｔ（ｉ）≦ｔ（Ｔ）の場合には（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０１〜ステップＳ１０７の処理を再度実行する。なお、時系列的に連続した管空内画像を処理する場合には、ステップＳ１０５の管空深部抽出処理によって時刻ｔ（ｉ＋１）の管空内画像から抽出した管空深部を記憶部１２に保持しておくことにより、次にこの時刻ｔ（ｉ＋１）の管空内画像を時刻ｔ（ｉ）の管空内画像としてステップＳ１０２からステップＳ１０７の処理を再度実行する場合に、これを利用することができ、これによって計算負荷を軽減できる。一方、ｔ（ｉ）＞ｔ（Ｔ）の場合には（ステップＳ１０８：Ｎｏ）、ステップＳ１０９に移行し、位置推定部１３ｅが各管空内画像が撮像された際の撮像機２の位置を推定する位置推定処理を実行する（ステップＳ１０９）。そして、演算部１３が、位置推定処理の結果に基づいて、各管空内画像が撮像された際の管空内での撮像機２の位置情報を出力して（ステップＳ１１０）、画像処理装置５における演算部１３の演算処理を終了する。例えば、演算部１３は、制御部１１を介して位置情報を表示部１５に表示出力させる。

次に、演算部１３の各部が実行する処理について、詳細に説明する。先ず、図２のステップＳ１０３による構造領域抽出処理について説明する。この構造領域抽出処理では、構造領域抽出部１３ａは、時刻ｔ（ｉ）の管空内画像の中から複数の構造領域を抽出する。構造領域とは、異なる時刻に撮像された管空内画像間（この処理では、図２のステップＳ１０２で取得された時刻（ｉ）の管空内画像と、この管空内画像と時系列的に連続する時刻（ｉ＋１）の管空内画像との間）で対応付けが可能な領域であり、例えば、管空粘膜上の局所的な部位を特徴付ける構造（以下、「特徴構造」と称す。）が映る領域である。通常管空粘膜にはしわがあり、表面には部分的に血管が透けて見えるのが一般的である。これら管空粘膜のしわや表面に透けて見える血管は、各部で形状が異なり他とは識別が可能なので、特徴構造といえる。構造領域抽出部１３ａは、これら特徴構造が明確に映る領域を抽出する。

図４は、構造領域抽出処理の詳細な処理手順を示すフローチャートである。構造領域抽出部１３ａは、例えば、時刻ｔ（ｉ）の管空内画像の左上位置を初期位置として所定サイズの矩形領域を設定し、この矩形領域の位置を所定量ずつずらしながら管空内画像の右下位置まで走査させることにより、この時刻ｔ（ｉ）の管空内画像中の構造領域を探索する。

先ず、構造領域抽出部１３ａは、時刻ｔ（ｉ）の管空内画像上の初期位置に所定サイズの矩形領域を設定する（ステップＳ３０１）。そして、構造領域抽出部１３ａは、設定した矩形領域内の色に関する特徴量を求める（ステップＳ３０２）。ここで、色に関する特徴量とは、例えば、設定した矩形領域内のＲＧＢ平均値やＲＧＢヒストグラム、或いは矩形領域内の各画素のＲＧＢ値から２次的に計算される色比，色差，色相，彩度等の平均値やヒストグラム等である。

次に、構造領域抽出部１３ａは、ステップＳ３０２で求めた矩形領域内の色に関する特徴量と、予め設定した管空粘膜の色に関する特徴量との類似度を算出する（ステップＳ３０３）。例えば、構造領域抽出部１３ａは、互いの特徴量を各々一つの特徴ベクトルと考えた場合のベクトル先端間の距離や、ベクトル同士のなす角の余弦等を、類似度として算出する。

次に、構造領域抽出部１３ａは、ステップＳ３０３で算出した類似度と、予め閾値として設定される基準類似度とを比較し、設定した矩形領域が管空粘膜上の領域かを判定する。例えば、構造領域抽出部１３ａは、算出した類似度が基準類似度以上ならば、設定した矩形領域が管空粘膜を映した領域と判定し（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０５に移行する。一方、算出した類似度が基準類似度未満の場合には、設定した矩形領域が、例えば内容物や泡を映した領域であって、管空粘膜を映した領域ではないと判定し（ステップＳ３０４：Ｎｏ）、ステップＳ３０６に移行する。

ステップＳ３０５では、構造領域抽出部１３ａは、矩形領域内の画素値の分布範囲を算出する。算出された分布範囲は、現時点での矩形領域の位置に係る情報と対応付けられて記憶部１２に保持される。画素値の分布範囲としては、矩形領域内のＲＧＢ色成分毎の画素値の分布範囲を算出して、これらの中から最も広い分布範囲を選出することとしてもよいし、特定の色成分の分布範囲を算出してもよい。得られた分布範囲が狭い場合には、矩形領域内の画素値は一様な状態であり、特徴構造が映っている可能性は低い。一方、得られた分布範囲が広い場合には、矩形領域に特徴構造が映っている可能性が高い。なお、画素値の分布範囲は、矩形領域内の全画素を用いて算出しなくてもよい。例えば、矩形領域内の所定方向の画素列の画素値を用いて分布範囲を算出してもよいし、直交する２方向の画素列の画素値を用いて分布範囲を算出してもよく、結果として矩形領域内の全画素を用いて算出する場合と比べて計算負荷を軽減することができる。

そして、構造領域抽出部１３ａは、時刻ｔ（ｉ）の管空内画像上での設定領域の走査が終了するまで（ステップＳ３０６：Ｎｏ）、矩形領域の位置を変更し（ステップＳ３０７）、ステップＳ３０２〜ステップＳ３０６の処理を繰り返し実行する。そして、時刻ｔ（ｉ）の管空内画像上での設定領域の走査が終了した場合には（ステップＳ３０６：Ｙｅｓ）、ステップＳ３０８に移行する。ステップＳ３０８では、構造領域抽出部１３ａは、ステップＳ３０５で分布範囲を算出した矩形領域の中から、その分布範囲が広いものから順に所定数個を選出し、特徴構造が映る構造領域として抽出する。このとき、各構造領域が重ならないように矩形領域を選出する。選出された構造領域に係るデータは、記憶部１２に保持される。そして、構造領域抽出部１３ａは、図２のステップＳ１０３にリターンする。

図５は、構造領域抽出処理の結果を示す模式図であり、図３に例示した管空内画像を時刻ｔ（ｉ）の管空内画像として構造領域抽出処理を行った結果抽出された構造領域の一例を示している。図５の例では、構造領域として、４つの構造領域Ｔ１，Ｔ４，Ｔ３，Ｔ４が抽出されており、この構造領域抽出処理によって、管空内に浮遊する内容物２２や泡２３等が映る領域を避け、しわや血管を含む管空粘膜の領域２１の特徴構造が映る構造領域が抽出される。

次に、図２のステップＳ１０４による対応領域抽出処理について説明する。この対応領域抽出処理では、対応領域抽出部１３ｂは、時刻ｔ（ｉ＋１）の管空内画像の中から、構造領域抽出処理の結果時刻ｔ（ｉ）の管空内画像の中から抽出された各構造領域と同一箇所と判断される領域を、対応領域として抽出する。具体的には、対応領域抽出部１３ｂは、構造領域抽出処理によって抽出された各構造領域をテンプレートに設定し、公知のテンプレートマッチング処理を行って、時刻ｔ（ｉ＋１）の管空内画像から、各テンプレートに類似する領域を検出する。テンプレートマッチングの手法としては、例えば、“ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２０２ｐ，テンプレートマッチング”で開示された手法を用いることができる。なお、マッチングの探索範囲は各テンプレートの中心座標（ｘ_j，ｙ_j）(ｊ＝１，２，・・・，Ｎ（Ｎ：テンプレート数）)を中心に、管空内画像の時系列的な変化量を考慮して設定すればよい。また高速化のために、疎密探索法、残差逐次検討法等を用いても良い。例えば、“ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，２０６ｐ，高速探索法”で開示された手法を用いることができる。結果的に、時刻ｔ（ｉ）の管空内画像の中から抽出した各構造領域それぞれに対応するテンプレート毎に、時刻ｔ（ｉ＋１）の管空内画像の中から最も類似する領域の座標（ｘ_j’，ｙ_j’）と、その類似度とが得られる。マッチング時の類似度が低いテンプレートに関しては、同一箇所と判断せずに、対応領域として抽出しない。また、このようにマッチングの結果対応領域が抽出されなかった構造領域は、以後の処理で使用しない。

図６は、対応領域抽出処理の結果を示す模式図であり、図５に例示した管空内画像と時系列的に連続するｔ（ｉ＋１）の管空内画像をもとに、各構造領域Ｔ１〜Ｔ４をそれぞれテンプレートとしてマッチングを行った結果抽出された対応領域の一例を示している。図６の例では、図５の構造領域Ｔ１に対応する対応領域Ｔ１’、構造領域Ｔ２に対応する対応領域Ｔ２’、構造領域Ｔ３に対応する対応領域Ｔ３’、構造領域Ｔ４に対応する対応領域Ｔ４’が、それぞれ抽出されている。また、図６において、各テンプレートの探索範囲ＳＴ１’〜ＳＴ４’を破線によって示している。例えば、図５に示すｔ（ｉ）の管空内画像中の構造領域Ｔ１に着目すれば、この構造領域Ｔ１をテンプレートとしたマッチングが、図６に示すｔ（ｉ＋１）の管空内画像中の破線で示す探索範囲ＳＴ１’で行われ、検出された類似度の高い領域が対応領域Ｔ１’として抽出される。

次に、図２のステップＳ１０５による管空深部抽出処理について説明する。この管空深部抽出処理では、管空深部抽出部１３ｃは、時刻ｔ（ｉ），ｔ（ｉ＋１）の各管空内画像の中から、管空深部を抽出し、その重心位置を算出する。管空深部は、撮像機２から距離が離れているため、撮像機２からの照明が届きにくく、暗い領域として得られる。この暗い画素が集まっている領域を管空深部として抽出し、その重心位置を求める。なお、図３，５，６に示す管空内画像では、管空を理解し易いように模式的に管空深部の中心を明るく示しているが、実際には中心部分も暗い。管空深部抽出部１３ｃは、時刻ｔ（ｉ），ｔ（ｉ＋１）の各管空内画像の中から暗い画素が集まる領域（暗部）を管空深部として抽出し、その重心位置を求める。

図７は、管空深部抽出処理の詳細な処理手順を示すフローチャートである。管空深部抽出部１３ｃは、時刻ｔ（ｉ）の管空内画像およびｔ（ｉ＋１）の管空内画像をそれぞれ処理対象とし、ループＡの処理をそれぞれ実行する（ステップＳ５０１〜ステップＳ５０６）。ここで、ループＡ内の処理の説明において、処理対象とする管空内画像を「対象管空内画像」と称す。

ループＡでは、先ず、対象管空内画像を構成する各画素のＧ値と、予め設定される所定の閾値とを比較し、対象管空内画像の各画素の中から、Ｇ値が所定の閾値以下の画素を暗部画素として抽出する（ステップＳ５０２）。ここでＧ値を用いるのは、血液中のヘモグロビンの吸収帯域の波長に近く、感度や解像度が高いことから、対象管空内画像の明暗情報をよく表すためである。なお、Ｇ値以外の色成分の値を用いて暗部画素を抽出することとしてもよい。あるいは、公知の変換技術を用いて算出した明暗情報を示す値を用いて暗部画素を抽出することとしてもよい。例えば、ＹＣｂＣｒ変換によって算出した輝度や、ＨＳＩ変換によって算出した明度を用いることができる。また、Ｇ値に対して予め設定される所定の閾値を設定することとしたが、対象管空内画像を構成する各画素のＧ値分布を算出し、公知の判別分析法等を用いて設定することとしてもよい。判別分析法の手法としては、例えば、“ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１７５ｐ，判別分析法”で開示された手法を用いることができる。

続いて、管空深部抽出部１３ｃは、ステップＳ５０２で抽出した暗部画素に対して公知のラベリング処理を行って、隣接する暗部画素群に固有の値（ラベル）を付ける（ステップＳ５０３）。これにより、対象管空内画像中の暗部領域を認識することができる。ラベリング処理の手法としては、例えば、“ＣＧ−ＡＲＴＳ協会，ディジタル画像処理，１８１ｐ，ラベリング”で開示された手法を用いることができる。

続いて、管空深部抽出部１３ｃは、ステップＳ５０３で認識した対象管空内画像中の各暗部領域の面積をそれぞれ算出し、面積が最も大きい暗部領域を管空深部として抽出する（ステップＳ５０４）。管空内画像には、例えば管空粘膜のしわの影等、管空深部以外の暗部領域も存在するが、通常これらの領域は管空深部に比べて面積が小さいので、管空深部との識別が可能である。そして、管空深部抽出部１３ｃは、管空深部として抽出した暗部領域の重心位置を算出する（ステップＳ５０５）。抽出された管空深部の領域や、この管空深部の重心位置に係るデータは、対象管空内画像の識別情報と対応付けられて記憶部１２に保持される。そして、管空深部抽出部１３ｃは、時刻ｔ（ｉ）の管空内画像およびｔ（ｉ＋１）の管空内画像それぞれについてループＡの処理を実行したならば、図２のステップＳ１０５にリターンする。

図８は、図５に例示したｔ（ｉ＋１）の管空内画像に対する管空深部抽出処理の結果を示す模式図である。図８の例では、管空深部抽出処理の結果、斜線領域３１で示す暗部領域が管空深部として抽出され、その重心位置３３が算出される。

次に、図２のステップＳ１０６による移動量推定処理について説明する。この移動量推定処理では、移動量推定部１３ｄは、構造領域抽出部１３ａが時刻ｔ（ｉ）の管空内画像の中から抽出した構造領域の位置と、対応領域抽出部１３ｂが時刻ｔ（ｉ＋１）の管空内画像の中から抽出した対応領域の位置と、管空深部抽出部１３ｃが時刻ｔ（ｉ）管空内画像およびｔ（ｉ＋１）の管空内画像の中から抽出した管空深部およびその重心位置とをもとに、時刻ｔ（ｉ）からｔ（ｉ＋１）までの撮像機２の移動量を推定する。推定された移動量は、記憶部１２に格納・蓄積される。

図９は、移動量推定処理を説明するための管空内と撮像機２のモデル図であり、時刻ｔ（ｉ）において管空内の特徴構造５１を含む管空内画像を撮像した撮像機２の撮像状況モデルを上段に示し、時刻ｔ（ｉ＋１）において特徴構造５１を含む管空内画像を撮像した撮像機２の撮像状況モデルを下段に示している。図９の下段に示す撮像状況モデルでは、上段に示す撮像状況モデルに対して、その撮像位置（撮像機２の位置）の変化と撮像方向の変化とが見られる。ここで、Ｄは、時刻ｔ（ｉ）における撮像機２から管空粘膜の特徴構造５１までの距離を管空内壁面上に投影した特徴構造距離を表し、Ｄ’は、時刻ｔ（ｉ＋１）における撮像機２から管空粘膜の特徴構造５１までの距離を管空内壁面上に投影した特徴構造距離を表す。Ｏは撮像機２が有するレンズ等の光学系の主点に相当する光学中心である。Ｒは管空半径である。この管空半径Ｒとしては、例えば平均的な管空半径を用いる。

また、図９上段のモデル図において、この撮像状況モデルによって撮像機２の撮像素子上に投影されて得られる管空内画像の画像座標５３ａを示している。この画像座標５３ａは、撮像機２の光軸５２と交わる位置を原点とした座標系であり、ｆは、撮像機２の光学中心Ｏから撮像素子までの距離である。ここで、この撮像状況モデルによって得られる管空内画像中の特徴構造５１が映る構造領域の中心の座標を、構造領域中心座標Ｔ（ｘＴ，ｙＴ）とし、この管空内画像における管空深部の重心位置の座標を管空深部重心座標Ｃ（ｘＣ，ｙＣ）とする。また、θを、時刻ｔ（ｉ）における、光学中心Ｏから管空深部方向へのベクトルＯＣと光学中心Ｏから特徴構造５１へのベクトルＯＴとの成す角とする。

同様にして、図９下段のモデル図において、この撮像状況モデルによって得られる管空内画像の画像座標５３ｂを示している。この画像座標５３ｂは、撮像機２の光軸５２と交わる位置を原点とした座標系であり、ｆは、撮像機２の光学中心Ｏから撮像素子までの距離である。ここで、この撮像状況モデルによって得られる管空内画像中の特徴構造５１が映る対応領域の中心の座標を、対応領域中心座標Ｔ’（ｘＴ’，ｙＴ’）とし、この管空内画像における管空深部の重心位置の座標を管空深部重心座標Ｃ’（ｘＣ’，ｙＣ’）とする。また、θ’を、時刻ｔ（ｉ＋１）における、光学中心Ｏから管空深部の重心方向５４へのベクトルＯＣ’と光学中心Ｏから特徴構造５１へのベクトルＯＴ’とのなす角とする。

ここで、図９上段の撮像状況モデルの特徴構造距離Ｄ，構造領域中心座標Ｔ，管空深部重心座標Ｃ，距離ｆ，管空半径Ｒから、次式（１）が得られる。なお、δは、撮像機２の撮像素子のピッチを表す。距離ｆおよび撮像素子のピッチδの各カメラパラメータの値は、事前に取得しておく。

同様にして、図下段の撮像状況モデルの特徴構造距離Ｄ’，構造領域中心座標Ｔ’，管空深部重心座標Ｃ’，距離ｆ，管空半径Ｒから、から、次式（２）が得られる。

そして、式（１）および式（２）から次式（３）が得られる。

式（３）を変形すると、次式（４）が得られる。

式（４）が示すＤ−Ｄ’は、時刻ｔ（ｉ）およびｔ（ｉ＋１）の各時刻での撮像機２から管空粘膜の特徴構造５１までの距離を管空内壁面上に投影した特徴構造距離の差分であり、図９下段に示す時刻ｔ（ｉ）からｔ（ｉ＋１）までの撮像機２の移動量ｄに相当する。このようにしてＤ−Ｄ’を求めることにより、時刻ｔ（ｉ）からｔ（ｉ＋１）までの撮像機２の移動量を推定することができる。具体的には、移動量推定部１３ｄは、構造領域抽出処理によって抽出された各構造領域に対応する特徴構造それぞれについてＤ−Ｄ’を求める。そして、移動量推定部１３ｄは、求めた複数の移動量の値の平均値を算出して、撮像機２の時刻ｔ（ｉ）からｔ（ｉ＋１）までの移動量と推定する。

次に、図２のステップＳ１０９による位置推定処理について説明する。この位置推定処理では、位置推定部１３ｅは、移動量推定処理の結果推定されて記憶部１２に蓄積された時刻ｔ（ｉ）からｔ（ｉ＋１）までの撮像機２の移動量の累積値を求め、各管空内画像を撮像した際の撮像機２の位置を推定する。この累積値は、管空の入口での時刻ｔ（０）から管空の出口での時刻ｔ（Ｔ）までの撮像機２の移動距離に相当する。なお、求めた累積値を、撮像機２が管空入口から出口まで移動した移動量の総和、すなわち管空の全長で割ることにより、各時刻における管空内での撮像機２の相対的な位置を割り出すこととしてもよい。

図１０は、位置推定処理の結果を示す模式図であり、横軸を時刻ｔ、縦軸を管空入口から管空出口までの撮像機２の相対的な位置として、推定された撮像機２の相対的な位置の時系列変化を示している。これによれば、患部を映した管空内画像の撮像時刻をもとに、この管空内画像を撮像した際の管空内での撮像機２の管空入口または管空出口からの相対的な位置を知ることができ、患部の位置を推定することが可能となる。

このように本実施の形態では、撮像機２が時系列で撮像した管空内画像を処理することによって、撮像機内や患者の体外に別途装置を設けることなく、簡易な構成で撮像機２の移動量を推定し、各管空内画像を撮像した際の撮像機２の管空内における位置を推定することができる。この結果、撮像機に移動量測定用の単心コイル等の装置を別途内蔵した場合のように撮像機が大型化したり、システムの構成が複雑化するようなことはなく、撮像機や体外装置をコンパクトかつ低コストで生産することができる。

なお、撮像機２が患部を撮像した場合の撮像機２の位置は、患部の近傍であって、患部の位置と完全には同一ではない。しかしながら、患部が映る管空内画像を利用して、患者の管空内へ医療処置具を挿入する際の挿入ルートを経口からとすべきか経腔からとすべきかを判断する場合であるとか、患者の体を切開する位置を特定臓器の上部に近い方とすべきか下部に近い方とすべきかを判断する場合等には、患部の位置を厳密に把握せずともよい。この場合、本実施の形態によって患部の大体の位置の情報が得られれば、その後の組織採取や止血、患部切除等の医療処置でこの位置の情報を役立てることができる。

また、本実施の形態では、管空入口から出口までを対象に説明を行ったが、小腸または大腸等の特定の臓器の開始位置または終了位置等を基点とした撮像機２の位置を推定してもよい。これによれば、特定の臓器の開始位置または終了位置から管空に沿ってどの程度の位置に患部があるかという情報を得ることができる。

また、本実施の形態では、構造領域を管空深部よりも先に抽出したが、管空深部を先に抽出し、この位置にもとづいて構造領域を抽出してもよく、例えば管空深部を囲むように構造領域を抽出してもよい。

また、本実施の形態では、所定サイズの矩形領域を走査しながら構造領域として適当な複数の領域を抽出する方法を示したが、構造領域の形状は矩形である必要はなく任意の形状でもよい。たとえば矩形領域内の画素ごとに、管空粘膜の画素か否かの判定を行い、管空粘膜でないと判定された画素を除いた任意形状の領域を構造領域として抽出することもできる。

また、予め所定サイズの格子状に管空内画像を分割し、各分割領域において図４に示したステップＳ３０２〜Ｓ３０５を行い、最後に、分布範囲が大きな分割領域から順に所定個数の分割領域を構造領域として抽出してもよく、結果として構造領域を抽出するための計算負荷を軽減できる。ここで、構造領域を複数抽出せず、一つだけ抽出することにすれば計算負荷はさらに軽減できる。

画像処理装置を含む画像処理得システムの全体構成を示す概略模式図である。 画像処理装置の演算部が行う演算処理手順を示す全体フローチャートである。 撮像機によって撮像された管空内画像の一例を示す図である。 構造領域抽出処理の詳細な処理手順を示すフローチャートである。 構造領域抽出処理の結果を示す模式図である。 対応領域抽出処理の結果を示す模式図である。 管空深部抽出処理の詳細な処理手順を示すフローチャートである。 管空深部抽出処理の結果を示す模式図である。 移動量推定処理を説明するための管空内と撮像機のモデル図である。 位置推定処理の結果を示す模式図である。

符号の説明

１ 被検体
２ 撮像機
３ 受信装置
Ａ１〜Ａｎ 受信用アンテナ群
３ａ 無線ユニット
３ｂ 受信本体ユニット
４ 携帯型記録媒体
５ 画像処理装置
１０ 外部インターフェース
１１ 制御部
１２ 記憶部
１２ａ 画像処理プログラム
１３ 演算部
１３ａ 構造領域抽出部
１３ｂ 対応領域抽出部
１３ｃ 管空深部抽出部
１３ｄ 移動量推定部
１３ｅ 位置推定部
１４ 入力部
１５ 表示部

Claims (12)

1. 体内の管空内を移動する撮像機により撮像された時系列の管空内画像において、異なる時刻の前記管空内画像における管空内の所定部位をそれぞれ抽出する所定部位抽出手段と、
   前記所定部位の位置をもとに前記撮像機の移動量を推定する移動量推定手段と、
   を有する撮像機移動量推定手段を備え、
   前記所定部位抽出手段は、
   前記管空内画像より構造領域を抽出する構造領域抽出手段と、
   前記構造領域を抽出した管空内画像とは異なる時刻の管空内画像より構造領域と対応する対応領域を抽出する対応領域抽出手段と、
   前記管空内画像より前記管空内の奥が映る部分である管空深部を抽出する管空深部抽出手段と、
   を有し、前記所定部位として前記構造領域、前記対応領域および前記管空深部を抽出し、
   前記移動量推定手段は、前記構造領域、前記対応領域および前記管空深部の位置をもとに前記撮像機の移動量を推定することを特徴とする画像処理装置。
2. 前記移動量推定手段は、前記構造領域、前記対応領域および前記管空深部の位置をもとに、第１の時刻における前記撮像機から前記構造領域までの第１の距離を管空内の壁面上に投影して第１の投影距離を求めるとともに、第２の時刻における前記撮像機から前記対応領域までの第２の距離を管空内の壁面上に投影して第２の投影距離を求め、さらに、前記第１の投影距離と前記第２の投影距離との差分を算出することで前記撮像機の移動量を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記移動量推定手段は、前記第１の時刻における撮像機が有する光学系の主点に相当する光学中心から前記管空深部へのベクトルと、前記光学中心から前記構造領域へのベクトルとのなす角である第１の角を算出し、該算出した第１の角と前記管空の半径とを用いて前記第１の投影距離を求めるとともに、前記第２の時刻における撮像機が有する光学系の主点に相当する光学中心から前記管空深部へのベクトルと、前記光学中心から前記対応領域へのベクトルとのなす角である第２の角を算出し、該算出した第２の角と前記管空の半径とを用いて前記第２の投影距離を求めることを特徴とする請求項２に記載の画像処理装置。
4. 前記構造領域抽出手段は、前記管空内の粘膜が映る領域を前記構造領域として抽出することを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。
5. 前記構造領域抽出手段は、前記管空内の粘膜のしわ、または前記管空内の粘膜表面の血管の少なくとも一方が映る領域を前記構造領域として抽出することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記構造領域抽出手段は、画素値の分布範囲が所定の閾値より大きな領域を前記構造領域として抽出することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記構造領域抽出手段は、前記管空内画像内の複数の領域を前記構造領域として抽出することを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記対応領域抽出手段は、異なる時刻の体内の管空内画像間において、前記構造領域をテンプレートとしたマッチング処理を行い、マッチング時の類似度が所定の閾値より高い領域を、前記対応領域として抽出することを特徴とする請求項１〜７のいずれか一つに記載の画像処理装置。
9. 前記管空深部抽出手段は、前記管空内画像内の暗い画素が集まる領域を前記管空深部として抽出することを特徴とする請求項１〜８のいずれか一つに記載の画像処理装置。
10. 前記撮像機移動量推定手段で複数枚の前記管空内画像を処理することで推定した複数の移動量の値を累積することにより、各管空内画像を撮像した際の前記管空内での前記撮像機の位置を推定する位置推定手段をさらに備えることを特徴とする請求項１〜９のいずれか一つに記載の画像処理装置。
11. 体内の管空内を移動する撮像機により撮像された時系列の管空内画像を処理するコンピュータに、
    異なる時刻の管空内画像において管空内の所定部位を抽出する所定部位抽出ステップ、
    前記所定部位の位置をもとに前記撮像機の移動量を推定する移動量推定ステップ、
    を実行させ、
    前記所定部位抽出ステップは、
    前記管空内画像より構造領域を抽出する構造領域抽出ステップと、
    前記構造領域を抽出した管空内画像とは異なる時刻の管空内画像より構造領域と対応する対応領域を抽出する対応領域抽出ステップと、
    前記管空内画像より前記管空内の奥が映る部分である管空深部を抽出する管空深部抽出ステップと、
    を含み、前記所定部位として前記構造領域、前記対応領域および前記管空深部を抽出し、
    前記移動量推定ステップは、前記構造領域、前記対応領域および前記管空深部の位置をもとに前記撮像機の移動量を推定することを特徴とする画像処理プログラム。
12. 前記移動量推定ステップで複数枚の前記管空内画像を処理することで推定した複数の移動量の値を累積することにより、各管空内画像を撮像した際の前記管空内での前記撮像機の位置を推定する位置推定ステップをさらに実行させることを特徴とする請求項１１に記載の画像処理プログラム。

Images