JP6422597B2 - 画像処理装置、画像処理システム、画像処理装置の作動方法 - Google Patents

Description

本発明は、複数の２次元の被検体画像から３次元形状画像を生成する画像処理装置、画像処理システム、画像処理装置の作動方法に関する。

従来より、２次元画像から３次元形状を構築する技術が提案されている。このとき、１フレームの２次元画像から構築できる３次元形状は、１フレーム分の２次元画像に対応する３次元部分形状しか構築できないために、対象臓器の全域を観察した複数フレームの２次元画像を使用して臓器全域の３次元形状を構築する技術も提案されている。

例えば、日本国特許５３５４４９４号公報には、解像度が高く且つ色情報を備えた３次元画像（例えば、仮想内視鏡画像）を生成する３次元画像生成装置が記載されている。具体的に、該公報に記載の技術では、あるフレーム画像における例えば円形の試験線上の画素のみを抽出して一次元的に展開することを、複数のフレーム画像について行い、さらに複数の一次元展開画素列を合成することで管状構造物の内壁を平面的に展開した２次元画像を生成する。さらに、生成した２次元画像を格子状に分割する。また、２次元画像における各座標上の輝度情報に基づいて３次元座標（ｘ，ｙ，ｚ）（モデル空間座標）を算出し、３次元モデルを生成する。そして、２次元座標と３次元座標に基づいて、３次元モデルに２次元画像のテクスチャを貼り付けることで３次元モデルを生成するようになっている。

このような技術において、管状構造物の内壁を平面的に展開した２次元画像を正確に生成するためには、複数の一次元展開画素列の位置関係を把握する必要があり、フレーム画像を取得する内視鏡の６自由度情報、すなわち、内視鏡の３次元位置（３次元並進自由度情報）と、内視鏡の光学系の光軸周りの回転自由度および光軸に直交する２軸周りの各回転自由度情報と、が必要である。

しかしながら、内視鏡の挿入部は細径化が図られているために、挿入部の先端部において光軸周り（撮像方向周り）の回転角度を検出することは技術的に困難である。そして、撮像方向周りの回転角度が検出されない５自由度情報のみでは、あるフレーム画像における試験線上の画素と、他のフレーム画像における試験線上の画素と、の位置関係を推定することができず、正確な３次元形状画像を生成することが困難であった。

本発明は上記事情に鑑みてなされたものであり、撮像方向周りの回転自由度情報がなくても、複数の２次元の被検体画像からより正確な３次元形状画像を生成することができる画像処理装置、画像処理システム、画像処理装置の作動方法を提供することを目的としている。

本発明のある態様による画像処理装置は、被検体を撮像した２次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の３次元ｘｙｚ座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をｚ軸としたときの当該ｚ軸に垂直なｘ軸周りの回転角とｙ軸周りの回転角、からなる撮像位置情報と、が入力される画像入力部と、異なる２つの前記被検体画像に基づいて、前記被検体における第１の領域の３次元形状を示す第１の３次元画像データと、前記被検体における第２の領域の３次元形状を示す第２の３次元画像データと、を構築する３次元画像構築部と、前記第１の３次元画像データに含まれる前記第１の領域の３次元形状と、前記第２の３次元画像データに含まれる前記第２の領域の３次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記３次元画像データが有する前記第１の領域の３次元形状と前記第２の領域の３次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出する位置関係算出部と、前記撮像位置情報に対応した位置に配置された前記第１の領域の３次元形状と前記第２の領域の３次元形状との前記ずれ角度を補正して、３次元空間上に配置することで３次元形状画像を生成する３次元形状画像生成部と、を備える。

本発明のある態様による画像処理システムは、前記被検体を撮像して、前記２次元の被検体画像を生成する内視鏡と、前記画像処理装置と、を備え、前記画像入力部に入力される２次元の前記被検体画像は、前記内視鏡により生成された、２次元の前記被検体画像である。

本発明のある態様による画像処理装置の作動方法は、被検体を撮像した２次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の３次元ｘｙｚ座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をｚ軸としたときの当該ｚ軸に垂直なｘ軸周りの回転角とｙ軸周りの回転角、からなる撮像位置情報と、が入力されるステップと、異なる２つの前記被検体画像に基づいて、前記被検体における第１の領域の３次元形状を示す第１の３次元画像データと、前記被検体における第２の領域の３次元形状を示す第２の３次元画像データと、を構築するステップと、前記第１の３次元画像データに含まれる前記第１の領域の３次元形状と、前記第２の３次元画像データに含まれる前記第２の領域の３次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記３次元画像データが有する前記第１の領域の３次元形状と前記第２の領域の３次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出するステップと、前記撮像位置情報に対応した位置に配置された前記第１の領域の３次元形状と前記第２の領域の３次元形状との前記ずれ角度を補正して、３次元空間上に配置することで３次元形状画像を生成するステップと、を備える。

本発明の実施形態１における画像処理システムの構成を示す図。 上記実施形態１の画像処理装置の構成を示すブロック図。 上記実施形態１の画像処理装置の作用を示すフローチャート。 上記実施形態１の画像処理装置における位置関係算出処理を示すフローチャート。 上記実施形態１において、管状の被検体に内視鏡が挿入されている様子を示す図。 上記実施形態１において、内視鏡画像に、３次元画像データを構築するための画像領域を設定する様子を示す図。 上記実施形態１において、内視鏡画像から構築された３次元画像データの例を示す図。 上記実施形態１において、一旦構築した比較元部分形状が分岐管状となっているときの例を示す図。 上記実施形態１において、図８の断面Ｃ１における比較元部分形状の例を示す図。 上記実施形態１において、図８の断面Ｃ２における比較元部分形状の例を示す図。 上記実施形態１において、図８の断面Ｃ３における比較元部分形状の例を示す図。 上記実施形態１において、内視鏡画像から構築された３次元画像データを２次元に展開した例を示す図。 上記実施形態１において、展開画像に内視鏡画像を貼り合わせた周辺画像の例を示す図。 上記実施形態１において、周辺画像を複数の領域に分割して、特徴部分としてのテンプレートを設定する例を示す図。 上記実施形態１において、位置ずれ角度Δθをなくすように比較元展開画像と比較先展開画像とを重ね合わせる様子を示す概念図。 上記実施形態１において、テンプレートマッチングの類似度が低い場合に、比較元部分形状を比較先部分形状と異なる色で表示する例を示す図。 本発明の実施形態２の画像処理装置の構成を示すブロック図。 上記実施形態２の画像処理装置における位置関係算出処理を示すフローチャート。 上記実施形態２において、比較元部分形状および比較先部分形状の対向する端縁に、複数の指標点を同一数ずつ設定する様子を示す図。 上記実施形態２において、平面に投影された複数の指標点間の距離に基づいて評価距離を算出する例を説明するための図。 上記実施形態２の変形例１の画像処理装置の構成を示すブロック図。 上記実施形態２の変形例１の画像処理装置における位置関係算出処理を示すフローチャート。 上記実施形態２の変形例１において、平面に投影された２つ端縁で囲まれる２つ図形の重畳度を評価する例を説明するための図。 上記実施形態２の変形例２の画像処理装置における位置関係算出処理を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１６は本発明の実施形態１を示したものであり、図１は画像処理システム１の構成を示す図である。

本実施形態の画像処理システム１は、内視鏡２と、ビデオプロセッサ３と、ケーブル４と、画像処理装置５と、モニタ６と、キーボード７と、マウス８と、を備えており、被検体を撮像して得た２次元画像から、被検体の３次元形状画像を生成して表示する観察支援装置としての機能を備えている。

内視鏡２は、例えば、対物レンズおよび撮像素子等を含む撮像系と、照明レンズおよび光ファイバを含む照明系と、を含んで構成された撮像装置である。ただし、内視鏡２はこの構成に限定されるものではなく、例えば照明系がＬＥＤ等を含んでいても良いし、内視鏡において取り得るその他の任意の構成を採用しても構わない。ここに、内視鏡２は、医療用内視鏡でも工業用内視鏡でも何れでも構わない。

また、内視鏡２は、挿入部の撮像系が設けられている先端部内に、５自由度センサ（以下、５Ｄセンサという）１１を備えている。挿入部における対物レンズの光軸をｚ軸（正方向を物体側、負方向を像側とする）、ｚ軸に垂直な２方向の軸をｘ軸およびｙ軸としたときに、この５Ｄセンサ１１は、内視鏡先端部のｘｙｚ座標（３次元並進自由度）、およびｘ軸およびｙ軸周りの回転角（２つの回転自由度）を測定して、被検体画像が撮像されたときの、撮像位置の３次元並進自由度情報、および撮像方向に直交する２軸周りの各回転自由度情報を含む５自由度情報として出力するものである。なお、このような設定によれば、ｚ軸の正方向が撮像方向であり、撮像素子の撮像面（ひいては内視鏡画像）の中心をｚ軸が通過する（すなわち、５自由度情報に基づいて被検体画像の撮像方向を定めることができる）。

そして、このような内視鏡２は、ビデオプロセッサ３に接続されて制御されるようになっている。

ビデオプロセッサ３は、信号処理部１２と、制御部１３と、光源部１４と、を備えている。

信号処理部１２は、内視鏡２の撮像素子から出力される撮像信号を信号処理して、２次元の被検体画像としての内視鏡画像データを生成する。

制御部１３は、ユーザの操作に応じて内視鏡２の撮像制御を行い、内視鏡２の撮像素子へ駆動信号を送信して、撮像素子に被検体の内部を撮像させ撮像信号を生成させる。さらに、制御部１３は、光源部１４の照明光の光量調節や発光のオン／オフを切り換える制御を行う。また、制御部１３は、内視鏡２から５自由度情報を受信して画像処理装置５へ送信する。

光源部１４は、照明光を発光する光源を含み、照明光を内視鏡の光ファイバの基端側へ照射する。この照明光は、光ファイバを伝送されて、内視鏡２の先端部から被検体へ向けて照射される。

ここに、本実施形態においては、被検体として管腔等の管状構造物を想定しており、幾つかの例としては、腸や尿管、腎盂、腎杯、気管支などの管腔臓器、あるいはパイプや管路などが挙げられる。

このビデオプロセッサ３は、例えばＵＳＢケーブル等のケーブル４を介して、画像処理装置５に接続されている。

ケーブル４は、ビデオプロセッサ３からの内視鏡画像データおよび５自由度情報を画像処理装置５へ送信すると共に、画像処理装置５からの制御信号をビデオプロセッサ３へ送信するようになっており、双方向に通信可能な通信回線である。

画像処理装置５は、入出力インタフェース（Ｉ／Ｆ）１５と、記憶部１６と、制御部１７と、を有している。この画像処理装置５は、例えば、パーソナルコンピュータに処理プログラムを実行させる構成としても良いが、専用の処理装置として構成しても構わない。

入出力インタフェース（Ｉ／Ｆ）１５は、画像処理装置５が外部の機器とデータの送受信を行うためのものであり、ビデオプロセッサ３、モニタ６、キーボード７、およびマウス８と接続されている。画像処理装置５は、入出力Ｉ／Ｆ１５を介して、ビデオプロセッサ３から内視鏡画像データおよび５自由度情報を受信すると共に制御信号をビデオプロセッサ３へ送信し、内視鏡画像データから生成した３次元形状画像をモニタ６へ出力し、ユーザの操作によりキーボード７およびマウス８から発生した信号を受信する。

記憶部１６は、画像処理装置５により実行される処理プログラムを記憶すると共に、画像処理中の画像データを一時的に記憶し、さらに画像処理により生成された３次元形状画像を不揮発に記憶するものであり、例えばハードディスクやＲＡＭやＲＯＭ等の各種の記憶装置を含んで構成されている。

制御部１７は、処理プログラムに従って画像処理装置５を含む画像処理システム１を制御するものである。また、制御部１７は、処理プログラムに従って画像処理を実行し、受信した内視鏡画像データから３次元形状画像を生成する。

モニタ６は、画像処理装置５により生成された３次元形状画像を表示し、さらに画像処理システム１に係る各種の情報を表示する表示装置である。

キーボード７およびマウス８は、操作部であり後述する入力部２９（図２参照）であって、ユーザの操作に応じた信号を画像処理装置５へ出力する。制御部１７は、キーボード７およびマウス８からの入力信号に応じて、処理プログラムに従った制御を行う。

次に、上述したような構成の画像処理装置５における機能ブロックについて、図２を参照して説明する。図２は、画像処理装置５の構成を示すブロック図である。

この画像処理装置５は、画像入力部２１と、３次元画像構築部２２と、位置関係算出部２３と、３次元形状画像生成部２４と、記憶部２５と、を備えている。ここに、画像入力部２１は上述した入出力Ｉ／Ｆ１５に概略該当し、記憶部２５は上述した記憶部１６に概略該当し、３次元画像構築部２２、位置関係算出部２３、および３次元形状画像生成部２４は、上述した制御部１７に概略該当する。

画像入力部２１は、被検体の内部を撮像した２次元の被検体画像が入力されるとともに、さらに被検体画像が撮像されたときの撮像位置情報として、撮像位置の３次元並進自由度情報、および撮像方向に直交する２軸周りの各回転自由度情報を含む５自由度情報が入力される。

３次元画像構築部２２は、被検体画像に基づいて、３次元における曲面である３次元画像データを構築する。ここで構築された３次元画像データが、後述するように、比較元部分形状となる。

位置関係算出部２３は、少なくとも２つの異なる被検体画像に基づいて３次元画像構築部２２により構築された少なくとも２つの異なる３次元画像データを、前記撮像位置情報に基づいて所定の位置に配置して各々の位置関係を算出する。具体的に、位置関係算出部２３は、所定の位置に配置された少なくとも２つの異なる３次元画像データに対して、撮像位置情報に基づいて定まる被検体画像の撮像方向を回転軸として、例えば、５自由度情報に基づいて定まる被検体画像の撮像方向（上述したｚ軸）を回転軸として、２つの異なる３次元画像データの回転軸周りのずれを示す位置関係を算出する。

３次元形状画像生成部２４は、位置関係算出部２３により算出された位置関係に基づいて、異なる３次元画像データのずれを補正するように該異なる３次元画像データを３次元空間上に配置することで３次元形状画像を生成する。具体的に、３次元形状画像生成部２４は、位置関係算出部２３により算出された位置関係に基づいて、２つの異なる３次元画像データの回転軸周りのずれが最小となるように、少なくとも一方の３次元画像データを回転軸周りに回転して３次元空間上に配置した３次元形状画像を生成する。そして、３次元形状画像生成部２４は、異なる複数の３次元画像データの内の２つずつに対してこのような処理を順次行うことで、３次元画像データが３つ以上である場合にも（つまり、少なくとも２つの異なる３次元画像データに対して）処理を行うことができる。

記憶部２５は、記憶部１６について上述したように各種の情報を記憶するが、特に、３次元形状画像生成部２４により生成された３次元形状画像を記憶する。この記憶部２５に記憶された３次元形状画像は、後述するように比較先部分形状となり、３次元画像構築部２２により新たに構築された比較元部分形状に対して位置関係算出部２３により比較され、位置関係が算出される。

なお、記憶部２５は、ある部分形状を、他の部分形状に対する位置関係と共に記憶することを、部分形状毎に行っても良い（つまり、複数の部分形状を個別に記憶しても良い）し、あるいは、複数の部分形状を位置関係に基づき位置合わせして構成されたトータルの部分形状を記憶しても構わないし、両方を記憶しても良い。

上述した位置関係算出部２３は、周辺画像生成部２６と、特徴部分検出部２７と、類似度算出部２８と、を有している。

周辺画像生成部２６は、２つの異なる３次元画像データをそれぞれ２次元に展開することにより、被検体内部における周辺画像を２つ生成する。

特徴部分検出部２７は、２つの異なる３次元画像データ（例えば、３次元画像データの曲面を展開して得られる周辺画像）の一方に対して、所定のパラメータに基づいて特徴部分を検出する。具体的に、特徴部分検出部２７は、２つの異なる３次元画像データの一方に対して、例えば、輝度値の変化量が第２の閾値以上である部分を特徴部分として検出する。

類似度算出部２８は、２つの異なる３次元画像データの他方を複数の領域に分割して、領域と特徴部分検出部２７により検出された特徴部分との類似度を算出する。

そして、位置関係算出部２３は、類似度算出部２８により算出された類似度が所定の閾値以上となるための位置関係を算出する。

次に、このような画像処理システムの作用について、より詳細に説明する。まず、図３は、画像処理装置５の作用を示すフローチャートである。

この図３に示す処理は、管腔臓器等の被検体内において、内視鏡２を必要に応じて移動しながら、時系列的な複数フレームの画像を取得しつつ行われる。

ここで図５は、管状の被検体５０に内視鏡２が挿入されている様子を示す図である。この図５に示す例では、撮像方向（ｚ軸方向）と、管状の被検体５０の奥行き方向とがずれた方向となっている。

なお、画像処理装置５は、内視鏡画像データを、図１に示したような内視鏡２からリアルタイムで取得するに限るものではなく、記録媒体等の記録装置を介して取得しても構わないし、ネットワーク等の通信回線を介して取得しても良い。従って、内視鏡２により既に撮像されて例えばハードディスク等の記録装置に記録済みの画像を、記録装置から順次取得してこの図３に示す処理を実行しても構わない。

この処理を開始すると、画像入力部２１が、ビデオプロセッサ３から画像を１フレーム取得する（ステップＳ１）。ここでは、時系列的に撮像して取得された動画像（あるいは時系列的に連続して撮像された静止画像）の１フレームを取得するが、動画像を構成する複数フレームの全てを漏れなく取得するに限るものではなく、例えば、１０フレームに１フレームの割合で取得する等であっても構わない。

図６は、内視鏡画像に、３次元画像データを構築するための画像領域を設定する様子を示す図である。画像入力部２１が取得した１フレームの画像をモニタ６に表示すると、例えばこの図６に示すようになる。ここに、図６におけるＯは内視鏡画像の中心を示し、この中心Ｏを通って垂直な方向にｚ軸が設定されていると考えて良い。

そして、モニタ６に表示された内視鏡画像６ａには、被検体５０の被検体像５０ｉが写っている。このとき図５に示した状態では、上述したようにｚ軸方向と被検体５０の奥行き方向とがずれているために、内視鏡画像６ａにおいても被検体５０の奥が中心Ｏとずれた位置となっている。

次に、画像入力部２１が取得した１枚の２次元の被検体画像から、３次元画像構築部２２が３次元の比較元部分形状を構築する（ステップＳ２）。すなわち、３次元画像構築部２２は、内視鏡画像６ａにおける、内視鏡２の対物レンズから一定の距離範囲にある被写体部分が写っている画像領域５０ａ（図６参照）に基づいて、３次元における曲面である３次元画像データを構築する。

ここで、３次元画像構築部２２が１枚の２次元の被検体画像に基づいて、３次元における曲面である３次元画像データを構築する方法は、特定の方法に依存するものではなく、各種の方法を広く採用することが可能である。例えば、暗部となっている管腔内では照明光を照射して観察を行うために、輝度が低い画素は遠い距離にあり、輝度が高い画素は近い距離にあると仮定することができ、この仮定に基づいて３次元形状を推定し構築することができる。また、シェイプ・フロム・シェイディング（shape from shading）法のように１フレームの画像から対象の形状を推定する方法も知られている。こうした方法に限らず、その他の任意の方法を採用しても構わない。

上述したように被検体が管状構造物である場合には、構築される比較元部分形状５１は、図７に示すように、元の管状構造物と同様の（ただし長さが短い）管状の曲面となる。ここに、図７は内視鏡画像６ａから構築された３次元画像データの例を示す図である。

なお、被検体５０が分岐を持つ場合（図８参照）には、例えば、次のように処理を行う。ここに、図８は、一旦構築した比較元部分形状５１が分岐管状となっているときの例を示す図である。

比較元部分形状５１が、図８に示すような形状である場合には、まず、一旦構築した比較元部分形状５１の、内視鏡２に近い側の端縁にフィッティング（最適化）された平面（つまり、内視鏡２に近い側の端縁に最も近似する平面）を算出する。ここで算出された平面が図８に示す断面Ｃ３であるものとする。

比較元部分形状５１を、断面Ｃ３、および断面Ｃ３に並行な幾つかの断面Ｃ１，Ｃ２に沿って切断したときの画像例を図９〜図１１に示す。ここに、図９は、図８の断面Ｃ１における比較元部分形状の例を示す図、図１０は、図８の断面Ｃ２における比較元部分形状の例を示す図、図１１は、図８の断面Ｃ３における比較元部分形状の例を示す図である。

図示のように、断面Ｃ１で切断したときには比較元部分形状５１の断面形状５１ｃ１は開曲線をなし、断面Ｃ２で切断したときには比較元部分形状５１の断面形状５１ｃ２は複数の開曲線となり、断面Ｃ３で切断したときには比較元部分形状５１の断面形状５１ｃ３は閉曲線をなす。

そこで、このような場合には、探索用断面を断面Ｃ３から断面Ｃ１側へ向けて順次平行移動しながら、次のような条件（１）、（２）を満たす断面Ｃ４を探索する。

（１）探索用断面を断面Ｃ３から平行移動していくときに、探索用断面における比較元部分形状５１の断面形状が閉曲線である状態を維持しながら、断面Ｃ４に到達する。

（２）断面Ｃ４と断面Ｃ３との面間距離が所定の閾値以上である。

そして、断面Ｃ３と、これらの条件（１）、（２）を満たす断面Ｃ４との間の比較元部分形状５１を、最終的な比較元部分形状５１として設定する（図８にハッチングを付して示す部分参照）。

条件（１）により、最終的な比較元部分形状５１は、単一の（分岐がない）管状をなすことが担保され、条件（２）により最終的な比較元部分形状５１の管路方向の長さを所定の閾値以上に確保することができる。

続いて、位置関係算出部２３が、ステップＳ２により構築された比較元部分形状と、３次元画像構築部２２により過去に構築され記憶部２５に記憶されている比較先部分形状と、の位置関係を、図４に示すように算出する（ステップＳ３）。

ここで図４は、画像処理装置５における位置関係算出処理を示すフローチャートである。

この処理に入ると、ステップＳ２において算出された短管状の比較元部分形状５１に対して、周辺画像生成部２６が、ｚ軸負方向（内視鏡２に近い側）の端縁上の任意の位置に、図７に示すように１つの点Ｐ１を設定する。さらに、周辺画像生成部２６は、ｚ軸正方向（内視鏡２から遠い側）の端縁上において、点Ｐ１と最も近い点Ｐ２を算出する。

そして、周辺画像生成部２６は、点Ｐ１と点Ｐ２とを結ぶ線分Ｐ１Ｐ２で比較元部分形状を切断して平面に展開し、図１２に示すような展開画像５１ｄを生成する。ここに図１２は、内視鏡画像６ａから構築された３次元画像データを２次元に展開した例を示す図である。ここに、図１２において、横軸は、短管状をなす比較元部分形状５１のｚ軸周りの周方向位置を例えば角度により示すθ軸、縦軸はｚ軸にほぼ対応して内視鏡２に近いか遠いかを示すｚ'軸となっている。

内視鏡画像６ａから３次元画像データである比較元部分形状５１を構築する際には、使用するアルゴリズムに応じて生成されるものが異なり、例えば、輝度値に基づく被検体の凹凸形状のみのモノクロ３次元画像データになる場合と、カラーの内視鏡画像６ａがそのまま凹凸形状化され３次元化されたカラー３次元画像データになる場合と、がある。

このとき、後者である場合には、生成された展開画像５１ｄがそのまま周辺画像（後述するテンプレートマッチングに用いるマッチング用画像）である比較元展開画像５１ｐとなる。一方、前者である場合には、周辺画像生成部２６は、展開画像５１ｄに内視鏡画像６ａをテクスチャとして貼り付けることにより、比較元展開画像５１ｐを生成する。ここに図１３は、展開画像５１ｄに内視鏡画像６ａを貼り合わせた周辺画像の例を示す図である。

また、周辺画像の生成に際しては、単に線分Ｐ１Ｐ２で切断して切り開いただけでは凹凸形状が残っており完全な平面にはならない。そこで、例えば切り開いた後に、展開画像に対して平行な面に展開画像を平行投影して、最終的な周辺画像として生成する。

このようにして、周辺画像生成部２６は、比較元部分形状５１から周辺画像である比較元展開画像５１ｐを生成する（ステップＳ１１）。

さらに、周辺画像生成部２６は、記憶部２５に記憶されている１つ以上の３次元形状画像の中から、比較元部分形状５１に近接する部分形状を読み出して比較先部分形状に設定し、上述と同様に比較先展開画像を生成する（ステップＳ１２）。

次に、特徴部分検出部２７が、比較元展開画像５１ｐと比較先展開画像５１ｐ'との何れか一方、ここでは図１４に示すように、例えば比較元展開画像５１ｐを複数の領域５１ｒに分割して、各領域５１ｒの輝度の変化量を算出し、輝度の変化量が第２の閾値よりも大きい（好ましくは最も大きい）領域５１ｒをテンプレート画像５１ｑに設定する（ステップＳ１３）。

具体的に、輝度の変化量としては、領域５１ｒ内の各画素の輝度値（もしくはＧ成分などの輝度相当値）の分散（所定のパラメータの一例）を用いる一例が挙げられる。この場合には、分散が大きい程、輝度の変化量が大きいことを示す。また、他の例としては、キャニー法などを用いてエッジを抽出し、領域５１ｒ内においてエッジであると判断された画素数を、輝度の変化量の評価値として用いても良い。この場合には、エッジであると判断された画素数が多い程、輝度の変化量が大きいことを示す。

なお、被検体が例えば血管を有する生体の体腔である場合には、血管が多い部分はテクスチャがはっきりしていて、テンプレートに設定するのに適していると考えられる。血管部分はＲＧＢ色成分の内のＲ成分が大きいと考えられ、輝度相当成分であるＧとの比Ｇ／Ｒは相対的に小さな値となる。そこで、Ｇ／Ｒを指標値として用いて、画素単位の指標値Ｇ／Ｒを計算して、各領域５１ｒ毎に指標値Ｇ／Ｒが所定の閾値よりも小さい画素の数をカウントする。そして、カウントした画素数が最も大きい領域５１ｒをテンプレート画像５１ｑに設定するようにしても良い。

また、テンプレート画像５１ｑは、比較先展開画像５１ｐ'に近い側、具体的にここでは、内視鏡２側（ｚ'軸の負方向側）の領域５１ｒから選択することが望ましいために、テンプレート画像５１ｑに適した領域５１ｒを評価するときに内視鏡２側が選択され易いように重み付けしても良い。重みの具体例としては、例えば、内視鏡２側から１行目の各領域５１ｒは評価値に重みｋを乗算し、２行目の各領域５１ｒは評価値に重みｋ／２を乗算し、３行目の各領域５１ｒは評価値に重みｋ／４を乗算する等である。このように重みｋを設定することで、比較先展開画像５１ｐ'において、テンプレート画像５１ｑとマッチングする可能性が高いと考えられる端側（１行目の各領域５１ｒ）以外の領域でテンプレート画像５１ｑに類似した領域が存在する場合に、誤ってマッチングすることを防止することができる。

また、上述の例に限らず、被検体内における内視鏡２の移動速度や展開画像５１ｄの大きさに応じて重みｋの値を設定しても良い。

あるいは、まず、内視鏡２側から１行目の各領域５１ｒのみを評価の対象としてテンプレート画像５１ｑの選択を行い、後述するステップＳ１４の「テンプレートマッチング」の結果が良好でなくステップＳ１５およびステップＳ１６を経て再びステップＳ１３の処理に戻ってきた場合に、内視鏡２側から２行目の各領域５１ｒを評価の対象としてテンプレート画像５１ｑの選択を行い、同様にして３行目以降を順次評価の対象とするという処理を行うようにしても良い。

続いて、類似度算出部２８が、比較先展開画像５１ｐ'を複数の領域５１ｒ'に分割し、ステップＳ１３で得られたテンプレート画像５１ｑを用いて、比較先展開画像５１ｐ'に対するテンプレートマッチングを行う（ステップＳ１４）。テンプレートマッチングの具体的な方法の一例としては、テンプレート画像５１ｑと比較先展開画像５１ｐ'の各領域５１ｒ'との画素毎の差分の２乗の総和を算出し、この総和の例えば逆数を類似度とすれば良い。このようなテンプレートマッチングは、テクスチャの類似度を算出することに該当し、テンプレート画像５１ｑと領域５１ｒ'とが近似していれば、差分の総和が小さくなり、類似度が高くなる。なお、テンプレートマッチングの方法はこれに限るものではなく、種々の方法を広く適用することができる。

そして、テンプレートマッチングを行った結果として得られた最も高い類似度が、所定の閾値以上であるか否かを判定する（ステップＳ１５）。なお、テンプレートマッチングを行っている途中で類似度が所定の閾値以上である領域５１ｒ'が発見された場合には、それ以上のテンプレートマッチングを行うのを中止して、発見された領域５１ｒ'をテンプレートマッチングの結果とする処理を行うようにしても構わない。

ここで所定の閾値以上であると判定された場合には、閾値以上の類似度が得られたときの比較元展開画像５１ｐと比較先展開画像５１ｐ'との位置関係、具体的にはｚ軸周りの位置ずれ角度Δθが、この図４に示す位置関係算出処理の結果となる。そして、位置関係算出処理により位置ずれ角度Δθをなくすように比較元展開画像５１ｐと比較先展開画像５１ｐ'を重ね合わせた展開画像の概念図を図１５に示す。ここに、図１５は、位置ずれ角度Δθをなくすように比較元展開画像と比較先展開画像とを重ね合わせる様子を示す概念図である。

一方、ステップＳ１５において閾値未満であると判定された場合には、テンプレート画像５１ｑとして設定するのに適した全ての領域５１ｒによるテンプレートマッチングを行ったか否かを判定する（ステップＳ１６）。

ここで、まだ未設定の領域５１ｒがある場合には、ステップＳ１３へ戻ってテンプレート画像５１ｑを新たに設定し直して（従って、既にテンプレート画像５１ｑとして設定済みの領域５１ｒは、再度設定されることはない）、上述したような処理を行う。

また、ステップＳ１６において、テンプレート画像５１ｑとして設定するのに適した全ての領域５１ｒによるテンプレートマッチングを行ったと判定された場合には、テンプレート画像５１ｑをどのように設定したとしても、テンプレート画像５１ｑに対する類似度が閾値以上となる領域５１ｒ'が比較先展開画像５１ｐ'に発見されなかったことになる。

この場合には、算出された全ての類似度の中で最大の類似度が得られたときの比較元展開画像５１ｐと比較先展開画像５１ｐ'との位置関係、具体的にはｚ軸周りの位置ずれ角度Δθを選択すると共に、比較元展開画像５１ｐに対応する３次元画像データである比較元部分形状５１の表示色を変更して、比較先部分形状とは異なる色になるよう設定する（ステップＳ１７）。

このステップＳ１７の処理を行うか、またはステップＳ１５において類似度が閾値以上であると判定された場合には、図３に示した処理（上述したステップＳ４）にリターンする。

なお、ここでは比較元展開画像５１ｐ及び比較先展開画像５１ｐ'を所定の領域に分割し、領域毎にテンプレートマッチングを行う例を示したが、本実施形態はこの方法に限定されるものではない。具体的には公知技術である日本国特開平７−２６２３７０号公報等と同様にして、比較元展開画像５１ｐのみを領域５１ｒに分割してテンプレート画像５１ｑを設定し、当該テンプレート画像５１ｑを比較先展開画像５１ｐ'の所定の画素毎にずらしながらテンプレートマッチングを行うようにしても良い。このような手法をとることで、比較先展開画像５１ｐ'の各領域５１ｒ'に分割してテンプレートマッチングを行う場合に比べ、領域５１ｒ'の境界に輝度の変化量が大きい画素が配置されていたとしても、精度の高いテンプレートマッチングを行うことが可能となる。

図３の処理に戻って、ステップＳ３の位置関係算出処理において算出された位置関係、具体的には、比較先部分形状に対する比較元部分形状５１のｚ軸周りの位置ずれ角度Δθに基づいて、３次元形状画像生成部２４が、比較元部分形状５１と比較先部分形状との少なくとも一方、例えば比較元部分形状５１をｚ軸周りに回転して３次元空間上に配置した３次元形状画像を生成する（ステップＳ４）。これにより、比較元部分形状５１の姿勢が決定されて、３次元形状画像の生成が行われる。

なお、生成される３次元形状画像は、比較元部分形状５１が比較先部分形状５３（図１６参照）に対して連結されていることが好ましいが、連結されなくても、互いの位置関係が一義的に定まっていれば良く、例えば１つの３次元空間（形状空間）上に比較元部分形状５１と比較先部分形状５３とが決定された位置関係に基づいて並べられているだけでも構わない。

そして、生成した３次元形状画像をモニタ６へ出力して表示を行う（ステップＳ５）。また、生成された３次元形状画像は、記憶部２５に記憶される。

上述したステップＳ１７において、比較元部分形状５１の表示色が変更されている場合には、図１６に示すように、過去の複数の部分形状を連結して得られた比較先部分形状５３に対して、新たに連結された比較元部分形状５１は異なる色で表示される。ここに図１６は、テンプレートマッチングの類似度が低い場合（つまり、比較元部分形状５１の配置、ひいては比較元部分形状５１と比較先部分形状との連結が不適切である可能性がある場合）に、比較元部分形状５１を比較先部分形状５３と異なる色で表示する例を示す図である。

なお、ここでは類似度が低いことを色によりユーザに報知するようにしたが、これに限定されるものではなく、例えば、輝度を変更する、輪郭を太く（あるいは細く、さらにあるいは点線等に）する、点滅表示する、音声で告知する、等の任意の方法、あるいはこれらの組み合わせにより報知するようにしても構わない。

その後、表示を見たユーザが、入力部２９からマニュアル設定を行ったか否かを判定する（ステップＳ６）。

ここで、マニュアル設定を行ったと判定された場合には、設定内容が削除であるか否かをさらに判定する（ステップＳ７）。

そして、削除であると判定された場合には、最後に生成された部分形状である比較元部分形状５１を削除する（ステップＳ８）。このときには、表示されている画像だけでなく、記憶部２５に記憶された比較元部分形状５１も削除される。

従って、入力部２９は、削除対象となる部分形状を指定する指定部として機能し、画像処理装置５は指定された部分形状を削除する削除部として機能する。この削除の処理をユーザが指定するに際しては、上述したように、類似度が低い場合に比較元部分形状５１は比較先部分形状５３とは異なる色で表示されているために、ユーザは注意を喚起され、削除するかどうかを容易に判断することができる。

また、ステップＳ７において設定内容が削除でないと判定された場合には、マニュアルにより比較元部分形状５１の位置を調整することになるために、入力値に基づいて、比較先部分形状５３に対する比較元部分形状５１の位置関係を設定する（ステップＳ９）。具体的には、入力部２９から入力された回転角度に応じて、部分形状回転部として機能する３次元形状画像生成部２４が、最後に生成された部分形状である比較元部分形状５１を回転させる。

このステップＳ９の処理を行ったら、ステップＳ４へ戻って、入力された位置関係に基づき３次元形状画像を生成する。

ステップＳ６において、マニュアル設定を行っていないと判定された場合、またはステップＳ８の削除処理を行った場合には、検査が終了したか否かを判定する（ステップＳ１０）。

ここで、検査が終了していないと判定された場合には、ステップＳ１へ戻って次の１フレームの画像を取得して、上述したような処理を繰り返して行う。

一方、検査が終了したと判定された場合には、この処理を終了する。

なお、上述したステップＳ１３およびステップＳ１４では、領域５１ｒの輝度の変化量に基づきテンプレート画像５１ｑを設定してテクスチャに基づきテンプレートマッチングを行ったが、これに限るものではなく、変形例として、例えば色相（所定のパラメータの他の例）を用いて位置合わせを行っても良い。

この場合には、ステップＳ１３の処理において、複数の領域５１ｒに分割した後に、例えば内視鏡２側（比較先展開画像に近い側）から１行目の各領域５１ｒを構成する各画素の色相の平均値を、領域５１ｒ毎に算出する。

同様に、ステップＳ１４の処理において、比較先展開画像を複数の領域５１ｒに分割した後に、比較元展開画像５１ｐに近い側から１行目の各領域５１ｒを構成する各画素の色相の平均値を、領域５１ｒ毎に算出する。そして、比較元展開画像５１ｐと比較先展開画像との相対位置を変更しながら、比較元展開画像５１ｐの色相と比較先展開画像の色相とが最もマッチングする位置関係を探索する。

具体的に、比較元展開画像５１ｐの１行目と比較先展開画像の１行目から任意の領域５１ｒを１つずつ選択して領域番号をそれぞれ１とし、色相の差分Ｈｕｅ（１，１）を算出する。同様に、選択した領域５１ｒに、同一θ方向において隣接する領域５１ｒを１つずつ選択して領域番号をそれぞれ２とし、色相の差分Ｈｕｅ（２，２）を算出する。さらに、同様にして、色相の差分Ｈｕｅ（３，３）〜Ｈｕｅ（ｎ，ｎ）を算出する（ここに、ｎは１行に存在する領域５１ｒの数である）。そして、全て（ｉ＝１〜ｎ）の差分の例えば２乗和（あるいは差分絶対値和等でも構わない）Σ［｛Ｈｕｅ（ｉ，ｉ）｝^2］を算出する。ここに、記号「^2」は２乗を表すものとする。こうして算出した２乗和の例えば逆数を類似度とすれば良い。

この類似度が最大となるもの（これは、２乗和が最小となるものに対応する）をステップＳ１４で得られた類似度として、ステップＳ１５の処理を行う。

そして、ステップＳ１５において類似度が閾値未満であると判定され、ステップＳ１６において比較元展開画像５１ｐと比較先展開画像とで異なる行同士の組み合わせに行われていないものがあると判定された場合には、ステップＳ１３へ戻って比較元展開画像５１ｐと比較先展開画像との異なる行同士の組み合わせ、例えば１行目と２行目、あるいは２行目と１行目、さらにあるいは２行目と２行目等を順次行えば良い。

テクスチャに基づくテンプレートマッチングは、部分形状同士の位置を正確に合わせることができるが、部分形状同士に重なりがあることが前提となる。これに対して、色相を用いるこの変形例によれば、部分形状同士の間に隙間がある場合でも、位置合わせを行うことができるメリットがある。

このような実施形態１によれば、少なくとも２つの異なる被検体画像に基づいて構築された少なくとも２つの異なる３次元画像データに対して、各々の位置関係を算出し、位置関係に基づいて、異なる３次元画像データを３次元空間上に配置することで３次元形状画像を生成するようにしたために、撮像方向周りの回転自由度情報がなくても、より正確な３次元形状画像を生成することができる。

また、５自由度情報に基づいて定まる撮像方向を回転軸として、２つの異なる３次元画像データの回転軸周りのずれが最小となるように３次元形状画像を生成するようにしたために、回転軸を容易に決定した上で、３次元形状画像を正確に生成することができる。

さらに、所定のパラメータに基づいて特徴部分を検出し、３次元画像データの他方を複数の領域に分割して特徴部分との類似度を算出し、類似度が所定の閾値以上となるための位置関係を算出するようにしたために、特徴部分に基づくテンプレートマッチングを適切に行うことができる。

そして、３次元画像データを２次元に展開して周辺画像を生成し、周辺画像から特徴部分を検出してテンプレートマッチングを行うようにしたために、３次元空間内の曲面を扱う代わりに平面を扱うことができ、演算負荷を大幅に軽減することが可能となる。

加えて、輝度値の変化量が第２の閾値以上である部分を特徴部分として検出するようにしたために、カラー３次元画像データとモノクロ３次元画像データとの何れの場合にも、特徴部分を検出することができる。

また、指標値Ｇ／Ｒが所定の閾値よりも小さい画素の数が最も大きい領域５１ｒをテンプレート画像５１ｑに設定する場合には、生体の体腔内における血管が多い領域を、適切にテンプレート画像５１ｑに設定することができる。

また、図４のステップＳ１５において、類似度が閾値以上であると判定された場合においても、全ての領域５１ｒによるテンプレートマッチングを行うようにしても良い。その際は、類似度が閾値以上であると判定された領域５１ｒを一時的に記憶しておき、全ての領域５１ｒのテンプレートマッチングが終了した後に、算出された全ての類似度の中で最大の類似度が得られたときの比較元展開画像５１ｐと比較先展開画像５１ｐ'との位置関係を選択することで、より精度の高いマッチング結果を得ることが可能となる。

［実施形態２］
図１７から図２０は本発明の実施形態２を示したものであり、図１７は画像処理装置５の構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、画像のテクスチャや色相などがマッチングするように比較元部分形状５１と比較先部分形状との位置関係を算出したが、本実施形態は、比較元部分形状５１と比較先部分形状との対向する端縁５１ｃ，５２ｃが、形状的に連続性をもつように（滑らかとなるように）位置関係を算出するものとなっている。

本実施形態の画像処理装置５は、上述した実施形態１の図２に示した画像処理装置５に比して、位置関係算出部２３の構成が異なるものとなっている。

すなわち、本実施形態の位置関係算出部２３は、指標点設定部３１と、角度変更部３２と、評価距離算出部３３と、を備えている。

指標点設定部３１は、図１９に示すように、２つの異なる３次元画像データである比較元部分形状５１および比較先部分形状５２の対向する端縁５１ｃ，５２ｃのそれぞれに、複数の指標点５１ｔ，５２ｔを同一数ずつ設定する。

ここに、図１９は、比較元部分形状５１および比較先部分形状５２の対向する端縁５１ｃ，５２ｃに、複数の指標点を同一数ずつ設定する様子を示す図である。

角度変更部３２は、２つの端縁５１ｃ，５２ｃからそれぞれ選択した各１つの指標点が最も近接するように、回転軸（ｚ軸）周りに比較元部分形状５１と比較先部分形状５２との少なくとも一方を回転する。

評価距離算出部３３は、図２０に示すように、角度変更部３２により回転された後の、指標点５１ｔ，５２ｔが設定された対向する端縁５１ｃ，５２ｃを平面５２ｐに投影し、平面５２ｐに投影された複数の指標点５１ｔ'，５２ｔ'間の距離に基づいて評価距離を算出する。なお、図２０におけるＯは、回転軸であるｚ軸に対応する位置を示している。

ここに、図２０は、平面５２ｐに投影された複数の指標点５１ｔ'，５２ｔ'間の距離に基づいて評価距離を算出する例を説明するための図である。

図１８は、画像処理装置５における位置関係算出処理を示すフローチャートである。

図３のステップＳ３においてこの処理に入ると、位置関係算出部２３は、記憶部２５に記憶されている１つ以上の３次元形状画像の中から、比較元部分形状５１に近接する部分形状を読み出して比較先部分形状５２に設定する（ステップＳ２１）。

次に、指標点設定部３１が、比較元部分形状５１の比較先部分形状５２側の端縁５１ｃに複数（例えばｎ個）の指標点５１ｔを設定すると共に、比較先部分形状５２の比較元部分形状５１側の端縁５２ｃに同一数のｎ個の指標点５２ｔを設定する（ステップＳ２２）。これらの指標点５１ｔ，５２ｔは、それぞれの端縁５１ｃ，５２ｃをｎ等分する点である。

続いて、角度変更部３２が、対向する２つの端縁５１ｃ，５２ｃからそれぞれ選択した各１つの指標点が最も近接するように、比較元部分形状５１と比較先部分形状５２との少なくとも一方、ここでは例えば比較元部分形状５１を、３次元空間内においてｚ軸周りに回転する（ステップＳ２３）。

さらに、評価距離算出部３３が、平面を設定する。ここでは例えば、比較先部分形状５２における指標点５２ｔが設定された端縁５２ｃに対してフィッティング（最適化）された平面５２ｐを設定する。ただし、比較元部分形状５１における指標点５１ｔが設定された端縁５１ｃに対してフィッティングされた平面を設定しても構わないし、これらに限らずその他の平面を設定することも可能である。

そして、評価距離算出部３３は、設定した平面５２ｐに、指標点５１ｔ，５２ｔが設定された対向する端縁５１ｃ，５２ｃを投影して端縁５１ｃ'，５２ｃ'とし、平面に投影された複数の指標点５１ｔ'，５２ｔ'間の距離に基づいて評価距離を算出する（ステップＳ２４）。

具体的に、評価距離算出部３３は、ステップＳ２３において選択した指標点に対応する平面５２ｐ上の指標点５１ｔ'１，５２ｔ'１の指標点番号をそれぞれ１とし、指標点５１ｔ'１，５２ｔ'１間の距離Ｄ（１，１）を算出する。続いて、同一θ方向において隣接する指標点５１ｔ'，５２ｔ'の指標点番号をそれぞれ２とし、指標点５１ｔ'，５２ｔ'間の距離Ｄ（２，２）を算出する。さらに、同様にして、指標点５１ｔ'，５２ｔ'間の距離Ｄ（３，３）〜Ｄ（ｎ，ｎ）を算出する。そして、全て（ｉ＝１〜ｎ）間の距離Ｄの例えば和（あるいは２乗和等でも構わない）Σ｛Ｄ（ｉ，ｉ）｝を算出する。そして、算出した距離Ｄの和を、評価距離とする。なお、評価距離の例えば逆数は、類似度となる。

そして、算出した評価距離が所定の閾値以下（つまり、類似度が所定の閾値以上）であるか否かを判定する（ステップＳ２５）。

ここで、評価距離が所定の閾値以下でないと判定された場合には、端縁５１ｃ上の指標点５１ｔと、端縁５２ｃ上の指標点５２ｔと、の全ての組み合わせを選択し終えたか否かを判定する（ステップＳ２６）。

ここで、まだ選択していない組み合わせが存在すると判定された場合には、ステップＳ２３へ戻って、指標点５１ｔと指標点５２ｔとを１つずつ新たに選択して、上述したような処理を行う。

また、ステップＳ２６において、全ての組み合わせを選択し終えたと判定された場合には、評価距離が所定の閾値以下となる角度が発見されなかったことになる。

この場合には、算出された全ての評価距離の中で最小の評価距離（つまり、最大の類似度）が得られたときの比較元展開画像５１ｐと比較先展開画像との位置関係、具体的にはｚ軸周りの位置ずれ角度Δθを選択すると共に、比較元展開画像５１ｐに対応する３次元画像データである比較元部分形状５１の表示色を変更して、比較先部分形状とは異なる色になるよう設定する（ステップＳ２７）。

このステップＳ２７の処理を行うか、またはステップＳ２５において評価距離が閾値以下であると判定された場合には、図３に示した処理（上述したステップＳ４）にリターンする。

このような実施形態２によれば、比較元部分形状５１と比較先部分形状５２の対向する端縁５１ｃ，５２ｃに同一数の指標点５１ｔ，５２ｔを設定して、平面に投影した指標点５１ｔ'，５２ｔ'間の距離に基づく評価距離が所定の閾値以下となるときの回転量に基づき位置関係を算出することによっても、上述した実施形態１とほぼ同様の効果を奏することができる。

なお、図１８のステップＳ２５において、評価距離が閾値以下であると判定された場合においても、全ての指標点を選択して評価距離を算出しても良い。その際は、評価距離が閾値以下であると判定された指標点の組み合わせを一時的に記憶しておき、全ての指標点を選択して評価距離の算出が終了した後に、算出された全ての評価距離の中で最小の評価距離が得られたときの比較元展開画像５１ｐと比較先展開画像５１ｐ'との位置関係を選択することで、より精度の高い位置関係の算出を行うことが可能となる。

［実施形態２の変形例１］
図２１から図２３は本発明の実施形態２の変形例１を示したものであり、図２１は画像処理装置５の構成を示すブロック図である。

この実施形態２の変形例１において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本変形例１では、上述した実施形態２と同様に、比較元部分形状５１と比較先部分形状５２との対向する端縁が、形状的に連続性をもつように（滑らかとなるように）位置関係を算出するが、実施形態２が平面に投影した端縁の距離に基づくのに対して、本変形例１は平面に投影した端縁で囲まれる図形の形状と重畳面積とに基づくものとなっている。

本変形例１の画像処理装置５は、上述した実施形態２の図１７に示した画像処理装置５に比して、位置関係算出部２３の構成が異なるものとなっている。

すなわち、本変形例１の位置関係算出部２３は、角度変更部３２と、重畳度評価部４１と、を備えている。

角度変更部３２は、回転軸（ｚ軸）周りに、２つの異なる３次元画像データの少なくとも一方を回転する。

重畳度評価部４１は、２つの異なる３次元画像データである比較元部分形状５１および比較先部分形状５２の対向する端縁５１ｃ，５２ｃを平面に投影し、図２３に示すような、平面に投影された２つ端縁５１ｃ'，５２ｃ'で囲まれる２つ図形の重畳度を評価する。ここに図２３は、平面に投影された２つ端縁５１ｃ'，５２ｃ'で囲まれる２つ図形の重畳度を評価する例を説明するための図である。なお、図２３におけるＯは、回転軸であるｚ軸に対応する位置を示している。

そして、位置関係算出部２３は、平面に投影された２つ端縁５１ｃ'，５２ｃ'を楕円近似した上で、近似した２つの楕円の長軸の方向が一致する回転角度に基づき、角度変更部３２により３次元画像データの少なくとも一方を回転させて重畳度評価部４１により重畳度を評価する。そして、位置関係算出部２３は、長軸の方向が一致する２つの回転角度（１８０°異なる回転角度）の内の、重畳度が大きい方の回転角度（投影平面上の回転角度）に対応する回転量（３次元画像データの回転量）に基づき位置関係を算出する。

次に、図２２は、画像処理装置５における位置関係算出処理を示すフローチャートである。

図３のステップＳ３においてこの処理に入ると、位置関係算出部２３は、ステップＳ２１の処理を上述したように行って、比較先部分形状５２を設定する。

続いて、重畳度評価部４１が、上述と同様に、例えば、比較先部分形状５２の端縁５２ｃに対してフィッティング（最適化）された平面５２ｐを設定する。ただし、その他の平面を設定しても良いことは上述と同様である。そして、重畳度評価部４１は、設定した平面５２ｐに端縁５１ｃ，５２ｃを投影して端縁５１ｃ'，５２ｃ'とし、端縁５１ｃ'を楕円近似して長軸の方向を算出すると共に、端縁５２ｃ'を楕円近似して長軸の方向を算出する（ステップＳ３１）。

さらに、角度変更部３２が、近似した２つの楕円の長軸の向きが一致する投影平面上の回転角度を算出し、算出した投影平面上の回転角度に基づき、３次元画像データの回転量（３次元におけるｚ軸周りの回転角度）を算出する。なお、ここでは投影平面上の回転角度に基づき３次元画像データの回転量を算出したが、投影平面上の回転角度を３次元画像データの回転量の近似値としてそのまま用いても構わない。角度変更部３２は、こうして算出した回転量に基づいて、比較元部分形状５１と比較先部分形状５２との少なくとも一方を回転させ、重畳度評価部４１が、端縁５１ｃ'に囲まれた図形と、端縁５２ｃ'に囲まれた図形と、の非重畳部分の合計面積（図２３参照）を算出する（ステップＳ３２）。

その後、角度変更部３２が、ｚ軸周りの相対的な回転角度が１８０°変更されるように、比較元部分形状５１と比較先部分形状５２との少なくとも一方を回転させ（従って、長軸の向きがステップＳ３２とは反転した状態となって再び一致する）、重畳度評価部４１が、端縁５１ｃ'に囲まれた図形と、端縁５２ｃ'に囲まれた図形と、の非重畳部分の合計面積を再度算出する（ステップＳ３３）。

次に、重畳度評価部４１は、ステップＳ３２において算出した合計面積と、ステップＳ３３において算出した合計面積とを比較して、小さい方の合計面積に対応するｚ軸周りの回転角度を選択する（ステップＳ３４）。

このステップＳ３４の処理を行った場合には、図３に示した処理（上述したステップＳ４）にリターンする。

なお、上述では非重畳部分の合計面積を２回算出して小さい方の合計面積に対応する回転角度を選択したが、重畳部分の面積を２回算出して大きい方の面積に対応する回転角度を選択しても構わない。そして、合計面積の例えば逆数（あるいは重畳部分の面積）は、類似度であって、重畳度を示す（つまり、合計面積が小さくなれば重畳度が大きくなる、あるいは重畳部分の面積が大きくなれば重畳度が大きくなる）。

このような実施形態２の変形例１によれば、比較元部分形状５１と比較先部分形状５２の対向する端縁５１ｃ，５２ｃを平面に投影した２つ端縁５１ｃ'，５２ｃ'の形状と、２つ端縁５１ｃ'，５２ｃ'で囲まれる２つ図形の重畳度とに基づき位置関係を算出することによっても、上述した実施形態１，２とほぼ同様の効果を奏することができる。

［実施形態２の変形例２］
図２４は本発明の実施形態２の変形例２を示したものであり、図２４は画像処理装置５における位置関係算出処理を示すフローチャートである。

この実施形態２の変形例２において、上述の実施形態１，２、あるいは実施形態２の変形例２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本変形例２では、上述した実施形態２の変形例１と同様に、比較元部分形状５１と比較先部分形状５２との対向する端縁が、形状的に連続性をもつように（滑らかとなるように）位置関係を算出するが、実施形態２の変形例１が平面に投影した端縁で囲まれる図形の形状と重畳面積とに基づくのに対して、本変形例２は平面に投影した端縁で囲まれる図形の重畳面積のみに基づくものとなっている。

本変形例２の画像処理装置５の構成は、上述した実施形態２の変形例１の図２１に示した構成と同様である。

ただし、本変形例２の位置関係算出部２３は、楕円近似や長軸方向の算出は行わず、角度変更部３２により３次元画像データの少なくとも一方を回転させながら重畳度評価部４１により重畳度を評価し、重畳度が所定の閾値以上であることを示すときの回転量に基づき位置関係を算出する。

次に、図２４を参照して、画像処理装置５における位置関係算出処理を説明する。

図３のステップＳ３においてこの処理に入ると、位置関係算出部２３は、ステップＳ２１の処理を上述したように行って、比較先部分形状５２を設定する。

続いて、角度変更部３２が、比較元部分形状５１と比較先部分形状５２との少なくとも一方、ここでは例えば比較元部分形状５１を、３次元空間内においてｚ軸周りに所定の回転角度Δθだけ回転する（ステップＳ４１）。

なお、このステップＳ４１を最初に実行したときの初期値をφとすると、このステップＳ４１から後述するステップＳ４４までのループを回るループ回数をｎとすれば、比較元部分形状５１の回転角度は、φ＋Δθ×ｎのように順次変更されていくことになる。

さらに、重畳度評価部４１が、上述と同様に、例えば、比較先部分形状５２の端縁５２ｃに対してフィッティング（最適化）された平面５２ｐを設定する。ただし、その他の平面を設定しても良いことは上述と同様である。そして、重畳度評価部４１は、設定した平面５２ｐに端縁５１ｃ，５２ｃを投影して端縁５１ｃ'，５２ｃ'とし、端縁５１ｃ'に囲まれた図形と、端縁５２ｃ'に囲まれた図形と、の非重畳部分の合計面積を算出する（ステップＳ４２）。

なお、ここでは非重畳部分の合計面積を算出して以下の処理を行うが、上述したように、重畳部分の面積を算出しても同様の処理を行うことが可能である。

次に、重畳度評価部４１は、合計面積が所定の閾値以下（つまり、重畳度が所定の閾値以上、あるいは類似度が所定の閾値以上）であるか否かを判定する（ステップＳ４３）。

ここで、合計面積が所定の閾値よりも大きいと判定された場合には、角度変更部３２による変更角度が３６０度に達したか否かを位置関係算出部２３が判定して（ステップＳ４４）、達していない場合にはステップＳ４１へ戻って角度変更部３２により角度を変更し、上述したような処理を行う。

また、ステップＳ４４において、変更角度が３６０度に達したと判定された場合には、合計面積が所定の閾値以下となる角度が発見されなかったことになる。

この場合には、算出された全ての合計面積の中で最小の合計面積（つまり、最大の類似度）が得られたときの比較元部分形状の端縁５１ｃ'，比較先部分形状５２の端縁５２ｃ'との位置関係、具体的にはｚ軸周りの位置ずれ角度φ＋Δθ×ｎを選択すると共に、比較元展開画像５１ｐに対応する３次元画像データである比較元部分形状５１の表示色を変更して、比較先部分形状とは異なる色になるよう設定する（ステップＳ４５）。

このステップＳ４５の処理を行うか、またはステップＳ４３において合計面積が閾値以下であると判定された場合には、図３に示した処理（上述したステップＳ４）にリターンする。

このような実施形態２の変形例２によれば、比較元部分形状５１と比較先部分形状５２の対向する端縁５１ｃ，５２ｃを平面に投影した２つの端縁５１ｃ'，５２ｃ'で囲まれる２つ図形の重畳度が所定の閾値以上であることを示すときの回転量に基づき位置関係を算出することによっても、上述した実施形態１，２とほぼ同様の効果を奏することができる。また、算出される位置関係が上述した実施形態２の変形例１よりも正確になると期待することができる。なお、図２３のステップＳ４３において、合計面積が閾値以下であると判定された場合においても、変更角度が３６０度に達するまで合計面積を算出しても良い。その際は、合計面積が閾値以下であると判定された変更角度を一時的に記憶しておき、変更角度が３６０度に達するまで合計面積を算出した後に、算出された合計面積の中で最小の合計面積が得られたときの比較元展開画像５１ｐと比較先展開画像５１ｐ'との位置関係を選択することで、より精度の高い位置関係を算出することが可能となる。

なお、本稿では５Ｄセンサを使用した実施形態について説明したが、本発明はこれに限定されるものではない。例えば６Ｄセンサを使用した場合、撮像方向の軸周りの回転自由度情報をさらに取得できる（従って、３次元並進自由度を記述するための３つの座標軸周りの全ての回転自由度情報を取得できる）ために、３次元形状画像生成部は異なる３次元画像データを３次元空間上に配置する処理が５Ｄセンサ使用時に比べて容易になる。しかしながら６Ｄセンサで測定した自由度情報にノイズが重畳することで、異なる３次元画像データを３次元空間上に配置した際に微小なずれが生じてしまう虞がある。このような場合にも、３次元画像データを３次元空間上に配置する処理に上述のテンプレートマッチングや評価距離に基づいた位置関係の選択を適用すれば、さらに精度の高い位置関係の算出を実現することが可能となる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として画像処理装置、画像処理システムについて説明したが、画像処理装置または画像処理システムを上述したように作動させる作動方法であっても良いし、コンピュータに画像処理装置または画像処理システムと同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

そして、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本出願は、２０１６年３月１５日に日本国に出願された特願２０１６−０５１２７４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (8)

1. 被検体を撮像した２次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の３次元ｘｙｚ座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をｚ軸としたときの当該ｚ軸に垂直なｘ軸周りの回転角とｙ軸周りの回転角、からなる撮像位置情報と、が入力される画像入力部と、
   異なる２つの前記被検体画像に基づいて、前記被検体における第１の領域の３次元形状を示す第１の３次元画像データと、前記被検体における第２の領域の３次元形状を示す第２の３次元画像データと、を構築する３次元画像構築部と、
   前記第１の３次元画像データに含まれる前記第１の領域の３次元形状と、前記第２の３次元画像データに含まれる前記第２の領域の３次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記３次元画像データが有する前記第１の領域の３次元形状と前記第２の領域の３次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出する位置関係算出部と、
   前記撮像位置情報に対応した位置に配置された前記第１の領域の３次元形状と前記第２の領域の３次元形状との前記ずれ角度を補正して、３次元空間上に配置することで３次元形状画像を生成する３次元形状画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 前記位置関係算出部は、
   ２つの前記端縁のそれぞれに複数の指標点を同一数ずつ設定する指標点設定部と、
   ２つの前記端縁からそれぞれ選択した各１つの指標点が最も近接するように、前記第１の領域の３次元形状と前記第２の領域の３次元形状との少なくとも一方を前記回転軸周りに回転する角度変更部と、
   前記指標点が設定された対向する前記端縁を平面に投影し、当該平面に投影された複数の指標点間の距離に基づいて評価距離を算出する評価距離算出部と、
   を含み、
   選択する各１つの指標点を異ならせて前記角度変更部により、前記第１の領域の３次元形状と前記第２の領域の３次元形状との少なくとも一方を回転させながら前記評価距離算出部により前記評価距離を算出し、対向する前記端縁の形状が類似するような前記評価距離が所定の閾値以下となるときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記位置関係算出部は、
   前記回転軸周りに前記第１の領域の３次元形状と前記第２の領域の３次元形状との少なくとも一方を回転する角度変更部と、
   ２つの前記端縁を平面に投影し、当該平面に投影された２つ端縁で囲まれる２つ図形の重畳度を評価する重畳度評価部と、
   を含み、
   前記角度変更部により前記第１の領域の３次元形状と、前記第２の領域の３次元形状と、の少なくとも一方を回転させながら前記重畳度評価部により前記重畳度を評価し、対向する前記端縁の形状が類似するような前記重畳度が所定の閾値以上であることを示すときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項１に記載の画像処理装置。
4. 前記３次元形状画像生成部は、前記位置関係算出部により算出された前記ずれ角度に基づいて、前記第１の領域の３次元形状と、前記第２の領域の３次元形状と、の前記回転軸周りのずれ量が最小となるように、少なくとも一方の３次元形状を前記回転軸周りに回転して３次元空間上に配置した前記３次元形状画像を生成することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
5. 前記被検体を撮像して、前記２次元の被検体画像を生成する内視鏡と、
   請求項１〜４の何れか一項に記載の画像処理装置と、
   を備え、
   前記画像入力部に入力される２次元の前記被検体画像は、前記内視鏡により生成された、２次元の前記被検体画像であることを特徴とする画像処理システム。
6. 被検体を撮像した２次元の被検体画像と、当該被検体画像を撮像したときの内視鏡先端部の３次元ｘｙｚ座標、及び、内視鏡挿入部に搭載された対物レンズの光軸をｚ軸としたときの当該ｚ軸に垂直なｘ軸周りの回転角とｙ軸周りの回転角、からなる撮像位置情報と、が入力されるステップと、
   異なる２つの前記被検体画像に基づいて、前記被検体における第１の領域の３次元形状を示す第１の３次元画像データと、前記被検体における第２の領域の３次元形状を示す第２の３次元画像データと、を構築するステップと、
   前記第１の３次元画像データに含まれる前記第１の領域の３次元形状と、前記第２の３次元画像データに含まれる前記第２の領域の３次元形状と、を各々の前記撮像位置情報に対応する位置に配置して、更に、前記撮像位置情報に基づいて定まる前記被検体画像の撮像方向を回転軸とした当該回転軸周りの角度のずれ量を示すずれ角度を、各々の前記３次元画像データが有する前記第１の領域の３次元形状と前記第２の領域の３次元形状との対向する部分の形状を示す端縁の情報の類似度に基づいて算出するステップと、
   前記撮像位置情報に対応した位置に配置された前記第１の領域の３次元形状と前記第２の領域の３次元形状との前記ずれ角度を補正して、３次元空間上に配置することで３次元形状画像を生成するステップと、
   を備えたことを特徴とする画像処理装置の作動方法。
7. 前記算出するステップは、
   ２つの前記端縁のそれぞれに複数の指標点を同一数ずつ設定する指標点設定ステップと、
   ２つの前記端縁からそれぞれ選択した各１つの指標点が最も近接するように、前記第１の領域の３次元形状と前記第２の領域の３次元形状との少なくとも一方を前記回転軸周りに回転する角度変更ステップと、
   前記指標点が設定された対向する前記端縁を平面に投影し、当該平面に投影された複数の指標点間の距離に基づいて評価距離を算出する評価距離算出ステップと、
   を含み、
   選択する各１つの指標点を異ならせて前記角度変更ステップにより、前記第１の領域の３次元形状と前記第２の領域の３次元形状との少なくとも一方を回転させながら前記評価距離算出ステップにより前記評価距離を算出し、対向する前記端縁の形状が類似するような前記評価距離が所定の閾値以下となるときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項６に記載の画像処理装置の作動方法。
8. 前記算出するステップは、
   前記回転軸周りに前記第１の領域の３次元形状と前記第２の領域の３次元形状との少なくとも一方を回転する角度変更ステップと、
   ２つの前記端縁を平面に投影し、当該平面に投影された２つ端縁で囲まれる２つ図形の重畳度を評価する重畳度評価ステップと、
   を含み、
   前記角度変更ステップにより前記第１の領域の３次元形状と、前記第２の領域の３次元形状と、の少なくとも一方を回転させながら前記重畳度評価ステップにより前記重畳度を評価し、対向する前記端縁の形状が類似するような前記重畳度が所定の閾値以上であることを示すときの回転量に基づき前記ずれ角度を算出することを特徴とする請求項６に記載の画像処理装置の作動方法。

Images