JP3438937B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、対象物を撮像した画像
を利用する事により対象物の立体形状を推定すると共
に、その誤差を推定する画像処理装置に関する。

【０００２】

【従来の技術】視野に重なりを持って配置された撮像手
段の、相対的な配置が既知の場合、撮像された画像から
対象の形状を推定する問題に対しては、いわゆるステレ
オ画像からの形状推定問題として種々の方法が提案され
ている。

【０００３】さらに近年では、動きからの３次元構造抽
出についていくつかの提案がなされている。これは、複
数の画像から撮像手段の相対的な移動をも推定しようと
する手法である。

【０００４】これらの方法はいずれも、複数の画像間で
対象物上の同一の点の各画像上における位置が関連付け
られることを原情報として用いる。

【０００５】対象物上の同一の点の各画像上における位
置の検出に対しても種々の方法が提案されている。人工
的な対象物の場合、角、輪郭成分が明瞭であることが多
いため、線分抽出等の構造抽出による手法は有効である
が、一般的な自然画像に対しては適用が難しい。時系列
画像に対してしばしば用いられる濃度勾配法は、画像間
での対象物の見かけの移動が非常に小さく、画像品質が
よい場合には良好な結果が得られるが、撮像条件の制約
が大きい。

【０００６】そこで一般的には、画像上の着目点とその
周辺領域を参照領域として抽出し、探索対象物の画像上
から抽出した領域との間で相関演算を行い、最大相関値
を与える位置を対応点とする手法（ブロックマッチン
グ）がしばしば用いられる。ブロックマッチング法は、
画像上のテクスチャが明瞭であれば比較的安定した結果
をもたらす。しかしその一方で、テクスチャが不明瞭な
場合には誤った対応点を検出してしまうことがある。

【０００７】さらに本質的な欠点として、対象物が立体
でありブロック内に例えば背景との境界を含む場合に
は、検出結果は信頼できない。また、対象物面が撮像手
段に対して傾いている、あるいは距離の差がある等、複
数の撮像手段の画像間での像の変形が大きい、または像
の大きさの差異が大きい場合も信頼性に乏しい。

【０００８】立体形状の推定に関わる課題としては、オ
クルージョン及び推定結果の整合に関する問題が上げら
れる。特に、ステレオからの推定においては対象物の背
後に隠れ、撮像されない部分、あるいは一方の撮像手段
のみに撮像される部分とが存在しこれらの領域の扱いが
問題となる。

【０００９】撮像手段の数が多ければ必然的に撮像され
る領域が多くなり、隠される領域は少なくなるが、特に
撮像手段の位置が既知でない場合、あるいは推定が正確
でない場合には、これらの画像間の整合は容易ではな
い。

【００１０】従来提案されてきた手法のほとんどは、人
工物を撮像した画像を対象物としている。または、自然
画像を対象物とした場合に当然発生するこれらの問題に
対し、何れかの仮定をおくことにより、影響を除外ある
いは軽減した条件において考察されており、実用上十分
な能力をもっているとは言えない。

【００１１】例えば、従来提案されている手法の適用が
困難であり、かつ、機能が実現された場合に実用的な価
値の大きい画像の種類に生体用内視鏡から得られる画像
がある。

【００１２】細長の挿入部を体腔内に挿入することによ
って、切開を必要とすることなく、体腔内の患部等を観
察したり、必要に応じ処置具を用いて治療処置のできる
内視鏡においては、先端部の大きさは機能上最小限に抑
える必要がある。このため、医師が観察、あるいは処置
を行うために必要な部材以外は、組み込むことができな
い。

【００１３】経内視鏡的に対象物の形状を把握すること
に関して、既にいくつかの提案がなされている。例え
ば、観察対象物に対しパターン光等を投影するスポット
光方式（特開昭６４−６４５２５号）、先端部に配置さ
れた複眼により視差のある像を得る複眼方式（特開昭６
３−２４４０１１号）である。同一出願人による特開昭
６２−１６８７９１号公報には、内視鏡先端を手元操作
により移動させて得た複数の画像から対象物形状を推定
する手法、及び操作にともなう先端の移動量を計測する
計測機構が開示されている。この方法によれば現内視鏡
の機能を損なうことなく、絶対的な対象物形状の推定を
行うことができる。これらを絶対形状方式と称すること
にする。

【００１４】一方、同一出願人による特開平６−７２８
９号公報では、同一の対象物に対して複数の位置から撮
像し、撮像された複数の画像から対象物の形状を推定
し、推定された形状と撮像手段の位置との関係を用いて
決定される重み関数により立体形状を推定する手法、つ
まり相対的な形状推定（相対形状）方式が開示されてい
る。

【００１５】

【発明が解決しようとする課題】前述した相対形状方
式、絶対形状方式である複眼方式及びスポット光方式の
各方式により同一点を検出し形状を推定する場合に、以
下の要因で誤差が発生する。

【００１６】（１）いずれの三方式にあっても画像内の
ノイズのために誤差が発生する。

【００１７】（２）異なる位置で同一の対象物体を撮像
したことにより、テクスチャーが変形するために誤差が
発生する。尚、局所的な領域で見たときは同一と考えら
れるが、実際には異なっている。相対形状方式及び複眼
方式が該当する。

【００１８】（３）異なる位置で同一の対象物体を撮像
したことにより、照明ムラが発生するために誤差が発生
する。これも、相対形状方式及び複眼方式が該当する。

【００１９】（４）スポット光方式においては、対象物
体に照射されたスポット光の画像に対して、テンプレー
ト画像として作成したスポット光の画像が厳密には異な
るため、誤差が発生する（図３７（ａ），（ｂ）参
照）。

【００２０】特開平６−７２８９号公報記載の発明で
は、複数の画像により対象物の立体形状を推定するとき
に、同一点の検出を行っているわけであるが、前記要因
等により検出の過程で誤差が生じていても、推定された
立体形状は形状誤差が含まれた状態で表示されることに
なる。従って、推定された立体形状は、どの程度の誤差
を含んでいるものか分からず、その信頼性の程度を把握
することはできなかった。

【００２１】また、特開昭６４−６４５２５号公報、及
び特開昭６３−２４４０１１号公報に示す方式に関して
も、同様のことが言える。

【００２２】本発明は前記事情にかんがみてなされたも
ので、対象物の形状推定すると共に、推定された形状に
どの程度の誤差を含んでいるのかを把握でき、推定形状
の信頼性を評価できる画像処理装置を提供することを目
的としている。

【００２３】

【課題を解決するための手段及び作用】本発明による画
像処理装置は、撮像手段により撮像された対象物の画像
から得られる情報および撮像手段に関する情報を基に、
対象物の立体形状を推定する立体形状推定手段と、前記
立体形状推定手段により前記対象物の立体形状を推定す
る過程で発生する形状の誤差を推定する立体形状誤差推
定手段と、前記立体形状誤差推定手段によって推定され
た誤差を表示器に出力する出力手段とを備えていること
を特徴とし、また、前記撮像手段により同一対象物に関
して複数の位置から撮像された複数の画像に対し、各画
像上における同一点の位置を検出する位置検出手段と、
前記位置検出手段により検出された前記各画像上におけ
る同一の位置の情報から前記撮像手段の複数の位置を推
定する位置推定手段とを更に有し、前記撮像手段に関す
る情報は、前記位置推定手段により推定された位置の情
報であることを特徴とする。 また、本発明による画像処
理装置は、一つ以上のパターン光を投影する投影手段を
有する撮像手段によって前記パターン光を投影された対
象物を撮像した画像から、前記パターン光の位置情報を
検出する位置情報検出手段と、前記位置情報検出手段で
検出された位置情報と前記パターン光の各照射方向を含
む撮像手段に関する絶対値情報とにより、前記対象物上
に照射されたパターン光までの距離を求め、求めた距離
から対象物の絶対的な立体形状を推定する絶対的立体形
状推定手段と、前記絶対的立体形状推定手段で求めた距
離に含まれる検出誤差を求め、この誤差を基に前記絶対
的な立体形状の誤差範囲を推定する立体形状誤差推定手
段と、前記立体形状誤差推定手段によって推定された誤
差を表示器に出力する出力手段とを備えたことを特徴と
する。

【００２４】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１ないし図２０は本発明の第１実施例に係り、
図１は第１実施例を備えた電子内視鏡システムの全体構
成図、図２は電子内視鏡装置のブロック構成を示すブロ
ック図、図３は画像処理装置の構成を示すブロック図、
図４はＣＰＵで構成した画像処理のブロック図、図５は
ハードウェアで構成した画像処理装置のブロック図、図
６は記録装置の構成を示すブロック図、図７は２次元画
像データが３次元データに変換され且つ誤差が推定され
る処理内容を示すフローチャート図、図８は立体形状の
推定に関する説明図、図９は歪曲収差の補正の説明図、
図１０はテンプレート画像と参照画像とのシフト量を求
める様子を示す説明図、図１１は２次元の画像データ列
からシフトマップを算出する様子を示す説明図、図１２
はシフトマップを算出して運動ベクトルの反復処理の具
体的な処理の様子を示すフローチャート図、図１３は中
心射影の座標系を示す説明図、図１４は回転軸と回転ベ
クトルを示す説明図、図１５は３つのベクトルが同一平
面上にあることを示す説明図、図１６は内視鏡の先端の
動きを示す説明図、図１７は反復推定の様子を示すフロ
ーチャート図、図１８はエピポーララインによる誤差推
定の説明図、図１９はエピポーララインからずれた位置
の誤差範囲に関する説明図、図２０は推定された立体形
状と誤差範囲の表示に関する説明図である。

【００２５】まず、本実施例の概略について説明すると
共に、続いて具体的な構成及び作用等について述べる。

【００２６】本実施例に係る画像処理装置は、概略的な
構成として、撮像手段により同一の対象物を複数の位置
から撮像し、各画面上における同一の点の位置を検出す
ると共に、撮像手段の相対的な動きを推定することによ
り、対象物の相対的な形状を推定する相対的形状推定手
段を有し、さらに、前記位置検出手段で発生する検出誤
差から前記相対形状推定手段で推定された対象物の形状
の誤差を推定する誤差推定手段とを有している。

【００２７】この画像処理装置を有する内視鏡画像処理
装置は、推定された対象物の立体形状と推定された誤差
とを合成して表示する構成を有し、撮像手段により同一
の対象物を複数の位置から撮像し、画像間の相関性を利
用して対象物の相対的な形状を推定すると同時に、形状
を推定する同一点の検出における検出誤差による形状の
誤差範囲を推定して対象物の相対形状と誤差範囲を表示
するものである。

【００２８】図１に示すように内視鏡システム１は撮像
手段を備えた電子内視鏡装置２と、撮像された画像に基
づいて患部等の立体形状を推定し、且つ形状の誤差を推
定する画像処理を行う第１実施例の画像処理装置３と、
画像を記録する記録装置４と、画像処理された画像を表
示するモニタ５とから構成される。

【００２９】電子内視鏡装置２は電子内視鏡６と、この
電子内視鏡６に照明光を供給する光源部７Ａ（図２参
照）及び撮像手段に対する信号処理を行う信号処理部７
Ｂを内蔵した観察装置７と、この観察装置７から出力さ
れる画像信号を表示する観察用モニタ８とから構成され
る。

【００３０】前記電子内視鏡６は生体９内に挿入される
細長の挿入部１１と、この挿入部１１の後端に形成され
た操作部１２と、この操作部１２から延出されたユニバ
ーサルケーブル１３とから構成され、このユニバーサル
ケーブル１３の先端に設けたコネクタ１４を観察装置７
に接続することができる。この挿入部１１は、先端側か
ら順に、硬質の先端部１６ａ、湾曲可能な湾曲部１６
ｂ、及び可撓管部１６ｃを有している。

【００３１】前記挿入部１１内にはライトガイド１５が
挿通され、コネクタ１４を観察装置７に接続することに
より、図２に示すように光源部７Ａから照明光が入射端
面に供給される。このライトガイド１５によって伝送さ
れ、先端部１６ａ側の端面から前方に出射され、生体９
内の対象部位を照明する。この照明された対象部位は先
端部１６ａに設けた対物レンズ１７によってその結像位
置に配置されたＣＣＤ１８に結像され、光電変換され
る。この対物レンズ１７とＣＣＤ１８とで撮像手段とし
ての撮像部１９を形成する。尚、撮像手段としては、前
記ＣＣＤ等に限らず他の素子でも良く、あるいは光学式
ファイバー内視鏡の接眼部に設けた電子カメラ等でも良
い。

【００３２】前記ＣＣＤ１８で光電変換された画像信号
は観察装置７内の信号処理部７Ｂにより、信号処理され
て画像信号が生成され、この画像信号は観察用モニタ８
に出力されると共に、画像処理装置３に出力される。

【００３３】観察装置７における光源部７Ａと信号処理
部７Ｂの構成を図２に示す。光源部７Ａは、紫外光から
赤外光に至る広帯域の光を発光するランプ２１を備えて
いる。このランプ２１としては、一般的なキセノンラン
プやストロボランプ等を用いることができる。前記キセ
ノンランプやストロボランプは、可視光のみならず紫外
光及び赤外光を大量に発光する。

【００３４】このランプ２１は、電源２２によって電力
が供給されるようになっている。前記ランプ２１の前方
には、モータ２３によって回転駆動される回転フィルタ
５０が配設されている。この回転フィルタ５０には通常
観察用の赤（Ｒ），緑（Ｇ），青（Ｂ）の各波長領域の
光を透過するフィルタが周方向に沿って配列されてい
る。

【００３５】又、モータ２３はモータドライバ２５によ
って回転が制御されて駆動されるようになっている。前
記回転フィルタ５０を透過し、Ｒ，Ｇ，Ｂの各波長領域
の光に時系列的に分離された光は、更にライトガイド１
５の入射端に入射され、このライトガイド１５を介して
先端部１６ａ側の出射端面に導かれ、この出射端面から
前方に出射されて、観察部位等を照明するようになって
いる。

【００３６】この照明光による観察部位等の被検体（被
写体）からの戻り光は、対物レンズ１７によって、ＣＣ
Ｄ１８上に結像され、光電変換されるようになってい
る。このＣＣＤ１８には、信号線２６を介して、信号処
理部７Ｂ内のドライバ３１からの駆動パルスが印加さ
れ、この駆動パルスによって光電変換された被検体の画
像に対応した電気信号（映像信号）のみ読出しが行われ
るようになっている。

【００３７】このＣＣＤ１８から読み出された電気信号
は、信号線２７を介して、電子内視鏡６内又は観察装置
７内に設けられたプリアンプ３２に入力されるようにな
っている。このプリアンプ３２で増幅された映像信号
は、プロセス回路３３に入力され、γ補正及びホワイト
バランス等の信号処理を施され、Ａ／Ｄコンバータ３４
によって、デジタル信号に変換されるようになってい
る。

【００３８】このデジタルの映像信号は、セレクト回路
３５によって、例えば赤（Ｒ），緑（Ｇ），青（Ｂ）の
各色に対応する３つのメモリ（１）３６ａ，メモリ
（２）３６ｂ，メモリ（３）３６ｃに選択的に記憶され
るようになっている。前記メモリ（１）３６ａ，メモリ
（２）３６ｂ，メモリ（３）３６ｃに記憶されたＲ，
Ｇ，Ｂ色信号は、同時に読み出され、Ｄ／Ａコンバータ
３７によって、アナログ信号に変換され、入出力インタ
フェース（Ｉ／Ｏ）３８を介してＲ，Ｇ，Ｂ色信号とし
てカラーモニタ８に出力され、このカラーモニタ８によ
って、観察部位がカラ―表示されるようになっている。

【００３９】また、観察装置７内には、システム全体の
タイミングを作るタイミングジェネレータ４２が設けら
れ、このタイミングジェネレータ４２によって、モータ
ドライバ２５，ドライバ３１，セレクト回路３５等の各
回路間の同期が取られている。

【００４０】この実施例では、メモリ（１）３６ａ，メ
モリ（２）３６ｂ，メモリ（３）３６ｃの出力端及びタ
イミングジェネレータ４２の同期信号出力端は、画像処
理装置３と接続されている。また、画像処理装置３はカ
ラーモニタ５と接続され、このカラーモニタ５には画像
処理装置３による演算結果が表示されるようになってい
る。

【００４１】図３はこの画像処理装置３の構成を示す。
ＣＰＵ４０、情報入力装置４１、ＲＡＭで構成される主
記憶装置４２、画像入力インタフェース４３、表示イン
タフェース４４、ＲＯＭ４５及び記録装置インタフェー
ス４６を備え、これらはバスによって互いに接続されて
いる。

【００４２】図４に示すようにＣＰＵ４０は、ＲＯＭ４
５に記憶されたプログラムにより動作する画像処理手段
４７を有している。この画像処理手段４７は、光学系に
よる歪曲収差の影響を画像から無くすように補正する歪
曲収差補正手段４９と、例えば同一対象物に関して複数
の位置から撮像手段により撮像された複数の画像に対
し、各画像上における同一の位置を検出する位置検出手
段５０と、前記各画像上における同一の点の位置から各
撮像手段の位置、すなわち動きを推定する位置推定手段
５１と、この位置検出手段５０で検出された同一の点の
位置及び前記位置推定手段で推定された各撮像手段の位
置（動き）から対象物の立体形状を推定する形状推定手
段５２と、同一対象物の複数の画像をいくつかの組に分
割して得られる各立体形状を平均化して一つの形状とし
て求める平均化処理手段５３と、例えば前記位置検出手
段５０の検出ミス等により発生する推定された対象物の
立体形状の誤差を推定する誤差推定手段５４と、前記推
定された対象物の立体形状と誤差とを合成する画像合成
手段５５等とからなる。

【００４３】前記情報入力手段４１はキーボード等で構
成され、電子内視鏡６の種別等のデータを入力できるよ
うになっている。画像入力インタフェース４３は、メモ
リ（１）３６ａ，メモリ（２）３６ｂ，メモリ（３）３
６ｃに接続され、これらの画像データの受信を行うよう
になっている。また、表示インタフェース４４は、モニ
タ５にて表示される画像データを送るようになってい
る。また、画像処理装置３の演算処理をハードウェアで
構成した場合のブロック構成例を図５に示す。

【００４４】メモリ（１）３６ａ，（２）３６ｂ，
（３）３６ｃに記録された時系列画像データは、画像入
力インターフェース５９を介して、一旦、複数のフレー
ムメモリからなるメモリ６０に記憶される。記憶された
画像データは歪曲収差補正手段６１により補正され、こ
の補正された画像データは、位置検出手段６２、位置推
定手段６３、形状推定手段６４、平均化処理手段６５及
び誤差推定手段６６により、対象物の立体形状と立体形
状の誤差が算出される。算出された３次元画像データ又
は２次元画像データと立体形状の誤差データとは、画像
合成手段６７により合成されメモリ６８に記憶される。

【００４５】メモリ６８に記憶された３次元画像データ
又は２次元画像データと立体形状の誤差は読み出され、
Ｄ／Ａコンバータ６９によってアナログ信号に変換さ
れ、表示用インターフェース７０を介してモニタ５に対
象部位の３次元又は２次元の形状及び形状誤差が表示さ
れるようになている。

【００４６】また、画像処理装置３には、歪曲収差補正
手段６１、位置検出手段６２、位置推定手段６３、形状
推定手段６４、平均化処理手段６５、誤差推定手段６６
及び画像合成手段６７の演算を制御するための演算処理
用コントローラ７１と、メモリ６０、６８のデータの読
み書きを制御するためのメモリコントローラ７２が設け
られている。セレクタ７３は、メモリコントローラ７２
の制御信号によってメモリ６０またはメモリ６８の一方
と記録装置４とを記録装置用インターフェース７４を介
して選択的に接続し、記録装置４とメモリ６０又はメモ
リ６８との間でデータの転送ができるようになってい
る。前記メモリコントローラ７２は、情報入力装置７５
を接続している。

【００４７】この実施例では電子内視鏡６で得た対象物
部位の画像に対し、画像処理装置３で処理を行い、モニ
タ５に処理結果を出力する。

【００４８】図６は画像処理装置３と接続され、画像処
理装置３で画像処理される画像データを記録したり、画
像処理装置３で処理され、モニタ５で表示される画像デ
ータ等を記録する記録装置４のより具体的な構成例を示
す。

【００４９】画像記録装置８０はＶＴＲ或いはアナログ
光磁気ディスク装置等のアナログ方式の画像記録装置で
あり、その出力はＡ／Ｄコンバータ８１により、Ａ／Ｄ
変換された後、デジタル画像として画像処理装置３に入
力される。また、画像処理装置３による処理結果画像
が、Ｄ／Ａコンバータ８４を介して画像記録装置８０に
記録することが可能である。

【００５０】動画像ファイル装置８２は半導体メモリ、
ハードディスク、デジタル光磁気ディスク装置等で構成
されるデジタル方式の動画像ファイル装置であり、その
出力はデジタル画像として画像処理装置３に入力され
る。また、静止画像ファイル装置８３は動画像ファイル
装置８２と同様に半導体メモリ、ハードディスク、デジ
タル光磁気ディスク装置等で構成されるデジタル方式の
静止画像ファイル装置であり、その出力はデジタル画像
として画像処理装置３に入力される。

【００５１】また、画像処理装置３による処理結果画像
は、動画像ファイル装置８２及び静止画像ファイル装置
８３に記録することも可能である。本実施例では、撮像
手段を移動させ、複数の位置で撮像した複数の画像を用
いて、立体形状の推定をする、いわゆる相対位置形状の
推定を行う。このため、ＣＣＤ１８を含む撮像手段を移
動させ、複数の画像を取り込むことになる。内視鏡の移
動による複数画像の取り込みは、例えば以下の方法で実
施できる。

【００５２】同一の対象物体に対して、内視鏡湾曲部１
６ｂの湾曲操作により特定の方向に内視鏡先端部１６ａ
を動かす。このとき画像ズレが発生しないように、緩や
かに湾曲操作を行う。湾曲操作に伴い、同一の対象物体
に対して時系列的な連続画像が複数得られる。この連続
画像から後述するように対象物体の立体形状及び誤差を
推定する。

【００５３】尚、前述のように、誤差の発生を極力抑え
るため所定速度以下で連続的に撮像手段を移動させる方
法以外に、同一の対象物体に対して異なる複数の位置か
ら複数の完全な静止画像を撮像して、その静止画像から
対象物体の立体形状を推定しても良い。

【００５４】図２において、ＣＣＤ１８で光電変換され
た画像信号は観察装置７内の信号処理部７Ｂで信号処理
された画像信号となり、観察用モニタ８に出力されると
共に、画像処理装置３に出力される。

【００５５】この画像処理装置３に入力される２次元の
画像データは一旦記録装置４に送られ、画像信号が記録
される。また、記録された画像信号は画像処理装置３に
再び送られ、被写体の３次元形状の推定及び誤差の推定
の処理が行われ、記録装置４及びモニタ５に送り出さ
れ、それぞれ推定された３次元形状と誤差の記録及び表
示が行われる。

【００５６】まず、本実施例では、以下のようにして２
次元画像から３次元データを求める処理を行う。電子内
視鏡６によって得られる内視鏡画像は、観察装置７によ
り画像信号として画像処理装置３に順次送り出される。
画像処理装置３では、順次送られてくる内視鏡画像の任
意の期間の画像信号を記録装置４に送り記録させる。

【００５７】記録装置４に記録された内視鏡画像データ
（２次元の画像データ）の複数フレームの画像データを
画像処理装置３へ送り、送られてきた複数フレームの画
像データから同一の点に対する位置を検出した後、検出
された位置の移動を表すシフトマップを算出する。

【００５８】求められたシフトマップより撮像手段の運
動ベクトル（電子内視鏡６先端の運動ベクトル）を推定
する。また、同一点に対する位置の検出結果と、運動ベ
クトルとから誤差の推定を行う。

【００５９】さらに、推定された撮像手段の運動ベクト
ルと各画像間のシフトマップを用いて各々の形状の推定
を行う。各推定形状に対して信頼度に応じて重み付け加
算等を行って１つの立体形状を求める。

【００６０】求められた３次元データに対して、任意の
撮像手段の方向から見たときの２次元画像または３次元
画像で表示する（ワイヤーフレーム等）画像データを作
成する。画像処理装置３によって作成された３次元画像
データ又は２次元画像データに、前記形状の推定誤差を
合成してモニタ５に表示すると同時に記録装置４に記録
する。

【００６１】図７及び図８は、画像処理装置３によって
２次元画像データが３次元データに変換されるまでの流
れ図を示す。以下、３次元画像データが算出されるまで
の過程を示す。

【００６２】ステップＳ１は、撮像手段が移動されなが
ら撮影された画像が画像処理装置３に入力されることを
示す。つまり、同一対象物に対して撮像手段（電子内視
鏡６の先端）を移動しながら、少しづつ位置が異なる２
次元画像データの入力を行う。

【００６３】次にステップＳ２では、ステップＳ１で得
られた複数の画像に対して歪曲収差補正処理を適用し、
画像の歪を補正する。この歪曲収差補正処理について、
補足説明をする。

【００６４】記録装置４から送られてくる内視鏡画像デ
ータに広角レンズによる歪が発生しているため、各画像
に対して歪曲収差補正処理を適用し画像の歪を補正す
る。電子内視鏡６を用いて、例えば図９（ａ）に示す正
方のます目を撮像した場合、得られる画像は、図９
（ｂ）に示されるようなものになる。この歪画像が正方
ます目画像になるように、各画像における補正値をあら
かじめ決定しておき、実際の撮像画像に対しての補正を
行うことにより、歪曲収差補正処理を実現することが可
能となる。より具体的な処理手法は、ＵＳＰ４，８９
５，４３１号公報において開示されている。

【００６５】次に補正された複数の画像（画像列）を用
いて、対応点の追跡、つまり対象物が撮像されている１
つの画像を選び、その画像上の複数の点を選択してそれ
ぞれの点が他の画像（参照画像）上でどのように移動し
ているかの追跡を行う。この対応点追跡について次に説
明する。

【００６６】対応点追跡において、まず図１０（ａ）に
示すように、検出しようとする対象物が撮像されている
画像の先に選択された点を中心とした矩形領域（テンプ
レート画像）をｔ（ｘ）とする。図１０（ｂ）に示すよ
うに、参照画像にある大きさのサーチエリアＳを設定
し、サーチエリアＳ内の対応領域ｆ（ｘ）と前記テンプ
レート画像の矩形領域ｔ（ｘ）とのブロックマッチング
処理、例えば相互相関演算によって相関値が最大となる
領域を求める演算を行い、その場合におけるテンプレー
ト画像に対する参照画像の移動方向及び移動量を求め
る。

【００６７】例えば、次のような正規化された相互相関
Ｄ（ｕ，ｖ）； を用いて相関値を求め、それが最大となる領域を求め、
その場合における移動方向及び移動量を求める。ここ
で、２重積分記号はサーチエリアＳ内での積分を表し、
＜ｆ＞、＜ｔ＞はそれぞれｆ(x+u,y+v) 、ｔ(x,y) のＳ
内での平均を表す。

【００６８】なお、ブロックマッチング処理は、相互相
関演算に限定されるものでなく、同一出願人によるＵＳ
Ｐ４，９６２，５４０号公報に開示されているカラーマ
ッチング手法を適用してもよい。（参照文献：コンピュ
ータ画像処理入門 総研出版(株) 田村秀行監修：p.1
48 〜p.150 ） 前述のようにして、テンプレート画像上で選択された点
の移動方向及び移動量の値を記述したシフトマップを求
める。

【００６９】ステップＳ２で求めたシフトマップを用い
て、次にステップＳ３では最急降下法等の反復処理によ
り、撮像手段の運動ベクトルを求め、被写体と撮像手段
の位置との相対的な位置関係を求める。

【００７０】ステップＳ４では、前記撮像手段と被写体
の各点とにおける相対的な位置の値と、撮像手段の運動
ベクトルとから誤差の推定を行う。

【００７１】ステップＳ５では各シフトマップで求めた
被写体と撮像手段の位置関係が同一の座標空間になるよ
うに変換し、それぞれの同一点での被写体と撮像手段の
位置を平均して１つの被写体形状を求める。その後、ス
テップＳ６で推定された３次元画像データを求め、ステ
ップＳ７では、前記推定された形状となる画像データ
と、ステップＳ４で求められた相対的な位置誤差、すな
わち形状誤差のデータとを所定のフォーマットで合成し
て、表示装置側などに出力する。

【００７２】次に３次元画像データを算出するための各
過程を順次説明する。 （一）入力画像からのシフトマップの作成（位置の検
出） まず、内視鏡装置２で生体９等の内部の診断などを行う
ことを望む対象部位に対して複数の位置から撮像を行
い、この対象部位に対する複数の画像を記録装置４に記
録する。この点については前述した通り、電子内視鏡６
の先端側を少しずつ湾曲移動するなどして同一の対象部
位に対して撮像し、得た複数の画像を記録装置４に記録
する。

【００７３】この結果、図１の左側に示す電子内視鏡６
の先端部１６ａ（に内蔵された撮像手段）の移動と共に
撮像された（図１１の右側に示す）画像列ｆ0 〜ｆNiの
内視鏡画像が得られる。

【００７４】画像処理装置３では記録装置４から送られ
てくる内視鏡画像に対して歪曲収差補正処理を適用し、
補正された内視鏡画像のＮｉ＋１フレーム（画像列ｆ0
〜ｆNi）をＮ組に分割し、分割されたｉ＋１フレームの
画像をもつＰ0 ないしＰN で示す撮像手段の移動軌跡に
対応する対応点追跡を行いそれぞれのシフトマップを算
出する。

【００７５】図１１に示すようにシフトマップ１は、画
像列ｆ0 〜ｆi のｉ＋１フレームの画像を用いて、次の
２つの対応点の追跡を行いながら各フレーム間の移動量
を順次求め算出する。

【００７６】（１）画像ｆ0 とｆ1 で対応点追跡を行
い、次に画像ｆ1 とｆ2 、さらに画像ｆ2 とｆ3 の順で
対応点追跡を行い、得られた移動量データを総て加算し
て画像ｆ0 とｆi との対応関係を求める。

【００７７】（２）画像ｆ0 とｆ1 の対応付けを行い、
この対応付けにより得られる移動量を基に画像データｆ
0 とｆ2 、さらにその値を基に画像ｆ0 とｆ3 の順に対
応点追跡を行い、最終的に画像ｆ0 とｆi との対応関係
を求める。

【００７８】（１）と（２）の関係は、（１）、（２）
の方法によりそれぞれの対応点追跡を行い、ある時点で
の（２）の方法における画像ｆ0 とｆk 、画像ｆ0 とｆ
k+1の視差量の増加と、（１）の方法での画像ｆk とｆk
+1 との間での視差量とを比較し、これらの差がある一
定量（実験的には３ピクセル）を越えた場合には、その
点ではミスマッチングを起こしたと判定し、周辺部のデ
ータから補間関数を用いてその点の移動量を再度推定し
直す。尚、k は、前記Ｎ分割された画像例（例えば、今
説明の対象となっている画像列ｆ0 〜ｆi ）のうちの任
意の画像を示している。この処理内容は図１２のフロー
チャートのようになる。

【００７９】ステップＳ１１によりデータNi+1の画像の
取り込みを行い、その後のステップＳ１２で歪曲収差の
補正処理を行う。次のステップＳ１３でNi+1の画像をN
組に分割する。次のステップＳ１３Ａ以降で、N 組に分
割された各画像列に対して（１）と（２）の方法によ
り、それぞれの対応点追跡を行い視差量の変化量が閾値
を越えたか否かを判断する。

【００８０】つまり、ステップＳ１３Ａでm=1 、ステッ
プＳ１４でまず、n=0 とし、次のステップＳ１５ａ及び
Ｓ１５ｂで（１）と（２）の方法により画像ｆ0 と画像
ｆ1との対応点追跡をそれぞれ行い、ステップＳ１６で
（１）と（２）の処理の視差量の変化量を算出する。

【００８１】次のステップＳ１７で、それぞれの変化量
が閾値（前記一定量）を越えたか否かを判断し、この閾
値を越えた場合にはステップＳ１８で補間処理を行う。
閾値を越えていない場合にはステップＳ１９で、n=i-1
か否かの判断を行う。n=i-1でない場合にはステップＳ
２０で n=n+1としてステップＳ１５ａ及びＳ１５ｂに戻
る。ステップＳ１５ａ及びステップＳ１５ｂでは、
（１）での画像ｆ1 と画像ｆ2 の対応点追跡を、（２）
での画像ｆ0 と画像ｆ2 の対応点追跡をそれぞれ行い、
画像ｆ0 と画像ｆ2 間での各視差量を求め、その変化量
を算出する。ステップＳ１７でその変化量と閾値を比較
し、前記と同様の処理を行う。このようにしてn=i-1 ま
での画像に対して同様な処理を行う。

【００８２】図１２の処理を行い、順次各点及び各画像
間のシフト量を求め、（画像ｆ0 とｆi つまり）位置Ｐ
0 と位置Ｐ1 間のシフト量を求めシフトマップ１を算出
する。

【００８３】シフトマップ１が算出されると、ステップ
Ｓ１９においてn=i-1 が成り立ち、ステップＳＣに進
む。ステップＳ１３Ｃでは、m=N か否かを判断し、m=N
でない場合はステップＳ１３Ｂでm=m+1 とし、ステップ
Ｓ１４に戻り、次の画像列でのシフトマップが算出され
る。このようにして、画像列ｆi 〜ｆ2i，…，ｆ(n-1)i
〜ｆNiについても前記演算がなされ、シフトマップ２か
らシフトマップＮ（Ｐ1とＰ2 ないしＰN-1 とＰN 間の
シフト量）までを求める。このＮ個のシフトマップの算
出により、Ｐ0 ないしＰN で示す位置での撮像手段で撮
像された画像上における対応点の移動量が、相互の画像
で関連付けられて算出され、ある画像までの位置が決定
されると、他の各画像上で同一の点の位置が算出される
ことになる。

【００８４】（二）運動推定による位置推定 前記求められたシフトマップより８点アルゴリズムを用
いて、撮像手段の運動（内視鏡先端１６の動き）を推定
する。しかし、画像間の対応付けに誤差が含まれると前
記８点アルゴリズムでは正しい解が得られなくなる。そ
こで８点アルゴリズムに最小２乗法を導入し、解を求め
るのに、最急降下法を適用して各シフトマップの運動ベ
クトルを求める。

【００８５】まず８点アルゴリズムについて説明する
（参考文献：画像理解 森北出版株式会社 金谷健一
著）。

【００８６】図１３は、中心射影の座標系を示す。原点
Ｏから距離ｆだけ離れたところにＺ軸に垂直に画像面を
とる。この時、空間中の点Ｐ（Ｘ，Ｙ，Ｚ）は、この点
Ｐ（Ｘ，Ｙ，Ｚ）と原点Ｏとを結ぶ直線の画像面との交
点に投影されるものとする。その点の画像座標を（ｘ，
ｙ）とすると幾何学的な関係からｘ、ｙは、 ｘ＝Ｘｆ／Ｚ ｙ＝Ｙｆ／Ｚ …（１） とな る。

【００８７】撮像手段の運動により空間中の点Ｘ＝
（Ｘ，Ｙ，Ｚ）がＸ′＝（Ｘ′，Ｙ′，Ｚ′）に移動し
たとき、そのとき撮像手段の運動は、原点を通る視軸回
りの回転を表す直行行列Ｒと、並進ベクトルｈ＝(hx ，
hy，hz)Tを用いて、次式で表される。 Ｘ＝ＲＸ′＋ｈ …（２） ここで、図１４で示すよにｎ＝(nx ，ny ，nz) を回転
軸方向とし、θをその回転角とすると、Ｒは次のように
表される。

【００８８】 点Ｘ、Ｘ′を原点からの距離と単位方向ベクトルｍ（Ｎ
ベクトル）、ｍ′を用いて表すと、それぞれ次のように
なる。

【００８９】 又、式（４）を用いると式（２）は、 ｒｍ＝ｒ′Ｒｍ′＋ｈ …（６） となる。

【００９０】図１５に示すように、３本のベクトルｍ、
Ｒｍ′、ｈは空間中の同一平面上に存在するため、それ
らのスカラ３重積が０となる。つまり、 ｜ｍｈＲｍ′｜＝（ｍ，ｈ×Ｒｍ′）＝０ …（７） となる。式（７）においてｈとＲの外積をＧとおくと、 （ｍ，Ｇｍ′）＝０ …（８） となる。

【００９１】ただし、 Ｇ＝（ｈ×ｒ１，ｈ×ｒ２，ｈ×ｒ３） …（９） であり、ｒ１，ｒ２，ｒ３は、それぞれＲの第１，第
２，第３列ベクトルである。式（６）の両辺とｈとのベ
クトル積をとると、 ｒｈ×ｍ＝ｒ′ｈ×Ｒｍ′（＝ｒ′Ｇｍ′） …（１０） となる。

【００９２】両辺とｈ×ｍとの内積をとると、 となる。これより ｜ｈｍＧｍ′｜≧０ …（１２） を得る。

【００９３】ここで、ＲとｈからＧの要素を決める。式
（８）はＧの９つの要素に関する連立方程式である。従
って、８組の対応対から得られる８個の１次方程式から
Ｇの要素の比を定めることができる。

【００９４】次に、 となるように定数倍したものをＧ＾とする。これは並進
ベクトルｈを単位ベクトルに正規化することにあたる。

【００９５】式（８）及び（９）によれば並進ベクトル
ｈは、Ｇの全ての列ベクトルに直交する。そこでＧ＾の
列ベクトルをｇ＾１，ｇ＾２，ｇ＾３として、 （ｇ＾ｉ，ｈ）＝０、ｉ＝１，２，３ …（１４） となる単位ベクトルｈ＾を計算する。符号は式（１２）
より、 ｜ｈ＾ｍαＧ＾ｍ′α｜≧０，α＝１，…，８ …（１５） となるように定める。

【００９６】次に、式（９）に基づき、 ｈ＾×ｒ＾＝ｇ＾ｉ，ｉ＝１，２，３ …（１６） となるように互いに直交して、右手系を作る単位ベクト
ル（ｒ＾１，ｒ＾２，ｒ＾３）を求め、これをその順に
列とする行列をＲ＝（ｒ＾１，ｒ＾２，ｒ＾３）とす
る。

【００９７】式（６）の両辺とｍ，Ｒｍ′との内積をと
るとそれぞれ、 ｒ＾α＝ｒ′＾α（ｍα，Ｒ＾ｍ′α）＋（ｈ＾，ｍ′＾α） ｒ＾α（ｍα，Ｒ＾ｍ′α）＝ｒ′＾α＋（ｈ＾，ｍ′＾α） …（１７） となる。これを解けば各点までの距離が次のように得ら
れる。

【００９８】 先にも述べたように８点アルゴリズムでは、画像間の対
応付けに誤差を含んでいる場合、正しい解が得られな
い。そこで必要な条件は厳密に満たし、その他の条件は
平均的に満たすような最適化を行う必要がある。

【００９９】そこでＮ組（Ｎ≧８）の対応点が観測され
たとし、最小二乗法を用いて、 となる行列Ｇを求め、これを単位ベクトルｈと直交行列
Ｒに近似的に分解する（最小二乗アルゴリズム）。

【０１００】そこで、撮像手段の運動に対してある拘束
条件を適用して、撮像手段の運動パラメータｈ0 、Ｒ0
を推定し、これを初期値として式（１９）を最小とする
ｈ、Ｒを推定する。これによりあらかじめ解の存在空間
を制限し、推定誤差を最小限に抑えることが可能にな
る。

【０１０１】撮像手段の運動パラメータの初期値ｈ0 、
Ｒ0 を求める。図１６（ａ）に示すように、（外部の操
作によって動く撮像手段を内蔵した）電子内視鏡６の先
端の動きはある方向への運動とみることができる。

【０１０２】図１６（ｂ）に示すように、首振りの回転
による撮像手段の視軸方向（Ｚ方向）への動きは小さ
く、動きを表す並進ベクトルｈはＺ軸に垂直な平面内
で、回転軸Ｕはｈに垂直、回転角θはｈの方向に＋であ
ると仮定して初期値を求めることができる。

【０１０３】シフトマップから複数の点の移動方向を求
めそれらを平均して並進ベクトルｈ0 を決定する。そし
てこのｈ0 に垂直に回転軸Ｕ0 を決めると、式（８）よ
り未知数ｒ、ｒ′、θ0 の３個を含む３個の方程式が得
られ、これを解くことでθ0が得られる。

【０１０４】複数の点に対してθ0 を求め、それぞれの
θ0 より平均値を求め、初期値を決定する。このように
して得られた値を初期値として式（１９）より最急降下
法を用いて最適解を決定する。

【０１０５】図１７に示すように、最急降下法により解
を求める。複数のシフトマップの内のｊ番目のシフトマ
ップＭ（ｊ）の並進ベクトルｈと回転マトリクスＲの各
要素を次のように表す。 ［hx(i),hy(i),hz(i),nx(i),ny(i),nz(i),θ(i) ］j i=0,1,2,…,n 図１６（ａ），１６（ｂ）で説明した方法により、図１
７のステップＳ２１のように運動ベクトルの初期値であ
る並進ベクトルｈ0 と回転マトリクスＲ0 を求める。こ
のときそれぞれの値を次のように表す。 ［hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ］j ステップＳ２２のように求められた各ベクトルの１つの
パラメータを選択し、そのパラメータに対してΔd （≧
０）を次のように与えると、全部で１４通りのパラメー
タの値の組が求まる。

【０１０６】 ［hx(0)+Δd,hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ］j ［hx(0)-Δd,hy(0),hz(0),nx(0),ny(0),nz(0),θ(0) ］j ［hx(0),hy(0)+Δd,hz(0),nx(0),ny(0),nz(0),θ(0) ］j ［hx(0),hy(0)-Δd,hz(0),nx(0),ny(0),nz(0),θ(0) ］j ・ ・ ・ ［hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0)+Δd ］j ［hx(0),hy(0),hz(0),nx(0),ny(0),nz(0),θ(0)-Δd ］j それぞれのパラメータの値の組に対して、次の評価関数
Ｏ（i ，j ）の値を求める（ステップＳ２３）。

【０１０７】 先の８点アルゴリズムで説明したようにＧが正しい値で
あれば（ｍ，Ｇｍ′）は０に近い値を示す。（ｍ、ｍ′
に誤差が含まれるため０にならない）そこで、求められ
た１４個の評価関数Ｏ（i ，j ）の内、最も小さな値、
つまり最小値をとるパラメータの組を選択する（ステッ
プＳ２４）。ステップＳ２５でこの最小値が閾値を越え
ていない場合には、ステップＳ２２に戻り、このパラメ
ータの組を新たなパラメータとする。例えば第１番目の
パラメータの組が評価関数を最小にした場合、新たなパ
ラメータの値は次のように求めることができる。

【０１０８】 hx(1)=hx(0)+Δd, hy(1)=hy(0), hz(1)=hz(0), nx(1)=nx(0), ny(1)=ny(0), nz(1)=nz(0), θ(1)=θ(0) 同様にして、評価関数を最小にしたパラメータに対して
Δd （≧０）を次のように与える。

【０１０９】 ［hx(1)+Δd,hy(1),hz(1),nx(1),ny(1),nz(1),θ(1) ］j ［hx(1)-Δd,hy(1),hz(1),nx(1),ny(1),nz(1),θ(1) ］j ［hx(1),hy(1)+Δd,hz(1),nx(1),ny(1),nz(1),θ(1) ］j ［hx(1),hy(1)-Δd,hz(1),nx(1),ny(1),nz(1),θ(1) ］j ・ ・ ・ ［hx(1),hy(1),hz(1),nx(1),ny(1),nz(1), θ(1)+Δd ］j ［hx(1),hy(1),hz(1),nx(1),ny(1),nz(1), θ(1)-Δd ］j それぞれのパラメータの評価関数の値を求め、その評価
関数が最小となるパラメータの組を選ぶ。以上の手順を
繰り返し行うことにより、評価関数Ｏ（i，j ）を最小
にする並進ベクトルｈと回転マトリクスＲのそれぞれの
要素が求められる。

【０１１０】すなわち、１つのシフトマップに対して１
つの運動ベクトル（並進ベクトルｈと回転マトリクス
Ｒ）を推定することができる。

【０１１１】各シフトマップとそれに対応する運動ベク
トルのパラメータから式（１８）を用いて各シフトマッ
プで選択された各点の視点から被写体での相対的な位置
を算出できる。

【０１１２】（三）形状推定 以上より求められた撮像手段の複数の運動ベクトル及び
各シフトマップで選択された各点の被写体から撮像手段
の位置までの相対的な位置関係を用いて、各シフトマッ
プでの被写体から撮像手段の位置までの相対的な位置関
係を所定の１つの撮像手段の位置を原点とした視線方向
をＺ軸とする同一の座標空間に変換する。

【０１１３】ここで、各々のシフトマップや運動ベクト
ルに誤差が含まれるために、各撮像手段から被写体まで
の相対的な位置関係は同じにならない。

【０１１４】そこで、同一空間に変換された各同一点の
撮像手段から被写体までの相対的な位置関係を単純平均
して１つの値として求め、それを推定形状とする。

【０１１５】前記（相対的）形状推定手段により求めら
れた形状の誤差は、前記位置検出手段のシフトマップの
誤差により発生するため、前記位置検出手段のシフトマ
ップの誤差による形状誤差を求める方法に関して以下で
説明する。

【０１１６】（四）誤差推定 前記位置検出手段においてシフトマップが正確に求めら
れる場合、例えば２つの異なる位置で撮像された画像上
の同一な点は、図１８に示すエピポーラライン（エピポ
ーララインの参照文献：画像解析ハンドブック 東京大
学出版会高木幹雄、下田陽介監修：p.597 〜p.598 ）上
に常に存在する。しかし、シフトマップに誤差が含まれ
る場合には、ある一点を基準にエピポーララインを決定
したとき、図１８に示すように、他方の点がエピポーラ
ラインから離れた位置に存在する。

【０１１７】そこで、エピポーララインｌ（エル）を ａi ｘ＋ｂi ｙ＋ｃi ＝０ …（２１） 、エピポーラライン上の１点の位置を（ｘｉ，ｙｉ）、
他点のエピポーラライン上の真の位置を（ｘi0′，ｙi
0′）、エピポーララインからずれた点の位置を（ｘ
ｉ′，ｙｉ′）とし、エピポーラライン上の真の位置か
らずれた点までのベクトルを とする。

【０１１８】このときエピポーララインからのずれた点
の位置から、エピポーラライン上に下ろしたときの垂線
の長さをｄｉとすると、 となる。

【０１１９】また、エピポーララインｌ方向のベクトル
は、 となり、式（２３）から式（２２）は次のようになる。

【０１２０】 以上により、シフトマップの誤差からエピポーラライン
からのずれた位置までの大きさが計算できる。

【０１２１】いま、‖δi ‖とsinθiとの間には基本的
に相関はない。すなわち、直線ｌに対して、（δxi，δ
yi）がどの方向に現れるかと‖δ‖の大きさと角度との
関係に相関がない。そこで、 とすると、 ここで、実際にはシフトマップの各点での誤差（δxi，
δyi）を求めることができない。しかし、Σｄｉ2 （ｄ
ｉ2はｄｉの二乗）は、求めることができるので式（２
５）よりｄｉの分散σ0 を得られる。

【０１２２】また、ｄｉを２次元の等方的な正規分布と
仮定したときの分散をσ1 、適当なｋ0 の値を設定した
とき、 としてｄｉの分布が推定される。

【０１２３】図１９に示すように、前記位置推定手段に
より求められる点の位置が、シフトマップの誤差により
エピポーララインからずれた位置に存在する。また、シ
フトマップの誤差を２次元の等方的な正規分布と仮定し
て、その分散を式（２６）から推定することから、適当
なｋ1 を設定してｋ1 ・σ1 をシフトマップの誤差分布
とする。

【０１２４】このときのｋ1 ・σ1 から半径ｓとする円
を描き、その中に真の位置が存在するとして、対象物の
形状の誤差範囲を算出する。

【０１２５】前記相対形状推定手段により求められる形
状が相対的な形状であることから、対象物上の点の対応
するベクトルを、 とする。また、式（６）よりｒを導くと（式（１８）を
変形する） となる。また、式（２７）のｍ′に前記に説明したシフ
トマップの誤差が加わった式を次のようにする。ただ
し、ｍ0 ′は誤差が加わらなかった真のベクトルで、
ｍ″は誤差の成分のみのベクトルとする。

【０１２６】 このとき、式（２８）は次のように求められる。

【０１２７】 式（３０）の両辺をθで微分して、 ｄｒ／ｄθ＝０ とおき、そのときのθを求めると、式（３０）の最大
値、最小値となるθが求められる。

【０１２８】よって、求められたθから視点から対象物
上の任意の１点まで相対的な位置ｒの最大値、最小値が
求められることになり、それが対象物上の任意の１点の
形状の誤差範囲を示すことになる。同様にして、対象物
上の全ての点に対して最大、最小値を求めることができ
る。

【０１２９】また、以上より求められた形状の誤差範囲
を前記表示装置に、図２０のような表示方法で表示す
る。図２０の左は対象物の形状を、右はその対象物の断
面と誤差範囲を表示したものである。

【０１３０】本実施例では、被写体に対し、撮像手段側
を移動して得られる複数の画像の同一点を検出し、検出
された同一点の情報から被写体に対する撮像手段の相対
的な位置関係を推定し、この推定された位置から被写体
の形状を推定している。

【０１３１】つまり、撮像された画像上で同一の点を検
出（決定）し、その情報に基づいて被写体に対する撮像
手段の相対的な位置関係を推定するようにしているの
で、撮像手段の移動と共に、被写体が移動した場合にお
いても、この被写体の移動に殆ど影響されることなく、
被写体に対する撮像手段の相対的な位置関係を決定でき
るという利点を有する。

【０１３２】また、撮像された画像情報を用いて被写体
の形状を推定しているので、撮像手段を形成する電子内
視鏡としてはパターンを投影する手段等の付加的な計測
機構が必要でないので、（先端部を太くなってしまうこ
となどなく）通常の電子内視鏡を用いることができる。

【０１３３】つまり、先端部が太くなってしまうような
電子内視鏡でなく、通常の電子内視鏡を用いることがで
きると共に、計測が必要な場合には観察装置７に画像処
理装置３を付加することにより、被写体の形状を表示で
きるようになり、拡張性に富むシステム構築を可能にし
ている。

【０１３４】また、この画像処理装置を用いて医療用内
視鏡検査に適用すると、患部など注目する部分を立体的
に表示できるので、患部の腫れの程度を従来より的確に
認識でき、診断する場合に有効となる。

【０１３５】さらに本実施例では、同一対象物を異なる
位置から複数撮像することにより、得られた画像から対
象物の形状推定するのと同時に、形状推定の過程で発生
する誤差を求めてその誤差を推定形状に反映して表示す
ることができる。従来のような方式により推定された形
状のみ表示するよりも、形状の推定過程で発生する誤算
による形状誤差が考慮されているため、推定形状の信頼
性の評価ができ、しいては、信頼性のある３次元データ
を提供することができる。

【０１３６】図２１ないし図２４は本発明の第２実施例
に係り、図２１は電子内視鏡システムの全体構成図、図
２２は複眼の内視鏡による測長の説明図、図２３はＣＰ
Ｕで構成した画像処理のブロック図、図２４はハードウ
ェアで構成した画像処理装置のブロック図である。

【０１３７】本第２実施例の画像処理装置は、第１実施
例の装置が複数位置から得た撮像画面を用いて演算した
相対的な値から８点アルゴリズム及び最小二乗法を用い
て立体形状を推定していたの対して、絶対値により形状
を推定するようになっている。この絶対値に基づく形状
の推定のため、本実施例では、撮像方式として複眼（ス
テレオ）を用い、この複眼で得た画像と共に撮像（に関
連する）光学系の絶対的な値を用いて、立体形状を推定
するようになっている。尚、本実施例において誤差の推
定は、第１実施例と同様にエピポーララインからのずれ
による誤差推定を行うようになっている。

【０１３８】本実施例の画像処理装置では、視差を利用
して対象物の絶対的な形状を推定すると同時に、形状を
推定する同一点の検出における検出誤差による形状の誤
差範囲を推定し、対象物の絶対形状と誤差範囲を同時に
表示することができる。

【０１３９】まず、第２実施例に係る画像処理装置を備
えた内視鏡システムについて、図を参照して説明する。
図２１に示す内視鏡システム３０１は、体腔内の映像を
撮像する電子内視鏡装置３０２と、本実施例に係る画像
処理装置３０３と、記録装置３０４と、モニタ３０５と
から構成される。

【０１４０】電子内視鏡装置３０２は、複眼の電子内視
鏡３０６と、この電子内視鏡３０６に照明光を供給する
光源装置３０７と、電子内視鏡３０６から得られる左画
像を信号処理する左画像用信号処理装置３０８Ａと、電
子内視鏡３０６から得られる右画像を信号処理する右画
像用信号処理装置３０８Ｂと、それぞれの信号処理装置
３０８Ａ、３０８Ｂから出力される画像信号を表示する
観察用モニタ３０９Ａ、３０９Ｂとから構成される。

【０１４１】前記電子内視鏡３０６は、生体３１８内部
に挿入できるように細長で可撓性を有する挿入部３１１
と、この挿入部３１１の後端に設けられた操作部３１２
と、この操作部３１２から延出されたライトガイドケー
ブル３１３とユニバーサルケーブル３１４とを備えてい
る。

【０１４２】ライトガイドケーブル３１３の末端のコネ
クタ３１５は、光源装置３０７に接続されている。ユニ
バーサルケーブル３１４は末端側で分岐され、各末端部
のコネクタ３１６Ａ、３１６Ｂはそれぞれ左画像用信号
処理装置３０８Ａと、右画像用信号処理装置３０８Ｂと
に接続される。

【０１４３】挿入部３１１の先端部３１９には、複数
の、例えば２つの観察窓と、照明窓とが設けられてい
る。前記各観察窓の内側には、互いに視差を有する位置
に、右眼用対物レンズ系３２０、左眼用対物レンズ系３
２１が設けられている。各対物レンズ系３２０、３２１
の結像位置には、撮像手段を構成する固体撮像素子３２
２、３２３がそれぞれ配置されている。

【０１４４】また、前記照明窓の内側には、配光レンズ
３２４が設けられ、この配光レンズ３２４の後端には、
ファイババンドよりなるライトガイド３２５が配置され
ている。このライトガイド３２５は、前記挿入部３１１
内を挿通され、その入射端面には光源装置３０７から照
明光が供給される。

【０１４５】このライトガイド３２５によって照明光は
伝送され、その先端面及び配光レンズ３２４を介して被
写体に照射される。この被写体からの反射光は、前記対
物レンズ系３２０、３２１によって、それぞれの右画
像、左画像として、固体撮像素子３２２、３２３に結像
されるようになっている。

【０１４６】前記画像処理装置３０３は、図３と同様の
構成であり図及び説明を省略すると共に、異なる点につ
いてのみ説明する。本実施例の画像処理装置３０３に搭
載された前記ＣＰＵ４０は、前記ＲＯＭ４５に記憶され
たプログラムにより動作する図２３に示す画像処理手段
３３０を有している。前記ＲＯＭ４５に搭載されるプロ
グラムは、第１実施例のプログラムと異なっている。

【０１４７】この画像処理手段３３０は、撮像手段（ス
テレオ）により撮像された左右の２枚の画像に対して、
光学系による歪曲収差の影響を無くすように補正する歪
曲収差補正手段３３１と、例えば同一対象物に関して左
右の撮像手段により撮像された左右画像に対し、各画像
間における同一の位置を検出する位置検出手段３３２
と、予め内視鏡の光学系の位置、視差等を計測して得ら
れたデータと前記位置検出手段３３２にて求められた位
置としての左右撮像系の中心からの距離及び偏差とから
対象物の立体形状を推定する形状推定手段３３３と、例
えば前記データや位置検出手段３３２による検出誤差等
により発生する対象物の立体形状の誤差を推定する誤差
推定手段３３４と、前記形状推定手段３３３にて推定さ
れた対象物の立体形状と前記誤差推定手段３３４の形状
誤差とを合成して表示装置等へ出力するための画像を作
成する合成手段３３５等とからなる。

【０１４８】前記左画使用信号処理装置３０８Ａ，３０
８Ｂは、例えば、図２に示す信号処理部７Ｂとほぼ同様
の構成とすることができる。

【０１４９】次に、画像処理装置３０３の演算処理をハ
ードウェアで構成した場合のブロック構成例を図２４に
示す。

【０１５０】図２４に示す前記画像処理装置３０３は、
前記左画使用信号処理装置３０８Ａ，３０８Ｂの各図示
しない複数のメモリに記憶された左画像のＲL，ＧL，Ｂ
L色信号、右画像ＲR，ＧR，ＢR色信号、及び同期信号Ｓ
ＹＮＣを入力するようになっている。これら時系列画像
データ（色信号）は、画像入力インターフェース３３９
を介して、一旦、複数のフレームメモリからなるメモリ
３４０に記憶される。記憶された画像データは歪曲収差
補正手段３４１により補正され、この補正された画像デ
ータは、左右画像間同一点位置検出手段３４２、形状推
定手段３４３、及び誤差推定手段３４４により、対象物
の立体形状と立体形状の誤差が算出される。算出された
３次元画像データ又は２次元画像データと、立体形状の
誤差データとは、形状・誤差合成手段３４５により合成
されメモリ３４６に記憶される。

【０１５１】メモリ３４６に記憶された３次元画像デー
タ又は２次元画像データと立体形状の誤差は読み出さ
れ、Ｄ／Ａコンバータ３４７によってアナログ信号に変
換され、入出力インタフェース３４８を介してモニタ３
０５に対象部位の３次元又は２次元の画像が表示される
ようになている。

【０１５２】また、画像処理装置３０３には、歪曲収差
補正手段３４１、位置検出手段３４２、形状推定手段３
４３、誤差推定手段３４４及び形状・誤差合成手段３４
５の演算を制御するための演算処理用コントローラ３５
０と、メモリ３４０、３４６のデータの読み書きを制御
するためのメモリコントローラ３５１が設けられてい
る。セレクタ３５２は、メモリコントローラ３５１の制
御信号によってメモリ３４０またはメモリ３４６の一方
と記録装置３０４とを記録装置用インターフェース３５
３を介して選択的に接続し、記録装置３０４とメモリ３
４０又はメモリ３４６との間でデータの転送ができるよ
うになっている。前記メモリコントローラ３５１は、情
報入力装置３５４を接続している。また、所定データ記
憶手段３４９は、前記情報入力装置３５４から指定され
た所定の情報を前記誤差推定手段３４４へ供給するよう
になっている。

【０１５３】前記画像処理装置３０３の動作について説
明する。撮像手段により得られた左右画像の色信号は、
それぞれ画像インターフェース３３９を通ってメモリ３
４０に記憶される。メモリ３４０に記憶された左右の画
像は歪曲収差補正手段３４１により補正され、左右の画
像間の同一点の位置を検出するための位置検出手段３４
２に入力される。

【０１５４】前記情報入力装置３５４は内視鏡の光学系
の位置や視差等のデータを入力し、入力されたデータを
記憶手段３４９に送る。また、形状の推定やその誤差の
推定を始めるための指示等の制御信号が情報入力装置３
５４から発っせられ、メモリーコントローラ３５１に送
られる。

【０１５５】位置検出手段３４２の検出結果と記憶手段
３４９に格納された所定データがそれぞれ形状推定手段
３４３、及び誤差推定手段３４４に入力される。形状推
定手段３４３では、位置検出手段３４２からの左右画像
における同一点の位置データと記憶手段３４４からの内
視鏡の光学系の位置や視差等のデータとにより内視鏡の
視点から対象物までの距離を算出して対象物体の形状を
推定する。

【０１５６】誤差推定手段３４４では位置検出手段３４
２からの左右画像の同一点の位置データと記憶手段３４
９からの内視鏡の光学系の位置や視差等のデータとによ
り、同一点検出における検出誤差（シフトマップの誤
差）を算出し、その検出誤差から内視鏡の視点から対象
物までの距離の誤差を算出して、対象物体の形状の誤差
を推定する。

【０１５７】形状推定手段３４３により推定された立体
形状と誤差推定手段３４４により推定された形状誤差と
をそれぞれ合成手段３４５に入力し、立体形状とその誤
差を表示するためのデータを作成し、メモリ３４６に記
憶する。

【０１５８】メモリ３４６に記憶されたデータは、Ｄ／
Ａコンバータ３４７、表示インターフェース３４８を通
って外部の表示装置３０５に送られる。

【０１５９】次に、形状推定のため、複眼の電子内視鏡
３０６における内視鏡先端面から指定された点にいたる
距離を計算する測長原理について以下に説明する。

【０１６０】図２２において点Ｄは生体３１８内部など
の対象物体３２８の着目点、点Ｐ、点Ｑは左画像用撮像
手段３２２、右画像用撮像手段３２３に結像された点に
対応する対物レンズ３２０、３２１の焦点像上の点であ
る。また、点Ｏは対物レンズ３２０、３２１の光軸の中
線と内視鏡先端面３２６との交点である。

【０１６１】前記点Ｄと内視鏡先端面３２６との距離を
ｄ、対物レンズ３２０、３２１の光軸の中線に対する横
方向のずれをｘとする。

【０１６２】前記内視鏡先端面３２６と対物レンズ３２
０、３２１の焦点面との距離をｆとし、対物レンズ３２
０、３２１の光軸間の距離を２ｓとする。また、対物レ
ンズ３２０の光軸と点Ｐとの距離をａ、対物レンズ３２
１の光軸と点Ｑとの距離をｂとする。

【０１６３】以上から、図２２における三角形の相似か
ら、 ｆ（ｓ＋ｘ）＝ａｄ ｆ（ｓ−ｘ）＝ｂｄ が成立する。以上の２式よりｘ、ｄについて解くと、 ｘ＝ｓ（ａ−ｂ）／（ａ＋ｄ） ｄ＝２ｆｓ／（ａ＋ｂ） となる。よってｆ、ｓは既知の量であるから、未知の
ｘ、ｄを求めることができる。また、ａ、ｂは左右画像
のそれぞれにおいて、対象点と画像の中心とからの偏差
として求められるので、左右画像において同一点が検出
できれば、ａ、ｂを求めることができる。そして本実施
例では、左右の画像間の同一の点を第１実施例で説明し
たような位置検出手段により、左の画像内の特定の領域
をテンプレート画像として、右の画像内での相関値が最
大となる領域を求めて同一の点の位置を検出する。

【０１６４】検出された同一点の移動量と撮像手段の視
差から、位置検出手段で得られた同一の点に対応する対
象物上の位置と撮像手段との間の距離を求めることがで
きる。

【０１６５】画像間の同一点の検出が第１実施例で説明
した位置検出手段で行われることから、本実施例で求め
られる絶対的形状の誤差は、第１実施例で説明した誤差
推定手段と同様の手法を用いることにより求めることが
できる。

【０１６６】いま、左右の画像用の撮像手段の光学系の
位置を正確に求められると（レンズが傾いていたり、焦
点深度が左右のレンズで異なっていたりしていないと仮
定すると）、それぞれの位置関係が第１実施例の運動パ
ラメータに対応し、絶対的な運動パラメータを求めるこ
とができる。

【０１６７】従って、第１実施例で求めたシフトマップ
の誤差の推定方法を用いて、シフトマップの誤差の範囲
を絶対的な値として推定する。また、得られた絶対形状
と、その誤差範囲とは、第１実施例の図２０で示したよ
うな表示方法により表示装置に表示する。

【０１６８】以上述べたように、本実施例では、複眼を
有する撮像手段により同一対象物の画像を複数撮像する
ことにより、対象物の絶対的な形状に加えて、その形状
の誤差範囲を推定することができ、従来のような方式に
より推定された絶対的な形状のみ表示するよりも、形状
の推定過程で発生する誤算による形状誤差が考慮されて
いるため、より信頼性のある形状データを提供できる。

【０１６９】図２５ないし図３１は本発明の第３実施例
に係り、図２５は２次元光スポット方式の電子内視鏡シ
ステムの全体構成図、図２６は内視鏡の先端構成図、図
２７は２次元スポット光の投影手段の構成図、図２８は
２次元光スポット方式における測長原理の説明図、図２
９はＣＰＵで構成した画像処理装置のブロック図、図３
０はハードウェアで構成された画像処理装置のブロック
図、図３１は対象物に投影されたスポット光の検出に関
する説明図である。

【０１７０】本第３実施例の画像処理装置は、第２実施
例の装置が複眼（ステレオ）で得た画像と共に光学系等
の絶対的な値を用いて、立体形状を推定するのに対し
て、例えば２次元的に配列される複数の光スポットをパ
ターン光として投影する投影手段を有する撮像手段によ
り撮像し、撮像された例えば一つの画像上に現れた複数
の光スポットの相互の位置を検出し、この検出された位
置と光学系等の絶対的な値とを用いて、立体形状を推定
するようになっている。尚、本実施例において誤差の推
定は、第１，第２実施例と同様にエピポーララインから
のずれによる誤差を推定する手法を採用しており、スポ
ット光を検出するときの検出誤差から形状の誤差範囲を
推定している。

【０１７１】まず、第２実施例に係る画像処理装置を備
えた内視鏡システムについて、図を参照して説明する。
図２５は内視鏡システム４００は、図１に示す第１実施
例のシステムにおける電子内視鏡６及び画像処理装置３
に代えて、計測用の電子内視鏡６Ａ及び本実施例に係る
画像処理装置３Ａを有している。また、内視鏡システム
４００は、第１実施例のシステムに加えてレーザ光源４
０１を有している。その他、第１実施例と同様の構成及
び作用については、同じ符号を付して説明を省略する。

【０１７２】図２６は計測用の電子内視鏡６Ａの先端部
１６ａ分の構造を示し、４０２は対象物の画像を得るた
めの観察窓、４０３は対象物を照明するための照明窓、
４０４はスポット光を照射するための出射窓、４０５は
チャンネル開口である。

【０１７３】電子内視鏡６Ａの挿入部１１内に挿通され
る図示しないライトガイドファイバは、先端部１６ａ側
へ、前記レーザ光源４１０が発したレーザ光を伝達する
ようになっている。前記射出窓４０４の後端側には、図
２７に示す投影手段としての透過形ファイバ回折格子４
１１を配置している。前記ライトガイドファイバの出射
端から出射されたレーザ光が前記回折格子４１１に入射
するようになっている。また、前記観察窓４０２には、
先端側から順に、前記対物レンズ１７と撮像素子である
前記ＣＣＤ１８とを配置した撮像部１９を有している。

【０１７４】前記透過形ファイバ回折格子４１１は、前
記撮像部１９と共に撮像手段を構成しており、複数のフ
ァイバが縦と横とに直交するように各複数配列されてい
る。この回折格子４１１を透過したレーザ光は、複数の
スポット光に分離され、レーザ光の光軸に対して直交す
る平坦なスクリーンに対して投影した場合、規則正しく
所定間隔で格子状に配列されるようになっている。すな
わち、規則正しい２次元スポット光となる。尚、対象物
体の凹凸に応じて、２次元スポット光の配列は変化す
る。また、前記投影手段は、パターン光として一つの光
スポットを照射するものでもよく、あるいは帯状の光を
格子状に配列するように投影するものでもよい。

【０１７５】本実施例の画像処理装置３Ａに搭載された
前記ＣＰＵ４０は、前記ＲＯＭ４５に記憶されたプログ
ラムにより動作する図２９（ａ）に示す画像処理手段４
３０を有している。前記ＲＯＭ４５に搭載されるプログ
ラムは、第１実施例のプログラムと異なっている。

【０１７６】前記ＣＰＵ４０が前記ＲＯＭ４５に記憶さ
れたプログラムにより動作する画像処理手段４３０は、
以下の手段を有している。すなわち、画像処理手段４３
０は、図２９（ａ）に示すように、対象物体上に照射さ
れた２次元スポット光の画像の歪曲収差を補正するため
の歪曲収差補正手段４３１と、歪曲収差補正された対象
物体とスポット光の画像はしきい値処理によりスポット
光のみ画像として求められるスポット光の検出手段４３
２とを有している。スポット光は一般に対象となる物体
の輝度値よりも大きいため、図２９（ｂ）に示すよう
に、適当な輝度値を設定して画像からその輝度値よりも
大きな値だけ取り出す、すなわちしきい値処理をするこ
とにより、スポット光の画像を得ることができる。

【０１７７】尚、前記格子状の帯状光からなるパターン
を投影する場合は、例えば格子のクロス点の輝度が高け
れば、前述の閾値処理を用いることができる。

【０１７８】また、画像処理手段４３０は、スポット光
検出手段４３２により得られたスポット光のみ画像から
スポット光の位置を検出するための位置検出手段４３３
と、予めスコープの光学系の位置、及びスポット光の照
射方向等を測定して得られたデータと位置検出手段４３
３での結果とを用いて視点から対象物体上に照射された
スポット光の位置までの距離を推定して対象物体の形状
を推定する形状（距離）推定手段４３４と、前記データ
と位置検出手段４３３によるスポット光の位置の検出誤
差から得られる形状の誤差を推定する誤差推定手段４３
５と、形状推定手段４３４での形状と誤差推定手段４３
５の形状誤差とを合成して表示装置に出力するための画
像を作成する合成手段４３６等とからなる。

【０１７９】次に、画像処理装置３Ａの演算処理をハー
ドウェアで構成した場合のブロック構成例を図３０に示
す。図３０に示すように、対象物体上に照射されたスポ
ット光と対象物体の画像が画像入力インターフェース４
５０を通って複数のフレームメモリからなるメモリ４５
１に記憶される。メモリ４５１に記憶された画像は歪曲
収差補正手段４５２により補正され、スポット光検出手
段４５３によりスポット光のみの画像として得られる。
スポット光検出手段４５３により得られたスポット光の
画像は、各スポット光の位置を検出するための位置検出
手段４５４に入力される。

【０１８０】前記情報入力装置７５は内視鏡の光学系の
位置やスポット光の照射方向等のデータを入力し、入力
されたデータを記憶手段４６１に送る。形状やその誤差
の推定を始めるための指示等の制御信号が情報入力装置
７５により発生されると、この制御信号は、メモリコン
トローラ４６３に送られる。

【０１８１】前記位置検出手段４５４からの検出結果と
記憶手段４６１のデータとがそれぞれ形状推定手段４５
５、誤差推定手段４５６に入力される。

【０１８２】前記形状推定手段４５５では位置検出手段
４５４からのスポット光の位置データと記憶手段４６１
からの内視鏡の光学系の位置やスポット光の照射方向等
のデータとより、内視鏡の視点から対象物体上に照射さ
れたスポット光の位置までの距離を算出して対象物体の
形状を推定する。

【０１８３】前記誤差推定手段４５６では位置検出手段
４５４からのスポット光の位置データと記憶手段４６１
からの内視鏡の光学系の位置やスポット光の照射方向等
のデータとよりスポット光の位置検出における検出誤差
を算出し、その検出誤差から内視鏡の視点から対象物体
上に照射されたスポット光の位置までの距離の誤差を算
出して対象物体の形状の誤差を推定する。

【０１８４】前記形状推定手段４５５により推定された
立体形状と、誤差推定手段４５６により推定された形状
誤差とは、合成手段４５７にそれぞれに入力され、立体
形状とその誤差を表示するためのデータが作成され、メ
モリ４５８に記憶される。

【０１８５】メモリ４５８に記憶されたデータはＤ／Ａ
コンバータ４５９、表示インターフェース４６０を経て
外部の表示装置５に送られる。

【０１８６】演算処理コントローラ４６２は、歪曲収差
補正手段４５２、スポット光検出手段４５３、位置検出
手段４５４、形状推定手段４５５、誤差推定手段４５６
及び合成手段４５７の演算を制御している。メモリコン
トローラ４６３は、メモリ４５１及びメモリ４５８に対
して、データの読み書きを制御している。

【０１８７】セレクタ４６４はメモリコントローラ４６
３の制御信号に応じて、メモリ４５１、メモリ４５８の
一方が記録装置インターフェース４６５を通って記録装
置４に接続できるように選択され、記憶装置４とメモリ
４５１またはメモリ４５７とデータの転送ができるよう
になっている。

【０１８８】次に、形状推定のため、計測用の電子内視
鏡３Ａにおける内視鏡先端面から指定された点にいたる
距離を計算する測長原理について以下に説明する。図２
７に示すように、レーザ光源４１０から出射されたレー
ザ光は、透過形ファイバ回折格子４１１に入射され、行
列上に配列された２次元のスポット光が対象物に照射さ
れ、その２次元スポット光のパターンが撮像手段により
撮像される。この２次元スポット光のパターンの画像
は、対象物に応じて行列上に並んだスポットの間隔が変
化していることから、この画像のスポット光の位置を推
定することにより、スポット光の照射されている対象物
までの距離を求めることができる。

【０１８９】そこで、図２８に示すように、φi をｉ次
項のスポットの方向、θi をｉ次項のスポットの観察さ
れる方向、Ｏをレンズの中心位置、ｃは撮像素子Ｐの中
心位置、ｆは対物レンズ１７の焦点距離、Ａは対象物上
の点、ＺA は対象物上の点Ａからレンズの中心Ｏとスポ
ット光の出射位置とを結んだ直線上に下ろした垂線の長
さ、ｌ（エル）はレンズの中心とスポット光の出射位置
とを結んだ長さ、ａはｉ次光のレーザ光が撮像素子Ｐに
到達する位置、撮像素子Ｐの中心ｃから位置ａまでの距
離をｅとする。

【０１９０】ＺA は次のようにして求めることができ
る。

【０１９１】 また、ＸA は、 として求めることができる。

【０１９２】ここで、ｉ次項のスポットの方向は、 となる。ただし、λはレーザ光の波長、Ｄは回折格子の
ピッチである。

【０１９３】よって、図３１に示すように、画像上のス
ポット光をしきい値処理等の手段によりスポット光のみ
画像を求める。得られたスポット光の画像は対象物の形
が極端に変形していなければ行列上に間隔が変化した状
態で所定順にスポット光が配列される。従って、スポッ
ト光の配列の順番から画像上の各スポット光が、第何次
光のスポットであるかわかる。

【０１９４】また、画像上のスポット光の位置は第１実
施例で説明したような位置検出手段においてスポット光
のテンプレート画像を用いて、しきい値処理で得られた
画像とで相関値が最大となる領域を求めてスポット光の
位置を検出する。スポット光の画像上での位置とその位
置のスポット光が第何次光のスポット光であるかが求め
られるので、対象物上に投影されたスポット光と撮像手
段との距離を求めることができる。

【０１９５】画像上のスポット光の位置の検出が第１実
施例で説明した位置検出手段で行われることから、本実
施例で求められる絶対的な形状の誤差は、第１実施例で
説明した誤差推定手段を用いることにより求めることが
できる。

【０１９６】いま、撮像手段の光学系の配置（焦点距離
や撮像手段の位置等）が正確に求められるとすると、そ
れぞれの位置関係が第１実施例の運動パラメータに対応
し、絶対的な運動パラメータを求めることができる。

【０１９７】よって、第１実施例で求めたシフトマップ
の誤差の推定方向を用いてシフトマップの誤差の範囲を
絶対的な値として推定される。また、得られた絶対形状
とその誤差範囲を第１実施例の図２０で示したような表
示方法により、表示装置に表示する。

【０１９８】以上述べたように、本実施例では、照射手
段からの２次元のスポット光が投影された対象物を撮像
手段によって撮像した一枚以上の画像から、対象物の絶
対的な形状とその形状の誤差範囲が推定することがで
き、従来のような方式により推定された絶対的な形状の
み表示するよりも、形状の推定過程で発生する誤算によ
る形状誤差を考慮することができるので、より信頼性の
ある形状データを提供できる。

【０１９９】図３２は本発明の第４実施例に係り、推定
形状と推定誤差との表示例を示す説明図である。

【０２００】本第４実施例の内視鏡システムは、前記第
１、第２、第３のいずれの実施例におけるシステムでも
よく、推定した形状の誤差の表示方式のみが異なってい
る。前記第１実施例等では、対象とした点での誤差の上
限及び下限範囲を表示してある。これに対して、本第４
実施例では、対象物上の特定の位置を基準点とし、その
基準点以外の位置での誤差の範囲を形状と共に表示する
ようになっている。

【０２０１】その他、第１ないし第３実施例と同様の構
成及び作用については、同じなので図及び説明を省略す
ると共に、異なる点についてのみ説明する。

【０２０２】本実施例では、対象物の形状を表示する前
までは各実施例のいずれかと同様で、形状の誤差範囲を
表示する場合、図３２に示すように、対象物の特定の位
置を基準位置として、その基準位置に対して他の位置で
の形状誤差がどの程度の範囲であるかを対象物の形状と
共に表示するようにしてある。

【０２０３】具体的には、他の点の誤差範囲は、所望の
基準点で求められている誤差を他の点の誤差に加えた範
囲として表示される。

【０２０４】図３３は第４実施例の変形例に係り、第４
実施例と異なる立体形状の誤差の表示例の説明図であ
る。

【０２０５】第４実施例では形状の誤差範囲を対象物の
形状と共に表示していたが、本変形例では、図３３に示
すように、数値で誤差範囲を表示している。

【０２０６】前記第４実施例及び変形例では、対象物上
の特定の位置に対して他の位置での形状の変化を容易に
観察できるのと同時に、形状変化の大きさの誤差の信頼
性を容易に知ることができる。

【０２０７】図３４ないし図３６は本発明の第５実施例
に係り、図３４は自己相関関数の算出と、求められた自
己相関関数の鳥瞰図、図３５は類似したテクスチャーと
自己相関関数の関係を示す説明図、図３６は自己相関関
数から誤差範囲を推定する様子を示す説明図である。

【０２０８】本第５実施例の内視鏡システムは、撮像手
段により得られた画像の自己相関関数を求め、自己相関
関数からシフトマップの誤差の範囲を推定する。

【０２０９】本第５実施例の内視鏡システムでは、立体
形状の推定に関しては、前記第１、第２、第３のいずれ
の実施例における手段でもよく、推定した形状に関する
誤差の推定手段が異なっている。尚、表示形式について
は、前記各実施例または変形例のいずれの形式でも良
い。

【０２１０】本実施例のシステムは、エピポーラライン
からのずれにより誤差を推定する第１、第２、第３の各
実施例の誤差推定手段に代えて、自己相関関数からシフ
トマップの誤差を推定する誤差推定手段を有している。
本実施例のシステムでは、第１実施例において取り込ま
れる複数画像のうちいずれか一つの画像、あるいは第２
実施例において左右画像のいずれか一方の画像、第３実
施例における一つの画像を用いて下述する手法により誤
差の推定を行うようになっている。

【０２１１】つまり、本実施例では、前記複数画像のい
ずれか一つの画像を用いて、立体形状に関する誤差の推
定が可能となっている。従って、本実施例の構成は、第
１、第２、第３の各実施例のいずれの構成にも適用で
き、これらの実施例における構成と異なる点は、誤差推
定手段に関するものだけである。よって、第１ないし第
３実施例と異なる点についてのみ説明し、同様の構成及
び作用については説明を省略する。

【０２１２】本実施例の位置検出手段は、第１実施例の
テンプレートマッチングで説明したように、２つの異な
る画像を用いて、一方の画像から同一点として検出した
い点を中心となるように特定の領域を取り出しそれをテ
ンプレート画像とし、もう一方の画像に対して相関関数
の式の相関値が最大になるような点の位置を求める手段
である。

【０２１３】また、自己相関関数は図３４（ａ）に示す
ように、１つの画像より取り出したテンプレート画像を
取り出し、もとの画像の特定の領域に対して相関値を求
める。すなわち、図中、破線で示すサーチエリア内にお
いて、テンプレートを移動させながら、自己相関関数を
求める。この場合、前記式（Ａ）を用いて相関を求める
ものとすると、相関関数の式のｆとｔが同一、すなわち
１つの画像内にあって相関関数を求めることになる。

【０２１４】このようにして得られた自己相関関数と、
テンプレート画像がサーチエリア内を移動したときの移
動量との関係を表した鳥瞰図を図３４（ｂ）に示す。

【０２１５】いま、図３５（ａ）に示すテクスチャーに
対して、特定の領域をテンプレートとし、その画像内で
の自己相関関数を求めた場合について考える。破線の領
域内でテンプレートを垂直方向に移動したとき、対象物
の構造あるいは模様の変化が小さな場合、図３５（ｂ）
に示すように、求められた値に差がなくなる。このよう
に、特徴が類似したテクスチャーが例えば垂直方向にあ
った場合、その方向で位置検出をすると検出誤差が発生
し易くなることがわかる。

【０２１６】このように自己相関関数は、テンプレート
として取り出された画像内のテクスチャーの特徴とシフ
トマップの誤差の発生頻度と対応している。そこで、図
３６（ａ）ないし（ｃ）に示すように、適当なしきい値
を設定し、そのしきい値を越えた自己相関関数の値のう
ちのピーク値と前記位置検出手段において同一点検出さ
れた位置とを合わせると共に、前記しきい値を越えた自
己相関関数の値の範囲を前記検出された位置のシフトマ
ップの誤差の範囲として推定する。

【０２１７】本実施例では、撮像手段により得られた画
像の自己相関関数の形からシフトマップの誤差の範囲を
各点ごとに推定することができる。

【０２１８】［付記１］ 撮像手段により撮像された対
象物の画像から得られる情報及び撮像手段に関する情報
を基に所定の演算をし、その演算結果を用いて前記対象
物の立体形状を推定する立体形状推定手段と、前記立体
形状推定手段にて前記所定の演算により推定される立体
形状に含まれる誤差を推定する立体形状誤差推定手段を
備えている。

【０２１９】［付記２］ 請求項１記載の画像処理装置
であって、前記立体形状推定手段は、前記撮像手段によ
り撮像された対象物の画像から得られる情報を基に前記
画像内の所定の位置情報を検出する位置検出手段を含ん
でおり、前記対象物と前記撮像手段との相対的な関係に
よって得られる前記位置情報を含む情報を基に、前記対
象物の相対的な立体形状を推定する相対形状推定手段か
らなる。

【０２２０】［付記３］ 請求項１記載の画像処理装置
であって、前記立体形状推定手段は、前記撮像手段によ
り撮像された対象物の画像から得られる情報を基に前記
画像内の所定の位置情報を検出する位置検出手段を含ん
でおり、この検出された前記位置情報と前記撮像手段に
関する絶対的な値とを基に、前記対象物の絶対値立体形
状を推定する絶対値形状推定手段からなる。

【０２２１】［付記４］ 請求項１記載の画像処理装置
であって、前記立体形状推定手段は、前記対象物と前記
撮像手段との相対的な関係によって得られる前記情報を
基に、前記対象物の相対的な立体形状を推定する相対形
状推定手段からなる。

【０２２２】［付記５］ 請求項１記載の画像処理装置
であって、前記立体形状推定手段は、前記対象物と前記
撮像手段との相対的な関係によって得られる情報と、前
記撮像手段に関する絶対的な値とを基に、前記対象物の
絶対値立体形状を推定する絶対値形状推定手段からな
る。

【０２２３】［付記６］ ［付記２］記載の画像処理装
置であって、 前記相対位置情報算出手段は、前記撮像
手段の動きを検出する動き検出手段であるもの。

【０２２４】［付記７］ ［付記３］記載の画像処理装
置であって、前記立体形状推定手段は、前記位置検出手
段で検出される前記位置情報と、前記撮像手段に関する
情報であるこの撮像手段を構成する構成要素の規定の絶
対値配置情報とを基に、絶対値立体形状を推定する。

【０２２５】［付記８］ ［付記２］または［付記３］
記載の画像処理装置であって、前記立体形状誤差推定手
段は前記位置検出手段により検出された位置情報に含ま
れる誤差を算出し、この算出結果を基に前記立体形状に
含まれる誤差を推定する。

【０２２６】［付記９］ ［付記２］または［付記３］
記載の画像処理装置であって、前記位置検出手段は、所
定の位置情報として前記撮像手段で撮像される一つの画
像内における複数の点の位置、または複数の画像におけ
る同一の点の位置のいずれかを検出し、前記立体形状誤
差推定手段は、前記位置検出手段にて前記位置を検出す
る際の検出誤差を求め、この検出誤差を基に立体形状の
誤差を推定する。

【０２２７】［付記９−１］ ［付記９］記載の画像処
理装置であって、前記立体形状誤差推定手段は、前記形
状推定をするときの最大誤差及び最小誤差から前記位置
検出手段にて位置検出をする際の検出誤差範囲を推定す
る。

【０２２８】［付記１０−１］ ［付記９］記載の画像
処理装置であって、前記立体形状誤差推定手段は、前記
位置検出手段にて前記位置を検出する際の検出誤差を求
めるにあたって、エピポーララインからのずれ量を算出
し、このずれ量を基に前記立体形状の誤差を推定する。

【０２２９】［付記１０−２］ ［付記９］記載の画像
処理装置であって、前記立体形状誤差推定手段は、前記
一つの画像内における複数の点に関して、各点で設定す
る特定の領域に対して自己相関関数を求め、その自己相
関関数の特徴的な値を基に、前記立体形状の誤差を推定
する。

【０２３０】［付記１０−３］ ［付記９］記載の画像
処理装置であって、前記立体形状誤差推定手段は、前記
一つの画像内における複数の点に関して、特徴的な値を
求め、その値を基に前記立体形状の誤差を推定する。

【０２３１】［付記１０−４］ ［付記９］記載の画像
処理装置であって、前記立体形状誤差推定手段は、自己
相関関数の特徴的な値を求めるため、適当な閾値を設定
して検出誤差の範囲を推定する。

【０２３２】［付記１１］ 請求項１記載の画像処理装
置であって、前記推定された立体形状と前記立体形状に
含まる誤差とを所定の形式で合成する画像合成手段を有
している。

【０２３３】［付記１２］ ［付記１１］記載の画像処
理装置であって、前記画像合成手段は、前記立体形状と
前記立体形状に含まれる推定誤差とが同一画面上で重な
らないような形式で合成する。

【０２３４】［付記１３］ ［付記１１］記載の画像処
理装置であって、前記画像合成手段は、前記立体形状の
少なくとも一部の形状と、この形状に含まれる推定誤差
を誤差範囲の形で重ねるように合成する。

【０２３５】［付記１４］ ［付記１１］記載の画像処
理装置であって、前記画像合成手段は、前記立体形状の
少なくとも一部の形状に対して、この形状に含まれる推
定誤差を前記形状における基準点から比較した誤差範囲
の形で重ねるように合成する。

【０２３６】［付記１５］ ［付記１１］記載の画像処
理装置であって、前記画像合成手段は、前記立体形状の
少なくとも一部の形状に対して、この形状に含まれる推
定誤差を数値の形で合成する。

【０２３７】［付記１６］ 請求項１記載の前記画像処
理装置であって、前記立体形状推定手段は、前記撮像手
段により撮像された対象物の画像から得られる情報と前
記撮像手段に関する配置情報とを基に、前記対象物上の
各点と前記撮像手段との間の相対的距離または絶対値距
離を求め、求められた前記距離を基に前記対象物の立体
形状を推定し、前記立体形状誤差推定手段は、前記撮像
手段により撮像された対象物の画像から得られる情報と
前記撮像手段に関する配置情報とを基に、前記立体形状
推定手段で求められた前記距離に含まれる誤差を算出
し、この算出結果を基に前記立体形状に含まれる誤差を
推定する。

【０２３８】［付記１７］撮像手段により同一の対象物
を複数の位置から撮像した各画像間における同一の点の
位置を検出する位置検出手段と、前記位置検出手段が検
出した同一点の位置情報から前記撮像手段の相対的な動
きを推定する動き推定手段と、前記位置検出手段の同一
の点の位置と前記動き推定手段の撮像手段の動きから対
象物の相対的な立体形状を推定する相対的形状推定手段
と、前記相対的形状推定手段で求めた距離に含まれる誤
差を求め、この誤差を基に前記相対的な立体形状の誤差
範囲を推定する立体形状誤差推定手段と、を有してい
る。

【０２３９】付記１７の画像処理装置では、撮像手段に
より同一の対象物を複数の位置から撮像し、画像間の相
関性を利用して対象物の相対的な形状を推定すると同時
に、例えば同一点の位置検出における検出誤差等を起因
とした前記距離の誤差による形状の誤差範囲を推定す
る。

【０２４０】［付記１８］複数の撮像手段により撮像さ
れた視差を有する複数の画像において、各画像間におけ
る同一の点の位置を検出する位置検出手段と、前記撮像
手段の視差を含む撮像手段に関する絶対値情報と前記位
置検出手段による同一点の位置情報とから、前記撮像手
段から前記対象物までの距離の絶対値を求め、求めた距
離から対象物の絶対値での立体形状を推定する絶対的形
状推定手段と、前記絶対的形状推定手段で求めた距離に
含まれる誤差を求め、この誤差を基に前記立体形状の誤
差範囲を推定する立体形状誤差推定手段と、を有してい
る。

【０２４１】前記付記１８記載の画像処理装置によれ
ば、複数の撮像手段によって、視差を有する複数の位置
から撮像して得た複数の画像と、前記撮像手段の視差と
を利用して対象物の絶対的な立体形状を推定すると共
に、同一点の位置検出における検出誤差等を起因とした
前記距離の誤差による立体形状の誤差範囲を推定する。

【０２４２】［付記１９］ ２次元的に規定の間隔から
なる光で形成された一つ以上のパターン光を投影する投
影手段を有する撮像手段によって前記パターン光が投影
された対象物を撮像した画像から、前記パターン光の位
置情報を検出する位置検出手段と、前記位置検出手段で
検出された位置情報と前記パターン光の各照射方向を含
む撮像手段に関する絶対値情報とにより、前記対象物上
に照射されたパターン光までの距離を求め、求めた距離
から対象物の絶対的な立体形状を推定する絶対的立体形
状推定手段と、前記絶対的形状推定手段で求めた距離に
含まれる誤差を求め、この誤差を基に前記絶対的な立体
形状の誤差範囲を推定する立体形状誤差推定手段と、を
有している。

【０２４３】付記１９の画像処理装置では、前記画像上
における対象物に投影されたパターン光の位置と、パタ
ーン光の照射方向及び撮像手段の位置とを利用して対象
物の絶対的な立体形状を推定すると共に、前記パターン
光の位置を検出するときの検出誤差等を起因とした前記
距離の誤差を基に立体形状の誤差範囲を推定する。

【０２４４】［付記１９−１］ ［付記１９］記載の画
像処理装置であって、前記投影手段は、規定の間隔で格
子状に配列された複数の帯状の光からなる前記パターン
光を投影する。

【０２４５】［付記１９−２］ ［付記１９］記載の画
像処理装置であって、前記投影手段は、一つの光スポッ
トまたは２次元的に規定の間隔で配列される複数のスポ
ット光を前記パターン光として投影する。

【０２４６】［付記２０］ 前記付記１７、付記１８ま
たは付記１９のいずれか記載の画像処理装置を有する内
視鏡画像処理装置であって、内視鏡像を撮像する前記撮
像手段と、前記推定された立体形状と前記推定された立
体形状の誤差範囲とを合成する画像合成手段と、前記画
像合成手段で合成された前記立体形状と前記誤差範囲と
を表示する表示手段とを有している。

【０２４７】

【発明の効果】本発明によれば、対象物を撮像手段によ
り撮像して、得られた画像から対象物の形状推定すると
共に、推定された形状にどの程度の誤差を含んでいるの
かを把握でき、推定形状の信頼性を評価できるという効
果がある。

【図面の簡単な説明】

【図１】図１ないし図２０は本発明の第１実施例に係
り、図１は第１実施例を備えた電子内視鏡システムの全
体構成図。

【図２】図２は電子内視鏡装置のブロック構成を示すブ
ロック図。

【図３】図３は画像処理装置の構成を示すブロック図。

【図４】図４はＣＰＵで構成した画像処理のブロック
図。

【図５】図５はハードウェアで構成した画像処理装置の
ブロック図。

【図６】図６は記録装置の構成を示すブロック図。

【図７】図７は２次元画像データが３次元データに変換
され且つ誤差が推定される処理内容を示すフローチャー
ト図。

【図８】図８は立体形状の推定に関する説明図。

【図９】図９は歪曲収差の補正の説明図。

【図１０】図１０はテンプレート画像と参照画像とのシ
フト量を求める様子を示す説明図。

【図１１】図１１は２次元の画像データ列からシフトマ
ップを算出する様子を示す説明図。

【図１２】図１２はシフトマップを算出して運動ベクト
ルの反復処理の具体的な処理の様子を示すフローチャー
ト図。

【図１３】図１３は中心射影の座標系を示す説明図。

【図１４】図１４は回転軸と回転ベクトルを示す説明
図。

【図１５】図１５は３つのベクトルが同一平面上にある
ことを示す説明図。

【図１６】図１６は内視鏡の先端の動きを示す説明図。

【図１７】図１７は反復推定の様子を示すフローチャー
ト図。

【図１８】図１８はエピポーララインによる誤差推定の
説明図。

【図１９】図１９はエピポーララインからずれた位置の
誤差範囲に関する説明図。

【図２０】図２０は推定された立体形状と誤差範囲の表
示に関する説明図。

【図２１】図２１ないし図２４は第２実施例に係り、図
２１は電子内視鏡システムの全体構成図。

【図２２】図２２は複眼の内視鏡による測長の説明図。

【図２３】図２３はＣＰＵで構成した画像処理のブロッ
ク図。

【図２４】図２４はハードウェアで構成した画像処理装
置のブロック図。

【図２５】図２５ないし図３１は第３実施例に係り、図
２５は２次元光スポット方式の電子内視鏡システムの全
体構成図。

【図２６】図２６は内視鏡の先端構成図。

【図２７】図２７は２次元スポット光の投影手段の構成
図。

【図２８】図２８は２次元光スポット方式における測長
原理の説明図。

【図２９】図２９はＣＰＵで構成した画像処理装置のブ
ロック図。

【図３０】図３０はハードウェアで構成された画像処理
装置のブロック図。

【図３１】図３１は対象物に投影されたスポット光の検
出に関する説明図。

【図３２】図３２は第４実施例に係り、推定形状と推定
誤差との表示例を示す説明図である。

【図３３】図３３は第４実施例の変形例に係り、第４実
施例と異なる立体形状の誤差の表示例の説明図。

【図３４】図３４ないし図３６は第５実施例に係り、図
３４は自己相関関数の算出と、求められた自己相関関数
の鳥瞰図。

【図３５】図３５は類似したテクスチャーと自己相関関
数の関係を示す説明図。

【図３６】図３６は自己相関関数から誤差範囲を推定す
る様子を示す説明図。

【図３７】図３７は誤差発生の説明図。

【符号の説明】

４７…画像処理手段 ５０…位置検出手段 ５１…位置推定手段 ５２…形状推定手段 ５３…平均化処理手段 ５４…誤差推定手段 ５５…画像合成手段

フロントページの続き (72)発明者 野波 徹緒 東京都渋谷区幡ヶ谷２丁目43番２号 オ リンパス光学工業株式会社内 (56)参考文献 特開 平６−7289（ＪＰ，Ａ) 特開 平５−180634（ＪＰ，Ａ) 特開 昭63−244011（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 A61B 1/00 G06T 7/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 撮像手段により撮像された対象物の画像
   から得られる情報および撮像手段に関する情報を基に、
   対象物の立体形状を推定する立体形状推定手段と、 前記立体形状推定手段により前記対象物の立体形状を推
   定する過程で発生する形状の誤差を推定する立体形状誤
   差推定手段と、前記立体形状誤差推定手段によって推定された誤差を表
   示器に出力する出力手段と 、 を備えていることを特徴とする画像処理装置。
2. 【請求項２】 前記撮像手段により同一対象物に関して
   複数の位置から撮像された複数の画像に対し、各画像上
   における同一点の位置を検出する位置検出手段と、前記位置検出手段により検出された前記各画像上におけ
   る同一の位置の情報から前記撮像手段の複数の位置を推
   定する位置推定手段と 、を更に有し 、前記撮像手段に関する情報は、前記位置推定手段により
   推定された位置の情報であることを特徴とする請求項１
   記載の画像処理装置 。
3. 【請求項３】 一つ以上のパターン光を投影する投影手
   段を有する撮像手段によって前記パターン光を投影され
   た対象物を撮像した画像から、前記パターン光の位置情
   報を検出する位置情報検出手段と、前記位置情報検出手段で検出された位置情報と前記パタ
   ーン光の各照射方向を含む撮像手段に関する絶対値情報
   とにより、前記対象物上に照射されたパターン光までの
   距離を求め、求めた距離から対象物の絶対的な立体形状
   を推定する絶対的立体形状推定手段と 、前記絶対的立体形状推定手段で求めた距離に含まれる検
   出誤差を求め、この誤差を基に前記絶対的な立体形状の
   誤差範囲を推定する立体形状誤差推定手段と 、前記立体形状誤差推定手段によって推定された誤差を表
   示器に出力する出力手段と 、を備えたことを特徴とする画像処理装置 。