JP4759184B2 - 計測内視鏡装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、被検物（対象物）を撮影して計測を行なうのに必要な複数のステレオ計測用光学アダプタが内祝鏡本体に着脱可能な計測内視鏡装置にかかわり、所望の長さを計測したときに表示される計測線が光学的な歪み補正を行った状態の線で元画像上に表示可能とすることによって、検査者が計測した場所を違和感無く認識しやすくすることのできる計測内視鏡装置に関する。
【０００２】
【従来の技術】
一般に、内視鏡によって被検物をさらに詳細に調べるためには、その被検物を計測することが必要であり、このような要求を満足するために、従来から内視鏡を用いて被検物の計測が可能な計測手段が様々な提案によって開示されている。
【０００３】
例えば、特開平１０−２４８８０６号公報に記載の提案では、ステレオ計測による計測内視鏡装置が示されている。また、本出願人が先に出願した特願２０００−１０１１２２号に記載の提案では、光学アダプタの種類によって異なる計測手法を、光学アダプタの種類に応じて自動的に選択して実行する計測内視鏡装置が示されている。
【０００４】
前者の特開平１０−２４８８０６号公報に記載の計測内視鏡装置では、内視鏡本体に、被検物を撮像して計測を行うのに必要な２つの光学系を有する光学アダプタを着脱自在に設け、光学アダプタ内の２つのレンズ系の画像を１つの撮像素子上に結像し、少なくともこの得られた内視鏡画像を用いた画像処理により計測を行うもので、光学アダプタの光学データを記録した記録媒体から情報を読み込む処理と、内視鏡本体の撮像系の位置誤差を基に光学データを補正する処理と、補正した光学データを基に計測する画像を座標変換する処理と、座標変換された２つの画像を基に２画像のマッチングにより任意の点の３次元座標を求める処理と、を行う計測処理手段を有して構成されている
上記構成の計測内視鏡装置においては、前記光学アダプタを介して撮像素子により取り込まれた被検物（被写体）の２つの画像を座標変換して求めた２つの画像情報を基に、２画像のマッチングにより被検物上の任意の点の３次元座標を求める。これにより、安価でしかも計測精度の優れた計測内視鏡装置の実現を可能にしている。
【０００５】
一方、後者の特願２０００−１０１１２２号に記載の計測内視鏡装置は、内視鏡先端部に設けられた接続部と、前記接続部に着脱可能な被写体像を撮像素子に結像させる複数種の光学アダプタと、前記光学アダプタの１つを接続し、前記撮像素子の画像信号を画像処理により計測を行う計測内視鏡装置において、前記複数の光学アダプタに予め関係付けられた表示データにて、選択操作するメニュー表示処理と、前記メニュー表示処理による選択結果に基づいて、計測処理を行う計測処理手段とを有して構成されている。
【０００６】
上記構成の計測内視鏡装置においては、前記メニュー上で光学アダプタを選択すると、その光学アダプタに対応した計測方法が自動的に選択され、計測を実行する場合は内視鏡操作部に設けた計測実行スイッチを押下するのみで、前記選択された計測方法に対応した計測処理を実行させることが可能となる。
【０００７】
また、上記公報にある実施例の中で複数の光学アダプタそれぞれについて計測環境の設定処理を行なった結果を外部記憶媒体であるコンパクトフラッシュ（Ｒ）メモリカードに計測環境データとして保存しておき、前記メニュー上で適切な光学アダプタを選択することで該当する光学アダプタに合った前記計測環境データが使用される構成が開示されている。
【０００８】
【発明が解決しようとする課題】
通常、計測画像は、ビデオ内視鏡本体、対物レンズを有する計測用光学アダプター、ビデオ内視鏡から出力される信号をＴＶ信号に変換するためのカメラコントロールユニツト（ＣＣＵ）、ＴＶ信号をデジタル信号に変換して記録するための記録装置の種類あるいは個体の違いによって画像の写り具合の特性が変化する。このために、計測内視鏡装置の設定を、計測画像を撮影したときのそれぞの装置の組み合わせに適した状態になるようにさまざまな補正 （キャリブレーション処理）を行なわなければ、正しく計測を行うことができない。
【０００９】
また、最近では、さまざまな計測の用途に合うように、内視鏡本体、光学アダプタやＣＣＵなどの種類も増えてきたのに伴って、さまざまな装置の組み合わせ（計測環境）で記録された計測画像で再計測を行なう機会が増えてきている。
【００１０】
しかしながら、従来の装置では、ビデオ内視鏡本体の光学系を含めた光学アダプタの光学特性を補正した補正画像を表示する機能がないので、このような装置で被写体を撮影すると、実際には直線部分の場所が、画像上では幾何学的歪みによって湾曲して表示される。
【００１１】
そして、この画像でこの直線部分を計測した場合、表示される計測線は、単純に両端の点を結んだ直線でこの画像上に表示されていたので、湾曲して表示される被写体上には計測線が重ならないので、検査者は計測した場所や長さを正しく認識することが困難であった。
【００１２】
また、計測においては補正画像上で計算しなければ正確な値を算出することができないので、基準線や基準面からの垂直距離を計測した場合、従来は、基準線や基準面との交点が幾何学的歪みを考慮して表示する機能が無かったために、これらの垂直距離の位置を表示していなかったり、または、擬似的な座標で表示していたので、検査者は計測した長さを正しく認識することができなかった。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、本装置で計測を行なう場合に表示する計測線を幾何学的歪みを考慮して幾何学的歪みを補正していない元画像上に表示するようにすることで、補正画像を表示する機能は設けずに、比較的簡単な処理で、検査者が計測した位置と長さを正しく認識しやすくすることのできる計測内視鏡装置を提供することを目的としている。
【００１４】
【課題を解決するための手段】
本発明の計測内視鏡装置は、内視鏡先端部に設けられた接続部と、前記接続部に着脱可能な、被写体像を撮像素子に結像させる光学アダプタと、前記撮像素子によって得られた画像信号に基づく内視鏡画像を、前記光学アダプタの光学特性による幾何学的歪みの補正処理を施さない状態で表示する表示手段と、前記内視鏡画像を用いて計測処理を行なう計測手段と、を具備している計測内視鏡装置において、前記表示手段は、前記計測手段が計測処理を行うときに表示される計測線に前記光学アダプタの光学特性による幾何学的歪みを施した状態で、前記光学アダプタの光学特性による幾何学的歪みの補正処理が施されていない前記内視鏡画像に前記計測線を重畳して表示することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【００１６】
図１ないし図１９は本発明の一実施の形態に係わり、図１は計測内視鏡装置のシステム構成を示す斜視図、図２は図１の計測内視鏡装置の電気的回路構成を示すブロック図、図３は図１のリモートコントローラの構成を示す斜視図、図４はステレオ計測アダプタを付けた図１の内視鏡挿入部の内視鏡先端部の構成を示す斜視図、図５は図４のＡ−Ａ線断面図、図６は図４のステレオ計測アダプタを付けた内視鏡画像を示す図、図７は図４のステレオ計測アダプタのマスク形状の画像を示す図、図８は図１の計測内視鏡装置での計測環境の設定を説明するための元画像と補正画像の関係を示す図、図９は図５の内視鏡画像において計測可能な左右の視野領域が切り出されて表示されているステレオ計測画面の一例を示す図、図１０は通常光学アダプタを付けた図１の内視鏡挿入部の内視鏡先端部の構成を示す斜視図、図１１は図１０のＡ−Ａ線断面図、図１２は図１０の通常光学アダプタを付けた内視鏡画像を示す図、図１３は図１のＬＣＤに表示された光学アダプタの選択画面の一例を示す図、図１４は図１の装置の特徴となる計測を実行するまでの制御動作例を示すフローチャート、図１５は二点間距離や基準線からの垂直距離を計測するときに指定する点の位置の例を示す図、図１６は二点間距離を計測するときの制御動作例を示すフローチャート、図１７は計測線を元画像上に表示する手法を説明するための各点の位置関係を示す図、図１８は計側線を元画像上に表示する制御動作例を示すフローチャート、図１９は基準線からの垂直距離を計測するときの制御動作例を示すフローチャートである。
【００１７】
（構成）
本実施の形態の計測内視鏡装置１０のシステム構成を説明すると、該計測内視鏡装置１０は、図１に示すように、撮像素子を内蔵し複数のステレオ計測用光学アダプタと通常計測用光学アダプタを着脱自在に構成された内視鏡挿入部１１と、該内視鏡挿入部１１を収納するコントロールユニット１２と、該計測内視鏡装置１０のシステム全体の各種動作制御を実行するのに必要な操作を行うリモートコントローラ１３と、内視鏡画像、あるいは操作制御内容（例えば処理メニュー）等の表示を行う液晶モニタ（以下、ＬＣＤと記載）１４と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ（以下、ＦＭＤと記載）１７及び該ＦＭＤ１７に画像データを供給するＦＭＤアダプタ１８とを含んで構成されている。
【００１８】
さらに図２を参照しながら該装置のシステム構成を詳細に説明する。図２に示すように、前記内視鏡挿入部１１は、内視鏡ユニット２４に接続され、この内視鏡ユニット２４は、例えば図１に示すようにコントロールユニット１２内に搭載される。この内視鏡ユニット２４は、図示はしないが撮像時に必要な照明光を得るための光源装置と、前記内視鏡挿入部１１を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。
【００１９】
内視鏡挿入部先端の固体撮像素子４３（図５参照）からの撮像信号は、カメラコントロールユニット（以下、ＣＣＵと記載）２５に入力される。該ＣＣＵ２５は、供給された撮像信号をＮＴＳＣ信号等の映像信号に変換し、前記コントロールユニット１２内の主要処理回路群へと供給する。
【００２０】
前記コントロールユニット１２内に搭載された主要回路群は、例えば図２に示すように、主要プログラムに基づき各種機能を実行し動作させるように制御を行うＣＰＵ２６，ＲＯＭ２７，ＲＡＭ２８，ＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと記載）３０，ＵＳＢインターフェイス（以下、ＵＳＢＩ／Ｆと記載）３１，ＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２ＣＩ／Ｆと記載）２９，音声信号処理回路３２及び映像信号処理回路３３とを含んで構成されている。
【００２１】
前記ＲＳ−２３２ＣＩ／Ｆ２９は、ＣＣＵ２５，内視鏡ユニット２４及びリモートコントローラ１３にそれぞれ接続され、ＣＣＵ２５，内視鏡ユニット２４の制御及び、動作指示を行うリモートコントローラ１３による操作に基づく動作制御するのに必要な通信をそれぞれ行うためのものである。
【００２２】
前記ＵＳＢＩ／Ｆ２１は、該コントロールユニット１２とパーソナルコンピュータ２１とを電気的に接続するためのインターフェイスであり、該ＵＳＢＩ／Ｆ２１を介して接続した場合には、パーソナルコンピュータ２１側でもコントロールユニット１２における内視鏡画像の表示指示や計測時における画像処理等の各種の指示制御を行うことが可能であり、またコントロールユニット１２，パーソナルコンピュータ２１間とで各種の処理に必要な制御情報やデータ等の入出力を行うことが可能である。
【００２３】
また、前記ＰＣカードＩ／Ｆ３０は、ＰＣＭＣＩＡメモリカード２２及びコンパクトフラッシュ（Ｒ）メモリカード２３が着脱自由に接続されるようになっている。つまり、上記いずれかのメモリカードが装着された場合には、ＣＰＵ２６による制御によって、記録媒体としてのメモリーカードに記憶された制御処理情報や画像情報等のデータを再生し、該ＰＣカードＩ／Ｆ３０を介してコントロールユニット内に取り込むことができ、あるいは制御処理情報や画像情報等のデータを該ＰＣカードＩ／Ｆ３０を介してメモリカードに供給して記録することができる。
【００２４】
前記映像信号処理回路３３は、ＣＣＵ２５から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、ＣＣＵ２５からの映像信号とＣＰＵ２６の制御により生成される操作メニューに基づく表示信号とを合成処理し、さらにＬＣＤ１４の画面上に表示するのに必要な処理を施してＬＣＤ１４に供給することにより、内視鏡画像と操作メニューとの合成画像がＬＣＤ１４に表示される。なお、映像信号処理回路３３では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。
【００２５】
前記音声信号処理回路３２は、マイク２０により集音されて生成され、メモリカード等の記録媒体に記録する音声信号、あるいはメモリカード等の記録媒体の再生によって得られた音声信号が供給され、供給された音声信号に再生するのに必要な処理（増幅処理等）を施し、スピーカ１９に出力する。これにより、スピーカ１９によって音声信号が再生される。
【００２６】
前記ＣＰＵ２６は、ＲＯＭ２７に格納されているプログラムを実行し、目的に応じた処理を行うように各種の回路部を制御してシステム全体の動作制御を行う。
【００２７】
次に、図３を参照しながらリモートコントローラ１３の構成とその操作に基づくＣＰＵ２６のプログラム動作制御例を説明する。
【００２８】
本実施の形態の計測内視鏡装置１０に用いられるリモートコントローラ１３は、計測時等の使用時における操作性をより向上させるための改良がなされている。
【００２９】
リモートコントローラ１３は、図３に示すようにジョイスティック４７，レバースイッチ４８，フリーズスイッチ４９，ストアースイッチ５０及び計測実行スイッチ５１を少なくとも上面に併設して構成され、つまり、使用者にとって操作し易い配置形態が採用されている。
上記構成のリモートコントローラ１３において、ジョイスティック４７は内視鏡先端部の湾曲動作を行うスイッチであり、３６０度のいずれの方向に自在に操作指示を与えることが可能である。また、レバースイッチ４８は、グラフィック表示される各種メニュー操作や計測を行う場合のポインター操作を行うためのスイッチであり、前記ジョイスティックスイッチ４７と略同形状に構成されたものである。フリーズスイッチ４９は、ＬＣＤ１４に表示された内視鏡動画画像を静止画像として表示する際に用いられるスイッチである。ストアースイッチ５０は、前記フリーズスイッチ４９の押下によって静止画像を表示した場合に、該静止画像をＰＣＭＣＩＡメモリカード２２（図２参照）に記録する場合に用いられるスイッチである。また、計測実行スイッチ５１は、計測ソフトを実行する際に用いられるスイッチである。
【００３０】
なお、前記フリーズスイッチ４９，ストアースイッチ５０及び計測実行スイッチ５１は、例えばオン／オフの押下式を採用して構成されている。また、前記レバースイッチ４８には、上記以外の機能を割り当てることも可能である。
【００３１】
例えば、レバースイッチ４８を右に倒すと画像のズームＵＰ機能、レバーを左に倒すとズームＤＯＷＮ機能を実行することができるようにこれらの機能を該レバースイッチ４８に割り当てて構成しても良い。また、通常、ズーム画像で計測を行った場合は画像の倍率が変化しているため正しく計測できない。このような場合は、前記計測実行スイッチ５１を押下すると、ＣＰＵ２６はこの操作信号を受け、瞬時ズーム機能を解除して、画像をフリーズしてから計測を実行するように制御する。なお、これ以外の方法としては、ズーム倍率を考慮して画像のまま計測できるように制御するようにしても良い。
【００３２】
次に、本実施の形態の計測内視鏡装置１０に用いられるステレオ計測アダプタの構成を図４ないし図６を参照しながら説明する。
【００３３】
図４及び図５はステレオ計測アダプタ３７を内視鏡先端部３９に取り付けた状態を示しており、該ステレオ計測アダプタ３７は、固定リング３８の雌ねじ５３により内視鏡先端部３９の雄ねじ５４と螺合することによって固定されるようになっている。
【００３４】
また、ステレオ計測アダプタ３７の先端には、一対の照明レンズ３６と２つの対物レンズ３４，対物レンズ３５が設けられている。２つの対物レンズ３４，３５は、内視鏡先端部３９内に配設された撮像素子４３上に２つの画像を結像する。この得られた撮像信号は、電気的に接続された信号線４３ａ，内視鏡ユニット２４を介してＣＣＵ２５に供給され、該ＣＣＵ２５により映像信号に変換された後に映像信号処理回路３３に供給されることにより、その結果、例えば図６に示すような画像がＬＣＤ１４に表示される。
【００３５】
本実施の形態の計測内視鏡１０は、ステレオ計測を行う場合、図７に示すような白い被写体を撮影した内視鏡画像を用い、さらに例えばステレオ計測アダプタ３７の光学データを記録した記録媒体（例えばコンパクトフラッシュ（Ｒ）メモリカード）から取り込まれた光学データに基づいて被計測物のステレオ計測処理を行う。
【００３６】
ここで、本計測内視鏡装置１０では、実際にステレオ計測を行う前に計測環境の設定を行い、計測ができる準備を行っておく必要があるので、実際に計測を行う動作の説明の前に、計測環境の設定について説明する。
【００３７】
ステレオ計測アダプタは、特開平１０−２４８８０６号公報で示されているように、種類が同じでもその個体によって光学特性が異なっているので、その生産工程で光学データが測定される。この光学データには、以下の情報が含まれている。
【００３８】
ａ）２つの光学系の幾何学的歪み補正式
ｂ）２つのレンズ系の焦点距離
ｃ）２つのレンズの光軸間の距離およびこれらの光軸の位置座標
ｄ）データ測定で使用した内視鏡とこの光学アダプタとの組み合わせにおける取り付け具合の位置情報
上記ｄ）の位置情報とは、データ測定で使用した内視鏡とこの光学アダプタとの組み合わせで図７のような白い被写体（白い紙など）を撮影した内視鏡画像から、２つの視野領域の位置座標や傾き角の情報のことである。
【００３９】
上記の光学データ採りを行った後のステレオ計測アダプタは、内視鏡挿入部に取付けられ、内視鏡装置１０において、次に示す処理を行って計測環境の設定を行う。
【００４０】
１）ステレオ計測アダプタの光学データが記録された記録媒体を計測内視鏡装置に装着し、このデータを読み込む。
【００４１】
２）光学アダプタを実際に使用する内視鏡挿入部１１に取り付けて、図７に示すような白い被写体を撮影し、その取り付け具合の位置情報を求める。ここで求める位置情報は、光学データの中に含まれる位置情報と同様の内容である。
【００４２】
３）この光学データの中にある位置情報と、上記２）で求めた位置情報を比較して、記録媒体に記録されている光学データのうちのａ）とｃ）の情報を、実際に使用する内視鏡に適したデータに補正する。具体的には、各座標に関する回転補正を行う。
【００４３】
４）生産工程のデータ測定時に使用したＣＣＵやビデオキャプチャー回路の特性が、実際に計測で使用する計測内視鏡装置の特性と異なり、画像の拡大率が装置の種類によって異なる場合もある。この場合には、それらの特性の違いをあらかじめ検証しておき、その拡大率に合うように記録媒体に記録されている光学データを補正する。
【００４４】
５）上記までの処理で求まった補正後の光学データを、計測環境の設定で用いる校正データとする。
【００４５】
６）上記校正データを用いて、本内視鏡装置に対する幾何学的歪み補正を行うための変換テーブルを作成する。
【００４６】
７）補正画像上の座標に対する補正前の元画像上の座標を求めるための逆変換テーブルを作成する。
【００４７】
８）上記５）で示す校正データと上記６）で求めた変換テーブルと上記７）で求めた逆変換テーブル、および機器の種類を示す計測環境情報とを合わせて計測環境データとして、装置内に保存しておくために例えばコンパクトフラツシュカード２３に記録する。
【００４８】
以上が、計測環境の設定に関する処理である。
次に、上記３）で示した回転補正について、式で説明する。
【００４９】
回転補正前の幾何学的歪み補正式が、以下の関係式であったとする。
【００５０】
ｘ’＝ｆx（ｘ，ｙ）， ｙ’＝ｆy（ｘ，ｙ）・・・（１）
（ｘ’，ｙ’）：幾何学的歪み補正後の座標
（ｘ，ｙ）：幾何学的歪み補正前の画像上における任意の座標（元画像上の座標）
ｆx（ｘ，ｙ）：補正前の元画像上の座標（ｘ，ｙ）を補正後のｘ座標に変換する関数
ｆy（ｘ，ｙ）：補正前の元画像上の座標（ｘ，ｙ）を補正後のｙ座標に変換する関数
補正前の光学データの中にある位置情報と、実際に使用する内視鏡とに関する位置情報を比較した時、その差を示す回転マトリックスがＡであらわされたとすると、補正後の幾何学的歪み補正式は以下のようになる。
【００５１】
（ｘ”，ｙ”）＝Ａ・（ｘ’，ｙ’）十（ａ，ｂ）・・・（２）
（ｘ”，ｙ”）：回転補正を含んだ幾何学的歪み補正後の座標（補正画像上の座標）
（ｘ’，ｙ’）：幾何学的歪み補正後の座標
（ａ，ｂ）：ｘ方向およびｙ方向の位置ずれ量
また、式（１）を式（２）に代入して行列式を展開すると、以下のように表すことができる。この関係を図８に示す。
【００５２】
ｘ”＝ｆx’（ｘ，ｙ）， ｙ”＝ｆy’（ｘ，ｙ）・・・（３）
（ｘ”，ｙ”）：回転補正を含んだ幾何学的歪み補正後の座標（補正画像上の座標）
（ｘ，ｙ）：幾何学的歪み補正や回転補正前の画像上における任意の座標（元画像上の座標）
ｆx’（ｘ，ｙ）：元画像上の座標（ｘ，ｙ）を幾何学的歪み補正と回転補正を行って補正画像上のｘ座標を求める関数
ｆy’（ｘ，ｙ）：元画像上の座標（ｘ，ｙ）を幾何学的歪み補正と回転補正を行って補正画像上のｙ座標を求める関数
光軸の位置座標においても、回転マトリックスＡと位置ずれ量（ａ，ｂ）を使って、上記と同様な関係式で示すことができる。
【００５３】
上記７）で求める逆変換テーブルを求めるには、変換テーブルを作成するときに同時に作成する。
【００５４】
つまり、式（３）を使用して元画像上の座標を補正画像上の座標に変換したとき、補正画像上の座標に１対１で対応した逆変換テーブルの中の（ｘ”，ｙ”）の座標に対応した場所に、元画像上の座標（ｘ，ｙ）を保存する。
【００５５】
ここで、式（３）で変換した座標は、通常は実数で求められるので、この値が逆変換テーブルに合うように整数化する必要がある。
【００５６】
また、元画像上の座標を変換式にて補正画像上の座標に変換しているので、逆変換テープルの中に元画像上の値が直接入らない個所が出てくるが、このような場合は、隣り合う近傍点で補間することで、逆変換テーブル内の全ての場所に適当な元画像上の座標が入るようにする。
【００５７】
なお、変換式（１）に対する逆変換式があらかじめ定められていたり、または、変換式（１）から式変換によって逆変換式を求められるときは、この逆変換式を用いて直接逆変換テーブルを求めてもよい。
【００５８】
式（２）で用いられている回転マトリックスの逆マトリックスをＡ^-1とすると、補正画像上の座標を位置ずれ補正を行う前の座標に戻す式は、
（ｘ’，ｙ’）＝Ａ^-1・（ｘ”，ｙ”）・（ａ，ｂ）・・・（４）
（ｘ’，ｙ’）：幾何学的歪みのみ補正された位置ずれ補正前の座標
（ｘ”，ｙ”）：回転補正を含んだ幾何学的歪み補正後の座標（補正画像上の座標）
（ａ，ｂ）：ｘ方向およびｙ方向の位置ずれ量
となるので、光学特性を測定したときの幾何学的歪み補正における逆変換式が関数ｇx，ｇyとして定義されていれば以下の関係式が成り立つ。
【００５９】
ｘ＝ｇx（ｘ’，ｙ’）， ｙ＝ｇy（ｘ’，ｙ゛）・・・（５）
（ｘ，ｙ）：幾何学的歪み補正前の座標（元画像上の座標）
（ｘ’，ｙ’）：幾何学的歪みのみ補正された位置ずれ補正前の座標
ｇx（ｘ’，ｙ’）：幾何学的歪み補正において補正前のｘ座標を求める逆変換関数
ｇy（ｘ’，ｙ’）：幾何学的歪み補正において補正前のｙ座標を求める逆変換関数
式（４）の行列式を展開して、式（５）に代入すると、補正画像上の座標を元画像に変換式は、以下のように表すことができる。この関係を図８に示す。
【００６０】
ｘ＝ｇx’（ｘ”，ｙ”）， ｙ＝ｇy’（ｘ”，ｙ”）・・・（６）
（ｘ，ｙ）：幾何学的歪み補正や回転補正前の画像上における任意の座標（元画像上の座標）
（ｘ”，ｙ”）：回転補正を含んだ幾何学的歪み補正後の座標（補正画像上の座標）
ｇx’（ｘ，ｙ）：補正画像上の座標（ｘ”，ｙ”）を幾何学的歪み補正と回転補正前の元画像上のｘ座標を求める関数
ｇy’（ｘ，ｙ）：補正画像上の座標（ｘ”，ｙ”）を幾何学的歪み補正と回転補正前の元画像上のｙ座標を求める関数
補足３：
上記８）で示す計測環境情報は、計測環境データ（つまり、校正データと変換テーブル）の種類を示す情報であるため、例えば以下のような情報が含まれている。
【００６１】
・ステレオ計測アダプタの種類および個体識別番号
・内視鏡挿入部の種類および個体識別番号
・ＮＴＳＣなどのＴＶタイプ
・ＣＣＵの種類
・ビデオキャプチャー回路の種類
ＣＣＵの種類、ビデオキャプチャー回路の種類は、計測内視鏡装置の一モジュールとして装備されていることが多いので、この場合はこれらを計測内視鏡装置の種類と読み替えてもよい。
【００６２】
上記のようにして計測環境の設定を行ったら、被計測物を撮影して計測を実行することができる。
【００６３】
したがって、本計測内視鏡装置１０によるステレオ計測は、ステレオ計測アダプタ３７の光学データを記録した記録媒体（例えばコンパクトフラッシュ（Ｒ）メモリカード）から光学情報を読み込む第１の処理と、内視鏡先端部３９の撮像素子４３とステレオ計測アダプタ３７との位置情報を求める第２の処理と、前記位置情報と生産時に求めた主となる内視鏡と本ステレオ計測アダプタ３７の位置情報から位置誤差を求める第３の処理と、前記位置誤差から光学データを補正する第４の処理と、撮影した画像に含まれる幾何学的歪みを補正するための変換テーブルを作成する第５の処理と、計測用に撮影した画像を変換テーブルを用いて座標変換をおこない補正画像を作成する第６の処理と、補正画像を基にして任意の点で左右２画像のマッチングを行う第７の処理と、マッチングによって求まった左右２つの座標と光軸の位置座標と焦点距離から３次元座標を求める第８の処理と、任意の複数点の３次元座標からあるニ点間距離や面積などの計測値を求める第９の処理を実行することにより行われる。
【００６４】
ＣＰＵ２６は、例えば前記第１〜５の処理をステレオ計測アダプタ３７に対して一度実行し、この結果をコンパクトフラッシュ（Ｒ）メモリカード２３上に計測環境データとして記録しておくように制御する。これ以降に続けて、ステレオ計測を実行するときは、ＣＰＵ２６は、先にコンパクトフラッシュ（Ｒ）メモリカード２３上に記録した前記計測環境データをＲＡＭ上にロードして前記第６〜９の処理を実行するように制御する。脱着自在なメモリカードに画像が記録されているので、他の個体の計測内視鏡装置を用いて画像が記録されている同種のメモリカードを本装置に装着することで、他の装置で記録した画像を別の装置上で容易に閲覧することができる効果がある。
【００６５】
また、前記計測環境データは、位置補正後の校正データと、変換テーブルと逆変換テーブルおよび計測環境情報からなる。この計測環境データは、脱着自在なコンパクトフラッシュ（Ｒ）メモリカード２３上に記録するように制御する。
【００６６】
さらに、本実施の形態では、画像の記録は、ＣＰＵ２６の制御によってＰＣＭＣＩＡメモリカード２２上に行い、前記計測環境データを記録するコンパクトフラッシュ（Ｒ）メモリカード２３とは別のメモリカードに記録するように制御する。なお、画像を記録する際には、同時に計測環境データのうち計測環境情報を画像ファイルの一部として、あるいは画像ファイルと関連付けられた別のファイルとして記録する。また、校正データも画像ファイルの一部として、あるいは画像ファイルと関連付けられた別のファイルとして記録する。
【００６７】
記録されている画像をリストから選択して、ステレオ計測を実行する際は、既に登録されている計測環境データの中に選択した画像と同じ計測環境のものが存在するかどうかを検索する。
【００６８】
もし、同じものが登録されているとその計測環境データを読み込んで、計測内視鏡装置の設定を変更し、前記第６の処理を行って計測できる状態にする。もし、同じものが登録されていないならば、画像に付いている校正データを使用して計測環境データを作成して、前記第６の処理を行って計測できる状態にする。
【００６９】
また、画像に記録されている情報が、校正データや計測環境情報だけでなく、変換テーブルなども含んだ計測環境データでもよく、この場合には画像を選択して計測を実行するときに画像についている計測環境データを直接読み込んで前記第６の処理を行うと計測の準備が完了する。しかし、計測環境データを画像とともに記録すると、大きな容量になってしまうのであまり好ましくない。これに対して、計測環境情報と校正データは数十Ｋｂｙｔｅであることが多いので、画像に記録するのは計測環境情報と校正データだけである方が画像の容量的に大変有効である。
【００７０】
計測の準備が整うと、例えば図６のようなステレオ計測画像が計測可能な視野領域のみ切り出されて図９に示すようなステレオ計測画面上に表示される。この画面で例えばクラック４４の長さを測る場合には、左画面上でクラック４４の上を折れ線でなぞるように計測点を指定する。ＣＰＵ２６は、新たな計測点が指定されるごとに右画面上でそれぞれの対応点を探索し、計測点と対応点の座標から各点での３次元座標を求め、それらの３次元座標から隣り合う二点間の距離を計算し、それらの合計を算出することでクラヅク４４の全長としてその長さをＬＣＤ１４上に表示する。
【００７１】
次に、本実施の形態の計測内視鏡装置１０に用いられる通常光学アダプタの構成を図１０ないし図１２を参照しながら説明する。
【００７２】
図１０及び図１１は通常光学アダプタ４２を内視鏡先端部３９に取り付けた状態を示しており、該通常光学アダプタ４２は、固定リング３８の雌ねじ５３により内視鏡先端部３９の雄ねじ５４と螺合することによって固定されるようになっている。
【００７３】
また、通常光学アダプタ４２の先端には、一対の照明レンズ４１と対物レンズ４０が設けられている。対物レンズ４０は、内視鏡先端部３９内に配設された撮像素子４３上に画像を結像する。この得られた撮像信号は、前記ステレオ計測アダプタ３７と同様に電気的に接続された信号線４３ａ，内視鏡ユニット２４を介してＣＣＵ２５に供給され、該ＣＣＵ２５により映像信号に変換された後に映像信号処理回路３３に供給されることにより、その結果、例えば図１２に示すような画像がＬＣＤ１４に表示される。
【００７４】
本実施の形態の計測内視鏡装置１０は、通常光学アダプタを用いた計測を行う場合、比較計測による方法を用いることによって行う。つまり、比較計測は、画面の中にある解っている寸法を基準にして計測する方法である。
【００７５】
例えば、図１２に示す円の直径がわかっている場合には、円の直径の両端にポインターを置き２点間の長さＬ1 ４５を入力する。知りたい寸法Ｌ2 ４６は、Ｌ1の画面上の大きさからＣＰＵ２６による演算処理によって比率で求める。また、このときにレンズのディストーション特性の情報を基に、ディストーション補正を行い、より正確に寸法を求めるように調整される。レンズのディストーション特性は、予めＲＯＭ２７上に記録しておき、ＣＰＵ２６は、選択された通常光学アダプタ４２に対応したデータをＲＡＭ２上にロードするようにして比較計測が実行される。
【００７６】
（作用）
以上のように構成された本実施の計測内視鏡装置でステレオ計測を行った時の計測線の表示処理について、図１３および図１９のフローチャートを用いて説明する。
【００７７】
本実施例の形態の計測内視鏡装置の電源を投入する。これから新たに計測画像を撮影する場合は、内視鏡挿入部に光学アダプタを装着し、図１３に示す光学アダプタの選択画面にあらかじめ登録されている光学アダプタの中から、使用する光学アダプタに適したものを選択する。つまり光学アダプタの選択画面では、例えばステレオ計測アダプタの場合ば”ＡＴ６０Ｄ／６ＯＤ １００５”またば”ＡＴ６０Ｓ／６０Ｓ ３０４３”、通常光学アダプタの場合ば”ＡＴ１２０Ｄ”またば”ＡＴ６０Ｓ”が表示された画面であり、ユーザーはこの選択画面から現在の光学アダプタを選択した後で、被計測物を撮影する。
【００７８】
この図１３の画面に適当な光学アダプタがない場合は、使用する光学アダプタで計測環境の設定を行い、光学アダプタの選択画面にそれを登録しておく必要がある。
【００７９】
また、すでに記録されている計測画像で再計測を行う場合は、図示はしないが計測画像のリストから計測したい画像を選択する。
【００８０】
計測画像の準備が整った後、リモートコントローラー１３の計測実行スイッチ５１を押すと、図１４に示すプログラムが実行され、ステップＳ１０１の判断処理で計測画像が記録媒体に記録されている画像かどうかを判断する。
【００８１】
ステップＳ１０１で記録された画像である場合は、ステップＳ１０２の判断処理でこの画像ファイルのヘッダを参照して計測手法の種類を判別する。ステップＳ１０２でステレオ計測画像であった場合は、ステップＳ１０３の判断処理でこの画像ファイルのヘッダにステレオ計測の計測環境情報や校正データが付いているかどうかを判断する。
【００８２】
ステップＳ１０３で、校正データ等がついている場合はステップＳ１０４でこの校正データを使用して計測環境データを作成し、計測環境の設定を行う。その後、ステップＳ１０５にすすんで、作成した計測環境データを使用して補正画像を作成し、ステレオ計測を実行して計測点の指定がされるまで使用待機状態にする。
【００８３】
また、ステップＳ１０１で、今撮影した画像である場合は、ステップＳ１０７の判断処理で図１３の画面で選択した光学データの種類を判別する。
【００８４】
ステップＳ１０７でステレオ計測アダプタが選択されている場合は、ステップＳ１０８に進み、既に作成されているこの光学アダプタの計測環境データを読み込んで、補正画像を作成後にステレオ計測を実行し、使用待機状態にする。
【００８５】
一方、ステップＳ１０７で、選択した光学アダプタの種類が通常光学アダプタの場合は、ステップＳ１０９に進み、選択した光学アダプタの幾何学的歪み情報などを読み込んで比較計測を実行し、使用待機状態にする。
【００８６】
また、ステップＳ１０２で、画像に記録されている計測手法の種類が比較計測であった場合には、ステップＳ１１１でこの画像の中に光学アダプタの幾何学的歪み情報などが記録されているかどうかを判断する。ステップＳ１１１で、これが記録されている場合はその情報を読み込んで比較計測を実行し、使用待機状態にする。
【００８７】
ステップＳ１０２で画像の中に計測手法が記録されていない場合や、ステップＳ１０３で画像の中にステレオ計測用の校正データなどが記録されていない場合や、ステップＳ１１１で画像の中に比較計測用の歪み補正情報などが記録されていない場合は、エラー表示を行って、他の画像を選択するように待機状態にする。
【００８８】
ステップＳ１０６でステレオ計測が実行されると、ステレオ計測画面が開き、計測するための点が指定するまで待機状態になる。この画面上で適当な場所に点を指定することで、図１５（ａ）に示すようなＬ1やＬ2の長さなどを計測することができる。
【００８９】
例えば、二点間の距離を計測する場合は、ステレオ計測画面に表示されている歪み補正前の左側元画像上に、例えば図１５（ｃ）に示すように点Ｍ1とＭ2を左画像上に指定すると、図１６のプログラムが実行される。
【００９０】
ステップＳ２０１で点Ｍ1とＭ2の左画像上の座標を認識した後、ステップＳ２０２で補正前の元画像上の二点Ｍ1とＭ2を前記式（３）を使用して補正画像上の座標に変換して、図１７に示す点Ａ1とＡ2を求める。そして、ステップＳ２０３のマッチングの処理で、左側補正画像上の点Ａ1とＡ2に対する右側補正画像上の点Ｂ1とＢ2を求める。ステップＳ２０４で、左右の補正画像上の点Ａ1とＢ1から三角測量の原理に基づいて点Ｍ1に対する３次元座標Ｃ1を求める。同様にして、点Ａ2とＢ2から点Ｃ2も求める。
【００９１】
そしてＳ２０５で、計測線Ｍ1−Ｍ2を表示するために、図１８に示すプログラムが実行される。
【００９２】
ステップＳ３０１で、点Ｃ1とＣ2をＮ等分して点Ｐ1〜Ｐn-1を求める。ステップＳ３０２で、点Ｐ1〜Ｐn-1を左側補正画像上に投影して点Ｑ1〜Ｑn-1を求める。ステップＳ３０３で、逆変換テーブルまたは式（６）を使用して補正画像上の点Ｑ1〜Ｑn-1を補正前の左側元画像上の点Ｗ1〜Ｗn-1を求める。そしてステップＳ３０４で、点Ｍ1、点Ｗ1〜Ｗn-1、点Ｍ2のそれぞれを折れ線でつないで表示する。
【００９３】
図１８の処理が終了すると、ステップＳ２０６へ進み、ステップＳ２０５と同様にして線Ｂ1−Ｂ2に対応した線を補正前の右側元画像上に表示する。そして、ステップＳ２０７で、点Ｃ1とＣ2の二点の距離を計算してこれを表示し、次の計測点が指定されるまで待機状態にする。
【００９４】
また、図１５（ａ）にＬ2で示す長さ、つまり基準線からの垂直距離を計測するために、ステレオ計測画面に表示されている図１５（ｃ）のような左側元画像上に、前記点Ｍ1と点Ｍ2を指定して図１６のプログラムによりこれらの３次元座標を求めた後で、点Ｍ3を指定すると図１９のプログラムが実行される。
【００９５】
ステップＳ４０１で点Ｍ3の左画像上の座標を認識した後、ステップＳ４０２で補正前の元画像上の点Ｍ3を前記式（３）を使用して補正画像上の座標に変換して、図１７に示す点Ａ3を求める。
【００９６】
そして、ステップＳ４０３のマッチングの処理で、左側補正画像上の点Ａ3に対する右側補正画像上の点Ｂ3を求める。ステップＳ４０４で、左右の補正画像上の点Ａ3とＢ3から三角測量の原理に基づいて点Ｍ3に対する３次元座標Ｃ3を求める。
【００９７】
ステップＳ４０５で、既に基準線の両端として求まっている点Ｃ1とＣ2の３次元座標と、先ほど求まった点Ｃ3を使用して、基準線に垂直に交わった交点Ｃ4を求める。そしてＳ４０６で、点Ｃ4を左側の補正画像上に投影して点Ａ4を求め、補正画像上の線Ａ3−Ａ4に対応する計測線を左側元画像上に表示する。
【００９８】
この場合、図１８に示すプログラムが実行され、線Ｍ1−Ｍ2を表示した処理と同様にして線Ｍ3−Ｍ4が折れ線で表示される。
【００９９】
また、ステップＳ４０６と同様にして、ステップＳ４０７で右側の元画像上に補正画像上の線Ｂ3−Ｂ4に対応した計測線を表示する。
【０１００】
そして、左右の元画像上に計測線が表示されると、ステップＳ４０８へ進み、点Ｃ3とＣ4の二点の距離を計算してこれを表示し、次の計測点が指定されるまで待機状態にする。
【０１０１】
また、通常光学アダプタを使用して撮影した画像で比較計測を行う場合でも、幾何学的歪み補正を行って計測を行うので、上記で説明したステレオ計測の場合と同様にして、元画像上に幾何学的歪み補正を考慮した計測線を容易に表示することが可能である。
【０１０２】
（効果）
これにより、例えば、実際の被計測物が図１５（ａ）で示されているような形状の場合、これを計測内視鏡装置で撮影した画像は、図１５（ｂ）や図１５（ｃ）に示すように歪んで表示される。
【０１０３】
従来では、例えば物体の高さ（Ｌ1）を測るために図１５（ｂ）の点Ｍ1、Ｍ2を指定すると、計測線を線１で示すように直線で表示していたので、実際に写っている被計測物の縁には沿わなかった。これにより、検査者が計測した場所を過て認識してしまうことがあった。
【０１０４】
また、図１５（ｂ）の点Ｍ3を指定して、基準線（物体の緑）からの垂直距離（Ｌ2）を計測したときは、表示された線の長さが実際に算出された値に正しく対応していないために、計測結果をあやまって判断してしまう場合が多かった。
【０１０５】
さらにこの現象は、光学アダプタの幾何学的歪み特性が大きい場合に顕著に現れ、また、内視鏡ではこのような光学系である場合が多い。
【０１０６】
これに対し、本実施の形態では、図１５（ｃ）に示すように、線１は実際の被計測物の緑に沿って曲線で表示され、また線２も図１５（ａ）で示した長さに適したように表示されるので、計測結果を視覚的に容易に正しく認識することができる。
【０１０７】
以上の各実施の形態で説明した本発明では、幾何学的歪みを含んだ画像上に、幾何学的歪み特性を入れた線を表示することができるので、検査者が元画像上に指定した点を結んだ線が、被写体上に正しい位置に表示され、検査者が計測した位置と長さを正しく認識しやすくなり、検査において誤った判断を下すことを防止することが可能となる。
【０１０８】
また、幾何学的歪みを補正したカラーの補正画像を表示するには、処理速度が速いＣＰＵをもつ装置またはシステムを用いないと実用的ではないが、本発明によって元画像上に違和感の無い計測線を表示することができるので、カラーの補正画像を表示する必要は無く、また、補正画像上の座標を元画像上に変換する処理は比較的簡単な処理であるため、安価なシステムでこれを実現することができる。
【０１０９】
すなわち、本発明によれば、補正画像上に設定された直線を複数の線分で分割した各点を逆変換式あるいは逆変換テーブルによって元画像上の座標に変換し、これらの各点を結んで、元画像上に指定したニ点間を折れ線で表示することによって、幾何学的歪み特性を含んだ線を表示することが可能となる。
【０１１０】
また、補正画像上の任意の点を逆変換式あるいは逆変換テープルによって元画像上の座標に変換できることで、基準線からの垂直距離や基準面からの垂直距離の計算時に求められた交点を元画像上に表示することが可能となる。
【０１１１】
また、折れ線具合が目立つようであれば、補正画像上に設定された直線線を分割するときの数を増やすことで、なめらかな曲線に見えるように容易に調整することがが可能となる。
【０１１２】
【発明の効果】
以上説明したように本発明によれば、本装置で計測を行なう場合に表示する計測線を幾何学的歪みを考慮して幾何学的歪みを補正していない元画像上に表示するようにすることで、補正画像を表示する機能は設けずに、比較的簡単な処理で、検査者が計測した位置と長さを正しく認識しやすくすることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る計測内視鏡装置のシステム構成を示す斜視図
【図２】図１の計測内視鏡装置の電気的回路構成を示すブロック図
【図３】図１のリモートコントローラの構成を示す斜視図
【図４】ステレオ計測アダプタを付けた図１の内視鏡挿入部の内視鏡先端部の構成を示す斜視図
【図５】図４のＡ−Ａ線断面図
【図６】図４のステレオ計測アダプタを付けた内視鏡画像を示す図
【図７】図４のステレオ計測アダプタのマスク形状の画像を示す図
【図８】図１の計測内視鏡装置での計測環境の設定を説明するための元画像と補正画像の関係を示す図
【図９】図５の内視鏡画像において計測可能な左右の視野領域が切り出されて表示されているステレオ計測画面の一例を示す図
【図１０】通常光学アダプタを付けた図１の内視鏡挿入部の内視鏡先端部の構成を示す斜視図
【図１１】図１０のＡ−Ａ線断面図
【図１２】図１０の通常光学アダプタを付けた内視鏡画像を示す図
【図１３】図１のＬＣＤに表示された光学アダプタの選択画面の一例を示す図
【図１４】図１の装置の特徴となる計測を実行するまでの制御動作例を示すフローチャート
【図１５】二点間距離や基準線からの垂直距離を計測するときに指定する点の位置の例を示す図
【図１６】二点間距離を計測するときの制御動作例を示すフローチャート
【図１７】計測線を元画像上に表示する手法を説明するための各点の位置関係を示す図
【図１８】計側線を元画像上に表示する制御動作例を示すフローチャート
【図１９】基準線からの垂直距離を計測するときの制御動作例を示すフローチャート
【符号の説明】
１０…計測内視鏡装置
１１…内視鏡挿入部
１２…コントロールユニット
１３…リモートコントローラ
１４…液晶モニタ（ＬＣＤ）
１７…フェイスマントデイスプレイ（ＦＭＤ）
１８…ＦＭＤアダプタ
１９…スピーカ
２０…マイク
２１…パーソナルコンピュータ
２２…ＰＣＭＣＩＡメモリーカード
２３…コンパクトフラッシュ（Ｒ）メモリーカード
２４…内視鏡ユニット
２５…カメラコントロールユニット（ＣＣＵ）
２６…ＣＰＵ（制御部）
２７…ＲＯＭ
２８…ＲＡＭ
２９…ＲＳ−２３２ＣＩ／Ｆ
３０…ＰＣカードＩ／Ｆ
３１…ＵＳＢＩ／Ｆ
３２…音声信号処理回路
３３…映像信号処理回路
３４，３５，４０…対物レンズ系
３６，４１…照明レンズ
３７…ステレオ光学アダプタ
３８…固定リング
３９…内視鏡先端部
４２…通常光学アダプタ
４３…撮像素子
４４…クラック
４５…Ｌ１（既知の寸法）
４６…Ｌ２（未知の寸法）
４７…ジョイスティック
４８…レバースイッチ
４９…フリーズスイッチ
５０…ストアースイッチ
５１…計測実行スイッチ

Claims (4)

1. 内視鏡先端部に設けられた接続部と、
   前記接続部に着脱可能な、被写体像を撮像素子に結像させる光学アダプタと、
   前記撮像素子によって得られた画像信号に基づく内視鏡画像を、前記光学アダプタの光学特性による幾何学的歪みの補正処理を施さない状態で表示する表示手段と、
   前記内視鏡画像を用いて計測処理を行なう計測手段と、
   を具備している計測内視鏡装置において、
   前記表示手段は、前記計測手段が計測処理を行うときに表示される計測線に前記光学アダプタの光学特性による幾何学的歪みを施した状態で、前記光学アダプタの光学特性による幾何学的歪みの補正処理が施されていない前記内視鏡画像に前記計測線を重畳して表示することを特徴とする計測内視鏡装置。
2. 前記計測線は、前記被写体における二点間距離、基準線からの垂直距離または基準面からの垂直距離を示す線であることを特徴とする請求項１に記載の計測内視鏡装置。
3. 前記光学アダプタを用いて計測環境の設定が実行されることで作成された計測環境データを記録する手段をさらに備えることを特徴とする請求項１または請求項２に記載の計測内視鏡装置。
4. 前記計測環境データは、前記光学アダプタの光学特性による幾何学的歪を補正するための変換式を用いて前記内視鏡画像を補正するときに使用する変換テーブルと、作成された補正画像上の座標を前記内視鏡画像上に変換するための逆変換テーブルを備えることを特徴とする請求項３に記載の計測内視鏡装置。

Images