JP4646384B2 - 計測用内視鏡装置及び目盛表示方法 - Google Patents
計測用内視鏡装置及び目盛表示方法 Download PDFInfo
- Publication number
- JP4646384B2 JP4646384B2 JP2000354851A JP2000354851A JP4646384B2 JP 4646384 B2 JP4646384 B2 JP 4646384B2 JP 2000354851 A JP2000354851 A JP 2000354851A JP 2000354851 A JP2000354851 A JP 2000354851A JP 4646384 B2 JP4646384 B2 JP 4646384B2
- Authority
- JP
- Japan
- Prior art keywords
- points
- image
- scale
- coordinates
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像された被写体について目盛を表示する計測用内視鏡装置および目盛表示方法に関する。
【０００２】
【従来の技術】
近年、医療分野、工業分野等において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものになり、凹凸等は認識しがたい。そのため、最近では、内視鏡の先端に左右２系統の撮像手段を配設し、この２系統の撮像手段により撮像された左右画像から、ステレオ法により対象の立体画像を推定し、この立体形状を、プロファイルやワイヤーフレームにより表示する技術が知られている。
【０００３】
例えば、特開平６−３３９４５４号公報はステレオ内視鏡を用いて三角測量の原理により、対象までの距離、複数の対象点間の距離を算出する技術が開示されている。
【０００４】
特に、特開平６−３３９４５４号公報中の図１２にその例が示されているように、算出した３次元座標値に基づいて、対象物の長さ、大きさ等を客観的に認識できるスケールマーカを、対象物の形状に合わせて表示している。
【０００５】
【発明が解決しようとする課題】
しかし、そこに開示された方法によれば、指定された対象点の３次元座標を求めた後、その点とＸ座標が同じ点を、水平方向に一定間隔毎に求め、同様に、Ｙ座標が同じ点を、垂直方向に一定間隔毎に求める。その求めた点群が、一定間隔の目盛となり、目盛がふられた曲線として画像に重畳して表示される。
【０００６】
従って、その重畳表示のために、選択した画素と同じＸ座標、Ｙ座標を持つ画素を画像中から探索する必要があり、多くの処理を必要とし、目盛を表示するまでに時間がかかるものであった。
【０００７】
別の目盛表示方法として、例えば、対象物が単純にスコープ光軸に垂直な鉛直平面で近似できると仮定して目盛を作成した場合、対象物の表面形状によっては、画像上に表示した距離と対象物の３次元空間での距離とが一致しない可能性もあるという問題があった。
【０００８】
【課題を解決するための手段】
そこで、本発明は、撮像された被写体に応じて、目盛を、より高速かつ正確に表示する計測用内視鏡装置および目盛表示方法を提供することを目的とする。
【０００９】
本発明の計測用内視鏡装置は、内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像を表示する表示手段と、該表示手段に表示された前記ステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出する対応点検出手段と、前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出する３次元座標算出手段と、前記表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させる画像処理手段とを有する。
【００１０】
本発明の目盛表示方法は、内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出し、前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出し、前記２つの座標の前記３次元空間上の距離を算出し、表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させる。
【００１１】
このような構成により、被写体についての目盛表示を、より正確に行うことができる。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。以下においては、適用する計測用内視鏡として、先端に２系統の対物レンズを備えたステレオ内視鏡を用いたもので説明する。
【００１３】
なお、本発明の実施の形態においては、例えば画素ＲをＲ（ｘ，ｙ）とし、ｘおよびｙは画像上のＸ軸およびＹ軸上の画素の位置を表すものとする。また、例えばＰ点の３次元の位置座標は、Ｐ´（ｘ´，ｙ´，ｚ´）とし、ｘ´、ｙ´、ｚ´は、３次元空間におけるＸ´軸、Ｙ´軸およびＺ´軸上の座標位置を表すものとする。そして、画像の階調数は、特に断らない限り、２５６として説明する。
【００１４】
さらに、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とする。歪曲収差補正は例えば、特開平６−３３９４５４号公報に示されるようにして行われる。すなわち、各画素における補正値を予め決定しておき、実際の撮像画像に対して補正を行うことによって歪曲収差補正処理を実現することができる。具体的には、米国特許第４８９５４３１号明細書に具体的な処理手法が開示されている。なお、画像に歪曲収差歪みが存在しない場合はその限りではない。また、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とするが、その補正がされない場合は、歪曲収差の影響が少ない、画像中心部分の画素を選択するのが望ましい。
【００１５】
図１ないし図１０により、実施の形態を説明する。
【００１６】
図１は、第一の実施の形態に関わる計測用内視鏡装置のブロック図である。図２は、内視鏡の挿入部の先端部分の構造を説明する図である。図３は、計測用内視鏡装置の機能構成を示すブロック図である。図４は、ホストコンピュータの構成を説明する図である。図５は、外部記憶装置の構成を示すブロック図である。図６は、内視鏡先端部における３次元座標を説明するための図である。図７は、目盛を描画する処理の流れを示すフローチャートである。図８は、水平および垂直方向への目盛の描画状態を示す画面例である。図９は、２点間への目盛の描画状態を示す画面例である。図１０は、画像から画素を自動選択する処理の流れを示すフローチャートである。
【００１７】
まず、図３に示すように、本実施の形態において採用する計測用内視鏡装置は、ステレオ式ビデオイメージエンドスコープ（以下、単に「内視鏡」と称する）１０１と、この内視鏡１０１によって撮像される右画像及び左画像の各画像信号を信号処理する右画像用ビデオプロセッサ１１０Ｒと左画像用ビデオプロセッサ１１０Ｌを有する。さらに、この各ビデオプロセッサ１１０Ｒと１１０Ｌからそれぞれ出力される、例えばＲＧＢ信号による各映像信号を記憶する右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌと、この各フレームメモリ１１２Ｒと１１２Ｌからそれぞれ出力される、例えばＲＧＢ信号による映像信号を入力して、右画像および左画像を表示する右画像用モニタ１３０Ｒ及び左画像用モニタ１３０Ｌとを有する。また、各フレームメモリ１１２Ｒおよび１１２Ｌに記憶された画像を用いて、立体計測演算を行うホストコンピュータ１２０と、このホストコンピュータ１２０に接続された外部記憶１４０と、ホストコンピュータ１２０に接続されてモニタ１３０Ｒおよび１３０Ｌに表示されるカーソルの操作や、計測対象点の指定及び計測対象領域の設定等を行うマウス１４５とを備えている。
【００１８】
両ビデオプロセッサ１１０Ｒ，１１０Ｌは、互いに同期した信号処理を行うように設定されている。又、本実施の形態では、各フレームメモリ１１２Ｒと１１２Ｌは、それぞれＲ，Ｇ，Ｂ用の各メモリを複数組備えており、１組には画像が記憶され、他の組にはカーソルが書き込まれる。各組に書き込まれた信号を足し合わせることにより、モニタ１３０Ｒと１３０Ｌのそれぞれの画面上に画像とカーソルとが表示される。
【００１９】
次に、図４に示すように、ホストコンピュータ１２０は、ＣＰＵ１２１、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌ、メインメモリ１２３、外部記憶インターフェース１２４、マウスインターフェース１２５、キーボード１２６及びＣＲＴ１２７を備え、これらは、バスによって互いに接続されている。
【００２０】
又、右フレームメモリインターフェース１２２Ｒおよび左フレームメモリインターフェース１２２Ｌは、それぞれ右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌに接続され、これらとの間で画像データの送受を行う。さらに、各インターフェース１２２Ｒおよび１２２Ｌを介して、対応するフレームメモリ１１２Ｒおよび１１２Ｌに対してカーソル制御が行われるようになっている。又、外部記憶インターフェース１２４は、外部記憶１４０に接続され、画像データ及び計測対象点位置情報の送受を行うように設定されている。又、マウスインターフェース１２５は、マウス１４５に接続される。
【００２１】
図５に示すように、外部記憶１４０は、計測対象点の位置情報を記憶してホストコンピュータ１２０と各種計測データの送受を行う計測データ情報用ファイル１８１と、ホストコンピュータ１２０と画像データの送受を行うステレオ画像マネージャー１８２を有する。さらに、このステレオ画像マネージャー１８２に連結され、左画像データを記憶する左用画像ファイル１８３Ｌと、同様にステレオ画像マネージャー１８２に連結され、右画像データを記憶する右用画像ファイル１８３Ｒとを備えている。
【００２２】
本実施の形態では、内視鏡１０１で得たステレオ画像は左右２枚１組で取り扱われる。すなわち、同期の取られた２つの画像フレームデータが、一つの組のデータとして記憶装置にストアされている。ホストコンピュータ１２０から２枚１組で送られて来たステレオ画像は、ステレオ画像マネージャー１８２によって、左用と右用の各画像ファイル１８３Ｌと１８３Ｒに振り分けられて、記録される。又、ステレオ画像マネージャー１８２によって、各画像ファイル１８３Ｌ，１８３Ｒに記録された画像は、２枚１組で呼び出される。
【００２３】
又、図２に示すように、内視鏡１０１は、細長の挿入部１０２を備え、この挿入部１０２の先端部に、複数の、例えば２つの観察窓と照明窓とが設けられている。各観察窓の内側には、互いに視差を有する位置に、右眼用対物レンズ系１０３Ｒと左眼用対物レンズ系１０３Ｌが設けられている。各対物レンズ系１０３Ｒと１０３Ｌの結像位置には、それぞれ、ＣＣＤ等の固体撮像素子を用いた左と右用の撮像手段１０４Ｌと１０４Ｒが配設されている。
【００２４】
又、照明窓の内側には、配光レンズ１０５が設けられ、この配光レンズ１０５の後端には、ファイババンドルよりなるライトガイド１０６が連設されている。このライトガイド１０６は、挿入部１０２内に挿通され、入射端部には図示しない光源装置が接続される。
【００２５】
この光源装置から出力される照明光が、ライトガイド１０６及び配光レンズ１０５を介して被写体に照射され、この被写体からの反射光が、対物レンズ系１０３Ｒと１０３Ｌによって、それぞれ右画像および左画像として、撮像手段１０４Ｒと１０４Ｌに結像される。
【００２６】
次に、計測用内視鏡装置の機能ブロック構成を図１を用いて説明する。
電荷結合装置（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いた撮像手段１０４Ｒと１０４Ｌによって撮像された被写体像の各画像信号は、それぞれ、ビデオプロセッサ１１０Ｒと１１０Ｌに入力され、映像信号処理が施される。ビデオプロセッサ１１０Ｒと１１０Ｌから出力される各画像信号は、それぞれＡ／Ｄ変換器１１１Ｒと１１１Ｌによりデジタル信号に変換された後、画像メモリすなわち、各フレームメモリ１１２Ｒと１１２Ｌのうちの画像用のメモリに記憶される。
【００２７】
そして、右画像用フレームメモリ１１２Ｒと左画像用１１２Ｌから読み出された画像信号は、それぞれ、画像処理手段２００で所定の画像処理がなされた後、表示制御手段２０１を経て、Ｄ／Ａ変換器１５８Ｒと１５８Ｌに出力される。Ｄ／Ａ変換器１５８Ｒと１５８Ｌでアナログ信号に変換された後、右画像用モニタ１３０Ｒと左画像用１３０Ｌにそれぞれ入力される。そして、この両モニタ１３０Ｒと１３０Ｌに、それぞれ、右画像と左画像が表示される。
【００２８】
一方、カーソルの表示は、カーソル表示手段１５１によってまず処理され、表示制御手段２０１により表示制御される。カーソルは、両モニタ１３０Ｒ、１３０Ｌのいずれか一方の画面に重畳して表示される。
【００２９】
カーソルにより計測点が指定されると、画像処理手段２００はその指定された点データに基づき、３次元位置の導出、目盛の作成及び表示などの処理を行い、表示制御手段２０１を通して、処理結果がモニタに表示される。
【００３０】
又、表示制御手段２０１は、カーソル表示の管理および制御のほか、マルチウィンドウ表示に必要な処理も行う。画像処理手段２００及び表示制御手段２０１における処理及び制御機能は、ホストコンピュータ１２０を動作させることにより達成される。この場合、通常、表示制御手段２０１の機能はオペレーティングシステムが有している。
【００３１】
尚、図３および図４に示す右画像用と左画像用のフレームメモリ１１２Ｒおよび１１２Ｌは、本実施の形態ではホストコンピュータ１２０の外部に設けているが、ホストコンピュータ１２０にＰＣＩボードタイプのフレームメモリを利用して内蔵するようにしてもよい。又、図３においてステレオ画像の表示は、右画像用１３０Ｒと左画像用モニタ１３０Ｌに対して行っているが、パソコンのＣＲＴ１２７上で両者を表示するようにしても良い。
【００３２】
次に、図７により、このように構成された計測用内視鏡装置において、所定の画素の３次元座標位置に基いて、対象の大きさを把握するための目盛を描画する過程を説明する。
【００３３】
以下の説明では左画像の画素に対して、右画像の対応点を求めるものとして説明を行うが、逆に右画像に対して、左画像において対応点を求めても問題ない。
【００３４】
なお、対象物体の対象座標系は、図６に示すように、内視鏡挿入部１０２の先端における２つの対物レンズ１０３Ｒと１０３Ｌの中心を通る直線方向をＸ´軸とする。左側の対物レンズの中心を原点ＯLとし、左側対物レンズの光軸をＺ´軸とし、さらにＹ´軸は、Ｘ´軸とＺ´軸のそれぞれに直角である。対象座標系は、このようなＸ´Ｙ´Ｚ´座標系により表されるものとする。
【００３５】
まず、オペレータにより、左画像用モニタ上に表示される画像中の点Ｐｉ（ｉ＝０，１）が指定される。点Ｐｉは、２次元平面上のある画素に対応する。以下、その点を、画素Ｐｉとし、その座標をＰｉ（ｘｉ，ｙｉ）とする。
【００３６】
まず、ステップ１１（以下、Ｓ１１と略す）において、左画像上で指定された所定の画素の右側画像における対応点を求める。左画像で指定された２画素の座標をＰi（ｘi，ｙi）（ｉ＝０，１）とする。右画像においてそのＰiの対応点を求め、３次元座標位置を決定する（ステップＳ１１）。対応点の検出はエピポーララインを用いた公知のテンプレートマッチングにより行えばよい。また、３次元位置は三角測量の原理により求める。その具体的な求め方は、特開平６−３３９４５４号公報に開示されている。
【００３７】
Ｐiの３次元位置をそれぞれＰ´i（ｉ＝０，１）とし、その座標をＰ´i（ｘ´i，ｙ´i，ｚ´i）とする。なお、このＰiを自動選択する場合の方法については後述する。
【００３８】
次に、この２点間の３次元空間におけるＺ´軸方向の距離を、次式により予め決められた閾値Ｔcと比較する（Ｓ１２）。その距離（Ｚ´軸方向の座標の差の絶対値）が閾値Ｔcより小さい場合は、Ｓ１３の処理が実行される。そうでない場合はＳ１５の処理が実行される。
｜ｚ´0−ｚ´1｜<Ｔc
【００３９】
なお、距離の絶対値の差がＴｃより小さい場合は、対象が光軸に垂直もしくは、ほぼ垂直であることを厳密に判断するために、以下の処理を追加してもよい。つまり、Ｐ0、Ｐ1に加え、Ｐ´0、Ｐ´1を通過する直線上に存在しないＰ2を求める。Ｐ2の３次元位置をＰ´2（ｘ´2，ｙ´2，ｚ´2）としたとき次式を満たす場合のみＳ１３を実行する。そうでない場合はＳ１５を実行する。Ｐ2の選択は、例えば、後述する図１０のＳ２１からＳ２３の処理を実行してソートされた複数の画素の内、Ｐ´0、Ｐ´1を通過する直線上に存在しないものをリストの先頭から１つ選ぶことにより行う。
｜ｚ´0−ｚ´2｜<Ｔc
｜ｚ´1−ｚ´2｜<Ｔc
【００４０】
Ｐ´0とＰ´1のＺ´軸上の差すなわち距離が、予め定めた閾値Ｔcよりも小さい場合（Ｚ´軸上の距離の差が短い場合）、撮像対象の表面が光軸（Ｚ´軸）に対して垂直、もしくはそれに近いと考えられる。従って、撮像対象が光軸に対して垂直またはほぼ垂直と考えて、水平方向および垂直方向の目盛のサイズを計算する。ここでは、次の式から、水平方向および垂直方向の１画素あたりの距離Ｄh、Ｄvを求める（Ｓ１３）。
【００４１】
【式１】
ここで、θは、θ＝tan-1｛（｜ｙ0−ｙ1｜）｝／（｜ｘ0−ｘ1｜）｝である。
【００４２】
そして、Ｓ１４において、水平方向、垂直方向に対してそれぞれ、あらかじめ与えたＡ［ｍｍ］、Ｂ［ｍｍ］ごとに目盛を画像上に描画する。このとき、目盛に対応した画素数を算出し、その画素数分を、目盛の単位長とする。図８では、垂直方向はＡ／Ｄv、水平方向はＢ／Ｄhの画素分の目盛を描画し、１目盛の大きさを示す目盛間隔を画像内もしくは、適当な位置に表示する。
【００４３】
また、表示する目盛数はあらかじめ与えておくか、画像サイズから決定しても良い。図８では、Ａ［ｍｍ］とＢ［ｍｍ］に対応した目盛が、それぞれ３つ分表示されている。
【００４４】
このように、被写体表面が３次元位置においてほぼＺ´軸に垂直あるいは垂直に近い場合、２点間のＺ´軸方向での距離の差はＸ´軸上およびＹ´軸上での影響は少ないとして、目盛を描画するときは、互いに直角な水平（Ｘ軸）方向および垂直（Ｙ軸）方向の２つの目盛表示を行う。
【００４５】
なお、図８には、目盛画像は、指定された２点Ｐ0とＰ1の画素位置と共に、左画像あるいは右画像の画面上に重畳表示される。図８では、水平方向の目盛の一部の上に、Ａ［ｍｍ］と、垂直方向の目盛の一部の左側に、Ｂ［ｍｍ］と表示されている。
【００４６】
次に、Ｓ１２において、撮像対象が光軸すなわちＺ´軸に対して垂直あるいはほぼ垂直ではないと判断されたときは、３次元空間における２点Ｐ´0とＰ´1間の距離と、画像上での２点Ｐ0とＰ1間の距離に基づいて、２点間の画像上の目盛間隔を求める（Ｓ１５）。ここでは、Ｐi間の１画素あたりの距離Ｄ［ｍｍ］を求める。
【００４７】
【式２】
そして、Ｓ１６において、目盛を描画する。このとき、目盛に対応した画素数を算出し、その画素数分を、目盛の単位長とする。図９に示すように、目盛があらかじめ与えたＣ［ｍｍ］間隔になるように、Ｃ／Ｄの画素分ごとに目盛をＰ0、Ｐ1間に描画する（図９）。また、目盛間隔を画像内、または適当な位置に表示する。図９では、Ｐ0Ｐ1を結んだ線分上に目盛が表示され、その目盛の一部に、Ｃ［ｍｍ］と表示されている。なお、Ｐ0Ｐ1を結んだ線分上でなくても、この線分にほぼ平行な線分に、目盛を表示してもよい。
【００４８】
このように、指定された画素の３次元空間上の距離に応じて、目盛表示を行うようにしたので、対象の距離や長さなどが把握し易い。
【００４９】
以上の説明では、Ｐi（ｘi，ｙi）をユーザが指定していたが、次に、Ｐiを自動決定する方法を、図１０により説明する。
【００５０】
Ｐiは、予め定めた画像領域の範囲内から選定される。画像の歪曲収差が補正されているのであれば、どこの範囲でもよい。しかし、その補正がされていない場合は、歪曲収差歪みの影響の少ない画像中心付近のみとする。以下、その範囲を、画像中の縦がＮ画素で、横がＭ画素からなる矩形の領域（以下、Ｍ×Ｎ領域という）とする。なお、この範囲は、矩形で規定されなくてもよい。
【００５１】
まず、撮像手段からの画像信号データに基いて、Ｍ×Ｎ領域内の各画素のエッジ強度を求める（Ｓ２１）。エッジ強度は公知の方法により得ることができる。
【００５２】
次に、Ｍ×Ｎ領域内の全画素データのリストを作り、エッジ強度が大きい順にその画素データをソートする（Ｓ２２）。
【００５３】
そして、ハレーション部分を選択対象から外すため、各画素の近傍（例えば５×５）で求めた画素値（２５６階調の値）の平均値が、予め定めた閾値Ｔhより大きい画素のデータを、Ｓ２２でソートされたリストから除去する（Ｓ２３）。
エッジ強度の大きい画素の中でも、その画素周辺の画素値の平均値が予め定めた値よりも小さいものが選択されることになる。
【００５４】
最後に、２つの画素をソートされた画素の先頭から、すなわち、エッジ強度の大きい方から選択し（Ｓ２４）、それぞれをＰi（ｉ＝０，１）とする。この選択された２点を用いて、図７のフローチャートに従った処理が実行される。これにより、ユーザからのアクションを与えなくとも、図８、図９に示すような目盛を描画することができる。
【００５５】
以上の自動決定方法によれば、ユーザによる距離計測点の指定は必要なくなり、さらに目盛表示も上述したような方法により、より正確な目盛を表示することができる。
【００５６】
［付記］
以上説明した実施の形態によれば、次の付記項に示した内容が特徴事項と言える。
【００５７】
［付記項１］
複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出する対応点検出手段と、
前記対応点検出手段で得られた前記対応点の情報に基づき、前記対応点の３次元座標を算出する３次元座標算出手段と、
算出された前記３次元座標の情報に基づき、前記所定の画素間の距離を算出する距離算出手段と、
算出された前記距離の情報に基づき画素間の距離に対応する目盛を表示する表示手段と、
を具備したことを特徴とする目盛表示装置。
【００５８】
［付記項２］
複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出し、
検出された前記対応点の情報に基づき、前記対応点の３次元座標を算出し、
算出された前記３次元座標の情報に基づき、前記所定の画素間の距離を算出し、
算出された前記距離の情報に基づき画素間の距離と対応する目盛を表示することを特徴とする目盛表示方法。
【００５９】
［付記項３］
前記目盛表示手段は、前記対応点について、撮像平面に対して垂直方向における距離と予め定めた閾値とを比較し、その比較結果に応じて、目盛表示の方法を変更することを特徴とする付記項１記載の目盛表示装置。
【００６０】
［付記項４］
前記目盛表示手段は、前記比較結果において、前記対応点の、撮像平面に対して垂直方向における距離が、予め定めた閾値よりも短いときは、互いに直角な２軸上に、各軸に対応した目盛をそれぞれ表示することを特徴とする付記項３記載の目盛表示装置。
【００６１】
［付記項５］
前記目盛表示手段は、前記比較結果において、前記対応点の、撮像平面に対して垂直方向における距離が、予め定めた閾値よりも長いときは、前記画素を結ぶ線分上、またはその線分にほぼ平行な線分上に、目盛を表示することを特徴とする付記項３記載の目盛表示装置。
【００６２】
以上のような構成により、対象物に応じて、より正確な目盛を表示することができる。
【００６３】
［付記項６］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内の画像信号データに基いて決定された画素であることを特徴とする付記項１記載の目盛表示装置。
【００６４】
このような構成により、ユーザのアクションなしで、画像上の点の指定を行うことができる。
【００６５】
［付記項７］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内における、画像信号データのエッジ強度の大きい画素の中から選択されることを特徴とする付記項６記載の目盛表示装置。
【００６６】
［付記項８］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内におけるエッジ強度の大きい画素の中でも、その画素周辺の画素値の平均値が予め定めた値よりも小さいものから選択されることを特徴とする付記項７記載の目盛表示装置。
【００６７】
以上のような構成により、よりよい画像上の点の選択をすることができる。
【００６８】
【発明の効果】
以上のように、本発明によれば、所定の画素の３次元座標の情報に応じて目盛が作成され、高速に描画されるので、ユーザは、対象の大きさを、より正確に把握することができる。
【図面の簡単な説明】
【図１】実施の形態に関わる計測用内視鏡装置のブロック図
【図２】内視鏡の挿入部の先端部分の構造を説明する図
【図３】計測用内視鏡装置の機能構成を示すブロック図
【図４】ホストコンピュータの構成を説明する図
【図５】外部記憶装置の構成を示すブロック図
【図６】内視鏡先端部における３次元座標系を説明するための図
【図７】目盛を描画する流れを示すフローチャート
【図８】水平、垂直方向への目盛描画状態を示す図
【図９】２点間への目盛描画状態を示す図
【図１０】画像から画素を自動選択する流れを示すフローチャート
【符号の説明】
１０１ ・・・内視鏡
１０２ ・・・挿入部
１０３Ｒ，１０３Ｌ・・・レンズ
１０４Ｌ・・・左撮像手段
１０４Ｒ・・・右撮像手段
１０５ ・・・配光レンズ
１０６ ・・・ライトガイド
１２０ ・・・ホストコンピュータ
１３０Ｌ・・・左画像用モニタ
１３０Ｒ・・・右画像用モニタ
【発明の属する技術分野】
本発明は、撮像された被写体について目盛を表示する計測用内視鏡装置および目盛表示方法に関する。
【０００２】
【従来の技術】
近年、医療分野、工業分野等において、内視鏡が広く用いられるようになった。通常の内視鏡による観察像では、一般に対象物は平面的なものになり、凹凸等は認識しがたい。そのため、最近では、内視鏡の先端に左右２系統の撮像手段を配設し、この２系統の撮像手段により撮像された左右画像から、ステレオ法により対象の立体画像を推定し、この立体形状を、プロファイルやワイヤーフレームにより表示する技術が知られている。
【０００３】
例えば、特開平６−３３９４５４号公報はステレオ内視鏡を用いて三角測量の原理により、対象までの距離、複数の対象点間の距離を算出する技術が開示されている。
【０００４】
特に、特開平６−３３９４５４号公報中の図１２にその例が示されているように、算出した３次元座標値に基づいて、対象物の長さ、大きさ等を客観的に認識できるスケールマーカを、対象物の形状に合わせて表示している。
【０００５】
【発明が解決しようとする課題】
しかし、そこに開示された方法によれば、指定された対象点の３次元座標を求めた後、その点とＸ座標が同じ点を、水平方向に一定間隔毎に求め、同様に、Ｙ座標が同じ点を、垂直方向に一定間隔毎に求める。その求めた点群が、一定間隔の目盛となり、目盛がふられた曲線として画像に重畳して表示される。
【０００６】
従って、その重畳表示のために、選択した画素と同じＸ座標、Ｙ座標を持つ画素を画像中から探索する必要があり、多くの処理を必要とし、目盛を表示するまでに時間がかかるものであった。
【０００７】
別の目盛表示方法として、例えば、対象物が単純にスコープ光軸に垂直な鉛直平面で近似できると仮定して目盛を作成した場合、対象物の表面形状によっては、画像上に表示した距離と対象物の３次元空間での距離とが一致しない可能性もあるという問題があった。
【０００８】
【課題を解決するための手段】
そこで、本発明は、撮像された被写体に応じて、目盛を、より高速かつ正確に表示する計測用内視鏡装置および目盛表示方法を提供することを目的とする。
【０００９】
本発明の計測用内視鏡装置は、内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像を表示する表示手段と、該表示手段に表示された前記ステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出する対応点検出手段と、前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出する３次元座標算出手段と、前記表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させる画像処理手段とを有する。
【００１０】
本発明の目盛表示方法は、内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出し、前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出し、前記２つの座標の前記３次元空間上の距離を算出し、表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させる。
【００１１】
このような構成により、被写体についての目盛表示を、より正確に行うことができる。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。以下においては、適用する計測用内視鏡として、先端に２系統の対物レンズを備えたステレオ内視鏡を用いたもので説明する。
【００１３】
なお、本発明の実施の形態においては、例えば画素ＲをＲ（ｘ，ｙ）とし、ｘおよびｙは画像上のＸ軸およびＹ軸上の画素の位置を表すものとする。また、例えばＰ点の３次元の位置座標は、Ｐ´（ｘ´，ｙ´，ｚ´）とし、ｘ´、ｙ´、ｚ´は、３次元空間におけるＸ´軸、Ｙ´軸およびＺ´軸上の座標位置を表すものとする。そして、画像の階調数は、特に断らない限り、２５６として説明する。
【００１４】
さらに、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とする。歪曲収差補正は例えば、特開平６−３３９４５４号公報に示されるようにして行われる。すなわち、各画素における補正値を予め決定しておき、実際の撮像画像に対して補正を行うことによって歪曲収差補正処理を実現することができる。具体的には、米国特許第４８９５４３１号明細書に具体的な処理手法が開示されている。なお、画像に歪曲収差歪みが存在しない場合はその限りではない。また、画像に歪曲収差歪みが存在する場合は、各処理は歪曲収差補正後の画像に対して行うことを基本とするが、その補正がされない場合は、歪曲収差の影響が少ない、画像中心部分の画素を選択するのが望ましい。
【００１５】
図１ないし図１０により、実施の形態を説明する。
【００１６】
図１は、第一の実施の形態に関わる計測用内視鏡装置のブロック図である。図２は、内視鏡の挿入部の先端部分の構造を説明する図である。図３は、計測用内視鏡装置の機能構成を示すブロック図である。図４は、ホストコンピュータの構成を説明する図である。図５は、外部記憶装置の構成を示すブロック図である。図６は、内視鏡先端部における３次元座標を説明するための図である。図７は、目盛を描画する処理の流れを示すフローチャートである。図８は、水平および垂直方向への目盛の描画状態を示す画面例である。図９は、２点間への目盛の描画状態を示す画面例である。図１０は、画像から画素を自動選択する処理の流れを示すフローチャートである。
【００１７】
まず、図３に示すように、本実施の形態において採用する計測用内視鏡装置は、ステレオ式ビデオイメージエンドスコープ（以下、単に「内視鏡」と称する）１０１と、この内視鏡１０１によって撮像される右画像及び左画像の各画像信号を信号処理する右画像用ビデオプロセッサ１１０Ｒと左画像用ビデオプロセッサ１１０Ｌを有する。さらに、この各ビデオプロセッサ１１０Ｒと１１０Ｌからそれぞれ出力される、例えばＲＧＢ信号による各映像信号を記憶する右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌと、この各フレームメモリ１１２Ｒと１１２Ｌからそれぞれ出力される、例えばＲＧＢ信号による映像信号を入力して、右画像および左画像を表示する右画像用モニタ１３０Ｒ及び左画像用モニタ１３０Ｌとを有する。また、各フレームメモリ１１２Ｒおよび１１２Ｌに記憶された画像を用いて、立体計測演算を行うホストコンピュータ１２０と、このホストコンピュータ１２０に接続された外部記憶１４０と、ホストコンピュータ１２０に接続されてモニタ１３０Ｒおよび１３０Ｌに表示されるカーソルの操作や、計測対象点の指定及び計測対象領域の設定等を行うマウス１４５とを備えている。
【００１８】
両ビデオプロセッサ１１０Ｒ，１１０Ｌは、互いに同期した信号処理を行うように設定されている。又、本実施の形態では、各フレームメモリ１１２Ｒと１１２Ｌは、それぞれＲ，Ｇ，Ｂ用の各メモリを複数組備えており、１組には画像が記憶され、他の組にはカーソルが書き込まれる。各組に書き込まれた信号を足し合わせることにより、モニタ１３０Ｒと１３０Ｌのそれぞれの画面上に画像とカーソルとが表示される。
【００１９】
次に、図４に示すように、ホストコンピュータ１２０は、ＣＰＵ１２１、右フレームメモリインターフェース１２２Ｒ、左フレームメモリインターフェース１２２Ｌ、メインメモリ１２３、外部記憶インターフェース１２４、マウスインターフェース１２５、キーボード１２６及びＣＲＴ１２７を備え、これらは、バスによって互いに接続されている。
【００２０】
又、右フレームメモリインターフェース１２２Ｒおよび左フレームメモリインターフェース１２２Ｌは、それぞれ右画像用フレームメモリ１１２Ｒ及び左画像用フレームメモリ１１２Ｌに接続され、これらとの間で画像データの送受を行う。さらに、各インターフェース１２２Ｒおよび１２２Ｌを介して、対応するフレームメモリ１１２Ｒおよび１１２Ｌに対してカーソル制御が行われるようになっている。又、外部記憶インターフェース１２４は、外部記憶１４０に接続され、画像データ及び計測対象点位置情報の送受を行うように設定されている。又、マウスインターフェース１２５は、マウス１４５に接続される。
【００２１】
図５に示すように、外部記憶１４０は、計測対象点の位置情報を記憶してホストコンピュータ１２０と各種計測データの送受を行う計測データ情報用ファイル１８１と、ホストコンピュータ１２０と画像データの送受を行うステレオ画像マネージャー１８２を有する。さらに、このステレオ画像マネージャー１８２に連結され、左画像データを記憶する左用画像ファイル１８３Ｌと、同様にステレオ画像マネージャー１８２に連結され、右画像データを記憶する右用画像ファイル１８３Ｒとを備えている。
【００２２】
本実施の形態では、内視鏡１０１で得たステレオ画像は左右２枚１組で取り扱われる。すなわち、同期の取られた２つの画像フレームデータが、一つの組のデータとして記憶装置にストアされている。ホストコンピュータ１２０から２枚１組で送られて来たステレオ画像は、ステレオ画像マネージャー１８２によって、左用と右用の各画像ファイル１８３Ｌと１８３Ｒに振り分けられて、記録される。又、ステレオ画像マネージャー１８２によって、各画像ファイル１８３Ｌ，１８３Ｒに記録された画像は、２枚１組で呼び出される。
【００２３】
又、図２に示すように、内視鏡１０１は、細長の挿入部１０２を備え、この挿入部１０２の先端部に、複数の、例えば２つの観察窓と照明窓とが設けられている。各観察窓の内側には、互いに視差を有する位置に、右眼用対物レンズ系１０３Ｒと左眼用対物レンズ系１０３Ｌが設けられている。各対物レンズ系１０３Ｒと１０３Ｌの結像位置には、それぞれ、ＣＣＤ等の固体撮像素子を用いた左と右用の撮像手段１０４Ｌと１０４Ｒが配設されている。
【００２４】
又、照明窓の内側には、配光レンズ１０５が設けられ、この配光レンズ１０５の後端には、ファイババンドルよりなるライトガイド１０６が連設されている。このライトガイド１０６は、挿入部１０２内に挿通され、入射端部には図示しない光源装置が接続される。
【００２５】
この光源装置から出力される照明光が、ライトガイド１０６及び配光レンズ１０５を介して被写体に照射され、この被写体からの反射光が、対物レンズ系１０３Ｒと１０３Ｌによって、それぞれ右画像および左画像として、撮像手段１０４Ｒと１０４Ｌに結像される。
【００２６】
次に、計測用内視鏡装置の機能ブロック構成を図１を用いて説明する。
電荷結合装置（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いた撮像手段１０４Ｒと１０４Ｌによって撮像された被写体像の各画像信号は、それぞれ、ビデオプロセッサ１１０Ｒと１１０Ｌに入力され、映像信号処理が施される。ビデオプロセッサ１１０Ｒと１１０Ｌから出力される各画像信号は、それぞれＡ／Ｄ変換器１１１Ｒと１１１Ｌによりデジタル信号に変換された後、画像メモリすなわち、各フレームメモリ１１２Ｒと１１２Ｌのうちの画像用のメモリに記憶される。
【００２７】
そして、右画像用フレームメモリ１１２Ｒと左画像用１１２Ｌから読み出された画像信号は、それぞれ、画像処理手段２００で所定の画像処理がなされた後、表示制御手段２０１を経て、Ｄ／Ａ変換器１５８Ｒと１５８Ｌに出力される。Ｄ／Ａ変換器１５８Ｒと１５８Ｌでアナログ信号に変換された後、右画像用モニタ１３０Ｒと左画像用１３０Ｌにそれぞれ入力される。そして、この両モニタ１３０Ｒと１３０Ｌに、それぞれ、右画像と左画像が表示される。
【００２８】
一方、カーソルの表示は、カーソル表示手段１５１によってまず処理され、表示制御手段２０１により表示制御される。カーソルは、両モニタ１３０Ｒ、１３０Ｌのいずれか一方の画面に重畳して表示される。
【００２９】
カーソルにより計測点が指定されると、画像処理手段２００はその指定された点データに基づき、３次元位置の導出、目盛の作成及び表示などの処理を行い、表示制御手段２０１を通して、処理結果がモニタに表示される。
【００３０】
又、表示制御手段２０１は、カーソル表示の管理および制御のほか、マルチウィンドウ表示に必要な処理も行う。画像処理手段２００及び表示制御手段２０１における処理及び制御機能は、ホストコンピュータ１２０を動作させることにより達成される。この場合、通常、表示制御手段２０１の機能はオペレーティングシステムが有している。
【００３１】
尚、図３および図４に示す右画像用と左画像用のフレームメモリ１１２Ｒおよび１１２Ｌは、本実施の形態ではホストコンピュータ１２０の外部に設けているが、ホストコンピュータ１２０にＰＣＩボードタイプのフレームメモリを利用して内蔵するようにしてもよい。又、図３においてステレオ画像の表示は、右画像用１３０Ｒと左画像用モニタ１３０Ｌに対して行っているが、パソコンのＣＲＴ１２７上で両者を表示するようにしても良い。
【００３２】
次に、図７により、このように構成された計測用内視鏡装置において、所定の画素の３次元座標位置に基いて、対象の大きさを把握するための目盛を描画する過程を説明する。
【００３３】
以下の説明では左画像の画素に対して、右画像の対応点を求めるものとして説明を行うが、逆に右画像に対して、左画像において対応点を求めても問題ない。
【００３４】
なお、対象物体の対象座標系は、図６に示すように、内視鏡挿入部１０２の先端における２つの対物レンズ１０３Ｒと１０３Ｌの中心を通る直線方向をＸ´軸とする。左側の対物レンズの中心を原点ＯLとし、左側対物レンズの光軸をＺ´軸とし、さらにＹ´軸は、Ｘ´軸とＺ´軸のそれぞれに直角である。対象座標系は、このようなＸ´Ｙ´Ｚ´座標系により表されるものとする。
【００３５】
まず、オペレータにより、左画像用モニタ上に表示される画像中の点Ｐｉ（ｉ＝０，１）が指定される。点Ｐｉは、２次元平面上のある画素に対応する。以下、その点を、画素Ｐｉとし、その座標をＰｉ（ｘｉ，ｙｉ）とする。
【００３６】
まず、ステップ１１（以下、Ｓ１１と略す）において、左画像上で指定された所定の画素の右側画像における対応点を求める。左画像で指定された２画素の座標をＰi（ｘi，ｙi）（ｉ＝０，１）とする。右画像においてそのＰiの対応点を求め、３次元座標位置を決定する（ステップＳ１１）。対応点の検出はエピポーララインを用いた公知のテンプレートマッチングにより行えばよい。また、３次元位置は三角測量の原理により求める。その具体的な求め方は、特開平６−３３９４５４号公報に開示されている。
【００３７】
Ｐiの３次元位置をそれぞれＰ´i（ｉ＝０，１）とし、その座標をＰ´i（ｘ´i，ｙ´i，ｚ´i）とする。なお、このＰiを自動選択する場合の方法については後述する。
【００３８】
次に、この２点間の３次元空間におけるＺ´軸方向の距離を、次式により予め決められた閾値Ｔcと比較する（Ｓ１２）。その距離（Ｚ´軸方向の座標の差の絶対値）が閾値Ｔcより小さい場合は、Ｓ１３の処理が実行される。そうでない場合はＳ１５の処理が実行される。
｜ｚ´0−ｚ´1｜<Ｔc
【００３９】
なお、距離の絶対値の差がＴｃより小さい場合は、対象が光軸に垂直もしくは、ほぼ垂直であることを厳密に判断するために、以下の処理を追加してもよい。つまり、Ｐ0、Ｐ1に加え、Ｐ´0、Ｐ´1を通過する直線上に存在しないＰ2を求める。Ｐ2の３次元位置をＰ´2（ｘ´2，ｙ´2，ｚ´2）としたとき次式を満たす場合のみＳ１３を実行する。そうでない場合はＳ１５を実行する。Ｐ2の選択は、例えば、後述する図１０のＳ２１からＳ２３の処理を実行してソートされた複数の画素の内、Ｐ´0、Ｐ´1を通過する直線上に存在しないものをリストの先頭から１つ選ぶことにより行う。
｜ｚ´0−ｚ´2｜<Ｔc
｜ｚ´1−ｚ´2｜<Ｔc
【００４０】
Ｐ´0とＰ´1のＺ´軸上の差すなわち距離が、予め定めた閾値Ｔcよりも小さい場合（Ｚ´軸上の距離の差が短い場合）、撮像対象の表面が光軸（Ｚ´軸）に対して垂直、もしくはそれに近いと考えられる。従って、撮像対象が光軸に対して垂直またはほぼ垂直と考えて、水平方向および垂直方向の目盛のサイズを計算する。ここでは、次の式から、水平方向および垂直方向の１画素あたりの距離Ｄh、Ｄvを求める（Ｓ１３）。
【００４１】
【式１】
【００４２】
そして、Ｓ１４において、水平方向、垂直方向に対してそれぞれ、あらかじめ与えたＡ［ｍｍ］、Ｂ［ｍｍ］ごとに目盛を画像上に描画する。このとき、目盛に対応した画素数を算出し、その画素数分を、目盛の単位長とする。図８では、垂直方向はＡ／Ｄv、水平方向はＢ／Ｄhの画素分の目盛を描画し、１目盛の大きさを示す目盛間隔を画像内もしくは、適当な位置に表示する。
【００４３】
また、表示する目盛数はあらかじめ与えておくか、画像サイズから決定しても良い。図８では、Ａ［ｍｍ］とＢ［ｍｍ］に対応した目盛が、それぞれ３つ分表示されている。
【００４４】
このように、被写体表面が３次元位置においてほぼＺ´軸に垂直あるいは垂直に近い場合、２点間のＺ´軸方向での距離の差はＸ´軸上およびＹ´軸上での影響は少ないとして、目盛を描画するときは、互いに直角な水平（Ｘ軸）方向および垂直（Ｙ軸）方向の２つの目盛表示を行う。
【００４５】
なお、図８には、目盛画像は、指定された２点Ｐ0とＰ1の画素位置と共に、左画像あるいは右画像の画面上に重畳表示される。図８では、水平方向の目盛の一部の上に、Ａ［ｍｍ］と、垂直方向の目盛の一部の左側に、Ｂ［ｍｍ］と表示されている。
【００４６】
次に、Ｓ１２において、撮像対象が光軸すなわちＺ´軸に対して垂直あるいはほぼ垂直ではないと判断されたときは、３次元空間における２点Ｐ´0とＰ´1間の距離と、画像上での２点Ｐ0とＰ1間の距離に基づいて、２点間の画像上の目盛間隔を求める（Ｓ１５）。ここでは、Ｐi間の１画素あたりの距離Ｄ［ｍｍ］を求める。
【００４７】
【式２】
【００４８】
このように、指定された画素の３次元空間上の距離に応じて、目盛表示を行うようにしたので、対象の距離や長さなどが把握し易い。
【００４９】
以上の説明では、Ｐi（ｘi，ｙi）をユーザが指定していたが、次に、Ｐiを自動決定する方法を、図１０により説明する。
【００５０】
Ｐiは、予め定めた画像領域の範囲内から選定される。画像の歪曲収差が補正されているのであれば、どこの範囲でもよい。しかし、その補正がされていない場合は、歪曲収差歪みの影響の少ない画像中心付近のみとする。以下、その範囲を、画像中の縦がＮ画素で、横がＭ画素からなる矩形の領域（以下、Ｍ×Ｎ領域という）とする。なお、この範囲は、矩形で規定されなくてもよい。
【００５１】
まず、撮像手段からの画像信号データに基いて、Ｍ×Ｎ領域内の各画素のエッジ強度を求める（Ｓ２１）。エッジ強度は公知の方法により得ることができる。
【００５２】
次に、Ｍ×Ｎ領域内の全画素データのリストを作り、エッジ強度が大きい順にその画素データをソートする（Ｓ２２）。
【００５３】
そして、ハレーション部分を選択対象から外すため、各画素の近傍（例えば５×５）で求めた画素値（２５６階調の値）の平均値が、予め定めた閾値Ｔhより大きい画素のデータを、Ｓ２２でソートされたリストから除去する（Ｓ２３）。
エッジ強度の大きい画素の中でも、その画素周辺の画素値の平均値が予め定めた値よりも小さいものが選択されることになる。
【００５４】
最後に、２つの画素をソートされた画素の先頭から、すなわち、エッジ強度の大きい方から選択し（Ｓ２４）、それぞれをＰi（ｉ＝０，１）とする。この選択された２点を用いて、図７のフローチャートに従った処理が実行される。これにより、ユーザからのアクションを与えなくとも、図８、図９に示すような目盛を描画することができる。
【００５５】
以上の自動決定方法によれば、ユーザによる距離計測点の指定は必要なくなり、さらに目盛表示も上述したような方法により、より正確な目盛を表示することができる。
【００５６】
［付記］
以上説明した実施の形態によれば、次の付記項に示した内容が特徴事項と言える。
【００５７】
［付記項１］
複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出する対応点検出手段と、
前記対応点検出手段で得られた前記対応点の情報に基づき、前記対応点の３次元座標を算出する３次元座標算出手段と、
算出された前記３次元座標の情報に基づき、前記所定の画素間の距離を算出する距離算出手段と、
算出された前記距離の情報に基づき画素間の距離に対応する目盛を表示する表示手段と、
を具備したことを特徴とする目盛表示装置。
【００５８】
［付記項２］
複数の撮像手段で得られた撮像信号から、所定の画素の対応点を検出し、
検出された前記対応点の情報に基づき、前記対応点の３次元座標を算出し、
算出された前記３次元座標の情報に基づき、前記所定の画素間の距離を算出し、
算出された前記距離の情報に基づき画素間の距離と対応する目盛を表示することを特徴とする目盛表示方法。
【００５９】
［付記項３］
前記目盛表示手段は、前記対応点について、撮像平面に対して垂直方向における距離と予め定めた閾値とを比較し、その比較結果に応じて、目盛表示の方法を変更することを特徴とする付記項１記載の目盛表示装置。
【００６０】
［付記項４］
前記目盛表示手段は、前記比較結果において、前記対応点の、撮像平面に対して垂直方向における距離が、予め定めた閾値よりも短いときは、互いに直角な２軸上に、各軸に対応した目盛をそれぞれ表示することを特徴とする付記項３記載の目盛表示装置。
【００６１】
［付記項５］
前記目盛表示手段は、前記比較結果において、前記対応点の、撮像平面に対して垂直方向における距離が、予め定めた閾値よりも長いときは、前記画素を結ぶ線分上、またはその線分にほぼ平行な線分上に、目盛を表示することを特徴とする付記項３記載の目盛表示装置。
【００６２】
以上のような構成により、対象物に応じて、より正確な目盛を表示することができる。
【００６３】
［付記項６］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内の画像信号データに基いて決定された画素であることを特徴とする付記項１記載の目盛表示装置。
【００６４】
このような構成により、ユーザのアクションなしで、画像上の点の指定を行うことができる。
【００６５】
［付記項７］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内における、画像信号データのエッジ強度の大きい画素の中から選択されることを特徴とする付記項６記載の目盛表示装置。
【００６６】
［付記項８］
前記画素は、前記撮像手段で得られた画像信号中の予め定めた領域内におけるエッジ強度の大きい画素の中でも、その画素周辺の画素値の平均値が予め定めた値よりも小さいものから選択されることを特徴とする付記項７記載の目盛表示装置。
【００６７】
以上のような構成により、よりよい画像上の点の選択をすることができる。
【００６８】
【発明の効果】
以上のように、本発明によれば、所定の画素の３次元座標の情報に応じて目盛が作成され、高速に描画されるので、ユーザは、対象の大きさを、より正確に把握することができる。
【図面の簡単な説明】
【図１】実施の形態に関わる計測用内視鏡装置のブロック図
【図２】内視鏡の挿入部の先端部分の構造を説明する図
【図３】計測用内視鏡装置の機能構成を示すブロック図
【図４】ホストコンピュータの構成を説明する図
【図５】外部記憶装置の構成を示すブロック図
【図６】内視鏡先端部における３次元座標系を説明するための図
【図７】目盛を描画する流れを示すフローチャート
【図８】水平、垂直方向への目盛描画状態を示す図
【図９】２点間への目盛描画状態を示す図
【図１０】画像から画素を自動選択する流れを示すフローチャート
【符号の説明】
１０１ ・・・内視鏡
１０２ ・・・挿入部
１０３Ｒ，１０３Ｌ・・・レンズ
１０４Ｌ・・・左撮像手段
１０４Ｒ・・・右撮像手段
１０５ ・・・配光レンズ
１０６ ・・・ライトガイド
１２０ ・・・ホストコンピュータ
１３０Ｌ・・・左画像用モニタ
１３０Ｒ・・・右画像用モニタ
Claims (6)
- 内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像を表示する表示手段と、
該表示手段に表示された前記ステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出する対応点検出手段と、
前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出する３次元座標算出手段と、
前記表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させる画像処理手段とを有することを特徴とする計測用内視鏡装置。 - 前記２つの指定点は、前記表示手段上で前記ステレオ画像に重畳して表示されるカーソルにより前記ステレオ画像の一方において指定されることを特徴とする請求項１に記載の計測用内視鏡装置。
- 前記２つの指定点は、予め定めた画像領域の範囲内における各画素のエッジ強度に基づいて選択されて指定されることを特徴とする請求項１又は２に記載の計測用内視鏡装置。
- 内視鏡の挿入部の先端部に設けられた対物光学系によって結像される被写体像を、前記先端部に設けられた撮像部によって撮像して得られたステレオ画像の一方において指定された被写体上の２つの指定点に基づいて、前記ステレオ画像の他方における２つの対応点を検出し、
前記２つの指定点と前記２つの対応点とに基づき、前記２つの指定点の３次元空間上の２つの座標を算出し、
前記２つの座標の前記３次元空間上の距離を算出し、
表示手段に、前記２つの座標の前記３次元空間上の距離に応じた目盛を、前記ステレオ画像の少なくとも一方上で、前記対物光学系の光軸方向における前記２つの座標の距離が所定の閾値よりも小さい場合は、前記光軸方向に直交する平面上で、互いに直角な水平方向及び垂直方向の２つの目盛表示により行い、前記対物光学系の光軸方向における前記２つの座標の距離が前記所定の閾値以上である場合は、前記２つの指定点を結んだ線分上にもしくは該線分に平行な線分上に表示させることを特徴とする目盛表示方法。 - 前記２つの指定点は、前記表示手段上で前記ステレオ画像に重畳して表示されるカーソルにより前記ステレオ画像の一方において指定されることを特徴とする請求項４に記載の目盛表示方法。
- 前記２つの指定点は、予め定めた画像領域の範囲内における各画素のエッジ強度に基づいて選択されて指定されることを特徴とする請求項４又は５に記載の目盛表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000354851A JP4646384B2 (ja) | 2000-11-21 | 2000-11-21 | 計測用内視鏡装置及び目盛表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000354851A JP4646384B2 (ja) | 2000-11-21 | 2000-11-21 | 計測用内視鏡装置及び目盛表示方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002156212A JP2002156212A (ja) | 2002-05-31 |
| JP2002156212A5 JP2002156212A5 (ja) | 2008-01-10 |
| JP4646384B2 true JP4646384B2 (ja) | 2011-03-09 |
Family
ID=18827365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000354851A Expired - Fee Related JP4646384B2 (ja) | 2000-11-21 | 2000-11-21 | 計測用内視鏡装置及び目盛表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4646384B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1316228C (zh) * | 2005-09-18 | 2007-05-16 | 中国海洋大学 | 视觉非接触测头的标定方法 |
| JP4882489B2 (ja) * | 2006-04-28 | 2012-02-22 | カシオ計算機株式会社 | 立体画像表示装置 |
| US8496575B2 (en) | 2006-11-14 | 2013-07-30 | Olympus Corporation | Measuring endoscope apparatus, program and recording medium |
| JP5186286B2 (ja) * | 2007-06-04 | 2013-04-17 | オリンパス株式会社 | 計測用内視鏡装置およびプログラム |
| JP5361517B2 (ja) * | 2009-04-27 | 2013-12-04 | オリンパス株式会社 | 内視鏡装置および計測方法 |
| JP2011069965A (ja) | 2009-09-25 | 2011-04-07 | Japan Atomic Energy Agency | 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体 |
| US8903144B2 (en) | 2010-12-01 | 2014-12-02 | Olympus Corporation | Endoscope apparatus and method of measuring object |
| JP5996233B2 (ja) * | 2012-03-29 | 2016-09-21 | シャープ株式会社 | 画像撮像装置 |
| GB2505926A (en) * | 2012-09-14 | 2014-03-19 | Sony Corp | Display of Depth Information Within a Scene |
| WO2016039292A1 (ja) * | 2014-09-11 | 2016-03-17 | オリンパス株式会社 | 内視鏡システム |
| JP6550150B2 (ja) * | 2016-01-15 | 2019-07-24 | 富士フイルム株式会社 | 計測支援装置及び計測支援方法 |
| EP3513703B1 (en) | 2016-09-15 | 2021-04-28 | FUJIFILM Corporation | Measurement support device, endoscope system, and endoscope processor for endoscope system |
| WO2023188511A1 (ja) * | 2022-03-29 | 2023-10-05 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02119836A (ja) * | 1988-10-28 | 1990-05-07 | Olympus Optical Co Ltd | 立体内視鏡装置 |
| JPH0378606A (ja) * | 1989-08-21 | 1991-04-03 | Kido Gijutsu Kenkyusho:Kk | Ｔｖ画像上での測長方法 |
| JPH03128043A (ja) * | 1989-10-16 | 1991-05-31 | Toshiba Corp | 形状計測内視鏡装置 |
| JPH04364403A (ja) * | 1991-06-12 | 1992-12-16 | Matsushita Electric Ind Co Ltd | 物***置ステレオ計測装置 |
| JPH0642941A (ja) * | 1992-07-22 | 1994-02-18 | Japan Radio Co Ltd | エピポーラ線の決定方法 |
| JPH06339454A (ja) * | 1993-06-01 | 1994-12-13 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
| JPH0793522A (ja) * | 1993-09-22 | 1995-04-07 | Toshiba Corp | 画像情報処理装置 |
| JPH10170227A (ja) * | 1996-12-12 | 1998-06-26 | Canon Inc | 表示装置 |
| JP2001209827A (ja) * | 1999-11-19 | 2001-08-03 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理サービス提供方法および受注処理方法 |
-
2000
- 2000-11-21 JP JP2000354851A patent/JP4646384B2/ja not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH02119836A (ja) * | 1988-10-28 | 1990-05-07 | Olympus Optical Co Ltd | 立体内視鏡装置 |
| JPH0378606A (ja) * | 1989-08-21 | 1991-04-03 | Kido Gijutsu Kenkyusho:Kk | Ｔｖ画像上での測長方法 |
| JPH03128043A (ja) * | 1989-10-16 | 1991-05-31 | Toshiba Corp | 形状計測内視鏡装置 |
| JPH04364403A (ja) * | 1991-06-12 | 1992-12-16 | Matsushita Electric Ind Co Ltd | 物***置ステレオ計測装置 |
| JPH0642941A (ja) * | 1992-07-22 | 1994-02-18 | Japan Radio Co Ltd | エピポーラ線の決定方法 |
| JPH06339454A (ja) * | 1993-06-01 | 1994-12-13 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
| JPH0793522A (ja) * | 1993-09-22 | 1995-04-07 | Toshiba Corp | 画像情報処理装置 |
| JPH10170227A (ja) * | 1996-12-12 | 1998-06-26 | Canon Inc | 表示装置 |
| JP2001209827A (ja) * | 1999-11-19 | 2001-08-03 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理サービス提供方法および受注処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002156212A (ja) | 2002-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6937268B2 (en) | Endoscope apparatus | |
| JP4646384B2 (ja) | 計測用内視鏡装置及び目盛表示方法 | |
| TWI520576B (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
| US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
| US6608622B1 (en) | Multi-viewpoint image processing method and apparatus | |
| US20190026919A1 (en) | Information processing apparatus, information processing method, and program | |
| JPH09231373A (ja) | 三次元位置計測装置 | |
| US20150104097A1 (en) | Image processing apparatus and image processing method | |
| US10993603B2 (en) | Image processing device, image processing method, and endoscope system | |
| JP4445622B2 (ja) | 三次元計測内視鏡装置、被写体計測表示装置、三次元計測内視鏡の被写体計測表示方法、及び被写体計測表示方法 | |
| JP6789888B2 (ja) | ステレオカメラ装置 | |
| JPH06339454A (ja) | 計測用内視鏡装置 | |
| JP4590087B2 (ja) | 内視鏡装置及び目盛表示方法 | |
| US11055865B2 (en) | Image acquisition device and method of operating image acquisition device | |
| JP5727969B2 (ja) | 位置推定装置、方法、及びプログラム | |
| US10634891B2 (en) | Medical observation device, lens driving control device, lens driving control method, and video microscope device | |
| JP4659203B2 (ja) | 計測用内視鏡装置及び目盛表示方法 | |
| KR20110025083A (ko) | 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법 | |
| EP3816698A1 (en) | Digital pathology scanner for large-area microscopic imaging | |
| CN110068308B (zh) | 一种基于多目相机的测距方法及测距*** | |
| JPH06160087A (ja) | 画像を用いた距離測定方法及びその装置 | |
| US10952648B2 (en) | Measurement device and measurement method | |
| JP5891751B2 (ja) | 画像間差分装置および画像間差分方法 | |
| KR101804157B1 (ko) | 개선된 sgm 기반한 시차 맵 생성 방법 | |
| EP3001141B1 (en) | Information processing system and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071120 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071120 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100223 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100805 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101116 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101207 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |