JP2006329684A - 画像計測装置及び方法 - Google Patents

Abstract

【課題】 特徴点の選択による計測箇所の指定操作を効率的に行えるようにする。
【解決手段】 固体撮像素子２１は、異なる視点から計測対象物３０を撮像して視点毎の画像を取得する。画像処理装置２３は、当該画像における計測対象物３０の像から特徴点を抽出し、当該特徴点を抽出した画像とは異なる当該画像における計測対象物３０の像から当該特徴点に対応する点の探索を行い、当該画像上における当該特徴点のうち当該特徴点に対応する点が当該探索によって得られたものに対して所定の印を表示させ、当該印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得し、当該選択結果に係る特徴点を計測対象として、当該視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う。
【選択図】 図２

Description

本発明は、画像計測技術に関し、特に、計測対象物を異なる視点から撮像した画像を用いて三角測量による三次元計測を行う技術に関する。

計測対象物を複数の視点から撮像して画像を取得し、取得した画像上に計測する箇所を指定することにより三角測量で三次元計測を行うステレオ計測装置が利用されている。このような装置において、計測対象物の形状などの特徴が未知である場合には、ユーザが手作業で計測箇所を指定して計測を行う。

このような計測装置に関し、例えば特許文献１には、一対の撮像系で画像を取得し、ＬＣＤディスプレイ上に表示された当該画像中の任意の位置を測定点入力装置で指定し、三次元計測の演算を行うという装置が開示されている。

この特許文献１に開示されている装置によると、ユーザの手作業による計測箇所の指定における個人差により、計測箇所の指定に誤差が生じて正確な計測が行えない場合が考えられ、また、指定のための操作に長い時間を要する場合が考えられる。そこで、画像処理によって画像上の特徴点を抽出し、抽出された特徴点をユーザが選択することで、計測箇所の指定誤差を生ぜずに計測箇所を指定することも可能である。

この他、本発明に関連する技術として、例えば非特許文献１には、複数枚の画像に共通する特徴点を抽出する画像処理技術が開示されている。
特開平５−１８７４８号公報 金澤 靖、金谷健一、「コンピュータビジョンのための画像の特徴点の抽出」、電子情報通信学会誌、社団法人電子情報通信学会、平成１６年１２月、第８７巻、第１２号、ｐ．１０４３−１０４８

上掲した特許文献１に開示されている装置では、複数の画像の特徴点の対応が考慮されていないため、対応がとれない（計測不可能な）特徴点を選択してしまうことで不正確な計測を行ってしまう問題や、特徴点の対応がとれていることを確認するための手間を要する場合があるという問題が考えられる。

また、画像処理による特徴点の抽出では、画像によっては計測には十分すぎるほど多数の特徴点を抽出してしまう場合があり、特徴点の選択操作が却って煩雑になるという問題が考えられる。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、特徴点の選択による計測箇所の指定操作を効率的に行えるようにすることである。

本発明の態様のひとつである画像計測装置は、異なる視点から計測対象物を撮像して視点毎の画像を取得する撮像手段と、当該画像における当該計測対象物の像から特徴点を抽出する特徴点抽出手段と、当該特徴点を抽出した画像とは異なる当該画像における当該計測対象物の像から当該特徴点に対応する点の探索を行う探索手段と、当該画像上における当該特徴点のうち当該特徴点に対応する点が当該探索によって得られたものに対して所定の印を表示させる印表示手段と、当該印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得する特徴点選択結果取得手段と、当該選択結果に係る特徴点を計測対象として、当該視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う計測手段と、を有することを特徴とするものであり、この特徴によって前述した課題を解決する。

なお、上述した本発明に係る画像計測装置において、当該探索は、当該視点毎の画像の相互間でのマッチング処理によって行われ、当該印表示手段は、当該マッチング処理の処理結果である評価値に応じ、表示させる当該印の色彩、形状、大きさのうちの少なくともいずれかを変化させる、ように構成してもよい。

また、前述した本発明に係る画像計測装置において、当該特徴点を抽出する条件についての指示を取得する抽出条件指示取得手段を更に有し、当該特徴点抽出手段は、当該条件に合致する当該特徴点を抽出する、ように構成してもよい。

なお、このとき、当該特徴点を抽出する条件についての指示は、特徴点の形態、特徴点が有している特徴の程度を表わす特徴値、及び、当該画像を構成している画素の特性を表わす画素情報、のうちの少なくともいずれかであってもよい。

ここで、当該特徴点の形態の指示が、独立点、交点、極点、変曲点、若しくは端点であってもよい。
また、このとき、当該画素情報の指示が、当該画素の輝度若しくは色差を表わす情報であってもよい。

また、前述した本発明に係る画像計測装置において、当該特徴点選択結果取得手段は、当該画像上において当該印が表示されている特徴点のうちのいずれかを指し示す指針であって移動可能な当該指針を表示させ、当該指針を移動させたときに当該指針が指し示した特徴点を当該選択結果として取得するように構成してもよい。

また、本発明の別の態様のひとつである画像計測方法は、異なる視点から計測対象物を撮像して視点毎の画像を取得し、当該画像における当該計測対象物の像から特徴点を抽出し、当該特徴点を抽出した画像とは異なる当該画像における当該計測対象物の像から当該特徴点に対応する点の探索を行い、当該画像上における当該特徴点のうち当該特徴点に対応する点が当該探索によって得られたものに対して所定の印を表示させ、当該印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得し、当該選択結果に係る特徴点を計測対象として、当該視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う、ことを特徴とするものであり、この特徴によって前述した課題を解決する。

本発明によれば、以上のようにすることにより、特徴点の選択による計測箇所の指定操作が効率的に行えるようになるので、正確で容易に計測可能なステレオ画像計測装置が提供できるようになるという効果を奏する。

以下、本発明の実施の形態を図面に基づいて説明する。なお、ここでは、ステレオ計測が可能な計測用内視鏡装置で本発明を実施する形態について説明する。
本発明を実施する計測用内視鏡装置の全体構成を図１に示す。同図において、計測用内視鏡装置１０は、ステレオ計測の可能な光学アダプタを着脱自在に構成されている内視鏡挿入部１１と、内視鏡挿入部１１を収納するコントロールユニット１２と、計測用内視鏡装置１０のシステム全体の各種動作制御に必要な操作指示を行うためのリモートコントローラ１３と、内視鏡画像や操作制御内容（例えば処理メニュー）等の表示を行う液晶モニタ（以下、ＬＣＤと記載）１４と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ（以下、ＦＭＤと記載）１７と、ＦＭＤ１７へ画像データを供給するＦＭＤアダプタ１８とを備えて構成されている。

次に計測用内視鏡装置１０のシステム構成について、図２を参照しながら説明する。
図２に示すように、コントロールユニット１２は映像信号処理回路２２と画像処理装置２３とを備えて構成されている。内視鏡挿入部１１は、先端に一対のレンズ系２０Ｌ、２０Ｒと、撮像手段である固体撮像素子２１と、照明装置（不図示）と、内視鏡挿入部１１の先端を自在に湾曲させるための湾曲装置（不図示）とを備えて構成されている。一対のレンズ系２０Ｌ、２０Ｒは横方向に所定の距離だけ隔てて設けられており、同一の被写体（計測対象物３０）を撮像する。

固体撮像素子２１からの撮像信号は、映像信号処理回路２２で画像データに変換された後に画像処理装置２３へ供給される。画像処理装置２３は、リモートコントローラ１３に対する操作に応じ、供給された画像データに対する画像処理や、計測、記録などを行う。映像信号処理回路２２は、更に、供給された画像データと、画像処理装置２３で生成されるグラフィックデータとを合成し、合成後の画像データをＮＴＳＣ信号等の映像信号に変換してＬＣＤ１４へ供給する。ＬＣＤ１４は、供給された映像信号で表わされている、内視鏡画像とグラフィック画像との合成画像を表示する。

次に、図３を用いて、ステレオ計測による計測点の三次元座標の求め方を説明する。
まず、左側および右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ（Ｘ_L ，Ｙ_L ）、（Ｘ_R ，Ｙ_R ）とし、計測対象点の三次元座標を（Ｘ，Ｙ，Ｚ）とする。

ここで、左側光学系と右側光学系との光学中心の距離をＤ、焦点距離をＦとし、
ｔ＝Ｄ／（Ｘ_L −Ｘ_R ）
なるｔを定義すると、三角測量の原理により、
Ｘ＝ｔ×Ｘ_R ＋Ｄ／２
Ｙ＝ｔ×Ｙ_R
Ｚ＝ｔ×Ｆ
となる。

以上のように、元画像上の計測点の座標が決定されると、既知のパラメータであるＤ及びＦより計測点の三次元座標が求まる。このようにして幾つかの点の三次元座標を求めることにより、所定の２点間の距離、所定の２点を結ぶ線と他の１点との距離、面積、深さ、表面形状など、様々な計測が行えるようになる。これがステレオ計測である。

次に、この計測用内視鏡装置１０を用いてステレオ計測を行う手順について、図４並びに図５Ａ及び図５Ｂを用いて説明する。なお、図４は、ステレオ計測の手順をフローチャートで示したものである。また、図５Ａ及び図５Ｂは、計測用内視鏡装置１０でのステレオ計測時におけるＬＣＤ１４での表示画面例を示しており、図５Ａの画面例は、航空機のエンジン部品であるタービンプレードに欠けが認められた状態において当該欠けの最も外側の幅を計測する場合の計測画面を、また、図５Ｂは、この計測における計測箇所の特徴を指定するために使用されるアイコンの形状を、それぞれ示している。

図４において、まず、ステップＳｌ０ｌでは、ユーザが内視鏡挿入部１１とリモートコントローラ１３とを操作して計測対象物を撮像し、画像の取得を行う。なお、図５に示した画面例において、取得された画像である左画像２１０と右画像２１１とには、左側光学系と右側光学系とで各々撮像された計測対象物３００、３０１が表わされている。

ここで、撮像した計測対象物３００、３０１の計測を行う場合には、ユーザはリモートコントローラ１３に対して所定の操作を行う。図４のステップＳ１０２の判定手順においてこの操作が検出されると判定結果がＹｅｓとなり、ステップＳ１０３へと手順を進める。なお、ステップＳｌ０２において、上述した操作が検出されない場合には判定結果がＮｏとなり、ステップＳ１０１へと手順を戻して上述した手順が繰り返される。

上述した計測実施の指示を行った後、ユーザはリモートコントローラ１３を更に操作して計測画面内の計測モードアイコン２００を選択し、計測用内視鏡装置１０での計測種別を示す計測モード（例えば２点間距離計測や面積計測など）を指定する。ステップＳｌ０３では、この選択内容を取得し、選択された計測モードで計測用内視鏡装置１０を動作させるために必要な所定の設定を行う。

次に、ユーザはリモートコントローラ１３を更に操作して計測画面内のセレクトモードアイコン２２０を選択し、特徴点の選択開始の指示を行う。ステップＳｌ０４の判定手順においてこの指示が検出されると判定結果がＹｅｓとなり、ステップＳ１０５へと手順を進める。

なお、ステップＳｌ０４において、セレクトモードアイコン２２０の選択が検出されなかった場合には判定結果がＮｏとなってステップＳ１２０へと手順を進め、リモートコントローラ１３に対するユーザの操作内容を取得して手作業による計測箇所の指定を取得し、続くステップＳ１２１において、計測手段として機能する画像処理装置２３が、指定された計測箇所について、前述したようにして三次元座標を算出する演算を行い、その演算結果に基づき、ステップＳｌ０３で取得していた計測モードでの三次元計測のための演算を実行する。

前述したようにしてセレクトモードアイコン２２０の選択がなされたときには、ステップＳｌ０５において、特徴点抽出手段としても機能する画像処理装置２３が、まず、左画像２１０上に表れている、計測対象物３００の像におけるエッジ（縁）等の特徴点を抽出する処理を実行する。図５Ａの左画像２１０内における点３１０〜３１８は、この抽出処理によって抽出された特徴点を示している。なお、この特徴点の抽出は、例えば、前掲した非特許文献１に開示されている手法等の、公知の手法を用いて行う。

次に、ステップＳｌ０６では、探索手段として機能する画像処理装置２３は、抽出された特徴点に対応する点を右画像２１１内より探索する周知のマッチング処理（例えば、前掲した非特許文献１に開示されているテンプレートマッチング）を実行する。そして、続くステップＳ１０７において、印表示手段としても機能する画像処理装置２３が、ＬＣＤ１４に表示中の計測画面における、右画像２１１内で見つかった対応点と、左画像２１０内の特徴点のうち当該対応点を見つけることのできたものとに実線の白丸印（○印）を表示させる処理を実行する。図５Ａの左画像２１０内における特徴点３１０〜３１４及び右画像における対応点３２０〜３２４に示されている○印はこの処理によって表示されたものである。

なお、このステップＳ１０７で実行される処理において、ステップＳ１０６のマッチング処理の処理結果の評価値に応じ、○印の色彩、形状、大きさなどを変えることも可能である。例えば、この評価値が高いほど濃い色で○印を表示してもよい。また、このステップＳ１０７で実行される処理において、左画像２１０内の特徴点のうち当該対応点を見つけることができなかったものについては、図５Ａの左画像２１０内における特徴点３１５〜３１８のように、破線の白丸印を表示するようにしてもよく、また、何ら印を表示しないようにしてもよい。

このように、マッチング処理の処理結果の評価値に応じて○印の表示を変えることにより、ユーザは、計測が可能な特徴点を確認した上で、計測箇所の指定を行うことができる。

ステップＳ１０７での表示処理の後、ユーザは所望の計測箇所に○印が存在するか否かの確認を行う、ここで、当該所望の計測箇所に○印が存在しない場合や、○印の表示が過多のために所望の計測箇所の選択が困難な場合には、リモートコントローラ１３を操作して特徴点抽出の条件の変更要求を行う。ステップＳｌ０８の判定手順において当該要求が検出されると判定結果がＹｅｓとなり、ステップＳ１０９へと手順を進める。なお、ここで、当該要求が検出されなかった場合（すなわち、○印が所望の計測箇所に適切に存在している場合）には判定結果がＮｏとなり、ステップＳ１１０に手順を進める。

撮像された画像から特徴点を抽出する条件の設定を変更する指示を与え、ステップＳ１０９において、抽出条件指示取得手段として機能する画像処理装置２３がこの指示を取得する。

ここで、特徴点抽出の条件の設定について説明する。
本実施形態においては、特徴点抽出条件の指定法として、以下の項目から選択できるようにする。
［１］特徴点が有している特徴についての程度を表わす特徴値、例えば閾値などのパラメータ値を指定できるようにする。例えば、図５Ｂの（１）に示すように、パラメータ設定アイコン２３０と、下限値設定アイコン２３１及び上限値設定アイコン２３２とを選択してパラメータを設定することにより、設定されたパラメータの範囲内（例えばエッジ抽出における先鋭度など）で特徴点を抽出する。これによって、抽出される特徴点の数を調節することができる。
［２］抽出する特徴点の形態を指定する。例えば、図５Ｂの（２）に示すように、独立点形態アイコン２４０、交点形態アイコン２４１、極点形態アイコン２４２、変曲点形態アイコン２４３、端点形態アイコン２４４のうちのいずれかを選択すると、選択された形態を有する特徴点のみを抽出するようにする。これによって、抽出される特徴点の数を調節することができる。
［３］特徴点抽出の対象とする画像を構成している画素の特性を表わす画素情報の種類を選択する。例えば、図５Ｂの（３）に示すように、輝度アイコン２５０と色差アイコン２５１とのどちらかを選択すると、選択された画素情報の種類（輝度または色差）を対象として特徴点の抽出を行う。これによって、抽出される特徴点の数を調節することができる。

なお、図５Ａにおいて、特徴点抽出の条件の変更要求、及び上述した特徴点抽出条件の設定法の項目切り替え指示はオプションアイコン２２１の選択によって行われ、図５Ｂに例示した各アイコンは、オプションアイコン２２１に対するクリック操作に応じてオプション表示エリア２２２で切り替えて表示される。

図４の説明へ戻ると、ステップＳ１０９において以上のようにして特徴点抽出条件の設定変更指示を取得したときには、ステップＳ１０５へと手順を戻して画像処理装置２３による特徴点の抽出処理以降の手順が繰り返され、当該変更指示によって変更された特徴点抽出条件に合致する特徴点の抽出が行われる。

一方、ステップＳｌ０８の判定手順において特徴点抽出条件の変更要求を行わなかったユーザは、リモートコントローラ１３を操作し、○印で表示されている特徴点のうちの幾つかを選択する。ステップＳ１１０において、画像処理装置２３は、この特徴点の選択結果を取得する。

ユーザによる特徴点の選択は、以下に示す操作によって行われる。
ユーザがリモートコントローラ１３で所定のポインタ移動操作を行うと、○印が表示されている特徴点を指し示すポインタ（指針）２０５及び２０６は○印間を移動する。ここで、ポインタ２０５は左画像２１０上に、またポインタ２０６は右画像２１１上に、それぞれ表示される。このように、画像処理装置２３がＬＣＤ１４における左画像２１０上及び右画像２１１上の各々にポインタを表示させることにより、ユーザは、所望の計測箇所でのマッチングが適切に行われたか否かの確認を容易に行うことができる。

なお、画像処理装置２３は、ステップＳ１１０における特徴点選択操作の際に、計測画面の左画像２１０におけるポインタ２０５周辺、若しくは計測画面の右画像２１１におけるポインタ２０６周辺の拡大画像を、ＬＣＤ１４に表示中の計測画面内のズームウィンドウ２０４に表示させる。この拡大画像により、ユーザは所望の計測箇所の指定を正しく行っているかどうかを確認することができる。なお、この拡大画像の倍率をリモートコントローラ１３の所定の倍率変更操作で調節可能とする。

計測箇所が正しく指定されていることの確認後、ユーザがリモートコントローラ１３に対して所定の選択操作を行って特徴点の選択を確定することによって計測箇所が指定され、特徴点選択結果取得手段として機能する画像処理装置２３はこの特徴点の選択結果を取得する。なお、この計測箇所の指定は、計測モ−ドに応じて決定される所定の回数だけ繰り返される。例えば、２点間計測のためには計測箇所の指定は２回行われる。

最後に、ステップＳ１１１において、計測手段として機能する画像処理装置２３が、指定された計測箇所について、前述したようにして三次元座標を算出する演算を行い、その演算結果に基づき、ステップＳｌ０３で取得していた計測モードでの三次元計測のための演算を実行する。

以上のようにして計測用内視鏡装置１０でのステレオ計測が完了する。
このように、本実施形態に係る計測用内視鏡装置１０では、特徴点抽出手段によって抽出される特徴点より計測箇所を指定して計測するので、計測箇所の指定に個人差が生じることがない。更に、ユーザが抽出された特徴点より計測箇所を選択するだけで計測箇所の指定がなされるので、計測箇所の指定操作が短時間で行えるようになる。

更に、本実施形態に係る計測用内視鏡装置１０では、ステレオ計測時における左右の画像で対応していることが判明している特徴点のみが計測箇所としてユーザによる選択を可能としている。従って、計測不可能な点を計測箇所として誤指定してしまうことがなくなるので、計測箇所の指定操作の効率が向上する。

なお、上述した実施形態においては計測用内視鏡装置で本発明を実施する例を説明したが、本発明は一般の画像計測装置にも適用することができる。その他、本発明は、上述した実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。

本発明を実施する計測用内視鏡装置の全体構成を示す図である。 図１に示した計測用内視鏡装置のシステム構成を示す図である。 ステレオ計測による計測点の三次元座標の求め方の説明図である。 図１に示した計測用内視鏡装置によるステレオ計測の手順をフローチャートで示した図である。 計測画面の画面例を示す図である。 計測箇所の特徴を指定するために使用されるアイコンの形状の例を示す図である。

符号の説明

１０ 計測用内視鏡装置
１１ 内視鏡挿入部
１２ コントロールユニット
１３ リモートコントローラ
１４ 液晶モニタ（ＬＣＤ）
１７ フェイスマウントディスプレイ（ＦＭＤ）
１８ ＦＭＤアダプタ
２０Ｌ、２０Ｒ レンズ系
２１ 固体撮像素子
２２ 映像信号処理回路
２３ 画像処理装置
３０、３００、３０１ 計測対象物
２００ 計測モードアイコン
２０４ ズームウィンドウ
２０５、２０６ ポインタ
２１０ 左画像
２１１ 右画像
２２０ セレクトモードアイコン
２２１ オプションアイコン
２２２ オプション表示エリア
２３０ パラメータ設定アイコン
２３１ 下限値設定アイコン
２３２ 上限値設定アイコン
２４０ 独立点形態アイコン
２４１ 交点形態アイコン
２４２ 極点形態アイコン
２４３ 変曲点形態アイコン
２４４ 端点形態アイコン
２５０ 輝度アイコン
２５１ 色差アイコン
３１０、３１１、３１２、３１３、３１４、３１５、３１６、３１７、３１８ 特徴点
３２０、３２１、３２２、３２３、３２４ 対応点

Claims (8)

1. 異なる視点から計測対象物を撮像して視点毎の画像を取得する撮像手段と、
   前記画像における前記計測対象物の像から特徴点を抽出する特徴点抽出手段と、
   前記特徴点を抽出した画像とは異なる前記画像における前記計測対象物の像から当該特徴点に対応する点の探索を行う探索手段と、
   前記画像上における前記特徴点のうち当該特徴点に対応する点が前記探索によって得られたものに対して所定の印を表示させる印表示手段と、
   前記印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得する特徴点選択結果取得手段と、
   前記選択結果に係る特徴点を計測対象として、前記視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う計測手段と、
   を有することを特徴とする画像計測装置。
2. 前記探索は、前記視点毎の画像の相互間でのマッチング処理によって行われ、
   前記印表示手段は、前記マッチング処理の処理結果である評価値に応じ、表示させる前記印の色彩、形状、大きさのうちの少なくともいずれかを変化させる、
   ことを特徴とする請求項１に記載の画像計測装置。
3. 前記特徴点を抽出する条件についての指示を取得する抽出条件指示取得手段を更に有し、
   前記特徴点抽出手段は、前記条件に合致する前記特徴点を抽出する、
   ことを特徴とする請求項１に記載の画像計測装置。
4. 前記特徴点を抽出する条件についての指示は、特徴点の形態、特徴点が有している特徴の程度を表わす特徴値、及び、前記画像を構成している画素の特性を表わす画素情報、のうちの少なくともいずれかであることを特徴とする請求項３に記載の画像計測装置。
5. 前記特徴点の形態の指示が、独立点、交点、極点、変曲点、若しくは端点であることを特徴とする請求項４に記載の画像計測装置。
6. 前記画素情報の指示が、前記画素の輝度若しくは色差を表わす情報であることを特徴とする請求項４に記載の画像計測装置。
7. 前記特徴点選択結果取得手段は、前記画像上において前記印が表示されている特徴点のうちのいずれかを指し示す指針であって移動可能な当該指針を表示させ、当該指針を移動させたときに当該指針が指し示した特徴点を前記選択結果として取得することを特徴とする請求項１に記載の画像計測装置。
8. 異なる視点から計測対象物を撮像して視点毎の画像を取得し、
   前記画像における前記計測対象物の像から特徴点を抽出し、
   前記特徴点を抽出した画像とは異なる前記画像における前記計測対象物の像から当該特徴点に対応する点の探索を行い、
   前記画像上における前記特徴点のうち当該特徴点に対応する点が前記探索によって得られたものに対して所定の印を表示させ、
   前記印が表示されている特徴点のうち１以上の特徴点が選択されたときの選択結果を取得し、
   前記選択結果に係る特徴点を計測対象として、前記視点毎の画像の撮像時における視差に基づいた三角測量による三次元計測を行う、
   ことを特徴とする画像計測方法。