JP2004062757A

JP2004062757A - 情報処理方法および撮像部位置姿勢推定装置

Info

Publication number: JP2004062757A
Application number: JP2002223281A
Authority: JP
Inventors: Kazuki Takemoto; 武本　和樹; Shinji Uchiyama; 内山　晋二
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-07-31
Filing date: 2002-07-31
Publication date: 2004-02-26
Anticipated expiration: 2022-07-31
Also published as: JP4194316B2

Abstract

【課題】撮像されたランドマークを撮像画像の輝度、色変化に応じて自動的に検出パラメータを調整することで、状況変化時における撮像手段位置姿勢の推定精度を向上させる。
【解決手段】３次元空間内に位置する撮像手段の位置姿勢を推定する情報処理方法であって、位置姿勢測定部によって得られた前記撮像手段の位置姿勢情報を取得する取得ステップと、３次元位置が既知である特徴点の存在する現実空間を前記撮像手段によって撮像することにより得られた映像から、検出条件を用いてに前記特徴点を検出する特徴点検出ステップと、前記特徴点の位置に基づいて、前記位置姿勢情報を補正する補正ステップと、前記映像から前記検出条件を自動的に最適化する最適化ステップを有する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像画像における特徴部の検出条件を、撮影画像から自動的に調整するものに関する。
【０００２】
【従来の技術】
現実空間を撮像する撮像部の外部パラメータ（位置姿勢）を計測、決定する方法において、現実空間に３次元位置姿勢が既知である特徴点（ランドマーク）を配置しておき、撮像部によって撮像されたいくつかのランドマークの撮像面上における画像情報を基準として、撮像部の位置姿勢を求める方法がある。例えば、現実空間を撮像する撮像部（ビデオカメラ等）の外部パラメータ（位置姿勢）を計測、決定する方法において、
（１）画像情報のみによる推定方法
（例えば、加藤，Ｍａｒｋ，浅野，橘：「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」，日本バーチャルリアリティ学会論文集　Ｖｏｌ．４　Ｎｏ．４，　ｐｐ．６０７−６１６，１９９９に記載。）、
（２）６自由度位置姿勢センサと画像とのハイブリッドな推定方法
（例えば特開平１１−１３６７０６号公報、特開２０００−３４７１２８号公報に記載）
（３）画像と加速度センサのハイブリッドな推定方法
（例えば、横小路，菅原，吉川：「画像と加速度計を用いたＨＭＤ上での映像の正確な重ね合わせ」，日本バーチャルリアリティ学会論文集　Ｖｏｌ．４　Ｎｏ．４，ｐｐ．５８９−５９８，１９９９）
（４）ジャイロセンサと画像とのハイブリッドな位置合わせなどの推定方法
（例えば、藤井，神原，岩佐，竹村，横矢：「拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ」，信学技報　ＰＲＭＵ９９−１９２，　Ｊａｎｕａｒｙ　２０００）
等が知られている。また、画像による位置合わせや、６自由度センサと画像のハイブリッドな方法では、さらに手法の異なる様々な方法がある。
【０００３】
【発明が解決しようとする課題】
しかし、従来のような撮像部の位置姿勢推定装置は、ランドマークの検出精度に大きく依存しており、状況によっては、ランドマークの検出精度が著しく低下し、現実空間の撮像部の位置姿勢と、位置姿勢推定装置により出力された撮像部の位置姿勢とのずれの大きさが問題になる場合があった。ランドマークの検出精度が落ちる要因は、例えば、照明条件の変化、撮像部のシャッタースピード、ホワイトバランス、ゲインなどの設定変化、もしくはこれらの自動調整機能などが挙げられる。従来の位置姿勢推定装置においては、ランドマークの検出処理における検出パラメータが固定されていることから、前述した画像の変化に対応できないことがランドマークの検出精度を低下させている主な原因である。
【０００４】
この検出精度の低下に対して、従来の位置姿勢推定装置においては、なるべく撮像する空間の照明条件が変わらないように工夫し、さらに時間や場所ごとに最適な検出パラメータを手動で設定して対処する必要があった。
【０００５】
本発明は、このような課題に鑑みて発明されたものであり、撮像画像における特徴部の検出条件を自動的に調整することにより、常に高精度に特徴部を検出可能にすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下の構成を有することを特徴とする。
【０００７】
本願請求項１の発明は、３次元空間内に位置する撮像手段の位置姿勢を推定する情報処理方法であって、位置姿勢測定部によって得られた前記撮像手段の位置姿勢情報を取得する取得ステップと、３次元位置が既知である特徴点の存在する現実空間を前記撮像手段によって撮像することにより得られた映像から、検出条件を用いてに前記特徴点を検出する特徴点検出ステップと、前記特徴点の位置に基づいて、前記位置姿勢情報を補正する補正ステップと、前記映像から前記検出条件を自動的に最適化する最適化ステップを有することを特徴とする。
【０００８】
本願請求項１１の発明は、撮影手段によって撮影された映像内の特徴部を検出し、前記検出結果を用いて前記撮影手段の位置姿勢情報を求める際に用いる、該特徴部の検出条件を調整する情報処理方法であって、３次元位置および形状が既知である特徴部が存在する現実空間を前記撮像手段によって撮像することにより得られた映像から、検出条件を用いて該特徴点の領域を検出し、前記特徴点の３次元位置および形状から、前記映像における特徴領域を算出し、前記検出された特徴領域と前記算出された特徴領域を比較し、前記検出条件を調整することを特徴とする。
【０００９】
【発明の実施の形態】
＜第１の実施形態＞
以下、添付図面を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。
本実施形態では、従来例の（２）６自由度位置姿勢センサと画像とのハイブリッドな推定方法に本発明を適用した例を示す。
【００１０】
＜６自由度位置姿勢センサの誤差＞
ここで、６自由度位置姿勢センサとは、Ｐｏｌｈｅｍｕｓ社の３ＳＰＣＡＣＥＦＡＳＴＲＡＫやＡｓｓｅｎｓｉｏｎ　Ｔｅｃｈｎｏｌｏｇｙ社のＦｌｏｃｋｏｆ　Ｂｉｒｄｓなどの磁気センサ、または、Ｎｏｒｔｈｅｒｎ　Ｄｉｇｉｔａｌ社のＯＰＴＯＴＲＡＫなどの光学式センサなど、計測対象の位置と姿勢を計測する機器を指す。この６自由度位置姿勢センサ１４０は、撮像部１１０に固定されていることから、６自由度センサ１４０の計測値により撮像部の位置姿勢が取得できる。しかしながら、センサには誤差があり、状況によっては、撮像部１１０の位置姿勢を精度良く求めることができない。例えば、磁気センサを用いた６自由度位置姿勢センサの測定値は周囲の磁場に影響されるので、計測部近辺に金属物質があると誤差が大きくなり、結果として撮像部１１０の位置姿勢と、６自由度センサによる出力のずれ量（誤差）が増える。
【００１１】
＜特開平１１−１３６７０６号公報における解決法＞
このような状況に鑑みて特開平１１−１３６７０６号公報では、画像情報を用いて、６自由度センサ誤差を補正する方法を述べている。図７は上述の従来の方法を説明する模式図である。この方法では、現実空間にマーカと呼ばれる、画像処理によって検出しやすい特定の色や形状を有する物体、例えばシールを、現実空間中の物体に貼り付けてランドマーク（絶対位置基準）として利用する。また、ランドマーク１００としては特別に配置したもの以外にも、現実空間中の特徴的な物体や点を利用することも可能である。点Ａは撮像部１１０の位置姿勢に基づいて予測されるランドマーク１００の位置、点Ｂはこのランドマーク１００の実際の位置、点Ｃは撮像部１１０の視点位置を示す。なお、点Ａ、点Ｂが示す位置はカメラ座標系における位置であって、点Ｃはカメラ座標系の原点とする。また、点Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上における点Ｂの位置を示す。
【００１２】
このとき、撮像面においてカメラの位置姿勢により予測されるランドマークの位置Ａと実際の位置Ｂとでは、前述のようにずれ（誤差）がある。このずれを、撮像部によって撮像されたランドマーク１００の撮像面上での位置Ｑを現実空間の基準とし、撮像面上でのランドマーク予測位置Ｐに重ね合わせるような変換行列ΔＭ_Ｃを求める。この変換行列ΔＭ_Ｃを６自由度センサ１４０から得られる撮像部のビューイング変換行列Ｍ_Ｃに積算することにより、誤差補正を行った撮像部のビューイング行列Ｍ_Ｃ´が得られる。ここで、Ｍ_Ｃ´の逆行列が撮像部の位置姿勢成分を含む。ここでＭ_Ｃ´を
【外１】

とすると、位置ｔは（Ｍ_１４，Ｍ_２４，Ｍ_３４）のベクトルで得られ、回転Ｒは
【外２】

の行列によって得られる。つまり、撮像部１１０の位置姿勢を求めるためには、撮像部のビューイング変換行列Ｍ_Ｃ´が求められればよい。
【００１３】
このように、６自由度センサ１４０の出力を基本とし、さらに現実空間の絶対位置基準により位置合わせされた位置姿勢は、６自由度センサ１４０のみで計測する位置姿勢よりも、実際の撮像部１１０の位置姿勢に対するずれ量は安定して減少する。
【００１４】
しかし、ランドマーク１００の位置が後述する位置姿勢補正部において絶対位置基準として利用されるため、この基準が正確でないと、撮像部の位置姿勢は正確に推定できない。このことから、いかにして撮像画像に映ったランドマーク１００を最適な検出パラメータによって検出するかが解決するべき課題である。
【００１５】
＜特開平１１−１３６７０６号公報の手法に本発明を適応した例＞
前述の特開平１１−１３６７０６号公報の手法に本発明を適応することにより、撮像部で得られる撮像画像の明度、色変化に伴い、検出パラメータを自動的に最適化することで、ランドマークの検出性能を向上させることが可能となる。ここで、最適化とは、「最適な状態に変化させること」と定義する。よって、１回の最適化処理を行った検出パラメータは、必ずしも撮像画像において、ランドマークを検出するのに最適な状態になるのではない。複数回の最適化処理によって、最適な状態に成り得る。
【００１６】
図１は、特開平１１−１３６７０６号で述べられているような、６自由度センサと画像のハイブリッドな位置合わせ手法に、本発明を適用する場合における撮像部位置姿勢推定装置の構成図を表す。図１に従って撮像部位置姿勢の推定処理手順を示す。
【００１７】
図５は装置全体の処理の流れを示すフローチャートを表している。まず、ステップＳ５００撮像部により、ランドマークを配置している現実空間を撮像する。次にステップＳ５１０において、後述するランドマーク検出処理を行う。次にステップＳ５２０に移り、６自由度センサによる計測を行う。さらに、ステップＳ５３０で、計測値と撮像画像から検出されたランドマーク位置を用いて撮像部の位置姿勢を推定する。次に、ステップＳ５４０において、検出パラメータの最適化を行う。検出パラメータの最適化が終了した時点で、ステップＳ５５０に移り、終了命令があれば終了し、なければステップＳ５００に戻り、更新された撮像画像を基に再度処理を行う。
【００１８】
以下にステップＳ５１０からステップＳ５４０までの各処理の詳細を述べる。
【００１９】
＜１．ランドマーク検出処理＞
まず、現実空間の既知の位置に配置されているランドマーク１００を撮像部１１０で撮像し、撮像画像の取得部１２０に格納する。その撮像画像からランドマーク１００の検出を行い、観測座標での２次元位置Ｑ（ｘ_ｑ，ｙ_ｑ）を得る。
【００２０】
ここで、撮像部１１０から得られた画像におけるランドマーク１００の検出方法については特に限らないが、例えば以下のような例が挙げられる。現実空間に図２中で示すような赤色ランドマーク１００を配置している場合は、撮像画像中の注目画素値（Ｒ，Ｇ，Ｂ）の特徴量Ｉ_ｓを
Ｉ_ｓ＝Ｒ／（（Ｇ＋Ｂ）／２）　　（式３）
の計算式を用いて算出する。また、緑色のランドマーク１００の場合は、
Ｉ_ｓ＝Ｇ／（（Ｒ＋Ｂ）／２）　　（式４）
であり、青色のランドマークの場合は、
Ｉ_ｓ＝Ｂ／（（Ｒ＋Ｇ）／２）　　（式５）
の計算式で算出する。本発明では、ランドマークの色を前述の３色に限るものではなく、任意の色を検出する場合においても適応可能である。例えば、任意の色の検出において、画素値Ｒ，Ｇ，ＢをＹＣｂＣｒフォーマットの画素に変換し、Ｃｂ、Ｃｒの色領域に対応するランドマーク検出を行い、Ｃｂ、Ｃｒの指定領域に関するパラメータに対して最適化を行う処理にも適応可能である。この場合、領域を指定するパラメータは、ＣｂＣｒ空間中における、楕円の領域を指し、中心位置を表すθ、ｒと、各軸を表すＲａ、Ｒｂから構成される。
【００２１】
このランドマーク検出処理においては、検出パラメータ調整部１９５により調整された検出パラメータである閾値Ｔ_ｃを入力し、特徴量Ｉ_ｓがＴ_ｃを超えた場合は、注目画素がマーカ領域内であると判定する。これを、撮像画像の全ての画素に対して適応し、検出された特徴領域は、個々にラベル付けされる。さらに、ラベル付けされた領域のうち、ラベルを構成する画素が、ランドマーク画素数閾値Ｎを越えたものをランドマーク領域の候補とする。ランドマーク画素数閾値Ｎは、検出時のノイズがラベル付けされていた場合、ほとんどのノイズの画素数が微小であるを利用して、ある閾値以下のものをランドマークとして認識しないようにしておく。この処理により、検出ノイズを減少させ、位置姿勢補正部１６０の処理において検出ノイズをランドマークと誤認識することをある程度防ぐことが可能である。このランドマーク領域の重心位置をランドマーク１００の２次元位置とし、観測座標のランドマーク位置Ｑ（ｘ_ｑ，ｙ_ｑ）とする。ここで、ランドマーク１００が撮像画像に複数含まれる場合は、個々のランドマークに対して上述の処理を１回ずつ行う。このときの特徴量Ｉ_ｓとランドマーク画素数閾値Ｎも個々のランドマーク毎に記憶しておく。例えばランドマークが３つ撮像されている場合は、Ｔ_ｃ＝（Ｔ_ｃ１，Ｔ_ｃ２，Ｔ_ｃ３）Ｎ＝（Ｎ_１，Ｎ_２，Ｎ_３）のようにランドマーク毎の値を格納する。ここで撮像画像からランドマークを検出した検出画像Ｕ_ｄ（例えば、本実施形態においては、対応画素の特徴量Ｉ_ｓを画素値として格納した画像）と、検出パラメータ（本実施形態においては閾値Ｔ_ｃ、ランドマーク画素数閾値Ｎから構成される）を状態記憶部１９０に保存する。
【００２２】
＜２．６自由度センサによる計測処理＞
一方で、６自由度センサ１４０により、撮像部１１０の位置姿勢を検出する。本実施形態では、６自由度センサとしてＰｏｌｈｅｍｕｓ社の３ＳＰＣＡＣＥ　ＦＡＳＴＲＡＫ（以下、ＦＡＳＴＲＡＫ）を用いている。ＦＡＳＴＲＡＫセンサのレシーバ１４０Ａが撮像部１１０の位置姿勢の動きに追従するように固定する。例えば、図２は本実施形態の処理を実行中時の状態を表す図であるが、図２中の撮像部１１０とＦＡＳＴＲＡＫレシーバ１４０Ａのように、金属以外の棒状のもので２つを固定し、ＦＡＳＴＲＡＫレシーバ１４０付近のの交流磁界になるべく影響を与えない方法で固定する。ＦＡＳＴＲＡＫセンサのトランスミッタ１４０Ｂから発生される交流磁界をレシーバ１４０Ａが受ける。位置姿勢計測部１５０によりレシーバ１４０Ａが受けた交流磁界の変化から、撮像部１１０の位置姿勢を計測する。
【００２３】
＜３．撮像部位置姿勢の推定処理＞
このようにして得られた撮像部１１０の位置姿勢計測値と、ランドマーク１００の撮像部１１０で撮像した画像上の２次元位置とを位置姿勢補正部１６０に入力する。図３は位置姿勢補正部１６０の処理を示す図である。まず、位置姿勢計測部１５０より入力された計測値から撮像部のビューイング変換行列Ｍ_Ｃを生成する（ステップＳ３００）。さらに、ビューイング変換座標Ｍ_Ｃとランドマーク配置・形状記憶部１７０に保存されている世界座標系上での各ランドマークの３次元位置と、既知である撮像部１１０の理想的透視変換行列から、各ランドマークの観測座標予測値Ｐ_ｉ（ｘ_ｐｉ，ｙ_ｐｉ）を算出する（ステップＳ３１０）。次に、ステップＳ３２０において、渡されたランドマーク観測予測座標値Ｐに基づいて、現在観測しているランドマーク、すなわち補正の基準となるランドマークを判別する。本実施形態における判別方法は、注目観測予測座標値Ｐ_ｊ（ｘ_ｐｊ，ｙ_ｐｊ）から、観測しているランドマークの観測座標値Ｑ_ｉ（ｘ_ｑｉ，ｙ_ｑｉ）との距離が近いものを対応付けする方法を採用している。すなわち、各ランドマークの観測予測座標Ｐと観測座標Ｑの組み合わせのうち、（ｘ_ｑｉ−ｘ_ｐｊ）^２＋（ｙ_ｑｉ−ｙ_ｐｊ）^２が最小になるランドマーク同士を対応付けする。ただし、本発明においては、この判別方法を限定するものではなく、６自由度センサから得られる観測予測座標のランドマークを撮像画像中のランドマークと正しく対応付けが可能な方法であれば適応可能である。ランドマークの対応付け処理において１点でも対応付けが成功していれば、ステップＳ３３０では、ステップＳ３１０で演算されたランドマークの観測予測座標値Ｐ（ｘ_ｐ，ｙ_ｐ）とランドマーク検出部１３０が検出したランドマークの観測座標値Ｑ（ｘ_ｑ，ｙ_ｑ）との差異に基づいて、位置姿勢計測部１５０によって得られた撮像部１１０の位置姿勢を表すビューイング変換行列Ｍ_Ｃを補正するためのΔＭ_Ｃを求める。さらに、ステップＳ３４０において、ステップＳ３３０で求めたΔＭ_ＣとステップＳ３００で求めた計測値からのカメラのビューイング変換行列Ｍ_Ｃを積算することにより補正後の撮像部視点のビューイング変換行列Ｍ_Ｃ´を得ることができる。
【００２４】
Ｍ_Ｃ´＝ΔＭ_Ｃ・Ｍ_Ｃ　　（式６）
ステップＳ３２０において、もし、ランドマークの対応付けができない場合は、例えば、ΔＭ_Ｃを単位行列に設定することにより、ＦＡＳＴＲＡＫセンサ出力から得たＭ_Ｃを最終的に出力する視点のビューイング変換行列Ｍ_Ｃ´としてもよい。
【００２５】
＜４．ランドマーク領域生成処理＞
位置姿勢補正部１６０を通して、ランドマーク配置・形状記憶部１７０から各ランドマークの配置情報と形状情報をランドマーク領域生成部１８０に入力する。
【００２６】
まず、形状情報とは、例えば，図２で示すような円形の赤色ランドマーク１００（図８Ａ）を用いている場合は，図８Ｂのように、あらかじめ３Ｄモデル化しておき、複数の頂点８００から構成され擬似的にランドマークの形状を表現するものである。本発明は、円形のランドマークに制限するものではなく、画像処理によって検出しやすい特定の色や形状を有する物体であれば適応可能である。また、ランドマーク１００としては特別に配置したもの以外にも、現実空間中の特徴的な物体や点を利用することも可能である。さらに、複数のランドマークが個々に違う形状をしていても適応可能である。ここで、３次元空間中のモデル座標系での頂点８００の座標値（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）とする。ここで、この頂点情報は各頂点の結合情報を持つ。本発明においては、３次元モデルが結合情報を持つことに限定するものではなく、後述するランドマーク領域生成部１８０において、適切なランドマーク領域情報を再構築できる方法であれば適応可能である。
【００２７】
さらに、配置情報とは、現実空間に配置されたランドマークの重心位置を表す頂点８１０の世界座標系における位置姿勢を表す行列Ｌを格納している。この頂点８００とランドマークの重心位置８１０における位置姿勢情報Ｌは、それぞれランドマーク配置・形状記憶部１７０に記憶されている。ランドマーク領域生成部１８０では、このランドマーク形状情報８００を、配置情報Ｌと補正された撮像部視点のビューイング変換行列Ｍ_Ｃ´によって変換することにより、各頂点８００の視点座標系上での位置（ｘ_ｍ’，ｙ_ｍ’，ｚ_ｍ’）を得る。
【００２８】
【外３】

【００２９】
さらに、既知である視点座標系から観測座標系へのプロジェクション行列Ｃによって、撮像面上での２次元位置Ｖ（ｘ_ｖ，ｙ_ｖ）を得る。
【００３０】
【外４】

【００３１】
【外５】

【００３２】
次に、各頂点８００の２次元位置Ｖから、ランドマーク形状情報が持つ頂点の結合情報を基にランドマーク形状の各辺に対して２次元直線の式を算出し、アウトライン９００を生成する。このアウトライン９００は、観測座標において各頂点を結ぶ直線式群によって構成される。ランドマーク領域９１０はこのアウトライン９００とランドマーク領域内の点Ｇから構成される。領域内の点Ｇは、例えば、円形のランドマーク１００であれば、ランドマークの重心位置８１０を領域内の点とすればよい。生成されたランドマーク領域９１０は状態記憶部１９０に記憶される。図９は、図２の撮像部位置姿勢において、ランドマーク１００のうちの一つを撮像したときの撮像画像に、アウトライン９００と各頂点８００を重ねて表示した画像を表す。この図中におけるアウトライン９００は、位置姿勢補正部１６０により推定された撮像部１１０の位置姿勢を基に位置と形状が決定されるので、位置姿勢補正部１６０において、ランドマークの対応が取れている状態であれば、撮像画像におけるランドマーク１００の位置に表示される。
【００３３】
＜５．検出パラメータの調整処理＞
図４は、検出パラメータ調整部１９５の処理の詳細手順を表す図である。検出パラメータ調整部１９５は、状態記憶部１９０から、ランドマーク領域９１０、検出画像Ｕ_ｄ、検出パラメータである閾値Ｔ_ｃと、ランドマーク画素数閾値Ｎを受ける。
【００３４】
まず、ステップＳ４１０において、ランドマーク領域９１０を完全に含む処理領域１０００を生成する。この処理領域１０００は、例えば、ランドマーク領域内の点８１０を重心とし、全てのランドマーク領域を含む矩形領域でもよい。図１０はこの処理領域を表す。この処理領域１０００は、撮像されているランドマーク毎に生成する。例えば、図１４に示すように、３つのランドマークが撮像されている場合の処理領域１０００は、個々のランドマーク周辺にそれぞれ生成される。本発明は、この処理領域１０００の生成方法を制限するものではなく、ランドマーク領域９１０と検出画像上の検出画素の形状を比較できるものであれば適応可能である。
【００３５】
次に、ステップＳ４２０において、検出画像Ｕ_ｄ内のランドマーク検出画像とランドマーク領域を比較するための理想検出画素パターン１１１０を作成する。まず、処理領域と同画素で、全ての画素が０で初期化されている画像バッファ領域１１００を作成する。次に、このバッファ領域１１００でランドマーク領域内に含まれる画素にマーキングを行う。このマーキングは例えば、領域内の全ての画素値１に設定する方法でもよい。この様子を図１１中のＡ，Ｂに表す。図１１Ａに表されるようなランドマーク領域９１０がバッファ領域１１００上にあったとすると、マーキング処理によって図１１Ｂのように、ランドマーク領域内の画素がマーキングされる。ここで、図１１Ｂの図では黒色の画素がマーキングされていることを表す。本実施形態では、画素上に領域を含む場合であっても、この領域が画素面積の半分以上を占めない限りマーキングしない。ただし、本発明は、このマーキング処理に制限するものではなく、検出画素パターンと比較して適切な検出パラメータを設定できる方法であれば適応可能である。ここで、マーキングされている領域を理想検出画素パターン１１１０と呼ぶ。
【００３６】
次に、ステップＳ４３０において、後述するランドマークの検出画素パターン１２００と理想検出画素パターン１１１０を比較する。
【００３７】
まず、検出画像Ｕ_ｄ内の処理領域に含まれるランドマークの検出画素パターン１２００を生成する。ここで、画像バッファ領域１１００と同じ画像サイズで、画素値が０で初期化されているバッファ領域１２２０を別に用意する。このバッファ領域１２２０の画素値には、対応する検出画像Ｕ_ｄの画素値である特徴量Ｉ_ｓが検出パラメータの閾値Ｔ_ｄよりも大きい場合に１が入力される。このようにして、生成したパターンを検出画素パターン１２００とする。図１２は、ある時点において同一ランドマークを注視している場合の、検出画像Ｕ_ｄに含まれるランドマークの検出画素パターン例を表す。さらに、図１２Ａ、Ｂは検出パラメータが最適でないために、ランドマークの検出画素パターン１２００が理想検出画素パターン１１１０と異なっている状態を表す。図１２Ａに関しては、ランドマークの領域上の画素特徴量Ｉ_ｓに対して、閾値Ｔ_ｃが大きすぎるため、本来はランドマーク領域内であるはずの画素が検出できていない状態を表す。逆に、図１２Ｂでは、閾値Ｔ_ｃがランドマークの領域上の画素特徴量Ｉ_ｓに対して小さすぎるため、ランドマーク領域外の画素までランドマークとして検出している状態を表している。ここで、図１２Ｂにおいて理想検出画素パターン１１１０の内側に含まれない検出画素で、かつ、検出画素パターン１２００以外の画素を検出ノイズ１２１０と呼ぶ。この検出ノイズ１２１０は、ランドマーク検出処理において、ランドマーク画素数閾値Ｎよりもラベル画素数が多く、ランドマーク領域の候補だと判断された領域である。このステップＳ４３０における比較方法は、理想検出画素パターン１１１０と検出画素パターン１２００の検出画素数を利用する。まず、理想検出画素パターン内に含まれる検出画素パターン１２００の画素数ｇを認識し、理想検出画素パターンが内包する画素数ｉとの差分ｄを計算する。
【００３８】
ｄ＝ｇ−ｉ　　（式１０）
さらに、処理領域１０００内の理想検出画素パターン１１１０に含まれない検出画素パターン１２００の画素（はみ出し画素）の合計数をｅ，検出ノイズ１２１０の画素の合計数をｎとする。
【００３９】
図１２の例であれば、図１２Ａはｄ＝１２、ｅ＝０、ｎ＝０、図１２Ｂはｄ＝０、ｅ＝１０、ｎ＝７となる。
【００４０】
次に、ステップＳ４４０において、検出パラメータの最適化を行う。この処理の詳細を図６のフローチャートを用いて説明する。まず、ステップＳ６００において、ｄとｅが０であるかを検査する。両方とも０であれば、理想検出画素パターンと検出画素パターンが一致していることになるので、検出パラメータは最適な状態であると判断し、この処理を終了してランドマーク検出処理に戻る。ランドマーク検出処理においては、現在の検出パラメータによって新たな撮像画像のランドマーク検出を行う。ｄまたはｅのどちらかが正の場合は、ステップＳ６１０に移る。
【００４１】
ステップＳ６１０においては、理想検出画素パターン１１１０と検出画素パターン１２００の画素数の差分であるｄが正の場合は、ステップＳ６２０へ移る。もし、ｄが０である場合は、ステップＳ６５０に移る。
【００４２】
ステップ６２０では、現在のランドマーク画素数閾値Ｎが現在の理想検出画素数ｉよりも小さいことを判定する。この判定は、本来ランドマーク上にある画素をランドマーク画素数閾値Ｎによって除去しないように、Ｎの値を理想検出画素数ｉよりも必ず小さくする処理である。本実施形態においては、常にＮとｉの間に３画素分の閾を設けており、Ｎが必ずｉよりも３画素分小さくなるように設定される。もし、Ｎがｉ＋３よりも小さい場合は、ステップ６３０に移る。もし、Ｎがｉ＋３よりも大きい場合は、ステップＳ６４０に移る。
【００４３】
ステップ６３０では、ｄが正であることから、理想検出画素パターン内のランドマーク領域に未検出の画素があるので、未検出であった画素が検出できるように検出閾値Ｔ_ｃを１減少させる。
【００４４】
ステップＳ６４０では、ランドマーク画素数閾値Ｎがｉ＋３よりも大きいので、Ｎにｉ−４を代入し、ランドマークを的確に検出できるように設定する。また、同時に未検出であった理想検出画素パターン上の画素が検出できるように検出閾値Ｔ_ｃを１減少させる。
【００４５】
ステップＳ６５０ではｄが０であるので、理想検出画素パターン内の検出画素パターンは全て検出さていることになるが、ｅが正であることから、理想検出画素画素１１１０外の画素がランドマーク１００内の画素として検出されている状態である。ここでは、まず検出ノイズ１２１０の画素数ｎが正であるかどうかを判定し、検出ノイズ１２１０の有無を調べる。検出ノイズ１２１０がない場合は、ステップＳ６６０に移る。もし検出ノイズがある場合は、ステップＳ６７０に移り、検出ノイズを減少させる処理を行う。
【００４６】
ステップＳ６６０では、はみ出し画素が検出されないように検出閾値Ｔ_ｃを１増加させる。
【００４７】
ステップＳ６７０においては、ステップＳ６２０と同様に、ランドマーク画素数閾値Ｎが現在の理想検出画素数ｉよりも小さいことを判定する。もし、Ｎがｉ＋３よりも小さい場合は、ステップＳ６８０に移り、はみ出し画素が検出されないように検出閾値Ｔ_ｃを１増加させる。また、Ｎがｉ＋３よりも大きい場合は、ステップＳ６７０に移り、はみ出し画素が検出されないように検出閾値Ｔ_ｃを１増加させると共に、ランドマーク画素数閾値Ｎを１増加させ、検出ノイズ画素数ｎを減少させる。これらの処理が終了した場合は、個々の検出パラメータを保存し、ランドマーク検出処理部に戻り、更新された検出パラメータによって新たな撮像画像からランドマーク検出を行う。
【００４８】
本発明は、図６で示した検出パラメータの最適化処理に制限するものではなく、ランドマークが的確に検出できるような最適化処理であれば適応可能である。
【００４９】
＜変形例１＞
本発明は、上述の実施形態にのみ適用されるものではない。上述の実施形態においては、検出パラメータの最適化処理は、１つの撮像画像に対して、撮像されているランドマークの数と同じ回数だけ行われるが、図１３が示す処理のように、検出パラメータをランドマークの数だけ最適化処理を行ったあと、さらに、同一の撮像画像を用いて同様の最適化処理を行うことで、前述した実施形態の最適化処理に比べて、より最適な状態に早く到達する。
【００５０】
この例の処理の流れを図１３を用いて説明する。
【００５１】
まず、ステップＳ５００において、ランドマークが配置されている現実空間を撮像する。次にステップＳ５１０において、配置されたランドマークを撮像画像中から抽出する。次にステップＳ５２０において、撮像部１１０の位置姿勢を６自由度センサによって計測する。次にステップＳ５３０では、６自由度センサによる計測値と撮像画像から検出されたランドマークの画像上での位置を用いて、撮像部１１０の位置姿勢を推定する。次にステップＳ５４０においては、ステップＳ５１０において使用した検出パラメータを、画像上にあるランドマーク領域９１０毎に、それぞれ最適化処理を行う。次にステップＳ１３００に移るが、同一の撮像画像に対して、１回の最適化処理を終了した時点では必ずステップＳ５１０に戻り、前回と同じ撮像画像に対して、最適化処理を施された検出パラメータでランドマーク検出を行う。さらに、前回と同様にＳ５２０、Ｓ５３０、Ｓ５４０を実行する。次に、ステップＳ１３００において、同一の撮像画像に対して、２回以上の最適化処理が終了していることを確認した場合はステップＳ１３１０に移る。ステップＳ１３１０において、最適化処理中で算出したｄ、ｅ、ｎの減少率Ｃを判定する。例えば、減少率Ｃが予め定めた閾値Ｃ_Ｔを越えた時点でステップＳ５５０に移ってもよいし、減少率の微分値が予め定めた閾値Ｄ_Ｔを下回った場合にステップＳ５５０へ移ってもよい。ステップＳ５５０において、終了命令が発せられなければ、ステップＳ５００に移り、撮像画像の更新を行う。終了命令が発せられれば一連の処理を終了する。
【００５２】
＜変形例２＞
上述の実施形態においては、Ｒ、Ｇ、Ｂの３色に対して、マーカの検出を行っている。しかし、本発明は、上述の実施形態にのみ適用されるものではない。例えば、輝度を特徴とするランドマークに対しても本発明を適応可能である。以下に、この輝度を特徴とするランドマークに対して、本発明を適応した例を挙げる。上述の実施形態における＜２．ランドマーク検出処理＞において、ＲＧＢの画素値から輝度Ｙを検出し、この輝度Ｙに対してマーカ検出を行い、この輝度Ｙに対する閾値を検出パラメータとして最適化を行う。
【００５３】
ここで、輝度Ｙの算出方法を以下に示す。
【００５４】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ　　　（式１０）
このＹから特徴量Ｉ_ｓを算出し、閾値Ｔ_ｃが特徴量Ｉ_ｓを越えた場合は、注目画素がマーカ領域内であると判定する。例えば、ランドマークが黒い物体の場合は、
Ｉ_ｓ＝Ｙ_ｍａｘ−Ｙ　　　（式１１）
として、特徴量Ｉ_ｓを算出する。ここでＹ_ｍａｘは輝度Ｙの最大値とする。さらに、閾値Ｔ_ｃは輝度の特徴量に関する閾値である。
【００５５】
この処理により、輝度を特徴としたランドマークに対して、検出パラメータの最適化処理を行うことが可能である。
【００５６】
（他の実施形態）
前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００５７】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００５８】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００５９】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００６０】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００６１】
【発明の効果】
以上説明したように、本発明によれば、特徴部を検出するための検出条件を、撮影画像から自動的に最適化することができ、撮像画像の変化にかかわらず撮像手段の位置姿勢を高精度に求めることができるようにすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を適用した撮像部位置姿勢推定装置の構成例を示すブロック図である。
【図２】図１の撮像部位置姿勢推定装置の使用時の状態を説明する図である。
【図３】第１の実施形態における、位置姿勢補正部１６０の構成例を示すブロック図である。
【図４】第１の実施形態における、検出パラメータ調整部１９５の構成例を示すブロック図である。
【図５】第１の実施形態における、撮像部位置姿勢推定装置の処理を説明するフローチャートである。
【図６】図５における、検出パラメータの最適化の処理を説明するフローチャートである。
【図７】従来の方法における、撮像部位置姿勢の補正方法を説明する模式図である。
【図８】第１の実施形態における、ランドマークの形状を示す図である。
【図９】図２の状態において、ランドマーク１点を撮像した時の撮像画像に、ランドマークの各頂点８００とアウトライン９００を重畳した模式図である。
【図１０】第１の実施形態における、処理領域１０００を示す模式図である。
【図１１】第１の実施形態における、理想検出画素パターン生成の処理の過程を示す模式図である。
【図１２】第１の実施形態における、ランドマークの検出画素パターン例を示す模式図である。
【図１３】変形例を適用した撮像部位置姿勢推定装置の構成例を示すブロック図である。
【図１４】第１の実施形態における、複数のランドマークを撮像したときの、処理領域を示す模式図である。

Claims

３次元空間内に位置する撮像手段の位置姿勢を推定する情報処理方法であって、
位置姿勢測定部によって得られた前記撮像手段の位置姿勢情報を取得する取得ステップと、
３次元位置が既知である特徴点の存在する現実空間を前記撮像手段によって撮像することにより得られた映像から、検出条件を用いてに前記特徴点を検出する特徴点検出ステップと、
前記特徴点の位置に基づいて、前記位置姿勢情報を補正する補正ステップと、
前記映像から前記検出条件を自動的に最適化する最適化ステップを有することを特徴とする情報処理方法。
前記補正ステップによって得られた撮像部位置姿勢および既知である特徴点の３次元位置・形状情報に基づいて、前記映像上における前記特徴点の投影形状を推定し、
前記投影形状と前記特徴点検出ステップによって得られた検出結果とを比較し、
前記比較結果から前記検出条件の最適化を図ることを特徴とする請求項１記載の情報処理方法。
前記投影形状の内部領域と、前記映像を構成する画素が重なる領域を理想検出画素領域とすることを特徴とすることを特徴とする請求項２記載の情報処理方法。
前記最適化ステップは、前記特徴点検出ステップにおいて特徴点として検出した検出画素領域の特徴量と、前記理想検出画素領域の特徴量とから検出条件の最適化を行うことを特徴とする請求項３に記載の情報処理方法。
前記特徴点検出ステップは、前記最適化ステップによって更新された検出条件を用いて、特徴点の検出を行うことを特徴とする請求項１乃至４のいずれかに記載の情報処理方法。
前記検出条件は、前記取得ステップ、前記特徴点検出ステップ、前記最適化ステップの処理を複数回行うことにより、最適化されることを特徴とする請求項１記載の情報処理方法。
前記検出条件は、複数の特徴点に対して異なる条件が設定されていることを特徴とする請求項１乃至６のいずれかに記載の情報処理方法。
請求項１乃至７のいずれかに記載の情報処理方法をコンピュータ装置に実行させるためのコンピュータプログラム。
請求項８記載のコンピュータプログラムを格納したことを特徴とするコンピュータ装置読みとり可能な記憶媒体。
撮影手段によって撮影された映像内の特徴部を検出し、前記検出結果を用いて前記撮影手段の位置姿勢情報を求める際に用いる、該特徴部の検出条件を調整する情報処理方法であって、
３次元位置および形状が既知である特徴部が存在する現実空間を前記撮像手段によって撮像することにより得られた映像から、検出条件を用いて該特徴点の領域を検出し、
前記特徴点の３次元位置および形状から、前記映像における特徴領域を算出し、
前記検出された特徴領域と前記算出された特徴領域を比較し、前記検出条件を調整することを特徴とする情報処理方法。
３次元空間内に位置する撮像手段の位置姿勢を推定し、位置姿勢情報として出力する撮像部位置姿勢推定装置であって、
前記撮像手段の位置姿勢を撮像された映像を利用する以外の方法で計測して、該撮像手段の位置姿勢を示す外部パラメータを取得する計測手段と、
３次元位置が既知である複数の特徴点の存在する現実空間を、前記撮像手段によって撮像した映像から検出パラメータにより前記特徴点を検出する特徴点検出手段と、
前記特徴点の位置に基づいて、前記計測手段によって得られた前記外部パラメータを補正する補正手段とを備え、
前記特徴点検出手段は、映像の輝度、色変化に応じて自動的に特徴点を検出する前記検出パラメータを最適化する検出パラメータの最適化手段を備えることを特徴とする撮像部位置姿勢推定装置。