JP4194316B2 - Position / orientation estimation apparatus, position / orientation estimation method, and program - Google Patents
Position / orientation estimation apparatus, position / orientation estimation method, and program Download PDFInfo
- Publication number
- JP4194316B2 JP4194316B2 JP2002223281A JP2002223281A JP4194316B2 JP 4194316 B2 JP4194316 B2 JP 4194316B2 JP 2002223281 A JP2002223281 A JP 2002223281A JP 2002223281 A JP2002223281 A JP 2002223281A JP 4194316 B2 JP4194316 B2 JP 4194316B2
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- detection
- orientation
- imaging
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、撮像画像における特徴部の検出条件を、撮影画像から自動的に調整するものに関する。
【0002】
【従来の技術】
現実空間を撮像する撮像部の外部パラメータ(位置姿勢)を計測、決定する方法において、現実空間に3次元位置姿勢が既知である特徴点(ランドマーク)を配置しておき、撮像部によって撮像されたいくつかのランドマークの撮像面上における画像情報を基準として、撮像部の位置姿勢を求める方法がある。例えば、現実空間を撮像する撮像部(ビデオカメラ等)の外部パラメータ(位置姿勢)を計測、決定する方法において、
(1)画像情報のみによる推定方法
(例えば、加藤,Mark,浅野,橘:「マーカ追跡に基づく拡張現実感システムとそのキャリブレーション」,日本バーチャルリアリティ学会論文集 Vol.4 No.4, pp.607−616,1999に記載。)、
(2)6自由度位置姿勢センサと画像とのハイブリッドな推定方法
(例えば特開平11−136706号公報、特開2000−347128号公報に記載)
(3)画像と加速度センサのハイブリッドな推定方法
(例えば、横小路,菅原,吉川:「画像と加速度計を用いたHMD上での映像の正確な重ね合わせ」,日本バーチャルリアリティ学会論文集 Vol.4 No.4,pp.589−598,1999)
(4)ジャイロセンサと画像とのハイブリッドな位置合わせなどの推定方法
(例えば、藤井,神原,岩佐,竹村,横矢:「拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ」,信学技報 PRMU99−192, January 2000)
等が知られている。また、画像による位置合わせや、6自由度センサと画像のハイブリッドな方法では、さらに手法の異なる様々な方法がある。
【0003】
【発明が解決しようとする課題】
しかし、従来のような撮像部の位置姿勢推定装置は、ランドマークの検出精度に大きく依存しており、状況によっては、ランドマークの検出精度が著しく低下し、現実空間の撮像部の位置姿勢と、位置姿勢推定装置により出力された撮像部の位置姿勢とのずれの大きさが問題になる場合があった。ランドマークの検出精度が落ちる要因は、例えば、照明条件の変化、撮像部のシャッタースピード、ホワイトバランス、ゲインなどの設定変化、もしくはこれらの自動調整機能などが挙げられる。従来の位置姿勢推定装置においては、ランドマークの検出処理における検出パラメータが固定されていることから、前述した画像の変化に対応できないことがランドマークの検出精度を低下させている主な原因である。
【0004】
この検出精度の低下に対して、従来の位置姿勢推定装置においては、なるべく撮像する空間の照明条件が変わらないように工夫し、さらに時間や場所ごとに最適な検出パラメータを手動で設定して対処する必要があった。
【0005】
本発明は、このような課題に鑑みて発明されたものであり、撮像画像における特徴部の検出条件を自動的に調整することにより、撮像環境が変化した場合でも、特徴部の検出精度の低下を防止することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下の構成を有することを特徴とする。
【0007】
本願請求項1記載の発明は、撮像手段の位置および/又は姿勢を推定するための位置姿勢推定装置であって、位置および姿勢が既知のランドマークが存在する空間を前記撮像手段で撮像することにより得られた画像から、前記ランドマークを検出するための検出パラメータを用いて前記ランドマークの領域を検出する検出手段と、前記ランドマークを撮像したときの前記撮像手段の位置および/又は姿勢に基づき、前記撮像手段で撮像される画像中における前記ランドマークの領域を生成する領域生成手段と、前記領域生成手段により生成された領域と前記検出手段により検出された領域との比較に基づき、前記検出パラメータを調整するパラメータ調整手段とを備えることを特徴とする。
【0009】
【発明の実施の形態】
<第1の実施形態>
以下、添付図面を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。
本実施形態では、従来例の(2)6自由度位置姿勢センサと画像とのハイブリッドな推定方法に本発明を適用した例を示す。
【0010】
<6自由度位置姿勢センサの誤差>
ここで、6自由度位置姿勢センサとは、Polhemus社の3SPCACEFASTRAKやAssension Technology社のFlockof Birdsなどの磁気センサ、または、Northern Digital社のOPTOTRAKなどの光学式センサなど、計測対象の位置と姿勢を計測する機器を指す。この6自由度位置姿勢センサ140は、撮像部110に固定されていることから、6自由度センサ140の計測値により撮像部の位置姿勢が取得できる。しかしながら、センサには誤差があり、状況によっては、撮像部110の位置姿勢を精度良く求めることができない。例えば、磁気センサを用いた6自由度位置姿勢センサの測定値は周囲の磁場に影響されるので、計測部近辺に金属物質があると誤差が大きくなり、結果として撮像部110の位置姿勢と、6自由度センサによる出力のずれ量(誤差)が増える。
【0011】
<特開平11−136706号公報における解決法>
このような状況に鑑みて特開平11−136706号公報では、画像情報を用いて、6自由度センサ誤差を補正する方法を述べている。図7は上述の従来の方法を説明する模式図である。この方法では、現実空間にマーカと呼ばれる、画像処理によって検出しやすい特定の色や形状を有する物体、例えばシールを、現実空間中の物体に貼り付けてランドマーク(絶対位置基準)として利用する。また、ランドマーク100としては特別に配置したもの以外にも、現実空間中の特徴的な物体や点を利用することも可能である。点Aは撮像部110の位置姿勢に基づいて予測されるランドマーク100の位置、点Bはこのランドマーク100の実際の位置、点Cは撮像部110の視点位置を示す。なお、点A、点Bが示す位置はカメラ座標系における位置であって、点Cはカメラ座標系の原点とする。また、点Pは撮像面上における点Aの位置、点Qは撮像面上における点Bの位置を示す。
【0012】
このとき、撮像面においてカメラの位置姿勢により予測されるランドマークの位置Aと実際の位置Bとでは、前述のようにずれ(誤差)がある。このずれを、撮像部によって撮像されたランドマーク100の撮像面上での位置Qを現実空間の基準とし、撮像面上でのランドマーク予測位置Pに重ね合わせるような変換行列ΔMCを求める。この変換行列ΔMCを6自由度センサ140から得られる撮像部のビューイング変換行列MCに積算することにより、誤差補正を行った撮像部のビューイング行列MC´が得られる。ここで、MC´の逆行列が撮像部の位置姿勢成分を含む。ここでMC´を
【外1】
とすると、位置tは(M14,M24,M34)のベクトルで得られ、回転Rは
【外2】
の行列によって得られる。つまり、撮像部110の位置姿勢を求めるためには、撮像部のビューイング変換行列MC´が求められればよい。
【0013】
このように、6自由度センサ140の出力を基本とし、さらに現実空間の絶対位置基準により位置合わせされた位置姿勢は、6自由度センサ140のみで計測する位置姿勢よりも、実際の撮像部110の位置姿勢に対するずれ量は安定して減少する。
【0014】
しかし、ランドマーク100の位置が後述する位置姿勢補正部において絶対位置基準として利用されるため、この基準が正確でないと、撮像部の位置姿勢は正確に推定できない。このことから、いかにして撮像画像に映ったランドマーク100を最適な検出パラメータによって検出するかが解決するべき課題である。
【0015】
<特開平11−136706号公報の手法に本発明を適応した例>
前述の特開平11−136706号公報の手法に本発明を適応することにより、撮像部で得られる撮像画像の明度、色変化に伴い、検出パラメータを自動的に最適化することで、ランドマークの検出性能を向上させることが可能となる。ここで、最適化とは、「最適な状態に変化させること」と定義する。よって、1回の最適化処理を行った検出パラメータは、必ずしも撮像画像において、ランドマークを検出するのに最適な状態になるのではない。複数回の最適化処理によって、最適な状態に成り得る。
【0016】
図1は、特開平11−136706号で述べられているような、6自由度センサと画像のハイブリッドな位置合わせ手法に、本発明を適用する場合における撮像部位置姿勢推定装置の構成図を表す。図1に従って撮像部位置姿勢の推定処理手順を示す。
【0017】
図5は装置全体の処理の流れを示すフローチャートを表している。まず、ステップS500撮像部により、ランドマークを配置している現実空間を撮像する。次にステップS510において、後述するランドマーク検出処理を行う。次にステップS520に移り、6自由度センサによる計測を行う。さらに、ステップS530で、計測値と撮像画像から検出されたランドマーク位置を用いて撮像部の位置姿勢を推定する。次に、ステップS540において、検出パラメータの最適化を行う。検出パラメータの最適化が終了した時点で、ステップS550に移り、終了命令があれば終了し、なければステップS500に戻り、更新された撮像画像を基に再度処理を行う。
【0018】
以下にステップS510からステップS540までの各処理の詳細を述べる。
【0019】
<1.ランドマーク検出処理>
まず、現実空間の既知の位置に配置されているランドマーク100を撮像部110で撮像し、撮像画像の取得部120に格納する。その撮像画像からランドマーク100の検出を行い、観測座標での2次元位置Q(xq,yq)を得る。
【0020】
ここで、撮像部110から得られた画像におけるランドマーク100の検出方法については特に限らないが、例えば以下のような例が挙げられる。現実空間に図2中で示すような赤色ランドマーク100を配置している場合は、撮像画像中の注目画素値(R,G,B)の特徴量Isを
Is=R/((G+B)/2) (式3)
の計算式を用いて算出する。また、緑色のランドマーク100の場合は、
Is=G/((R+B)/2) (式4)
であり、青色のランドマークの場合は、
Is=B/((R+G)/2) (式5)
の計算式で算出する。本発明では、ランドマークの色を前述の3色に限るものではなく、任意の色を検出する場合においても適応可能である。例えば、任意の色の検出において、画素値R,G,BをYCbCrフォーマットの画素に変換し、Cb、Crの色領域に対応するランドマーク検出を行い、Cb、Crの指定領域に関するパラメータに対して最適化を行う処理にも適応可能である。この場合、領域を指定するパラメータは、CbCr空間中における、楕円の領域を指し、中心位置を表すθ、rと、各軸を表すRa、Rbから構成される。
【0021】
このランドマーク検出処理においては、検出パラメータ調整部195により調整された検出パラメータである閾値Tcを入力し、特徴量IsがTcを超えた場合は、注目画素がマーカ領域内であると判定する。これを、撮像画像の全ての画素に対して適応し、検出された特徴領域は、個々にラベル付けされる。さらに、ラベル付けされた領域のうち、ラベルを構成する画素が、ランドマーク画素数閾値Nを越えたものをランドマーク領域の候補とする。ランドマーク画素数閾値Nは、検出時のノイズがラベル付けされていた場合、ほとんどのノイズの画素数が微小であるを利用して、ある閾値以下のものをランドマークとして認識しないようにしておく。この処理により、検出ノイズを減少させ、位置姿勢補正部160の処理において検出ノイズをランドマークと誤認識することをある程度防ぐことが可能である。このランドマーク領域の重心位置をランドマーク100の2次元位置とし、観測座標のランドマーク位置Q(xq,yq)とする。ここで、ランドマーク100が撮像画像に複数含まれる場合は、個々のランドマークに対して上述の処理を1回ずつ行う。このときの特徴量Isとランドマーク画素数閾値Nも個々のランドマーク毎に記憶しておく。例えばランドマークが3つ撮像されている場合は、Tc=(Tc1,Tc2,Tc3)N=(N1,N2,N3)のようにランドマーク毎の値を格納する。ここで撮像画像からランドマークを検出した検出画像Ud(例えば、本実施形態においては、対応画素の特徴量Isを画素値として格納した画像)と、検出パラメータ(本実施形態においては閾値Tc、ランドマーク画素数閾値Nから構成される)を状態記憶部190に保存する。
【0022】
<2.6自由度センサによる計測処理>
一方で、6自由度センサ140により、撮像部110の位置姿勢を検出する。本実施形態では、6自由度センサとしてPolhemus社の3SPCACE FASTRAK(以下、FASTRAK)を用いている。FASTRAKセンサのレシーバ140Aが撮像部110の位置姿勢の動きに追従するように固定する。例えば、図2は本実施形態の処理を実行中時の状態を表す図であるが、図2中の撮像部110とFASTRAKレシーバ140Aのように、金属以外の棒状のもので2つを固定し、FASTRAKレシーバ140付近のの交流磁界になるべく影響を与えない方法で固定する。FASTRAKセンサのトランスミッタ140Bから発生される交流磁界をレシーバ140Aが受ける。位置姿勢計測部150によりレシーバ140Aが受けた交流磁界の変化から、撮像部110の位置姿勢を計測する。
【0023】
<3.撮像部位置姿勢の推定処理>
このようにして得られた撮像部110の位置姿勢計測値と、ランドマーク100の撮像部110で撮像した画像上の2次元位置とを位置姿勢補正部160に入力する。図3は位置姿勢補正部160の処理を示す図である。まず、位置姿勢計測部150より入力された計測値から撮像部のビューイング変換行列MCを生成する(ステップS300)。さらに、ビューイング変換座標MCとランドマーク配置・形状記憶部170に保存されている世界座標系上での各ランドマークの3次元位置と、既知である撮像部110の理想的透視変換行列から、各ランドマークの観測座標予測値Pi(xpi,ypi)を算出する(ステップS310)。次に、ステップS320において、渡されたランドマーク観測予測座標値Pに基づいて、現在観測しているランドマーク、すなわち補正の基準となるランドマークを判別する。本実施形態における判別方法は、注目観測予測座標値Pj(xpj,ypj)から、観測しているランドマークの観測座標値Qi(xqi,yqi)との距離が近いものを対応付けする方法を採用している。すなわち、各ランドマークの観測予測座標Pと観測座標Qの組み合わせのうち、(xqi−xpj)2+(yqi−ypj)2が最小になるランドマーク同士を対応付けする。ただし、本発明においては、この判別方法を限定するものではなく、6自由度センサから得られる観測予測座標のランドマークを撮像画像中のランドマークと正しく対応付けが可能な方法であれば適応可能である。ランドマークの対応付け処理において1点でも対応付けが成功していれば、ステップS330では、ステップS310で演算されたランドマークの観測予測座標値P(xp,yp)とランドマーク検出部130が検出したランドマークの観測座標値Q(xq,yq)との差異に基づいて、位置姿勢計測部150によって得られた撮像部110の位置姿勢を表すビューイング変換行列MCを補正するためのΔMCを求める。さらに、ステップS340において、ステップS330で求めたΔMCとステップS300で求めた計測値からのカメラのビューイング変換行列MCを積算することにより補正後の撮像部視点のビューイング変換行列MC´を得ることができる。
【0024】
MC´=ΔMC・MC (式6)
ステップS320において、もし、ランドマークの対応付けができない場合は、例えば、ΔMCを単位行列に設定することにより、FASTRAKセンサ出力から得たMCを最終的に出力する視点のビューイング変換行列MC´としてもよい。
【0025】
<4.ランドマーク領域生成処理>
位置姿勢補正部160を通して、ランドマーク配置・形状記憶部170から各ランドマークの配置情報と形状情報をランドマーク領域生成部180に入力する。
【0026】
まず、形状情報とは、例えば,図2で示すような円形の赤色ランドマーク100(図8A)を用いている場合は,図8Bのように、あらかじめ3Dモデル化しておき、複数の頂点800から構成され擬似的にランドマークの形状を表現するものである。本発明は、円形のランドマークに制限するものではなく、画像処理によって検出しやすい特定の色や形状を有する物体であれば適応可能である。また、ランドマーク100としては特別に配置したもの以外にも、現実空間中の特徴的な物体や点を利用することも可能である。さらに、複数のランドマークが個々に違う形状をしていても適応可能である。ここで、3次元空間中のモデル座標系での頂点800の座標値(xm,ym,zm)とする。ここで、この頂点情報は各頂点の結合情報を持つ。本発明においては、3次元モデルが結合情報を持つことに限定するものではなく、後述するランドマーク領域生成部180において、適切なランドマーク領域情報を再構築できる方法であれば適応可能である。
【0027】
さらに、配置情報とは、現実空間に配置されたランドマークの重心位置を表す頂点810の世界座標系における位置姿勢を表す行列Lを格納している。この頂点800とランドマークの重心位置810における位置姿勢情報Lは、それぞれランドマーク配置・形状記憶部170に記憶されている。ランドマーク領域生成部180では、このランドマーク形状情報800を、配置情報Lと補正された撮像部視点のビューイング変換行列MC´によって変換することにより、各頂点800の視点座標系上での位置(xm’,ym’,zm’)を得る。
【0028】
【外3】
【0029】
さらに、既知である視点座標系から観測座標系へのプロジェクション行列Cによって、撮像面上での2次元位置V(xv,yv)を得る。
【0030】
【外4】
【0031】
【外5】
【0032】
次に、各頂点800の2次元位置Vから、ランドマーク形状情報が持つ頂点の結合情報を基にランドマーク形状の各辺に対して2次元直線の式を算出し、アウトライン900を生成する。このアウトライン900は、観測座標において各頂点を結ぶ直線式群によって構成される。ランドマーク領域910はこのアウトライン900とランドマーク領域内の点Gから構成される。領域内の点Gは、例えば、円形のランドマーク100であれば、ランドマークの重心位置810を領域内の点とすればよい。生成されたランドマーク領域910は状態記憶部190に記憶される。図9は、図2の撮像部位置姿勢において、ランドマーク100のうちの一つを撮像したときの撮像画像に、アウトライン900と各頂点800を重ねて表示した画像を表す。この図中におけるアウトライン900は、位置姿勢補正部160により推定された撮像部110の位置姿勢を基に位置と形状が決定されるので、位置姿勢補正部160において、ランドマークの対応が取れている状態であれば、撮像画像におけるランドマーク100の位置に表示される。
【0033】
<5.検出パラメータの調整処理>
図4は、検出パラメータ調整部195の処理の詳細手順を表す図である。検出パラメータ調整部195は、状態記憶部190から、ランドマーク領域910、検出画像Ud、検出パラメータである閾値Tcと、ランドマーク画素数閾値Nを受ける。
【0034】
まず、ステップS410において、ランドマーク領域910を完全に含む処理領域1000を生成する。この処理領域1000は、例えば、ランドマーク領域内の点810を重心とし、全てのランドマーク領域を含む矩形領域でもよい。図10はこの処理領域を表す。この処理領域1000は、撮像されているランドマーク毎に生成する。例えば、図14に示すように、3つのランドマークが撮像されている場合の処理領域1000は、個々のランドマーク周辺にそれぞれ生成される。本発明は、この処理領域1000の生成方法を制限するものではなく、ランドマーク領域910と検出画像上の検出画素の形状を比較できるものであれば適応可能である。
【0035】
次に、ステップS420において、検出画像Ud内のランドマーク検出画像とランドマーク領域を比較するための理想検出画素パターン1110を作成する。まず、処理領域と同画素で、全ての画素が0で初期化されている画像バッファ領域1100を作成する。次に、このバッファ領域1100でランドマーク領域内に含まれる画素にマーキングを行う。このマーキングは例えば、領域内の全ての画素値1に設定する方法でもよい。この様子を図11中のA,Bに表す。図11Aに表されるようなランドマーク領域910がバッファ領域1100上にあったとすると、マーキング処理によって図11Bのように、ランドマーク領域内の画素がマーキングされる。ここで、図11Bの図では黒色の画素がマーキングされていることを表す。本実施形態では、画素上に領域を含む場合であっても、この領域が画素面積の半分以上を占めない限りマーキングしない。ただし、本発明は、このマーキング処理に制限するものではなく、検出画素パターンと比較して適切な検出パラメータを設定できる方法であれば適応可能である。ここで、マーキングされている領域を理想検出画素パターン1110と呼ぶ。
【0036】
次に、ステップS430において、後述するランドマークの検出画素パターン1200と理想検出画素パターン1110を比較する。
【0037】
まず、検出画像Ud内の処理領域に含まれるランドマークの検出画素パターン1200を生成する。ここで、画像バッファ領域1100と同じ画像サイズで、画素値が0で初期化されているバッファ領域1220を別に用意する。このバッファ領域1220の画素値には、対応する検出画像Udの画素値である特徴量Isが検出パラメータの閾値Tdよりも大きい場合に1が入力される。このようにして、生成したパターンを検出画素パターン1200とする。図12は、ある時点において同一ランドマークを注視している場合の、検出画像Udに含まれるランドマークの検出画素パターン例を表す。さらに、図12A、Bは検出パラメータが最適でないために、ランドマークの検出画素パターン1200が理想検出画素パターン1110と異なっている状態を表す。図12Aに関しては、ランドマークの領域上の画素特徴量Isに対して、閾値Tcが大きすぎるため、本来はランドマーク領域内であるはずの画素が検出できていない状態を表す。逆に、図12Bでは、閾値Tcがランドマークの領域上の画素特徴量Isに対して小さすぎるため、ランドマーク領域外の画素までランドマークとして検出している状態を表している。ここで、図12Bにおいて理想検出画素パターン1110の内側に含まれない検出画素で、かつ、検出画素パターン1200以外の画素を検出ノイズ1210と呼ぶ。この検出ノイズ1210は、ランドマーク検出処理において、ランドマーク画素数閾値Nよりもラベル画素数が多く、ランドマーク領域の候補だと判断された領域である。このステップS430における比較方法は、理想検出画素パターン1110と検出画素パターン1200の検出画素数を利用する。まず、理想検出画素パターン内に含まれる検出画素パターン1200の画素数gを認識し、理想検出画素パターンが内包する画素数iとの差分dを計算する。
【0038】
d=g−i (式10)
さらに、処理領域1000内の理想検出画素パターン1110に含まれない検出画素パターン1200の画素(はみ出し画素)の合計数をe,検出ノイズ1210の画素の合計数をnとする。
【0039】
図12の例であれば、図12Aはd=12、e=0、n=0、図12Bはd=0、e=10、n=7となる。
【0040】
次に、ステップS440において、検出パラメータの最適化を行う。この処理の詳細を図6のフローチャートを用いて説明する。まず、ステップS600において、dとeが0であるかを検査する。両方とも0であれば、理想検出画素パターンと検出画素パターンが一致していることになるので、検出パラメータは最適な状態であると判断し、この処理を終了してランドマーク検出処理に戻る。ランドマーク検出処理においては、現在の検出パラメータによって新たな撮像画像のランドマーク検出を行う。dまたはeのどちらかが正の場合は、ステップS610に移る。
【0041】
ステップS610においては、理想検出画素パターン1110と検出画素パターン1200の画素数の差分であるdが正の場合は、ステップS620へ移る。もし、dが0である場合は、ステップS650に移る。
【0042】
ステップ620では、現在のランドマーク画素数閾値Nが現在の理想検出画素数iよりも小さいことを判定する。この判定は、本来ランドマーク上にある画素をランドマーク画素数閾値Nによって除去しないように、Nの値を理想検出画素数iよりも必ず小さくする処理である。本実施形態においては、常にNとiの間に3画素分の閾を設けており、Nが必ずiよりも3画素分小さくなるように設定される。もし、Nがi+3よりも小さい場合は、ステップ630に移る。もし、Nがi+3よりも大きい場合は、ステップS640に移る。
【0043】
ステップ630では、dが正であることから、理想検出画素パターン内のランドマーク領域に未検出の画素があるので、未検出であった画素が検出できるように検出閾値Tcを1減少させる。
【0044】
ステップS640では、ランドマーク画素数閾値Nがi+3よりも大きいので、Nにi−4を代入し、ランドマークを的確に検出できるように設定する。また、同時に未検出であった理想検出画素パターン上の画素が検出できるように検出閾値Tcを1減少させる。
【0045】
ステップS650ではdが0であるので、理想検出画素パターン内の検出画素パターンは全て検出さていることになるが、eが正であることから、理想検出画素画素1110外の画素がランドマーク100内の画素として検出されている状態である。ここでは、まず検出ノイズ1210の画素数nが正であるかどうかを判定し、検出ノイズ1210の有無を調べる。検出ノイズ1210がない場合は、ステップS660に移る。もし検出ノイズがある場合は、ステップS670に移り、検出ノイズを減少させる処理を行う。
【0046】
ステップS660では、はみ出し画素が検出されないように検出閾値Tcを1増加させる。
【0047】
ステップS670においては、ステップS620と同様に、ランドマーク画素数閾値Nが現在の理想検出画素数iよりも小さいことを判定する。もし、Nがi+3よりも小さい場合は、ステップS680に移り、はみ出し画素が検出されないように検出閾値Tcを1増加させる。また、Nがi+3よりも大きい場合は、ステップS670に移り、はみ出し画素が検出されないように検出閾値Tcを1増加させると共に、ランドマーク画素数閾値Nを1増加させ、検出ノイズ画素数nを減少させる。これらの処理が終了した場合は、個々の検出パラメータを保存し、ランドマーク検出処理部に戻り、更新された検出パラメータによって新たな撮像画像からランドマーク検出を行う。
【0048】
本発明は、図6で示した検出パラメータの最適化処理に制限するものではなく、ランドマークが的確に検出できるような最適化処理であれば適応可能である。
【0049】
<変形例1>
本発明は、上述の実施形態にのみ適用されるものではない。上述の実施形態においては、検出パラメータの最適化処理は、1つの撮像画像に対して、撮像されているランドマークの数と同じ回数だけ行われるが、図13が示す処理のように、検出パラメータをランドマークの数だけ最適化処理を行ったあと、さらに、同一の撮像画像を用いて同様の最適化処理を行うことで、前述した実施形態の最適化処理に比べて、より最適な状態に早く到達する。
【0050】
この例の処理の流れを図13を用いて説明する。
【0051】
まず、ステップS500において、ランドマークが配置されている現実空間を撮像する。次にステップS510において、配置されたランドマークを撮像画像中から抽出する。次にステップS520において、撮像部110の位置姿勢を6自由度センサによって計測する。次にステップS530では、6自由度センサによる計測値と撮像画像から検出されたランドマークの画像上での位置を用いて、撮像部110の位置姿勢を推定する。次にステップS540においては、ステップS510において使用した検出パラメータを、画像上にあるランドマーク領域910毎に、それぞれ最適化処理を行う。次にステップS1300に移るが、同一の撮像画像に対して、1回の最適化処理を終了した時点では必ずステップS510に戻り、前回と同じ撮像画像に対して、最適化処理を施された検出パラメータでランドマーク検出を行う。さらに、前回と同様にS520、S530、S540を実行する。次に、ステップS1300において、同一の撮像画像に対して、2回以上の最適化処理が終了していることを確認した場合はステップS1310に移る。ステップS1310において、最適化処理中で算出したd、e、nの減少率Cを判定する。例えば、減少率Cが予め定めた閾値CTを越えた時点でステップS550に移ってもよいし、減少率の微分値が予め定めた閾値DTを下回った場合にステップS550へ移ってもよい。ステップS550において、終了命令が発せられなければ、ステップS500に移り、撮像画像の更新を行う。終了命令が発せられれば一連の処理を終了する。
【0052】
<変形例2>
上述の実施形態においては、R、G、Bの3色に対して、マーカの検出を行っている。しかし、本発明は、上述の実施形態にのみ適用されるものではない。例えば、輝度を特徴とするランドマークに対しても本発明を適応可能である。以下に、この輝度を特徴とするランドマークに対して、本発明を適応した例を挙げる。上述の実施形態における<2.ランドマーク検出処理>において、RGBの画素値から輝度Yを検出し、この輝度Yに対してマーカ検出を行い、この輝度Yに対する閾値を検出パラメータとして最適化を行う。
【0053】
ここで、輝度Yの算出方法を以下に示す。
【0054】
Y=0.299×R+0.587×G+0.114×B (式10)
このYから特徴量Isを算出し、閾値Tcが特徴量Isを越えた場合は、注目画素がマーカ領域内であると判定する。例えば、ランドマークが黒い物体の場合は、
Is=Ymax−Y (式11)
として、特徴量Isを算出する。ここでYmaxは輝度Yの最大値とする。さらに、閾値Tcは輝度の特徴量に関する閾値である。
【0055】
この処理により、輝度を特徴としたランドマークに対して、検出パラメータの最適化処理を行うことが可能である。
【0056】
(他の実施形態)
前述した実施形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【0057】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【0058】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー(R)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることが出来る。
【0059】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【0060】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【0061】
【発明の効果】
以上説明したように、本発明によれば、特徴部を検出するための検出条件を、撮影画像から自動的に最適化することができ、撮像環境が変化した場合でも、特徴部の検出精度の低下を防止することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態を適用した撮像部位置姿勢推定装置の構成例を示すブロック図である。
【図2】図1の撮像部位置姿勢推定装置の使用時の状態を説明する図である。
【図3】第1の実施形態における、位置姿勢補正部160の構成例を示すブロック図である。
【図4】第1の実施形態における、検出パラメータ調整部195の構成例を示すブロック図である。
【図5】第1の実施形態における、撮像部位置姿勢推定装置の処理を説明するフローチャートである。
【図6】図5における、検出パラメータの最適化の処理を説明するフローチャートである。
【図7】従来の方法における、撮像部位置姿勢の補正方法を説明する模式図である。
【図8】第1の実施形態における、ランドマークの形状を示す図である。
【図9】図2の状態において、ランドマーク1点を撮像した時の撮像画像に、ランドマークの各頂点800とアウトライン900を重畳した模式図である。
【図10】第1の実施形態における、処理領域1000を示す模式図である。
【図11】第1の実施形態における、理想検出画素パターン生成の処理の過程を示す模式図である。
【図12】第1の実施形態における、ランドマークの検出画素パターン例を示す模式図である。
【図13】変形例を適用した撮像部位置姿勢推定装置の構成例を示すブロック図である。
【図14】第1の実施形態における、複数のランドマークを撮像したときの、処理領域を示す模式図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an apparatus that automatically adjusts a detection condition of a characteristic portion in a captured image from a captured image.
[0002]
[Prior art]
In a method of measuring and determining an external parameter (position and orientation) of an imaging unit that captures an image of real space, feature points (landmarks) having a known three-dimensional position and orientation are arranged in the real space and captured by the imaging unit. In addition, there is a method for obtaining the position and orientation of the imaging unit on the basis of image information of several landmarks on the imaging surface. For example, in a method for measuring and determining an external parameter (position and orientation) of an imaging unit (such as a video camera) that images a real space,
(1) Estimation method based only on image information
(For example, Kato, Mark, Asano, Tachibana: "Augmented reality system based on marker tracking and its calibration", Transactions of the Virtual Reality Society of Japan Vol.4 No.4, pp.607-616, 1999) ,
(2) Hybrid estimation method of 6-DOF position and orientation sensor and image
(For example, it describes in Unexamined-Japanese-Patent No. 11-136706, Unexamined-Japanese-Patent No. 2000-347128)
(3) Hybrid estimation method of image and acceleration sensor
(For example, Yokokoji, Sugawara, Yoshikawa: “Precise superposition of images and images on HMD using accelerometer”, Transactions of the Virtual Reality Society of Japan Vol.4 No.4, pp.589-598, 1999 )
(4) Estimation method such as hybrid positioning of gyro sensor and image
(For example, Fujii, Kanbara, Iwasa, Takemura, Yokoya: “Positioning with a stereo camera combined with a gyro sensor for augmented reality”, IEICE Technical Report PRMU99-192, January 2000)
Etc. are known. In addition, there are various methods with different methods for image alignment and a 6-DOF sensor / image hybrid method.
[0003]
[Problems to be solved by the invention]
However, the position / orientation estimation apparatus of the conventional imaging unit greatly depends on the detection accuracy of the landmark, and depending on the situation, the detection accuracy of the landmark is significantly reduced, and the position / orientation of the imaging unit in the real space In some cases, the magnitude of the deviation from the position and orientation of the imaging unit output by the position and orientation estimation apparatus becomes a problem. Factors that reduce the detection accuracy of the landmark include, for example, changes in illumination conditions, changes in the shutter speed, white balance, gain, and the like of the imaging unit, or automatic adjustment functions thereof. In the conventional position / orientation estimation apparatus, since the detection parameters in the landmark detection process are fixed, the inability to cope with the above-described change in the image is the main cause of the deterioration in landmark detection accuracy. .
[0004]
To deal with this decrease in detection accuracy, the conventional position and orientation estimation device devised so that the illumination conditions of the space to be imaged do not change as much as possible, and manually set optimal detection parameters for each time and place. There was a need to do.
[0005]
The present invention has been invented in view of such a problem, and by automatically adjusting the detection condition of the feature portion in the captured image, Even if the imaging environment changes, it is necessary to prevent a decrease in the detection accuracy of features. Objective.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the present invention has the following structure.
[0007]
The invention described in
[0009]
DETAILED DESCRIPTION OF THE INVENTION
<First Embodiment>
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, exemplary embodiments according to the invention will be described in detail with reference to the accompanying drawings.
In this embodiment, an example in which the present invention is applied to the conventional (2) hybrid estimation method of a 6-DOF position and orientation sensor and an image will be described.
[0010]
<Error of 6-DOF position and orientation sensor>
Here, the six-degree-of-freedom position and orientation sensor measures the position and orientation of a measurement target, such as a magnetic sensor such as Polhemus 3SPCACEFASTRAK and Association Technology Flockof Birds, or an optical sensor such as Northern Digital OPTOTRAK. Refers to the equipment to be used. Since the six-degree-of-freedom position /
[0011]
<Solution in Japanese Patent Application Laid-Open No. 11-136706>
In view of such a situation, Japanese Patent Application Laid-Open No. 11-136706 describes a method of correcting a 6-degree-of-freedom sensor error using image information. FIG. 7 is a schematic diagram for explaining the above-described conventional method. In this method, an object called a marker in the real space, which has a specific color or shape that is easy to detect by image processing, such as a sticker, is attached to the object in the real space and used as a landmark (absolute position reference). In addition to the specially arranged
[0012]
At this time, there is a deviation (error) between the landmark position A predicted by the position and orientation of the camera on the imaging surface and the actual position B as described above. A conversion matrix ΔM that superimposes this deviation on the predicted landmark position P on the imaging surface with the position Q of the
[Outside 1]
Then the position t is (M 14, M 24, M 34 ), And the rotation R is
[Outside 2]
Is obtained by the matrix. That is, in order to obtain the position and orientation of the
[0013]
As described above, the position and orientation that is based on the output of the six-degree-of-
[0014]
However, since the position of the
[0015]
<Example in which the present invention is applied to the technique of Japanese Patent Application Laid-Open No. 11-136706>
By applying the present invention to the technique disclosed in Japanese Patent Application Laid-Open No. 11-136706, the detection parameters are automatically optimized in accordance with the brightness and color change of the captured image obtained by the imaging unit. Detection performance can be improved. Here, the optimization is defined as “changing to an optimal state”. Therefore, a detection parameter that has been subjected to one optimization process is not necessarily in an optimal state for detecting a landmark in a captured image. An optimal state can be achieved by a plurality of optimization processes.
[0016]
FIG. 1 shows a configuration diagram of an imaging unit position / orientation estimation apparatus when the present invention is applied to a hybrid alignment method of a six-degree-of-freedom sensor and an image as described in JP-A-11-136706. . An imaging unit position / posture estimation processing procedure will be described with reference to FIG.
[0017]
FIG. 5 shows a flowchart showing the processing flow of the entire apparatus. First, the real space where the landmark is arranged is imaged by the imaging unit in step S500. In step S510, a landmark detection process described later is performed. Next, the process proceeds to step S520, and measurement is performed using a 6-degree-of-freedom sensor. In step S530, the position and orientation of the imaging unit are estimated using the measured value and the landmark position detected from the captured image. Next, in step S540, the detection parameters are optimized. When the optimization of the detection parameters is completed, the process proceeds to step S550, and if there is an end command, the process ends. If not, the process returns to step S500, and the process is performed again based on the updated captured image.
[0018]
Details of each process from step S510 to step S540 will be described below.
[0019]
<1. Landmark detection processing>
First, the
[0020]
Here, the method for detecting the
I s = R / ((G + B) / 2) (Formula 3)
It is calculated using the following formula. In the case of the
I s = G / ((R + B) / 2) (Formula 4)
And for blue landmarks,
I s = B / ((R + G) / 2) (Formula 5)
Calculate with the following formula. In the present invention, the color of the landmark is not limited to the above-described three colors, and can be applied to the case where an arbitrary color is detected. For example, in the detection of an arbitrary color, pixel values R, G, and B are converted into YCbCr format pixels, landmarks corresponding to the Cb and Cr color regions are detected, and parameters related to the Cb and Cr specified regions are detected. Therefore, the present invention can be applied to a process for performing optimization. In this case, the parameter for designating the region indicates an elliptical region in the CbCr space, and is composed of θ and r representing the center position, and Ra and Rb representing each axis.
[0021]
In this landmark detection process, a threshold T that is a detection parameter adjusted by the detection
[0022]
<Measurement process by 2.6-degree-of-freedom sensor>
On the other hand, the position and orientation of the
[0023]
<3. Imaging unit position and orientation estimation process>
The position / orientation measurement value of the
[0024]
M C '= ΔM C ・ M C (Formula 6)
In step S320, if the landmark cannot be associated, for example, ΔM C Is obtained from the FASTRAK sensor output by setting to the unit matrix C Viewing transformation matrix M for finally outputting C It may be '.
[0025]
<4. Landmark area generation processing>
Through the position /
[0026]
First, as the shape information, for example, when a circular red landmark 100 (FIG. 8A) as shown in FIG. 2 is used, a 3D model is created in advance as shown in FIG. It is constructed and expresses the shape of a landmark in a pseudo manner. The present invention is not limited to circular landmarks, and can be applied to any object having a specific color or shape that can be easily detected by image processing. In addition to the specially arranged
[0027]
Furthermore, the arrangement information stores a matrix L representing the position and orientation of the
[0028]
[Outside 3]
[0029]
Further, the two-dimensional position V (x on the imaging surface is projected by the projection matrix C from the known viewpoint coordinate system to the observation coordinate system. v , Y v )
[0030]
[Outside 4]
[0031]
[Outside 5]
[0032]
Next, from the two-dimensional position V of each
[0033]
<5. Detection parameter adjustment processing>
FIG. 4 is a diagram illustrating a detailed procedure of processing of the detection
[0034]
First, in step S410, a
[0035]
Next, in step S420, the detected image U d An ideal
[0036]
In step S430, a landmark
[0037]
First, the detected image U d A landmark
[0038]
d = gi (Formula 10)
Furthermore, the total number of pixels (excess pixels) of the
[0039]
In the example of FIG. 12, d = 12, e = 0, n = 0 in FIG. 12A, and d = 0, e = 10, n = 7 in FIG. 12B.
[0040]
Next, in step S440, the detection parameters are optimized. Details of this processing will be described with reference to the flowchart of FIG. First, in step S600, it is checked whether d and e are zero. If both are 0, the ideal detection pixel pattern and the detection pixel pattern match, so it is determined that the detection parameter is in an optimal state, and this process ends and returns to the landmark detection process. In the landmark detection process, a new detected landmark is detected based on the current detection parameters. If either d or e is positive, the process moves to step S610.
[0041]
In step S610, if d, which is the difference in the number of pixels between the ideal
[0042]
In step 620, it is determined that the current landmark pixel number threshold N is smaller than the current ideal detected pixel number i. This determination is a process in which the value of N is necessarily made smaller than the ideal detection pixel number i so that pixels originally on the landmark are not removed by the landmark pixel number threshold N. In this embodiment, a threshold for three pixels is always provided between N and i, and N is always set to be smaller than i by three pixels. If N is smaller than i + 3, the process proceeds to step 630. If N is larger than i + 3, the process proceeds to step S640.
[0043]
In
[0044]
In step S640, since the landmark pixel number threshold value N is larger than i + 3, i-4 is substituted for N, and the landmark is set to be detected accurately. Further, a detection threshold T is set so that pixels on the ideal detection pixel pattern that have not been detected at the same time can be detected. c Is reduced by one.
[0045]
Since d is 0 in step S650, all the detection pixel patterns in the ideal detection pixel pattern are detected. However, since e is positive, pixels outside the ideal
[0046]
In step S660, a detection threshold T is set so that no protruding pixel is detected. c Increase by one.
[0047]
In step S670, as in step S620, it is determined that the landmark pixel number threshold N is smaller than the current ideal detected pixel number i. If N is smaller than i + 3, the process proceeds to step S680 and the detection threshold T is set so that no protruding pixel is detected. c Increase by one. If N is larger than i + 3, the process proceeds to step S670, and the detection threshold T is set so that no protruding pixel is detected. c , The landmark pixel number threshold N is increased by 1, and the detected noise pixel number n is decreased. When these processes are completed, the individual detection parameters are stored, the process returns to the landmark detection processing unit, and landmark detection is performed from a new captured image using the updated detection parameters.
[0048]
The present invention is not limited to the detection parameter optimization process shown in FIG. 6, and can be applied to any optimization process that can accurately detect a landmark.
[0049]
<
The present invention is not applied only to the above-described embodiment. In the above-described embodiment, the detection parameter optimization process is performed on a single captured image as many times as the number of landmarks being captured. However, as in the process illustrated in FIG. After performing the optimization process for the number of landmarks, the same optimization process is further performed using the same captured image, thereby achieving a more optimal state than the optimization process of the above-described embodiment. Reach early.
[0050]
The processing flow of this example will be described with reference to FIG.
[0051]
First, in step S500, the real space where the landmark is arranged is imaged. Next, in step S510, the arranged landmarks are extracted from the captured image. Next, in step S520, the position and orientation of the
[0052]
<Modification 2>
In the above-described embodiment, marker detection is performed for the three colors R, G, and B. However, the present invention is not applied only to the above-described embodiment. For example, the present invention can be applied to landmarks characterized by luminance. The following is an example in which the present invention is applied to a landmark characterized by this luminance. In the above-described embodiment, <2. In the landmark detection process>, luminance Y is detected from RGB pixel values, marker detection is performed on the luminance Y, and optimization is performed using the threshold for the luminance Y as a detection parameter.
[0053]
Here, the calculation method of the brightness | luminance Y is shown below.
[0054]
Y = 0.299 × R + 0.587 × G + 0.114 × B (Formula 10)
From this Y, feature quantity I s And the threshold T c Is feature I s Is exceeded, it is determined that the target pixel is within the marker area. For example, if the landmark is a black object,
I s = Y max -Y (Formula 11)
As feature I s Is calculated. Where Y max Is the maximum value of luminance Y. Furthermore, the threshold T c Is a threshold relating to the feature quantity of luminance.
[0055]
By this processing, it is possible to perform the detection parameter optimization processing on the landmarks characterized by luminance.
[0056]
(Other embodiments)
Software program code for realizing the functions of the above-described embodiment in an apparatus or a computer in the system connected to the various devices so as to operate the various devices so as to realize the functions of the above-described embodiments. Is implemented by operating the various devices according to a program stored in a computer (CPU or MPU) of the system or apparatus.
[0057]
In this case, the program code of the software itself realizes the functions of the above-described embodiment, and the program code itself and means for supplying the program code to the computer, for example, the program code is stored. The storage medium constitutes the present invention.
[0058]
As a storage medium for storing the program code, for example, a floppy (R) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0059]
Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) in which the program code is running on the computer, or other application software, etc. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the embodiment.
[0060]
Further, the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, and then the CPU provided in the function expansion board or function storage unit based on the instruction of the program code However, it is needless to say that the present invention also includes a case where the function of the above-described embodiment is realized by performing part or all of the actual processing.
[0061]
【The invention's effect】
As described above, according to the present invention, the detection condition for detecting the characteristic portion can be automatically optimized from the captured image, Prevent deterioration in detection accuracy of features even when the imaging environment changes Can do.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an imaging unit position and orientation estimation apparatus to which a first embodiment of the present invention is applied.
FIG. 2 is a diagram illustrating a state when the imaging unit position / orientation estimation apparatus in FIG. 1 is used;
FIG. 3 is a block diagram illustrating a configuration example of a position /
FIG. 4 is a block diagram illustrating a configuration example of a detection
FIG. 5 is a flowchart illustrating processing of the imaging unit position / orientation estimation apparatus according to the first embodiment.
FIG. 6 is a flowchart illustrating detection parameter optimization processing in FIG. 5;
FIG. 7 is a schematic diagram illustrating a method for correcting an imaging unit position and orientation in a conventional method.
FIG. 8 is a diagram illustrating a shape of a landmark in the first embodiment.
9 is a schematic diagram in which each
FIG. 10 is a schematic diagram showing a
FIG. 11 is a schematic diagram illustrating a process of ideal detection pixel pattern generation in the first embodiment.
FIG. 12 is a schematic diagram illustrating an example of a detected pixel pattern of a landmark in the first embodiment.
FIG. 13 is a block diagram illustrating a configuration example of an imaging unit position and orientation estimation apparatus to which a modification is applied.
FIG. 14 is a schematic diagram showing a processing area when a plurality of landmarks are imaged in the first embodiment.
Claims (11)
位置および姿勢が既知のランドマークが存在する空間を前記撮像手段で撮像することにより得られた画像から、前記ランドマークを検出するための検出パラメータを用いて前記ランドマークの領域を検出する検出手段と、
前記ランドマークを撮像したときの前記撮像手段の位置および/又は姿勢に基づき、前記撮像手段で撮像される画像中における前記ランドマークの領域を生成する領域生成手段と、
前記領域生成手段により生成された領域と前記検出手段により検出された領域との比較に基づき、前記検出パラメータを調整するパラメータ調整手段とを備えることを特徴とする位置姿勢推定装置。A position and orientation estimation apparatus for estimating the position and / or orientation of an imaging means,
Detection means for detecting the area of the landmark from the image obtained by imaging the space in which the landmark having a known position and orientation exists with the imaging means, using a detection parameter for detecting the landmark. When,
An area generating means for generating an area of the landmark in an image captured by the imaging means based on the position and / or orientation of the imaging means when the landmark is imaged;
A position and orientation estimation apparatus comprising: a parameter adjustment unit that adjusts the detection parameter based on a comparison between the region generated by the region generation unit and the region detected by the detection unit.
当該推定された位置および/又は姿勢に基づき、前記撮像装置で撮像される映像中における前記ランドマークの領域を生成することを特徴とする請求項1に記載の位置姿勢推定装置。The region generation means determines the position and / or orientation of the imaging means from the measurement result of the position and / or orientation of the imaging means measured by a magnetic sensor or an optical sensor and the area detected by the detection means. Estimate
The position / orientation estimation apparatus according to claim 1, wherein the landmark area in an image captured by the imaging apparatus is generated based on the estimated position and / or attitude.
前記検出手段により検出された領域から検出画素パターンを生成し、
前記理想検出画素パターンと前記検出画素パターンとの一致度に基づき、前記検出パラメータを調整することを特徴とする請求項1に記載の位置姿勢推定装置。The parameter adjustment unit generates an ideal detection pixel pattern from the region generated by the region generation unit,
It generates a region into a detection pixel pattern detected by the detecting means,
Based on the degree of coincidence between the detection pixel pattern and the ideal detection pixel pattern, position and orientation estimation apparatus according to claim 1, characterized in that adjusting the detection parameters.
検出手段が、位置および姿勢が既知のランドマークが存在する空間を前記撮像手段で撮像することにより得られた画像から、前記ランドマークを検出するための検出パラメータを用いて前記ランドマークの領域を検出する検出工程と、
領域生成手段が、前記ランドマークを撮像したときの前記撮像手段の位置および/又は姿勢に基づき、前記撮像装置で撮像される画像中における前記ランドマークの領域を生成する領域生成工程と、
パラメータ調整手段が、前記領域生成手段により生成された領域と前記検出手段により検出された領域との比較に基づき、前記検出パラメータを調整するパラメータ調整工程とを備えることを特徴とする位置姿勢推定方法。A position and orientation estimation method for estimating the position and / or orientation of an imaging means,
The detection means detects the area of the landmark using a detection parameter for detecting the landmark from an image obtained by imaging the space where the landmark having a known position and orientation exists with the imaging means. A detection process to detect;
Area generating means, based on said position and / or orientation of the imaging means, the area generation step of generating a region of landmarks in the images captured by the image pickup device at the time of imaging the landmark,
Parameter adjustment means, based on a comparison of the detected region by said detecting means and generating area by the area generation unit, the position and orientation estimation method, characterized in that it comprises a parameter adjustment step of adjusting the detection parameters .
位置および姿勢が既知のランドマークが存在する空間を前記撮像手段で撮像することにより得られた画像から、前記ランドマークを検出するための検出パラメータを用いて前記ランドマークの領域を検出する検出手段と、
前記ランドマークを撮像したときの前記撮像手段の位置および/又は姿勢に基づき、前記撮像装置で撮像される画像中における前記ランドマークの領域を生成する領域生成手段と、
前記領域生成手段により生成された領域と前記検出手段により検出された領域との比較に基づき、前記検出パラメータを調整するパラメータ調整手段として機能させるためのプログラム。Computer
Detection means for detecting the area of the landmark from the image obtained by imaging the space in which the landmark having a known position and orientation exists with the imaging means, using a detection parameter for detecting the landmark. When,
Based on the position and / or orientation of the imaging unit when imaging the landmark, and area generation unit for generating a region of the landmark in the images that are imaged by the imaging device,
Program for functioning as a parameter adjustment means based on said comparison of the detected region by said detecting means and generating area by area generation unit, for adjusting the detection parameters.
位置および姿勢が既知のランドマークが存在する空間を前記撮像手段で撮像することにより得られた画像から、検出パラメータを用いて前記ランドマークの領域を検出する検出手段と、
前記ランドマークを撮像したときの前記撮像手段の位置および/又は姿勢に基づき、前記撮像装置で撮像される画像中における前記ランドマークの領域を生成する領域生成手段と、
前記領域生成手段により生成された領域と前記検出手段により検出された領域との比較に基づき、前記検出パラメータを調整するパラメータ調整手段として機能させるためのプログラムが格納されたコンピュータ読取り可能な記録媒体。Computer
Detection means for detecting a region of the landmark using a detection parameter from an image obtained by imaging a space where a landmark having a known position and orientation is present by the imaging means;
Based on the position and / or orientation of the imaging unit when imaging the landmark, and area generation unit for generating a region of the landmark in the images that are imaged by the imaging device,
Based on said comparison of the generated region by region generating means and said detected by the detecting unit area, the detection parameter computer-readable recording medium which stores a program to function as a parameter adjusting means for adjusting the.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002223281A JP4194316B2 (en) | 2002-07-31 | 2002-07-31 | Position / orientation estimation apparatus, position / orientation estimation method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002223281A JP4194316B2 (en) | 2002-07-31 | 2002-07-31 | Position / orientation estimation apparatus, position / orientation estimation method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004062757A JP2004062757A (en) | 2004-02-26 |
JP2004062757A5 JP2004062757A5 (en) | 2005-07-21 |
JP4194316B2 true JP4194316B2 (en) | 2008-12-10 |
Family
ID=31943077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002223281A Expired - Fee Related JP4194316B2 (en) | 2002-07-31 | 2002-07-31 | Position / orientation estimation apparatus, position / orientation estimation method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4194316B2 (en) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4537104B2 (en) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | Marker detection method, marker detection device, position and orientation estimation method, and mixed reality space presentation method |
JP2005292027A (en) * | 2004-04-02 | 2005-10-20 | Miyazaki Tlo:Kk | Processor and method for measuring/restoring three-dimensional shape |
JP4593968B2 (en) * | 2004-05-14 | 2010-12-08 | キヤノン株式会社 | Position and orientation measurement method and apparatus |
JP4976756B2 (en) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | Information processing method and apparatus |
JP5258549B2 (en) * | 2008-12-26 | 2013-08-07 | 学校法人立命館 | Composite image display system, composite image display method, and composite image display program |
JP5258548B2 (en) * | 2008-12-26 | 2013-08-07 | 学校法人立命館 | Composite image display system, composite image display method, and composite image display program |
JP5649842B2 (en) * | 2010-03-30 | 2015-01-07 | 新日鉄住金ソリューションズ株式会社 | Information providing apparatus, information providing method, and program |
JP5473742B2 (en) * | 2010-04-20 | 2014-04-16 | 富士通テン株式会社 | Calibration method |
JP2012103116A (en) * | 2010-11-10 | 2012-05-31 | Nippon Telegr & Teleph Corp <Ntt> | Camera pose information calculating device and camera pose information calculating program |
JP5961938B2 (en) * | 2011-07-15 | 2016-08-03 | 国立大学法人山梨大学 | Monospectral marker and method and apparatus for detecting the same |
JP5726024B2 (en) * | 2011-09-05 | 2015-05-27 | キヤノン株式会社 | Information processing method and apparatus |
JP6942566B2 (en) | 2017-08-30 | 2021-09-29 | キヤノン株式会社 | Information processing equipment, information processing methods and computer programs |
JP7191706B2 (en) * | 2019-01-16 | 2022-12-19 | 住友重機械工業株式会社 | Information processing device, program, marker for image recognition |
JP7292883B2 (en) * | 2019-01-16 | 2023-06-19 | 住友重機械工業株式会社 | Information processing device, program, marker set for image recognition |
-
2002
- 2002-07-31 JP JP2002223281A patent/JP4194316B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004062757A (en) | 2004-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4194316B2 (en) | Position / orientation estimation apparatus, position / orientation estimation method, and program | |
US7529387B2 (en) | Placement information estimating method and information processing device | |
US20210232845A1 (en) | Information processing apparatus, information processing method, and storage medium | |
US9495750B2 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
US9325969B2 (en) | Image capture environment calibration method and information processing apparatus | |
US7812871B2 (en) | Index identification method and apparatus | |
US7558403B2 (en) | Information processing apparatus and information processing method | |
JP6394081B2 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP2003281504A (en) | Image pickup portion position and attitude estimating device, its control method and composite reality presenting system | |
JP5074322B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
EP1596329A2 (en) | Marker placement information estimating method and information processing device | |
US20100086218A1 (en) | Position and orientation measurement apparatus and method thereof | |
JPWO2016181687A1 (en) | Image processing apparatus, image processing method, and program | |
JP2011179908A (en) | Three-dimensional measurement apparatus, method for processing the same, and program | |
WO2015019526A1 (en) | Image processing device and markers | |
US11488354B2 (en) | Information processing apparatus and information processing method | |
JP6860620B2 (en) | Information processing equipment, information processing methods, and programs | |
JP6922348B2 (en) | Information processing equipment, methods, and programs | |
WO2021130860A1 (en) | Information processing device, control method, and storage medium | |
JP6942566B2 (en) | Information processing equipment, information processing methods and computer programs | |
US20220383589A1 (en) | Image processing apparatus, image processing method, method for generating learned model, and storage medium | |
JP2005107965A (en) | Index identification method and device | |
JP5530391B2 (en) | Camera pose estimation apparatus, camera pose estimation method, and camera pose estimation program | |
JP2006113832A (en) | Stereoscopic image processor and program | |
WO2023119412A1 (en) | Information processing device, control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080306 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080909 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080922 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |