JPWO2018135063A1

JPWO2018135063A1 - マーカとマーカを用いた姿勢推定方法及び位置姿勢推定方法

Info

Publication number: JPWO2018135063A1
Application number: JP2018562879A
Authority: JP
Inventors: 田中　秀幸; 秀幸田中
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2017-01-17
Filing date: 2017-10-26
Publication date: 2019-07-18
Also published as: EP3550259B1; EP3550259A1; CN110140023A; US10928191B2; US20190339071A1; CN110140023B; WO2018135063A1; EP3550259A4

Abstract

より精度の高い位置や姿勢の推定を実現するマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法を提供する。上記課題を解決するため、本発明は、対象物の姿勢を推定するためのマーカであって、対象物に対する少なくとも一つの軸周りの視線角度を推定するための標準可変モアレパターンＶＳ１，ＶＳ２と、標準可変モアレパターンＶＳ１，ＶＳ２よりも視線角度の分解能が小さく、上記軸周りの視線角度を推定するための高感度可変モアレパターンＶＨ１，ＶＨ２とを備えたマーカ１を提供する。

Description

本発明は、対象物の姿勢や位置を推定するためのマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法に関するものである。

単眼カメラで撮像することにより３次元空間における対象物の位置や姿勢を計測することが可能となる平面パターンが考案されており、一般的に平面視覚マーカと呼ばれている。

このような平面視覚マーカは、拡張現実（Augmented Reality：ＡＲ）やロボティクスの分野等において物体に貼り付けて使用されているが、本出願人によっても種々の平面視覚マーカにつき開発が進められてきている（特許文献１〜３及び非特許文献１参照）。

特開２０１２−１４５５５９号公報特開２０１４−１０２２４６号公報国際公開ＷＯ／２０１５／０４５８３４号公報

H.Tanaka, K.Ogata, and Y.Matsumoto,"Improving the Accuracy of Visual Markers",in Proc. 2016 IEEE Int. Symposium on Robotics and Intelligent Sensors, 2016

しかし、既存の平面視覚マーカを用いて対象物の位置や姿勢を推定する場合には、精度の良い全地球測位システム（Global Positioning System：ＧＰＳ）による測位と同じレベルの精度は得られないという問題がある。

本発明は、上記のような問題を解決するためになされたもので、より精度の高い位置や姿勢の推定を実現するマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法を提供することを目的とする。

上記課題を解決するため、本発明は、対象物の姿勢を推定するためのマーカであって、対象物に対する少なくとも一つの軸周りの視線角度を推定するための第一の視線角度推定手段と、第一の視線角度推定手段よりも視線角度の分解能が小さく、上記軸周りの視線角度を推定するための第二の視線角度推定手段とを備えたマーカを提供する。

また、上記課題を解決するため、本発明は、対象物の姿勢を推定するためのマーカを用いた姿勢推定方法であって、第一の視線角度推定手段を用いて、対象物に対する少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、第一の視線角度推定手段よりも視線角度の分解能が小さな第二の視線角度推定手段を用いて、上記軸周りの視線角度の候補値を求める第二のステップと、第二のステップで求められた候補値のうち、第一のステップで仮決定された視線角度に最も近い値を、上記軸周りの視線角度の推定値とする第三のステップとを有するマーカを用いた姿勢推定方法を提供する。

また、上記課題を解決するため、本発明は、対象物の位置と姿勢の双方を変数とした最適解を得ることにより、位置と姿勢の推定値を得るためのマーカを用いた位置姿勢推定方法であって、第一の視線角度推定手段を用いて少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、第一の視線角度推定手段よりも視線角度の分解能が小さな第二の視線角度推定手段を用いて、上記軸周りの視線角度の候補値を求める第二のステップと、第二のステップで求められた候補値のうち、第一のステップで仮決定された視線角度に最も近い値を、上記軸周りの視線角度の推定値とする第三のステップと、第三のステップで得られた視線角度の推定値を用いて、前記位置の推定値を求める第四のステップとを有するマーカを用いた位置姿勢推定方法を提供する。

本発明によれば、より精度の高い位置や姿勢の推定を実現するマーカと、本マーカを用いた姿勢推定方法及び位置姿勢推定方法を提供することができる。

視線及び視線角度の定義を説明するための図である。可変モアレパターンにおける周期の定義を説明するための図である。本発明の実施の形態に係る平面視覚マーカ１の構成を示す平面図である。図３に示された標準可変モアレパターンＶＳ１，ＶＳ２における移動マークの位置Ｘと視線角度θの関係を示したグラフである。図３に示された高感度可変モアレパターンＶＨ１，ＶＨ２における移動マークの位置Ｘと視線角度θの関係を示したグラフである。図３に示された高感度可変モアレパターンＶＨ１，ＶＨ２の構成を示す断面図である。本発明の実施の形態に係る姿勢推定方法を示すフローチャートである。本発明の実施の形態に係る位置姿勢推定方法を説明するための図である。本発明の実施の形態に係る位置姿勢推定方法を示すフローチャートである。図３に示された平面視覚マーカ１の第一の変形例を説明するための図である。図３に示された平面視覚マーカ１の第二の変形例を説明するための図である。図３に示された平面視覚マーカ１の第三の変形例を説明するための図である。図３に示された平面視覚マーカ１の第四の変形例を説明するための図である。図３に示された平面視覚マーカ１の第五の変形例を説明するための図である。図３に示された平面視覚マーカ１の第六の変形例を説明するための図である。図３に示された平面視覚マーカ１の第七の変形例を説明するための図である。図３に示された平面視覚マーカ１の第八の変形例を説明するための図である。図３に示された平面視覚マーカ１の第九の変形例を説明するための図である。図３に示された平面視覚マーカ１の第十の変形例を説明するための図である。

以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。

最初に、図１及び図２を参照しつつ、用語の定義を説明する。なお、以下ではＹ軸周りの事象を例として説明するが、任意の軸周りの事象も同様に定義されることはいうまでもない。

図１において、後述する移動マークＭの中心を注視点Ｐ０とし、測定対象物のなす平面Ｂ上においてＹ軸と平行で注視点Ｐ０を通る軸をＹ１軸、平面Ｂと垂直なＺ軸と平行で注視点Ｐ０を通る軸をＺ１軸とする。

ここで、図１に示された観測視点ＶＰと注視点Ｐ０を結ぶ線Ｌを視線という。また、図１に示されるように、Ｚ１軸と、Ｚ１軸に直交するＹ１軸とを含む平面を平面Ｐ１、線ＬとＹ１軸とを含む平面を平面Ｐ２とするとき、平面Ｐ１と平面Ｐ２のなす角ＳＡをＹ軸周りの視線角度という。

また、可変モアレパターンとは、特許文献１に記載されているように、見る角度に応じて模様が変化する（移動して見える）干渉縞パターンであり、ある視線角度範囲においてマーカの姿勢を一意に決定する機能を有するものである。

また、以下においては、例えば観測可能な視線角度範囲が±２５〜３０度のものを標準可変モアレパターン、それよりも高感度のものを高感度可変モアレパターンという。

また、可変モアレパターンの中で、見る角度に応じて移動するように見える線を移動マークという。

一方、移動マークが観測されるＸ軸上の位置は、図１に示された移動マークＭの中心である注視点Ｐ０への視線角度ＳＡと対応している。すなわち、矩形をなす可変モアレパターンの中心を原点０とし、可変モアレパターンの長軸方向をＸ軸、短軸方向をＹ軸としたとき、移動マークＭのＸ軸上の位置とＹ軸周りの視線角度θの関係を図示すると図２のようになる。ここで、直線グラフｅｑ０は当該可変モアレパターンを正面から見たときに中央付近に見えるメインの移動マークＭの軌跡を表し、直線グラフｅｑ１,ｅｑ２は移動マークＭが可変モアレパターンの端部方向に移動したときに、他端の方向から現れる移動マークの軌跡を表す。このとき、軌跡間の視線角度上の距離Ｆを周期という。つまり、可変モアレパターン上で隣の移動マークが現在の移動マークと同じ位置に来るまでの視線角度が周期となり、図２においては、周期が２αの場合が図示されている。

図３は、本発明の実施の形態に係る平面視覚マーカ１の構成を示す平面図である。図３に示されるように、平面視覚マーカ１は、二次元パターンコードを含む矩形のＡＲマーカ２と、ＡＲマーカ２と同一平面上において、ＡＲマーカ２の隣接する二辺にそれぞれ平行に配置された平面矩形状の標準可変モアレパターンＶＳ１，ＶＳ２と、ＡＲマーカ２を挟んで標準可変モアレパターンＶＳ１，ＶＳ２と対向する位置に配置された平面矩形状の高感度可変モアレパターンＶＨ１，ＶＨ２と、四隅に配置された参照点ＲＰ１〜ＲＰ４とを備える。

すなわち、標準可変モアレパターンＶＳ１，ＶＳ２の長軸はそれぞれ、回転軸であるｙ軸，ｘ軸と直交するように配置され、高感度可変モアレパターンＶＨ１，ＶＨ２の長軸もそれぞれ、回転軸であるｙ軸，ｘ軸と直交するように配置される。

また、図３に示された高感度可変モアレパターンＶＨ１，ＶＨ２は、一般的に、標準可変モアレパターンＶＳ１，ＶＳ２よりも感度がｎ（ｎは１より大きな数）倍、つまり視線角度の分解能が（１／ｎ）倍とされる。このとき、視線角度の変化に対する移動マークの移動速度がｎ倍にされるが、そのためには高感度可変モアレパターンの周期が標準可変モアレパターンの周期の（１／ｎ）倍とされる。

一例として、ｎが２の場合、それぞれ標準可変モアレパターンＶＳ１，ＶＳ２における移動マークの位置Ｘと視線角度θの関係は図４Ａ、高感度可変モアレパターンＶＨ１，ＶＨ２における移動マークの位置Ｘと視線角度θの関係は図４Ｂに示される。なお、図４Ａに示された直線グラフｅｑＳ０は原点と点（ｘ１，α１）を通り、直線グラフｅｑＳ１，ｅｑＳ２は直線グラフｅｑＳ０と平行なものである。また、図４Ｂに示された直線グラフｅｑＨ０は原点と点（ｘ１，α１／２）を通り、直線グラフｅｑＨ１，ｅｑＨ２は直線グラフｅｑＨ０と平行なものである。

図４Ａ及び図４Ｂに示されるように、標準可変モアレパターンＶＳ１，ＶＳ２の周期は２α１であるのに対して、高感度可変モアレパターンＶＨ１，ＶＨ２の周期はα１であり、標準可変モアレパターンＶＳ１，ＶＳ２に比して周期が（１／２）倍となっていることが分かる。

以下において、図５を参照しつつ、高感度可変モアレパターンの周期を標準可変モアレパターンの周期の（１／ｎ）倍とする方法について説明する。なお、ここでは前提として、標準可変モアレパターン及び高感度可変モアレパターンは共に、縞模様ＳＴの上に配設された焦点距離ｆのレンチキュラーレンズＬＬからなるものとし、レンチキュラーレンズのレンズピッチｐと縞模様のピッチＳＰはほとんど等しいものとする。

図５において、視点ＶＰ１から視線Ｌ１に沿って上記標準可変モアレパターンを観測したとき、中央のレンズの位置に移動マークが見えたとする。そこから視点を移動して、すなわち視線を傾けてゆくと移動マークが動くように観測されるが、２α１の角度だけ視線を傾けて視点ＶＰ２の位置にくると、視線Ｌ２に沿って隣の移動マークが中央のレンズの位置に見えるようになる。

このとき、上記視線の傾き、すなわち周期をθとすると、周期θとレンズピッチｐ及び焦点距離ｆの関係は、以下の式（１）のように表すことができる。

従って、周期θはレンズピッチと焦点距離の比（ｐ／ｆ）によって変えることができることになる。このことから、周期θを（１／ｎ）倍にしたいときは、レンズピッチと焦点距離の比を以下の値（２）とすればよいことになる。

なお、上記において、レンズピッチｐを隣接するレンズの中心間距離、焦点距離ｆを個々のレンズの焦点距離とそれぞれ読み替えることにより、標準可変モアレパターンや高感度可変モアレパターンがレンチキュラーレンズではなくレンズアレイからなる場合でも同様に考えることができる。

以下において、図６を参照しつつ、本発明の実施の形態に係る姿勢推定方法を説明する。なお、図３に示された平面視覚マーカ１を用いて姿勢推定を行う場合を一つの具体例として、本姿勢推定方法を説明する。

一般的に、姿勢推定においても高精度であることが望まれるが、上記のように高感度可変モアレパターンの周期は標準可変モアレパターンよりも周期が短いことから、図４Ｂからも分かるように、高感度可変モアレパターンにおける移動マークの位置と視線角度の関係は一対多となる。このことから、観測された移動マークの位置に応じて視線角度を一意に決めることができないため、精度の異なる視線角度推定手段を併用し、まずは相対的に精度の低い視線角度推定手段を用いて大まかな視線角度を得た上で、それより精度の高い視線角度推定手段を用いて最終的な精度の高い視線角度を求める方法が採用される。

ステップＳ１において、第一の視線角度推定手段を用いて、対象物に対する少なくとも一つの軸周りの視線角度を仮決定する。具体的には、例えば図３に示された標準可変モアレパターンＶＳ１，ＶＳ２に現れる移動マークを観測することにより、図４Ａのグラフを用いて平面視覚マーカ１が付された対象物のｙ軸及びｘ軸周りの視線角度が仮決定される。

次に、ステップＳ２において、第一の視線角度推定手段よりも視線角度の分解能が小さな第二の視線角度推定手段を用いて、上記軸周りの視線角度の候補値を求める。具体的には、例えば図３に示された高感度可変モアレパターンＶＨ１，ＶＨ２に現れる移動マークを観測することにより、図４Ｂのグラフを用いてｙ軸及びｘ軸周りの視線角度の候補値が求められる。

そして、ステップＳ３において、ステップＳ２で求められた候補値のうち、ステップＳ１で仮決定された視線角度に最も近い値を、上記軸周りの視線角度の推定値とする。このようにして、上例においては、ｙ軸及びｘ軸周りの高精度な視線角度を得ることができることになる。

以下においては、上記のような方法により姿勢が高精度に推定できた後に、対象物の位置の推定精度も向上させる方法について説明する。本方法は簡潔に述べると、上記のような方法により得られた姿勢パラメータとしての視線角度を固定した上で、再投影誤差を再最小化する方法といえる。

一般的に、上記のような平面視覚マーカを使用した位置の推定は、マーカ上の点の三次元位置とその画像上での観測座標との複数の対応を求めるＰｎＰ（Perspective-n-Points）問題を解くことで行われる。ここで、本問題を解くために用いられる点の数は４であり、図３に示された平面視覚マーカ１では周囲の４つの参照点ＲＰ１〜ＲＰ４が用いられる。

このとき、位置だけでなく姿勢も同時に求められ、具体的には図７に示されるカメラ座標系Ｘ_c，Ｙ_c，Ｚ_cをマーカ座標系Ｘ_m，Ｙ_m，Ｚ_mに移す並進移動と回転移動を表す同次変換行列が求められる。

そのとき、推定精度を高めるため、再投影誤差の最小化が行われる。ここで、再投影とは、推定したマーカの位置姿勢を用いて、マーカ上の特徴点が画像座標系Ｘ_i，Ｙ_i（画像平面）のどこに観測されるかを計算することをいう。このとき、実際に画像上で観測される点と再投影した点との間の誤差（画像平面上での距離）を再投影誤差という。この再投影誤差が最小となるよう、最初に求めたマーカの位置姿勢を基にマーカの位置姿勢を微修正するのが再投影誤差の最小化である。なお、この最小化は、ニュートン法やマルカート法等の非線形最適化手法による繰り返し計算によって行われる。

以上を前提として、本発明の実施の形態に係る位置姿勢推定方法を、図８を参照しつつ説明する。なお、図８に示されたステップＳ１からステップＳ３までは、図６に示されたステップＳ１からステップＳ３までと同じであるので説明を省略する。

図８に示されたステップＳ４では、ステップＳ３で得られた視線角度の推定値を用いて、上記位置の推定値を求める。具体的には、図６に示された本発明の実施の形態に係る姿勢推定方法により得られた視線角度の推定値を用いて、すなわち姿勢パラメータを固定して位置パラメータだけに関して上記再投影誤差の最小化を再度行うことにより、位置情報をより高精度に修正することができる。

なお、最小化の手法は特に問わず、非線形最適化手法の中で姿勢パラメータを固定して行う方法や、位置パラメータを微小に変化させつつ探索アルゴリズムによって再投影誤差の最小値を探索する方法等が考えられる。

以下において、図３に示された本発明の実施の形態に係る平面視覚マーカ１の変形例について説明する。

図９に示されるように、視線角度検出手段として標準可変モアレパターンの替わりに、ドットマークＤを高感度可変モアレパターンＶＨと組み合わせて使用してもよい。なお、図９の破線は回転軸ＡＸを示す。

また、図１０に示されるように、標準可変モアレパターンＶＳと高感度可変モアレパターンＶＨ１の他に、高感度可変モアレパターンＶＨ１よりさらに感度の高い高感度モアレパターンＶＨ２を併用してもよい。このような構成においては、さらに高感度可変モアレパターンＶＨ１と高感度可変モアレパターンＶＨ２の間において、図６に示された姿勢推定方法が適用され、視線角度の推定精度がより高められる。

また、図１１に示されるように、図１０に示された標準可変モアレパターンＶＳの替わりにドットマークＤを使用してもよく、図１２に示されるように、標準可変モアレパターンとしてレンズアレイ型標準可変モアレパターンＶＳＰを、高感度可変モアレパターンとしてレンズアレイ型高感度可変モアレパターンＶＨＰを使用してもよい。

また、図１３に示されるように、図１２に示されたレンズアレイ型高感度可変モアレパターンＶＨＰの替わりに高感度可変モアレパターンＶＨ１，ＶＨ２を使用してもよく、図１４に示されるように、図１２に示されたレンズアレイ型標準可変モアレパターンＶＳＰの替わりに標準可変モアレパターンＶＳ１，ＶＳ２を使用してもよい。

また、図１５に示されるように、図１２に示されたレンズアレイ型標準可変モアレパターンＶＳＰの機能を、四隅のドットマークＤに代替させてもよく、図１６に示されるように、図１３に示されたレンズアレイ型標準可変モアレパターンＶＳＰの機能を、四隅のドットマークＤに代替させてもよい。

また、図１７に示されるように、移動マークの移動方向と回転軸が直交する標準可変モアレパターンＶＳＡ及び高感度可変モアレパターンＶＨＡと、移動マークの移動方向と回転軸が平行となる標準可変モアレパターンＶＳＢ及び高感度可変モアレパターンＶＨＢを長軸方向を揃えて配置してもよい。

また、図１８に示されるように、図１７に示された標準可変モアレパターンＶＳＡ及び標準可変モアレパターンＶＳＢの機能を、四隅のドットマークＤに代替させてもよい。

以上より、本発明の実施の形態に係る平面視覚マーカ１、姿勢推定方法及び位置姿勢推定方法によれば、位置や姿勢を従来より高精度に推定することができる。

１平面視覚マーカ
ＶＳ，ＶＳ１，ＶＳ２，ＶＳＡ，ＶＳＢ標準可変モアレパターン
ＶＳＰレンズアレイ型標準可変モアレパターン
ＶＨ，ＶＨ１，ＶＨ２，ＶＨＡ，ＶＨＢ高感度可変モアレパターン
ＶＨＰレンズアレイ型高感度可変モアレパターン
Ｐレンズピッチ
ｆ焦点距離
Ｄドットマーク

Claims

対象物の姿勢を推定するためのマーカであって、
前記対象物に対する少なくとも一つの軸周りの視線角度を推定するための第一の視線角度推定手段と、
前記第一の視線角度推定手段よりも前記視線角度の分解能が小さく、前記軸周りの視線角度を推定するための第二の視線角度推定手段とを備えたマーカ。
前記第一の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ、レンズアレイ、又はドットマークのうちいずれか一つからなる請求項１に記載のマーカ。
前記第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ、又はレンズアレイからなる請求項１に記載のマーカ。
前記第一及び第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ又はレンズアレイからなり、前記第一の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチをｐ、焦点距離をｆとすると、前記第二の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチと焦点距離の比が、ｎを１より大きな数としてｔａｎ(ｔａｎ^-1(ｐ/ｆ)/ｎ)である請求項１に記載のマーカ。
対象物の姿勢を推定するためのマーカを用いた姿勢推定方法であって、
第一の視線角度推定手段を用いて、前記対象物に対する少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、
前記第一の視線角度推定手段よりも前記視線角度の分解能が小さな第二の視線角度推定手段を用いて、前記軸周りの視線角度の候補値を求める第二のステップと、
前記第二のステップで求められた前記候補値のうち、前記第一のステップで仮決定された前記視線角度に最も近い値を、前記軸周りの視線角度の推定値とする第三のステップとを有するマーカを用いた姿勢推定方法。
前記第一及び第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ又はレンズアレイからなり、前記第一の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチをｐ、焦点距離をｆとすると、前記第二の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチと焦点距離の比を、ｎを１より大きな数としてｔａｎ(ｔａｎ^-1(ｐ/ｆ)/ｎ)とする請求項５に記載のマーカを用いた姿勢推定方法。
対象物の位置と姿勢の双方を変数とした最適解を得ることにより、前記位置と前記姿勢の推定値を得るためのマーカを用いた位置姿勢推定方法であって、
第一の視線角度推定手段を用いて少なくとも一つの軸周りの視線角度を仮決定する第一のステップと、
前記第一の視線角度推定手段よりも前記視線角度の分解能が小さな第二の視線角度推定手段を用いて、前記軸周りの視線角度の候補値を求める第二のステップと、
前記第二のステップで求められた前記候補値のうち、前記第一のステップで仮決定された前記視線角度に最も近い値を、前記軸周りの視線角度の推定値とする第三のステップと、
前記第三のステップで得られた前記視線角度の推定値を用いて、前記位置の推定値を求める第四のステップとを有するマーカを用いた位置姿勢推定方法。
前記第一及び第二の視線角度推定手段は、縞模様の上に配設されたレンチキュラーレンズ又はレンズアレイからなり、前記第一の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチをｐ、焦点距離をｆとすると、前記第二の視線角度推定手段としての前記レンチキュラーレンズ又はレンズアレイのレンズピッチと焦点距離の比を、ｎを１より大きな数としてｔａｎ(ｔａｎ^-1(ｐ/ｆ)/ｎ)とする請求項７に記載のマーカを用いた位置姿勢推定方法。