JP4537104B2 - マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 - Google Patents

Description

本発明は、画像から所定の視覚的特徴を有する領域（マーカ）を検出する技術に関し、特に誤って検出したマーカを排除する技術に関するものである。

複合現実空間提示システムでは、現実空間の画像と非現実空間（仮想空間）の画像を合成した複合現実空間画像を、ＨＭＤを通じて提示することにより、ＨＭＤを装着するユーザに複合現実空間（又は複合現実感）を体感させることができる（非特許文献１参照）。

このような複合現実空間提示システムにおいて、現実空間を撮影する撮像装置の位置姿勢（あるいは、撮像装置に対する現実物体の位置姿勢）を求める方法として、例えば非特許文献２に記載されるような、マーカ（ランドマークとも呼ばれる）を用いる方法が知られている。これは、現実空間中の既知の三次元座標に所定の視覚的特徴を有する物体（マーカ）を配置し、撮像画像中に含まれるマーカを検出し、検出したマーカの構成要素（マーカの重心や頂点など）の二次元画像位置と、既知の三次元座標とから撮像装置の位置姿勢を算出する方法である。
また、非特許文献３には、前フレームでの位置姿勢を初期値として、画面上における対応点の誤差が最小になるように撮像部の位置姿勢を繰り返し修正する方法が開示されている。

さらに、特許文献１には、マーカと位置姿勢センサとを組み合わせて用いることにより撮像装置の位置姿勢を求める方法が開示されている。これは、計測範囲が限定され、かつ計測誤差を有する６自由度センサ又は３自由度センサを撮像装置に固定し、６自由度センサ又は３自由度センサにより測定される位置姿勢情報と、撮像画像上のマーカ検出により得られる位置姿勢情報とを組み合わせることにより、測定精度を向上させようとするものである。

これらの方法ではいずれも、得られる位置姿勢の精度がマーカの検出精度に大きく影響される。例えば、撮影画像からマーカと認識した複数の領域のうち、１つでも誤検出したものが含まれると、最終的に得られる位置姿勢の精度は大きく悪化する。このような誤検出を誘発する要因として、撮像した現実空間内にマーカと似た画像的な特徴を有する物体が存在しうることが挙げられる。

このような類似の特徴を有するマーカ以外の領域を誤検出することを回避するため、現実空間内に存在する確率の低い視覚的特徴（形状や模様、色など）を持つマーカを使用する方法が採られることが多い。

特開平１１−１３６７０６号公報 H. Tamura, H. Yamamoto and A. Katayama: "Mixed reality: Future dreams seen at the border between real and virtual worlds," Computer Graphics and Applications, vol.21, no.6, pp.64-70, 2001. 加藤ら："マーカー追跡に基づく拡張現実感システムとそのキャリブレーション", 日本VR 学会論文誌, Vol.4, No.4,pp.607-616 (1999) 内山晋二, 山本裕之, 田村秀行："複合現実感のためのハイブリッド位置合わせ手法−６自由度センサとICP アルゴリズムの併用−", 画像の認識・理解シンポジウム(MIRU 2002)論文集I, 情報処理学会シンポジウムシリーズ, vol.2002, no.11, pp.I.107-I.112, 2002.

しかし、マーカを利用した位置姿勢の算出（推定）精度を低下させる要因としては、上述したような、「マーカ以外のものを誤って検出する」こと以外にも存在する。例えば、検出を妨げない程度に一部が他の物体に隠された状態にあるマーカ（以後、部分隠蔽されたマーカと呼ぶ）に帰因する精度低下である。部分隠蔽されたマーカは、本来検出されるべき領域とは異なる形状の領域として検出されるため、重心位置や頂点の座標が誤って認識又は算出され、最終的な撮像装置の位置姿勢算出精度を悪化させる。以下、マーカが部分隠蔽されることにより、マーカの情報が正しく得られない状態を部分隠蔽による誤検出と呼ぶ。

図５及び図６は、部分隠蔽による誤検出の例を説明する図である。図５において、マーカ（矩形マーカ４０００Ａ）は、その内部に矩形５０２０を有している。このようなマーカを利用する場合、矩形５０２０の４頂点（５０３０、５０４０、５０５０及び５０６０）を正しく検出する必要がある。

しかし、図５（Ａ）に示すように、矩形５０２０の４頂点のうちの２頂点５０３０、５０４０が、ユーザの手４０２０Ｒによって隠蔽されている状況においては、図５（Ｂ）のような画像処理（例えば二値化）によって矩形５０２０を検出した場合、手４０２０Ｒと矩形５０２０との接点６０１０、６０２０を頂点５０３０、５０４０であると誤認識してしまう（図５（Ｃ））。

また、図６は、図６（Ａ）に示すマーカ（色領域マーカ４０１０）の一部が図６（Ｂ）に示すようにユーザの手４０２０Ｒによって隠蔽された場合を示している。この場合、マーカの重心点として、本来の位置７０００ではなく、誤った位置７０１０が検出されてしまう。

マーカを利用した撮像装置の位置姿勢算出は、世界座標系において既知なマーカ（又はマーカが有するパターン）の頂点や重心位置が、撮像装置の座標系においてどのような座標として検出されるかを元に行われる。従って、画像中で検出したマーカの特徴点（頂点や重心など）が誤って検出されると、最終的に得られる位置姿勢情報の精度悪化を引き起こす。

しかしながら、従来のマーカ検出方法では、部分隠蔽による誤検出が生じても、誤検出だと判断できないという課題があった。

本発明は、このような従来技術の課題に鑑みなされたものであり、マーカの部分隠蔽が原因で誤検出されたマーカの特徴点（上の例における頂点座標や重心位置）の利用を抑制することをその主な目的とする。

上述の目的は、撮像されたマーカを撮像画像から検出するマーカ検出方法であって、撮像画像を取得する画像取得工程と、撮像画像から、マーカの形状、色、もしくは模様に対応するマーカ領域を検出するマーカ領域検出工程と、検出されたマーカ領域に、所定色の画素を含んだ隣接領域が存在するか否かを検査する隣接領域検査工程と、検出されたマーカ領域のうち、所定色の画素を含んだ隣接領域が存在するマーカ領域を無効なマーカ領域と判定する判定工程とを有することを特徴とするマーカ検出方法によって達成される。

また、上述の目的は、撮像されたマーカを撮像画像から検出するマーカ検出方法であって、撮像画像を取得する画像取得工程と、撮像画像から、マーカの形状、色、もしくは模様に対応するマーカ領域を検出するマーカ領域検出工程と、検出されたマーカ領域の頂点毎に定められる隣接領域に、所定色の画素を含んだ隣接領域が存在するか否かを検査する隣接領域検査工程と、検出されたマーカ領域の頂点のうち、所定色の画素を含んだ隣接領域が存在する頂点を無効な頂点と判定する判定工程とを有することを特徴とするマーカ検出方法によっても達成される。

本発明によれば、部分隠蔽の可能性のあるマーカをマーカ領域の隣接領域に含まれる色によって判定することで、誤検出されたマーカの特徴点の利用を抑制することが可能になる。従って、撮像部の位置姿勢推定にマーカを用いる場合の推定精度を向上することが可能になる。

[第１の実施形態]
以下、添付図面を参照して、本発明をその最適な実施形態に基づき詳細に説明する。
以下の説明においては、ビデオシースルー（Video See-Through）型のヘッドマウントディスプレイ（ＨＭＤ）を用いた複合現実（Mixed Reality : ＭＲ）空間提示システムに、本発明の実施形態に係るマーカ検出装置を適用した場合について説明する。

本発明のマーカ検出装置により、ビデオシースルー型のHMDに取り付けた撮像部（以降、特に断らない限り「撮像部」という言葉は左右一対のカメラをまとめて指す）の位置姿勢を精度良く推定することができる。その結果、現実空間を撮像した現実空間画像上にコンピュータグラフィックス等により描画された仮想空間の画像をより正しく位置合わせして重畳合成することが可能になり、この合成画像をＨＭＤを通じて観察するユーザが複合現実空間（以下、ＭＲ空間と呼称する）を違和感無く、より自然に体験できる。

複合現実空間提示システムでは、現実空間の画像と非現実空間（仮想空間）の画像を合成した複合現実空間画像を、ＨＭＤを通じて提示することにより、ＨＭＤを装着するユーザに複合現実空間（又は複合現実感）を体感させることができる。なお、このような、複合現実感に関する技術（ＭＲ技術）についての情報は、例えば、非特許文献１から得ることができる。

ＭＲ空間を表現するためには、現実空間中に定義した基準座標系（現実空間に重畳しようとする仮想物体の位置姿勢を決定する基準となる現実空間中の座標系）と、撮像部の座標系（カメラ座標系）との間の、相対的な位置姿勢関係を得ることが不可欠である。なぜなら、仮想物体（仮想空間画像）を違和感なく現実空間画像に重畳表示するためには、現実空間画像を撮影する撮像部の実際のカメラパラメータ（すなわち、焦点距離や主点などのカメラ内部パラメータと撮像部の位置と姿勢を表すカメラ外部パラメータ）と同一のカメラパラメータを用いて仮想物体の画像を生成しなければならないからである。カメラ内部パラメータは撮像部固有で変化しない値であるため、予め用意しておくことが可能である。例えば、現実物体であるテーブル上のある位置に仮想物体を重畳表示する場合には、テーブルに基準座標系を定義し、その基準座標系における撮像部の位置姿勢（カメラ外部パラメータ）を求めればよい。また、観察者が手に保持する現実の箱に何らかの仮想の模様やラベルを重畳表示する場合には、箱自身の物体座標系を基準座標系と考え、カメラ座標系における箱（基準座標系）の位置姿勢を求めればよい。

なお、以下では、基準座標系に対する撮像部（カメラ座標系）の相対的な位置姿勢を、便宜的に「撮像部の位置姿勢」と呼称する。基準座標系と撮像部との間の相対的な位置姿勢とは、基準座標系に対する撮像部の位置姿勢、撮像部に対する基準座標系の位置姿勢、あるいは、これらを表現可能なデータ形式（例えば、基準座標系からカメラ座標系への座標変換行列や、カメラ座標系から基準座標系への座標変換行列）といった、一意に変換可能でありかつ本質的に同一の事象を表す情報を総称するものである。

本実施形態では、現実物体の上に配置したマーカを撮影画像中から検出し、そのマーカの検出結果を用いて、物体座標系を基準座標系とした撮像部の位置姿勢を推定する。本実施形態に係るマーカ検出装置によれば、前述の部分隠蔽による誤検出が生じる状況においても、それが誤検出であることを判別することが可能であり、誤検出された情報を利用しないことにより、撮像部の位置姿勢を精度良く求めることが可能である。

＜構成＞
図１は本実施形態に係るマーカ検出装置を含む複合現実空間提示システムの機能構成例を示すブロック図である。また図２は、この複合現実空間提示システムの外観を模式的に示す図である。また図３は、この複合現実空間提示システムの使用時の状態を示す模式図である。尚、各図で同じ部分については同じ番号を付けている。

本実施形態において、複合現実空間提示システムは、観察者（ユーザ）４０３０が位置姿勢を変更可能な可動物体３０１０を用い、可動物体３０１０の位置姿勢に応じて可動物体３０１０の近辺に仮想物体を表示するものとする。

ＨＭＤ１０００には、撮像部１０１０、表示部１０３０が設けられている。本実施形態では図２に示すように、撮像部１０１０と表示部１０３０とは２つずつあり、撮像部１０１０Ｒ、表示部１０３０Ｒは右目用、撮像部１０１０Ｌ、表示部１０３０Ｌは左目用である。このような構成を有することにより、このＨＭＤ１０００を頭部に装着した観察者４０３０の右目と左目には、視差画像を提示することができ、複合現実空間を三次元表示することが可能である。

つまり、本実施形態では、撮像部１０１０Ｒが撮像した現実空間の画像と、後段のワークステーション２０４０が生成した右目用の仮想空間の画像とが重畳された右目用の複合現実空間画像（この重畳画像を以下、ＭＲ画像と呼称する）を表示部１０３０Ｒにより右目に提示し、撮像部１０１０Ｌが撮像した現実空間の画像と、後段のワークステーション２０４０が生成した左目用の仮想空間の画像とが重畳された左目用のＭＲ画像を表示部１０３０Ｌにより左目に提示するので、結果として観察者４０３０はステレオＭＲ画像を観察することができる。なお、このようなステレオＭＲ画像の生成、提示に関する一般的な手法自体は周知であり、かつ本発明の本質とは関係ないため、これ以上の説明は行わない。

また、本実施形態に係るマーカ検出装置は、一つの撮像部、表示部を右目、左目で共有するシステム（即ち観察者４０３０がモノラルＭＲ画像を観察する場合）や、ＭＲ画像を単眼のみに表示するシステムに対しても適用可能である。

また、現実空間画像を取得し、また観察者４０３０にＭＲ画像を提示するための手段として本実施形態ではＨＭＤを用いるが、撮像部１０１０と表示部１０３０を少なくとも１対有する装置であれば任意の装置が利用可能である。さらには、撮像部１０１０と表示部１０３０とは互いに固定されている必要もない。

なお、説明を簡潔にし、また理解を容易にするために、以下、特に右目用、左目用等の、ステレオ画像を表す修飾語により特定される場合を除き、撮像部、表示部はそれぞれ１つの構成要素として取り扱う。また、システム内の他の構成要素や、そこで行われる処理や生成される画像についても、１つの要素、処理、画像として取り扱う。
撮像画像取得部１０４０は、撮像部１０１０によって撮像された現実空間の撮像画像（カラー画像）を入力し、画像データとして後述する記憶部１０９０に出力する。

マーカ検出部１０５０では、記憶部１０９０が保持している撮像画像の中からマーカの検出を行う。本実施形態では、マーカとして、図４に示すような、矩形形状のマーカ（以降、矩形マーカと呼ぶ）を用いる。矩形マーカ４０００は、図４（Ａ）に示すように、内部に白い矩形パターン５０２０を有し、矩形パターン５０２０の内部に、マーカの向きを表すための小型の黒い矩形パターン５０１０と、ＩＤを表すための色付きの小型矩形パターン５０００（ＩＤパターン）が隣接して配置されるマーカである。また、白色矩形パターン５０２０の周囲には、白色矩形パターン５０２０の検出を容易にするために白と区別しやすい色を有する枠が設けられている。なお、本実施形態において、検出すべき領域は白色矩形パターン５０２０であり、白色矩形パターン５０２０の検出ができれば枠部分は不要である。つまり、マーカとして機能するのは白色矩形パターン５０２０である。そのため、以下の説明では白色矩形パターン５０２０のことをマーカとして説明する。もちろん、図６に示したマーカのような枠の無いマーカを用いることも可能である。マーカ検出部１０５０の動作については後で詳細に説明する。

本実施形態においては、図３に示すように、可動物体３０１０には判別可能な異なる色のＩＤパターン５０００を有する２つの矩形マーカ４０００Ａ，４０００Ｂが設置されている。これらのマーカの配置情報（物体座標系４０５０における各頂点の３次元座標や各マーカのＩＤパターンの色情報など）は、予め記憶部１０９０に記憶されている。

隣接色検査部１０６０は、マーカ検出部１０５０が生成し、記憶部１０９０に記憶されている検出マーカのリストに含まれる各マーカに対して、部分隠蔽（誤検出）の可能性があるかどうかを判定し、部分隠蔽（誤検出）の疑いのあるマーカを検出マーカリストから削除する。隣接色検査部１０６０の動作については後で詳細に説明する。

記憶部１０９０では、本実施形態における複合現実空間提示システムの処理に必要な情報を保持し、処理に応じて情報の読み出しや更新を行う。複合現実空間提示システムの処理に必要な情報とは、例えば、マーカの配置情報、描画する仮想物体の頂点情報、仮想物体の配置情報といった、予め用意される情報に加え、撮像画像や、後述する二値化画像、検出マーカのリスト（ＩＤと各頂点の画像座標）など、処理中に発生する情報が含まれる。

仮想画像生成部１１１０は、撮像部位置姿勢推定部１０８０が出力する撮像部１０１０の位置姿勢と、記憶部１０９０に保存される情報に基づいて、撮像部の位置姿勢から見える仮想物体の画像を生成（描画）する。

画像合成部１１２０は、記憶部１０９０が保持している撮像画像と、仮想画像生成部１１１０から得られる仮想物体の画像（仮想空間の画像）とを合成した画像（ＭＲ画像）を生成する。この合成については、撮像画像の上に仮想画像生成部１１１０からの仮想画像を重畳することにより行われる。

この重畳処理時に、撮像画像から仮想物体より手前に表示すべき領域（例えば図３の例では観察者の手の領域）を検出し、この領域に対しては仮想空間の画像を上書き描画しない（撮像画像をそのまま描画する）ことにより、物体３０１０を持つ手の上に仮想物体が描画されるという不自然さが生じないようにしてもよい。

そして、画像合成部１１２０は、生成したＭＲ画像をＨＭＤ１０００の表示部１０３０に出力する。これにより、表示部１０３０には、撮像部１０１０の位置姿勢に応じた現実空間の画像と仮想空間の画像とが重畳されたＭＲ画像が表示され、このＨＭＤ１０００を頭部に装着したユーザに、複合現実空間を体験させることができる。

なお、図１において、ＨＭＤ１０００を除くすべての機能は、ワークステーション３０４０の機能構成に含まれるものとする。
ワークステーション３０４０の基本構成はパーソナルコンピュータとして市販されているコンピュータと同様であり、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置（ハードディスクドライブなど）、記憶媒体ドライブ装置（ＣＤ、ＤＶＤなどリムーバブル記憶媒体にアクセスするためのドライブ）、ビデオキャプチャボード、グラフィックボード、表示装置（ＬＣＤ、ＣＲＴモニタなど）及び入力デバイス（キーボード、マウス、タブレット、ジョイスティックなど）を備える。

そして、ＣＰＵは、ワークステーション３０４０全体の制御を行うと共に、上記ＭＲ画像を生成し、ＨＭＤ１０００の表示部１０３０に出力するまでの一連の処理を実行する。また、ＲＡＭは、外部記憶装置や記憶媒体ドライブ装置からロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵが各種の処理を実行するために用いるワークエリアも備える。

ＲＯＭは、ブートプログラムなど、本装置全体の制御を行うためのプログラムやデータ等を格納する。
入力デバイスは、ユーザ（観察者ではなく、ワークステーション３０４０のオペレータ）が、複合現実空間提示システムを実現するアプリケーションに対し、表示装置に示されるＧＵＩを通じて各種設定を行ったり、各種の指示を入力するために用いられる。

ハードディスクドライブ装置等に代表される外部記憶装置は、本実施形態の複合現実空間提示システムを実現するためのアプリケーションソフトウエアはもとより、処理に必要なデータや、アプリケーションソフトウエアが動作するＯＳ（オペレーティングシステム）、を格納する。

このような構成を有する複合現実空間提示システムにおいて、例えば、記憶部１０９０は外部記憶装置、記憶媒体ドライブ装置、ＲＡＭにより、また撮像画像取得部はビデオキャプチャボード、画像合成部１１２０はグラフィックボードにより実現され、他のマーカ検出部１０５０、隣接色検査部１０６０、撮像部位置姿勢推定部１０８０及び仮想画像生成部１１１０はＲＡＭやＲＯＭに格納されているプログラムやデータを用いて、ＣＰＵにより実現することができる。

＜処理の手順＞
次に、本実施形態における複合現実空間提示システムの全体的な処理の流れを図８のフローチャートを参照して説明する。上述のように、この処理はワークステーション３０４０が有するＣＰＵが記憶部１０９０に格納されるプログラムを実行して図１の各部を制御することによって実現される。なお、図８で示される処理は、ＭＲ画像を１枚生成するごとに繰り返し行われる処理である。

ステップＳ９０１０において、撮像画像取得部１０４０は撮像部１０１０にて撮像される撮像画像を取得して、記憶部１０９０に書き込む。
ステップＳ９０３０において、マーカ検出部１０５０は、記憶部１０９０から撮像画像を読み出し、マーカ検出処理を実行して、検出されたマーカのリストを記憶部１０９０に保存する。マーカ検出処理の詳細は後述する。

ステップＳ９０５０において、隣接色検査部１０６０は、記憶部１０９０に保持されている検出マーカのリスト中の全マーカに関して、部分隠蔽（誤検出）の疑いのあるマーカを判定し、部分隠蔽（誤検出）の疑いありと判断されたマーカのデータをリストから削除する。この処理についても詳細は後述する。

ステップＳ９１００において、撮像部位置姿勢推定部１０８０は、マーカリスト中の複数のマーカの画像座標と、予め記憶部１０９０に登録されている、夫々のマーカの基準座標系における３次元座標とから、撮像部１０１０の位置姿勢を推定し、仮想画像生成部１１１０に出力する。基準座標系における複数の点の３次元座標（マーカの頂点座標など）とそれらの投影像の画像座標（撮像画像から検出されたマーカの頂点座標など）から、投影像を撮像した撮像部の位置姿勢を求める方法は本発明と直接関係せず、また公知な技術であるので、詳細な説明は省略する。例えば、前フレームでの位置姿勢を初期値として、画面上における対応点の誤差が最小になるように撮像部の位置姿勢を繰り返し修正する方法（非特許文献３参照）や、同一平面内の点のみを用いてホモグラフィ演算を用いて撮像部の位置姿勢を求める手法（非特許文献１参照）等を用いることが可能である。

本実施形態においては、撮像部位置姿勢推定部１０８０による撮像部の位置姿勢推定処理時に、部分隠蔽の疑いのあるマーカの情報を用いないため、従来よりも精度良く撮像部の位置姿勢を求めることができる。

ステップＳ９１１０においては、仮想画像生成部１１１０が予め用意された仮想空間モデル（仮想物体の形状など、仮想空間を描画するために必要な情報）と、撮像部位置姿勢推定部１０８０から得た撮像部の位置姿勢に基づいて仮想物体の画像を描画し、画像合成部１１２０へ出力する。そして、画像合成部１１２０は、この仮想画像を記憶部１０９０から読み出した撮像画像（現実空間画像）上に重畳合成してＭＲ画像を生成し、表示部１０３０に出力する。

＜マーカ検出処理＞
次に、ステップＳ９０３０でマーカ検出部１０５０が行うマーカ検出処理について、図１０のフローチャートを用いて説明する。
マーカ検出部１０５０は、まず始めに、記憶部１０９０から撮像画像を読み出す（ステップＳ１０１）。図４（Ａ）は、撮像された矩形マーカの像の一例を表す。次に図４（Ｂ）で示すように、画像の各画素の明度に基づいた閾値処理によって、白黒の二値化画像を生成し、記憶部１０９０に保存する（ステップＳ１０５）。

そして、生成した二値化画像の中で白い領域に対してラベリングを行い、ラベリングされた領域（ラベル領域）毎に、その外周を表す画素の並びを抽出する。次に、各ラベル領域の中で、得られた画素の並びが、一定値以上の長さを持つ４つの線分から構成されるラベル領域を矩形マーカ候補として選定（図４（Ｂ）の５０２０’）し、４つの折れ点を探す。次いで図４（Ｃ）で示すように、各２頂点間に直線当てはめ処理を施すことで線分を求め、この４つの線分の交点を矩形マーカ候補の４頂点とする（ステップＳ１０７）。抽出されたマーカ候補は例えば記憶部１０９０にマーカ候補リストを生成し、頂点座標とともに登録する（ステップＳ１０９）。

次に、検出された各マーカ候補が実際のマーカの投影像であるか、ノイズや意図しない物体の映り込みによるマーカ以外のものの誤検出であるかの検証を行うと同時に、画像面上でのマーカの向きを判定する（ステップＳ１１１）。図７は検証の処理を示す概念図である。検証は、矩形マーカ候補の対角線を２本引き、各対角線を３等分する点８０１０、８０２０、８０３０、８０４０（２本の対角線で合計４点）における二値化画像（マーカ検出処理過程で生成された図４（Ｂ）の画像）上の画素値を用いて行う。具体的には、各点を起点として４点を反時計回りに（例えば、８０３０を起点とした８０３０、８０２０、８０４０、８０１０の４点）見たときに、画素値が［黒，任意，白，白］という並びになるような配置があるか否かを検証し、そのような配置がある場合は、そのマーカ候補を矩形マーカであると判定する（ステップＳ１１３、”Ｎ”）。それ以外の場合（ステップＳ１１３、”Ｙ”）は、そのマーカ候補は誤検出されたものと判定し、マーカ候補のリストから削除する（ステップＳ１１５）。図７の例では、８０４０を起点とした際にこの条件を満たし、矩形マーカであると判定される。

また、マーカ検出処理過程で生成した二値化画像を用いずに、撮像画像の画素値（明度）を参照することにより、予め定めた基準により［暗，任意，明，明］という並びとなるかどうかにより判定してもよい。この処理は、誤検出を判定すると同時にマーカの向きを得る処理も含んでおり、マーカであると判定された矩形マーカは、画面上における向きが一意に特定できる。すなわち、起点（図７の例では８０４０）に一番近い頂点が５０５０（矩形５０１０に一番近い頂点）となり、以下反時計回りに、５０６０、５０３０、５０４０の順で頂点にＩＤを割振ることができる。

最後に、検出された矩形マーカが、可動物体３０１０に設置された複数のマーカのうちのどのマーカであるかを同定する（ステップＳ１１７）。矩形マーカのＩＤはマーカ内部の色付きの小型矩形５０００によって表されているので、検出された矩形マーカの投影像から、小型矩形５０００上の点（マーカの向きの検出処理で利用した対角線上の４点のうちの、起点の右隣の点（図７の例では８０１０）がこれに相当する）の色によって判別する。ただし、この色付きの小型矩形５０００の色は、マーカ検出処理過程で生成された二値化画像から取得するのではなく、検出処理に利用した撮像画像（カラー画像）の同じ画素位置を参照し、色を取得するものとする。

マーカ検出部１０５０により得られた以下の処理結果は、記憶部１０９０に格納される。
・検出マーカのリスト（ＩＤと各頂点の画像座標）
・マーカ検出処理過程で生成された二値化画像
検出マーカのリストの例を図１２に示す。図１２において、No.は検出マーカの連番である。そして、各頂点の座標が順次格納され、最後に同定されたマーカのＩＤが格納される。

＜部分隠蔽の疑われるマーカの検出・削除処理＞
次に、ステップＳ９０５０で隣接色検査部１０６０が行う処理について、図１１のフローチャートを用いて説明する。
隣接色検査部１０６０は、記憶部１０９０に記憶されている検出マーカのリストに含まれる各マーカに対して、その隣接する領域に指定された色が含まれているかどうかを検査し、隣接領域に指定色が含まれているマーカを検出リストから削除する。

予め指定する色に特に制限はなく、マーカを利用するアプリケーションの内容などに応じてマーカを隠蔽する可能性のある物体の色などを指定すればよい。本実施形態における隣接色検査部１０６０においては、図３に示したように、観察者が手でマーカを隠蔽する可能性があるアプリケーションを想定する。この場合、図５（Ａ）における矩形マーカ４０００Ａのように、観察者の手によってマーカの一部が隠蔽されている状況では、図５（Ｃ）に示す、マーカとして検出された矩形領域（以下、マーカ領域と称する）に隣接する領域にユーザの手の画像が存在する。したがって、手による隠蔽の可能性を判定するには、ユーザの肌の色を指定色として記憶部１０９０に登録しておき、マーカ領域の隣接領域に指定色の画素が存在するか否かを検出することにより、手による隠蔽が生じている可能性の有無を検出することができる。

なお、上述したように、奥行き関係を正確に表したＭＲ画像を生成するため、仮想物体より手前にあるように（仮想物体に隠されないように）描画すべき領域の抽出を行う場合であって、ユーザの手の領域など肌色領域を抽出する場合には、隣接色検査部１０６０で検出した肌色の領域に関する情報を仮想画像生成部１１１０で利用して仮想物体の画像を描画することで、処理の効率化を計ることも可能である。ただし、この場合には、肌色を検出すべき隣接領域の範囲をより大きくする必要がある。

あるいは、指定色（ここでは肌色）領域の抽出を行う肌色領域抽出部を別途設け、記憶部１０９０から読み出した撮影画像中に含まれる肌色領域を抽出し、その領域に関する情報を仮想画像生成部１１１０での仮想画像生成処理及び隣接色検査部１０６０での処理に利用するようにしてもよい。この場合、肌色領域抽出部が例えば記憶部１０９０に肌色領域の撮像画像中の座標値を記憶し、その座標値を参照して仮想画像生成及び隣接領域における肌色画素の有無を調べることができ、効率的な処理が可能になる。このような肌色領域抽出部も、隣接色検査部１０６０と同様、ＣＰＵによってソフトウェア的に実現することが可能である。

マーカ領域の「隣接領域」は、記憶部１０９０に保持されている二値化画像（マーカ検出部１０５０におけるマーカ検出処理過程（図１０のステップＳ１０５）で生成された画像）に含まれているマーカ領域に膨張処理を施し、得られた領域（マーカ領域よりも全体的に大きな領域）から元のマーカ領域を取り除いた領域として得ることができる。なお、２次元画像処理における領域の膨張処理は公知の技術であるため、ここでの説明は省略する。また、検査の対象となる「隣接領域」の範囲はマーカ領域の周辺１画素であってもよいし、より大きな幅を持つ領域を隣接領域として検査しても良い。

隣接領域における肌色画素の有無の判定は、二値化画像上で隣接領域とされた領域に対して撮像画像上の対応する座標の各画素を検査することで行う。本実施形態では、肌色を示すＹＣｂＣｒ値（Ｙ，Ｃｂ，Ｃｒのそれぞれの上限値と下限値）を記憶部１０９０に登録しておき、隣接領域における肌色画素の（正確には、肌色を示すＹＣｂＣｒ値の範囲に含まれる画素値を有する画素の）有無を検出する。なお、隠蔽を起こす可能性がある物体の色として、肌色のみではなく、撮像する空間に存在する他の物体の色を指定することも可能であるし、複数色を同時に指定してもよい。

図１１において、隣接検査部１０６０はまず記憶部１０９０の検出マーカリストに登録された検出マーカの全てに対して処理を行ったかどうかを調べる（ステップＳ１２１）。全ての検出マーカに対して処理を行った場合には処理を終了し、未処理の検出マーカがあればステップＳ１２３へ移行する。

ステップＳ１２３では、記憶部１０９０に記憶された二値化撮像画像から、処理対象の検出マーカの隣接領域を抽出する。そして、ステップＳ１２５で、抽出した隣接領域に対応する（二値化されていない、カラーの）撮像画像の領域中に、指定色の画素が含まれるかどうか調べる。その結果、指定色画素が含まれていれば、処理対象の検出マーカ（に関する情報）を検出マーカのリストから削除する（ステップＳ１２９）。一方、指定色画素が含まれていなければ、ステップＳ１２１へ戻って未処理の検出マーカが残っているか調べる。

なお、ステップＳ１２５の処理において、隣接領域に指定色画素が含まれると判断する基準は、部分隠蔽の原因となりうる物体の種類や大きさなどの条件や、実際の試行錯誤になどに基づいて適宜定めることが可能である。例えば、隣接領域に１画素でも指定色画素が含まれれば「含まれる」と判定するようにしてもよいし、所定数（又は割合）以上含まれる場合や所定数以上連続して（又はある画素数以上の領域が）含まれる場合に「含まれる」と判定するようにしてもよい。また、複数の条件を組み合わせて判定しても良い。さらに、指定色が複数存在する場合には、指定色毎に判定条件を定めることもできる。

以上説明したように、本実施形態によれば、簡便な処理によって部分隠蔽の疑いのあるマーカを判定することが可能であり、このようなマーカを用いずに撮像部の位置姿勢を推定することで、より精度の良い位置姿勢推定結果を得ることが可能になる。

［変形例１］
第１の実施形態においては、検出マーカの隣接領域に特定の色が存在する場合に、そのマーカが部分隠蔽されている疑いがあると判定して、検出マーカのリストから削除していた。しかし、部分隠蔽による誤検出の判定方法は、これに限定されるものではなく、マーカを設置した周辺領域の色（周辺色）をマーカが隠蔽されていないときに取得して記憶部１０９０に登録しておき、隣接色検査部１０６０においては、登録されている周辺色以外の色が検出マーカの隣接領域に含まれるか否かを判定し、周辺色以外の色が検出された場合に、そのマーカを検出マーカのリストから削除するという手法を用いてもよい。

本変形例における複合現実空間提示システムの構成は、図１のブロック図と同様である。ただし、隣接色検査部１０６０の内部処理が異なっている。あらかじめ記憶部１０９０に登録する周辺色としては、マーカの周辺部の色（図４の例では黒）を人手で登録しておいても良いし、マーカの周りを隠蔽されていない状態で撮像することで自動的に収集しても良い。例えば、マーカを中心とする半球上を縦横１０分割する間隔で撮像することにより、様々な方向からの周辺色を収集することができる。ただし、収集の過程で注意しなければならないのは、隠蔽を起こす可能性が高い色（本実施形態においては、手の肌色）が周辺色として撮像画像に入らないように、現実空間の物体を肌色でないものに取り替えたり、空間から取り除く必要があるということである。

本変形例における処理の手順は、図１１のステップＳ１２５における処理を、指定された色ではなく、予め登録された周辺部の色以外の色の存在を判定する処理とすればよい。その他の処理は図１１と同じ流れとなる。

本変形例の手法により、例えば、手によるマーカの部分隠蔽が起こるような状態であっても、手の色は周辺色として登録されていないため、隠蔽を検出できる。その結果、正しく検出されたマーカのみを利用して撮像部１０１０の位置姿勢を推定することができ、やはり精度向上が実現される。

［変形例２］
第１の実施形態においては、部分隠蔽の疑いがあると判断された矩形マーカが検出マーカとしてリストに含まれていた場合、その矩形マーカをリストから削除していた。つまり、部分隠蔽の疑いがあると判断された検出マーカから得られた全ての情報（すなわち、４つの頂点情報全て）を利用しないものであった。しかし、部分隠蔽された検出マーカであっても、隠蔽されていない頂点５０５０、５０６０に関する情報は正しく検出されている。本変形例では、部分隠蔽の疑いがある検出マーカの、隠蔽されていないと考えられる頂点情報については破棄せず、撮像画像推定部１０８０における位置姿勢の算出に用いることを特徴とする。

本変形例における複合現実空間提示システムの構成は、図１のブロック図と同様である。ただし、隣接色検査部１０６０の内部処理が異なっている。第１の実施形態では、隣接色検査部１０６０において、検出マーカの隣接領域を一括して検査していた。これに対し、本変形例では、検出マーカの各頂点の隣接領域に対してそれぞれ独立に検査を行う。すなわち、各頂点を中心とする所定の隣接領域（例えば、半径１０画素の円に含まれる隣接領域）の画素に関して検査を行い、１つの頂点の周辺領域に指定された色がある場合は、その頂点をリストから削除する。この場合、頂点の座標値を削除しても良いが、無効化することが出来れば、どのような方法を用いても良い。例えば、図１３に示すように、検出マーカのリスト中における当該検出マーカの当該頂点に部分隠蔽による誤検出であることを示すフラグｆを設け、通常は０、誤検出された頂点座標については１にすることで、座標値は残すが、無効であることを明示する方法であっても良い。このように利用できる頂点はリストに残しておくことで、撮像部位置姿勢推定部１０８０において、一部が隠蔽されている矩形マーカに対しても、隠蔽されていない部分の頂点の情報を、撮像部１０１０の位置姿勢の推定に利用することができる。

本実施形態における処理の手順を示すフローチャートを図９に示す。図９は、第１の実施形態において説明した図１１の処理と基本的な処理は共通である。異なる点は、隣接領域の抽出を頂点毎に行うこと（ステップＳ１３１）、隣接領域中の指定色画素の有無検査（ステップＳ１２５、Ｓ１２７）を頂点単位で行うこと（そのための判定ステップＳ１３３が追加されていること）、及び指定色を含む隣接領域に対応する頂点のみを削除（フラグをセットすることによる無効化、ステップＳ１３５）する点である。

なお、変形例１と変形例２を組み合わせて用いることはもちろん可能であり、あらかじめ指定した色以外の色が検出された場合に、その頂点を削除（無効化）するという方法を用いてもよい。

［変形例３］
第１の実施形態においては、図４に示すような特徴をもつ矩形マーカを用いたが、このマーカ以外のマーカであっても、部分隠蔽による誤検出の判別を行うことができる。例えば、非特許文献１に開示されている内部に同定用パターンを持つ矩形マーカを用いる場合には、マーカ検出部１０５０を、固定閾値による２値化、テンプレートマッチングによるマーカ識別、輪郭線データの直線あてはめによる頂点位置検出、という当該マーカの検出部に置き換える。このようにして検出されたマーカ領域と検出マーカのリストを記憶部１０９０に保持させることにより、前述の隣接色検査部１０６０の処理によって部分隠蔽による誤検出マーカを削除することが可能である。

また、図６に示したような、背景と区別できる色を備えた円形状のマーカ（以降、色領域マーカと呼ぶ）を用いる場合であっても、同様な部分隠蔽による誤検出の判別を行うことができる。この場合、マーカ検出部１０５０を特定の形状ではなく、特定の色領域を検出する処理に置き換え、検出された色領域に対して前述の隣接色検査部１０６０の処理を施すことによって、部分隠蔽による誤検出マーカを削除できる。その他、どのような外観上の特徴を有するマーカを用いる場合であっても、部分隠蔽が生じた場合に隣接領域にそれを隠蔽する物体色（例えば肌色）が存在するという特性が成立する限りにおいては、本実施形態で説明した手法で、部分隠蔽による誤検出マーカを撮像部の位置姿勢推定処理への使用から除外することができる。

［変形例４］
また、第１の実施形態においては、マーカ検出部１０５０と隣接色検査部１０６０が独立していたが、隣接色検査部１０６０の処理工程はマーカ検出部１０５０の機能に含まれていても良い。この場合、隣接色検査の工程は必ずしもマーカ検出処理の後に行う必要は無い。例えば、矩形当てはめによるマーカ候補領域の検出を行った後に、隣接色検査を行って部分隠蔽の可能性のある領域を削除し、その後にノイズ除去や方向検出以降の処理を行っても良いし、他の順序で処理を行っても良い。発明の本質は、これらの処理の順序に依存するものではない。

［変形例５］
第１の実施形態における複合現実空間提示システムは、手に保持して移動させることの可能な現実物体３０１０上に仮想物体を重畳表示することを目的としていた。しかし、現実空間と撮像部との関係はこれに限定されるものではなく、例えば、室内空間に仮想物体を重畳表示することを目的として、室内空間に貼られたマーカを観測することで室内空間における撮像部の位置姿勢を計測する場合であっても、第１の実施形態と同様な構成によって、部分隠蔽されたマーカの情報を用いることによる位置姿勢推定精度の低下を抑制可能な可能な複合現実空間提示システムを構成することができる。

［変形例６］
なお、第１の実施形態において示した部分隠蔽によるマーカ誤検出の判定方法の適用範囲は、第１の実施形態において示した構成による複合現実感提示システムに限定されるものではない。例えば、非特許文献３に開示されているような、ＨＭＤ１０００に６自由度位置姿勢センサをさらに装着し、室内空間に貼られたマーカを観測することでセンサ計測値の誤差を補正する機構を備える複合現実空間提示システムにおいても、適用することが可能である。このような構成においても、マーカ情報から撮像部の位置姿勢を推定し、その推定結果を用いてセンサ測定値の補正を行うのであるから、マーカから推定される位置姿勢の精度向上は最終的な推定位置姿勢の精度を向上させる。

このように、上述した手法は撮像画像中のマーカ座標と既知のマーカ座標とを利用して撮像部の位置姿勢を求めるいずれの複合現実空間提示システムにおいても適用可能である。さらには、複合現実感提示システムに限らず、マーカを検出することで撮像装置（あるいは撮像装置を装着した物体。あるいは、撮像装置によって観測されている物体）の位置姿勢を求めるあらゆる用途においてマーカ検出の信頼性を向上させる目的で用いることが可能であるし、位置姿勢推定以外の目的であっても、画像上におけるマーカ検出を正確に行う何れの用途においても、適用することが可能である。

［他の実施形態］
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施形態に係るマーカ検出装置を含む複合現実空間提示システムの機能構成例を示すブロック図である。 第１の実施形態における複合現実空間提示システムの外観例を示す模式図である。 第１の実施形態における複合現実空間提示システムの動作時の状況を模式的に示す図である。 第１の実施形態における矩形マーカの検出処理を説明する図である。 、 マーカの部分隠蔽による誤検出について説明する図である。 第１の実施形態におけるマーカの向き検出処理を説明する図である。 第１の実施形態に係る複合現実空間提示システムの全体的な処理を説明するフローチャートである。 第１の実施形態の変形例２における、隣接色検査部１０６０の処理を説明するフローチャートである。 第１の実施形態における、マーカ検出部１０５０の処理を説明するフローチャートである。 第１の実施形態における、隣接色検査部１０６０の処理を説明するフローチャートである。 第１の実施形態における、検出マーカリストの例を示す図である。 第１の実施形態の変形例２における、検出マーカリストの例を示す図である。

Claims (11)

1. 撮像されたマーカを撮像画像から検出するマーカ検出方法であって、
   前記撮像画像を取得する画像取得工程と、
   前記撮像画像から、前記マーカの形状、色、もしくは模様に対応するマーカ領域を検出するマーカ領域検出工程と、
   前記検出されたマーカ領域に、所定色の画素を含んだ隣接領域が存在するか否かを検査する隣接領域検査工程と、
   前記検出されたマーカ領域のうち、前記所定色の画素を含んだ隣接領域が存在するマーカ領域を無効なマーカ領域と判定する判定工程とを有することを特徴とするマーカ検出方法。
2. 撮像されたマーカを撮像画像から検出するマーカ検出方法であって、
   前記撮像画像を取得する画像取得工程と、
   前記撮像画像から、前記マーカの形状、色、もしくは模様に対応するマーカ領域を検出するマーカ領域検出工程と、
   前記検出されたマーカ領域の頂点毎に定められる隣接領域に、所定色の画素を含んだ隣接領域が存在するか否かを検査する隣接領域検査工程と、
   前記検出されたマーカ領域の頂点のうち、前記所定色の画素を含んだ隣接領域が存在する頂点を無効な頂点と判定する判定工程とを有することを特徴とするマーカ検出方法。
3. 前記所定色は、前記マーカを隠蔽する可能性のある物体の色であることを特徴とする請求項１又は２に記載のマーカ検出方法。
4. 前記所定色は、前記マーカの周囲に存在すべき色以外の色であることを特徴とする請求項１又は２に記載のマーカ検出方法。
5. 請求項１記載のマーカ検出方法によって検出された前記マーカ領域のうち、前記無効なマーカ領域であると判定されたマーカ領域以外のマーカ領域から得られる情報と、既知のマーカ情報とを用い、前記撮像画像を撮像した撮像装置の位置姿勢を推定する位置姿勢推定方法。
6. 請求項２記載のマーカ検出方法によって検出された前記マーカ領域のうち、前記無効な頂点と判定された頂点以外の頂点の座標と、既知のマーカ情報とを用い、前記撮像画像を撮像した撮像装置の位置姿勢を推定する位置姿勢推定方法。
7. 請求項５又は６記載の位置姿勢推定方法によって得られた撮像装置の位置姿勢に基づいて仮想物体の画像を生成する画像生成工程と、
   前記仮想物体の画像を前記撮像画像に重畳して複合現実空間画像を生成する画像合成工程と、
   前記複合現実空間画像を表示装置に出力する出力工程とを有することを特徴とする複合現実空間提示方法。
8. 撮像されたマーカを撮像画像から検出するマーカ検出装置であって、
   前記撮像画像を取得する画像取得手段と、
   前記撮像画像から、前記マーカの形状、色、もしくは模様に対応するマーカ領域を検出するマーカ領域検出手段と、
   前記検出されたマーカ領域に、所定色の画素を含んだ隣接領域が存在するか否かを検査する隣接領域検査手段と、
   前記検出されたマーカ領域のうち、前記所定色の画素を含んだ隣接領域が存在するマーカ領域を無効なマーカ領域と判定する判定手段とを有することを特徴とするマーカ検出装置。
9. 撮像されたマーカを撮像画像から検出するマーカ検出装置であって、
   前記撮像画像を取得する画像取得手段と、
   前記撮像画像から、前記マーカの形状、色、もしくは模様に対応するマーカ領域を検出するマーカ領域検出手段と、
   前記検出されたマーカ領域の頂点毎に定められる隣接領域に、所定色の画素を含んだ隣接領域が存在するか否かを検査する隣接領域検査手段と、
   前記検出されたマーカ領域の頂点のうち、前記所定色の画素を含んだ隣接領域が存在する頂点を無効な頂点と判定する判定手段とを有することを特徴とするマーカ検出装置。
10. コンピュータを、請求項８又は請求項９記載のマーカ検出装置の各手段として機能させるためのプログラム。
11. 請求項１０記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。

Images