JP2015153035A - 被写体情報重畳装置、被写体情報重畳方法及びプログラム - Google Patents

Abstract

【課題】被写体に関する仮想情報を映像上に安定して重畳する。
【解決手段】被写体情報重畳装置は、一連の画像データを入力する画像入力部と、一連の画像データにおける特徴点の位置の変化を追跡し、ワールド座標系における特徴点の三次元座標とカメラの位置及び姿勢とを取得する三次元座標・カメラ位置姿勢取得部と、被写体に設けられたマーカーであって少なくとも３つの参照図形を含むマーカーを一連の画像データにおいて検出するマーカー検出部と、特徴点の三次元座標とカメラの位置及び姿勢とに基づいて参照図形の三次元座標を推定する参照点三次元位置推定部と、参照図形の三次元座標に基づいて被写体を基準とした被写体座標系を推定する被写体ポーズ推定部と、被写体座標系とカメラの位置及び姿勢とに基づいて、被写体に対応して予め定められた仮想情報を一連の画像データにおける被写体上に重畳した重畳画像を生成する情報重畳部とを備える。
【選択図】図１

Description

本発明は、カメラなどの画像入力装置を用いて取得した被写体の画像又は映像に対して、被写体に関する情報を重畳する技術に関する被写体情報重畳装置、被写体情報重畳方法及びプログラムに関する。

コンピュータビジョン分野では、現実環境を仮想情報で補強する拡張現実感に関する研究が多く行われている。例えば、以下のような研究成果が実現されている。

特殊なマーカーをカメラで撮影することで、マーカーに対するカメラの位置及び姿勢を推定し、推定したカメラの位置及び姿勢を利用してカメラで撮影した映像上に仮想情報を重畳する方法が提案されている（例えば、非特許文献１）。

また、カメラで撮影された映像の各フレームにおいて特徴的な点（以下、特徴点という。）を追跡することで、カメラの三次元空間中の位置及び姿勢と特徴点の三次元座標とを獲得すると同時に、予め用意された被写体の一部分を示すテンプレート画像に対応する部分を映像上において検出し、検出したテンプレート画像の三次元座標と特徴点の三次元座標と活用し、特徴点を画像上に再投影したときにテンプレート画像の範囲内の特徴点の三次元座標を平均化することでテンプレート画像の三次元座標を求め、被写体に対するカメラの位置及び姿勢を再度推定し、これを利用してカメラの映像上に仮想情報を重畳する方法を提案されている（例えば、非特許文献２）。

Hirokazu Kato and Mark Billinghurst, "Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System", Augmented Reality, 1999.(IWAR'99) Proceedings. 2nd IEEE and ACM International Workshop on, p.85-94, October 1999, San Francisco, USA 島村潤、森本正志、小池秀樹、「設備保守支援向けＡＲのための部分テンプレート検出とｖＳＬＡＭの併用によるオブジェクト座標系へのレジストレーション」、画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）、２０１１年７月、ｐ．１３７０−１３７６

しかしながら、非特許文献１に記載されているマーカーを活用してカメラの位置及び姿勢を推定する方法では、マーカーが映像上に含まれていないとカメラの位置及び姿勢を推定することができない。そのため、マーカーが映像の範囲外になると仮想情報を重畳できなくなってしまうという問題がある。また、計測原理上、マーカーを正面から撮影した場合には、推定精度が安定しないという問題もある。

また、非特許文献２に記載されているｖＳＬＡＭから出力される特徴点の三次元座標とテンプレート画像の検出とを組み合わせて被写体に対するカメラの位置及び姿勢を推定する方法は、出力される特徴点の三次元座標は正確であるものの、テンプレート画像に対応する部分の成功確率が被写体に依存するために安定しないことがある。そのような場合には、被写体に対するカメラの位置及び姿勢に誤差が生じて、仮想情報をカメラの映像上に重畳する際に表示が大幅にずれてしまうという問題がある。

本発明は、上述のような問題を解決するためになされたものであって、安定して仮想情報を映像上に重畳することができる被写体情報重畳装置、被写体情報重畳方法及びプログラムを提供することを目的としている。

本発明の一態様は、一連の画像データを入力する画像入力部と、前記一連の画像データにおける特徴点の位置の変化を追跡し、ワールド座標系における特徴点の三次元座標と前記画像データの画像を撮影したカメラの位置及び姿勢とを取得する三次元座標・カメラ位置姿勢取得部と、被写体に設けられたマーカーであって少なくとも３つの参照図形を含むマーカーを前記一連の画像データにおいて検出するマーカー検出部と、前記特徴点の三次元座標と前記カメラの位置及び姿勢とに基づいて前記参照図形の三次元座標を推定する参照点三次元位置推定部と、前記参照図形の三次元座標に基づいて前記被写体を基準とした被写体座標系を推定する被写体ポーズ推定部と、前記被写体座標系と前記カメラの位置及び姿勢とに基づいて、前記被写体に対応して予め定められた仮想情報を前記一連の画像データにおける前記被写体上に重畳した重畳画像を生成する情報重畳部とを備えることを特徴とする被写体情報重畳装置である。

また、本発明の一態様は、上記に記載の被写体情報重畳装置において、前記参照点三次元位置推定部は、前記カメラの位置及び姿勢に基づいて前記特徴点を前記画像データで表される画像上に投影し、画像上に投影した前記特徴点のうち前記参照図形に含まれる前記特徴点の三次元座標から前記参照図形それぞれの三次元座標を推定することを特徴とする。

また、本発明の一態様は、被写体情報重畳装置が行う被写体情報重畳方法であって、一連の画像データを入力する画像入力ステップと、前記一連の画像データにおける特徴点の位置の変化を追跡し、ワールド座標系における特徴点の三次元座標と前記画像データの画像を撮影したカメラの位置及び姿勢とを取得する三次元座標・カメラ位置姿勢取得ステップと、被写体に設けられたマーカーであって少なくとも３つの参照図形を含むマーカーを前記一連の画像データにおいて検出するマーカー検出ステップと、前記特徴点の三次元座標と前記カメラの位置及び姿勢とに基づいて前記参照図形の三次元座標を推定する参照点三次元位置推定ステップと、前記参照図形の三次元座標に基づいて前記被写体を基準とした被写体座標系を推定する被写体ポーズ推定ステップと、前記被写体座標系と前記カメラの位置及び姿勢とに基づいて、前記被写体に対応して予め定められた仮想情報を前記一連の画像データにおける前記被写体上に重畳した重畳画像を生成する情報重畳ステップとを有することを特徴とする被写体情報重畳方法である。

また、本発明の一態様は、上記に記載の被写体情報重畳装置としてコンピュータを機能させるためのプログラムである。

本発明によれば、特徴点の位置の変化を追跡して特徴点の三次元座標とカメラの位置及び姿勢とを推定するｖＳＬＡＭにより得られた特徴点と、マーカーに含まれる複数の参照図形とに基づいて被写体座標系を推定することにより、被写体座標系の推定における誤差やブレを抑えることができる。この被写体座標系とカメラの位置及び姿勢とを用いて被写体に対する仮想情報を重畳することにより、仮想情報を映像上の被写体に対して安定して重畳することができる。また、検出が容易になる特徴的なマーカーと参照図形とを用いれば、被写体座標系を安定して推定することが可能となり、仮想情報を映像上の被写体に対して更に安定して重畳することができる。

本発明に係る実施形態における被写体情報重畳装置１の構成例を示すブロック図である。 同実施形態において用いるワールド座標系と被写体座標系との一例を示す図である。 同実施形態における被写体情報重畳装置１が行う情報重畳処理を示すフローチャートである。 マーカーにおける参照図形の一例を示す図である。 情報重畳処理におけるマーカーの検出例を示す図である。 被写体ポーズを算出する過程の状態の一例を示した図である。 画像に仮想情報を重畳させた重畳結果の一例を示す第１の図である。 画像に仮想情報を重畳させた重畳結果の一例を示す第２の図である。

以下、図面を参照して、本発明に係る実施形態における被写体情報重畳装置、被写体情報重畳方法及びプログラムを説明する。図１は、本発明に係る実施形態における被写体情報重畳装置１の構成例を示すブロック図である。同図に示すように、被写体情報重畳装置１は、画像取得部１１、三次元座標・カメラ位置姿勢取得部１２、特徴点三次元座標記憶部１３、マーカー検出部１４、参照点三次元位置推定部１５、被写体ポーズ推定部１６、被写体ポーズ・ＣＧ管理番号記憶部１７、被写体情報記憶部１８、及び、情報重畳部１９を備えている。

画像取得部１１は、予め定められた時間間隔で時系列に連続した画像データを取得する。画像取得部１１には、例えばデジタルカメラやビデオカメラなどの画像センサを有する装置が用いられる。画像取得部１１は、取得した画像データを三次元座標・カメラ位置姿勢取得部１２とマーカー検出部１４と情報重畳部１９とに出力する。

三次元座標・カメラ位置姿勢取得部１２は、画像取得部１１から逐次入力される各画像データで表される画像上の被写体の特徴点を抽出する。三次元座標・カメラ位置姿勢取得部１２は、抽出した特徴点の画像上における位置を追跡することにより、各特徴点の三次元座標と、画像を撮影したカメラの位置及び姿勢とを同時に取得する。三次元座標・カメラ位置姿勢取得部１２は、取得した各特徴点の三次元座標とカメラの位置及び姿勢とを対応付けて特徴点三次元座標記憶部１３に記憶させる。

また、三次元座標・カメラ位置姿勢取得部１２は、取得したカメラの位置及び姿勢を情報重畳部１９に出力する。なお、三次元座標・カメラ位置姿勢取得部１２が取得するカメラの位置及び姿勢は、予め定められたワールド座標系（世界座標系）における三次元空間における位置及び姿勢（向き）である。

ここで、本実施形態において用いるワールド座標系と被写体座標系とについて説明する。図２は、本実施形態において用いるワールド座標系と被写体座標系との一例を示す図である。ワールド座標系は、任意の点Ｏ_ｗを基準にして定められた三次元座標系である。被写体座標系は、被写体の任意の点Ｏ_ｏｂｊを基準にして定められる三次元座標系であり、被写体ごとに定められる座標系である。本実施形態においては、被写体に設けられるマーカーに基づいて定められた点Ｏ_ｏｂｊを基準にして被写体座標系が定められる場合について説明する。なお、本実施形態においては、画像取得部１１として用いられるカメラの内部パラメータ（例えば焦点距離や投影中心など）は、事前に行われるキャリブレーションなどにより既知の情報であり、被写体情報重畳装置１に記憶されている。

図１に戻り、被写体情報重畳装置１の構成についての説明を続ける。特徴点三次元座標記憶部１３には、三次元座標・カメラ位置姿勢取得部１２が取得した各特徴点の三次元座標と画像上の二次元座標との組が記憶される。

マーカー検出部１４は、画像取得部１１から逐次入力される各画像データで表される画像上において、マーカーを検出する。マーカーは予め定められた形状及び濃淡を有している。マーカー検出部１４は、マーカーの形状及び濃淡を示す情報などとマーカーに基づいて定められる被写体の姿勢とを予め記憶している。マーカー検出部１４は、記憶している情報を用いてマーカーを検出する。マーカー検出部１４は、画像上において検出したマーカーからＣＧ管理番号を取得する。マーカー検出部１４は、取得したＣＧ管理番号を被写体ポーズ・ＣＧ管理番号記憶部１７に記憶させる。ＣＧ管理番号は、被写体に対応付けられている識別情報であって被写体に重畳させるＣＧ（Computer Graphics）などの仮想情報と被写体とを紐付ける識別情報である。

また、マーカー検出部１４は、検出したマーカーに含まれる複数の参照図形それぞれの画像上における領域を示す領域情報を参照点三次元位置推定部１５に出力する。なお、マーカーには参照図形が少なくとも３つ含まれる。マーカーに少なくとも３つの参照図形が含まれるのは、マーカーに対するカメラの姿勢を推定する際に３つ以上の三次元座標が必要となるためである。また、マーカーにおける参照図形それぞれの形状や大きさは同じでなくともよい。マーカーには、例えば二次元バーコード（ＱＲコード（登録商標、以下同様）を用いることができる。また、ＱＲコードに含まれる３つの矩形を参照図形として用いることができる。参照図形には矩形以外の形状の図形、例えば円形や三角形など任意の図形を用いることができる。

参照点三次元位置推定部１５は、マーカー検出部１４から入力される領域情報と、特徴点三次元座標記憶部１３に記憶されている複数の特徴点の三次元座標とに基づいて、マーカーに設けられている各参照図形の位置（三次元座標）を推定する。参照点三次元位置推定部１５は、推定した各参照図形の位置を被写体ポーズ推定部１６に出力する。参照図形の位置を推定する際、参照点三次元位置推定部１５は、カメラの位置姿勢を用いて特徴点を画像上に投影し、参照図形の領域に投影された特徴点の三次元座標を用いる。

被写体ポーズ推定部１６は、参照点三次元位置推定部１５から入力された各参照図形の三次元座標を用いて、被写体ポーズを算出する。被写体ポーズは、マーカーによって定められる被写体座標系における座標を、ワールド座標系における座標に変換する変換行列である。被写体ポーズ推定部１６は、算出した被写体ポーズを被写体ポーズ・ＣＧ管理番号記憶部１７に記憶させる。

被写体ポーズ・ＣＧ管理番号記憶部１７には、マーカー検出部１４が検出したＣＧ管理番号と、被写体ポーズ推定部１６が算出した被写体ポーズとが記憶される。

被写体情報記憶部１８には、ＣＧ管理番号に対応付けられた被写体に関する仮想情報が記憶されている。仮想情報は、被写体に応じて定められたＣＧや、被写体に対応するテキストなどと、ＣＧやテキストを被写体に重畳する際に用いる位置情報であって被写体座標系で表された位置情報とを含む。また、仮想情報は、ＣＧ管理番号に対応付けられることにより、所定の被写体と予め紐付けられている。

情報重畳部１９には、画像取得部１１から画像データが逐次入力される。また、情報重畳部１９には、三次元座標・カメラ位置姿勢取得部１２からカメラ位置及び姿勢が入力される。情報重畳部１９は、被写体ポーズ・ＣＧ管理番号記憶部１７から被写体ポーズ及びＣＧ管理番号を読み出す。情報重畳部１９は、読み出したＣＧ管理番号に対応する仮想情報を被写体情報記憶部１８から読み出す。情報重畳部１９は、被写体ポーズに基づいて、仮想情報の位置をワールド座標系に変換し、カメラの位置及び姿勢を用いて画像上に投影して画像上の被写体に仮想情報を重畳した重畳画像を生成する。情報重畳部１９は、生成した重畳画像を出力する。

図３は、本実施形態における被写体情報重畳装置１が行う情報重畳処理を示すフローチャートである。被写体情報重畳装置１において情報重畳処理が開始されると、画像取得部１１が画像データＩｍを取得して三次元座標・カメラ位置姿勢取得部１２とマーカー検出部１４と情報重畳部１９とに画像データを逐次出力する（ステップＳ３０１）。

三次元座標・カメラ位置姿勢取得部１２は、入力された画像データＩｍに基づいて、画像データＩｍで示される画像における特徴点の座標とカメラの位置及び姿勢とを取得し、特徴点三次元座標記憶部１３に記憶させる。また、三次元座標・カメラ位置姿勢取得部１２は、カメラの位置及び姿勢を情報重畳部１９に出力する（ステップＳ３０２）。

マーカー検出部１４は、被写体ポーズが既に推定されているか否かを判定し（ステップＳ３０３）、被写体ポーズが既に推定されている場合（ステップＳ３０３：ＹＥＳ）、処理をステップＳ３０７に進める。被写体ポーズが推定されていない場合（ステップＳ３０３：ＮＯ）、マーカー検出部１４は、入力された画像データＩｍにおいてマーカーを検出する。マーカー検出部１４は、検出したマーカーからＣＧ管理番号を読み出し、ＣＧ管理番号を被写体ポーズ・ＣＧ管理番号記憶部１７に記憶させる。また、マーカー検出部１４は、検出したマーカーに設けられている参照図形の領域情報を参照点三次元位置推定部１５に出力する（ステップＳ３０４）。

マーカーにＱＲコードを用いる場合には、参考文献１に記載の技術を用いることにより、ＱＲコードを検出することができる。また、マーカー検出部１４は、ＱＲコードに含まれる３つの矩形を参照図形として検出する。図４は、マーカー（ＱＲコード）における参照図形の一例を示す図である。同図に示すように、ＱＲコードの位置を示すための矩形を参照図形にすることができる。
［参考文献１］Luiz F. F. Belussi and Nina S.T. Hirata, "Fast QR Code Detection in Arbitrarily Acquired Images," 2011 24th SIBGRAPI Conference on Graphics, Patterns and Images, August 2011, p.281-288

図３に戻り、情報重畳処理の説明を続ける。参照点三次元位置推定部１５は、特徴点の三次元座標とカメラの位置及び姿勢とを特徴点三次元座標記憶部１３から読み出す。参照点三次元位置推定部１５は、読み出した三次元座標とカメラの位置及び姿勢と、マーカー検出部１４から入力された領域情報とに基づいて、各参照図形の三次元座標（参照点）を推定する（ステップＳ３０５）。

参照図形の三次元座標を算出する際に、参照点三次元位置推定部１５は、特徴点三次元座標記憶部１３に記憶されている各特徴点を、ステップＳ３０２において取得されたカメラの位置及び姿勢を用いて、画像データＩｍで示される画像上に投影する。参照点三次元位置推定部１５は、検出した参照図形の領域に含まれる特徴点の集合の三次元座標の平均値や重心位置を参照図形の三次元座標として推定する。特徴点を画像データＩｍの画像に投影する際には次式（１）を用いることにより、特徴点の画像上の位置を算出することができる。
ｍ＝Ａ（Ｒ｜Ｔ）Ｍ …（１）

式（１）において、行列Ａはカメラの内部パラメータであり、３×３のカメラ内部行列である。行列（Ｒ｜Ｔ）は、カメラの位置及び姿勢を示す外部パラメータであり、並進・回転を示す３×４のカメラ外部行列である。Ｍは、特徴点の三次元座標（Ｘ，Ｙ，Ｚ）を示す行列に要素「１」を加えた４×１の行列（Ｘ，Ｙ，Ｚ，１）である。ｍは、画像データＩｍにおける画像上の投影点を示す３×１の行列（ｘ，ｙ，ｚ）である。

画像上における投影点の座標は、投影点ｍの第三成分（ｚ）で第一成分（ｘ）及び第二成分（ｙ）を除算したベクトルｕｖ＝（ｘ／ｚ，ｙ／ｚ）で算出できる。ベクトルｕｖで示される点が参照図形の領域内に入っている場合に、当該投影点の三次元座標を参照図形の位置の算出に用いる。

被写体ポーズ推定部１６は、参照点三次元位置推定部１５が推定した各参照図形の三次元座標に基づいて被写体座標系を特定し、被写体座標系からワールド座標系への変換行列（被写体ポーズ）を算出する。被写体ポーズ推定部１６は、算出した被写体ポーズを被写体ポーズ・ＣＧ管理番号記憶部１７に記憶させる（ステップＳ３０６）。

被写体ポーズの算出は、例えばＱＲコードに含まれる参照矩形１の三次元座標を被写体座標系の原点とした場合、変換行列における並進成分を算出し、参照矩形１〜参照矩形３の三次元座標を含む平面の平面法線ベクトルと参照矩形１及び参照矩形２の位置を通る直線のベクトルとを利用して回転成分を算出することができる。

情報重畳部１９は、被写体ポーズ・ＣＧ管理番号記憶部１７に記憶されている被写体ポーズ及びＣＧ管理番号に基づいて、画像データＩｍが示す画像に被写体に関する情報を重畳した重畳画像を生成して出力する（ステップＳ３０７）。具体的には、情報重畳部１９は、ＣＧ管理番号に対応する被写体に関する仮想情報（ＣＧやテキスト）を被写体情報記憶部１８から読み出す。被写体に重畳するＣＧなどは、被写体座標系で表されているため、ステップＳ３０６において算出した被写体ポーズに基づいて、ＣＧの位置及び姿勢をワールド座標系に変換する。情報重畳部１９は、ステップＳ３０２において取得されたカメラの位置及び姿勢を用いて、ＣＧやテキストなどを画像データＩｍの画像上に投影することにより、被写体にＣＧやテキストなどの仮想情報を重畳させる。なお、仮想情報を画像上に投影する際の投影計算は、ステップＳ３０５における演算と同様に式（１）を用いて行うことができる。

情報重畳部１９は、情報重畳処理を終了させる条件が満たされているか否かを判定し（ステップＳ３０８）、条件が満たされていない場合（ステップＳ３０８：ＮＯ）、処理をステップＳ３０１に戻して上述の処理を繰り返す。条件が満たされている場合（ステップＳ３０８：ＹＥＳ）、情報重畳部１９は、情報重畳処理を終了させる。なお、情報重畳処理を終了させる条件は、例えばユーザによる終了の指示が入力された場合や、画像取得部１１から画像データが入力されなくなった場合などである。

被写体情報重畳装置１は、上述の構成を備え、各機能部が連携して情報重畳処理を行うことにより、カメラ等で撮影して逐次得られる画像データが示す画像に含まれる被写体に対応したＣＧなどの仮想情報を当該被写体に重ね合わせて重畳表示することができる。

なお、本実施形態では、マーカーに二次元バーコード（ＱＲコード）を利用する例を用いて説明したが、任意の３つの参照図形を含むマーカーであって画像上において検出することができるマーカーであれば、どのようなマーカーを用いてもよい。

以下に、本実施形態における被写体情報重畳装置１を適用した画像処理の一例を示す。ここでは、一台のカメラから得られた映像を処理して映像に仮想情報を重畳する例を、図３に示したフローチャートの各ステップと対応付けて説明する。

情報重畳処理が開始されると、カメラ（画像取得部１１）から画像の取得を行う（ステップＳ３０１）。取得した画像からカメラの位置及び姿勢と特徴点の三次元座標を取得する（ステップＳ３０２）。マーカー検出部１４は被写体ポーズが既に確定済みか否かを判定し（ステップＳ３０３）、未確定の場合（ステップＳ３０３：ＮＯ）、ＱＲコードの検出を行い、ＱＲコードの識別を行う（ステップＳ３０４）。

図５は、情報重畳処理におけるマーカーの検出例を示す図である。同図には、マーカーとしてＱＲコードを検出した場合が示されている。同図に示すように、ＱＲコードに含まれる基準矩形を参照図形として検出しており、各基準矩形内に含まれる参照点は特徴点の三次元座標を基準矩形に投影して得られた結果を示している。また、ＱＲコードから取得したＣＧ管理番号から被写体が「ＩＤＭ装置 ＡＢＣＤＥＦ」という装置であることが検出されている。

参照点三次元位置推定部１５は、基準矩形内に含まれる特徴点を利用して、各基準矩形の三次元座標を推定する（ステップＳ３０５）。推定された各基準矩形の三次元座標を利用して、被写体ポーズ推定部１６がワールド座標系から被写体座標系に変換する被写体ポーズを算出する（ステップＳ３０６）。

図６は、被写体ポーズを算出する過程の状態の一例を示した図である。同図には、被写体座標系とカメラの位置及び姿勢と特徴点とが示されている。また、同図において、マーカーに含まれる参照図形の一つを原点とした被写体座標系が推定されていることが確認できる。また、被写体を表す特徴点群や、カメラの現在位置についても推定できていることが確認できる。

情報重畳部１９が、ＱＲコードから取得されたＣＧ管理番号に対応する仮想情報を画像に重畳させて出力する（ステップＳ３０７）。このとき、ＣＧ管理番号から被写体が「ＩＤＭ装置 ＡＢＣＤＥＦ」であることが検出されているため、この装置に必要な情報を提示することができる。図７及び図８は、画像に仮想情報を重畳させた重畳結果の一例を示す図である。図７に示すように装置のコネクタ形状及び位置に合わせてグリッドのＣＧが表示されていることが確認できる。また、図８に示すように、画像上においてＱＲコードを検出することができない場合であっても、一旦、被写体ポーズを取得することができれば、ＣＧを正確に重畳できることが確認できる。

以上のように、本実施形態の被写体情報重畳装置１は、画像から頑健に検出可能なマーカーに設けた複数の参照図形の三次元座標を、ｖＳＬＡＭによって得られた特徴点の三次元座標から推定する。被写体情報重畳装置１は、複数の参照図形の三次元座標から被写体座標系を算出し、カメラの位置及び姿勢を示すワールド座標系と被写体座標系との間の変換行列である被写体ポーズを算出する。マーカーに含まれる複数の参照図形の三次元座標が特定できれば、マーカーが設けられた被写体上の平面の姿勢を求めることができ、被写体の姿勢（被写体座標系）を推定することができる。

このように、被写体情報重畳装置１は、マーカーのみから被写体座標系を直接推定するのではなく、ｖＳＬＡＭによって得られた特徴点とマーカーに含まれる複数の参照図形とを組み合わせて被写体座標系を推定することにより、被写体座標系の推定精度を向上させることができる。また、画像上において検出を容易にする特徴的なマーカーを用いれば、被写体座標系を安定して推定することができる。その結果、被写体情報重畳装置１によれば、被写体に対して仮想情報を重畳する際のずれを抑えて重畳表示することができ、拡張現実感を高めることができる。

上述した実施形態における被写体情報重畳装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

カメラ等により得られた画像又は映像に仮想情報を重畳表示する装置やシステム等に適用することができる。

１…被写体情報重畳装置
１１…画像取得部
１２…三次元座標・カメラ位置姿勢取得部
１３…特徴点三次元座標記憶部
１４…マーカー検出部
１５…参照点三次元位置推定部
１６…被写体ポーズ推定部
１７…被写体ポーズ・ＣＧ管理番号記憶部
１８…被写体情報記憶部
１９…情報重畳部

Claims (4)

1. 一連の画像データを入力する画像入力部と、
   前記一連の画像データにおける特徴点の位置の変化を追跡し、ワールド座標系における特徴点の三次元座標と前記画像データの画像を撮影したカメラの位置及び姿勢とを取得する三次元座標・カメラ位置姿勢取得部と、
   被写体に設けられたマーカーであって少なくとも３つの参照図形を含むマーカーを前記一連の画像データにおいて検出するマーカー検出部と、
   前記特徴点の三次元座標と前記カメラの位置及び姿勢とに基づいて前記参照図形の三次元座標を推定する参照点三次元位置推定部と、
   前記参照図形の三次元座標に基づいて前記被写体を基準とした被写体座標系を推定する被写体ポーズ推定部と、
   前記被写体座標系と前記カメラの位置及び姿勢とに基づいて、前記被写体に対応して予め定められた仮想情報を前記一連の画像データにおける前記被写体上に重畳した重畳画像を生成する情報重畳部と
   を備えることを特徴とする被写体情報重畳装置。
2. 請求項１に記載の被写体情報重畳装置において、
   前記参照点三次元位置推定部は、
   前記カメラの位置及び姿勢に基づいて前記特徴点を前記画像データで表される画像上に投影し、画像上に投影した前記特徴点のうち前記参照図形に含まれる前記特徴点の三次元座標から前記参照図形それぞれの三次元座標を推定する
   ことを特徴とする被写体情報重畳装置。
3. 被写体情報重畳装置が行う被写体情報重畳方法であって、
   一連の画像データを入力する画像入力ステップと、
   前記一連の画像データにおける特徴点の位置の変化を追跡し、ワールド座標系における特徴点の三次元座標と前記画像データの画像を撮影したカメラの位置及び姿勢とを取得する三次元座標・カメラ位置姿勢取得ステップと、
   被写体に設けられたマーカーであって少なくとも３つの参照図形を含むマーカーを前記一連の画像データにおいて検出するマーカー検出ステップと、
   前記特徴点の三次元座標と前記カメラの位置及び姿勢とに基づいて前記参照図形の三次元座標を推定する参照点三次元位置推定ステップと、
   前記参照図形の三次元座標に基づいて前記被写体を基準とした被写体座標系を推定する被写体ポーズ推定ステップと、
   前記被写体座標系と前記カメラの位置及び姿勢とに基づいて、前記被写体に対応して予め定められた仮想情報を前記一連の画像データにおける前記被写体上に重畳した重畳画像を生成する情報重畳ステップと
   を有することを特徴とする被写体情報重畳方法。
4. 請求項１又は請求項２のいずれかに記載の被写体情報重畳装置としてコンピュータを機能させるためのプログラム。