JP2018081410A - コンピュータープログラム - Google Patents

Abstract

【課題】撮像された物体の画像を用いて、撮像された物体の姿勢以外の情報を用いて各種処理を行う。【解決手段】実物体が撮像されて得られる映像シーケンスを取得する機能と、前記映像シーケンスの中から一の画像フレームが選択された場合に、前記実物体に対応する３Ｄモデルを用いて、前記一の画像フレームに含まれる前記実物体の姿勢を導出する導出機能と、前記一の画像フレームの前後方向の各画像フレームについて、前記実物体の前記姿勢を追跡する追跡機能と、前記実物体の前記姿勢について、前記映画像フレームから得られる前記実物体の外観情報と、前記姿勢に対応した写像により前記３Ｄモデルから得られる２Ｄモデルのデータと、を対応付けて記憶する機能と、をコンピューターに実現させるためのコンピュータープログラム。【選択図】図１４

Description

本開示は、画像処理に関する。

カメラによって撮像された物体の姿勢を推定する方法として、特許文献１には、物体の画像を含む入力画像の２値マスクを作成し、２値マスクから物体の内側および外側輪郭内にある点としてのシングレットを抽出し、シングレットのセットを連結してデュプレックス行列として表されるメッシュにすることで、物体の姿勢を推定する技術が記載されている。

特開２０１３−５０９４７号公報

オブジェクト認識（物体認識：物体検出）は、シーンにおいて関心のあるオブジェクトを検出することと、所定の３次元座標系に対するその姿勢（並進と配向）を特定することとの双方を含む。ＲＧＢ／輝度画像からの色または輝度情報を用いてオブジェクト認識問題を解決し、検出精度および姿勢特定の精度を向上させるためには、コンピュータービジョンシステムは、普通はオフライントレーニングフェーズの間に、多様なビューポイントから見たオブジェクトの見た目（外観情報）を記憶していることが好ましい。

ただし、オブジェクトのアピアランスを含むトレーニングデータ（テンプレート）を生成することは、コンピュータービジョンおよびオブジェクト認識の分野の事前知識に関する知識を必要とすることから、通常のユーザーには扱いにくい作業である。

トレーニングデータ（テンプレート）の生成のために、テクスチャー情報（つまり、テクスチャーマップ）を伴った３ＤＣＡＤモデルを入手できる場合には、異なるビューポイント（ビュー）からのオブジェクトのフォトリアリスティックな（写真のような実写感を伴った）レンダリング（２Ｄ面への描画）が可能である。生成画像の精度は、与えられた外観情報（テクスチャー情報）の解像度およびシミュレートされた照明に関する要素に依存する。ただし、このような３ＤＣＡＤモデルが普及しているとはいえない。つまり、検出したい実オブジェクトについて、ユーザーが、このような外観情報を伴う３ＤＣＡＤモデルを常に入手できるとは限らない。

本開示の一形態は、実物体が撮像されて得られる映像シーケンスを取得する機能と；前記映像シーケンスの中から一の画像フレームが選択された場合に、前記実物体に対応する３Ｄモデルを用いて、前記一の画像フレームに含まれる前記実物体の姿勢を導出する導出機能と；前記一の画像フレームの前後方向の各画像フレームについて、前記実物体の前記姿勢を追跡する追跡機能と；前記実物体の前記姿勢について、前記画像フレームから得られる前記実物体の外観情報と、前記姿勢に対応した写像により前記３Ｄモデルから得られる２Ｄモデルのデータと、を対応付けて記憶する機能と；をコンピューターに実現させるためのコンピュータープログラムである。

本開示の他の形態は、実物体が撮像されて得られる画像フレームに基づいて、前記実物体の特徴点を検出する機能と；前記特徴点の数が所定値を超える場合に、前記実物体に対応する３Ｄモデルと、前記実物体の外観情報と、を用いて、テンプレートを作成する機能と；をコンピューターに実現させるためのコンピュータープログラムである。

本開示は、上記以外の種々の形態で実現できる。例えば、上記プログラムを実行する頭部装着型表示装置の形態で実現できる。

画像処理システムの概略構成図。 画像処理システムの機能的な構成を示すブロック図。 オンライン作成処理のフローチャート。 ２次元モデルの輪郭および撮像部の撮像画像が表示された表示画像。 実物体の画像輪郭と２Ｄモデルの輪郭とがほぼ一致した状態の表示画像。 オブジェクト距離と閾値とを比較する場合に表示された表示画像。 ＣＰＵが実物体の姿勢を追跡している途中に表示部に表示された表示画像。 半球画像を構成するドットのそれぞれの詳細図。 オフライン作成処理のフローチャート。 第２実施形態における画像処理システムの機能ブロック図。 オンライン作成処理のフローチャート。 マーカー画像が撮像された場合に表示される座標軸を含む表示画像。 オブジェクトの姿勢の追跡途中に表示部に表示された表示画像。 オンライン作成処理のフローチャート。 オンライン作成処理のフローチャート。

Ａ．第１実施形態：
Ａ−１．画像処理システムの構成：
図１は、本実施形態における画像処理システムＳＹＳの概略構成図である。画像処理システムＳＹＳは、対象となる実物体ＯＢ１を撮像して、撮像した実物体ＯＢ１の撮像画像データと、予め記憶された実物体ＯＢ１の３Ｄモデルのデータと、を対応付けた新たな対応付けデータを作成する。

画像処理システムＳＹＳは、本体部１００と、撮像部４０と、表示部２０と、操作部３０とを備えている。本体部１００は、表示部２０と、操作部３０と、撮像部４０とに電気的に接続している。本体部１００は、表示部２０と操作部３０と撮像部４０とに制御信号を送ることで、これらを制御する。本体部１００が実行する制御の詳細については、後述する。

撮像部４０は、本体部１００から送信される制御信号に基づき、外景を撮像する。本実施形態では、撮像部４０は、特定の軸を中心とする円状のレールＲＬに沿って移動できるように形成されている。撮像部４０は、アクチュエーター４１（図２で図示）によって、制御信号に基づきレールＲＬに沿って移動する。本実施形態では、特定の軸上に実物体ＯＢ１が配置されるため、撮像部４０は、３６０度回転して実物体ＯＢ１を撮像できる。なお、実物体ＯＢ１は、請求項における実物体に相当する。

表示部２０は、画像を表示可能なディスプレイである。表示部２０は、本体部１００から送信される制御信号に基づき、画像を表示する。図１に示す例では、表示部２０は、撮像部４０が撮像した撮像画像を表示している。

操作部３０は、ユーザーの操作を受け付けるユーザーインターフェースである。図１に示すように、操作部３０は、キーボードＫＢと、マウスＭＳとを有している。キーボードＫＢは、押下されることで決定の有無を判定する複数のボタンを有している。キーボードＫＢは、押下したボタンに対応する制御信号を本体部１００に送信する。マウスＭＳは、位置の変化、および、押下されることで決定の有無を判定する２つのボタンを有している。マウスＭＳは、位置の変化および決定の有無に対応する制御信号を本体部１００へと送信する。

図２は、画像処理システムＳＹＳの機能的な構成を示すブロック図である。図２に示すように、本体部１００は、ＣＰＵ１１０と、記憶部１２０と、ＲＯＭ１６１と、ＲＡＭ１６２と、通信部１３０と、インターフェース１４０と、電源１５０とを備えている。記憶部１２０は、各種データを記憶し、ハードディスクドライブなどによって構成されている。記憶部１２０は、３Ｄモデル記憶部１２１と、作成データ記憶部１２２と、撮像画像データベース１２３（撮像画像ＤＢ１２３）とを有している。

３Ｄモデル記憶部１２１は、実物体ＯＢ１の形状・構造に対応する３Ｄモデルとして、ＣＡＤ（computer-aided design）によって作成された３Ｄモデル（３ＤＣＡＤモデル）を記憶している。作成データ記憶部１２２は、ＣＰＵ１１０が作成したデータを記憶する。作成データ記憶部１２２に記憶されるデータの詳細については後述するが、作成データ記憶部１２２は、３Ｄモデルの所定のビューに対応する２次元モデルデータと、撮像部４０によって撮像された実物体ＯＢ１の外観情報と、当該所定のビューと、を対応付けた対応付けデータを記憶する。撮像画像データベース１２３は、撮像部４０によって撮像された実物体ＯＢ１の撮像画像を記憶する。撮像画像データベース１２３が記憶する撮像画像は、ある特定の位置から撮像した実物体ＯＢ１の１つの撮像フレームや実物体ＯＢ１を撮像した動画などである。

ＣＰＵ１１０は、ＲＯＭ１６１から各種プログラムを読み出し、ＲＡＭ１６２に展開することで、各種プログラムを実行する。ＣＰＵ１１０は、画像設定部１１１と、データ作成部１１２と、対応付け部１１３とを有している。画像設定部１１１は、表示部２０に表示させる画像を設定する。例えば、画像設定部１１１は、撮像部４０によって撮像された実物体ＯＢ１の画像と、３Ｄモデル記憶部１２１に記憶された実物体ＯＢ１の３Ｄモデルから得られる２Ｄモデルの輪郭と、を表示部２０に表示させる。データ作成部１１２は、３Ｄモデル記憶部１２１に記憶された実物体ＯＢ１の３Ｄモデルから得られる２Ｄモデルデータと、撮像部４０によって撮像された実物体ＯＢ１の画像データ（外観情報）と、を対応付けた対応付けデータを作成する。データ作成部１１２は、作成した対応付けデータを作成データ記憶部１２２に記憶させる。なお、データ作成部１１２が作成するデータの詳細については、後述する。

画像設定部１１１は、撮像部４０の撮像画像を表示部２０に表示させる。また、画像設定部１１１は、３Ｄモデルを所定のビューポイントに基づいて仮想平面に写像して得られる２Ｄモデルを表示部２０に表示させる。撮像部４０によって実物体ＯＢ１が撮像された場合に、ユーザーから所定のコマンドを受け取ったタイミングで、対応付け部１１３は、撮像された実物体ＯＢ１の輪郭と、当該２次元モデルの輪郭と、を対応付けることで、撮像された実物体ＯＢ１の姿勢を推定する。なお、対応付け部１１３が実行する実物体ＯＢ１の姿勢の推定の詳細については後述する。対応付け部１１３が実物体ＯＢ１の姿勢を推定すると、画像設定部１１１は、推定された姿勢を用いて３Ｄモデルを新たに写像して得られる２次元モデルを表示する。このとき、表示部２０に表示される実物体ＯＢ１と新たな２次元モデルとは、より高い精度で互いに重畳することとなる。

電源１５０は、画像処理システムＳＹＳの各部に電力を供給する。電源１５０としては、例えば二次電池を用いることができる。インターフェース１４０は、本体部１００に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェースである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェース１４０としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等、を用いることができる。データ作成部１１２は、インターフェース１４０を介して、実物体ＯＢ１の撮像画像データを取得することもできる。

通信部１３０は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行う。データ作成部１１２は、通信部１３０を介して、他のサーバーから実物体ＯＢ１の撮像画像データ、および／または本体部１００に読み込まれることになるプログラムであってＣＰＵ１４０に実施形態で説明される機能を実現させるプログラム、を取得することもできる。

Ａ−２．マーカーを用いないデータ作成：
データ作成部１１２は、撮像部４０によって撮像された実物体ＯＢ１の撮像画像データと、３Ｄモデル記憶部１２１に記憶された実物体ＯＢ１の３Ｄモデルに基づくデータと、を対応付けるために、マーカーに基づくデータ作成と、マーカーを用いないデータ作成とを適用できる。ここでは、マーカーを用いないデータ作成について説明し、第２実施形態においてマーカーに基づくデータ作成を説明する。

Ａ−２−１．オンラインにおけるデータ作成：
図３は、オンラインにおけるマーカーを用いないデータ作成であるオンライン作成処理のフローチャートである。このオンライン作成処理を実現するためプログラムは、記憶媒体（具体的にはＲＯＭ１６１）に記憶されている。マーカーを用いないデータ作成では、撮像部４０によってオブジェクトを撮像しながら「２Ｄモデルデータ」に外観情報を与えるオンライン作成処理と、予め用意された実物体ＯＢ１の撮像画像データを用いて「２Ｄモデルデータ」に外観情報を与えるオフライン作成処理と、の２つのデータ作成処理がある。ここでは、オンライン作成処理について説明し、オフライン作成処理については、後述する。

「姿勢の初期化」
オンライン作成処理では、初めに、ＣＰＵ１１０は映像シーケンスの取得を開始する（Ｓ１１）。映像シーケンスの取得では、ＣＰＵ１１０は、ユーザーに撮像部４０を用いて、実物体ＯＢ１を撮像するように促す。画像設定部１１１は、実物体ＯＢ１の画像を表示部２０に表示する。また同時に、画像設定部１１１は、所定のビューに基づいて３次元モデルを仮想平面に写像することで得られる２次元モデルを表示部２０に表示する。この結果、表示部２０には、撮像部４０に撮像された実物体ＯＢ１と、写像された２次元モデルとが互いに重なって表示されるが、通常、この段階では、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭とは、一致していない。次に、対応付け部１１３は、姿勢の初期化を実行する（Ｓ１３）。

図４は、２次元モデルの輪郭ＯＬ１および撮像部４０の撮像画像が表示部２０に表示された表示画像ＩＭ１の説明図である。図４に示すように、撮像部４０によって撮像されて表示部２０に表示された実物体ＯＢ１の画像と、表示部２０に表示された２次元モデルの輪郭ＯＬ１とは一致していない。そのため、姿勢の初期化の処理において、画像設定部１１１は、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭とが、大まかに一致するように、ユーザーに、撮像部４０を移動するように促す。そして、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭と、が大よそ一致した場合に、操作部３０に対して所定のコマンドを入力するようにユーザーに促す。なお、図４および図５以降でも示す座標軸ＡＸ１は、実物体ＯＢ１に固定される座標軸であり、撮像部４０に対する実物体ＯＢ１の姿勢の変化に応じて、変化する。

操作部３０が当該所定のコマンドを受け付け場合に、対応付け部１１３は、２次元モデルの輪郭に含まれる２Ｄモデル点に対応する画像点をサーチする。なお、ここで２次元モデルの輪郭に含まれる２Ｄモデル点は、２Ｄモデルを表す輪郭線に沿って万遍なく分布するように事前に選択されていればよい。また、当該２Ｄモデル点に対応する画像点のサーチは、例えば、ＣＰＵ１１０が、それぞれの２Ｄモデル点を中心とした隣接近傍範囲内（例えば３×３の画素マトリクス）に属する複数の画像点の中から、当該２Ｄモデル点の輝度グラディエントに近い輝度グラディエントを有する画像点を選択することにより実施することができる。ＣＰＵ１１０による２つのグラディエントの比較は、２つのベクトルの内積に基づくことで得られる。

そして、対応付け部１１３は、当該ビューおよび当該デプスマップに基づいて当該２Ｄモデル点を逆変換して得られる３Ｄモデル点と、当該２Ｄモデル点に対応する画像点と、に基づいて、仮想平面（この場合は撮像部４０の撮像面に相当する平面）上で写像エラーが最小化されるように、ビューパラメーターに含まれる剛体変換行列で表される姿勢を最適化する。姿勢を最適化、すなわち改善することは、例えば、ガウス・ニュートン法による繰り返し計算を行うことを伴う。当該姿勢が最適化（改善）されると、表示部２０上で、画像輪郭と２Ｄモデルの輪郭とは、より高精度で一致する。以上の処理を、「姿勢の初期化」とも呼ぶ。なお、２つの輪郭が一致する場合のビューによって表される姿勢は、撮像部４０に対する実物体ＯＢ１の姿勢にほぼ一致している。また、この姿勢に対応付けて、撮像画像における実物体ＯＢ１の画像情報を外観情報として記憶する。本実施形態に係る外観情報は、当該姿勢で撮像部４０に撮像された実物体ＯＢ１の外部表面のテクスチャー情報（エッジ、模様、または色彩などの見えの情報）を含んでいる。なお、２Ｄモデル点に対応する画像点のサーチは、検出されたエッジの比較を利用するが、エッジ検出については、公知の技術を適用可能であり、他の実施形態では、エッジ検出以外の方法（例えばコーナー検出）によって、写像された２Ｄモデル点に対応する画像点のサーチが行われてもよい。また、上記姿勢の初期化において姿勢が改善された場合には、ＣＰＵ１１０は、表示部を介して、姿勢の改善が終了したことを表す情報をユーザーに提示してもよい。例えば、ＣＰＵ１１０は、表示部２０上に表示されている２Ｄモデルの色を変えることで、姿勢の改善の終了をユーザーに伝えてもよい。

「姿勢の追跡」
「姿勢の初期化」が終了すると、ＣＰＵ１１０は、実物体ＯＢ１の姿勢の追跡処理を開始する（Ｓ１５）。本実施形態に係る姿勢の追跡処理は、撮像部４０が取得した撮像画像に現れる実物体ＯＢ１上の特徴要素（特徴点）を追跡することに基づく。姿勢の追跡処理の準備ができたら、ＣＰＵ１１０は、ユーザーに、実物体ＯＢ１に対して撮像部４０を動かすように促す。撮像部４０が相対的に動かされている間、撮像部４０に対する実物体ＯＢ１の姿勢はＣＰＵ１１０によって追跡されることとなる。また、ＣＰＵ１１０は、追跡により更新された実物体ＯＢ１の姿勢と同じ姿勢を用いて、３次元モデルを仮想平面に写像する。このため、ユーザーが実物体ＯＢ１を撮像しながら撮像部４０を動かしても、表示部２０上で画像輪郭と２次元モデルの輪郭とはほぼ一致し続ける。

ＣＰＵ１１０は、撮像部４０と実物体ＯＢ１との間の空間関係（撮像部４０に対する姿勢）が所定の空間関係となる場合に、当該空間関係での実物体ＯＢ１の画像情報を外観情報として取得する。そして、取得した外観情報を、当該空間関係（姿勢）と、当該姿勢での「２次元モデルデータ」と、に関連付けて記憶する。「２次元モデルデータ」は、２次元モデルの輪郭（輪郭線）を表す画像、および当該輪郭を表す「輪郭特徴情報」の少なくとも一方を含む。「輪郭特徴情報」とは、輪郭に含まれる２Ｄモデル点の位置、および当該位置での輝度グラディエントを含む。

図７は、ユーザーに、上記所定の空間関係で実物体ＯＢ１を撮像することを促す表示画像ＩＭ４を示している。当該空間関係は、図７において、表示画像ＩＭ４に含まれる複数のドットＤＴで表現されている。ドットＤＴは、図８に示す半球画像ＩＭ_ｈｂ２の表面上に分布している。この半球の座標系のＸＹＺ軸は、オブジェクト座標系で表されていて、その原点が実物体ＯＢ１に相当する。半球画像ＩＭ_ｈｂ２の表面の一部を構成する領域ＦＣ１は、或る１つのドットに対応する。他の領域についても各々、或る１つのドットに対応する。

表示画像ＩＭ４おけるドットＤＴは、３つの色に変化する。青色の青ドットＤＴｂは、当該ドットＤＴｂで表される空間関係では、まだ実物体ＯＢ１の外観情報が得られていない状態を表す。緑色の緑ドットＤＴｇは、当該ドットＤＴｇで表される空間関係で、外観情報が得られたことを表す。黄色の黄ドットＤＴｙは、当該ドットＤＴｙで表される空間関係ではさらに多くの外観情報を取得すべきことを表している。すなわち、全てのドットＤＴが青ドットＤＴｂから緑ドットＤＴｂに変化すると、所定の空間関係の全てに亘って、実物体ＯＢ１の外観情報が取得し終わったことをユーザーに伝えることができる。なお、本実施形態では、「位置」とは、「向き」の概念を含み、例えば、撮像部４０の座標値が変化していなくても、撮像部４０の光軸の向きが変化している状態は、撮像部４０の位置が変化した状態とも呼ぶ。

上記所定の空間関係のうち、撮像部４０と実物体ＯＢ１との間の距離をユーザーに把握させる目的で、図６に示すような表示画像ＩＭ３を表示してもよい。図６に示すように、表示画像ＩＭ３には、図５に示す表示画像ＩＭ２と比較して、さらに、メーターＭＴ１が表示部２０に表示されている。メーターＭＴ１は、撮像部４０と実物体ＯＢ１との間の距離（以下、オブジェクト距離と表記する）を示す画像である。メーターＭＴ１は、閾値上限ＴＨＵと、閾値下限ＴＨＬと、オブジェクト距離ＯＢＤ（ハッチング領域）とを含んでいる。閾値上限ＴＨＵは、予め設定された閾値の範囲の上限を示す。閾値下限ＴＨＬは、予め設定された閾値の範囲の下限を示す。オブジェクト距離ＯＢＤは、データ作成部１１２が特定した空間関係に含まれるオブジェクト距離を示す。オブジェクト距離ＯＢＤが一定の範囲を示しているのは、データ作成部１１２によって特定された距離に幅があるためである。

以上のような処理によって作成されたテンプレートデータを用いれば、ＨＭＤ（頭部装着型表示装置）を用いて、実物体ＯＢ１を検出して、実物体ＯＢ１に対してＡＲオブジェクトをレンダリングする場合に、ＨＭＤ上のカメラを用いて、実物体ＯＢ１の姿勢を対象にした高精度な初期検出または初期推定を実現することができる空間関係が多様になる。

「姿勢追跡の停止」
姿勢の追跡の間に、撮像部４０が取得する撮像画像において、実物体ＯＢ１の特徴要素が消失した場合、またはモーションブラーが生じた場合には、追跡された姿勢がドリフトし始めることがある。そのような場合には、姿勢の追跡を停止してもよい。そして、追跡を停止した姿勢にて、再度、姿勢の初期化を行うことが好ましい。そうすれば、外観情報を取得した際の姿勢と、２次元モデルを得るために３次元モデルを写像した際の姿勢とが、サンプリングされるべき複数の姿勢（空間関係）に亘って、高い精度で一致し続ける。

そこで、データ作成部１１２は、図３のＳ１５の処理を実行すると、姿勢を追跡している途中で姿勢のドリフトを検出したか否かを判定する（Ｓ１７）。当該判定は、ユーザーによる観測に基づくユーザーからの入力、または追跡に基づくＣＰＵ１１０による分析によって決定することができる。データ作成部１１２がドリフトを検出したと判定した場合には（Ｓ１７：ＹＥＳ）、正しい実物体ＯＢ１の姿勢を特定できないおそれがあるため、姿勢の追跡を停止し（Ｓ１９）、Ｓ１３に戻り、再度、姿勢の初期化を行う。

Ｓ１７の処理において、データ作成部１１２は、ドリフトを検出していないと判定した場合には（Ｓ１７：ＮＯ）、実物体ＯＢ１の十分な外観情報を取得できたか否かを判定する（Ｓ２１）。本実施形態では、データ作成部１１２は、図７の半球画像ＩＭ_ｈｂ1を構成するドットＤＴの全てが緑ドットＤＴｇに変化した場合に、実物体ＯＢ１の十分な外観情報を取得できたと判定する。半球画像ＩＭ_ｈｂ1には座標軸ＡＸ２が対応付けられている。

図３のＳ２１の処理において、データ作成部１１２は、オブジェクトＯＢ２の十分な外観情報を取得できていないと判定した場合には（Ｓ２１：ＮＯ）、引き続き、Ｓ２５以降の処理を繰り返す。Ｓ２１の処理において、データ作成部１１２は、オブジェクトＯＢ２の十分な外観情報を取得できたと判定した場合には（Ｓ２１：ＹＥＳ）、実物体ＯＢ１の姿勢の追跡を終了し、空間関係（姿勢）と、その空間関係でのオブジェクトＯＢ２の外観情報と、２次元モデルデータと、を対応付けた対応付けデータ（テンプレートまたはトレーニングデータとも呼ぶ）を作成し（Ｓ２３）、オンライン作成処理を終了する。データ作成部１１２は、作成した対応付けデータ（テンプレートデータとも呼ぶ）を作成データ記憶部１２２に記憶させる。

以上説明したように、本実施形態の画像処理システムＳＹＳでは、データ作成部１１２は、操作部３０が受け付けた操作に応じて、表示部２０に表示された実物体ＯＢ１の画像ＩＭ_ＯＢ２の輪郭と、２次元モデルの輪郭ＯＬ１とをほぼ重畳させる。データ作成部１１２は、その際の撮像部４０と実物体ＯＢ１との間の空間関係と、その空間関係で撮像部４０によって撮像されたオブジェクトＯＢ２の外観情報と、２次元モデルデータと、を対応付けた対応付けデータを作成する。データ作成部１１２は、作成した対応付けデータを、作成データ記憶部１２２に記憶させる。そのため、本実施形態の画像処理システムＳＹＳによれば、オブジェクトの外部表面の見えの情報である外観情報（テクスチャー情報）を有さない３Ｄモデル（例えば３ＤＣＡＤモデル）から得られるテンプレートに、撮像画像データによって取得された外観情報を与えることができる。この対応付けにより、テンプレートは、３次元モデルから得られる特徴情報（例えば輪郭情報）に加えて、撮像画像から得られるテクスチャー情報（表面の外観情報）を有する。ＨＭＤが、実物体ＯＢ１を検出し、そしてその姿勢を推定する際に、表面の外観情報を有するテンプレートを参照することで、外観情報を有さないテンプレートと比較して、実物体ＯＢ１の初期姿勢の検出精度が向上し得る。また、本実施形態の画像処理システムＳＹＳでは、撮像部４０が実物体ＯＢ１を撮像できれば、データ作成部１１２がテンプレート（対応付けデータ）を作成でき、複雑な装置を必要とせずに外観情報を有するテンプレート（対応付けデータ）を作成できる。

Ａ−２−２．オフラインにおけるデータ作成：
オフラインに係るデータ作成の処理に関しては、その「姿勢の追跡」がオンラインの場合の処理のそれとは異なる。

図９は、オフライン作成処理のフローを表す説明図である。このオフライン作成処理を実現するためプログラムは、記憶媒体（具体的にはＲＯＭ１６１）に記憶されている。オフライン作成処理では、初めに、ＣＰＵ１１０が、映像シーケンスの取得を実行する（Ｓ３１）。実行される映像シーケンスの取得では、ユーザーに、事前に実物体ＯＢ１を撮像させる。このとき、撮像部４０に対する実物体ＯＢ１の姿勢が、図７または図８のドットで表される全ての空間関係に対応するように撮像部４０が相対移動されることが好ましい。撮像部４０の撮像によって、ＣＰＵ１１０は、実物体ＯＢ１の映像シーケンスを記録する。ＣＰＵ１１０は、映像シーケンスを構成する画像フレームの中から、所定のビューで表される姿勢に近い姿勢を有する実物体ＯＢ１が撮像されている画像フレームを選択する。選択の方法は、ＣＰＵ１１０が行う画像処理によって自動で行われてもよいし、ユーザーに選択させてもよい。そして、選択された当該画像フレームにおける実物体ＯＢ１の姿勢を推定する。姿勢を推定する方法は、オンラインにおけるデータ作成に係る処理において説明した方法と同じでよい。

次に、ＣＰＵ１１０は、基準画像フレームの取得を実行する（Ｓ３３）。選択された上記画像フレームを基準として、その時間軸の前後両方向に、各画像フレームにおいて撮像されている実物体ＯＢ１の姿勢を追跡していく（Ｓ３５）。このとき、基準とされた上記画像フレームに対して、バンドル調整を局所的又は全体的に適用することによって、各画像フレームに関して、実物体ＯＢ１の姿勢の推定を改善する。そして、所定のタイミングで、実物体ＯＢ１の外観情報を取得し、記録する。そして、取得した外観情報を、当該姿勢、および当該姿勢で３次元モデルを写像することで得られる２次元モデルの「２次元モデルデータ」に対応付けたトレーニングデータを作成して（Ｓ３７）、それらをテンプレートとして記憶し、オンライン作成処理を終了する。

以上説明したように、本実施形態の画像処理システムＳＹＳでは、データ作成部１１２は、オフライン作成処理における対応付けデータを作成する際に、オブジェクトＯＢ２の撮像画像データとして、予め実物体ＯＢ１を撮像した際に記録された映像シーケンスを用いる。そのため、オフライン作成処理では、データ作成部１１２が、オブジェクトＯＢ２の姿勢を推定する際に、バンドル調整を適用した画像フレームを用いるため、姿勢の推定を改善できる。データ作成部１１２は、これらの画像フレームを用いることで、ドリフトの発生の問題を部分的に解消できる。

Ｂ．第２実施形態：
第２実施形態では、撮像部４０がオブジェクトに加えて、撮像部４０の撮像範囲に予め設定されたマーカーが存在する場合に、マーカーに設定された座標軸を基準として、実物体ＯＢ１の姿勢の推定および追跡が実行される。

Ｂ−１．画像処理システムの構成：
図１０は、第２実施形態における画像処理システムＳＹＳａの機能的な構成を示すブロック図である。第２実施形態の画像処理システムＳＹＳａは、第１実施形態の画像処理システムＳＹＳと比較して、記憶部１２０ａがマーカー画像記憶部１２４を有すること、および、ＣＰＵ１１０ａの対応付け部１１３ａが実行する処理が異なること、が異なる。そのため、第２実施形態では、第１実施形態の画像処理システムＳＹＳと同じ構成についての説明を省略する。

記憶部１２０ａが有するマーカー画像記憶部１２４は、予め設定されたマーカーモデルを記憶している。マーカーモデルは、平面マーカーを表すが、そのマーカー座標系は、直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）で表されている。

Ｂ−２．マーカーに基づくデータ作成：
「姿勢の初期化」
図１１は、第２実施形態におけるマーカーに基づく処理のフローの説明図である。このフローを実現するためプログラムは、記憶媒体（具体的にはＲＯＭ１６１）に記憶されている。図１２は、表示画像ＩＭ５を示す。表示画像ＩＭ５は、撮像部４０がマーカー画像を撮像した場合に表示部２０に表示される座標軸ＡＸ３を含む表示画像である。表示画像ＩＭ５は、マーカー画像ＩＭ_ＭＫと、オブジェクトの画像ＩＭ_ＯＢ３とを含む表示画像である。第１実施形態と同じ方法で、ＣＰＵ１１０ａは、ユーザーから所定のコマンドを受け取った場合に、映像シーケンスの取得を開始し（Ｓ４１）、映像シーケンスの各画像フレームについて実物体ＯＢ１の姿勢を導出する（Ｓ４３）。実物体の姿勢の推定は、例えば、第１実施形態で説明したような方法で、ユーザーに実物体の画像輪郭と、実物体に対応する３Ｄモデルからえら得た２Ｄモデルの輪郭とを、一致させ、その後、ＣＰＵ１１０ａが、互いに対応する画像点と２Ｄモデル点との間の写像エラーを最小化するようなビューパラメーターの導出（最適化）を行うことでよい（図１２）。

ＣＰＵ１１０ａは、導出された上記姿勢について信頼スコアを計算し、ＵＩを介してユーザーに報知してもよい。このスコアに基づいて、ユーザーは、その姿勢を受け入れることもできるし、Ｓ４３の処理をやり直すこともできる。第１実施形態で説明したマーカーレスに基づく方法とは異なり、推定されたこの姿勢は、トレーニングデータ（テンプレート）に含まれない。

ユーザーは、実物体ＯＢ１の回りで撮像部を相対移動させ続け、さまざまな角度からの映像シーケンスを収集し、記録し続ける。この間、ＣＰＵ１１０ａは実物体の姿勢を追跡し記録し続ける（Ｓ４５）。十分な画像が収集されたら、ユーザーからのコマンドに応じて、ＣＰＵ１１０ａは、ＰＧＥ ｔｏｏｌの機能として提供される多視点改善アルゴリズム（ＡｕｔｏＦｉｔ）をコール（起動）し、以下のような処理を行う。まず、ＣＰＵ１１０ａは、映像シーケンスに含まれる各画像フレームについて、撮像部４０に対する平面マーカーのそれぞれの姿勢を求める。本実施形態では、平面マーカーの姿勢は、ホモグラフィー行列を用いる方法によって導出される。一般に、平面マーカーの３次元姿勢を精度よく求めることは、任意の３次元物体の３次元姿勢を精度よく求めることよりも容易である。そして、追跡された実物体ＯＢ１のそれぞれの姿勢と、それぞれ同じ画像フレームに含まれる平面マーカーの姿勢と、を用いて、平面マーカーと実オブジェクトとの間の正確な姿勢を推定する（Ｓ４７）。この姿勢をＴｍｏとも表記する。ここで、添え字ｏはオブジェクト座標系を示し、添え字ｍはマーカー座標系を示し、Ｔは両座標系間の変換行列を表す。以上のＳ４１からＳ４７までが、第１実施形態の姿勢の初期化に対応する。

以降、ユーザーは、実物体ＯＢ１に対して撮像部４０をいかに相対移動させても、平面マーカーの姿勢と、平面マーカーと実物体ＯＢ１との間の姿勢Ｔｍｏと、に基づいて、より精度よく実物体ＯＢ１の姿勢を追跡することができる（Ｓ４９）。そして、第１実施形態で説明したような方法で、所定の姿勢に基づいて３Ｄモデルを仮想平面に写像することで得られる２Ｄモデルを当該映像シーケンスに重ねて表示し、ユーザーにマウスなどを操作させることで、実物体の画像輪郭と２Ｄモデルの輪郭とを一致させる。そして、実物体の画像輪郭と２Ｄモデルの輪郭とがほぼ一致する場合に、ＣＰＵ１１０は、その姿勢での外観情報と、その姿勢での「２次元モデルデータ」とを対応付けて記憶する。実物体の画像輪郭と２Ｄモデルの輪郭とが一致したことのＣＰＵ１１０ａによる判定は、互いに対応する画像点と２Ｄモデル点との間の再写像エラーを最小化するようなビューパラメーターの導出（最適化）が終了することに基づいてもよいし、このような最適化が利用できないときには目視に基づくユーザーからの指示に基づいてもよい。そして、第１実施形態の場合と同様に、図７および図８のドットＤＴで表される姿勢の全てに亘って、実物体ＯＢ１の姿勢と、その姿勢での外観情報と、その姿勢での「２次元モデルデータ」と、を対応付けて記憶する（図１３）。図１３は、表示画像ＩＭ６を示す。表示画像ＩＭ６は撮像部４０がオブジェクトの姿勢を追跡している途中に表示部２０に表示された表示画像である。表示画像ＩＭ６には座標軸ＡＸ４と、マーカー画像ＩＭ_MKと、オブジェクトの画像ＩＭ_OB3と、半球画像ＩＭ_hb3と、が含まれる。所定数の姿勢について対応付けデータが記憶された場合には（Ｓ５１：ＹＥＳ）、それらをまとめて、対応付けデータ（トレーニングデータ）として記憶し（Ｓ５３）、マーカーに基づく処理が終了する。所定数の姿勢について対応付けデータが記憶されていない場合には（Ｓ５１：ＮＯ）、処理がＳ４９に戻るとともに、ＣＰＵ１１０ａはユーザーに撮像部４０を相対移動させ続けることを促す。なお、第１実施形態において説明したように、ここでいう「２次元モデルデータ」は、２次元モデルが輪郭で合わされた画像、または当該輪郭を表す「輪郭特徴情報」の少なくとも１つを含む。

Ｃ．第３実施形態：
図１４は、第３実施形態のフローを示す。このフローを実現するためプログラムは、記憶媒体（具体的にはＲＯＭ１６１）に記憶されている。図１４に示されたフローは、第２実施形態として図１１に示されたフローから、Ｓ４７、Ｓ４９及びＳ５１を除外したものに等しい。よって、第３実施形態のおおよその内容は、第２実施形態の説明から理解できる。ただし、以下の説明から分かるように、第３実施形態では、第２実施形態とは異なり、マーカーは、半球画像を表示するために用いられるが、実物体ＯＢ１の姿勢の検出または追跡するために用いられなくてもよい。以下、第３実施形態について説明する。

まず、ユーザーに、実物体ＯＢ１に対して任意の姿勢で、撮像部４０を用いて実物体ＯＢ１の静止画像または動画像（映像シーケンス）を撮像させる（Ｓ１４１）。画像フレームが選択された場合に、実物体の姿勢を導出する（Ｓ１４３）。画像フレームの選択は、図９のオフライン作成処理で説明したように実行される。

そして、ＣＰＵ１１０は、実物体ＯＢ１を含む１つの画像フレームを表示部２０に表示する。ＣＰＵ１１０は、実物体ＯＢ１の形状に対応する３Ｄモデルを、所定の（デフォルトの）ビューに基づいて仮想平面に写像することで得られる２Ｄモデルに基づく輪郭を表示部２０に表示する。この結果、実物体ＯＢ１と２Ｄモデルの輪郭とは、重なって表示されることとなるが、普通、この段階では、実物体ＯＢ１の画像輪郭と、２Ｄモデルの輪郭とは、一致していない。

ＣＰＵ１１０は、ユーザーに、実物体ＯＢ１の画像輪郭と、２Ｄモデルの輪郭と、が一致するように、３Ｄモデルを写像しているビューを調整するように促す。具体的には、ユーザーに、マウスやタッチパッドなどのインターフェースを用いて、ビューに含まれる３軸回りの回転および３軸に沿った並進を更新させる。ＣＰＵ１１０は、更新された回転および並進を含む新しいビューに基づいて、３次元モデルを仮想平面に写像して得られる２次元モデルを表示部２０に表示する。ＣＰＵ１１０は、表示部２０に所定のテキストを表示することによって、ユーザーに、上記マウス等の操作を介して、表示部２０に表示されている実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭とを一致させるように促す。また、ＣＰＵ１１０は、ユーザーに、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭と、が一致したタイミングを、所定のインターフェースを介して、ＣＰＵ１１０に通知するよう促す。ＣＰＵ１１０は、当該通知を受け取った時点での上記３つの回転および３つの並進を、実物体ＯＢ１の姿勢を表す初期姿勢として、画像フレームにおける画像点と、写像された２Ｄモデル点と、の間の再写像エラーを最小化させるアルゴリズムを起動し、実物体ＯＢ１について推定された姿勢を改善する。姿勢が改善されると、表示部２０上において、実物体ＯＢ１の画像輪郭と、２Ｄモデルの輪郭とは、より高精度に一致することとなる。この場合に、ＣＰＵ１１０は、表示部２０を介して、姿勢の改善が終了したことを表す情報をユーザーに提示してもよい。例えば、ＣＰＵ１１０は、表示部２０上に表示されている２Ｄモデルの色を変えることで、姿勢の改善が終了したことをユーザーに伝えてもよい。

そして、ＣＰＵ１１０は、実物体ＯＢ１の外観情報と、当該姿勢に対応する「２次元モデルデータ」とを、互いに関連付けて、記憶部に記憶する。さらに、オブジェクトＯＢ１の動画像が撮像された場合には、３Ｄモデル上の３Ｄ点と、画像フレーム上でオブジェクトＯＢ１に含まれる２Ｄ点と、の関係（３Ｄ−２Ｄ関係）に基づいて、オブジェクトＯＢ１の姿勢が改善された画像フレームの前後に存在する複数の画像フレームについて、オブジェクトＯＢ１の姿勢を追跡する（Ｓ１４５）。そして、トレーニングデータを作成する（Ｓ１５３）。つまり、全ての画像フレーム、またはいくつかの画像フレーム、におけるオブジェクトＯＢ１の外観情報を、それぞれの姿勢に対応するテンプレートに、当該姿勢を表す情報とともに付加する。

本実施形態によれば、少なくとも実施形態１，２と同様な効果を得ることができる。撮像部４０と実物体ＯＢ１との間の１つまたは複数の空間関係について、実物体ＯＢ１のそれぞれの外観情報が対応するテンプレートに付加される。このような処理によって作成されたテンプレートデータを用いる場合でも、ＨＭＤが、実物体ＯＢ１を検出して、実物体ＯＢ１に対応するようにＡＲオブジェクトをレンダリングする場合に、ＨＭＤが、ＨＭＤ上のカメラを用いて、実物体ＯＢ１の姿勢を対象にした高精度な初期推定を実現できる。

Ｄ．第４実施形態：
以下の本実施形態によれば、上記実施形態によるテンプレートデータの作成の前に、テンプレートに外観情報を付加することが有益かどうかを、判断することができる。具体的には、実物体の表面に特徴点が多い場合には、上記実施形態で説明したように、３Ｄモデルから作成させるテンプレートに外観情報を付加する。特徴点が多いと判定されない場合には、外観情報を付加しなくてもよい。

図１５は、本実施形態によるフローを示す。このフローを実現するためプログラムは、記憶媒体（具体的にはＲＯＭ１６１）に記憶されている。図１５を参照しながら、本実施形態のフローを説明する。

Ｓ２００にて、ＣＰＵ１１０は、撮像部４０が撮像した実物体ＯＢ１の画像（画像データ）を取得する。

Ｓ２０２にて、表示部２０に取得した画像を表示するとともに、実物体ＯＢ１に対応する３Ｄモデルを、或（あ）るビューに基づいて表示部２０上に表示（レンダリング）する。そして、ユーザーに、実物体ＯＢの輪郭と、表示された３Ｄモデル（以降、２Ｄモデルと呼ぶ）の輪郭と、がほぼ一致するように、３Ｄモデルの位置と姿勢を、マウス等で調整させる。具体的にはこのとき、ユーザーの操作に応じて、ＣＰＵ１１０は、３Ｄモデルをレンダリングするために用いられている変換行列を変化させ、変化後の変換行列に基づいて、３Ｄモデルを表示部にレンダリングする。これにより、ＣＰＵ１１０は、画像上での実物体ＯＢ１の輪郭（範囲）を判定することができる。

次にＳ２０３にて、公知のハリス特徴点検出、ＯＲＢ特徴点検出、キャニーエッジ検出などにより、実物体ＯＢ１の輪郭内での特徴点の数を求める。続いて、ＣＰＵ１１０は、実物体ＯＢ１の実物体のタイプを判定する。具体的には、特徴点の数が所定値を超える場合（Ｓ２０４：ＹＥＳ）には、当該実物体ＯＢ１をリッチフィーチャー実物体（特徴点が多い実物体ＯＢ１）であるとラベルし、処理をＳ２０８へ進める。特徴点の数が当該所定値未満の場合（Ｓ２０４：ＮＯ）には、当該実物体ＯＢ１をローフィーチャー実物体（特徴点が少ない実物体）であるとラベルし、Ｓ２１０（後述）を経由して、処理をＳ２１２に進める。

Ｓ２０８では、上記実施形態で説明した方法で、３Ｄモデルと実物体ＯＢ１の外観情報とを用いて、テンプレート（トレーニングデータ）が作成される。一方、Ｓ２１２では、保存されている３Ｄモデルのみを用いて、テンプレートを作成する。なお、本実施形態では、Ｓ２１２に進む前に、Ｓ２１０にて、ユーザーに確認させるステップがあり、ユーザーが指示する場合には、たとえＳ２０４で特徴点が多いと判定されない場合でも、処理はＳ２０８に進み、外観情報を取得し、テンプレートに付加する。

Ｅ．変形例：
上記実施形態では、対応付けデータを作成する情報処理システムとして、画像処理システムＳＹＳが用いられたが、対応付けデータを作成するシステムについては、種々変形可能である。例えば、撮像部４０を有するＨＭＤであってもよい。ＨＭＤは、コンピューターの一種である。また、第１実施形態では、撮像部４０は、１つであったが、複数の撮像部４０によって実物体ＯＢ１，ＯＢ２が撮像されてもよい。撮像部４０によるオブジェクトＯＢ２の撮像方法として、撮像部４０が位置を変化させずに、撮像部４０の位置を固定した上でオブジェクトＯＢ２の位置が変化してもよい。例えば、オブジェクトＯＢ２が回転可能な回転台の上に配置されて、位置が固定された撮像部４０によってオブジェクトＯＢ２が撮像されてもよい。また、撮像部４０およびオブジェクトＯＢ２の両方が位置を変化させてもよい。

第１実施形態では、撮像部４０がオブジェクトＯＢ２を撮像すると共に、データ作成部１１２は、撮像されたオブジェクトＯＢ２の姿勢と、３Ｄモデル記憶部１２１に記憶された３Ｄモデルとの姿勢を撮像と並行して得られる映像シーケンスを用いて最適化したが、必ずしもそのような映像シーケンスを用いて実行されなくてもよい。撮像部４０によって一連のビデオシーケンスが取得され、記憶部によって記憶された後に、データ作成部１１２は、姿勢の一致の最適化を実行してもよい。また、データ作成部１１２は、必ずしもオブジェクトＯＢ２の全周から撮像されたビデオシーケンスを要しない。例えば、特定の１つの視点から撮像されたオブジェクトＯＢ２の画像ＩＭ_ＯＢ２があれば、データ作成部１１２は、特定の１つの視点から見た対応付けデータを作成することもできる。

本明細書における撮像部４０によって取得される実物体の外観情報とは、３Ｄモデル記憶部１２１に記憶された３Ｄモデルに含まれない情報を少なくとも１つを含むデータである。外観情報として、オブジェクトの外部表面のテクスチャー情報（模様、色彩、ざらつき感や質感）を一例として挙げたが、これらの情報に限られない。

撮像部４０を移動させるために、レールＲＬを用いなくてもよい。例えば、ユーザーが撮像部４０を手に持ち、ユーザーが撮像部４０を移動させてもよい。

本開示は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

ＳＹＳ，ＳＹＳａ…画像処理システム、２０…表示部、３０…操作部、４０…撮像部、４１…アクチュエーター、１００…本体部、１１０，１１０ａ…ＣＰＵ、１１１…画像設定部、１１２…データ作成部、１１３，１１３ａ…対応付け部、１２０，１２０ａ…記憶部、１２１…３Ｄモデル記憶部、１２２…作成データ記憶部、１２３…撮像画像ＤＢ、１２４…マーカー画像記憶部、１３０…通信部、１４０…インターフェース、１５０…電源、１６１…ＲＯＭ、１６２…ＲＡＭ、ＡＸ１，ＡＸ２，ＡＸ３，ＡＸ４…座標軸、ＤＴ…ドット、ＤＴｂ…青ドット、ＤＴｇ…緑ドット、ＤＴｙ…黄ドット、ＦＣ１…領域、ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４，ＩＭ５，ＩＭ６…表示画像、ＩＭ_ＭＫ…マーカー画像、ＩＭ_ＯＢ２，ＩＭ_ＯＢ３…オブジェクトの画像、ＩＭ_ｈｂ１，ＩＭ_ｈｂ２，ＩＭ_ｈｂ３…半球画像、ＫＢ…キーボード、ＭＳ…マウス、ＭＴ１，ＭＴ２…メーター、ＯＡ…外部機器、ＯＢ１，ＯＢ２，ＯＢ３…オブジェクト（実物体）、ＯＢＤ…オブジェクト距離、ＯＬ１，ＯＬ２…レンダリングモデルの輪郭、ＲＬ…レール、ＴＨＬ…閾値下限、ＴＨＵ…閾値上限

Claims (2)

1. 実物体が撮像されて得られる映像シーケンスを取得する機能と、
   前記映像シーケンスの中から一の画像フレームが選択された場合に、前記実物体に対応する３Ｄモデルを用いて、前記一の画像フレームに含まれる前記実物体の姿勢を導出する導出機能と、
   前記一の画像フレームの前後方向の各画像フレームについて、前記実物体の前記姿勢を追跡する追跡機能と、
   前記実物体の前記姿勢について、前記画像フレームから得られる前記実物体の外観情報と、前記姿勢に対応した写像により前記３Ｄモデルから得られる２Ｄモデルのデータと、を対応付けて記憶する機能と、
   をコンピューターに実現させるためのコンピュータープログラム。
2. 実物体が撮像されて得られる画像フレームに基づいて、前記実物体の特徴点を検出する機能と、
   前記特徴点の数が所定値を超える場合に、前記実物体に対応する３Ｄモデルと、前記実物体の外観情報と、を用いて、テンプレートを作成する機能と、
   をコンピューターに実現させるためのコンピュータープログラム。

Images