JP7337104B2 - 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本開示は、２０１８年８月９日に提出された、名称が「拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体」、出願番号が２０１８１０９００４８７．７の中国特許出願を援用し、その内容の全てが参照によって本願に組み込まれる。

本開示は、拡張現実に関し、特に、拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体に関する。

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；以下、ＡＲと略称する）は、強化現実又は増強現実とも称されており、コンピュータ仮想現実を基礎として発展してきた新規な技術である。それはコンピュータ技術によって現実世界の情報を抽出し、仮想の情報を現実世界に重ね合わせ、それによって仮想の情報と現実世界の情報が同一の画面又は空間に同時に存在する現実的な知覚効果を達成する。ＡＲ技術は軍事、科学研究、工業、医療、ゲーム、教育、市政計画等の分野で広く応用されている。例えば、医療分野では、医者はＡＲ技術を用いて手術部位を精確に決定することができる。

従来の拡張現実ＡＲシステムでは、現実画像と仮想動画の融合過程を実現するには、まず、現実環境のビデオフレームを取得し、取得されたビデオフレームに計算処理を行って環境とカメラの相対的方位を取得し、仮想対象の図形フレームを生成し、仮想対象の図形フレームと現実環境のビデオフレームを合成して拡張現実環境の合成ビデオフレームを得、フレームバッファ情報に入力して表示する。

しかしながら、上記方法によって実現された拡張現実システムでは、動画モデルを現実場所に提示した後、動画モデルの描いた仮想対象動画が固定的な位置で移動して動画効果を生成するが、このような動画が現実場所の平面に対して無関係であり、仮想対象動画と現実場所を関連付ける効果を実現することができなく、ユーザの現実感体験が悪い。

上記問題を解決するために、本開示は拡張現実によるモデル動画多平面インタラクション方法を提供し、更に、拡張現実によるモデル動画多平面インタラクションデバイス、装置及び記憶媒体を提供する。現実場所で認識した平面を使って、動画モデルの描く仮想対象の動画軌跡を决定することによって、仮想対象動画と現実場所を関連付けることを実現して、システムの現実感体験を増強する。

上記目的を実現するために、本開示の一態様によれば、下記の技術的解決手段を提供する。

現実環境の映像画像を取得するステップと、この映像画像に計算処理を行って、現実環境における複数の現実平面を認識するステップと、前記モデルに対応する仮想対象を前記複数の現実平面のうちの一つの平面に付加するステップと、認識された前記複数の現実平面により、前記仮想対象の前記複数の現実平面の間での動画軌跡を生成するステップと、を含む拡張現実によるモデル動画多平面インタラクション方法である。

更に、この映像画像に計算処理を行って、現実環境における複数の現実平面を認識する前記ステップには、前記映像画像における全ての平面を一回で認識するステップ、又は映像画像における平面を順に認識するステップ、又は仮想対象の動画の需要に応じて、必要とされる平面を認識するステップを含む。

更に、この映像画像に計算処理を行って、現実環境における複数の現実平面を認識する前記ステップには、ＳＬＡＭアルゴリズムによって世界座標系での平面姿勢とカメラ姿勢を検出するステップと、を含む。

認識された前記現実平面により、仮想対象の描く仮想対象動画軌跡を生成する前記ステップには、
世界座標系での平面姿勢と仮想対象の認識された平面の平面座標系に対する姿勢によって、仮想対象の世界座標系に対する姿勢を算出するステップと、
世界座標系でのカメラ姿勢によって変化行列Ｈを算出して、仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変換することに用いるステップと、
認識された複数の現実平面のデータにより、仮想対象の動画軌跡データを生成するステップと、
動画軌跡データにより対応する３次元図形を描いて、複数の仮想図形フレームを生成して仮想対象の動画軌跡を形成するステップと、を更に含む。

更に、前記動画軌跡データはカメラ座標系での座標位置、動画曲線及びジャンプ関係を含む。

更に、認識された前記現実平面の姿勢及び前記ジャンプ関係により、前記仮想対象の動画キーポイントを生成し、動画キーポイントをパラメータとして、ベジェ曲線を使って配置して前記仮想対象の前記動画軌跡を生成する。

上記目的を実現するために、本開示の別の態様によれば、下記の技術的解決手段を提供する。

現実環境の映像画像を取得するための取得モジュールと、この映像画像に計算処理を行って、現実環境における現実平面を認識するための認識モジュールと、前記モデルに対応する仮想対象を前記複数の現実平面のうちの一つの平面に付加するための付加モジュールと、認識された前記複数の現実平面により、前記仮想対象の前記複数の現実平面の間での動画軌跡を生成する生成モジュールと、を含む拡張現実によるモデル動画多平面インタラクション装置である。

更に、前記認識モジュールによって現実環境における複数の現実平面を認識するステップには、前記映像画像における全ての平面を一回で認識するステップ、又は映像画像における平面を順に認識するステップ、又は仮想対象の動画の需要に応じて、必要とされる平面を認識するステップを含む。

更に、前記認識モジュールによって現実環境における複数の現実平面を認識するステップには、ＳＬＡＭアルゴリズムによって世界座標系での平面姿勢とカメラ姿勢を検出するステップを含む。

前記生成モジュールによって、認識された前記複数の現実平面により、前記仮想対象の動画軌跡を生成するステップには、
世界座標系での平面姿勢と仮想対象の認識された平面の平面座標系に対する姿勢によって、仮想対象の世界座標系に対する姿勢を算出するステップと、
世界座標系でのカメラ姿勢によって変化行列Ｈを算出して、仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変換することに用いるステップと、
認識された複数の現実平面のデータにより仮想対象の動画軌跡データを生成するステップと、
動画軌跡データにより対応する３次元図形を描いて、複数の仮想図形フレームを生成して仮想対象の動画軌跡を形成するステップと、を更に含む。

更に、前記動画軌跡データはカメラ座標系での座標位置、動画曲線及びジャンプ関係を含む。

更に、前記生成モジュールは、認識された前記現実平面の姿勢及び前記ジャンプ関係により、前記仮想対象の動画キーポイントを生成し、動画キーポイントをパラメータとして、ベジェ曲線を使って配置して前記仮想対象の前記動画軌跡を生成する。

上記目的を実現するために、本開示の別の態様によれば、下記の技術的解決手段を提供する。

コンピュータ可読コマンドを記憶するメモリと、前記コンピュータ可読コマンドを実行して上記のいずれか一項の拡張現実によるモデル動画多平面インタラクション方法を実現するプロセッサと、を含む拡張現実によるモデル動画多平面インタラクションデバイスである。

上記目的を実現するために、本開示の別の態様によれば、下記の技術的解決手段を提供する。

コンピュータ可読コマンドを記憶するためのコンピュータ可読記憶媒体であって、前記コンピュータ可読コマンドがコンピュータにより実行されると、前記コンピュータが上記のいずれか一項に記載の拡張現実によるモデル動画多平面インタラクション方法を実現するコンピュータ可読記憶媒体である。

本開示の実施例は、拡張現実によるモデル動画多平面インタラクション方法、拡張現実によるモデル動画多平面インタラクション装置、拡張現実によるモデル動画多平面インタラクションデバイス及びコンピュータ可読記憶媒体を提供する。ここで、拡張現実によるモデル動画多平面インタラクション方法は、現実環境の映像画像を取得するステップと、この映像画像に計算処理を行って、現実環境における複数の現実平面を認識するステップと、前記モデルに対応する仮想対象を前記複数の現実平面のうちの一つの平面に付加するステップと、認識された前記複数の現実平面により、前記仮想対象の前記複数の現実平面の間での動画軌跡を生成するステップと、を含む。この方法は、認識された現実環境の現実平面によって仮想対象の動画軌跡を生成して、仮想対象の動画効果と現実場所を関連付けて、ユーザの現実感体験を増強する。

上記説明は本開示の技術的解決手段の概要に過ぎず、本開示の技術手段をより明確に理解して、明細書の内容に基づいて実施することができるよう、並びに本発明の上記内容と他の目的、特徴および利点をより分かりやすくするように、以下、好ましい実施例を挙げ、図面と合わせて詳細に説明する。

本開示の一実施例に係る拡張現実によるモデル動画多平面インタラクション方法のフローチャートである。 本開示の別の実施例に係る拡張現実によるモデル動画多平面インタラクション方法のフローチャートである。 本開示の一実施例に係る仮想対象動画の生成の実例である。 本開示の一実施例に係る拡張現実によるモデル動画多平面インタラクション装置の構造の模式図である。 本開示の一実施例に係る拡張現実によるモデル動画多平面インタラクションデバイスの構造の模式図である。 本開示の一実施例に係るコンピュータ可読記憶媒体の構造の模式図である。 本開示の一実施例に係る拡張現実によるモデル動画多平面インタラクション端末の構造の模式図である。

以下、特定の具体的実例を用いて本開示の実施形態を説明するが、当業者であれば、本明細書に開示された内容から、本開示の他の利点および効果を容易に理解できる。無論、記載される実施例は本開示の一部の実施例に過ぎず、全ての実施例ではない。本開示は、別の異なる具体的実施形態で実施または応用してもよく、本明細書の各詳細事項についても、別の異なる観点および応用に基づき、本開示の精神から逸脱しない範囲で各種の補足または変更を加えてもよい。説明すべきは、矛盾しない場合、以下の実施例および実施例にある特徴は、互いに組み合わせることができるということである。当業者が本開示の実施例に基づいて、創造的労力を要することなく実現した全ての他の実施例は、本開示の保護範囲に含まれる。

説明すべきは、以下、添付の特許請求の範囲内に入る実施例の様々な態様について記述するということである。本明細書に記載される態様は多くの異なる形態で具現化され得、本明細書に記載される任意の特定の構造および／または機能は説明的なものに過ぎないことが明らかである。本開示に基づき、本明細書に記載される一つの態様は、その他任意の態様とは独立して実施してもよく、二つ以上の態様を様々な形で組み合わせてもよいことが、当業者には理解されるであろう。例えば、本明細書において記載される任意の数の態様を使用して、装置が実装され得るおよび／または方法が実施され得る。また、本明細書に記載される態様の一つもしくは複数に加えて、それ以外の他の構造および／または機能性を用いて該装置が実装され得るおよび／または該方法が実施され得る。

なお、以下の実施例に提供される図面は本開示の基本構想を概略的に示すものに過ぎず、図示では、本開示に関係するコンポーネントのみを示し、実際の実施時のコンポーネントの数、形状およびサイズで描かれておらず、実際の実施時、各コンポーネントの形態、数および比率は任意に変更可能であり、そのコンポーネントの構造もより複雑になり得るということを説明する必要がある。

また、以下の記載では、実例を十分に理解できるように具体的な詳細が提供される。しかしながら、前記態様は、これらの具体的詳細なしに実施され得ることが、当業者に理解される。

ユーザの現実感体験効果をどのように増強するかという技術的問題を解決するために、本開示の実施例は拡張現実によるモデル動画多平面インタラクション方法を提供する。図１に示すように、この拡張現実によるモデル動画多平面インタラクション方法は主に下記のステップを含む。

ステップＳ１：現実環境の映像画像を取得する。

ここで、まず、グラフィックシステム環境を初期化し、グラフィックシステム環境の初期化は２次元図形と３次元図形に対応可能な製図環境にすることを目的とし、表示モード設置、表示パラメータリスト設置、表示デバイス、表示表面作成、表示表面パラメータ設置、視点位置及び視覚平面の設置等を含む。

グラフィックシステムは一般にカメラ、ビデオカメラ等の画像取得デバイスによって現実環境の映像画像を取得する。カメラ、ビデオカメラの内部パラメータはカメラの焦点距離及びひずみ等の内部に固有のパラメータを指し、このパラメータはカメラの投影変換行列を決定し、カメラそのものの属性に依存するので、同一のカメラにとってその内部パラメータが不変なものである。カメラの内部パラメータは独立したカメラキャリブレーションプログラムによって事前に取得されたものであり、ここでこのパラメータをメモリに読み込む。

カメラ、ビデオカメラによってビデオフレーム画像をキャプチャし、且つこのビデオフレーム画像に対応の処理、例えば縮小拡大、濃淡処理、二値化、アウトライン抽出等を行う。

ステップＳ２：取得されたビデオフレーム画像に計算処理を行って、現実環境における複数の現実平面を認識する。

ここで、現実平面の認識では、環境における全ての平面を一回で認識してもよく、一つずつ認識してもよく、又は仮想対象の動画の需要に応じて、必要とされる平面を認識してもよい。

ここで、現実平面の認識に多種の方法が利用可能であり、自己位置推定とマッピングの同時実行（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭ）アルゴリズムによって世界座標系での平面姿勢とカメラ姿勢を検出する。ここで、姿勢情報（ｐｏｓｅ）は位置（３次元座標）と姿勢（Ｘ、Ｙ、Ｚの３軸のそれぞれの周りの回転角度）を含み、一般的には姿勢行列で表す。世界座標系はシステムの絶対座標系であり、ユーザ座標系（即ち、カメラ座標系）が構築される前に画面における全ての点の座標がこの座標系の原点でそれぞれの位置を決定される。

一実施例では、特徴点アライメントに基づく方法で現実平面の検出認識を行い、ビデオフレーム画像中の離散特徴点、例えばＳＩＦＴ、ＳＵＲＦ、ＦＡＳＴ、ＯＲＢ等の特徴を抽出し、隣接する画像の特徴点とマッチングし、マッチング可能な特徴点によってカメラの姿勢増分を計算し、且つ三角測量技術で回復して特徴点の３次元座標を取得する。抽出された特徴点がほとんど同一の平面にあると仮定し、抽出されたＦＡＳＴ角点を用いてＲＡＮＳＡＣアルゴリズムによって場所の各平面を推定する。

一実施例では、画像アライメントに基づく方法を用いて現実平面の検出認識を行い、ビデオフレーム画像の１フレーム前のフレームと現在フレームの間の全ての画素点によって直接的なアライメント操作を行い、画像における全ての画素点情報から隣接するフレームのカメラ姿勢増分を求め、画像における画素点の深度情報を回復して、現実平面を得る。

一実施例では、ビデオフレーム画像を３次元点群形式に変換し、単一フレームの３次元点群の再構成を完成し、ＳＵＲＦ特徴記述子を用いて隣接する２フレームの画像に特徴抽出を行い、ユークリッド距離を類似度基準とし、ＰｎＰで隣接する２フレームの３次元点群の初期的な回転行列を求め、ＶｏｘｅｌＧｒｉｄフィルタで再構成した各フレームの点群にダウンサンプリングを行い、ＲＡＮＳＡＣアルゴリズムで各フレームの３次元点群から平面姿勢を抽出し、各フレームの３次元点群から抽出した平面姿勢によって各現実平面位置を決定する。

ステップＳ３：前記モデルに対応する仮想対象を前記複数の現実平面のうちの一つの平面に付加する。

ここのモデルは３Ｄモデルであってよく、各３Ｄモデルを映像画像に付加する時に、１つの仮想対象に対応し、この仮想対象がステップＳ２で認識された現実平面に付加され、具体的にどの平面に付加されるかについては本開示で限定されず、最初に認識された平面に付加されてもよく、ユーザの指定に応じてユーザの指定した平面に付加されてもよい。ステップＳ４：認識された前記複数の現実平面により、前記仮想対象の前記複数の現実平面の間での動画軌跡を生成する。

仮想対象の認識された平面の３次元平面座標系に対する姿勢は一般的にはシステムの内部設定によるものであり（例えば、直接平面原点に付加する）、又はユーザにより指定される。

ここで、図２に示すように、具体的には、下記のステップを含む。

Ｓ３１：世界座標系での平面姿勢と仮想対象の認識された平面の平面座標系に対する姿勢によって、仮想対象の世界座標系に対する姿勢を算出する。

Ｓ３２：世界座標系でのカメラ姿勢によって変化行列Ｈ（ｖｉｅｗ ｍａｔｒｉｘ）を算出して、仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変化させることに用いる。

認識された平面の表示画像への結像過程は、平面の点が世界座標系からカメラ座標系に変換され、続いて表示画像に投影されて平面の２次元画像を形成することに相当する。従って、認識された平面によって、上記システムの内部に設定された、又はユーザに指定された対応データからこの平面に対応する３次元仮想対象を検索し、且つこの３次元仮想対象の頂点配列を取得し、最後に頂点配列中の頂点座標に変換行列Ｈを乗算してこの３次元仮想対象のカメラ座標系での座標を取得する。

ここで、カメラ座標系と世界座標系での対応のカメラ座標を取得した後、連立方程式によって投影行列と変換行列Ｈの乗積を求めることができる。投影行列が完全にカメラの内部パラメータに依存するので、変換行列Ｈを推算できる。

全てのカメラ内部パラメータと外部パラメータを算出することで、対応の計算によってカメラ座標系から表示画像への３Ｄ－２Ｄ変換を実現できる。

Ｓ３３：認識された現実の平面データ（平面姿勢を含む）により、仮想対象の動画軌跡データを生成する。動画軌跡データはカメラ座標系での座標位置、動画曲線及びジャンプ関係を含む。ここで、認識された現実平面の位置及び仮想対象のジャンプ関係により、仮想対象の動画キーポイントｋｅｙｐｏｉｎｔを生成する。或いは、動画キーポイントを設置することによって、ジャンプ関係及び動画曲線を生成することもできる。

ここで、動画軌跡のジャンプ関係は、例えば、まずどの平面にジャンプするか、次にどの平面にジャンプするかということである。

Ｓ３４：動画軌跡データにより対応する３次元図形を描いてフレームバッファに記憶して、複数の仮想図形フレームを生成して、仮想対象の動画軌跡を描く。

一実施例では、ベジェ曲線を使って配置して仮想対象の動画曲線、即ち動画軌跡を生成して、精確な描画と配置を達成する。動画軌跡データによりベジェ曲線方程式の次数、例えば一次、二次、三次又はより高い次数を決定し、仮想対象の動画キーポイントｋｅｙｐｏｉｎｔをベジェ曲線の制御点として、ベジェ曲線方程式、例えば線形ベジェ曲線方程式、二次ベジェ曲線方程式、三次ベジェ曲線方程式又はより高次のベジェ曲線方程式を作成し、このベジェ曲線方程式によりベジェ曲線を描画して、仮想対象の動画曲線、即ち動画軌跡を形成する。

理解を容易にするために、図２ａに本開示の実施例の拡張現実によるモデル動画多平面インタラクション方法の一実例を示す。図２ａに示すように、ステップＳ２でＰ１、Ｐ２、Ｐ３及びＰ４の４つの現実平面が認識され、仮想対象Ｍが平面Ｐ１に付加され、この例では、ユーザが動画のキーポイントを設置することができ、図２ａに示すように、キーポイントがそれぞれ平面Ｐ２、Ｐ３及びＰ４にあるＡ、Ｂ、Ｃであり、ジャンプ関係がＰ１－Ｐ２－Ｐ３－Ｐ４の順序であり、そのように、前記キーポイントとジャンプ関係により動画を生成でき、例えば、キーポイントをベジェ曲線の制御点としてベジェ曲線方程式を作成して、仮想対象の動画曲線を生成する。

ユーザの現実感体験効果をどのように増強するかという技術的問題を解決するために、本開示の実施例は拡張現実によるモデル動画多平面インタラクション装置３０を提供する。この装置は上記の拡張現実によるモデル動画多平面インタラクション方法の実施例に記載のステップを実行可能である。図３に示すように、この装置３０は主に取得モジュール３１、認識モジュール３２、付加モジュール３３及び生成モジュール３４を含む。

ここで、取得モジュール３１は、現実環境の映像画像を取得するために用いられる。

一般的には、グラフィックシステムによって取得モジュールを実現する。

まず、グラフィックシステム環境を初期化し、グラフィックシステム環境の初期化は２次元図形と３次元図形に対応可能な製図環境にすることを目的とし、表示モード設置、表示パラメータリスト設置、表示デバイス、表示表面作成、表示表面パラメータ設置、視点位置及び視覚平面の設置等を含む。

グラフィックシステムは一般にカメラ、ビデオカメラ等の画像取得デバイスによって現実環境の映像画像を取得する。カメラ、ビデオカメラの内部パラメータはカメラの焦点距離及びひずみ等の内部に固有のパラメータを指し、このパラメータはカメラの投影変換行列を決定し、カメラそのものの属性に依存するので、同一のカメラにとってその内部パラメータが不変なものである。カメラの内部パラメータは独立したカメラキャリブレーションプログラムによって事前に取得されたものであり、ここでこのパラメータをメモリに読み込む。

前記取得モジュールは、カメラ、ビデオカメラによってビデオフレーム画像をキャプチャし、且つこのビデオフレーム画像に対応の処理、例えば縮小拡大、濃淡処理、二値化、アウトライン抽出等を行う。

ここで、認識モジュール３２は、取得モジュールによって取得されたビデオフレーム画像に計算処理を行って、現実環境における現実平面を認識するために用いられる。

現実平面の認識では、環境における全ての平面を一回で認識してもよく、一つずつ認識してもよく、又は仮想対象の動画の需要に応じて、必要とされる平面を認識してもよい。

ここで、現実平面の認識に多種の方法が利用可能であり、自己位置推定とマッピングの同時実行（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭ）アルゴリズムによって世界座標系での平面姿勢とカメラ姿勢を検出する。ここで、姿勢情報（ｐｏｓｅ）は位置（３次元座標）と姿勢（Ｘ、Ｙ、Ｚの３軸のそれぞれの周りの回転角度）を含み、一般的には姿勢行列で表す。

一実施例では、特徴点アライメントに基づく方法で現実平面の検出認識を行い、ビデオフレーム画像中の離散特徴点、例えばＳＩＦＴ、ＳＵＲＦ、ＦＡＳＴ、ＯＲＢ等の特徴を抽出し、隣接する画像の特徴点とマッチングし、マッチング可能な特徴点によってカメラの姿勢増分を計算し、且つ三角測量技術で回復して特徴点の３次元座標を取得する。抽出された特徴点がほとんど同一の平面にあると仮定し、抽出されたＦＡＳＴ角点を用いてＲＡＮＳＡＣアルゴリズムによって場所の各平面を推定する。

一実施例では、画像アライメントに基づく方法を用いて現実平面の検出認識を行い、ビデオフレーム画像の１フレーム前のフレームと現在フレームの間の全ての画素点によって直接的なアライメント操作を行い、画像における全ての画素点情報から隣接するフレームのカメラ姿勢増分を求め、画像における画素点の深度情報を回復して、現実平面を得る。

一実施例では、ビデオフレーム画像を３次元点群形式に変換し、単一フレームの３次元点群の再構成を完成し、ＳＵＲＦ特徴記述子を用いて隣接する２フレームの画像に特徴抽出を行い、ユークリッド距離を類似度基準とし、ＰｎＰで隣接する２フレームの３次元点群の初期的な回転行列を求め、ＶｏｘｅｌＧｒｉｄフィルタで再構成した各フレームの点群にダウンサンプリングを行い、ＲＡＮＳＡＣアルゴリズムで各フレームの３次元点群から平面姿勢を抽出し、各フレームの３次元点群から抽出した平面姿勢によって各現実平面位置を決定する。

ここで、付加モジュール３３は、前記モデルに対応する仮想対象を前記複数の現実平面のうちの一つの平面に付加するために用いられる。

ここのモデルは３Ｄモデルであってよく、各３Ｄモデルを映像画像に付加する時に、１つの仮想対象に対応し、この仮想対象がステップＳ２で認識された現実平面に付加され、具体的にどの平面に付加されるかについては本開示で限定されず、最初に認識された平面に付加されてもよく、ユーザの指定に応じてユーザの指定した平面に付加されてもよい。

ここで、生成モジュール３４は、認識された前記複数の現実平面により、前記仮想対象の前記複数の現実平面の間での動画軌跡を生成するために用いられる。

仮想対象（３Ｄモデル）の認識された平面の３次元平面座標系に対する姿勢は一般的にはシステムの内部設定によるものであり（例えば、直接平面原点に付加する）、又はユーザにより指定される。

ここで、生成モジュール３４の具体的な操作ステップは以下を含む。

Ｓ３１：世界座標系での平面姿勢と仮想対象の認識された平面の平面座標系に対する姿勢によって、仮想対象の世界座標系に対する姿勢を算出する。

Ｓ３２：世界座標系でのカメラ姿勢によって変化行列Ｈ（ｖｉｅｗ ｍａｔｒｉｘ）を算出して、仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変化させることに用いる。

認識された平面の表示画像への結像過程は、平面の点が世界座標系からカメラ座標系に変換され、続いて表示画像に投影されて平面の２次元画像を形成することに相当する。従って、認識された平面によって、上記システムの内部に設定された、又はユーザに指定された対応データからこの平面に対応する３次元仮想対象を検索し、且つこの３次元仮想対象の頂点配列を取得し、最後に頂点配列中の頂点座標に変換行列Ｈを乗算してこの３次元仮想対象のカメラ座標系での座標を取得する。

ここで、カメラ座標系と世界座標系での対応のカメラ座標を取得した後、連立方程式によって投影行列と変換行列Ｈの乗積を求めることができる。投影行列が完全にカメラの内部パラメータに依存するので、変換行列Ｈを推算できる。

全てのカメラ内部パラメータと外部パラメータを算出することで、対応の計算によってカメラ座標系から表示画像への３Ｄ－２Ｄ変換を実現できる。

Ｓ３３：認識された現実の平面データ（平面姿勢を含む）により、仮想対象の動画軌跡データを生成する。動画軌跡データはカメラ座標系での座標位置、動画曲線及びジャンプ関係を含む。ここで、認識された現実平面の位置及び仮想対象に定義された仮想対象のジャンプ関係により、仮想対象の動画キーポイントｋｅｙｐｏｉｎｔを生成する。

ここで、動画軌跡のジャンプ関係は、例えば、まずどの平面にジャンプするか、次にどの平面にジャンプするかということである。

Ｓ３４：動画軌跡データにより対応する３次元図形を描いてフレームバッファに記憶して、複数の仮想図形フレームを生成して、仮想対象の動画軌跡を描く。

一実施例では、ベジェ曲線を使って配置して仮想対象の動画曲線、即ち動画軌跡を生成して、精確な描画と配置を達成する。動画軌跡データによりベジェ曲線方程式の次数、例えば一次、二次、三次又はより高い次数を決定し、仮想対象の動画キーポイントｋｅｙｐｏｉｎｔをベジェ曲線の制御点として、ベジェ曲線方程式、例えば線形ベジェ曲線方程式、二次ベジェ曲線方程式、三次ベジェ曲線方程式又はより高次のベジェ曲線方程式を作成し、このベジェ曲線方程式によりベジェ曲線を描画して、仮想対象の動画曲線、即ち動画軌跡を形成する。

図４は本開示の実施例に係る拡張現実によるモデル動画多平面インタラクションデバイスのハードウェアのブロック図である。図４に示すように、本開示の実施例に係る拡張現実によるモデル動画多平面インタラクションデバイス４０はメモリ４１とプロセッサ４２を含む。

該メモリ４１は非一時的コンピュータ可読命令を記憶するために用いられる。具体的には、メモリ４１は一つまたは複数のコンピュータタプログラム製品を含んでもよく、該コンピュータタプログラム製品は、例えば揮発性メモリおよび／または不揮発性メモリといった各種形式のコンピュータ可読記憶媒体を含んでもよい。該揮発性メモリは例えばランダムアクセスメモリ（ＲＡＭ）および／またはキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。該不揮発性メモリは例えば読み出し専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含んでもよい。

該プロセッサ４２は中央処理装置（ＣＰＵ）であっても、データ処理能力および／または命令実行能力を有する他の形式の処理部であってもよく、且つ拡張現実によるモデル動画多平面インタラクションデバイス４０内の他のコンポーネントを制御して所望の機能を実行することもできる。本開示の一実施例では、該プロセッサ４２は、該メモリ４１に記憶されている該コンピュータ可読命令を実行し、前述した本開示の各実施例に記載の拡張現実によるモデル動画多平面インタラクション方法の全部または一部のステップをこの拡張現実によるモデル動画多平面インタラクションデバイス４０に実行させるために用いられる。

どのようにすれば良好なユーザ体験が得られるかという技術的課題を解決するために、本実施例には、例えば通信バス、インタフェースなどの公知の構造を含んでもよく、これらの公知の構造も本開示の保護範囲内に含まれるものとすることが、当業者に理解されるだろう。

本実施例の詳細な説明は前述した各実施例の対応する説明を参照すればよく、ここでは説明を省略する。

図５は本開示の実施例に係るコンピュータ可読記憶媒体を示す模式図である。図５に示すように、本開示の実施例に係るコンピュータ可読記憶媒体５０に非一時的コンピュータ可読命令５１が記憶されている。該非一時的コンピュータ可読命令５１がプロセッサに実行されると、前述した本開示の各実施例に記載の拡張現実によるモデル動画多平面インタラクション方法の全部または一部のステップを実行する。

上記コンピュータ可読記憶媒体は、光記憶媒体（例えばＣＤ－ＲＯＭおよびＤＶＤ）、光磁気記憶媒体（例えばＭＯ）、磁気記憶媒体（例えば磁気テープまたはポータブルハードディスク）、内蔵の書き換え可能な不揮発性メモリを有する媒体（例えばメモリカード）、および内蔵ＲＯＭを有する媒体（例えばＲＯＭカセット）を含むが、これらに限定されない。

本実施例の詳細な説明は前述した各実施例の対応する説明を参照すればよく、ここでは説明を省略する。

図６は本開示の実施例に係る端末のハードウェア構造の模式図を示す。図６に示すように、この拡張現実によるモデル動画多平面インタラクション端末６０は上記拡張現実によるモデル動画多平面インタラクション装置の実施例を含む。

該端末は様々な形で実施することができ、本開示における端末は、例えば携帯電話、スマートフォン、ノートパソコン、デジタル放送受信機、ＰＤＡ（パーソナル・デジタル・アシスタント）、ＰＡＤ（タブレット）、ＰＭＰ（可搬式マルチメディア再生機）、ナビゲーション装置、車載端末、車載ディスプレイ端末、車載電子ミラーなどの携帯端末、および例えばデジタルＴＶ、デスクトップコンピュータなどの固定端末を含み得るが、これらに限定されない。

同等の代替実施形態として、該端末はさらに他のコンポーネントを含んでもよい。図６に示すように、この拡張現実によるモデル動画多平面インタラクション端末６０は、電源ユニット６１、無線通信ユニット６２、Ａ／Ｖ（オーディオ／ビデオ）入力ユニット６３、ユーザ入力ユニット６４、検出ユニット６５、接続ユニット６６、コントローラ６７、出力ユニット６８およびメモリ６９などを含んでもよい。図６は様々なコンポーネントを有する端末を示しているが、図示されるコンポーネントは全て必要とされるわけではなく、代替的により多くの、またはより少ないコンポーネントを有してもよいことが理解される。

その中で、無線通信ユニット６２は、端末６０と無線通信システムまたはネットワークとの間の無線通信を可能にする。Ａ／Ｖ入力ユニット６３は、オーディオまたはビデオ信号を受信するために用いられる。ユーザ入力ユニット６４は、ユーザから入力されるコマンドに応じてキー入力データを生成して、端末の各種の動作を制御することができる。検出ユニット６５は、端末６０の現在の状態、端末６０の位置、端末６０に対するユーザのタッチ入力の有無、端末６０の向き、端末６０の加速・減速移動、および方向などを検出し、端末６０の動作を制御するためのコマンドまたは信号を生成する。接続ユニット６６は、少なくとも一つの外部装置と端末６０を接続するためのものである。出力ユニット６８は、出力信号を視覚的、聴覚的および／または触覚的に提供するように構成される。メモリ６９は、コントローラ６６により実行される、処理および動作制御のためのソフトウェアプログラムなどを記憶してもよく、既に出力したデータまたは出力しようとするデータを一時的に記憶してもよい。メモリ６９は、少なくとも一種の記憶媒体を含み得る。また、端末６０は、ネットワーク接続を介してメモリ６９の記憶機能を実行するネットワーク記憶装置と協働してもよい。コントローラ６７は、一般的に端末の全体的な動作を制御する。この他、コントローラ６７は、マルチメディアデータを再現または再生するためのマルチメディアモジュールを含んでもよい。コントローラ６７は、タッチパネル上に行われる手書き入力または描画入力を文字または画像として認識するように、パターン認識処理を行ってもよい。電源ユニット６１は、コントローラ６７の制御下で外部電力または内部電力を受け取り、各素子およびコンポーネントの動作に必要な適切な電力を提供する。

本開示で提案した拡張現実によるモデル動画多平面インタラクション方法の各種の実施形態は、例えばコンピュータソフトウェア、ハードウェアまたはそれらの任意の組み合わせからなるコンピュータ可読媒体を用いて実施することができる。ハードウェア実施の場合、本開示で提案した拡張現実によるモデル動画多平面インタラクション方法の各種の実施形態は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブル論理装置（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、および本明細書に記載の機能を実行するように設計された電子部の少なくとも一種によって実施され得、いくつかの場合において、本開示で提案した拡張現実によるモデル動画多平面インタラクション方法の各種の実施形態は、コントローラ６７内で実施され得る。ソフトウェア実施の場合、本開示で提案した拡張現実によるモデル動画多平面インタラクション方法の各種の実施形態は、少なくとも一種の機能または動作が実行可能な別個のソフトウェアモジュールと組み合わせて実施してもよい。ソフトウェアコードは、任意の適切なプログラミング言語で書かれたソフトウェアアプリケーション（またはプログラム）により実施され得、ソフトウェアコードは、メモリ６９に記憶され、コントローラ６７により実行されることが可能である。

本実施例の詳細な説明は前述した各実施例の対応する説明を参照すればよく、ここでは説明を省略する。

以上、具体的な実施例と合わせて本開示の基本原理を説明したが、指摘すべきことは、本開示に言及する利点、優位性、効果などはあくまで例示に過ぎず、限定するものではなく、これらの利点、優位性、効果などは本開示の各実施例に必須であると考えてはならないことである。また、上述で開示した具体的な詳細は例示のためおよび理解を容易にするためのものに過ぎず、限定するものではなく、上述の詳細は本開示が必ず上述の具体的な詳細を用いて実現しなければならないと限定するものではない。

本開示に言及する器具、装置、機器、システムのブロック図は例示的なものに過ぎず、ブロック図に示す方式に従い接続、配置、構成を行わなければならないと要求または暗示することを意図しない。当業者であれば知っているように、任意の方式でこれらの器具、装置、機器、システムを接続、配置、構成できる。例えば「含む」、「からなる」、「有する」などの語句は開放的な語彙であり、「含むがこれに限らない」ということを意味し、且つ置き換えて使用できる。文脈上明確に示さない限り、本明細書に用いられる「または」、「および」という語彙は「および／または」を意味し、且つ置き換えて使用できる。本明細書に用いられる「例えば」という語彙は、「例えば～だがこれに限らない」という語句を意味し、且つ置き換えて使用できる。

この他、本明細書に使用されるように、「少なくとも一つ」で始まる項目の列挙で使用する「または」は分離した列挙を指示しており、例えば「Ａ、ＢまたはＣの少なくとも一つ」の列挙は、ＡまたはＢまたはＣ、或いはＡＢまたはＡＣまたはＢＣ、或いはＡＢＣ（即ちＡとＢとＣ）を意味している。また、「例示的」という用語は記述された例が最適または他の例よりもよいことを意味していない。

さらに指摘する必要があるのは、本開示のシステムおよび方法において、各部品または各ステップは分割および／または再組み合わせが可能である、ということである。これらの分解および／または再組み合わせるは、本開示の等価方案と見なすべきである。

添附した特許請求の範囲の定義する指導的技術を逸脱しない範囲で、ここで述べている技術の各種変更、代替、更改を行うことができる。また、本開示の特許請求の範囲は以上述べたプロセス、装置、製造、事象の構成、手段、方法および動作の具体的な面に限定しない。ここで説明した相応の面と基本的に同じ機能を実行し、またはそれと基本的に同じ結果が得られる現有のまたは将来的に開発可能なプロセス、装置、製造、事象の構成、手段、方法または動作を利用することが可能である。従って、添付の特許請求の範囲は、その範囲内でのこのようなプロセス、装置、製造、事象の構成、手段、方法または動作を含む。

開示された方面の以上の説明を提供することで、いかなる当業者も本開示を実行または使用できるようになる。これらの方面への各種修正は、当業者にとって自明であり、またここで定義している一般原理は本発明を逸脱することなく他の方面に応用できる。従って、本開示はここで示した方面に限定されるものではなく、ここで開示された原理と新規的な特徴に一致する最も広い範囲に従うものである。

以上の記述は、例示および説明の目的で提供したものである。また、この記述は、本開示の実施例をここで開示した形態に限定する意図がない。以上、複数の例示方面と実施例を述べてきたが、当業者であれば、それらの変形、修正、変更、追加および副次的組み合わせが可能であることが認識できる。

Claims (9)

1. 現実環境の映像画像を取得するステップと、
   この映像画像に計算処理を行って、現実環境における複数の現実平面を認識するステップと、
   モデルに対応する仮想対象を前記複数の現実平面のうちの一つの平面に付加するステップと、
   認識された前記複数の現実平面のデータと計算された仮想対象の姿勢により仮想対象の動画軌跡データを生成し、前記仮想対象の動画軌跡データにより対応する３次元図形を描き、仮想図形フレームを生成し、前記仮想対象の前記複数の現実平面の間での動画軌跡を生成するステップと、を含み、
   前記計算された仮想対象の姿勢は、仮想対象の世界座標系に対する姿勢を算出し、かつ前記仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変換することにより獲得するものであり、
   前記仮想対象の前記複数の現実平面の間での動画軌跡を生成するステップは、
   世界座標系での平面姿勢と仮想対象の認識された平面の平面座標系に対する姿勢によって、仮想対象の世界座標系に対する姿勢を算出するステップと、
   世界座標系でのカメラ姿勢によって変化行列Ｈを算出して、仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変換することに用いるステップと、を更に含むことを特徴とする拡張現実によるモデル動画多平面インタラクション方法。
2. この映像画像に計算処理を行って、現実環境における複数の現実平面を認識するステップには、
   前記映像画像における全ての平面を一回で認識するステップ、又は
   映像画像における平面を順に認識するステップ、又は
   仮想対象の動画の需要に応じて、必要とされる平面を認識するステップを含む請求項１に記載の拡張現実によるモデル動画多平面インタラクション方法。
3. この映像画像に計算処理を行って、現実環境における複数の現実平面を認識するステップには、ＳＬＡＭアルゴリズムによって世界座標系での平面姿勢とカメラ姿勢を検出するステップを含む請求項１に記載の拡張現実によるモデル動画多平面インタラクション方法。
4. 前記仮想対象の前記複数の現実平面の間での動画軌跡を生成するステップは、
   認識された前記複数の現実平面のデータにより、仮想対象の動画軌跡データを生成するステップと、
   仮想対象の動画軌跡データにより対応する３次元図形を描いて、複数の仮想図形フレームを生成して仮想対象の動画軌跡を形成するステップと、を更に含む請求項１に記載の拡張現実によるモデル動画多平面インタラクション方法。
5. 前記仮想対象の動画軌跡データはカメラ座標系での座標位置、動画曲線及びジャンプ関係を含む請求項４に記載の拡張現実によるモデル動画多平面インタラクション方法。
6. 認識された前記現実平面の姿勢及び前記ジャンプ関係により、前記仮想対象の動画キーポイントを生成するステップと、
   前記動画キーポイントをパラメータとして、ベジェ曲線を使って配置して前記仮想対象の前記動画軌跡を生成するステップと、を更に含む請求項５に記載の拡張現実によるモデル動画多平面インタラクション方法。
7. 現実環境の映像画像を取得するための取得モジュールと、
   この映像画像に計算処理を行って、現実環境における現実平面を認識するための認識モジュールと、
   モデルに対応する仮想対象を複数の現実平面のうちの一つの平面に付加するための付加モジュールと、
   認識された前記複数の現実平面のデータと計算された仮想対象の姿勢により仮想対象の動画軌跡データを生成し、前記仮想対象の動画軌跡データにより対応する３次元図形を描き、仮想図形フレームを生成し、前記仮想対象の前記複数の現実平面の間での動画軌跡を生成する生成モジュールと、を含み、
   前記計算された仮想対象の姿勢は、仮想対象の世界座標系に対する姿勢を算出し、かつ前記仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変換することにより獲得するものであり、
   前記生成モジュールは、世界座標系での平面姿勢と仮想対象の認識された平面の平面座標系に対する姿勢によって、仮想対象の世界座標系に対する姿勢を算出するステップと、世界座標系でのカメラ姿勢によって変化行列Ｈを算出して、仮想対象の世界座標系に対する姿勢を仮想対象のカメラ座標系に対する姿勢に変換することに用いるステップと、を更に実施する、拡張現実によるモデル動画多平面インタラクション装置。
8. コンピュータ可読コマンドを記憶するメモリと、前記コンピュータ可読コマンドを実行して請求項１－６のいずれか一項に記載の拡張現実によるモデル動画多平面インタラクション方法を実現するプロセッサと、を含む拡張現実によるモデル動画多平面インタラクションデバイス。
9. コンピュータ可読コマンドを記憶するためのコンピュータ可読記憶媒体であって、前記コンピュータ可読コマンドがコンピュータにより実行されると、前記コンピュータが請求項１－６のいずれか一項に記載の拡張現実によるモデル動画多平面インタラクション方法を実現するコンピュータ可読記憶媒体。