JP2015210763A - 画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】撮像範囲内に配置された実オブジェクトを様々な態様で表示する。【解決手段】撮像手段が撮像して撮像データを生成するs10。実オブジェクトの配置位置及び配置姿勢が特定されるまでは、表示手段に撮像データを表示し続けるs20。実オブジェクトの配置後に生成された撮像データに含まれるマーカを検出して、撮像手段の撮像位置及び撮像姿勢に対する実オブジェクトの配置位置及び配置姿勢を特定するs30。仮想オブジェクトのオブジェクト画像データを読み出して、オブジェクト画像データを実オブジェクトの配置前に生成された撮像データに重畳して第一合成データを生成するs40。この際、オブジェクト画像データは、実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢で重畳する。実オブジェクトの配置位置及び配置姿勢が特定された後は、表示手段に第一合成データを表示するs50。【選択図】図３

Description

本発明は、画像処理方法、及び画像処理プログラムに関する。

カメラ等の撮像手段で撮像して生成された撮像データにアノテーションを重ねることにより、現実世界を拡張して表示できるＡＲ（Augmented Reality）技術が知られている。アノテーションは、マーカに関連付けてコンピュータに記憶された画像データから成り、現実には存在していない仮想オブジェクトである。ＡＲ技術においては、実際に存在する物品（実オブジェクト）に付されたマーカを認識することで、この仮想オブジェクトの表示位置等が算出される。

このようなＡＲ技術に関して、例えば特許文献１の画像合成方法によれば、机（実オブジェクト）上のマーカを認識することにより、表示画面には机上にコップ（仮想オブジェクト）が存在しているかのように表示される。この画像合成方法は、マーカを配置する予定範囲（机の表面）の３次元情報を予め準備するステップと、撮像して撮像データを生成するステップと、撮像データ中のマーカを検出するステップと、３次元情報を撮像データ中のマーカ位置に重畳するステップと、さらにこの上に仮想オブジェクトを重畳するステップと、から構成される。この画像合成方法を用いれば、マーカが３次元情報により隠蔽されるので、実オブジェクトと仮想オブジェクトが違和感なく表示される。

この仮想オブジェクトとしては様々な画像データを採用できるので、仮想オブジェクトの表示内容は特に限定されない。しかし、実オブジェクトに仮想オブジェクトを付加して表示するというＡＲ技術においては、実オブジェクトは実際の映像（撮像データ）を表示し続ける必要があった。すなわち、従来は実オブジェクトそのものを様々な態様で表示することができなかった。

特開２００５−２３４７５７号公報

本発明は、実オブジェクトそのものを様々な態様で表示できる画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明の画像処理方法は、撮像手段が、略一定の撮像位置及び撮像姿勢で撮像し、撮像データを生成する撮像ステップと、マーカを有する実オブジェクトの配置後に生成された前記撮像データに含まれる該マーカを検出して、前記撮像位置及び前記撮像姿勢に対する該実オブジェクトの配置位置及び配置姿勢を特定する第一検出ステップと、前記マーカに対応付けて記憶手段に記憶された仮想オブジェクトのオブジェクト画像データを読み出して、該オブジェクト画像データを前記実オブジェクトの配置前に生成された前記撮像データに重畳して第一合成データを生成する第一合成ステップと、表示手段に、前記実オブジェクトの配置位置及び配置姿勢が特定されるまで前記撮像データを表示し続け、該実オブジェクトの配置位置及び配置姿勢の特定後に前記第一合成データを表示する表示切換ステップと、を含み、
前記第一合成ステップにおいて、前記第一検出ステップにより特定された前記実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢で前記オブジェクト画像データの重畳を行うことを特徴とする。

本発明の画像処理方法は、さらに、撮像状況を監視する監視ステップと、前記撮像状況が変化していない場合の前記撮像データを実オブジェクトの配置前の撮像データとして記憶する記憶ステップと、を含むことを特徴とする。

本発明の画像処理方法は、前記第一検出ステップによって前記マーカが検出される直前に記憶された前記撮像データを実オブジェクトの配置前の撮像データとして用いることを特徴とする。

本発明の画像処理方法は、さらに、撮像状況を監視する監視ステップを含み、前記撮像状況が変化している場合に、前記表示切換ステップにおいて、前記撮像データを表示することを特徴とする。

本発明の画像処理方法は、さらに、前記撮像状況が変化した後に生成された前記撮像データに基づいて、前記撮像状況が変化した後の実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢へと連続的に遷移する仮想オブジェクトのオブジェクト画像データを、該実オブジェクトの配置前の前記撮像データに重畳して第二合成データを生成する第二合成ステップを含み、前記表示切換ステップにおいて、前記第二合成データから前記撮像データへと表示を切り換えることを特徴とする。

本発明の画像処理プログラムは、コンピュータに上記の各ステップを実行させるプログラムである。

本発明の表示手段には次のデータが表示される。実オブジェクトの配置前は、撮像手段により生成された撮像データａが表示される。実オブジェクトの配置後は、その位置と姿勢が特定されるまで、実オブジェクトの映像を含む撮像データｂが表示される。位置及び姿勢の特定後は、実オブジェクトの配置前の撮像データａを背景映像として、これに仮想オブジェクトのオブジェクト画像データを重畳して成る第一合成データが表示される。
ここで、撮像手段は一定の撮像位置及び撮像姿勢で撮像して撮像データａ、ｂを生成するので、撮像データａ、ｂは実オブジェクトの映像の有無を除けば同一の映像である。すなわち、表示手段には常に同一の背景映像が表示される。
また、第一合成データには実オブジェクトは表示されず、この代わりに実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢で重畳された仮想オブジェクトが表示される。
よって、表示手段には、表示されていた実オブジェクトの映像のみが仮想オブジェクトに置き換えられたように表示される。そして、仮想オブジェクトのオブジェクト画像データには様々な画像データを採用できるので、本発明によれば、撮像シーンにおける実オブジェクトのみを様々な態様で表示できる。

本発明の画像処理装置の使用例を示す図である。 本発明の画像処理装置のブロック図である。 本発明の画像処理方法のフローチャートである。 本発明の作用の説明図である。 本発明の他の画像処理装置のブロック図である。 本発明の他の画像処理方法のフローチャートである。 本発明のさらに他の画像処理方法のフローチャートである。 本発明のさらに他の画像処理方法のフローチャートである。

本発明の画像処理装置、画像処理方法、及び画像処理プログラムを説明する。なお、各図にわたって示される同じ符号は同一または同様のものを示す。

画像処理装置1は、例えば図１に示すように、液晶表示パネル等の表示手段3と、撮像手段5と、これらと通信可能に接続されたコンピュータと、を備えるものであり、代表的には、正面に表示手段3を有し、背面に撮像手段5を有する携帯情報端末である。基面6に置かれた台7等によりその姿勢が略一定に保持されて用いられる。

撮像手段5は、略一定の位置及び姿勢で所定の範囲を撮像して、撮像データ21（図４）を生成するものである。この撮像手段5は、代表的には、レンズとイメージセンサを有し、所定の範囲を撮像するカメラモジュールである。生成される撮像データ21は、実オブジェクト15が配置される前の撮像データ21a（図４（ａ））と、実オブジェクト15が配置された後の撮像データ21b（図４（ｂ））である。この撮像データ21は、所定のフレームレートで撮像されて生成されたものであっても良い。また、この撮像データ21は、後述する制御手段11によって取得され、不図示の内部記憶に記憶される。

コンピュータは、図２に示すように、記憶手段9と、制御手段11と、を備える。

記憶手段9は、マーカ13に対応付けて仮想オブジェクト17（図４（ｃ））のオブジェクト画像データを記憶するものであり、例えばフラッシュメモリ等の補助記憶である。マーカ13は、後述する検出部19が実オブジェクト15の存在を検出し、その配置位置及び配置姿勢を特定するために定められた所定の模様及び色彩を有するものであり、実オブジェクト15の外観に違和感なく表示されるのが好ましい。実オブジェクト15とは、検出対象として予め定められた人形、模型、文具、その他日用品等、様々な現実物品であり、その表面の全体又は部分的にマーカ13が表示されている。仮想オブジェクト17のオブジェクト画像データは、好ましくは、仮想オブジェクト17をアニメーション表示させるための動画データであるが、これに限定されず、仮想オブジェクト17の静止画データであっても良い。仮想オブジェクト17は、実オブジェクト15に関連するコンピュータグラフィックス（以下、ＣＧという）である。好ましくは、基本的な静止形態が実オブジェクト15の形態と略同じであるＣＧである。しかし、これに限定されず、例えば、実オブジェクト15の色違いのＣＧであっても良い。さらに、実オブジェクト15と類似する物品のＣＧであっても良い。一のマーカ13に対応付けて記憶される仮想オブジェクト17のオブジェクト画像データは一つに限定されず、複数であってもよい。

制御手段11は、図２に示すように、記憶手段9、撮像手段5、及び表示手段3と通信可能に接続されて、これらを制御するものであり、例えば携帯情報端末内に組み込まれたSoC（System on a Chip）である。この制御手段11は、検出部19、合成部25、及び表示切換部23を有する。また、制御手段11は、不図示の内部記憶を有し、撮像データ21等のデータを必要に応じて格納し、読み出す。

検出部19は、撮像データ21を取得して、実オブジェクト15の配置後に生成された撮像データ21bに含まれるマーカ13aを検出し、撮像手段5の撮像位置及び撮像姿勢に対する実オブジェクト15の配置位置及び配置姿勢を特定する。合成部25は、記憶手段9から仮想オブジェクト17のオブジェクト画像データを読み出して、これを実オブジェクト15の配置前に生成された撮像データ21aに重畳して第一合成データ27（図４（ｃ））を生成する。表示切換部23は、実オブジェクト15の配置位置及び配置姿勢が特定されるまでは撮像データ21を表示手段3に表示し続け、実オブジェクト15の配置位置及び配置姿勢が特定された後には第一合成データ27を表示させる。

次に、本発明の画像処理方法は、図３に示すように、撮像ステップs10と、第一検出ステップs30と、第一合成ステップs40と、表示切換ステップとを含む。この表示切換ステップは、撮像データ表示ステップs20と、合成データ表示ステップs50と、を含む。以下、各ステップを、フローの順に説明する。

撮像ステップs10は、撮像手段5が、略一定の撮像位置及び撮像姿勢で撮像し、実オブジェクト15の配置前の撮像データ21a、及び実オブジェクト15の配置後の撮像データ21bを生成するステップである。例えば、撮像手段5は、所定のフレームレートで撮像して、撮像データ21を生成する。

撮像データ表示ステップs20は、表示切換部23が撮像データ21を取得して、この撮像データ21を表示手段3に表示し続けるステップである。撮像データ21は、後述の第一検出ステップs30において実オブジェクト15の配置位置及び配置姿勢が特定されるまで表示される。撮像データ21が、所定のフレームレートで撮像され生成される場合には、リアルタイムの映像が表示される。

第一検出ステップs30は、検出部19が、撮像データ21を取得して、実オブジェクト15の配置後に生成された撮像データ21bに含まれるマーカ13a（図４（ｂ））を検出して、撮像位置に対する実オブジェクト15の配置位置及び配置姿勢を特定するステップである。マーカ13aの検出は、ＡＲ技術における公知の画像認識が用いられる。例えば、撮像データ21に含まれる複数の特徴点を抽出し、各特徴点を結んで形成される図形（以下、図形Ａ）と、記憶手段9に記憶されたマーカ13の基本図形（以下、図形Ｂ）とを比較して、マーカ13aの有無を検出することができる。また、実オブジェクト15の配置位置及び配置姿勢は、例えば、図形Ａの位置、図形Ｂに対する図形Ａの大きさ及び歪みに基づいて、マーカ13aの位置及び座標系を検出することにより特定される。特定された実オブジェクト15の配置位置及び配置姿勢は、後述の第一合成ステップs40で用いられるので内部記憶に記憶される。この様に、マーカ13aの検出が成功し、配置位置及び配置姿勢が特定された場合（s31の矢印Y）には、第一合成ステップs40に進む。一方、撮像データ21からマーカ13aが検出できない、又は配置位置と配置姿勢が特定できない場合（s31の矢印N）には、この撮像データ21を実オブジェクト15の配置前の撮像データ21aとして内部記憶に記憶する記憶ステップs32を介して撮像ステップs10に戻る。

第一合成ステップs40は、合成部25が、実オブジェクト15の配置前の撮像データ21aを取得し、記憶手段9に記憶された仮想オブジェクト17のオブジェクト画像データを読み出して、取得した撮像データ21aにオブジェクト画像データを重畳して第一合成データ27を生成するステップである。オブジェクト画像データは、第一検出ステップs30にて検出されたマーカ13aの種類に対応するものが検索されて読み出される。オブジェクト画像データを重畳する際は、第一検出ステップs30により特定された実オブジェクト15の配置位置及び配置姿勢に対応する位置及び姿勢にオブジェクト画像データの重畳を行う。例えば、仮想オブジェクト17の基準点及び座標系を、検出したマーカ13aの位置及び座標系と一致させて重畳することができる。なお、オブジェクト画像データが動画データである場合には、仮想オブジェクト17の重畳開始位置及び重畳開始姿勢を実オブジェクト15の配置位置及び配置姿勢に対応させて重畳する。

合成データ表示ステップs50は、実オブジェクト15の配置位置及び配置姿勢の特定後に、表示切換部23が合成部25から第一合成データ27を取得し、表示手段3に表示するステップである。

本発明の画像処理プログラムは、撮像手段5、表示切換部23、検出部19、及び合成部25に上記のステップを実行させるプログラムである。

本発明の作用及び効果を図４に基づいて説明する。なお、図４では、マーカ13を有する実オブジェクト15としてバスの模型を用いており、このバスの模型と本発明の画像処理装置1は机29上に置かれるものとする。

（１）先ず、図４（ａ）に示すように、バスの模型が配置されていない状態では、撮像ステップs10により生成された机29aのみの撮像データ21aが、撮像データ表示ステップs20により表示手段3に表示される。また、バスの模型が撮像範囲内に配置されていないので、第一検出ステップs30によりマーカ13aは検出されない。よって、記憶ステップs32により撮像データ21aが、実オブジェクト15の配置前の撮像データ21aとして内部記憶に記憶される。そして、撮像ステップs10に戻る。
（２）次に、図４（ｂ）に示すように、バスの模型が配置されると、第一検出ステップs30により、その配置位置及び配置姿勢が特定される。なお、配置位置及び配置姿勢が特定されるまでの間は、撮像データ表示ステップs20により、机29aとその上に置かれているバスの模型（実オブジェクト15a）を含む撮像データ21bが表示手段3に表示される。
（３）第一検出ステップs30によりバスの模型の配置位置及び配置姿勢が特定されると、第一合成ステップs40により、バスの模型が配置される前の撮像データ21aに対して、バスのＣＧが移動する動画データが重畳されて第一合成データ27が生成される。そして、合成データ表示ステップs50により、図４（ｃ）に示すように、表示手段3には、破線で図示されるバス画像から実線で図示されるバス画像までの動画が表示される。なお、撮像データ21aと第一合成データ27の切り換えを自然に演出するために、切り換え中にモーフィングやクロスフェード等の映像技術を用いるのが好ましい。

上記のように、実オブジェクト15の配置前は、撮像手段5により生成された撮像データ21aが表示される。実オブジェクト15の配置後は、その位置と姿勢が特定されるまで、実オブジェクトの映像15aを含む撮像データ21bが表示される。位置及び姿勢の特定後は、実オブジェクト15の配置前の撮像データ21aを背景映像として、これに仮想オブジェクト17のオブジェクト画像データを重畳して成る第一合成データ27が表示される。
ここで、撮像手段5は一定の撮像位置及び撮像姿勢で撮像して撮像データ21a,21bを生成するので、撮像データ21a,21bは実オブジェクトの映像15aの有無を除けば同一の映像である。すなわち、表示手段3には常に同一の背景映像が表示される。
また、第一合成データ27には実オブジェクトの映像15aは表示されず、この代わりに仮想オブジェクト17が、撮像データ21b中の実オブジェクトの映像15aの表示位置及び表示姿勢で表示される。
よって、表示されていた実オブジェクトの映像15aのみが仮想オブジェクト17に置き換えられたように表示される。上記の例においては、オブジェクト画像データとして、実オブジェクト15と同じ形態のバスが走行する動画データを用いたため、机に置かれているバスがひとりでに走行し始めたように表示される。
そして、仮想オブジェクト17のオブジェクト画像データには様々な画像データを採用できるので、本発明によれば、撮像シーンにおける実オブジェクト15のみを様々な態様で表示できる。例えば、オブジェクト画像データとして、バスがロボットに変形するような動画データを採用してもよい。

本発明の画像処理装置、画像処理方法、及び画像処理プログラムは上記の態様に限定されない。

例えば、本発明の画像処理装置1は、図１に示されるような位置及び姿勢の保持態様に限定されず、使用者が手に持って保持するものであっても良い。

また、図５に示すように、本発明の画像処理装置31の制御手段33は、撮像状況を監視する監視部35を備えるものであっても良い。この監視部35は、撮像手段5から撮像データ21を取得し、撮像状況に応じて撮像データ21を検出部19、及び合成部25に入力する。

また、図６及び図７に示すように、本発明の画像処理方法は、監視部35が、撮像状況を監視する監視ステップs60,s70を含むものであっても良い。この監視ステップs60,s70は、代表的には、変動監視ステップ及び／又は移動体監視ステップを含む。

変動監視ステップは、監視部35が、撮像位置と撮像姿勢を監視するステップである。この変動監視ステップは、例えば、撮像手段5から所定のフレームレートで撮像データ21を取得し、連続する撮像データ21を比較して変動量を算出し、この変動量に基づいて撮像位置及び撮像姿勢の変動の有無を検出する。変動量の算出は、先ず一の撮像データ21において基準点を決定し、その座標を取得する。次に、この一の撮像データ21に連続する他の撮像データ21における前記基準点を検出し、その座標を取得する。そして、これらの撮像データ21間の基準点の座標について差分を求める。これにより変動量が算出される。変動量が所定範囲内にあって、この状態が所定時間継続する場合には、撮像位置及び撮像姿勢が変動していない、すなわち画像処理装置31自身が静止状態にあると判断される。一方、変動量が所定範囲外の場合には、撮像位置及び撮像姿勢が変動している、すなわち画像処理装置31自身が静止状態にないと判断される。

なお、変動監視ステップは、撮像データ21に基づいて撮像位置及び撮像姿勢を監視するものに限定されない。例えば、画像処理装置31は制御手段11と通信可能に接続された加速度センサ（不図示）を備え、監視部35は、所定のフレームレートで取得した加速度センサの出力値の差分に基づいて変動を監視しても良い。

移動体監視ステップは、監視部35が、撮像範囲内を移動する物体（以下、移動体という）の有無を監視するステップである。移動体の有無は例えば次の通り検出する。先ず、撮像手段5から所定のフレームレートで撮像データ21を取得する。次に、連続する撮像データ21間の差分画像を求める。そして、差分画像内に階調値が０ではない部分（若しくは０に近い所定値以上の部分）が連続して所定面積比以上ある場合に、移動体が有ると判断する。一方、階調値が０ではない部分が連続して所定面積比以上ない場合には、移動体が無いと判断する。

なお、監視部35が監視する撮像状況は、撮像位置及び撮像姿勢の変動、並びに／又は移動体の有無に限定されない。例えば、撮像手段5から所定のフレームレートで取得した各撮像データ21を比較して撮像範囲の明るさの変化を監視するものであっても良い。

本発明の画像処理方法において上記の監視ステップs60は、図６に示すように、撮像データ表示ステップs20と第一検出ステップs30との間に設けられる。監視ステップs60によって変化が検出された場合には（s61の矢印N）、撮像ステップs10に戻る。一方、変化が検出されない場合には（s61の矢印Y）、第一検出ステップs30に進む。そして、第一検出ステップs30を経て、撮像データ21中のマーカ13aが検出できない場合や、配置位置と配置姿勢が特定できない場合（s31の矢印N）には記憶ステップs32に進み、撮像データ21aが内部記憶に記憶される。すなわち、記憶ステップs32は、撮像状況が変化していない場合（代表的には、撮像位置と撮像姿勢に変化がなく、かつ、撮像範囲内に移動体が無い場合）に生成された撮像データ21aを実オブジェクト15の配置前の撮像データ21aとして記憶するものである。

ここで、上記の変動監視ステップを含む監視ステップs60によれば、画像処理装置31に変動がない場合に第一検出ステップs30に進む。よって、静止状態になれば瞬時に実オブジェクト15の配置前の撮像データ21aを記憶することができ、使用者に気付かれずに第一合成データ27の背景映像を準備できる。
また、上記の移動体監視ステップを含む監視ステップs60によれば、撮像範囲内に移動体が有る場合には第一検出ステップs30に進まない。よって、実オブジェクト15の配置中に生成された撮像データ21は記憶されず、第一合成データ27における背景映像の対象から自動的に除外される。

また、上記の監視ステップs60を含む本発明の画像処理方法において、合成部25は、マーカ13aが検出される直前に内部記憶に記憶された撮像データ21aを実オブジェクト15の配置前の撮像データ21aとして用いるのが好ましい。これにより、合成直前に生成された撮像データ21aを背景映像として第一合成データ27が生成される。よって、表示切換ステップにより、表示内容が撮像データ21bから第一合成データ27に切り換えられた際、違和感なく背景映像を切り換えることができる。

また、上記の監視ステップs70を含む本発明の画像処理方法において、表示切換ステップは、撮像状況が変化している場合に、撮像データ21を表示するものであっても良い。具体的には、監視ステップs70は、図７（ａ）に示すように、合成データ表示ステップs50に設けられる。この監視ステップs70によって変化が検出されない場合には（s71の矢印Y）、第一合成データ表示s51が継続される。一方、変化が検出された場合には（s71の矢印N）、合成データ表示ステップs50が終了してエンドに進み、スタートから再開される。これにより、撮像データ21が表示される。なお、監視ステップs70において撮像データ21bを用いて撮像状況の変化を監視する場合は、所定の撮像範囲を撮像して、撮像データ21bを生成する撮像ステップを監視ステップs70の前に設ける。

この監視ステップs70を含む本発明は、撮像状況が変化している場合に、第一合成データ表示s51を中断する。そして、スタートから処理が再開されることにより、撮像データ表示ステップs20により撮像データ21が表示される。このため、表示中の背景映像が撮像状況の変化に追従していないという不自然な表示を防止し、本発明の仕組みを使用者に気付かせない。

さらに、図７（ｂ）に示すように、上記の監視ステップs70を含む本発明の画像処理方法は、撮像状況が変化した場合に、合成部25が第二合成データを生成する第二合成ステップs82と、表示切換部23が第二合成データから撮像データ21へと表示を切り換えるステップと、を含むものであっても良い。

第二合成データは、実オブジェクト15の配置前の撮像データ21aに、アニメーションデータが重畳されたものである。このアニメーションデータは、代表的には、マーカ13に対応付けて記憶手段9に予め記憶された仮想オブジェクト17の他のオブジェクト画像データであり、第一合成データ27に含まれる一のオブジェクト画像データとは異なるものである。この他のオブジェクト画像データは、撮像状況の変化後の実オブジェクト15の配置位置及び配置姿勢に対応する位置及び姿勢に連続的に遷移する動画データである。合成部25は、アニメーションデータを読み出して実オブジェクト15の配置前の撮像データ21aに重畳させる。この際、合成データ表示ステップs50において表示中の仮想オブジェクト17の位置及び姿勢に合わせてアニメーションデータを重畳するのが好ましい。遷移が終了した場合には、第二合成データの終了を示すフラグを設定しても良い。

撮像状況の変化後の実オブジェクト15の配置位置及び配置姿勢は、撮像状況の変化後に生成された撮像データ21に基づいて特定される。例えば、図７（ｂ）に示すように、第二撮像ステップs80と、第二検出ステップs81により特定される。

第二撮像ステップs80は、撮像手段5が、撮像状況の変化後に撮像して撮像データ21を生成するステップであり、監視ステップs70により変化が検出された後（s71の矢印N）に設けられる。この撮像データ21は、所定のフレームレートで撮像されて生成されたものであっても良い。

第二検出ステップs81は、検出部19が、撮像状況の変化後の撮像データ21に基づいて、撮像状況の変化後の撮像位置及び撮像姿勢に対する実オブジェクト15の配置位置及び配置姿勢を特定するステップである。この特定方法は、第一検出ステップs30と同じ方法で特定することができる。所定のフレームレート毎に撮像データ21を取得する場合には、その度に実オブジェクト15の配置位置及び配置姿勢を特定しても良い。

表示切換ステップは、表示切換部23が、合成部25から第二合成データを取得して、第一合成データ27の表示から第二合成データの表示へと切り換えて表示する第二合成データ表示s83と、この第二合成データ表示s83から変化後の撮像データ21の表示へと切り換えるステップと、を含む。第二合成データ表示s83は、仮想オブジェクト17の遷移が終了するまで表示される（s84の矢印N）。遷移の終了は、例えば、第二合成ステップs82において設定されるフラグを参照して判断される。遷移が終了した場合には（s84の矢印Y）、合成データ表示ステップs50からエンドに進み、スタートから再開され、撮像データ21が表示される（s20）。なお、表示の切り替えを自然に演出するために、切り換え中にモーフィングやクロスフェード等の映像技術を用いるのが好ましい。

このように、撮像状況が変化した場合に、第二合成データ表示s83が第一合成データ表示s51と変化後の撮像データ表示の間に介在するので、仮想オブジェクト17と実オブジェクト15aの切り換えが自然に表現される。

また、本発明の画像処理プログラムは、コンピュータに上記のステップを実行させるものである。

以上、本発明の画像処理方法、画像処理プログラム、及び画像処理装置について説明したが、本発明はその趣旨を逸脱しない範囲で、当業者の知識に基づき種々の改良、修正、変形を加えた態様で実施し得るものであり、これらの態様はいずれも本発明の範囲に属するものである。

例えば、画像処理方法におけるフローは、上記のものに限定されず、例えば図８に示すフローであっても良い。図８に示すフローは、スタートからエンドまでの各ステップが１のフレームで行われ、このフローが毎フレーム実行される。

先ずは、撮像ステップs10により、フレーム毎の撮像データ21が取得される。次に、監視ステップs90により、フレーム毎に撮像状況の変化が検出される。次に、表示手段3に表示させる内容を示す表示フラグと、撮像状況の監視結果と、を確認する（s91）。その結果に応じて、図８に示す（ケース１）〜（ケース４）のいずれかのフローが実行される。
（ケース１）表示フラグが撮像データ21を示し、かつ撮像状況が変化している場合には、撮像データ表示ステップs20が実行されて、そのフレームの処理が終了する。
（ケース２）表示フラグが撮像データ21を示し、かつ撮像状況が変化していない場合には、第一検出ステップs30に進み、検出が失敗した場合（s31の矢印N）には、記憶ステップs32、撮像データ表示ステップs20の順に実行されて、そのフレームの処理が終了する。一方、検出が成功した場合（s31の矢印Y）には、表示フラグが操作され(s92)、次に説明する（ケース３）の第一合成ステップs40が実行される。表示フラグの操作(s92)は、表示手段に第一合成データ27を表示することを示すフラグが設定される。
（ケース３）表示フラグが第一合成データ27を示し、かつ撮像状況が変化していない場合には、第一合成ステップs40、第一合成データ表示s51の順に実行され、そのフレームの処理が終了する。
（ケース４）表示フラグが第一合成データ27を示し、かつ撮像状況が変化している場合、又は表示フラグが第二合成データを示す場合には、第二検出ステップs81、第二合成ステップs82、第二合成データ表示s83、表示フラグの操作s93の順に実行される。表示フラグの操作s93においては、仮想オブジェクト17の遷移中の場合には、表示手段3に第二合成データを表示することを示すフラグが設定される。仮想オブジェクト17の遷移が終了したときには、表示手段に撮像データ21を表示することを示すフラグが設定される。

また、本発明において用いられる実オブジェクト15は、一種類に限定されず、複数種類であっても良い。複数種類の実オブジェクト15は、それぞれ異なるマーカ13を有する。この場合、記憶手段9には、各マーカを識別する識別ＩＤと、各識別ＩＤに対応付けられてマーカ13を認識して検出するための基本図形と、各識別ＩＤに対応付けられた仮想オブジェクト17のオブジェクト画像データが記憶される。そして、第一検出ステップs30においては、検出部19が、撮像データ21aに含まれる特徴点と基本図形とを比較して、マーカの有無を検出し、識別ＩＤを特定する。また、第一合成ステップs40においては、合成部25が、識別ＩＤを取得し、この識別ＩＤに対応するオブジェクト画像データを読み出して、第一合成データ27を生成する。これにより、表示手段3には、実オブジェクト15の種類に応じた仮想オブジェクト17が様々な態様で表示される。

1,31 … 画像処理装置
3 … 表示手段
5 … 撮像手段
7 … 台
9 … 記憶手段
11,33 … 制御手段
13 … 実オブジェクトに表示されたマーカ
13a … 撮像データ中のマーカ
15 … 現実世界にある実オブジェクト
15a … 撮像データ中の実オブジェクト
17 … 仮想オブジェクト
19 … 検出部
21 … 撮像データ
21a … 実オブジェクトの配置前の撮像データ
21b … 実オブジェクトの配置後の撮像データ
23 … 表示切換部
25 … 合成部
27 … 第一合成データ
29 … 机
29a … 撮像データ中の机
35 … 監視部

Claims (10)

1. 撮像手段が、略一定の撮像位置及び撮像姿勢で撮像し、撮像データを生成する撮像ステップと、
   マーカを有する実オブジェクトの配置後に生成された前記撮像データに含まれる該マーカを検出して、前記撮像位置及び前記撮像姿勢に対する該実オブジェクトの配置位置及び配置姿勢を特定する第一検出ステップと、
   前記マーカに対応付けて記憶手段に記憶された仮想オブジェクトのオブジェクト画像データを読み出して、該オブジェクト画像データを前記実オブジェクトの配置前に生成された前記撮像データに重畳して第一合成データを生成する第一合成ステップと、
   表示手段に、前記実オブジェクトの配置位置及び配置姿勢が特定されるまで前記撮像データを表示し続け、該実オブジェクトの配置位置及び配置姿勢の特定後に前記第一合成データを表示する表示切換ステップと、
   を含み、
   前記第一合成ステップにおいて、前記第一検出ステップにより特定された前記実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢で前記オブジェクト画像データの重畳を行うことを特徴とする画像処理方法。
2. 撮像状況を監視する監視ステップと、
   前記撮像状況が変化していない場合の前記撮像データを実オブジェクトの配置前の撮像データとして記憶する記憶ステップと、
   を含む請求項１に記載の画像処理方法。
3. 前記第一検出ステップによって前記マーカが検出される直前に記憶された前記撮像データを実オブジェクトの配置前の撮像データとして用いることを特徴とする請求項２に記載の画像処理方法。
4. 撮像状況を監視する監視ステップを含み、
   前記撮像状況が変化している場合に、前記表示切換ステップにおいて、前記撮像データを表示することを特徴とする請求項１に記載の画像処理方法。
5. 前記撮像状況が変化した後に生成された前記撮像データに基づいて、前記撮像状況が変化した後の実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢へと連続的に遷移する仮想オブジェクトのオブジェクト画像データを、該実オブジェクトの配置前の前記撮像データに重畳して第二合成データを生成する第二合成ステップを含み、
   前記表示切換ステップにおいて、前記第二合成データから前記撮像データへと表示を切り換えることを特徴とする請求項４に記載の画像処理方法。
6. コンピュータの記憶手段に、マーカに対応付けて仮想オブジェクトのオブジェクト画像データを記憶する記憶ステップ、
   撮像手段に、略一定の撮像位置及び撮像姿勢で撮像し、撮像データを生成する撮像ステップ、
   前記コンピュータの検出部に、前記マーカを有する実オブジェクトの配置後に生成された前記撮像データに含まれる該マーカを検出して、前記撮像位置及び前記撮像姿勢に対する該実オブジェクトの配置位置及び配置姿勢を特定する第一検出ステップ、
   前記コンピュータの合成部に、前記オブジェクト画像データを読み出して、該オブジェクト画像データを前記実オブジェクトの配置前に生成された前記撮像データに重畳して第一合成データを生成する第一合成ステップ、
   前記コンピュータの表示切換部に、前記実オブジェクトの配置位置及び配置姿勢が特定されるまで、表示手段に、前記撮像データを表示し続け、該実オブジェクトの配置位置及び配置姿勢の特定後に前記第一合成データを表示する表示切換ステップ、
   を実行させ、
   前記第一合成ステップにおいて、前記第一検出ステップにより特定された前記実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢で前記オブジェクト画像データの重畳を行うことを特徴とする画像処理プログラム。
7. 前記コンピュータの監視部に、撮像状況を監視する監視ステップ、
   前記コンピュータの内部記憶に、前記撮像状況が変化していない場合の前記撮像データを実オブジェクトの配置前の撮像データとして記憶する記憶ステップ、
   を実行させる請求項６に記載の画像処理プログラム。
8. 前記第一検出ステップによって前記マーカが検出される直前に記憶された前記撮像データを実オブジェクトの配置前の撮像データとして用いることを特徴とする請求項７に記載の画像処理プログラム。
9. 前記コンピュータの監視部に、撮像状況を監視する監視ステップを実行させ、
   前記撮像状況が変化している場合に、前記表示切換ステップにおいて、前記撮像データを表示することを特徴とする請求項６に記載の画像処理プログラム。
10. 前記コンピュータの合成部に、前記撮像状況が変化した後に生成された前記撮像データに基づいて、前記撮像状況が変化した後の実オブジェクトの配置位置及び配置姿勢に対応する位置及び姿勢へと連続的に遷移する仮想オブジェクトのオブジェクト画像データを、該実オブジェクトの配置前の前記撮像データに重畳して第二合成データを生成する第二合成ステップを実行させ、
    前記表示切換ステップにおいて、前記第二合成データから前記撮像データへと表示を切り換えることを特徴とする請求項９に記載の画像処理プログラム。

Images