JP2017016166A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】場所や時間の制限なく、所望の背景画像にＡＲコンテンツが重畳されたＡＲ画像を提示する技術を提供する。【解決手段】画像処理装置は、画像ファイルの選択操作を受け付ける操作受付部と、画像ファイルを保持する背景保持部から、選択操作で選択された画像ファイルの画像を背景画像として取得する背景取得部と、取得された背景画像からマーカを検出するマーカ検出部と、検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、かつ、背景撮影位置及び背景撮影方向を算出する基準算出部と、表示対象のＡＲコンテンツを仮想的に配置する３次元座標空間上の位置を決定する位置決定部と、３次元座標空間の決定された位置に配置されるＡＲコンテンツの背景撮影位置及び背景撮影方向からの視認画像が背景画像に重畳された合成画像を表示部に表示させる表示処理部と、を有する。【選択図】図１

Description

本発明は、拡張現実（Augmented Reality；ＡＲ）の画像処理技術に関する。

現在、拡張現実と呼ばれる技術を用いた様々なアプリケーションが提供されている。ＡＲ技術は、スマートフォン等の携帯機器のカメラやヘッドマウントディスプレイ（ＨＭＤ）を介して得られる現実世界に３次元コンテンツや２次元コンテンツ（文字や図柄など）を重畳的に表示させる。例えば、下記非特許文献１には、現実世界に重畳させる３次元コンテンツを現実世界に存在する現実オブジェクトを実写した画像で生成する手法が提案されている。また、当該３次元コンテンツには、実写画像ではなく、コンピュータグラフィック（ＣＧ）技術を用いて生成される仮想３次元モデルが利用される形態もある。

以降、現実世界に３次元コンテンツや２次元データが重畳された合成画像はＡＲ画像と表記される場合もある。また、３次元コンテンツや２次元コンテンツが重畳される現実世界を写す画像が背景画像と表記される場合もある。また、この背景画像に重畳される３次元コンテンツや２次元コンテンツがＡＲコンテンツと表記される場合もある。

下記非特許文献２は、ＡＲ技術を用いた、移動ロボットの遠隔操縦システムを提案する。この提案手法では、ロボットの３次元モデルがＡＲ技術を用いて拡張自由視点画像に重畳された画像がＨＭＤを介して操縦者に提示される。この拡張自由視点画像は、移動ロボットにより複数地点で取得された全方位画像群および距離画像群、並びに、当該取得時のロボットの位置及び姿勢に基づいて、生成される。また、下記特許文献１には、重畳する３次元コンテンツの生成手法として、注目物体の３次元表示をするための変換画像を加速度センサ等の専用の機材を用いることなく単一のカメラで生成する手法が提案されている。この提案手法では、注目物体を含む複数の画像についてカメラの回転軸を構成する複数の画像座標をユーザに指定させ、指定された画像座標が一致するように変換対象画像が幾何変換される。

国際公開第２０１１／１４８５９５号

宇野祐介、「拡張現実感のための視点依存テクスチャ・ジオメトリに基づく仮想化実物体の提示」、奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文、2013年3月15日 上田優子他、「拡張自由視点画像生成を用いた遠隔移動ロボット操縦インタフェース」、信学技報、vol.112, no.386、pp.217-222、2013年1月

上述の提案手法や既存のアプリケーションでは、３次元コンテンツや２次元コンテンツが重畳される背景画像には、リアルタイムに撮像装置から得られるリアルタイム映像が利用される。これにより、ユーザは、撮像装置がリアルタイムに写す現実世界にあたかもＡＲコンテンツが存在するようなＡＲ画像を視認することができる。

しかしながら、上述のような手法では、ＡＲコンテンツを重畳させたい現実世界が、そのときの撮像装置の存在場所に制限されてしまう。例えば、ユーザが、所持するカメラ付き携帯端末で、自身の部屋にＡＲコンテンツが重畳されたＡＲ画像を見ることができるのは、ユーザがその携帯端末を持って自身の部屋にいるときだけであり、電車の中等のようなユーザの部屋以外の場所では、そのＡＲ画像を見ることはできない。

本発明は、このような事情に鑑みてなされたものであり、場所や時間の制限なく、所望の背景画像にＡＲコンテンツが重畳されたＡＲ画像を提示する技術を提供することにある。

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

第１の側面は、画像処理装置に関する。第１の側面に係る画像処理装置は、画像ファイルの選択操作を受け付ける操作受付部と、マーカが写る背景画像を保存する画像ファイルを保持する背景保持部から、操作受付部により受け付けられる選択操作で選択された画像ファイルの画像を背景画像として取得する背景取得部と、背景取得部で取得される背景画像からマーカを検出するマーカ検出部と、検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、かつ、背景撮影位置及び背景撮影方向を算出する基準算出部と、表示対象のＡＲコンテンツを仮想的に配置する３次元座標空間上の位置を決定する位置決定部と、３次元座標空間の決定された位置に配置されるＡＲコンテンツの背景撮影位置及び背景撮影方向からの視認画像が背景画像に重畳された合成画像を表示部に表示させる表示処理部と、を有する。

第２の側面は、画像処理方法に関する。第２の側面に係る画像処理方法は、画像ファイルの選択操作を受け付け、マーカが写る背景画像を保存する画像ファイルを保持する背景保持部から、当該受け付けられた選択操作で選択された画像ファイルの画像を背景画像として取得し、取得された背景画像からマーカを検出し、検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、検出されたマーカに関する現実情報及び画像情報に基づいて、背景撮影位置及び背景撮影方向を算出し、表示対象のＡＲコンテンツを仮想的に配置する３次元座標空間上の位置を決定し、３次元座標空間の決定された位置に配置されるＡＲコンテンツの背景撮影位置及び背景撮影方向からの視認画像が背景画像に重畳された合成画像を表示部に表示させる、ことを含む。

なお、本発明の他の側面としては、上記第２の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

上記各側面によれば、場所や時間の制限なく、所望の背景画像にＡＲコンテンツが重畳されたＡＲ画像を提示する技術を提供することができる。

本実施形態における画像処理装置の処理構成例を概念的に示す図である。 本実施形態における画像処理装置の動作例を示すフローチャートである。 第１実施形態における画像処理装置のハードウェア構成例を概念的に示す図である。 第１実施形態における画像処理装置の処理構成例を概念的に示す図である。 コンテンツ保持部に保持される各コンテンツ撮影方向に対応付けられた複数のコンテンツ画像の例を概念的に示す図である。 第１実施形態における画像処理装置の動作例を示すフローチャートである。 第２実施形態における画像処理装置のハードウェア構成例を概念的に示す図である。 第２実施形態における画像処理装置の動作例の一部を示すフローチャートである。 第２変形例における画像処理装置の処理構成例を概念的に示す図である。 画像ファイルに保存される背景画像の例を示す図である。 画像ファイルに保存される背景画像の例を示す図である。 画像ファイルに保存される背景画像の例を示す図である。 図１０Ａに示される背景画像にコンテンツ画像が重畳された合成画像（ＡＲ画像）の例を示す図である。 図１０Ｂに示される背景画像にコンテンツ画像が重畳された合成画像（ＡＲ画像）の例を示す図である。 図１０Ｃに示される背景画像にコンテンツ画像が重畳された合成画像（ＡＲ画像）の例を示す図である。 ＡＲ画像上でのＡＲコンテンツの移動を示す図である。 ＡＲ画像上でのＡＲコンテンツの移動を示す図である。 ＡＲ画像上でのＡＲコンテンツの移動を示す図である。

以下、本発明の実施の形態について説明する。なお、以下に挙げる実施形態は例示であり、本発明は以下の実施形態の構成に限定されない。

図１は、本実施形態における画像処理装置の処理構成例を概念的に示す図である。図１に示されるように、画像処理装置１００は、操作受付部１０１、背景取得部１０２、マーカ検出部１０３、基準算出部１０４、位置決定部１０５、表示処理部１０６等を有する。画像処理装置１００は、後述する詳細実施形態における画像処理装置１０と同様のハードウェア構成を有し、その画像処理装置１０と同様にプログラムが処理されることで、上述の各処理部が実現される。また、画像処理装置１００は、背景保持部１０７及び表示部１０８を有してもよい。但し、背景保持部１０７及び表示部１０８は、画像処理装置１００と通信可能に接続される他のコンピュータ（図示せず）が有していてもよい。表示部１０８は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイ等のような、描画データに対応する画面を表示する装置である。

操作受付部１０１は、画像ファイルの選択操作を受け付ける。

背景取得部１０２は、マーカが写る背景画像を保存する画像ファイルを保持する背景保持部１０７から、操作受付部１０１により受け付けられる選択操作で選択された画像ファイルの画像を背景画像として取得する。ここで、画像ファイルには、動画データ又は静止画データが保存され、背景取得部１０２は、動画データ又は静止画データから静止画情報としての背景画像を取得する。

マーカ検出部１０３は、背景取得部１０２で取得される背景画像からマーカを検出する。ここで、マーカとは、現実世界に配置された画像や物であり、ＡＲマーカ等と呼ばれる。但し、本実施形態は、このマーカから、参照方向によらず、或る基準点及びその基準点からの相互に直交する３つの方向を一定に得ることができるのであれば、このマーカの具体的形態を制限しない。例えば、マーカ検出部１０３は、マーカの現実情報（形状情報等）を予め保持しており、この現実情報に基づいて、背景画像からマーカを検出する。

基準算出部１０４は、検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、かつ、背景撮影位置及び背景撮影方向を算出する。マーカに関する現実情報とは、マーカの現実世界における既知の情報を意味し、例えば、マーカの実際の形状を示す。また、マーカに関する画像情報とは、マーカの背景画像内における情報を意味し、マーカの背景画像内の形状を示す。基準算出部１０４は、検出されたマーカから認識される基準点に応じた位置に３次元座標空間を設定する。３次元座標空間の設定位置については、特に制限されない。また、基準算出部１０４は、マーカに関する現実情報と画像情報との比較により、背景撮影位置及び背景撮影方向を算出する。背景撮影位置及び背景撮影方向は、その画像ファイルの背景画像を撮影した撮像装置の位置及び向き（姿勢）を意味する。

位置決定部１０５は、表示対象のＡＲコンテンツを仮想的に配置する上記３次元座標空間上の位置を決定する。位置決定部１０５は、この位置を任意に又は固定的に決定することができる。表示対象のＡＲコンテンツは、上記非特許文献１及び２で提案される３次元モデルであってもよいし、現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を切り替え表示することで模擬される３次元コンテンツであってもよいし、平面的な２次元コンテンツであってもよい。

表示処理部１０６は、３次元座標空間における上記決定された位置に配置されるＡＲコンテンツの背景撮影位置及び背景撮影方向からの視認画像が上記背景画像に重畳された合成画像を表示部１０８に表示させる。ＡＲコンテンツが上述の３次元モデル又は２次元コンテンツである場合には、表示処理部１０６は、３次元モデル又は２次元コンテンツの持つ情報に基づいて、周知の手法を用いて当該視認画像を得ることができる。一方で、ＡＲコンテンツが、現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を切り替え表示することで模擬される３次元コンテンツである場合の当該視認画像の取得手法は、詳細実施形態として後述する。

図２は、本実施形態における画像処理装置１００の動作例を示すフローチャートである。本実施形態における画像処理方法は、図２に示されるように、画像処理装置１００のような少なくとも１つのコンピュータにより実行され、（Ｓ２１）から（Ｓ２７）の処理工程を含む。

（Ｓ２１）では、当該コンピュータは、画像ファイルの選択操作を受け付ける。

（Ｓ２２）では、当該コンピュータは、マーカがそれぞれ背景画像を保存する画像ファイルを保持する背景保持部から、（Ｓ２１）で受け付けられた選択操作で選択された画像ファイルの画像を背景画像として取得する。マーカ及び画像ファイルについては上述したとおりである。（Ｓ２２）の内容は、背景取得部１０２の処理内容と同様である。

（Ｓ２３）では、当該コンピュータは、（Ｓ２２）で取得された背景画像からマーカを検出する。（Ｓ２３）の内容は、マーカ検出部１０３の処理内容と同様である。

（Ｓ２４）では、当該コンピュータは、（Ｓ２３）で検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定する。
（Ｓ２５）では、当該コンピュータは、（Ｓ２３）で検出されたマーカに関する現実情報及び画像情報に基づいて、背景撮影位置及び背景撮影方向を算出する。（Ｓ２４）及び（Ｓ２５）の内容は、基準算出部１０４の処理内容と同様である。

（Ｓ２６）では、当該コンピュータは、表示対象のＡＲコンテンツを仮想的に配置する上記３次元座標空間上の位置を決定する。（Ｓ２６）の内容は、位置決定部１０５の処理内容と同様である。

（Ｓ２７）では、当該コンピュータは、（Ｓ２４）で設定された３次元座標空間の（Ｓ２６）で決定された位置に配置されるＡＲコンテンツの、（Ｓ２５）で算出された背景撮影位置及び背景撮影方向からの視認画像が、（Ｓ２２）で取得された背景画像に重畳された合成画像を表示部に表示させる。（Ｓ２７）の内容は、表示処理部１０６の処理内容と同様である。

上記表示部及び上記背景保持部は、画像処理方法の実行主体である少なくとも１つのコンピュータが有していてもよいし、この少なくとも１つのコンピュータと通信可能に接続される他のコンピュータ（図示せず）が有していてもよい。また、本発明の実施形態は、上述の画像処理方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該コンピュータが読み取り可能な記録媒体であってもよい。

また、本実施形態における画像処理方法の処理工程の実行順は、図２に示される順番に制限されない。例えば、（Ｓ２６）は、（Ｓ２４）より後であれば、（Ｓ２５）の前に実行されてもよいし、（Ｓ２５）と並列に実行されてもよい。

このように、本実施形態では、背景保持部に保持される画像ファイルの中からユーザによる選択操作で選択された画像ファイルの画像が背景画像（被重畳画像）として取得され、この背景画像に対してＡＲコンテンツの視認画像が重畳された合成画像が表示される。従って、本実施形態によれば、ユーザは、保持される画像ファイルの中から所望の背景画像を保存する画像ファイルを選択する操作を行うことで、所望の背景画像にＡＲコンテンツが重畳された合成画像（ＡＲ画像）を見ることができる。ひいては、ユーザは、いつでもどこでも、所望の背景画像のＡＲ画像を見ることができる。

このように、本発明者らは、ＡＲコンテンツを重畳させる背景画像の制限を解消し、場所や時間の制限なく、所望の背景画像にＡＲコンテンツが重畳されたＡＲ画像を提示するという新たな発想を見出した。そして、上述のように、被重畳画像となり得るように、マーカがそれぞれ写る複数の背景画像を複数の画像ファイルとして保存しておき、ＡＲ画像を見たいときに、ユーザに、その中から所望の背景画像を保存する画像ファイルを選択させるという、新たなユーザインタフェースを見出した。このようなユーザインタフェースは、リアルタイム映像にＡＲコンテンツを重畳させることを前提とする既存のＡＲアプリケーションのユーザインタフェースとはその発想が全く異なるものである。

本実施形態におけるこのようなユーザインタフェースによれば、既存のＡＲアプリケーションにおける次のような問題点も解消することができる。ＡＲ画像を撮影及び表示する装置としてカメラ付きの携帯端末が用いられる場合、ユーザは、その携帯端末でＡＲコンテンツが重畳される現実世界を常に撮影しなければならない。これでは、ＡＲ画像を見るために、ユーザは、常に腕を上げている必要があり、楽な姿勢でＡＲ画像を見ることができない。更に、携帯端末はユーザの手で保持されるため、携帯端末の位置を完全に固定することは困難であり、背景画像がぶれてしまう。

本実施形態によれば、ユーザによる選択操作で選択された画像ファイルの画像が背景画像（被重畳画像）として用いられるため、ユーザは、手振れを気にすることなく、かつ、楽な姿勢でＡＲ画像を見ることができる。

また、ＡＲコンテンツの視認画像は、その背景画像から検出されたマーカに基づいて設定される３次元座標空間上の或る位置に置かれたＡＲコンテンツが、そのマーカに基づいて算出される背景画像の背景撮影位置及び背景撮影方向から視認される形態となる。よって、ユーザは、表示されるＡＲ画像を見ることにより、所望の背景画像に写る現実世界にあたかもそのＡＲコンテンツが存在していたかのような状況を認識することができる。

以下、上述の実施形態について更に詳細を説明する。以下には、詳細実施形態として第１実施形態及び第２実施形態を例示する。以下では、上述の実施形態と同じ内容については適宜省略し、上述の実施形態と異なる内容を中心に説明する。

［第１実施形態］
第１実施形態における画像処理装置は、現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像の中の１つのコンテンツ画像をＡＲコンテンツの視認画像として用いて、ＡＲ画像（合成画像）を生成する。

〔装置構成〕
図３は、第１実施形態における画像処理装置１０のハードウェア構成例を概念的に示す図である。画像処理装置１０は、いわゆるコンピュータである。携帯型、据え置き型等、画像処理装置１０の形態は制限されない。画像処理装置１０は、例えば、バスで相互に接続される、ＣＰＵ（Central Processing Unit）１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信装置１４等を有する。メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク等である。通信ユニット１４は、他のコンピュータや機器と信号のやりとりを行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。

入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１やＧＰＵ（Graphics Processing Unit）（図示せず）等により処理された描画データに対応する画面を表示する装置である。表示装置１５は、上述の表示部１０８に相当する。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。また、表示装置１５及び入力装置１６は、画像処理装置１０と通信ユニット１４を介して通信可能に接続される他のコンピュータに接続されていてもよい。

また、画像処理装置１０は、図３には示されない他のハードウェア要素を有していてもよい。例えば、画像処理装置１０は、撮像部に相当するカメラを有していてもよい。この場合、画像処理装置１０は、そのカメラで撮像された背景画像の画像ファイルを背景保持部３１に保持させることができるし、後述する現実オブジェクトのコンテンツ画像をそのカメラで撮像することができる。画像処理装置１０のハードウェア構成は制限されない。

〔処理構成〕
図４は、第１実施形態における画像処理装置１０の処理構成例を概念的に示す図である。第１実施形態における画像処理装置１０は、操作受付部２１、背景取得部２２、マーカ検出部２３、基準算出部２４、位置決定部２５、画像抽出部２６、サイズ調整部２７、合成処理部２８、表示処理部２９、背景保持部３１、コンテンツ保持部３２等を有する。これら各処理部は、例えば、ＣＰＵ１１によりメモリ１２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ１３又は通信ユニット１４を介してインストールされ、メモリ１２に格納されてもよい。

操作受付部２１は、上述の操作受付部１０１に相当する。操作受付部２１は、表示装置１５に表示される画面に対する入力装置１６を用いたユーザ操作を受け付ける。操作受付部２１は、画像ファイルの選択操作に加えて、合成画像に対するコンテンツ画像の移動操作を更に受け付ける。当該選択操作は、例えば、表示装置１５に表示される複数の画像ファイルのリストから１つの画像ファイルを選択する操作と、その操作を確定するボタン操作とから構成される。また、その移動操作は、例えば、表示装置１５に表示される合成画像上のコンテンツ画像をドラッグアンドドロップ又はスワイプする操作である。但し、本実施形態は、具体的な操作内容自体を制限しない。コンテンツ画像とは、背景画像にＡＲコンテンツの視認画像として重畳される画像であり、その詳細については後述する。

更に、操作受付部２１は、複数の現実オブジェクトの中から表示対象とする１つの現実オブジェクトを選択する操作を受け付けることもできる。現実オブジェクトとは、背景画像に重畳するＡＲコンテンツの元となる現実世界に存在する物や人である。操作受付部２１は、後述するコンテンツ保持部３２に保持されるコンテンツ画像に対応する複数の現実オブジェクトのリストを表示装置１５に表示させ、そのリストに対する入力装置１６を用いた選択操作を受け付けることができる。

背景取得部２２、背景保持部３１、マーカ検出部２３及び基準算出部２４は、上述の実施形態における、背景取得部１０２、背景保持部１０７、マーカ検出部１０３及び基準算出部１０４と同様である。

位置決定部２５は、上述の位置決定部１０５のように、表示対象のＡＲコンテンツを仮想的に配置する３次元座標空間上の位置を決定する。更に、位置決定部２５は、操作受付部２１で移動操作が受け付けられた場合に、その移動操作が示す３次元座標空間上のＡＲコンテンツの移動後の位置を決定する。具体的には、位置決定部２５は、マーカの現実情報及び画像情報に基づいて、合成画像上における移動操作が示す移動後の位置を３次元座標空間上の位置に変換し、その変換された位置をＡＲコンテンツの移動後の位置に決定する。

コンテンツ保持部３２は、ＡＲコンテンツに相当する現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を各コンテンツ撮影方向に対応付けて保持する。第１実施形態では、当該複数のコンテンツ画像がＡＲコンテンツの視認画像として用いられるため、コンテンツ保持部３２は、細かい角度幅で全方向から撮影された多数のコンテンツ画像を保持することが望ましい。背景画像に重畳するコンテンツ画像を、背景画像の背景撮影方向及び背景撮影位置からの現実オブジェクトの視認画像に近似させることができるからである。

図５は、コンテンツ保持部３２に保持される各コンテンツ撮影方向に対応付けられた複数のコンテンツ画像の例を概念的に示す図である。図５では、コンテンツ撮影方向が、水平方向と垂直方向との２軸の座標空間に並べられて表記されている。図５に示されるように、コンテンツ保持部３２は、各コンテンツ画像をコンテンツ撮影方向を示す位置座標と関連付けて保持することもできる。

また、図５の例では、各コンテンツ画像には、現実オブジェクトと共にマーカ及びその他の背景がそれぞれ写っている。第１実施形態では、コンテンツ保持部３２は、現実オブジェクト以外のものが写るコンテンツ画像を保持するようにしてもよい。但し、コンテンツ保持部３２は、現実オブジェクト以外の画像領域が透明化されたコンテンツ画像を保持することが望ましい。現実オブジェクトの視認画像のみを表すコンテンツ画像を背景画像に重畳させた合成画像を生成し易いからである。

コンテンツ保持部３２は、保持するコンテンツ画像にマーカが写る場合には、そのマーカの現実世界のサイズ及び形状の情報を保持する。コンテンツ保持部３２は、保持するコンテンツ画像にマーカが写らない場合には、現実オブジェクトの現実世界のサイズの情報を保持する。

また、コンテンツ保持部３２は、各コンテンツ撮影方向に対応付けられる複数のコンテンツ画像を複数の現実オブジェクトの各々についてそれぞれ保持することもできる。この場合、操作受付部２１は、複数の現実オブジェクトの中から表示対象とする１つの現実オブジェクトを選択する操作を受け付けることができる。

画像抽出部２６は、コンテンツ保持部３２から、位置決定部２５で決定された位置から基準算出部２４で算出された背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する。ＡＲコンテンツの３次元座標空間における位置から背景撮影位置への方向と一致するコンテンツ撮影方向に対応付けられているコンテンツ画像がコンテンツ保持部３２に保持されていることが望ましい。そのコンテンツ画像が、背景画像の撮影位置からの現実オブジェクトの視認画像に一致するからである。そのように一致するコンテンツ画像がコンテンツ保持部３２に保持されていない場合に、画像抽出部２６は、最も近似するコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する。

コンテンツ保持部３２に複数の現実オブジェクトのコンテンツ画像が保持されている場合には、画像抽出部２６は、操作受付部２１により受け付けられた操作により選択された現実オブジェクトに対応してコンテンツ保持部３２に保持される複数のコンテンツ画像の中から１つのコンテンツ画像を抽出する。

また、画像抽出部２６は、操作受付部２１で移動操作が受け付けられた場合には、位置決定部２５により決定される移動後の位置から基準算出部２４で算出された背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられてコンテンツ保持部３２に保持されるコンテンツ画像を新たに抽出する。新たに抽出されるコンテンツ画像は、背景画像の撮影位置からの移動後の位置に存在する現実オブジェクトの視認画像となる。

サイズ調整部２７は、現実オブジェクトの現実サイズと、マーカ検出部２３で検出されたマーカに関する現実情報及び画像情報と、位置決定部２５により決定される位置とに基づいて、画像抽出部２６により抽出されたコンテンツ画像を拡大又は縮小する。サイズ調整部２７は、コンテンツ画像に写る現実オブジェクトが現実世界のサイズで背景画像に写る現実世界と重畳されるように、コンテンツ画像の拡大率又は縮小率を決定する。例えば、サイズ調整部２７は、マーカに関する現実情報及び画像情報を用いることで、背景画像における現実世界の縮小率を得ることができ、現実オブジェクトの現実サイズとコンテンツ画像での画像サイズと背景画像における現実世界の縮小率と、背景撮影位置とＡＲコンテンツの位置との間の距離とを用いて、コンテンツ画像の拡大率又は縮小率を決定することができる。

合成処理部２８は、３次元座標空間における位置決定部２５により決定された位置に配置されるＡＲコンテンツの背景撮影位置及び背景撮影方向からの視認画像が背景画像に重畳された合成画像（ＡＲ画像）を生成する。具体的には、合成処理部２８は、画像抽出部２６により抽出されたコンテンツ画像を現実オブジェクト（ＡＲコンテンツ）の視認画像として、背景取得部２２により取得された背景画像に重畳する。

合成処理部２８は、背景画像に重畳するコンテンツ画像を、操作受付部２１による移動操作の受け付けに応じて画像抽出部２６により新たに抽出されたコンテンツ画像に切り換える。また、合成処理部２８は、サイズ調整部２７によりコンテンツ画像が拡大又は縮小された場合には、その拡大又は縮小されたコンテンツ画像を背景画像に重畳する。

表示処理部２９は、合成処理部２８により生成された合成画像を表示装置１５に表示させる。

〔動作例〕
以下、第１実施形態における画像処理方法について図６を用いて説明する。図６は、第１実施形態における画像処理装置１０の動作例を示すフローチャートである。以下の説明では、画像処理装置１０が各方法の実行主体となるが、画像処理装置１０に含まれる上述の各処理部が実行主体となってもよい。図６では、図２に示される処理工程と同じものには、図２と同じ符号が付されている。

画像処理装置１０は、入力装置１６を用いたユーザ操作を受け付ける（Ｓ６１）。（Ｓ６１）の内容は、操作受付部２１の処理内容と同様である。
画像処理装置１０は、選択操作が受け付けられた場合には（Ｓ６２；選択）、図２と同様に、（Ｓ２２）から（Ｓ２６）を実行する。

この場合、画像処理装置１０は、コンテンツ保持部３２から、（Ｓ２６）で決定された位置から（Ｓ２５）で算出された背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する（Ｓ６３）。（Ｓ６３）の内容は、画像抽出部２６の処理内容と同様である。

続いて、画像処理装置１０は、現実オブジェクトが現実世界におけるサイズで背景画像に写る現実世界に重畳されるように、（Ｓ６３）で抽出されたコンテンツ画像を拡大又は縮小する（Ｓ６４）。（Ｓ６４）の内容は、サイズ調整部２７の処理内容と同様である。

画像処理装置１０は、（Ｓ６４）で拡大又は縮小されたコンテンツ画像を（Ｓ２２）で取得された背景画像に重畳して合成画像性を生成する（Ｓ６５）。（Ｓ６５）の内容は、合成処理部２８の処理内容と同様である。

画像処理装置１０は、（Ｓ６５）で生成された合成画像を表示装置１５に表示させる（Ｓ６６）。

一方で、画像処理装置１０は、移動操作が受け付けられた場合には（Ｓ６２；移動）、（Ｓ６１）で受け付けられた移動操作が示す３次元座標空間上のＡＲコンテンツの移動後の位置を決定する（Ｓ６７）。（Ｓ６７）の内容は、位置決定部２５の処理内容と同様である。

画像処理装置１０は、（Ｓ６７）で決定された移動後の位置から（Ｓ２５）で算出された背景撮影位置への方向と近いコンテンツ撮影方向に対応付けられてコンテンツ保持部３２に保持されるコンテンツ画像を新たに抽出する（Ｓ６３）。以降、画像処理装置１０は、この新たに抽出されたコンテンツ画像に対して、（Ｓ６４）以降を実行する。

また、図６には図示されていないが、コンテンツ保持部３２に複数の現実オブジェクトのコンテンツ画像が保持されている場合には、画像処理装置１０は、（Ｓ６１）で、複数の現実オブジェクトの中から表示対象とする１つの現実オブジェクトを選択する操作を受け付けることもできる。この場合、画像処理装置１０は、（Ｓ６３）で、その操作により選択された現実オブジェクトに対応してコンテンツ保持部３２に保持される複数のコンテンツ画像の中から１つのコンテンツ画像を抽出する。

〔第１実施形態の作用及び効果〕
上述したように第１実施形態では、複数の画像ファイルの中からユーザによる選択操作で選択された画像ファイルの画像が背景画像（被重畳画像）として用いられるため、ユーザに、場所や時間の制限なく、所望の背景画像にＡＲコンテンツが重畳されたＡＲ画像を見せることができる。

更に、第１実施形態では、現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像が各コンテンツ撮影方向と対応付けられて予め保持されており、保持される複数のコンテンツ画像の中の１つのコンテンツ画像をＡＲコンテンツの視認画像として用いて、ＡＲ画像（合成画像）が生成される。このように、第１実施形態によれば、各コンテンツ撮影方向と対応付けられた複数のコンテンツ画像を準備すればよいため、専門的なＣＧ技術が必要となる３次元モデルを生成する形態に較べ、ＡＲコンテンツを容易に作成することができる。従って、第１実施形態によれば、ＡＲ技術を用いるプラットフォームの開発及び利用の敷居を低くすることができ、それを一般ユーザに利用し易くすることができる。

更に、第１実施形態では、３次元座標空間上のＡＲコンテンツの位置から背景画像の撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像が、現実オブジェクトの視認画像として背景画像に重畳される。よって、第１実施形態によれば、背景画像に重畳するコンテンツ画像を、背景画像の撮影位置及び撮影方向からの現実オブジェクトの視認画像に近似させることができ、背景画像に写る現実世界に現実オブジェクトが重畳された空間の現実感を増強させることができる。

更に、第１実施形態では、移動操作が示す３次元座標空間上の移動後の位置が決定され、この移動後の位置から背景画像の撮影位置への方向と近いコンテンツ撮影方向に対応付けられて保持されるコンテンツ画像が新たに抽出され、背景画像に重畳するコンテンツ画像がその新たに抽出されたコンテンツ画像に切り換えられる。よって、ＡＲ画像上でコンテンツ画像に対して移動操作が行われると、その移動後の位置に応じて、ＡＲ画像上での現実オブジェクトの見え方が変わる。このように、第１実施形態によれば、ＡＲ画像上でのＡＲコンテンツとしての現実オブジェクトを現実感を維持しつつユーザに移動させることができる。

更に、第１実施形態では、現実オブジェクトが現実世界でのサイズで背景画像に写る現実世界に重畳されるように、重畳するコンテンツ画像が拡大又は縮小される。従って、第１実施形態によれば、現実オブジェクトと背景画像に写る背景との現実世界でのサイズ関係をユーザに適切に視認させることができる。

また、第１実施形態では、各コンテンツ撮影方向に対応付けられる複数のコンテンツ画像を複数の現実オブジェクトの各々についてそれぞれ保持するようにすれば、ユーザに、背景画像のみでなく、重畳するＡＲコンテンツとして所望の現実オブジェクトを選択させることができる。

［第２実施形態］
第２実施形態における画像処理装置は、画像ファイルの画像を背景画像として取得する手法と、リアルタイム映像の画像フレームを背景画像として取得する手法とを選択的に実行する。以下、第２実施形態における画像処理装置１０について、第１実施形態と異なる内容を中心に説明する。以下の説明では、第１実施形態と同様の内容については適宜省略する。

〔装置構成〕
図７は、第２実施形態における画像処理装置１０のハードウェア構成例を概念的に示す図である。第２実施形態における画像処理装置１０は、第１実施形態の構成に加えて、撮像部に相当するカメラ１７を更に有する。カメラ１７は、入出力Ｉ／Ｆ１３又は通信ユニット１４に接続される。

〔処理構成〕
第２実施形態における画像処理装置１０は、図４に示される第１実施形態と同様の処理構成を有する。

操作受付部２１は、カメラ１７からのリアルタイム映像の取得を要求する操作も受け付けることができる。この操作受け付けに応じて、操作受付部２１は、カメラ１７を起動させることもできる。

背景取得部２２は、操作受付部２１で上記要求操作が受け付けられた場合、その受け付けられた上記要求操作に応じて、カメラ１７から得られるリアルタイム映像の画像フレームを背景画像として逐次取得する。これにより、被重畳画像としての背景画像が画像ファイルの画像からリアルタイム映像の画像フレームに切り換えられる。

表示処理部２９は、上述のようなコンテンツ画像が視認画像として重畳されたリアルタイム映像を表示装置１５に表示させる。

〔動作例〕
以下、第２実施形態における画像処理方法について図８を用いて説明する。図８は、第２実施形態における画像処理装置１０の動作例の一部を示すフローチャートである。以下の説明では、画像処理装置１０が各方法の実行主体となるが、画像処理装置１０に含まれる上述の各処理部が実行主体となってもよい。図８では、図６に示される処理工程と同じものには、図６と同じ符号が付されている。

第２実施形態における画像処理装置１０は、図６に示される（Ｓ６１）でリアルタイム映像の取得を要求する操作を受け付けると、図８に示される動作を実行する。
画像処理装置１０は、カメラ１７から得られるリアルタイム映像の画像フレームを背景画像として取得する（Ｓ８１）。以降、（Ｓ８１）で取得された背景画像に対して、上述の第１実施形態と同様に、（Ｓ２３）以降を実行する。

画像処理装置１０は、カメラ１７から得られるリアルタイム映像の画像フレーム毎に図８に示される動作を繰り返し実行することで、コンテンツ画像が視認画像として重畳されたリアルタイム映像を表示装置１５に表示させることができる。画像処理装置１０は、背景画像として利用する画像フレームをリアルタイム映像を構成する全画像フレームから間引いてもよい。また、画像処理装置１０は、隣接する画像フレーム間でマーカの配置が変わらない場合には、（Ｓ２３）から（Ｓ６４）を省くことができる。

〔第２実施形態における作用及び効果〕
第２実施形態では、ユーザによる操作に応じて、ＡＲコンテンツが重畳される背景画像が画像ファイルの画像からリアルタイム映像の画像フレームに切り換えられる。そして、リアルタイム画像の画像フレームに対して、ＡＲコンテンツの位置からその画像フレームの撮影位置への方向と近いコンテンツ撮影方向と対応付けて保持されるコンテンツ画像が現実オブジェクトの視認画像として重畳される。これにより、第２実施形態によれば、コンテンツ画像が視認画像として重畳されたリアルタイム映像を表示装置１５に表示させることができる。

［第１変形例］
上述の第１実施形態では、ユーザによる背景画像の選択操作を可能としているため、ユーザが誤ってマーカが写っていない背景画像を保持する画像ファイルを選択する可能性がある。コンピュータに格納される画像ファイルは多数存在し、その中には、適切な背景画像を保存する画像ファイル以外の画像ファイルも多数存在するため、このような誤りは起こり得る。そして、マーカが背景画像に写っていない場合、その背景画像に適切にＡＲコンテンツを重畳することはできない。そこで、第１実施形態における画像処理装置１０の各処理部は次のような処理を行ってもよい。

表示処理部２９は、マーカ検出部２３により背景画像からマーカが検出されない場合に、マーカが検出されないことを表示装置１５に表示させる。
操作受付部２１は、マーカが検出されなかった画像ファイル以外の画像ファイルを選択し直す操作を受け付ける。
背景取得部２２は、選択し直す操作により新たに選択された画像ファイルの画像を背景画像として新たに取得する。

これにより、ユーザは、選択した画像ファイルがＡＲコンテンツを重畳させることができない背景画像を保存するものであるか否かを認識することができ、画像ファイルを選択し直すことができるため、安心して、画像ファイルの選択操作を行うことができる。

［第２変形例］
背景画像を保存する画像ファイルを生成する時間及び場所は任意である。言い換えれば、ユーザは、背景画像に用いるために異なる複数の場所を写した複数の画像ファイルを背景保持部３１に保持させることができる。このような状況下では、複数種のマーカを提供した方が利便性が上がる可能性がある。一方、画像処理装置１０は、背景画像に写るマーカの現実情報（形状情報、サイズ情報）を知っている必要がある。

図９は、第２変形例における画像処理装置１０の処理構成例を概念的に示す図である。第２変形例における画像処理装置１０は、第１実施形態及び第２実施形態の構成に加えて、マーカ情報保持部３５を更に有する。マーカ情報保持部３５についても他の処理部と同様に実現される。マーカ情報保持部３５は、画像処理装置１０ではなく、画像処理装置１０と通信可能に接続される他のコンピュータが有していてもよい。

マーカ情報保持部３５は、形状情報及びサイズ情報をそれぞれ含む複数種のマーカの情報を保持する。この場合、マーカ検出部２３は、マーカ情報保持部３５から、１種のマーカの形状情報及びサイズ情報を取得し、この取得された形状情報及びサイズ情報を用いて、背景取得部２２で取得された背景画像からマーカを検出する。１種のマーカを特定する手法は制限されない。例えば、マーカ検出部２３は、マーカ情報保持部３５に保持されるマーカ種毎に順次、マーカが検出できるか否かを試すことができる。また、マーカ検出部２３は、ユーザにマーカ種を選択させるための画面を表示装置１５に表示させ、ユーザの選択操作に応じてマーカ種を特定することもできる。

このようにすれば、背景画像を撮影するにあたり、ユーザに複数種のマーカを用いることを許容することができ、ＡＲプラットフォームの利便性を向上させることができる。

［第３変形例］
第２実施形態の画像処理装置１０の各処理部は次のような処理を行ってもよい。

操作受付部２１は、視認画像が重畳されたリアルタイム映像が表示装置１５に表示されている状態におけるスナップショット操作を受け付ける。
背景取得部２２は、操作受付部２１によるスナップショット操作の受け付けに応じて、画像フレームを背景画像として固定的に保持する。このとき、背景取得部２２は、画像フレームを固定的に保持した後、カメラ１７を停止することもできる。
表示処理部２９は、視認画像が重畳されたリアルタイム映像の表示に替え、固定的に保持される背景画像にコンテンツ画像が視認画像として重畳された合成画像を表示装置１５に表示させる。

このようにすれば、ユーザによるスナップショット操作が受け付けられた際に得られた画像フレームを固定的に背景画像として用いて、コンテンツ画像が重畳されたＡＲ画像を表示装置１５に表示させることができる。これによれば、ユーザは、リアルタイム映像を好きなタイミングで停止させた画像にコンテンツ画像が重畳されたＡＲ画像を見ることができる。更に、これによれば、手振れ等により重畳されるコンテンツ画像の位置が揺れ、表示されるＡＲ画像が見難くなることを防止することができ、かつ、ユーザに楽な姿勢でＡＲ画像を見させることができる。

［補足］
第２実施形態における画像処理装置１０は、画像ファイルの画像を背景画像として取得する手法と、リアルタイム映像の画像フレームを背景画像として取得する手法とを選択的に実行する。しかしながら、画像処理装置１０は、画像ファイルの画像を背景画像として取得する手法を持たず、リアルタイム映像の画像フレームを背景画像として取得する手法を実行するようにしてもよい。この場合、画像処理装置１０は操作受付部２１を持たなくてもよい。

以下に実施例を挙げ、上述の各実施形態を更に詳細に説明する。本発明は以下の実施例から何ら限定を受けない。

図１０Ａ、図１０Ｂ及び図１０Ｃは、画像ファイルに各々保存される背景画像の例をそれぞれ示す図である。これら図に示されるように、各背景画像にはそれぞれマーカが含まれる。これら例によれば、同じマーカが各背景画像に含まれるが、画像処理装置１０が知っているマーカであれば、各背景画像に含まれるマーカは同じでなくてもよい。これら例に示されるように、背景保持部３１には、異なる各背景画像をそれぞれ保存する複数の画像ファイルが保持される。

以下、図６及び図８で示される（Ｓ６３）及び（Ｓ６５）、並びに、画像抽出部２６及び合成処理部２８の処理内容の更なる具体例を説明する。この場合、コンテンツ保持部３２は、コンテンツ撮影方向を示す情報として、現実オブジェクトの撮影時における現実オブジェクトからカメラ方向を示す単位ベクトルを各コンテンツ画像に対応付けて保持する。

画像処理装置１０（画像抽出部２６）は、３次元座標空間上のＡＲコンテンツの位置から背景画像の撮影位置への方向を示す単位ベクトルを算出する。画像処理装置１０（画像抽出部２６）は、背景画像から算出された単位ベクトルと、コンテンツ保持部３２に保持される各コンテンツ画像の各単位ベクトルとの内積をそれぞれ計算し、内積値が最大となるコンテンツ画像の単位ベクトルを特定する。画像処理装置１０（画像抽出部２６）は、その特定された単位ベクトルと対応付けられて保持されるコンテンツ画像をコンテンツ保持部３２から抽出する。

画像処理装置１０（合成処理部２８）は、コンテンツ画像と背景画像とを合成する際に、まず、３次元座標空間上に板状の３次元オブジェクトを生成しておく。画像処理装置１０（合成処理部２８）は、上述のように抽出されたコンテンツ画像を板状の３次元オブジェクトにテクスチャとして貼り付ける。

図１１Ａ、図１１Ｂ及び図１１Ｃは、図１０Ａ、図１０Ｂ及び図１０Ｃに示される背景画像にコンテンツ画像が重畳された合成画像（ＡＲ画像）の例をそれぞれ示す図である。これら図に示されるように、重畳するコンテンツ画像は、背景画像の撮影位置及び撮影方向に応じて切り替えられ、現実オブジェクトが背景画像の撮影位置及び撮影方向から視認される形態となる。

図１２Ａ、図１２Ｂ及び図１２Ｃは、ＡＲ画像上でのＡＲコンテンツの移動を示す図である。図１２Ａでは、ＡＲコンテンツがマーカの上に配置されており、図１２Ｂでは、図１２Ａの状態からＡＲコンテンツがマーカに対して後ろ方向に移動されており、図１２Ｃでは、図１２Ａの状態からＡＲコンテンツがマーカに対して左方向に移動されている。ユーザは、図１２Ａに示されるＡＲ画像が表示装置１５に表示されている状態で、コンテンツ画像を移動する操作を行うことで、図１２Ｂ及び図１２Ｃに示されるようなＡＲ画像を見ることができる。また、図１２Ｂでは、コンテンツ画像は、移動後の位置に応じて、図１２Ａに示されるコンテンツ画像よりもサイズが縮小されている。図１２Ｃでは、コンテンツ画像は、移動後の位置に応じて、図１２Ａに示されるコンテンツ画像から切り換えられている。

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態及び各変形例は、内容が相反しない範囲で組み合わせることができる。

上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも特定され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。

（付記１）
画像ファイルの選択操作を受け付ける操作受付部と、
マーカが写る背景画像を保存する画像ファイルを保持する背景保持部から、前記操作受付部により受け付けられる選択操作で選択された画像ファイルの画像を背景画像として取得する背景取得部と、
前記背景取得部で取得される前記背景画像からマーカを検出するマーカ検出部と、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、かつ、背景撮影位置及び背景撮影方向を算出する基準算出部と、
表示対象のＡＲ（Augmented Reality）コンテンツを仮想的に配置する前記３次元座標空間上の位置を決定する位置決定部と、
前記３次元座標空間の前記決定された位置に配置される前記ＡＲコンテンツの前記背景撮影位置及び前記背景撮影方向からの視認画像が前記背景画像に重畳された合成画像を表示部に表示させる表示処理部と、
を備える画像処理装置。
（付記２）
前記ＡＲコンテンツに相当する現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を各コンテンツ撮影方向に対応付けて保持するコンテンツ保持部から、前記位置決定部で決定された位置から前記背景撮影位置への方向と近い該コンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する画像抽出部と、
前記画像抽出部により抽出されるコンテンツ画像を前記視認画像として前記背景画像に重畳する合成処理部と、
を更に備える付記１に記載の画像処理装置。
（付記３）
前記操作受付部は、前記合成画像に対する前記コンテンツ画像の移動操作を更に受け付け、
前記位置決定部は、前記受け付けられた移動操作が示す前記３次元座標空間上の前記ＡＲコンテンツの移動後の位置を決定し、
前記画像抽出部は、前記位置決定部により決定される移動後の位置から前記背景撮影位置への方向と近い前記コンテンツ撮影方向に対応付けられて前記コンテンツ保持部に保持されるコンテンツ画像を新たに抽出し、
前記合成処理部は、前記背景画像に重畳するコンテンツ画像を前記新たに抽出されたコンテンツ画像に切り換える、
付記２に記載の画像処理装置。
（付記４）
前記現実オブジェクトの現実サイズと、前記マーカ検出部で検出されたマーカに関する前記現実情報及び前記画像情報と、前記位置決定部により決定される位置とに基づいて、前記抽出されたコンテンツ画像を拡大又は縮小するサイズ調整部、
を更に備え、
前記合成処理部は、前記サイズ調整部により調整されたコンテンツ画像を前記視認画像として前記背景画像に重畳する、
付記２又は３に記載の画像処理装置。
（付記５）
前記コンテンツ保持部は、前記各コンテンツ撮影方向に対応付けられる前記複数のコンテンツ画像を複数の現実オブジェクトの各々についてそれぞれ保持し、
前記操作受付部は、前記複数の現実オブジェクトの中から前記表示対象とする１つの現実オブジェクトを選択する操作を更に受け付け、
前記画像抽出部は、前記受け付けられた操作により選択された現実オブジェクトに対応して前記コンテンツ保持部に保持される前記複数のコンテンツ画像の中から１つのコンテンツ画像を抽出する、
付記２から４のいずれか１つに記載の画像処理装置。
（付記６）
前記表示処理部は、前記マーカ検出部により前記背景画像から前記マーカが検出されない場合に、マーカが検出されないことを前記表示部に表示させ、
前記操作受付部は、前記マーカが検出されなかった前記画像ファイル以外の画像ファイルを選択し直す操作を受け付け、
前記背景取得部は、前記操作により新たに選択された画像ファイルの画像を前記背景画像として新たに取得する、
付記１から５のいずれか１つに記載の画像処理装置。
（付記７）
前記操作受付部は、撮像部からのリアルタイム映像の取得を要求する操作を受け付け、
前記背景取得部は、前記操作受付部で受け付けられた前記操作に応じて、前記撮像部から得られる前記リアルタイム映像の画像フレームを前記背景画像として逐次取得し、
前記表示処理部は、前記コンテンツ画像が前記視認画像として重畳されたリアルタイム映像を前記表示部に表示させる、
付記２から５のいずれか１つに記載の画像処理装置。
（付記８）
前記操作受付部は、前記視認画像が重畳されたリアルタイム映像が前記表示部に表示されている状態におけるスナップショット操作を受け付け、
前記背景取得部は、前記操作受付部による前記スナップショット操作の受け付けに応じて、前記画像フレームを前記背景画像として固定的に保持し、
前記表示処理部は、前記視認画像が重畳されたリアルタイム映像の表示に替え、前記固定的に保持される背景画像に前記コンテンツ画像が前記視認画像として重畳された前記合成画像を前記表示部に表示させる、
付記７に記載の画像処理装置。
（付記９）
前記マーカ検出部は、形状情報及びサイズ情報をそれぞれ含む複数種のマーカの情報を保持するマーカ情報保持部から、１種のマーカの形状情報及びサイズ情報を取得し、該取得された形状情報及びサイズ情報を用いて、前記マーカを検出する、
付記１から８のいずれか１つに記載の画像処理装置。

（付記１０）
少なくとも１つのコンピュータにより実行される画像処理方法において、
画像ファイルの選択操作を受け付け、
マーカが写る背景画像を保存する画像ファイルを保持する背景保持部から、前記受け付けられた選択操作で選択された画像ファイルの画像を背景画像として取得し、
前記取得された背景画像からマーカを検出し、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、背景撮影位置及び背景撮影方向を算出し、
表示対象のＡＲ（Augmented Reality）コンテンツを仮想的に配置する前記３次元座標空間上の位置を決定し、
前記３次元座標空間の前記決定された位置に配置される前記ＡＲコンテンツの前記背景撮影位置及び前記背景撮影方向からの視認画像が前記背景画像に重畳された合成画像を表示部に表示させる、
ことを含む画像処理方法。
（付記１１）
前記ＡＲコンテンツに相当する現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を各コンテンツ撮影方向に対応付けて保持するコンテンツ保持部から、前記３次元座標空間上の前記決定された位置から前記背景撮影位置への方向と近い該コンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出し、
前記抽出されたコンテンツ画像を前記視認画像として前記背景画像に重畳する、
ことを更に含む付記１０に記載の画像処理方法。
（付記１２）
前記合成画像に対する前記コンテンツ画像の移動操作を受け付け、
前記受け付けられた移動操作が示す前記３次元座標空間上の前記ＡＲコンテンツの移動後の位置を決定し、
前記決定された移動後の位置から前記背景撮影位置への方向と近い前記コンテンツ撮影方向に対応付けられて前記コンテンツ保持部に保持されるコンテンツ画像を新たに抽出し、
前記背景画像に重畳するコンテンツ画像を前記新たに抽出されたコンテンツ画像に切り換える、
ことを更に含む付記１１に記載の画像処理方法。
（付記１３）
前記現実オブジェクトの現実サイズと、前記検出されたマーカに関する前記現実情報及び前記画像情報と、前記３次元座標空間上の前記決定された位置とに基づいて、前記抽出されたコンテンツ画像を拡大又は縮小する、
ことを更に含む付記１１又は１２に記載の画像処理方法。
（付記１４）
複数の現実オブジェクトの中から前記表示対象とする１つの現実オブジェクトを選択する操作を受け付ける、
ことを更に含み、
前記コンテンツ保持部は、前記各コンテンツ撮影方向に対応付けられる前記複数のコンテンツ画像を前記複数の現実オブジェクトの各々についてそれぞれ保持し、
前記コンテンツ画像の抽出は、前記受け付けられた操作により選択された現実オブジェクトに対応して前記コンテンツ保持部に保持される前記複数のコンテンツ画像の中から１つのコンテンツ画像を抽出する、
付記１１から１３のいずれか１つに記載の画像処理方法。
（付記１５）
前記背景画像から前記マーカが検出されない場合に、マーカが検出されないことを前記表示部に表示させ、
前記マーカが検出されなかった前記画像ファイル以外の画像ファイルを選択し直す操作を受け付け、
前記操作により新たに選択された画像ファイルの画像を前記背景画像として新たに取得する、
ことを更に含む付記１０から１４のいずれか１つに記載の画像処理方法。
（付記１６）
撮像部からのリアルタイム映像の取得を要求する操作を受け付け、
前記受け付けられた前記操作に応じて、前記撮像部から得られる前記リアルタイム映像の画像フレームを前記背景画像として逐次取得し、
前記コンテンツ画像が前記視認画像として重畳されたリアルタイム映像を前記表示部に表示させる、
ことを更に含む付記１１から１４のいずれか１つに記載の画像処理方法。
（付記１７）
前記視認画像が重畳されたリアルタイム映像が前記表示部に表示されている状態におけるスナップショット操作を受け付け、
前記スナップショット操作の受け付けに応じて、前記画像フレームを前記背景画像として固定的に保持し、
前記視認画像が重畳されたリアルタイム映像の表示に替え、前記固定的に保持される背景画像に前記コンテンツ画像が前記視認画像として重畳された前記合成画像を前記表示部に表示させる、
ことを更に含む付記１６に記載の画像処理方法。
（付記１８）
形状情報及びサイズ情報をそれぞれ含む複数種のマーカの情報を保持するマーカ情報保持部から、１種のマーカの形状情報及びサイズ情報を取得する、
ことを更に含み、
前記マーカの検出は、前記取得された形状情報及びサイズ情報を用いて、前記マーカを検出する、
付記１０から１７のいずれか１つに記載の画像処理方法。

（付記１９）
撮像部から得られるリアルタイム映像の画像フレームを背景画像として逐次取得する背景取得部と、
前記背景取得部で取得される前記背景画像からマーカを検出するマーカ検出部と、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、かつ、背景撮影位置及び背景撮影方向を算出する基準算出部と、
表示対象のＡＲ（Augmented Reality）コンテンツを仮想的に配置する前記３次元座標空間上の位置を決定する位置決定部と、
前記ＡＲコンテンツに相当する現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を各コンテンツ撮影方向に対応付けて保持するコンテンツ保持部から、前記位置決定部で決定された位置から前記背景撮影位置への方向と近い該コンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する画像抽出部と、
前記画像抽出部により抽出されるコンテンツ画像を前記視認画像として前記背景画像に重畳する合成処理部と、
前記コンテンツ画像が前記視認画像として重畳されたリアルタイム映像を表示部に表示させる表示処理部と、
を備える画像処理装置。
（付記２０）
前記視認画像が重畳されたリアルタイム映像が前記表示部に表示されている状態におけるスナップショット操作を受け付ける操作受付部、
を更に備え、
前記背景取得部は、前記操作受付部による前記スナップショット操作の受け付けに応じて、前記画像フレームを前記背景画像として固定的に保持し、
前記表示処理部は、前記視認画像が重畳されたリアルタイム映像の表示に替え、前記固定的に保持される背景画像に前記コンテンツ画像が前記視認画像として重畳された前記合成画像を前記表示部に表示させる、
付記１９に記載の画像処理装置。

（付記２１）
撮像部から得られるリアルタイム映像の画像フレームを背景画像として逐次取得し、
前記取得された背景画像からマーカを検出し、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、
前記検出されたマーカに関する現実情報及び画像情報に基づいて、前記背景画像の背景撮影位置及び背景撮影方向を算出し、
表示対象のＡＲ（Augmented Reality）コンテンツを仮想的に配置する前記３次元座標空間上の位置を決定し、
前記ＡＲコンテンツに相当する現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を各コンテンツ撮影方向に対応付けて保持するコンテンツ保持部から、前記３次元座標空間上の前記決定された位置から前記背景撮影位置への方向と近い該コンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出し、
前記抽出されたコンテンツ画像を前記視認画像として前記背景画像に重畳し、
前記コンテンツ画像が前記視認画像として重畳されたリアルタイム映像を表示部に表示させる、
ことを含む画像処理方法。
（付記２２）
前記視認画像が重畳されたリアルタイム映像が前記表示部に表示されている状態におけるスナップショット操作を受け付け、
前記スナップショット操作の受け付けに応じて、前記画像フレームを前記背景画像として固定的に保持し、
前記視認画像が重畳されたリアルタイム映像の表示に替え、前記固定的に保持される背景画像に前記コンテンツ画像が前記視認画像として重畳された前記合成画像を前記表示部に表示させる、
ことを更に含む付記２１に記載の画像処理方法。

（付記２３）
付記１０から１８、２１及び２２のいずれか１つに記載の画像処理方法を少なくとも１つのコンピュータに実行させるプログラム。

１０、１００ 画像処理装置
１１ ＣＰＵ
１２ メモリ
１５ 表示装置
１６ 入力装置
１７ カメラ
２１、１０１ 操作受付部
２２、１０２ 背景取得部
２３、１０３ マーカ検出部
２４、１０４ 基準算出部
２５、１０５ 位置決定部
２６ 画像抽出部
２７ サイズ調整部
２８ 合成処理部
２９、１０６ 表示処理部
３１、１０７ 背景保持部
３２ コンテンツ保持部
３５ マーカ情報保持部
１０８ 表示部

Claims (11)

1. 画像ファイルの選択操作を受け付ける操作受付部と、
   マーカが写る背景画像を保存する画像ファイルを保持する背景保持部から、前記操作受付部により受け付けられる選択操作で選択された画像ファイルの画像を背景画像として取得する背景取得部と、
   前記背景取得部で取得される前記背景画像からマーカを検出するマーカ検出部と、
   前記検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、かつ、背景撮影位置及び背景撮影方向を算出する基準算出部と、
   表示対象のＡＲ（Augmented Reality）コンテンツを仮想的に配置する前記３次元座標空間上の位置を決定する位置決定部と、
   前記３次元座標空間の前記決定された位置に配置される前記ＡＲコンテンツの前記背景撮影位置及び前記背景撮影方向からの視認画像が前記背景画像に重畳された合成画像を表示部に表示させる表示処理部と、
   を備える画像処理装置。
2. 前記ＡＲコンテンツに相当する現実オブジェクトを複数の方向から撮影して得られた複数のコンテンツ画像を各コンテンツ撮影方向に対応付けて保持するコンテンツ保持部から、前記位置決定部で決定された位置から前記背景撮影位置への方向と近い該コンテンツ撮影方向に対応付けられて保持されるコンテンツ画像を抽出する画像抽出部と、
   前記画像抽出部により抽出されるコンテンツ画像を前記視認画像として前記背景画像に重畳する合成処理部と、
   を更に備える請求項１に記載の画像処理装置。
3. 前記操作受付部は、前記合成画像に対する前記コンテンツ画像の移動操作を更に受け付け、
   前記位置決定部は、前記受け付けられた移動操作が示す前記３次元座標空間上の前記ＡＲコンテンツの移動後の位置を決定し、
   前記画像抽出部は、前記位置決定部により決定される移動後の位置から前記背景撮影位置への方向と近い前記コンテンツ撮影方向に対応付けられて前記コンテンツ保持部に保持されるコンテンツ画像を新たに抽出し、
   前記合成処理部は、前記背景画像に重畳するコンテンツ画像を前記新たに抽出されたコンテンツ画像に切り換える、
   請求項２に記載の画像処理装置。
4. 前記現実オブジェクトの現実サイズと、前記マーカ検出部で検出されたマーカに関する前記現実情報及び前記画像情報と、前記位置決定部により決定される位置とに基づいて、前記抽出されたコンテンツ画像を拡大又は縮小するサイズ調整部、
   を更に備え、
   前記合成処理部は、前記サイズ調整部により調整されたコンテンツ画像を前記視認画像として前記背景画像に重畳する、
   請求項２又は３に記載の画像処理装置。
5. 前記コンテンツ保持部は、前記各コンテンツ撮影方向に対応付けられる前記複数のコンテンツ画像を複数の現実オブジェクトの各々についてそれぞれ保持し、
   前記操作受付部は、前記複数の現実オブジェクトの中から前記表示対象とする１つの現実オブジェクトを選択する操作を更に受け付け、
   前記画像抽出部は、前記受け付けられた操作により選択された現実オブジェクトに対応して前記コンテンツ保持部に保持される前記複数のコンテンツ画像の中から１つのコンテンツ画像を抽出する、
   請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記表示処理部は、前記マーカ検出部により前記背景画像から前記マーカが検出されない場合に、マーカが検出されないことを前記表示部に表示させ、
   前記操作受付部は、前記マーカが検出されなかった前記画像ファイル以外の画像ファイルを選択し直す操作を受け付け、
   前記背景取得部は、前記操作により新たに選択された画像ファイルの画像を前記背景画像として新たに取得する、
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記操作受付部は、撮像部からのリアルタイム映像の取得を要求する操作を受け付け、
   前記背景取得部は、前記操作受付部で受け付けられた前記操作に応じて、前記撮像部から得られる前記リアルタイム映像の画像フレームを前記背景画像として逐次取得し、
   前記表示処理部は、前記コンテンツ画像が前記視認画像として重畳されたリアルタイム映像を前記表示部に表示させる、
   請求項２から５のいずれか１項に記載の画像処理装置。
8. 前記操作受付部は、前記視認画像が重畳されたリアルタイム映像が前記表示部に表示されている状態におけるスナップショット操作を受け付け、
   前記背景取得部は、前記操作受付部による前記スナップショット操作の受け付けに応じて、前記画像フレームを前記背景画像として固定的に保持し、
   前記表示処理部は、前記視認画像が重畳されたリアルタイム映像の表示に替え、前記固定的に保持される背景画像に前記コンテンツ画像が前記視認画像として重畳された前記合成画像を前記表示部に表示させる、
   請求項７に記載の画像処理装置。
9. 前記マーカ検出部は、形状情報及びサイズ情報をそれぞれ含む複数種のマーカの情報を保持するマーカ情報保持部から、１種のマーカの形状情報及びサイズ情報を取得し、該取得された形状情報及びサイズ情報を用いて、前記マーカを検出する、
   請求項１から８のいずれか１項に記載の画像処理装置。
10. 少なくとも１つのコンピュータにより実行される画像処理方法において、
    画像ファイルの選択操作を受け付け、
    マーカが写る背景画像を保存する画像ファイルを保持する背景保持部から、前記受け付けられた選択操作で選択された画像ファイルの画像を背景画像として取得し、
    前記取得された背景画像からマーカを検出し、
    前記検出されたマーカに関する現実情報及び画像情報に基づいて、３次元座標空間を設定し、
    前記検出されたマーカに関する現実情報及び画像情報に基づいて、背景撮影位置及び背景撮影方向を算出し、
    表示対象のＡＲ（Augmented Reality）コンテンツを仮想的に配置する前記３次元座標空間上の位置を決定し、
    前記３次元座標空間の前記決定された位置に配置される前記ＡＲコンテンツの前記背景撮影位置及び前記背景撮影方向からの視認画像が前記背景画像に重畳された合成画像を表示部に表示させる、
    ことを含む画像処理方法。
11. 請求項１０に記載の画像処理方法を少なくとも１つのコンピュータに実行させるプログラム。

Images