JP2014011654A - 画像解析装置、画像解析方法、および画像解析システム - Google Patents

Abstract

【課題】コンテンツの世界観の維持とモニタ検出用マーカの提示との両立を図るための技術を提供する。
【解決手段】コンテンツ再生部５０６は、コンテンツを再生する。映像取得部５０２は、前記コンテンツの再生画面を表示中のモニタ３００を含む映像を撮像する撮像素子２０４が撮像した映像を取得する。モニタ特定部５０４は、映像取得部５０２が取得した映像からモニタ３００の位置を特定する。ここでコンテンツ再生部５０６は、モニタ３００を観察するユーザには認識されない態様で表示されるマーカを含むコンテンツを再生する。モニタ特定部５０４は、撮像素子２０４が撮像した前記マーカを含む映像から特定したマーカをもとに、映像中におけるモニタ３００の位置を特定する。
【選択図】図３

Description

本発明は、画像解析装置、画像解析方法、および画像解析システムに関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ホログラフィック素子やハーフミラー等を用いて、立体映像をユーザに提示しつつ、かつユーザがＨＭＤの外の様子をシースルーで見ることができる光学透過型ＨＭＤも開発されている。

一方、カメラ等の撮像素子で撮像した実世界の映像にＣＧ（Computer Graphics）等の映像を付加した映像を生成し、ユーザに提示する実世界の映像の一部に修正を加えるＡＲ（Augmented Reality）技術も実用段階に入りつつある。ＡＲ技術では、バーコード等の識別可能な特定の情報を認識し、その情報に紐付けて画像を生成する場合もある。

光学透過型ＨＭＤとテレビモニタとを併用し、テレビモニタにマーカを表示させてテレビモニタ自体をマーカとして利用することにより、その光学透過型ＨＭＤを装着するユーザに対し、テレビモニタが表示する映像に光学透過型ＨＭＤの映像を重ねて提示することが実現できる。一方で、テレビモニタにもコンテンツの再生画面を表示させることを考えると、マーカの提示によってコンテンツの世界観が損なわれてしまうことは、可能な限り避けることが望まれる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、コンテンツの世界観の維持とモニタ検出用マーカの提示との両立を図るための技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像解析装置である。この装置は、コンテンツを再生するコンテンツ再生部と、前記コンテンツの再生画面を表示中のモニタを含む映像を撮像する撮像素子が撮像した映像を取得する映像取得部と、前記映像取得部が取得した映像から前記モニタの位置を特定するモニタ特定部とを備える。ここで前記コンテンツ再生部は、前記モニタを観察するユーザには認識されない態様で表示されるマーカを含むコンテンツを再生し、前記モニタ特定部は、前記撮像素子が撮像した前記マーカを含む映像から特定したマーカをもとに、映像中における前記モニタの位置を特定する。

本発明の別の態様は、画像解析方法である。この方法は、ユーザには認識されない態様で表示されるマーカを含むコンテンツの再生画面を表示中のモニタを含む映像を取得するステップと、取得した映像に含まれるコンテンツの再生画面から前記マーカを特定するステップと、特定したマーカをもとに、映像中における前記モニタの位置を特定するステップとをプロセッサに実行させる。

本発明のさらに別の態様は、画像解析システムである。このシステムは、コンテンツを再生するコンテンツ再生部と、前記コンテンツの再生画面を表示するモニタと、前記モニタを含む映像を撮像する撮像素子と、前記撮像素子が撮像した、前記コンテンツの再生画面を表示中のモニタを含む映像を取得する映像取得部と、前記映像取得部が取得した映像から前記モニタの位置を特定するモニタ特定部とを備える。ここで前記コンテンツ再生部は、前記モニタ特定部にのみ認識されるようなマーカを含むコンテンツを再生し、前記モニタ特定部は、前記撮像素子が撮像した前記マーカを含む映像から特定したマーカをもとに、映像中における前記モニタの位置を特定する。

本発明のさらに別の態様は、上記の方法の各ステップをコンピュータに実現させるプログラムである。

このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、コンテンツの世界観の維持とモニタ検出用マーカの提示との両立を図るための技術を提供する提供することができる。

実施の形態に係る映像提示システムの全体構成を模式的に示す図である。 実施の形態に係る立体映像観察デバイスの外観の一例を模式的に示す図である。 実施の形態に係る画像解析の内部構成を模式的に示す図である。 実施の形態に係るモニタ特定部がマーカの特定に用いる特徴量の一例を表形式で示す図である。 実施の形態に係るコンテンツ再生部が再生する画像の種類と、そのときの光学シャッタのオンオフのタイミングを表形式で示す図である。 実施の形態に係る画像解析装置によるモニタ特定処理の流れを示すフローチャートである。

図１は、実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００は、立体映像観察デバイス２００、モニタ３００、および情報処理装置４００を含む。

モニタ３００は、コンテンツの再生画面の少なくとも一部を再生する。モニタ３００は一般的なテレビモニタを用いて実現できるが、フレームシーケンシャル方式で立体映像を表示する３次元モニタであることが好ましく、以下本明細書においては、モニタ３００は３次元モニタであることを前提とする。なお、３次元モニタは、２次元画像を表示する一般的なテレビモニタの機能も合わせ持つ。

人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。モニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。モニタ３００は、液晶テレビやプラズマディスプレイ、有機ＥＬモニタ等の既知の提示デバイスを用いて実現できる。

立体映像観察デバイス２００は、光学透過型ＨＭＤである。ここで立体映像観察デバイス２００は、モニタ３００を観察するための光学シャッタ（図示せず）を備えてもよい。光学シャッタはモニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。光学シャッタは、例えば既知の液晶シャッタを用いて実現できる。

立体映像観察デバイス２００は、シャッタ切替のための同期信号を受信する。同期信号は、モニタ３００または情報処理装置４００に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。

情報処理装置４００は、映像提示システム１００で提示するための立体映像や上述した同期信号を取得する。情報処理装置４００の例としては、例えば据置型のゲーム機や携帯ゲーム機等である。情報処理装置４００は内蔵するプロセッサを用いて立体映像や同期信号を生成したり、図示しないネットワークインタフェースを介して、サーバ等の他の情報処理装置から立体映像を取得したりする。

図２は、実施の形態に係る立体映像観察デバイス２００の外観の一例を模式的に示す図である。立体映像観察デバイス２００は、立体映像を提示する提示部２０２、撮像素子２０４、および種々のモジュールを収納する筐体２０６を含む。

提示部２０２は、ユーザの目に立体映像を提示する光学透過型ＨＭＤと、光学透過型ＨＭＤを透過する外界の光の透過率を変更する液晶シャッタとを含む。撮像素子２０４は、立体映像観察デバイス２００を装着するユーザの視野を含む領域にある被写体を撮像する。このため、撮像素子２０４は、立体映像観察デバイス２００をユーザが装着したとき、ユーザの眉間のあたりに配置されるように設置されている。撮像素子２０４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

筐体２０６は、めがね形状の立体映像観察デバイス２００におけるフレームの役割を果たすとともに、立体映像観察デバイス２００が利用する様々なモジュール（図示せず）を収納する。立体映像観察デバイス２００が利用するモジュールとは、光学透過型ＨＭＤを実現するためのホログラム導光板を含む光学エンジン、液晶シャッタを駆動するためのドライバや同期信号受信部、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、および照度センサ等である。これらのモジュールは例示であり、また立体映像観察デバイス２００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、立体映像観察デバイス２００が想定する利用シーンに応じて決定すればよい。

図２は、めがね型の立体映像観察デバイス２００を例示する図である。立体映像観察デバイス２００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の立体映像観察デバイス２００も本発明の実施の形態に含まれることは、当業者であれば容易に理解される。

図３は、実施の形態に係る画像解析装置５００の内部構成を模式的に示す図である。実施の形態に係る画像解析装置５００は、上述した情報処理装置４００の一部として実現される。あるいは、インターネット等のネットワークを介して情報処理装置４００に送信するための立体映像を生成するサーバ内に実現されてもよいし、立体映像観察デバイス２００やモニタ３００に内蔵されてもよい。あるいはさらに、画像解析装置５００は独立したひとつの装置であってもよい。以下では、実施の形態に係る画像解析装置５００は、上述した情報処理装置４００の一部として実現されることを前提に説明する。

実施の形態に係る画像解析装置５００は、映像取得部５０２、モニタ特定部５０４、およびコンテンツ再生部５０６を含む。

コンテンツ再生部５０６は、映画やゲーム、テレビ番組等のコンテンツを再生する。コンテンツ再生部５０６が再生するコンテンツの映像のうち、少なくとも一部の映像はモニタ３００に表示される。また、コンテンツ再生部５０６が再生するコンテンツの映像の一部は、立体映像観察デバイス２００中の光学透過型ＨＭＤに表示される。

例えば、コンテンツ再生部５０６が再生するコンテンツがゲームアプリケーションである場合、ゲームの映像のうち背景画像がモニタ３００に表示され、ユーザの操作対象となるキャラクタの映像やＡＲイメージ等が光学透過型ＨＭＤに表示される。

立体映像観察デバイス２００に備えられた撮像素子２０４は、コンテンツ再生部５０６が再生するコンテンツの再生画面を表示中のモニタ３００を含む映像を撮像する。映像取得部５０２は、撮像素子２０４が撮像した映像を取得する。モニタ特定部５０４は、映像取得部５０２が取得した映像中に映っているマーカを検出し、検出したマーカをもとにモニタ３００の位置を特定する。このため、コンテンツ再生部５０６は、モニタ特定部５０４がモニタ３００の特定に利用するためのマーカを、モニタ３００に表示させる。コンテンツ再生部５０６は、モニタ特定部５０４が特定したモニタ３００の位置をもとに、光学透過型ＨＭＤに表示されるモニタ３００上に３次元イメージを重ねて表示させる。

上述したとおり、モニタ３００はコンテンツ再生部５０６が再生するコンテンツの映像も表示するため、ユーザは、光学透過型ＨＭＤを介してモニタ３００を観察する。したがって、モニタ特定部５０４によるモニタ３００の特定を容易とする目的でコンテンツの映像と異なるマーカ用の画像を表示すると、コンテンツの世界観を損なうことになりかねず、場合によってはユーザが興ざめしてしまう可能性もある。

そこでコンテンツ再生部５０６は、モニタ３００を観察するユーザには認識されない態様で表示されるマーカをコンテンツに含めてを再生する。ここで、「ユーザには認識されない態様で表示」としては、コンテンツ再生部が再生するコンテンツに由来する映像を表示することによってユーザにはマーカであることを気づかせないように表示することと、ユーザの視界を遮蔽している間に撮像素子２０４にのみマーカを提示することとの、ふたつの表示方法が考えられる。以下、コンテンツ再生部５０６が再生するコンテンツに由来する映像を表示する方法と、撮像素子２０４にのみマーカを提示する方法とについて順に説明する。

まず、コンテンツ再生部５０６が再生するコンテンツに由来する映像をマーカとして表示することについて説明する。

モニタ特定部５０４は、テンプレートマッチングやＤＰ（Dynamic Programming）マッチング、エッジ等の特徴量解析など、既知のパターンマッチング手法を用いて映像中のマーカを特定する。したがって、映像中の所定の構造物を特定するために用いられるマーカは、映像においてなるべく変化の少ない画像であることが好ましい。

一般に、ゲームコンテンツの映像は、ユーザの操作対象となるキャラクタや敵キャラ等、映像中を動き回るキャラクタ画像と、動きによる変化が比較的少ない背景画像とに分類できる。したがって、コンテンツに由来する映像をマークとする例として、ゲームコンテンツにおける背景画像をマーカとすることが挙げられる。

モニタ特定部５０４は、マーカとなる背景画像を取得し、背景画像から取得した画像中に含まれる構造物のエッジや輪郭、コーナー、配色等の特徴量を抽出する。図４は、実施の形態に係るモニタ特定部５０４がマーカの特定に用いる特徴量の一例を表形式で示す図である。モニタ特定部５０４は背景画像を解析して、背景画像中のどの位置にどのような特徴量が存在するかを管理する。図４に示す例では、タイプ１は構造物のコーナー（角の点）が、画像中の点（Ｘ_１，Ｙ_１）に存在することを示している。モニタ特定部５０４は、映像取得部５０２から新たに取得した映像を解析し、その映像中に上記の特徴量を含むか否かを調べることで、新たに取得した映像からマーカとなる背景画像を特定する。なお、特徴量は画像解析装置５００内の図示しない記録部に保存される。

ところで、背景画像は映像中を動き回るキャラクタ画像と比較すると動きによる変化が少ないといえども、通常、ゲームの進行にしたがって少しずつ変化する。そこで、モニタ特定部５０４は、ひとたび抽出した特徴点の差分情報も管理する。具体的には、モニタ特定部５０４は、背景画像の変化に伴う各特徴点の平行移動量や、特徴量が回転した場合にはその回転角も管理する。また、特徴量の存在位置によっては背景画像の移動によって消失する場合もあるため、各特徴量が現在有効か否かも管理する。これにより、特徴量の抽出のもととなった背景画像が変化したとしても、特徴量をもとにしてマーカとなる背景画像を特定することができる。また、ゲームコンテンツの背景そのものをマーカとしてモニタ３００を特定するため、ユーザにマーカを意識させることがなく、ゲームの世界観を損なうことを防止できる。

次に、ユーザの視界を遮蔽している間に撮像素子２０４にのみマーカを提示することについて説明する。

上述したとおり、モニタ３００はフレームシーケンシャル方式の３次元モニタであり、光学透過型ＨＭＤはフレームシーケンシャル方式の３次元モニタの観察に用いる光学シャッタを備えている。そこでコンテンツ再生部５０６は、光学透過型ＨＭＤを通して実空間を観察するユーザの視界を光学シャッタが遮蔽している間に、モニタ特定部５０４がモニタ３００の位置を特定するために利用するマーカをモニタ３００に表示させる。

図５は、実施の形態に係るコンテンツ再生部５０６が再生する画像の種類と、そのときの光学シャッタのオンオフのタイミングを表形式で示す図である。

上述したとおり、モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタをオンして右目の視野を遮蔽するとともに左目用のシャッタをオフとし、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。また、モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタをオンして左目の視野を遮蔽するとともに右目用のシャッタをオフとし、ユーザに右目用の視差画像を提示する。左目用の視差画像と右目用の視差画像を表示した後に、モニタ３００は、３番目の画像としてマーカのための画像を表示する。この時、光学シャッタは両目ともオンとなってユーザの視界を遮蔽する。

このように、モニタ３００が左目用の視差画像、右目用の視差画像、およびマーカ画像を変更しながら順番に提示し、光学シャッタのオンオフ制御を画像の提示に同期させることにより、モニタ３００を用いてユーザに立体映像を提示しつつ、ユーザに認識されないように撮像素子２０４だけにマーカ画像を提示することができる。ユーザはマーカ画像を見ることがないため、ゲームの世界観を損なうことを防止できる。

ところで、ゲームの映像のうち背景画像がモニタ３００に表示され、ユーザの操作対象となるキャラクタの映像が光学透過型ＨＭＤに表示されるような場合、コンテンツ再生部５０６は、モニタ特定部５０４が特定したモニタ３００の位置をもとに映像を表示する。このため、例えばユーザの視線がモニタ３００からはずれる等の原因によってモニタ特定部５０４によるモニタ３００の位置特定ができなくなったとすると、コンテンツ再生部５０６は光学透過型ＨＭＤに適切に映像を表示できなるなる。そこで、モニタ特定部５０４がマーカの特定に失敗した場合、コンテンツ再生部５０６はコンテンツの再生を一旦停止する。その後、モニタ特定部５０４がマーカの特定に成功すれば、コンテンツ再生部５０６はコンテンツの再生を再開する。

また、モニタ特定部５０４がマーカの特定に失敗することによってコンテンツの再生を一旦停止する場合、コンテンツ再生部５０６は、モニタの特定に失敗したことを示すメッセージを光学透過型ＨＭＤに表示させる。これにより、ユーザはゲームの進行が中断することが分かる。ユーザは、例えばゲーム以外になすべき別の所用が発生したのであれば、ゲームの進行を中断したまま所用を済ませればよい。また、ゲームを継続することを望むのであれば、立体映像観察デバイス２００の撮像素子２０４をモニタ３００の方向に向けることで、モニタ特定部５０４がモニタを特定できるようにしてもよい。

図６は、実施の形態に係る画像解析装置５００によるモニタ特定処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えば画像解析装置５００の電源が投入されたときに開始する。

コンテンツ再生部５０６は、コンテンツを再生する（Ｓ２）。モニタ３００は、コンテンツ再生部５０６が再生したコンテンツの再生映像を表示する（Ｓ４）。撮像素子２０４は、コンテンツの再生映像を表示するモニタ３００を含む映像を撮像する（Ｓ６）。

モニタ特定部５０４は、映像取得部５０２が取得した撮像素子２０４の映像中から、モニタ３００を特定するためのマーカの検出を試みる（Ｓ８）。モニタ特定部５０４がマーカの検出に失敗した場合（Ｓ１０のＮ）、コンテンツ再生部５０６は再生中のコンテンツを一時停止する（Ｓ１２）。コンテンツ再生部５０６はまた、モニタの特定に失敗したことを示すメッセージを、ユーザが装着している光学透過型ＨＭＤに表示させる（Ｓ１４）。コンテンツ再生部５０６が光学透過型ＨＭＤにメッセージを表示させた後、ステップＳ６に戻って上述の処理を繰り返す。

モニタ特定部５０４がマーカの検出に成功した場合（Ｓ１０のＹ）、モニタ特定部５０４は、検出したマーカをもとに映像中におけるモニタ３００の位置を特定する（Ｓ１６）。モニタ特定部５０４がモニタ３００の位置を特定したとき、コンテンツが一時停止されている場合（Ｓ１８のＹ）、コンテンツ再生部５０６はコンテンツの再生を再開する（Ｓ２０）。コンテンツが一時停止されていない場合（Ｓ１８のＮ）、コンテンツ再生部５０６はコンテンツの再生を継続する。コンテンツが一時停止されていない場合か、あるいはコンテンツ再生部５０６はコンテンツの再生を再開すると、本フローチャートにおける処理は終了する。

以上の構成による映像提示システム１００の利用シーンは以下のとおりである。ユーザが立体映像観察デバイス２００を装着してモニタ３００を観察すると、撮像素子２０４は、コンテンツ再生部５０６によってユーザには認識されない態様で表示されるマーカを撮像する。モニタ特定部５０４は、マーカを検出することで映像中に存在するモニタ３００の位置を特定する。

以上説明したように、実施の形態に係る映像提示システム１００によれば、コンテンツの世界観の維持とモニタ検出用マーカの提示との両立を図るための技術を提供することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（第１の変形例）
上記では、モニタ３００にマーカ画像を表示させて、映像中のモニタ３００の位置を特定する場合について説明した。ひとたびモニタ３００の位置特定が成功した後は、モニタに表示させる画像以外の情報をマーカとしてもよい。具体的には、例えばモニタ３００の位置特定が成功した後は、モニタ３００のフレームを検出用マーカとしてもよい。モニタのフレームは時間による変化がないため、より精度よくモニタ３００を特定することが期待できる。

（第２の変形例）
上記では、モニタ３００にマーカ画像を表示させて、映像中のモニタ３００の位置を特定する場合について説明した。ここで、光学透過型ＨＭＤの光学シャッタを制御するためのシャッタ制御信号が赤外光を介して送信される場合、シャッタ制御信号の出力部をモニタ３００のフレームに設けてその赤外光を検出することにより、モニタ３００の位置を特定することもできる。

撮像素子２０４を実現するためのＣＣＤ等の撮像素子は、一般に赤外光も撮像することができる。赤外光は可視光ではないため、ユーザの目に観測されることはほとんどない。したがって、モニタ３００のフレームから発信される赤外光の発信源を特定すれば、モニタ３００のフレームを特定するための有力な手がかりとなる。一般的な撮像素子には赤外線遮断シートが取り付けられていることが多いが、撮像素子２０４には赤外線遮断シートを取り付けないことが好ましい。これにより、赤外光であるシャッタ制御信号をより検出しやすくすることができる。

（第３の変形例）
上記では、モニタ３００表示されたマーカ画像から特徴量を直接抽出する場合について説明した。これに代えて、コンテンツ再生部５０６は、コンテンツの再生映像に例えば既知のデジタル指紋や電子透かしを埋め込んでもよい。これにより、ユーザにとっては埋め込まれた情報を視認することは困難であるが、モニタ特定部５０４は特定の検出処理を実行することによってマーカを検出することができる。

（第４の変形例）
上記では、図５を参照して光学シャッタのオンオフを制御について説明したが、光学シャッタのオンオフのタイミングは図５に示すパターンに限られない。例えば、図５に示すパターンに対してマーカ画像を表示する頻度を少なくしてもよい。これにより、コンテンツの映像とマーカ画像とが混ざって表示されるクロストークの影響を小さくすることができる。

また図５はモニタ３００が３次元映像を表示する場合の例を示すが、モニタ３００は通常の２次元映像を表示するものであってもよい。この場合、コンテンツ再生部５０６は、コンテンツの映像とマーカ画像とを時分割で交互に表示するか、あるいはコンテンツの映像フレームを所定枚数表示した後に、マーカ画像をモニタ３００に表示させてもよい。立体映像観察デバイス２００の光学シャッタは、モニタ３００がマーカ画像を表示している間だけシャッタをオンとして、ユーザの視界を遮蔽することで、ユーザにはマーカ画像を知覚させずにモニタ３００にマーカ画像を表示することができる。

１００ 映像提示システム、 ２００ 立体映像観察デバイス、 ２０２ 提示部、 ２０４ 撮像素子、 ２０６ 筐体、 ３００ モニタ、 ４００ 情報処理装置、 ５００ 画像解析装置、 ５０２ 映像取得部、 ５０４ モニタ特定部、 ５０６ コンテンツ再生部。

Claims (10)

1. コンテンツを再生するコンテンツ再生部と、
   前記コンテンツの再生画面を表示中のモニタを含む映像を撮像する撮像素子が撮像した映像を取得する映像取得部と、
   前記映像取得部が取得した映像から前記モニタの位置を特定するモニタ特定部とを備え、
   前記コンテンツ再生部は、前記モニタを観察するユーザには認識されない態様で表示されるマーカを含むコンテンツを再生し、
   前記モニタ特定部は、前記撮像素子が撮像した前記マーカを含む映像から特定したマーカをもとに、映像中における前記モニタの位置を特定することを特徴とする画像解析装置。
2. 前記モニタ特定部は、前記コンテンツ再生部が再生するコンテンツに由来する映像をマーカとして、前記モニタの位置を特定することを特徴とする請求項１に記載の画像解析装置。
3. 前記コンテンツ再生部が再生するコンテンツがゲームコンテンツの場合、前記モニタ特定部は、前記ゲームコンテンツの背景画面をマーカとして前記モニタの位置を特定することを特徴とする請求項１または２に記載の画像解析装置。
4. 前記モニタ特定部がマーカの特定に失敗した場合、前記コンテンツ再生部はコンテンツの再生を停止することを特徴とする請求項１から３のいずれかに記載の画像解析装置。
5. 前記撮像素子は、前記コンテンツによって生成された仮想的な３次元空間における３次元イメージを実空間中に投影した場合に観察される映像を提示する光学透過型ＨＭＤに備えられており、
   前記コンテンツ再生部は、前記モニタ特定部が特定したモニタの位置をもとに、前記光学透過型ＨＭＤに表示される前記モニタ上に重ねて表示させる３次元イメージを生成することを特徴とする請求項１から４のいずれかに記載の画像解析装置。
6. 前記コンテンツの再生画面を表示するモニタはフレームシーケンシャル方式の３次元モニタであり、かつ前記光学透過型ＨＭＤはフレームシーケンシャル方式の３次元モニタの観察に用いる光学シャッタを備えており、
   前記コンテンツ再生部は、前記光学透過型ＨＭＤを通して実空間を観察するユーザの視界を前記光学シャッタが遮蔽している間に、前記モニタ特定部が前記モニタの位置を特定するために利用するマーカを前記モニタに表示させることを特徴とする請求項５に記載の画像解析装置。
7. 前記モニタ特定部が前記マーカの特定に失敗した場合、前記コンテンツ再生部は、モニタの特定に失敗したことを示すメッセージを前記光学透過型ＨＭＤに表示させることを特徴とする請求項５または６に記載の画像解析装置。
8. ユーザには認識されない態様で表示されるマーカを含むコンテンツの再生画面を表示中のモニタを含む映像を取得するステップと、
   取得した映像に含まれるコンテンツの再生画面から前記マーカを特定するステップと、
   特定したマーカをもとに、映像中における前記モニタの位置を特定するステップとをプロセッサに実行させることを特徴とする画像解析方法。
9. ユーザには認識されない態様で表示されるマーカを含むコンテンツの再生画面を表示中のモニタを含む映像を取得する機能と、
   取得した映像に含まれるコンテンツの再生画面から前記マーカを特定する機能と、
   特定したマーカをもとに、映像中における前記モニタの位置を特定する機能とをコンピュータに実現させることを特徴とするプログラム。
10. コンテンツを再生するコンテンツ再生部と、
    前記コンテンツの再生画面を表示するモニタと、
    前記モニタを含む映像を撮像する撮像素子と、
    前記撮像素子が撮像した、前記コンテンツの再生画面を表示中のモニタを含む映像を取得する映像取得部と、
    前記映像取得部が取得した映像から前記モニタの位置を特定するモニタ特定部とを備え、
    前記コンテンツ再生部は、前記モニタを観察するユーザには認識されない態様で表示されるマーカを含むコンテンツを再生し、
    前記モニタ特定部は、前記撮像素子が撮像した前記マーカを含む映像から特定したマーカをもとに、映像中における前記モニタの位置を特定することを特徴とする画像解析システム。

Images