JP2017123589A - 情報処理装置、情報処理方法および映像投影システム - Google Patents

Abstract

【課題】映像投影システムにおいて、被投影面上における映像の欠落を少なくする。【解決手段】情報処理装置２００は、投影装置（プロジェクタ３００）と投影装置から投影画像が投影される被投影面との間に存在するオブジェクトの位置に関する情報を含む第一の情報を取得する取得手段を備える。また、情報処理装置２００は、第一の情報に基づいて、被投影面上に、オブジェクトにより投影画像が遮蔽された遮蔽領域が存在するか否かを判定する判定手段と、遮蔽領域が存在すると判定された場合に、オブジェクトにより遮蔽されずに投影画像が遮蔽領域に投影されるような投影装置の投影範囲に関する情報を含む第二の情報を決定する決定手段と、を備える。さらに、情報処理装置２００は、第二の情報を投影装置に出力する出力手段を備える。【選択図】 図８

Description

本発明は、投影装置を用いて被投影面に映像を投影するための情報処理装置、情報処理方法および映像投影システムに関する。

従来、天井などの室内上部に複数のプロジェクタを配置し、これら複数のプロジェクタから壁面や床面に映像を投影する映像投影システムが知られている。このような映像投影システムでは、視聴者に対して臨場感のある映像やゲームを提供することができる。
特許文献１には、可動深度カメラを用いて室内の３次元モデルを生成し、生成した３次元モデルに応じた映像を投影するシステムが開示されている。このシステムでは、視聴者の動きをリアルタイムに追跡し、視聴者の動きに応じて投影内容を変化させる。

米国特許第８５７０３２０号明細書

ところで、プロジェクタから被投影面へ映像を投影する場合、被投影面が視聴者の陰となり、視聴者の視界内において被投影面上の表示画像の一部が欠落してしまう場合がある。
特許文献１に記載の技術では、視聴者の動きに応じて投影内容を変化させることはできても、上記のような視聴者の陰となる領域には映像を表示することができない。そのため、プロジェクタから被投影面へ向けて臨場感の高い映像を投影しても、被投影面において適切に映像が表示されず没入感が阻害されてしまう。
そこで、本発明は、映像投影システムにおいて、被投影面上における映像の欠落を少なくすることを目的としている。

本発明に係る情報処理装置の一態様は、投影装置と前記投影装置から投影画像が投影される被投影面との間に存在するオブジェクトの位置に関する情報を含む第一の情報を取得する取得手段と、前記取得手段により取得された前記第一の情報に基づいて、前記被投影面上に、前記オブジェクトにより前記投影画像が遮蔽される遮蔽領域が存在するか否かを判定する判定手段と、前記判定手段により前記遮蔽領域が存在すると判定された場合に、前記オブジェクトにより遮蔽されずに前記投影画像が前記遮蔽領域に投影されるような前記投影装置の投影範囲に関する情報を含む第二の情報を決定する決定手段と、前記決定手段により決定された第二の情報を前記投影装置に出力する出力手段と、を備える。

本発明によれば、映像投影システムにおいて、被投影面上における映像の欠落を少なくすることができる。

映像投影システムの構成例である。 情報処理装置の構成を示すブロック図である。 情報処理装置のハードウェア構成図である。 プロジェクタの構成を示すブロック図である。 プロジェクタの動作を説明するためのフローチャートである。 プロジェクタの配置例を示す図である。 第一の実施形態における装置間の情報の流れを示すシーケンス図である。 第一の実施形態における動作を説明する図である。 第二の実施形態における情報処理装置の構成を示すブロック図である。 第二の実施形態における動作を説明する図である。 第二の実施形態における装置間の情報の流れを示すシーケンス図である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
（第一の実施形態）
図１は、本実施形態における情報処理装置を備える映像投影システムの構成例である。本実施形態では、映像投影システムとして、天井などの室内上部に複数の投影装置（プロジェクタ）を配置し、これら複数のプロジェクタから被投影面（室内の壁面や床面）に映像（静止画像も含む）を投影するシステムについて説明する。
映像投影システム１００は、情報処理装置２００と、プロジェクタ３００とを備える。情報処理装置２００は、プロジェクタ３００の位置や投影範囲を制御したり、プロジェクタ３００が投影する映像コンテンツを制御したりする投影映像制御部である。情報処理装置２００は、図１に示すように、プロジェクタ３００に対してプロジェクタ情報や映像コンテンツを出力する。ここで、プロジェクタ情報は、プロジェクタ３００の位置や投影範囲に関する情報を含む。プロジェクタ３００の投影範囲に関する情報とは、プロジェクタ３００の姿勢に関する情報である。

プロジェクタ３００は、情報処理装置２００に対して視聴者情報を出力する。ここで、視聴者情報は、プロジェクタ３００と被投影面との間に存在し、プロジェクタ３００から投影され被投影面に表示される表示画像を視聴する視聴者（人物）の位置や姿勢（顔の向き）に関する情報を含む。また、視聴者情報は、被投影面に投影される投影画像を視聴者が遮っているかどうかを示す情報（遮蔽情報）を含んでいてもよい。遮蔽情報とは、換言すると、被投影面上に、視聴者の影に相当する領域（遮蔽領域）が存在するか否かを示す情報である。なお、本実施形態では、人物が映像と音声を知覚している場合の例を中心に説明するが、音声は出力されなくてもよい。

また、図１において、プロジェクタ３００は、情報処理装置２００に対して１台のみ接続されているが、プロジェクタ３００の接続台数は図１に示す数に限定されない。本実施形態では、情報処理装置２００に複数のプロジェクタ３００を接続するものとする。この場合、情報処理装置２００とプロジェクタ３００との間で入出力される情報は、各プロジェクタ３００に固有の情報となる。
図２は、情報処理装置２００の構成を示すブロック図である。情報処理装置２００は、視聴者情報入力部２１１と、プロジェクタ情報算出部２１２（以下、情報算出部２１２）と、プロジェクタ情報出力部２１３（以下、情報出力部２１３）とを備える。また、情報処理装置２００は、映像コンテンツ入力部２２１（以下、映像入力部２２１）と、映像コンテンツ分割部２２２（以下、映像分割部２２２）と、映像コンテンツ出力部２２３（以下、映像出力部２２３）とを備える。

視聴者情報入力部２１１は、プロジェクタ３００から視聴者情報を入力する。情報算出部２１２は、視聴者情報入力部２１１から入力された視聴者情報に基づいて、プロジェクタ情報を算出する。具体的には、情報算出部２１２は、視聴者情報に含まれる遮蔽情報に基づいて、プロジェクタ３００からの投影画像が視聴者によって遮られていないと判定した場合、プロジェクタ３００の現在の位置および姿勢をそのまま採用してプロジェクタ情報を算出する。一方、情報算出部２１２は、プロジェクタ３００からの投影画像が視聴者によって遮られていると判定した場合には、視聴者により遮蔽されずに投影画像が被投影面上の遮蔽領域に投影されるようなプロジェクタ情報を算出する。つまり、情報算出部２１２は、被投影面に表示される表示画像内に視聴者の影に相当する領域が存在しないように、プロジェクタ３００の位置および姿勢（少なくとも姿勢（投影範囲））を算出する。情報出力部２１３は、情報算出部２１２によって算出されたプロジェクタ情報をプロジェクタ３００へ出力する。
映像入力部２２１は、外部装置からオリジナルの映像コンテンツを入力する。映像分割部２２２は、映像入力部２２１から入力された映像コンテンツを、複数のプロジェクタ３００からそれぞれ投影する映像コンテンツに分割する。映像出力部２２３は、映像分割部２２２によって分割された映像コンテンツをそれぞれ対応するプロジェクタ３００へ出力する。

図３は、情報処理装置２００のハードウェア構成を示す図である。情報処理装置２００は、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、外部メモリ２４と、通信Ｉ／Ｆ２５と、システムバス２６とを備える。ＣＰＵ２１は、情報処理装置２００における動作を統括的に制御するものであり、システムバス２６を介して、各構成部（２２〜２５）を制御する。ＲＯＭ２２は、ＣＰＵ２１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ２４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ２３は、ＣＰＵ２１の主メモリ、ワークエリアとして機能する。つまり、ＣＰＵ２１は、処理の実行に際してＲＯＭ２２から必要なプログラムをＲＡＭ２３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。

外部メモリ２４は、ＣＰＵ２１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ２４には、ＣＰＵ２１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶される。通信Ｉ／Ｆ２５は、外部装置（プロジェクタ３００など）と通信するためのインターフェースである。システムバス２６は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、外部メモリ２４および通信Ｉ／Ｆ２５を通信可能に接続する。
図２に示す情報処理装置２００の各部の機能は、ＣＰＵ２１がプログラムを実行することで実現することができる。ただし、図２に示す情報処理装置２００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ２１の制御に基づいて動作する。

図４は、プロジェクタ３００の構成を示すブロック図である。プロジェクタ３００は、撮像部３１１と、視聴者検出部３１２と、視聴者情報出力部３１３（以下、情報出力部３１３）と、プロジェクタ情報入力部３２１と、プロジェクタ位置制御部３２２（以下、位置制御部３２２）と、を備える。さらに、プロジェクタ３００は、映像コンテンツ入力部３３１（以下、映像入力部３３１）と、映像コンテンツ変形部（以下、映像変形部３３２）と、投影部３３３と、を備える。
撮像部３１１は、プロジェクタ３００の投影範囲およびその周辺を撮像する。撮像部３１１の撮像領域は、プロジェクタ情報に基づいて決定することができる。視聴者検出部３１２は、撮像部３１１の撮像画像に基づいて、視聴者を検出すると共に、視聴者の位置および姿勢を検出する。また、視聴者検出部３１２は、視聴者の位置および姿勢に基づいて、被投影面に投影される投影画像を視聴者が遮っているかどうか、より具体的には、視聴者の視界に入る被投影面に投影される投影画像を視聴者が遮っているかどうかを検出する。そして、視聴者検出部３１２は、これらの検出結果をもとに視聴者情報を生成する。情報出力部３１３は、視聴者検出部３１２によって生成された視聴者情報を、情報処理装置２００へ出力する。

プロジェクタ情報入力部３２１は、情報処理装置２００から出力されたプロジェクタ情報を入力し、入力したプロジェクタ情報を撮像部３１１および位置制御部３２２へ出力する。位置制御部３２２は、プロジェクタ情報入力部３２１から入力されたプロジェクタ情報に基づいて、プロジェクタ３００の位置および姿勢を制御する。また、位置制御部３２２は、プロジェクタ情報入力部３２１から入力されたプロジェクタ情報を映像変形部３３２に出力する。
映像入力部３３１は、情報処理装置２００から投影用の映像コンテンツを入力し、入力した映像コンテンツを映像変形部３３２に出力する。映像変形部３３２は、映像入力部３３１が出力した映像コンテンツを、位置制御部３２２が出力したプロジェクタ情報をもとに変形処理し、被投影面上で歪みのない表示画像となるように投影画像を生成する。投影部３３３は、映像変形部３３２によって変形処理された映像コンテンツ（投影画像）を入力し、入力した映像コンテンツ（投影画像）を被投影面に投影する。

図４に示す各要素は、それぞれ専用のハードウェアとしてプロジェクタ３００を構成することができる。この場合、プロジェクタ３００のＣＰＵの制御に基づいて、図４の各要素が別個のハードウェアとして動作する。ただし、図４に示す各要素の少なくとも一部の機能が上記のＣＰＵによって実行されてもよい。
なお、本実施形態では、プロジェクタ３００が撮像部３１１を備え、視聴者情報を生成する場合について説明するが、撮像部３１１の撮像画像をもとに視聴者情報を生成する視聴者検出部３１２は、情報処理装置２００が備えていてもよい。また、視聴者の姿勢を検出するための撮像部は、プロジェクタ３００に内蔵される撮像部とは別に専用で設けてもよい。この場合、視聴者の顔の向きをより適切に検出することができるので、視聴者の視界をより適切に把握することができる。さらに、視聴者が複数存在する場合は、視聴者ごとに姿勢を検出する専用の撮像部を設けてもよい。

次に、プロジェクタ３００の動作について、図５を参照しながら説明する。なお、本実施形態では、上述したように、図４で示す各要素がそれぞれ専用のハードウェアとして動作することで、図５の処理が実行される場合の例を中心に説明する。ただし、図４の各要素の少なくとも一部の機能が、プロジェクタ３００のＣＰＵにより実現されるようにしてもよい。この図５の処理は、例えばプロジェクタ３００が起動されたときに開始される。ただし、図５の処理の開始タイミングは、上記のタイミングに限らない。
まずＳ１において、撮像部３１１は、プロジェクタ情報入力部３２１からプロジェクタ情報の初期値を入力する。Ｓ２では、撮像部３１１は、プロジェクタ情報に基づいて、プロジェクタ３００の投影範囲およびその周辺を撮像する。Ｓ３では、視聴者検出部３１２は、Ｓ２において撮像された画像をもとに視聴者情報を生成し、情報出力部３１３は、視聴者検出部３１２により生成された視聴者情報を情報処理装置２００へ出力する。このとき、情報処理装置２００へ出力される視聴者情報には、視聴者の位置および姿勢に関する情報と、プロジェクタ３００の投影画像が視聴者によって遮られていないかどうかを示す遮蔽情報とが含まれる。

次にＳ４において、プロジェクタ情報入力部３２１は、Ｓ３において情報出力部３１３が出力した視聴者情報をもとに情報処理装置２００が算出したプロジェクタ情報を入力する。また、映像入力部３３１は、情報処理装置２００がプロジェクタ情報をもとに生成した投影用の映像コンテンツを入力する。Ｓ５では、位置制御部３２２は、Ｓ４において入力されたプロジェクタ情報に基づいてプロジェクタ３００の位置および姿勢を移動する。
Ｓ６では、映像変形部３３２は、Ｓ４において入力された映像コンテンツに対して、Ｓ４において入力されたプロジェクタ情報をもとに変形処理を行う。Ｓ７では、投影部３３３は、Ｓ６において映像変形部３３２が変形処理した映像コンテンツを投影範囲に投影する。Ｓ８では、プロジェクタ３００は、映像コンテンツが終了であるか否かを判定し、終了である場合は投影を終了し、映像コンテンツの投影が継続される場合はＳ２に戻る。

次に、情報処理装置２００と複数のプロジェクタ３００との間の情報の流れについて詳細に説明する。以下の説明では、図６に示すように、４台のプロジェクタ３００（３００Ａ〜３００Ｄ）が壁面を被投影面として画像を投影する場合について説明する。プロジェクタ３００Ａ、３００Ｂ、３００Ｃおよび３００Ｄの投影範囲は、各々Ａ、Ｂ、Ｃ、Ｄと表示された位置である。
図７に示すように、先ずＳ１１において、情報処理装置２００は、プロジェクタ３００Ａ〜３００Ｄに対してそれぞれプロジェクタ情報を出力する。このとき、プロジェクタ３００Ａ〜３００Ｄは、プロジェクタの位置と投影範囲（例えば、図６のＡ〜Ｄ）とに関する情報を取得する。

次にＳ１２において、プロジェクタ３００Ａ〜３００Ｄは、それぞれ情報処理装置２００から入力されたプロジェクタ情報に基づいて位置および姿勢を移動する。そして、Ｓ１３において、プロジェクタ３００Ａ〜３００Ｄは、各々の投影範囲およびその周辺を撮像し、撮像画像を解析する。このとき、図８（ａ）に示すように、プロジェクタ３００Ｂの投影範囲Ｂ近傍に投影範囲Ａ〜Ｄを視界に入れた視聴者Ｐが存在し、プロジェクタＢからの投影画像の一部が視聴者Ｐによって遮られているものとする。この場合、被投影面上における投影範囲Ｂ内には、視聴者Ｐの影に相当する遮蔽領域が存在することになる。また、この場合、プロジェクタ３００Ｂの撮像部３１１は視聴者Ｐを撮像し、プロジェクタ３００Ｂの視聴者検出部３１２は、視聴者Ｐの位置および姿勢を検出して視聴者情報を生成する。なお、撮像画像をもとに視聴者が検出されなかった場合、視聴者情報は、視聴者が存在しないことを示す情報を含んでもよい。そして、Ｓ１４では、プロジェクタ３００Ａ〜３００Ｄは、それぞれ撮像部３１１の撮像画像をもとに生成された視聴者情報を情報処理装置２００に出力する。

すると情報処理装置２００は、Ｓ１５において、入力された視聴者情報に基づいて、投影範囲Ａ〜Ｄ内に視聴者Ｐの影に相当する遮蔽領域が存在しないようにプロジェクタ３００Ａ〜３００Ｄの位置および姿勢をそれぞれ算出する。図８（ａ）に示す例の場合、情報処理装置２００は、視聴者Ｐにより遮蔽されずにプロジェクタ３００Ｂの投影画像が投影範囲Ｂ内に存在する遮蔽領域に投影されるように、プロジェクタ３００Ａ〜３００Ｄの位置および姿勢をそれぞれ算出する。そして、Ｓ１６において、情報処理装置２００は、Ｓ１５において算出した新たなプロジェクタの位置および姿勢に関する情報を含むプロジェクタ情報を、プロジェクタ３００Ａ〜３００Ｄにそれぞれ出力する。なお、プロジェクタ３００Ａ〜３００Ｄから入力されるすべての視聴者情報に、視聴者が検出されていないことを示す情報が含まれる場合、プロジェクタ３００Ａ〜３００Ｄの位置および姿勢を移動させる必要がないため、プロジェクタ情報は変化しない。

プロジェクタ３００Ａ〜３００Ｄは、情報処理装置２００からプロジェクタ情報を入力すると、Ｓ１７において、入力されたプロジェクタ情報に基づいて位置および姿勢を移動する。このとき、プロジェクタ３００Ａ〜３００Ｄは、図８（ａ）に示す位置から図８（ｂ）に示す位置に移動し、各々の投影範囲Ａ、Ｂ、Ｃ、Ｄが、例えば投影範囲Ａ’、Ｂ’、Ｃ’、Ｄ’に変更されるように姿勢（投影レンズの向きや位置）が変化する。
なお、上記の例ではプロジェクタ３００Ａ〜３００Ｄの位置を移動する場合について説明しているが、プロジェクタ３００Ａ〜３００Ｄの姿勢のみを移動させてもよい。例えば、プロジェクタ３００Ｄが投影範囲Ｂに視聴者Ｐの影ができないように投影画像を投影できる場合には、プロジェクタ３００Ｄから投影範囲Ｂに投影画像を投影するようにプロジェクタ３００Ｄの姿勢を移動してもよい。ただし、この場合、投影範囲Ｄには、別のプロジェクタから投影画像を投影するようにする。

情報処理装置２００は、Ｓ１８において、Ｓ１６において算出された新たなプロジェクト情報に基づいて変化した投影範囲Ａ’〜Ｄ’に対応する映像コンテンツを生成する。そして、情報処理装置２００は、Ｓ１９において、生成した映像コンテンツをプロジェクタ３００Ａ〜３００Ｄへそれぞれ出力する。
プロジェクタ３００Ａ〜３００Ｄは、それぞれ情報処理装置２００から映像コンテンツを入力すると、Ｓ２０において、入力した映像コンテンツを変形処理する。そして、プロジェクタ３００Ａ〜３００Ｄは、Ｓ２１において、変形処理された映像コンテンツを投影部３３３から投影範囲Ａ’〜Ｄ’に投影する。これにより、プロジェクタ３００Ａ〜３００Ｄの投影画像は、図８（ｂ）に示すように、いずれも視聴者Ｐに遮られることなく適切に被投影面の投影範囲Ａ’〜Ｄ’に投影される。つまり、視聴者Ｐの視界内において、被投影面に表示される表示画像が欠落することなく適切に表示される。

Ｓ２２においては、プロジェクタ３００Ａ〜３００Ｄは、図８（ｂ）に示す新たな配置位置において、投影範囲（Ａ’〜Ｄ’）およびその周辺を再び撮像する。そして、プロジェクタ３００Ａ〜３００Ｄは、Ｓ１３と同様に撮像画像を解析し、視聴者情報を生成する。Ｓ２３では、プロジェクタ３００Ａ〜３００Ｄは、Ｓ１４と同様に、視聴者情報を情報処理装置２００に出力する。以降、Ｓ１５〜Ｓ２３の動作をフレーム毎に行う。
このように、情報処理装置２００は、投影装置と投影装置から投影画像が投影される被投影面との間に存在するオブジェクトの位置に関する情報を含む第一の情報を取得する。本実施形態において、上記投影装置はプロジェクタ３００である。ここで、第一の情報は、オブジェクトの姿勢に関する情報をさらに含んでいてもよい。本実施形態において、上記オブジェクトは、投影画像によって被投影面に表示される表示画像を視聴する視聴者である。つまり、情報処理装置２００は、第一の情報として、視聴者の位置に関する情報と視聴者の姿勢に関する情報とを取得することができ、第一の情報を視聴者情報として取得することができる。ただし、上記オブジェクトは、視聴者以外の人物であってもよいし、人物以外の物（視聴者が持っている物、床に置いてある物など）であってもよい。

そして、情報処理装置２００は、第一の情報に基づいて、被投影面上に、オブジェクトにより投影画像が遮蔽された遮蔽領域が存在するか否かを判定する。また、情報処理装置２００は、遮蔽領域が存在すると判定された場合に、オブジェクトにより遮蔽されずに投影画像が遮蔽領域に投影されるような投影装置の投影範囲に関する情報を含む第二の情報を決定し、第二の情報を投影装置に出力する。ここで、第二の情報は、投影装置の位置に関する情報をさらに含んでいてもよい。このとき、情報処理装置２００は、オブジェクトの姿勢に関する情報として、視聴者の顔の向きに関する情報を取得し、視聴者の視界に入る被投影面上に、遮蔽領域が存在するか否かを判定することができる。つまり、情報処理装置２００は、視聴者の視界に入る被投影面上に遮蔽領域が存在しないような第二の情報を決定することができる。
つまり、情報処理装置２００は、視聴者情報に基づいて、第二の情報としてプロジェクタ３００の位置および姿勢に関する情報を含むプロジェクタ情報を決定する。そして、情報処理装置２００は、決定されたプロジェクタ情報をプロジェクタ３００へ出力する。このときプロジェクタ３００の位置制御部３２２は、プロジェクタ情報に基づいて、視聴者がプロジェクタ３００の投影画像を遮らないようにプロジェクタ３００の位置および姿勢を移動することができる。

これにより、プロジェクタ３００の投影範囲が視聴者を含むオブジェクトの陰になり表示画像の一部が欠落することを回避することができる。具体的には、情報処理装置２００は、視聴者の視界に入る被投影面に表示される表示画像内に、オブジェクトの影に相当する遮蔽領域が存在しないようにプロジェクタ３００を制御することができる。したがって、視聴者の視界内の表示画像の欠落を確実に回避することができ、視聴者にとって違和感のない画像を表示することができる。また、視聴者の動きに追随してプロジェクタ３００の投影範囲を移動することができるので、視聴者の視界の臨場感を常に確保することができる。

さらに、情報処理装置２００は、撮像手段によって撮像された被投影面を含む領域の撮像画像に基づいて第一の情報を取得することができる。具体的には、プロジェクタ３００が有する撮像部３１１が、プロジェクタ３００の投影範囲およびその周辺を撮像し、視聴者検出部３１２が、撮像部３１１の撮像画像に基づいて視聴者の位置および姿勢を認識し、視聴者情報を生成する。そして、情報処理装置２００は、視聴者検出部３１２が撮像画像に基づいて生成した視聴者情報を取得することができる。このように、視聴者を撮像した撮像画像から視聴者情報を取得することで、視聴者の位置や顔の向きを適切に把握することができる。

なお、情報処理装置２００は、視聴者の位置に関する情報と、視聴者の姿勢に関する情報とを、それぞれ異なる撮像手段によって撮像された撮像画像に基づいて取得することもできる。この場合、視聴者の姿勢（顔の向き）に関する情報を取得するために、専用の撮像手段（カメラ等）を配置することができるので、視聴者の視界を適切に把握することができる。また、上記専用の撮像手段は、視聴者の動きに応じて撮像位置および撮像姿勢を変化させてもよい。これにより、より適切に視聴者の視界を把握することができる。
以上のように、映像投影システム１００は、プロジェクタ３００から投影され視聴者の視界に入る被投影面に表示される表示画像内に遮蔽領域を作らないように、プロジェクタ３００の位置および姿勢を移動して画像を投影することができる。したがって、視聴者の没入感を阻害する要因を適切に排除し、臨場感のある映像投影が可能となる。

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
この第二の実施形態では、複数のプロジェクタ３００からそれぞれ投影される複数の投影画像を投影前に解析し、視聴者が注目する投影範囲を把握してプロジェクタ３００を制御する場合について説明する。
図９は、第二の実施形態における情報処理装置２０１の構成を示すブロック図である。この情報処理装置２０１は、図２に示す情報処理装置２００に映像コンテンツ解析部２３１（以下、映像解析部２３１）が追加され、情報算出部２１２がプロジェクタ情報算出部２３２（以下、情報算出部２３２）に置換された構成を有する。

映像解析部２３１は、映像入力部２２１から映像コンテンツを入力する。そして、映像解析部２３１は、入力された映像コンテンツを解析し、映像解析情報を生成する。ここで、映像解析情報は、映像コンテンツ中において特徴量が所定値以上である領域に関する情報を含む。上記特徴量としては、映像コンテンツのフレーム間の動き情報（動きベクトル情報）を用いることができ、特徴量が所定値以上である領域は、視聴者が注目する動き（主要な動き、目立った動き）のある領域として抽出することができる。なお、特徴量は動き情報に限定されるものではなく、視聴者が注目する領域を予測することができる特徴量であればよい。映像解析部２３１は、生成した映像解析情報を情報算出部２３２に出力する。
情報算出部２３２は、視聴者情報入力部２１１から入力された視聴者情報と、映像解析部２３１から入力された映像解析情報とに基づいて、プロジェクタ情報を算出する。ここで、プロジェクタ情報は、上述したプロジェクタ３００の位置および姿勢に関する情報の他に、投影制限情報を含む。投影制限情報とは、プロジェクタ３００からの投影を停止（制限）するかどうかを示す情報である。投影制限情報の詳細については後述する。

次に、第二の実施形態における情報処理装置２０１とプロジェクタ３００との間の情報の流れについて詳細に説明する。以下の説明では、図１０（ａ）および図１０（ｂ）に示すように、８台のプロジェクタ３００（３００Ａ〜３００Ｈ）が壁面を被投影面として映像を投影する場合について説明する。プロジェクタ３００Ａ、３００Ｂ、３００Ｃおよび３００Ｄの投影範囲は、図１０（ａ）に示すように、各々Ａ、Ｂ、Ｃ、Ｄと表示された位置である。また、プロジェクタ３００Ｅ、３００Ｆ、３００Ｇおよび３００Ｈの投影範囲は、図１０（ｂ）に示すように、各々Ｅ、Ｆ、Ｇ、Ｈと表示された位置である。
図１１に示すように、先ずＳ３１において、情報処理装置２０１は、プロジェクタ３００Ａ〜３００Ｈに対してそれぞれプロジェクタ情報を出力する。このとき、プロジェクタ３００Ａ〜３００Ｈは、各プロジェクタの位置と投影範囲（例えば、図１０（ａ）および図１０（ｂ）のＡ〜Ｈ）に関する情報を取得する。

次にＳ３２において、プロジェクタ３００Ａ〜３００Ｈは、それぞれ情報処理装置２０１から入力されたプロジェクタ情報に基づいて位置および姿勢を移動する。そして、Ｓ３３において、プロジェクタ３００Ａ〜３００Ｈは、各々の投影範囲およびその周辺を撮像し、撮像画像を解析する。このとき、図１０（ａ）に示すように、投影範囲Ａ〜Ｄを視界に入れた視聴者Ｐが、投影範囲Ａ〜Ｈから離れた位置に存在し、プロジェクタ３００Ａ〜３００Ｈの投影画像がいずれも視聴者Ｐによって遮られていないものとする。この場合、例えばプロジェクタ３００Ｂの撮像部３１１が視聴者Ｐを撮像すると、プロジェクタ３００Ｂの視聴者検出部３１２は、視聴者Ｐの位置および姿勢を検出して視聴者情報を生成する。そして、Ｓ３４では、プロジェクタ３００Ａ〜３００Ｈは、それぞれ撮像画像をもとに生成した視聴者情報を情報処理装置２００に出力する。

情報処理装置２０１は、プロジェクタ３００Ａ〜３００Ｈから視聴者情報を入力すると、Ｓ３５において、オリジナルの映像コンテンツを先行して複数フレーム先まで解析する。そして、情報処理装置２０１は、映像コンテンツから視聴者が注目する主要な動きがある領域を抽出する。このとき、情報処理装置２０１は、投影範囲Ａ〜Ｄに投影する映像コンテンツ（投影画像）に主要な動きが集中しており、投影範囲Ｅ〜Ｈに投影する映像コンテンツ（投影画像）には目立った動きがないという映像解析情報を得たものとする。

Ｓ３６において、情報処理装置２０１は、Ｓ３４において入力された視聴者情報と、Ｓ３５において取得された映像解析情報とに基づいて、プロジェクタ３００Ａ〜３００Ｈのプロジェクタ情報を算出する。図１０（ａ）に示す例では、視聴者Ｐは投影範囲Ａ〜Ｄの方を向いており、投影範囲Ａ〜Ｄが視聴者Ｐの視界内に入っている。そのため、情報処理装置２０１は、プロジェクタ３００Ａ〜３００Ｄの投影画像が視聴者Ｐによって遮られないように、プロジェクタ３００Ａ〜３００Ｄのプロジェクタ情報を算出する。なお、図１０（ａ）に示す例では、視聴者Ｐはプロジェクタ３００Ａ〜３００Ｄの投影画像を遮っていない。そのため、この場合、情報処理装置２０１は、プロジェクタ３００Ａ〜３００Ｄの現在の位置および姿勢を維持するようなプロジェクタ情報を算出する。つまり、情報処理装置２０は、プロジェクタ３００Ａ〜３００Ｄのプロジェクタ情報を変化させない。

一方、視聴者Ｐは投影範囲Ｅ〜Ｈの方を向いていないため、仮にプロジェクタ３００Ｅ〜３００Ｈの投影画像の一部が視聴者Ｐによって遮られていたとしても、プロジェクタ３００Ｅ〜３００Ｈを移動させる必要はない。そのため、情報処理装置２０１は、プロジェクタ３００Ｅ〜３００Ｈの現在の位置および姿勢を維持するようなプロジェクタ情報を算出する。また、情報処理装置２０１は、映像解析情報に基づいて、今後、複数フレームに亘って投影範囲Ｅ〜Ｈに投影される映像コンテンツに目立った動きがなく、プロジェクタ３００Ｅ〜３００Ｈからの投影の必要性が低いと判断する。そこで、情報処理装置２０１は、プロジェクタ３００Ｅ〜３００Ｈの投影を停止してもよいことを示す投影制限情報を、プロジェクタ３００Ｅ〜３００Ｈのプロジェクタ情報に含める。そして、Ｓ３７において、情報処理装置２０１は、Ｓ３６において算出したプロジェクタ情報をプロジェクタ３００Ａ〜３００Ｈに出力する。

情報処理装置２０１からプロジェクタ情報を入力したプロジェクタ３００Ａ〜３００Ｄは、Ｓ３８において、入力されたプロジェクタ情報に基づいてプロジェクタの位置および姿勢を移動する。なお、図１０（ａ）に示す例では、情報処理装置２０１は、上述したようにプロジェクタ３００Ａ〜３００Ｄの位置および姿勢を変化させないようなプロジェクタ情報を出力するため、プロジェクタ３００Ａ〜３００Ｄは移動しない。また、プロジェクタ３００Ｅ〜３００Ｈも同じ位置および姿勢を維持する。ただし、プロジェクタ３００Ｅ〜３００Ｈは、情報処理装置２０１から投影を停止してもよいことを示す投影制限情報を含むプロジェクタ情報を入力するため、投影を停止する。
なお、本実施形態では、視聴者が注目しない投影画像を投影するプロジェクタ３００からの投影を停止させる場合について説明するが、投影を制限するようにしてもよい。例えば、明るさを確保する程度の映像を投影するようにしてもよい。ただし、臨場感の確保のために、音声の出力は制限しないものとする。

Ｓ３９では、情報処理装置２０１は、各プロジェクタの映像コンテンツを生成する。ここで、情報処理装置２０１は、Ｓ３６において、プロジェクタ３００Ｅ〜３００Ｈの投影を停止すると判断している。そのため、情報処理装置２０１は、Ｓ３９において、プロジェクタ３００Ａ〜３００Ｄの投影範囲Ａ〜Ｄに対応する映像コンテンツのみを生成する。つまり、情報処理装置２０１は、プロジェクタ３００Ｅ〜３００Ｈの投影範囲Ｅ〜Ｈに対応する映像コンテンツは生成しない。そして、情報処理装置２００は、Ｓ４０において、生成した映像コンテンツをプロジェクタ３００Ａ〜３００Ｄへそれぞれ出力する。
プロジェクタ３００Ａ〜３００Ｄは、それぞれ情報処理装置２０１から映像コンテンツを入力すると、Ｓ４１において、入力した映像コンテンツを変形処理する。そして、プロジェクタ３００Ａ〜３００Ｄは、Ｓ４２において、変形処理された映像コンテンツを投影部３３３から投影範囲Ａ〜Ｄに投影する。このように、プロジェクタ３００Ａ〜３００Ｄは、視聴者Ｐが注目する被投影面に表示される表示画像内に遮蔽領域を作らないような位置および姿勢にて、画像を投影することができる。

なお、上記の例では、視聴者Ｐが注目する投影画像が投影される投影範囲Ａ〜Ｄが、視聴者Ｐの視界内に入っている場合について説明した。しかしながら、視聴者Ｐの視界内に入っている投影範囲Ａ〜Ｄ内に、視聴者Ｐが注目する投影画像が投影されない投影範囲が存在する場合であっても、情報処理装置２００は上記と同様の動作を行う。つまり、主要な動きがあるか否かにかかわらず、視聴者Ｐの視界内に入っている被投影面上には遮蔽領域が存在しないようにプロジェクタ３００を制御しておく。

Ｓ４３においては、プロジェクタ３００Ａ〜３００Ｈは、それぞれ投影範囲（Ａ〜Ｈ）およびその周辺を再び撮像する。そして、プロジェクタ３００Ａ〜３００Ｈは、Ｓ３３と同様に撮像画像を解析し、視聴者情報を生成する。このとき、視聴者Ｐの位置および姿勢が図１０（ａ）に示す状態から変化がないものとすると、視聴者情報は、Ｓ３３において生成された視聴者情報と同じになる。そして、Ｓ４４では、プロジェクタ３００Ａ〜３００Ｈは、Ｓ３４と同様に、視聴者情報を情報処理装置２０１に出力する。
Ｓ４５においては、情報処理装置２０１は、Ｓ３５と同様に、オリジナルの映像コンテンツを先行して複数フレーム先まで解析する。このとき、情報処理装置２０１が、今後、映像コンテンツの主要な動きが投影範囲Ａ〜Ｄから投影範囲Ｅ〜Ｈに移っていくという映像解析情報を得たものとする。すると、Ｓ４６において、情報処理装置２０１は、このＳ４５において取得された映像解析情報を用いて、プロジェクタ３００Ａ〜３００Ｈのプロジェクタ情報を算出する。

視聴者Ｐの位置および姿勢は図１０（ａ）に示す状態から変化がないため、このＳ４５においては、情報処理装置２０１は、プロジェクタ３００Ａ〜３００Ｄのプロジェクタ情報を変化させない。一方、情報処理装置２０１は、映像解析情報に基づいて、今後、映像コンテンツの中心が投影範囲Ｅ〜Ｈに移っていくため、プロジェクタ３００Ｅ〜３００Ｈからの投影が必要になると判断する。そこで、情報処理装置２０１は、プロジェクタ３００Ｅ〜３００Ｈの投影を再開する（投影の停止をやめる）ことを示す投影制限情報を、プロジェクタ３００Ｅ〜３００Ｈのプロジェクタ情報に含める。そして、Ｓ４７において、情報処理装置２０１は、Ｓ４６において算出したプロジェクタ情報をプロジェクタ３００Ａ〜３００Ｈに出力する。

情報処理装置２０１からプロジェクタ情報を入力したプロジェクタ３００Ａ〜３００Ｈは、Ｓ４８において、入力されたプロジェクタ情報に基づいてプロジェクタの位置および姿勢を移動する。なお、図１０（ａ）に示す例では、視聴者Ｐの位置および姿勢に変化はないため、プロジェクタ３００Ａ〜３００Ｄは移動しない。また、プロジェクタ３００Ｅ〜３００Ｈも同じ位置および姿勢を維持する。ただし、プロジェクタ３００Ｅ〜３００Ｈは、情報処理装置２０１から投影を再開することを示すプロジェクタ情報を入力するため、投影を再開するために映像コンテンツの入力待ち状態となる。
Ｓ４９では、情報処理装置２０１は、プロジェクタ３００Ａ〜３００Ｈの映像コンテンツを生成する。つまり、情報処理装置２０１は、Ｓ４９において、プロジェクタ３００Ａ〜３００Ｄの投影範囲Ａ〜Ｄに対応する映像コンテンツと、プロジェクタ３００Ｅ〜３００Ｈの投影範囲Ｅ〜Ｈに対応する映像コンテンツとを生成する。そして、情報処理装置２００は、Ｓ５０において、生成した映像コンテンツをプロジェクタ３００Ａ〜３００Ｈへそれぞれ出力する。

プロジェクタ３００Ａ〜３００Ｈは、それぞれ情報処理装置２０１から映像コンテンツを入力すると、Ｓ５１において、入力した映像コンテンツを変形処理する。そして、プロジェクタ３００Ａ〜３００Ｈは、Ｓ５２において、変形処理された映像コンテンツを投影部３３３から投影範囲Ａ〜Ｈに投影する。このように、視聴者Ｐが投影範囲Ｅ〜Ｈの方を向いていなくても、今後、投影範囲Ｅ〜Ｈに視聴者Ｐが注目するような投影画像が投影されると判断される場合には、先行して投影範囲Ｅ〜Ｈに画像を投影しておくことができる。つまり、情報処理装置２０１は、映像コンテンツの内容に基づいて視聴者Ｐの視界を予測し、各プロジェクタ３００を制御することができる。したがって、情報処理装置２０１は、現時点において視聴者Ｐの視界内に入っていなくても、今後視聴者Ｐの視界内に入る可能性の高い投影範囲については、視聴者Ｐの影による欠陥領域が生じないようにプロジェクタ３００を制御しておくことができる。
Ｓ５３においては、プロジェクタ３００Ａ〜３００Ｈは、それぞれ投影範囲（Ａ〜Ｈ）およびその周辺を再び撮像する。そして、プロジェクタ３００Ａ〜３００Ｈは、Ｓ４３と同様に撮像画像を解析し、視聴者情報を生成する。Ｓ５４においては、プロジェクタ３００Ａ〜３００Ｈは、Ｓ４４と同様に、視聴者情報を情報処理装置２０１に出力する。以降、Ｓ４５〜Ｓ５４の動作をフレーム毎に行う。

このように、本実施形態では、情報処理装置２０１は、オリジナルの映像コンテンツを複数フレームに亘って先行して解析し、視聴者が注目するような主要な動きがある領域を抽出する。そして、情報処理装置２０１は、抽出した領域に対応する投影画像を投影するプロジェクタ３００の位置および姿勢を、被投影面上の表示画像内に視聴者の影に相当する遮蔽領域が存在しないような位置および姿勢とする。つまり、情報処理装置２０１は、複数の投影装置からそれぞれ被投影面に投影される複数の投影画像を投影前に解析し、複数の投影画像のうち、特徴量が所定値以上である投影画像を少なくとも１つ選択する。そして、情報処理装置２０１は、選択された投影画像が投影される被投影面上に、遮蔽領域が存在するか否かを判定する。つまり、情報処理装置２０１は、視聴者が注目する被投影面上に遮蔽領域が存在しないようにプロジェクタ情報を決定し、必要最小限のプロジェクタ３００の位置および姿勢を移動させることができる。したがって、不必要なプロジェクタ３００の制御を削減することができる。

また、情報処理装置２０１は、複数の投影画像のうち、視聴者が注目する投影画像として選択されなかった投影画像を投影する投影装置からの投影を制限することができる。具体的には、情報処理装置２０１は、投影の制限として、投影を停止することができる。このように、情報処理装置２０１は、視聴者が注目するような主要な動きのない投影画像は、プロジェクタ３００から投影しないようにすることができる。したがって、プロジェクタ３００の投影範囲が冗長となることを抑制することができる。
さらに、情報処理装置２０１は、被投影面に投影画像を投影する複数の投影装置のうち、視聴者の視界外の被投影面に投影画像を投影する投影装置からの投影を制限することができる。具体的には、情報処理装置２０１は、投影の制限として、投影を停止することができる。このように、視聴者の背後など視界から外れる被投影面への投影画像は、プロジェクタ３００から投影しないようにすることができる。したがって、プロジェクタ３００の投影範囲が冗長となることを抑制することができる。

以上のように、映像投影システム１００は、視聴者が注目しないと予想される被投影面への投影を制限（停止）したり、今後視聴者が注目すると予想される被投影面へ先行して適切に画像を投影しておいたりすることができる。また、視聴者の背後など視界から外れる領域への投影を制限（停止）することもできる。したがって、冗長なプロジェクタ制御を抑制しつつ、視聴者の没入感を阻害する要因を適切に排除し、臨場感のある映像投影が可能となる。

（変形例）
上記各実施形態においては、撮像部により撮像された画像をもとに視聴者の位置および姿勢を検出する場合について説明したが、視聴者の位置および姿勢を検出する方法は撮像画像を用いる方法に限定されない。例えば、視聴者が携帯（装着）する機器や各種センサからの情報を受信することで視聴者の位置および姿勢を検出してもよい。
また、上記各実施形態においては、視聴者が１人である場合について説明したが、視聴者が複数人であってもよい。視聴者が複数人である場合、視聴者全員の視聴者情報を取得してプロジェクタ３００を制御する。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…映像投影システム、２００…情報処理装置、２１１…視聴者情報入力部、２１２…プロジェクタ情報算出部、２１３…プロジェクタ情報出力部、３００…プロジェクタ、３１１…撮像部、３１２…視聴者検出部、３１３…視聴者情報出力部、３２１…プロジェクタ情報入力部、３２２…プロジェクタ位置制御部

Claims (11)

1. 投影装置と前記投影装置から投影画像が投影される被投影面との間に存在するオブジェクトの位置に関する情報を含む第一の情報を取得する取得手段と、
   前記取得手段により取得された前記第一の情報に基づいて、前記被投影面上に、前記オブジェクトにより前記投影画像が遮蔽された遮蔽領域が存在するか否かを判定する判定手段と、
   前記判定手段により前記遮蔽領域が存在すると判定された場合に、前記オブジェクトにより遮蔽されずに前記投影画像が前記遮蔽領域に投影されるような前記投影装置の投影範囲に関する情報を含む第二の情報を決定する決定手段と、
   前記決定手段により決定された第二の情報を前記投影装置に出力する出力手段と、を備えることを特徴とする情報処理装置。
2. 前記取得手段は、撮像手段によって撮像された前記被投影面を含む領域の撮像画像に基づいて前記第一の情報を取得することを特徴とする請求項１に記載の情報処理装置。
3. 前記第二の情報は、前記投影装置の位置に関する情報をさらに含むことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記第一の情報は、前記オブジェクトの姿勢に関する情報をさらに含むことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記オブジェクトには、人物が含まれ、
   前記取得手段は、前記オブジェクトの姿勢に関する情報として、前記人物の顔の向きに関する情報を取得し、
   前記判定手段は、前記人物の視界に入る前記被投影面上に、前記遮蔽領域が存在するか否かを判定することを特徴とする請求項４に記載の情報処理装置。
6. 前記被投影面に前記投影画像を投影する複数の前記投影装置のうち、前記人物の視界外の前記被投影面に前記投影画像を投影する前記投影装置からの投影を制限する第一の制限手段をさらに備えることを特徴とする請求項５に記載の情報処理装置。
7. 複数の前記投影装置からそれぞれ前記被投影面に投影される複数の前記投影画像を投影前に解析し、前記複数の投影画像のうち、特徴量が所定値以上である前記投影画像を少なくとも１つ選択する選択手段をさらに備え、
   前記判定手段は、前記選択手段により選択された前記投影画像が投影される前記被投影面上に、前記遮蔽領域が存在するか否かを判定することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記選択手段により選択されなかった前記投影画像を投影する前記投影装置からの投影を制限する第二の制限手段をさらに備えることを特徴とする請求項７に記載の情報処理装置。
9. 請求項１から８のいずれか１項に記載の情報処理装置と、
   前記投影装置と、を備えることを特徴とする映像投影システム。
10. 投影装置と前記投影装置から投影画像が投影される被投影面との間に存在するオブジェクトの位置に関する情報を含む第一の情報を取得するステップと、
    前記第一の情報に基づいて、前記被投影面上に、前記オブジェクトにより前記投影画像が遮蔽された遮蔽領域が存在するか否かを判定するステップと、
    前記遮蔽領域が存在すると判定された場合に、前記遮蔽領域に前記投影画像を投影するような前記投影装置の投影範囲に関する情報を含む第二の情報を決定するステップと、
    前記第二の情報を前記投影装置に出力するステップと、を含むことを特徴とする情報処理方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images