WO2016157996A1

WO2016157996A1 - 情報処理装置、情報処理方法、プログラム及び画像表示システム

Info

Publication number: WO2016157996A1
Application number: PCT/JP2016/053087
Authority: WO
Inventors: 高橋　修一; 秀一芳賀
Original assignee: ソニー株式会社
Priority date: 2015-03-31
Filing date: 2016-02-02
Publication date: 2016-10-06
Also published as: JP6680294B2; US20180095347A1; CN107430841A; JPWO2016157996A1; CN107430841B; US11003062B2

Abstract

　本願発明は、画像の内容に応じてユーザが高い臨場感や没入感を体験できる画像の提供を行うことの可能な情報処理装置を提供することを目的とする。　投影装置（１０）により投影される入力画像の内容を解析する画像解析部（１１５）と、入力画像の解析結果に基づいて、入力画像が投影される投影空間における投影装置による投影領域を決定する投影位置決定部（１１６）と、を備える、情報処理装置（１００）が提供される。

Description

情報処理装置、情報処理方法、プログラム及び画像表示システム

　本開示は、情報処理装置、情報処理方法、プログラム及び画像表示システムに関する。

　近年ディスプレイの大型化や高解像度化が進み、一般家庭においても大画面で高精細な画像を楽しむ機会が増えてきた。ディスプレイの種類として、液晶等のフラットパネル型だけではなく、プロジェクタによる投影型も広く普及している。従来のプロジェクタは、低解像度、低輝度、低コントラストであり、家庭内で使用するには不十分であった。しかし、近年は、４Ｋを初めとする高解像度型や、壁面に寄せて大画面投影が可能な短焦点型も登場し、ユーザの潜在的なニーズに応えられるようになってきた。

　そのような中、プラットパネルディスプレイにゲーム画面を表示し、壁面や天井、床等にプロジェクタで周辺画像を投影し、臨場感や没入感を高めた状態で画像等を楽しめるシステムが提案され始めている。例えば特許文献１には、室内の壁面に重畳投影された画像も含めてユーザがゲームを楽しめる没入ディスプレイシステムが開示されている。かかるシステムでは、ユーザ正面の壁沿いに配置されたフラットパネルディスプレイにゲーム画像が表示され、ディスプレイの周辺の壁にはゲーム画像の外側の画像が拡張されて投影される。これにより、ユーザに対して室内全体がゲーム空間であるかのような感覚を与え、高い臨場感や没入感を与えることができる。

　また、特許文献２には、観測者の顔の向いた方向の壁部上に画像を投影することができる画像形成装置が開示されている。当該画像形成装置は、観測者情報検出手段により検出された顔の向いた方向の壁部上に投影領域を設定し、その投影領域に画像を投影する。さらに、特許文献３には、投影画像の位置およびサイズを自動的に調整することのできるプロジェクタが開示されている。当該プロジェクタは、投射レンズのシフト制御部とズーム制御部、そして可動式距離センサからの距離情報に基づき、投影画像の位置およびサイズを調整する。

米国特許公開公報２０１２／０２２３８８５号明細書特開２００９－１８０９６７号公報特開２００８－０３３１３６号公報

　上記特許文献１に記載の技術では、画像の内容によって投影位置や範囲が調整できないため、ユーザが体験できる臨場感や没入感が制約される可能性がある。また、特許文献２に記載の技術では、投影位置や範囲を動的に変更することができるが、ユーザの視線が向いた方向に画像を投影するものであり、画像の内容に応じて変更できるものではない。特許文献３に記載の技術も、投影位置やサイズを調整することはできるが、距離情報に基づいて調整するものであり、画像の内容に応じて調整できるものではない。

　そこで、本開示では、画像の内容に応じてユーザが高い臨場感や没入感を体験できる画像の提供を行うことの可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム及び画像表示システムを提案する。

　本開示によれば、投影装置により投影される入力画像の内容を解析する画像解析部と、入力画像の解析結果に基づいて、入力画像が投影される投影空間における投影装置による投影領域を決定する投影位置決定部と、を備える、情報処理装置が提供される。

　また、本開示によれば、投影装置により投影される入力画像の内容を解析すること、入力画像の解析結果に基づいて、入力画像が投影される投影空間における投影装置による投影領域を決定すること、とを含む、情報処理方法が提供される。

　また、本開示によれば、コンピュータを、投影装置により投影される入力画像の内容を解析する画像解析部と、入力画像の解析結果に基づいて、入力画像が投影される投影空間における投影装置による投影領域を決定する投影位置決定部と、を備える、情報処理装置として機能させるプログラムが提供される。

　また、本開示によれば、画像を投影する投影装置と、投影装置により投影される入力画像の内容を解析する画像解析部と、入力画像の解析結果に基づいて、入力画像が投影される投影空間における投影装置による投影領域を決定する投影位置決定部と、を備える、画像表示システムが提供される。

　以上説明したように本開示によれば、画像の内容に応じてユーザが高い臨場感や没入感を体験できる画像の提供を行うことが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る画像表示システムにより画像が投影される投影空間の構造及び投影装置の配置を示す説明図である。図１の投影空間を投影装置側から見た図を示す説明図である。投影空間に投影される画像の投影パターンを示す説明図である。同実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。同実施形態に係る情報処理装置による解析処理を示すフローチャートである。同実施形態に係る情報処理装置による投影装置の位置制御処理を示すフローチャートである。同実施形態に係る情報処理装置による画像生成処理を示すフローチャートである。本開示の第２の実施形態に係る画像表示システムにより画像が投影される投影空間の構造と、投影装置及び主表示装置の配置とを示す説明図である。図８の主表示装置が配置された投影空間を投影装置側から見た図を示す説明図である。同実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。同実施形態に係る情報処理装置による画像生成処理を示すフローチャートである。本開示の第３の実施形態に係る画像表示システムにより画像が投影される投影空間の構造と、投影装置の配置とを示す説明図である。同実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。同実施形態に係る情報処理装置による解析処理を示すフローチャートである。本開示の第４の実施形態に係る画像表示システムにより画像が投影される投影空間の構造と、投影装置及び主表示装置の配置とを示す説明図である。同実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。上記実施形態に係る画像表示システムの情動映像処理部の機能構成を示す機能ブロック図である。情動映像の元画像の選択処理を示すフローチャートである。入力画像から局所特徴点が抽出された状態の一例を示す説明図である。特徴点の動きベクトルが一致した状態の一例を示す説明図である。入力画像の近似画像を近似画像記憶部から選択する処理を示す説明図である。情動映像処理部による情動映像生成処理を示すフローチャートである。コンテンツの同期情報に基づき情動映像の動き方向が決定された例を示す説明図である。コンテンツの同期情報に基づき情動映像の動き方向が決定された他の例を示す説明図である。コンテンツの色相に基づき情動映像の色が決定された例を示す説明図である。夕日のシーンにおける輝度のヒストグラムの一例を示す説明図である。日中のシーンにおける輝度のヒストグラムの一例を示す説明図である。ＲＧＢ毎の輝度のヒストグラムの一例を示す説明図である。本開示の実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施の形態（投影装置）
　　１．１．空間構成
　　１．２．情報処理装置の機能構成
　　１．３．画像表示処理
　２．第２の実施形態（投影装置＋主表示装置）
　　２．１．空間構成
　　２．２．情報処理装置の機能構成
　　２．３．画像表示処理
　３．第３の実施形態（投影装置、ユーザ位置検出）
　　３．１．空間構成
　　３．２．情報処理装置の機能構成
　　３．３．画像表示処理
　４．第４の実施形態（投影装置＋主表示装置、ユーザ位置検出）
　５．情動映像生成
　　５．１．機能構成
　　５．２．情動映像生成処理
　６．まとめ
　７．ハードウェア構成

　＜１．第１の実施形態＞
　まず、図１～図７に基づいて、本開示の第１の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。このような画像表示システムにつき、本実施形態では、投影装置によって空間内に画像を投影し表示させる場合の構成とその機能を説明する。

　［１．１．空間構成］
　まず、図１～図３に基づいて、本実施形態に係る画像表示システムが適用される空間構成について説明する。なお、図１は、本実施形態における画像表示システムにより画像が投影される投影空間Ｖの構造及び投影装置１０の配置を示す説明図である。図２は、図１の投影空間Ｖを投影装置１０側から見た図を示す説明図である。図３は、投影空間Ｖに投影される画像の投影パターンを示す説明図である。

　本実施形態に係る表示システムは、投影装置１０により投影空間に画像を投影して表示する。投影空間Ｖは、図１及び図２に示すように、投影装置１０の投影方向に対して垂直な正面Ｓ（以下、「Ｓ面」とする。）と、床面Ｆ（以下、「Ｆ面」とする。）と、天井Ｃ（以下、「Ｃ面」とする。）と、側面Ｌ、Ｒ（以下、「Ｌ面」、「Ｒ面」とする。）とからなる。また、投影空間Ｖの天井Ｃには、投影装置１０が設置されている。なお、投影装置１０は床面Ｆから所定の高さ位置に設置されていてもよい。

　投影装置１０は、図１及び図２に示すように、Ｓ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面に画像を表示可能である。投影装置１０により画像が各面へどのように投影されるかは、投影装置１０の位置や設定により決定される。本実施形態に係る画像表示システムでは、情報処理装置により、画像の内容に基づいて当該画像を投影する面が決定され、各面で投影される画像が適切に表示されるように画像処理される。画像の投影領域パターンとしては、例えば図３に示すように、正面（Ｓ面）のみ表示（パターン１）、正面（Ｓ面）及び天井（Ｃ面）に表示（パターン２）、正面（Ｓ面）及び床面（Ｆ面）に表示（パターン３）、正面（Ｓ面）、天井（Ｃ面）及び底面（Ｆ面）に表示（パターン４）等がある。その他、正面（Ｓ面）及び側面（Ｌ面、Ｒ面）に表示、全面（Ｓ面、Ｃ面、Ｆ面、Ｌ面、Ｒ面）に表示、等の投影領域パターンを設定してもよい。

　例えば、画像の内容が旅行シーンであれば、鑑賞者が左右を広く見渡せるように投影することで臨場感や没入感を与えやすい。このとき、情報処理装置は、画像を正面（Ｓ面）及び側面（Ｌ面、Ｒ面）に投影させる。また、画像の内容がアトラクションシーンであれば、鑑賞者の足下が見えていると興奮度があがるので、画像を正面（Ｓ面）、床面（Ｆ面）及び側面（Ｌ面、Ｒ面）に投影させる。さらに、画像の内容が夜空のシーンであれば、鑑賞者が上を広く見渡せるように投影することで臨場感や没入感を与えやすい。このとき、情報処理装置は、画像を正面（Ｓ面）、天井（Ｃ面）及び側面（Ｌ面、Ｒ面）に投影させる。

　このように、本実施形態に係る画像表示システムでは、投影装置１０により投影される画像の内容に応じて投影位置や投影範囲（投影領域）を変更することで、画像の鑑賞者に高い臨場感や没入感を与えることができる。以下では、本実施形態に係る画像表示システムにおける情報処理装置とその機能について、詳細に説明していく。

　［１．２．情報処理装置の機能構成］
　まず、図４に基づいて、本実施形態に係る情報処理装置１００の機能構成を説明する。なお、図４は、本実施形態に係る情報処理装置１００の機能構成を示す機能ブロック図である。

　画像表示システムを構成する情報処理装置１００は、画像を投影装置１０により空間に投影し表示させるための画像処理を行う装置である。情報処理装置１００は、例えば、コンピュータ等の処理装置や、投影装置１０や空間情報を取得するセンサ等と通信可能に接続されたサーバ等により実現できる。本実施形態に係る情報処理装置１００は、図４に示すように、解析処理部１１０と、位置制御部１２０と、画像生成部１３０とからなる。

（１）解析処理部
　解析処理部１１０は、投影装置１０により投影する画像の内容の解析と、画像を投影する投影空間の構造の解析を行う。解析処理部１１０は、放送信号受信部１１１と、撮像部１１２と、記憶部１１３と、画像入力部１１４と、画像解析部１１５と、投影位置決定部１１６と、空間構造解析部１１７と、空間構造保持部１１８とからなる。

　放送信号受信部１１１、撮像部１１２及び記憶部１１３は、投影装置１０により投影する画像を提供する機能部である。放送信号受信部１１１は、外部の機器やネットワークを介して接続されたサーバ等から放送信号を受信する。また、撮像部１１２は、画像を撮像し、画像信号を生成する。記憶部１１３は、例えば画像信号を記憶する記憶装置である。放送信号受信部１１１、撮像部１１２及び記憶部１１３は、例えばユーザや外部の機器から投影装置１０により投影するため、受信した放送信号や撮影した画像信号、記憶している画像信号を、画像入力部１１４へ出力する。なお、本実施形態に係る情報処理装置１００は、解析処理部１１０に放送信号受信部１１１、撮像部１１２及び記憶部１１３を備えているが、本開示はかかる例に限定されず、これらのうち少なくともいずれか１つを備えていればよい。

　画像入力部１１４は、放送信号受信部１１１、撮像部１１２及び記憶部１１３から受信した放送信号や画像信号を、入力画像として画像解析部１１５及び画像生成部１３０へ出力する。なお、以下において、画像入力部１１４に入力され、投影装置１０により投影される放送信号や画像信号を、「主画像信号」ともいう。

　画像解析部１１５は、画像入力部１１４から入力された主画像信号の内容のカテゴリを解析する。本実施形態では、画像解析部１１５により解析された画像の内容に基づいて、投影空間において画像を投影する投影領域が決定される。例えば、画像解析部１１５は、画像の内容として、風景、夜空、アトラクション等のシーンを解析する。画像解析部１１５は、解析結果を投影位置決定部１１６へ出力する。

　投影位置決定部１１６は、画像解析部１１５で得られた画像内容のカテゴリに基づき、Ｓ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面の各面にどのように画像を投影するのが好適かを判断し、決定する。例えば、画像内容が風景の場合には、画像をＳ面、Ｌ面、Ｒ面の各面に投影し、パノラマを鑑賞できるようにする。また、画像内容が夜空の場合には画像をＳ面、Ｌ面、Ｒ面、Ｃ面の各面に投影し、Ｃ面に投影された空も鑑賞できるようにする。そして、画像内容がアトラクションの場合には、Ｓ面、Ｌ面、Ｒ面、Ｆ面の各面に画像を投影し、Ｆ面に投影された足下の様子も鑑賞できるようにする。

　このような画像内容のカテゴリと、投影空間における画像の投影領域（すなわち、画像を投影する面）との関係は予め設定されており、情報処理装置１００に記憶されている。投影位置決定部１１６は、画像内容のカテゴリから投影空間における画像の投影領域を決定すると、決定した画像の投影領域を位置制御部１２０へ出力する。なお、入力画像がユーザにより撮影された画像等のようにメタデータを有する場合には、当該メタデータから画像内容のカテゴリを決定することもできる。

　空間構造解析部１１７は、Ｓ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面の各面の位置と投影装置の位置関係を取得し、投影する空間の構造を解析する。空間構造解析部１１７は、例えば、投影空間に設置された奥行きセンサ（ｄｅｐｔｈセンサ）や測距計等の検出結果に基づいて自動的に行ってもよく、ユーザが手動で指定することで行ってもよい。空間構造解析部１１７の解析結果は、空間構造保持部１１８に記録される。

（２）位置制御部
　次に、位置制御部１２０は、投影装置１０の位置や設定を制御する。位置制御部１２０は、投影位置制御部１２１と、ユーザ設定部１２２と、設定情報保持部１２３と、制御量決定部１２４と、設定変更部１２５とからなる。

　投影位置制御部１２１は、投影位置決定部１１６にて決定された投影領域に画像が投影されるように、投影装置１０の位置や設定を制御する。投影位置制御部１２１は、投影位置決定部１１６から入力された投影領域パターンを制御量決定部１２４に指示し、投影装置１０を実際に駆動させる制御量を算出させる。

　ユーザ設定部１２２は、ユーザが設定した投影装置１０の設定情報の入力を受ける。ユーザは、例えばリモートコントローラ等の操作機器により、投影装置１０の設定情報を変更することができる。ユーザが設定した設定情報（以下、「ユーザ設定情報」ともいう。）は、制御量決定部１２４に出力される。

　設定情報保持部１２３は、投影装置の姿勢（ＸＹ）やレンズ設定（ズーム、シフト）等に関する設定情報を保持する記憶部である。設定情報保持部１２３は、投影装置１０の設定を変更する際、後述の制御量決定部１２４により参照され、情報が読み出される。

　制御量決定部１２４は、空間構造保持部１１８、投影位置制御部１２１及び設定情報保持部１２３から取得される情報に基づいて、投影装置１０の投影位置の設定制御量を決定する。例えば、制御量決定部１２４は、投影位置制御部１２１から画像をＳ面、Ｌ面、Ｒ面の各面に投影する指示を受けると、空間構造保持部１１８に記憶された空間構造の解析結果に基づき、投影空間におけるＳ面、Ｌ面、Ｒ面の具体的な位置情報を取得する。そして、制御量決定部１２４は、指定された画像の投影状態とするための投影装置１０の設定情報を設定情報保持部１２３から取得し、現在の投影装置１０の設定情報からの変更量を算出する。制御量決定部１２４は、この変更量に基づき、設定制御量を決定する。

　また、制御量決定部１２４は、ユーザ設定部１２２からユーザ設定情報が入力された場合には、当該ユーザ設定情報に基づき、投影装置１０の姿勢やレンズ設定等に関する設定情報を適宜修正する。制御量決定部１２４は、最終的に得られた設定を設定変更部１２５へ出力する。

　設定変更部１２５は、制御量決定部１２４から入力された設定制御量に基づいて、投影装置１０の姿勢やレンズ設定等を変更する。設定される設定制御量は、設定情報保持部１２３において保持される。設定変更部１２５は、投影装置１０の各種機構の設定の変更を完了すると、画像生成部１３０に投影装置１０の設定制御量を出力する。

（３）画像生成部
　画像生成部１３０は、主画像信号から投影装置１０により実際に投影される投影画像を生成する。画像生成部１３０は、対応関係処理部１３１と、非正面画像生成部１３２と、出力画像生成部１３３とからなる。

　対応関係処理部１３１は、画像入力部１１４からの入力画像と、設定変更部１２５からの設定制御量とに基づいて、入力画像から、Ｓ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面の各面に投影される画像領域を特定する。すなわち、投影空間の各面と、これに表示される入力画像の画像領域との対応付けが行わる。ここで、入力画像のうち、Ｓ面に投影される画像領域の部分を正面画像、Ｓ面以外の面に投影される画像領域の部分を非正面画像とする。つまり、対応関係処理部１３１は、正面画像と非正面画像とが入力画像のどの画像領域に該当するかを検証する。

　対応関係処理部１３１は、特定された非正面画像に相当する画像領域を入力画像から抽出し、非正面画像生成部１３２へ出力する。また、対応関係処理部１３１は、特定された正面画像に相当する画像領域を入力画像から抽出し、出力画像生成部１３３へ出力する。

　非正面画像生成部１３２は、対応関係処理部１３１において非正面画像とされた画像領域に対して、投影面に適切に画像が表示されるように画像処理を行う。例えば、Ｆ面、Ｃ面、Ｌ面、Ｒ面での投影に適するように幾何補正等の必要な画像処理を施した画像を生成する幾何補正画像処理や、正面画像から補間した画像を生成する補間画像処理、正面画像と相関のある画像を生成する相関画像処理等が行われる。非正面画像生成部１３２は、必要な処理が施し生成した非正面画像を出力画像生成部１３３へ出力する。

　出力画像生成部１３３は、正面画像と非正面画像とに基づいて、投影装置１０から投影する出力画像を生成する。正面画像と非正面画像との組み合わせについては特に制約されず、そのまま組み合わせたり、両画像の境界領域をぼかしたり重ねたりしてもよい。出力画像生成部１３３により生成された出力画像は、投影装置１０に出力され、投影空間に投影される。

　［１．３．画像表示処理］
　次に、図５～図７に基づいて、本実施形態に係る情報処理装置１００による画像表示処理を説明する。なお、図５は、本実施形態に係る情報処理装置１００による解析処理を示すフローチャートである。図６は、本実施形態に係る情報処理装置１００による投影装置１０の位置制御処理を示すフローチャートである。図７は、本実施形態に係る情報処理装置１００による画像生成処理を示すフローチャートである。

（１）解析処理
　本実施形態に係る画像表示処理では、まず、図５に示すような画像及び空間の解析処理が、解析処理部１１０により行われる。解析処理では、まず、図５に示すように、空間構造解析部１１７により、投影装置１０により画像が投影される投影空間の構造が解析される（Ｓ１１０）。空間構造解析部１１７は、投影空間を構成するＳ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面の各面の位置と、投影空間における投影装置１０の位置を取得し、これらの面と投影装置１０との位置関係を解析する。各面及び投影装置１０の位置は、例えば、投影空間に設置された奥行きセンサ（ｄｅｐｔｈセンサ）や測距計等の検出結果に基づいて自動的に行ってもよく、ユーザが手動で指定することで行ってもよい。ステップＳ１１０により解析された投影空間の空間構造は、空間構造保持部１１８に記録される（Ｓ１１１）。

　次いで、画像入力部１１４に画像が入力されたか否かを判定する（Ｓ１１２）。画像入力部１１４には、放送信号受信部１１１が受信した放送信号や、撮像部１１２により撮影された画像信号、あるいは、予め記憶部１１３に記憶されている画像信号等の主画像信号が入力される。画像入力部１１４に主画像信号が入力されるまでは、ステップＳ１１２の処理が繰り返し実行される。

　画像入力部１１４に主画像信号が入力されると、画像解析部１１５により入力画像の解析が行われる（Ｓ１１３）。ステップＳ１１３での入力画像の解析では、入力画像の内容がどのようなカテゴリに属するかを判別する。画像内容のカテゴリとしては、上述したように、例えば風景、夜空、アトラクション等がある。なお、画像の解析処理には、周知の手法を適用してもよい。

　その後、投影位置決定部１１６により、ステップＳ１１３での解析結果に基づいて、入力画像を投影する投影空間における投影領域が決定される（Ｓ１１４）。まず、投影位置決定部１１６は、解析結果が、予め設定されているカテゴリに該当するか否かを判定する。該当するカテゴリがあれば、予め設定されている当該カテゴリに最適な投影領域に入力画像を表示させることを決定する。例えば、画像内容が風景の場合には、画像をＳ面、Ｌ面、Ｒ面の各面に投影し、パノラマを鑑賞できるようにする。また、画像内容が夜空の場合には画像をＳ面、Ｌ面、Ｒ面、Ｃ面の各面に投影し、Ｃ面に投影された空も鑑賞できるようにする。そして、画像内容がアトラクションの場合には、Ｓ面、Ｌ面、Ｒ面、Ｆ面の各面に画像を投影し、Ｆ面に投影された足下の様子も鑑賞できるようにする。

　一方、予め設定されているカテゴリに該当するものがない場合には、投影位置決定部１１６は、入力画像の投影領域を、例えば特定のカテゴリと同一としてもよく、予め設定されたデフォルトの投影領域としてもよい。このように決定された入力画像の投影領域は、位置制御部１２０へ出力される。

（２）位置制御処理
　次に、図６に基づいて、投影装置１０の位置制御処理について説明する。投影装置１０の位置制御処理では、図６に示すように、まず、入力画像の投影領域に対応して、投影装置１０による画像の投影位置の制御の要否が判定される（Ｓ１２０）。投影位置制御部１２１は、図５のステップＳ１１４にて決定された投影領域に、入力画像が投影されるようにするため、現在の投影装置１０の設定状態からの変更の要否を判定する。

　ステップＳ１２０にて投影装置１０の設定情報の変更が必要と判定された場合には、制御量決定部１２４により、設定情報保持部１２３から投影装置１０の設定情報が取得される（Ｓ１２１）。制御量決定部１２４は、例えば、投影位置制御部１２１から画像をＳ面、Ｌ面、Ｒ面の各面に投影する指示を受けると、空間構造保持部１１８に記憶された空間構造の解析結果に基づき、投影空間におけるＳ面、Ｌ面、Ｒ面の具体的な位置情報を取得する。そして、制御量決定部１２４は、指定された画像の投影状態とするための投影装置１０の設定情報を設定情報保持部１２３から取得する。なお、ステップＳ１２０にて、投影装置１０の設定情報の変更が不要と判定された場合には、現在の設定情報を維持することを決定し、ステップＳ１２２の処理へ進む。

　次いで、制御量決定部１２４は、ユーザによる設定情報の変更があったか否かを判定する（Ｓ１２２）。ユーザによる設定情報の変更があった場合、ユーザ設定部１２２にユーザ設定情報が入力される。制御量決定部１２４はこのユーザ設定情報に基づき、ステップＳ１２０及びＳ１２１にて取得された投影装置の姿勢やレンズ設定等に関する設定情報を修正する（Ｓ１２３）。これにより、自動的に調整された設定情報にユーザの嗜好等が反映される。なお、ステップＳ１２２にてユーザ設定情報の入力がない場合には、ステップＳ１２４の処理へ進む。

　そして、制御量決定部１２４は、ステップＳ１２０～Ｓ１２３の処理を通して決定された投影装置１０の設定情報から、投影装置１０の投影位置の設定制御量を決定する（Ｓ１２４）。制御量決定部１２４は、投影装置１０の投影位置をどの程度制御するかを表す設定制御量を算出すると、設定情報保持部１２３に当該設定情報を記録する。また、設定変更部１２５により、算出された設定制御量に基づいて、投影装置１０の姿勢やレンズ設定等が変更される（Ｓ１２５）。その後、設定変更部１２５は、投影装置１０の設定情報の変更が完了したか否かを判定する。設定情報の変更が完了すると、設定変更部１２５は設定制御量を画像生成部１３０へ出力し、当該処理を終了する。

（３）画像生成処理
　次に図７に基づいて、投影装置１０により投影される出力画像の生成処理について説明する。画像生成処理は、図７に示すように、対応関係処理部１３１が解析処理部１１０から入力画像の入力を受けて開始する（Ｓ１３０）。入力画像の入力があるまでは、繰り返しステップＳ１３０の処理が行われる。

　入力画像が入力されると、対応関係処理部１３１は、入力画像と投影空間との対応付けを行う（Ｓ１３１）。対応関係処理部１３１は、画像入力部１１４からの入力画像と、設定変更部１２５からの設定制御量とに基づいて、入力画像から、Ｓ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面の各面に投影される画像領域を特定する。すなわち、対応関係処理部１３１は、正面画像と非正面画像とが入力画像のどの画像領域に該当するかを検証している。

　投影装置１０により投影空間に投影された画像は、投影装置１０の投影方向に垂直な面である正面（Ｓ面）と、それ以外の面（Ｆ面、Ｃ面、Ｌ面、Ｒ面）とで、見え方が異なる。これは、投影装置１０に対する各面の位置や傾斜角度が異なるために生じる。本実施形態に係る画像生成部１３０では、入力画像に対して、画像が投影されるすべての面で違和感なく画像を提供する画像処理を行っている。この画像処理を行うため、ステップＳ１３１では、対応関係処理部１３１により、入力画像から正面画像と非正面画像とを特定している。

　次いで、対応関係処理部１３１は、入力画像が正面（Ｓ面）以外の面（すなわち、Ｆ面、Ｃ面、Ｌ面、Ｒ面）に投影されるか否かを判定する（Ｓ１３２）。例えば、ステップＳ１３１にて非正面画像が特定された場合、対応関係処理部１３１は、正面以外の面に入力画像が投影されると判定することができる。ステップＳ１３２にて正面以外の面に入力画像が投影されると判定されると、非正面画像生成部１３２により、これらの面に表示される非正面画像が最適となるように画像処理が行われる（Ｓ１３３）。

　非正面画像生成部１３２では、例えば、Ｆ面、Ｃ面、Ｌ面、Ｒ面での投影に適するように幾何補正等の必要な画像処理を施した画像を生成する幾何補正画像処理や、正面画像から補間した画像を生成する補間画像処理、正面画像と相関のある画像を生成する相関画像処理等が行われる。非正面画像生成部１３２は、必要な処理が施し生成した非正面画像を出力画像生成部１３３へ出力する。なお、ステップＳ１３２において、入力画像が正面（Ｓ面）のみに表示されると判定された場合には、ステップＳ１３３の処理を行わず、ステップＳ１３４の処理へ進む。

　そして、出力画像生成部１３３により、正面画像と非正面画像とを統合し、投影装置１０から投影する出力画像が生成される（Ｓ１３４）。正面画像と非正面画像との組み合わせは、例えば、２つの画像をそのまま組み合わせたり、２つの画像の境界領域をぼかしたり重ねたりしてもよい。出力画像生成部１３３により生成された出力画像は、投影装置１０に出力され、投影空間に投影される。

　以上、本開示の第１の実施形態に係る画像表示システムの構成とその機能について説明した。本実施形態によれば、投影装置により投影空間に投影される画像の内容に応じて、投影空間における入力画像の投影領域を決定する。これにより、ユーザに対して高い臨場感や没入感を提供することができる。

　＜２．第２の実施形態＞
　次に、図８～図１１に基づいて、本開示の第２の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、第１の実施形態と同様、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。ただし、投影空間に主表示装置が配置されている点で相違する。

　［２．１．空間構成］
　図８は、本実施形態に係る画像表示システムにより画像が投影される投影空間Ｖの構造と、投影装置１０及び主表示装置２０の配置とを示す説明図である。図９は、図８の主表示装置２０が配置された投影空間Ｖを投影装置１０側から見た図を示す説明図である。

　主表示装置２０は、例えば４Ｋ２Ｋ解像度のパネル表示装置等であり、ユーザに対して高解像度の画像を提供することができる。このような主表示装置２０は、例えば正面（Ｓ面）の前に設置される。なお、主表示装置２０は、図９においてＳ面の中央に設置されているが、本開示はかかる例に限定されず、主表示装置２０の背面がＳ面と対向するように配置されていれば、その配置は制約されない。また、図８において、投影装置１０は天井（Ｃ面）に設置されているが、床面（Ｆ面）上、あるいは、床面（Ｆ面）から一定の高さ位置に設置されてもよい。

　図８に示す状態で投影装置１０を用いて画像を投影すると、図９に示すように、正面（Ｓ面）、天井（Ｃ面）、床面（Ｆ面）、左側面（Ｌ面）、右側面（Ｒ面）の５カ所に画像が投影される。また、本実施形態の場合、画像入力部１１４から入力された画像そのものが主表示装置２０に表示される場合がある。このとき、投影装置１０からは主表示装置２０では表示されない周辺映像が投影される。このように、主表示装置２０と投影装置１０とを組み合わせて画像を出力することで、ユーザに対して高い臨場感や没入感を提供することができる。

　以下では、Ｓ面に主表示装置２０が配置されたことによる、第１の実施形態に係る画像表示システムとの相違点について主として説明し、第１の実施形態と同一構成及び同一機能の構成要素についての詳細な説明は省略する。

　［２．２．情報処理装置の機能構成］
　まず、図１０に基づいて、本実施形態に係る情報処理装置２００の機能構成を説明する。なお、図１０は、本実施形態に係る情報処理装置２００の機能構成を示す機能ブロック図である。本実施形態に係る情報処理装置２００は、第１の実施形態と同様、解析処理部１１０と、位置制御部１２０と、画像生成部１３０とからなる。本実施形態に係る情報処理装置２００の、第１の実施形の情報処理装置１００との違いは、画像生成部１３０に、正面周囲画像生成部１３４が設けられている点のみである。

　正面周囲画像生成部１３４は、入力画像のうち正面（Ｓ面）に投影される正面画像から、主表示装置２０の表示面部分に対応する画像領域以外の部分を正面周辺画像として生成する。図９に示したように、本実施形態に係る投影空間Ｖには主表示装置２０が配置されている。本実施形態では、入力画像の少なくとも一部は主表示装置２０に表示され、投影装置１０により投影される画像が主表示装置２０の表示面の周囲の面に表示される。なお、主表示装置２０にのみ入力画像が表示される場合もある。このとき、投影装置１０により投影される画像としては、例えば後述する情動映像等がある。

　このように、投影空間Ｖ内に主表示装置２０が配置されている場合、投影装置１０により正面（Ｓ面）に投影される画像は、主表示装置２０に表示される入力画像を妨げないように、主表示装置２０の表示面に対応する部分を除いたものとされる。正面周囲画像生成部１３４では、投影装置１０により正面（Ｓ面）へ投影されるこのような画像を生成する。なお、本実施形態では、主表示装置２０に表示される画像を「主表示画像」とし、主表示装置２０以外のＳ面に投影される画像を「正面周囲画像」と称する。上述したように、主表示装置２０にのみ入力画像が表示される場合、主表示画像は入力画像そのものとなる。

　正面周囲画像生成部１３４は、対応関係処理部１３１において正面周囲画像に相当すると対応付けられ抽出された領域に対して、所定の処理を行う。例えば、正面周囲画像生成部１３４は、主表示画像の周辺画像として適するように幾何補正等の必要な画像処理を施した画像を生成する幾何補正画像処理や、主表示画像から補間した画像を生成する補間画像処理、主表示画像と相関のある画像を生成する相関画像処理等を行う。正面周囲画像生成部１３４は、必要な処理を施し生成した正面周囲画像を出力画像生成部１３３へ出力する。したがって、出力画像生成部１３３から出力される出力画像は、非正面画像生成部１３２により生成された非正面画像と、正面周囲画像生成部１３４により生成された正面周囲画像とを組み合わせたものとなる。

　その他の情報処理装置２００の機能部の構成は、図４に示した第１の実施形態に係る情報処理装置１００と同一であるため、ここではその説明を省略する。

　［２．３．画像表示処理］
　次に、本実施形態に係る情報処理装置２００による画像表示処理を説明する。本実施形態に係る画像表示処理は、第１の実施形態と同様、解析処理、投影装置１０の位置制御処理、及び画像生成処理とからなる。本実施形態に係る画像表示処理は、投影空間Ｖ内に主表示装置２０が配置されたことにより、第１の実施形態と比較して、解析処理における空間構造解析と、画像生成処理における正面周囲画像生成とが新たに追加される。なお、投影装置１０の位置制御処理は、図６に示した処理と同様であるため、以下では、図１１に基づいて、本実施形態に係る解析処理と画像生成処理について説明する。なお、図１１は、本実施形態に係る情報処理装置２００による画像生成処理を示すフローチャートである。

（１）解析処理
　本実施形態に係る解析処理は、図５に示した第１の実施形態に係る解析処理と流れは同じであるが、ステップＳ１００の処理内容が相違する。すなわち、空間構造解析部１１７により、投影装置１０により画像が投影される投影空間の構造と、投影空間及び主表示装置２０との位置関係とが解析される（Ｓ１１０）。まず、空間構造解析部１１７は、投影空間を構成するＳ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面の各面の位置と、投影空間における投影装置１０の位置を取得し、これらの面と投影装置１０との位置関係を解析する。各面及び投影装置１０の位置は、例えば、投影空間に設置された奥行きセンサ（ｄｅｐｔｈセンサ）や測距計等の検出結果に基づいて自動的に行ってもよく、ユーザが手動で指定することで行ってもよい。

　また、空間構造解析部１１７は、主表示装置２０と投影空間を構成する各面との位置関係を解析する。この際、空間構造解析部１１７は、少なくとも、投影装置１０から見たときに、主表示装置２０の表示面が含まれる面との位置関係を取得すればよい。例えば図９においては、主表示装置２０の表示面はＳ面にすべて含まれていることから、空間構造解析部１１７は、主表示装置２０とＳ面との位置関係を取得する。ステップＳ１１０により解析された投影空間の空間構造及び主表示装置２０との位置関係は、空間構造保持部１１８に記録される（Ｓ１１１）。

　ステップＳ１１３以降の処理は第１の実施形態と同様であり、画像入力部１１４に主画像信号が入力されると、画像解析部１１５により入力画像の解析が行われる（Ｓ１１３）。入力画像の内容がどのようなカテゴリに属するかが判別されると、投影位置決定部１１６により、入力画像を投影する投影空間における投影領域が決定される（Ｓ１１４）。

（２）画像生成処理
　次に、図１１に基づいて、投影装置１０により投影される出力画像の生成処理について説明する。本実施形態に係る画像生成処理も、図７に示した第１の実施形態の画像生成処理とほぼ同一であるが、正面周囲画像を生成し、正面周囲画像と非正面画像とを結合して出力画像とする点が相違する。また、画像生成部１３０により処理される画像は、投影装置１０により投影される画像であるが、本実施形態では、主表示装置２０に画像入力部１４から入力された入力画像が表示され、それ以外の面には入力画像とは異なる画像（例えば、後述する入力画像から生成された情動映像）が表示されるものとする。この入力画像は異なる画像を、本実施形態では投影画像と称する。

　本実施形態に係る画像生成処理は、図１１に示すように、対応関係処理部１３１が投影画像の入力を受けることにより開始する（Ｓ２３０）。投影画像の入力があるまでは、繰り返しステップＳ２３０の処理が行われる。投影画像が入力されると、対応関係処理部１３１は、投影画像と投影空間との対応付けを行う（Ｓ２３１）。ステップＳ２３１の処理は、図７のステップＳ１３１と同様に行われる。対応関係処理部１３１は、画像入力部１１４からの投影画像と、設定変更部１２５からの設定制御量とに基づいて、投影画像から、Ｓ面、Ｆ面、Ｃ面、Ｌ面、Ｒ面の各面に投影される画像領域を特定する。

　また、対応関係処理部１３１は、主表示装置２０に表示される主表示画像を考慮して、主表示装置２０の周囲の正面（Ｓ面）に投影装置１０により投影される正面周囲画像を生成する。対応関係処理部１３１は、ステップＳ２３１によりＳ面に投影される投影画像の画像領域から、主表示装置２０の表示面に対応する部分を除いた正面周囲画像の領域を特定する。

　次いで、正面周囲画像生成部１３４は、ステップＳ２３１にて特定された正面周囲画像の領域に対して所定の処理を行い、正面周囲画像を生成する（Ｓ２３２）。正面周囲画像生成部１３４は、例えば、主表示画像の周辺画像として適するように幾何補正等の必要な画像処理を施した画像を生成する幾何補正画像処理や、主表示画像から補間した画像を生成する補間画像処理、主表示画像と相関のある画像を生成する相関画像処理等を行う。正面周囲画像生成部１３４は、必要な処理を施し生成した正面周囲画像を出力画像生成部１３３へ出力する。

　そして、対応関係処理部１３１は、投影画像が正面（Ｓ面）以外の面（すなわち、Ｆ面、Ｃ面、Ｌ面、Ｒ面）に投影されるか否かを判定する（Ｓ２３３）。例えば、ステップＳ２３１にて非正面画像が特定された場合、対応関係処理部１３１は、正面以外の面に投影画像が投影されると判定することができる。ステップＳ２３３にて正面以外の面に投影画像が投影されると判定されると、非正面画像生成部１３２により、これらの面に表示される非正面画像が最適となるように画像処理が行われる（Ｓ２３４）。

　非正面画像生成部１３２では、例えば、Ｆ面、Ｃ面、Ｌ面、Ｒ面での投影に適するように幾何補正等の必要な画像処理を施した画像を生成する幾何補正画像処理や、正面画像から補間した画像を生成する補間画像処理、正面画像と相関のある画像を生成する相関画像処理等が行われる。非正面画像生成部１３２は、必要な処理が施し生成した非正面画像を出力画像生成部１３３へ出力する。なお、ステップＳ２３３において、投影画像が正面（Ｓ面）のみに表示されると判定された場合には、ステップＳ２３４の処理を行わす、ステップＳ２３５の処理へ進む。

　そして、出力画像生成部１３３により、正面周囲画像と非正面画像とを統合し、投影装置１０から投影する出力画像が生成される（Ｓ２３５）。正面周囲画像と非正面画像との組み合わせは、例えば、２つの画像をそのまま組み合わせたり、２つの画像の境界領域をぼかしたり重ねたりしてもよい。出力画像生成部１３３により生成された出力画像は、投影装置１０に出力され、投影空間に投影される。

　以上、本開示の第２の実施形態に係る画像表示システムの構成とその機能について説明した。本実施形態によれば、投影空間に主表示装置が配置されている場合にも、主表示装置２０に表示される入力画像の内容に応じて、主表示装置２０の周囲に投影される投影画像の投影領域が決定される。これにより、ユーザに対して高い臨場感や没入感を提供することができる。

　＜３．第３の実施形態＞
　次に、図１２～図１４に基づいて、本開示の第３の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、第１の実施形態と同様、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。さらに、本実施形態では、投影空間におけるユーザの位置を検出し、投影領域を制御する。

　［３．１．空間構成］
　図１２は、本実施形態に係る画像表示システムにより画像が投影される投影空間Ｖの構造と、投影装置１０の配置とを示す説明図である。図１２に示すように、投影空間Ｖの構成は、図１及び図２と同一であるが、投影装置１０よりも投影面側にユーザが存在する点で相違する。本実施形態では、ユーザが投影空間Ｖ内に存在するとき、投影装置１０から画像が投影される投影領域がユーザ位置に応じて制約される。

　投影装置１０よりも投影面側にユーザが存在する場合、例えば、図１２上側に示すように、ユーザが投影装置１０の近くにおり、正面（Ｓ面）との距離が所定の距離以上あれば、投影装置１０が投射する光をユーザが遮ることはない。この場合には、第１の実施形態と同様の画像表示処理を行えばよい。一方、ユーザと正面（Ｓ面）との距離が所定の距離より近くなると、ユーザが投影装置１０が投射する光を遮ってしまい、床面（Ｆ面）に影が生じてしまう。そこで、本実施形態では、投影空間Ｖ内のユーザの位置を検出し、投影領域を制御することで、床面（Ｆ面）への画像投影による臨場感や没入感をユーザが体験できるようにしつつ、目障りな影が発生しないようにする。

　以下では、投影空間Ｖ内にユーザが存在することによる、第１の実施形態に係る画像表示システムとの相違点について主として説明し、第１の実施形態と同一構成及び同一機能の構成要素についての詳細な説明は省略する。

　［３．２．情報処理装置の機能構成］
　まず、図１３に基づいて、本実施形態に係る情報処理装置３００の機能構成を説明する。なお、図１３は、本実施形態に係る情報処理装置３００の機能構成を示す機能ブロック図である。本実施形態に係る情報処理装置３００は、第１の実施形態と同様、解析処理部１１０と、位置制御部１２０と、画像生成部１３０とからなる。本実施形態に係る情報処理装置３００の、第１の実施形の情報処理装置１００との違いは、解析処理部１１０に、ユーザ位置検出部１１９が設けられている点のみである。

　ユーザ位置検出部１１９は、投影空間Ｖ内に存在するユーザの位置を検出する。ユーザ位置検出部１１９としては、例えば、奥行きセンサ（ｄｅｐｔｈセンサ）、人感センサ、リモコン位置検出等を用いることができる。投影空間Ｖ内においてユーザが存在することによって影が発生する影発生領域が予め設定されており、ユーザ位置検出部１１９は、当該影発生領域にユーザが存在するか否かを検出する。ユーザ位置検出部１１９の検出結果は投影位置決定部１１６に出力される。投影位置決定部１１６は、画像解析部１１５の解析結果と、ユーザ位置検出部１１９の検出結果とに基づいて、投影領域を決定する。

　その他の情報処理装置３００の機能部の構成は、図４に示した第１の実施形態に係る情報処理装置１００と同一であるため、ここではその説明を省略する。

　［３．３．画像表示処理］
　次に、本実施形態に係る情報処理装置３００による画像表示処理を説明する。本実施形態に係る画像表示処理は、第１の実施形態と同様、解析処理、投影装置１０の位置制御処理、及び画像生成処理とからなる。本実施形態に係る画像表示処理は、解析処理において、投影空間Ｖ内におけるユーザの位置に応じて画像の投影領域が変更される点で第１の実施形態と相違する。なお、投影装置１０の位置制御処理及び画像生成処理は、図６及び図７に示した処理と同様であるため、以下では図１４に基づいて、本実施形態に係る解析処理について説明する。なお、図１４は、本実施形態に係る情報処理装置３００による解析処理を示すフローチャートである。

（１）解析処理
　本実施形態に係る画像及び空間の解析処理では、まず、図１４に示すように、空間構造解析部１１７により、投影装置１０により画像が投影される投影空間の構造が解析される（Ｓ３１０）。ステップＳ３１０により解析された投影空間の空間構造は、空間構造保持部１１８に記録される（Ｓ３１１）。ステップＳ３１０及びＳ３１１の処理は、図５のステップＳ１１０及びＳ１１１と同様に行われる。

　次いで、ユーザ位置検出部１１９により、投影空間Ｖ内にいるユーザを検出してその位置が測定される（Ｓ３１２）。ユーザの位置の検出は、上述したように、例えば、奥行きセンサ（ｄｅｐｔｈセンサ）、人感センサ、リモコン位置検出等を用いて行うことができる。投影空間Ｖ内にいるユーザ位置の検出が完了すると、ユーザ位置を記憶部（図示せず。）に記録する（Ｓ３１３）。

　また、画像入力部１１４に画像が入力されたか否かが判定される（Ｓ３１４）。画像入力部１１４に主画像信号が入力されるまでは、ステップＳ３１４の処理が繰り返し実行される。画像入力部１１４に主画像信号が入力されると、画像解析部１１５により入力画像の解析が行われる（Ｓ３１５）。ステップ３１５での入力画像の解析では、第１の実施形態と同様、入力画像の内容がどのようなカテゴリに属するかを判別する。ステップＳ３１４及びＳ３１５の処理は、図５のステップＳ１１２及びＳ１１３と同様に行われる。

　その後、投影位置決定部１１６により、ステップＳ３１５での解析結果に基づいて、入力画像を投影する投影空間における投影領域が決定される（Ｓ３１６）。まず、投影位置決定部１１６は、解析結果が、予め設定されているカテゴリに該当するか否かを判定する。該当するカテゴリがあれば、予め設定されている当該カテゴリに最適な投影領域に入力画像を表示させることを決定する。一方、予め設定されているカテゴリに該当するものがない場合には、投影位置決定部１１６は、入力画像の投影領域を、例えば特定のカテゴリと同一としてもよく、予め設定されたデフォルトの投影領域としてもよい。ステップＳ３１６の処理も、図５のステップＳ１１４と同様に行われる。

　また、投影位置決定部１１６は、ステップＳ３１３にて記録されたユーザ位置に基づいて、入力画像の投影領域に制約があるか否かを判定する（Ｓ３１７）。投影位置決定部１１６は、ユーザ位置が影発生領域内にある場合、ユーザ位置による投影位置の制約を考慮して、投影領域を再演算し、最適な投影領域を決定する（Ｓ３１８）。例えば、投影領域に含まれる床面（Ｆ面）の投影領域を正面（Ｓ面）側に狭くしたり、床面（Ｆ面）の投影領域をなくしたりしてもよい。投影位置決定部１１６は、このようにして再度設定された投影領域を、入力画像の投影位置として位置制御部１２０へ出力する。

　一方、ステップＳ３１７にて、ユーザ位置が影発生領域外にあり、投影位置に制約がないと判定された場合には、ステップ３１６にて決定された投影領域を入力画像の投影位置として位置制御部１２０へ出力する。

　以上、本開示の第３の実施形態に係る画像表示システムの構成とその機能について説明した。本実施形態によれば、投影空間内にユーザが存在する場合、ユーザによって投影される画像が遮られる場合には、画像が遮られないように入力画像を投影する投影領域を再設定する。これにより、ユーザに対して高い臨場感や没入感を提供することができる。

　＜４．第４の実施形態＞
　次に、図１５及び図１６に基づいて、本開示の第４の実施形態に係る画像表示システムの概略構成について説明する。本実施形態に係る画像表示システムは、第１の実施形態と同様、プロジェクタ等の投影装置により空間に投影される画像の内容を解析し、画像の内容に応じて、投影空間における画像の投影領域を決定する。ただし、本実施形態では、第２の実施形態と同様、投影空間に主表示装置２０が配置されている。さらに、本実施形態では、第３の実施形態と同様、投影空間におけるユーザの位置を検出し、投影領域を制御する。すなわち、本実施形態の投影空間Ｖには、図１５に示すように、正面（Ｓ面）の前に主表示装置２０が配置されており、また、ユーザＰが存在する。

　本実施形態は、第２の実施形態及び第３の実施形態の技術を組み合わせた例である。図１６の機能ブロック図に示すように、図４に示した第１の実施形態の情報処理装置１００と比較して、本実施形態に係る情報処理装置４００は、解析処理部１１０にユーザ位置検出部１１９と、画像生成部１３０に正面周囲画像生成部１３４とをさらに備える。これにより、ユーザが投影空間Ｖ内に存在するとき、投影装置１０から画像が投影される投影領域がユーザ位置に応じて制約することができ、投影装置１０により投影される画像がユーザによって遮られることがない。また、投影空間に主表示装置２０が配置されていることで、主表示装置２０に表示される入力画像の内容に応じて、主表示装置２０の周囲に投影される投影画像の投影領域が決定される。これにより、ユーザに対して高い臨場感や没入感を提供することができる。

　＜５．情動映像生成＞
　上記実施形態に係る画像表示システムにおいて、投影空間に表示される画像は、画像入力部１１４に入力された入力画像であってもよく、入力画像とは異なる画像であってもよい。ここで、ユーザの臨場感や没入感を高めるために、従来、入力画像に合わせた情動映像を作成し、入力画像とともに表示させることが行われている。しかし、従来作成される情動映像には、クリエータの感性が大きく影響しており、作成された情動映像も入力画像に対して後付けで表示されるものであった。

　上記実施形態に係る画像表示システムでは、入力画像とともに表示される情動映像をリアルタイムで自動的に作成することが望ましい。そこで、上記実施形態に係る画像表示システムに、以下のような情動映像処理部１４０を設けることで、入力映像との親和性の高い情動映像を自動的に生成し、ユーザの臨場感や没入感を高めることができるようになる。以下、図１７～図２８に基づいて、情動映像処理部１４０の構成とその機能について詳細に説明する。なお、以下では、上述の第２の実施形態の画像表示システムにおいて、主表示装置２０に入力画像を表示し、投影装置１０により情動映像処理部１４０にて作成される情動映像が表示される場合を想定し、説明する。

　［５．１．機能構成］
　まず、図１７に基づいて、情動映像処理部１４０の機能構成を説明する。なお、図１７は、情動映像処理部１４０の機能構成を示す機能ブロック図である。本実施形態に係る情動映像処理部１４０は、図１７に示すように、主表示画像入力部１４１と、コンテンツ解析部１４３と、情動マッチング処理部１４５と、近似画像記憶部１４７と、情動映像生成部１４９とからなる。

　主表示画像入力部１４１は、主表示装置２０に表示される入力画像が入力される機能部である。入力画像は、例えば映画やドラマ、スポーツ等の映像コンテンツであり、主表示装置２０に表示される。主表示画像入力部１４１は、入力画像をコンテンツ解析部１４３に出力する。

　コンテンツ解析部１４３は、入力画像をリアルタイムで解析し、コンテンツに含まれる特徴量を取得する。コンテンツ解析部１４３は、例えば、入力画像（コンテンツ）を視聴するユーザの顔や表情を解析する顔表情解析部１４３ａや、ユーザの視線を解析する視線解析部１４３ｂ、ユーザの揺動を解析する搖動解析部１４３ｃ等を備えている。また、コンテンツ解析部１４３は、コンテンツの特徴量やパターンを使ったシーン解析手法によりシーンを解析するシーン解析部１４３ｄや、コンテンツに含まれる音の強弱や変化に基づき盛り上がりを検出する盛り上がり検出部１４３ｅ等を備えている。コンテンツ解析部１４３による解析結果は、情動マッチング処理部１４５及び情動映像生成部１４９へ出力される。

　情動マッチング処理部１４５は、コンテンツの特徴量に基づいて表示されている対象の動きを解析し、生成される情動映像の動きを同期させるための同期情報を生成する。情動マッチング処理部１４５による動き解析処理についての詳細は後述する。情動マッチング処理部１４５により生成された同期情報は、情動映像生成部１４９に出力される。

　近似画像記憶部１４７は、情動映像の元画像となる画像を記憶する記憶部である。近似画像記憶部１４７は、図１７では情動映像処理部１４０に設けられているが、本開示はかかる例に限定されず、例えばネットワークを介して通信可能に接続された、画像ファイルサーバ等で合ってもよい。

　情動映像生成部１４９は、コンテンツ解析部１４３による解析結果と、情動マッチング処理部１４５による処理結果とに基づいて、近似画像記憶部１４７から情動映像の元画像を取得し、情報映像を生成する。情動映像の生成処理については後述する。情動映像生成部１４９により生成された情動映像は、例えば図１０に示す画像生成部１３０の対応関係処理部１３１に投影画像として入力される。

　［５．２．情動映像生成処理］
　次に、図１８～図２８に基づいて、情動映像処理部１４０による情動映像生成処理について説明する。なお、図１８は、情動映像の元画像の選択処理を示すフローチャートである。図１９は、入力画像から局所特徴点が抽出された状態の一例を示す説明図である。図２０は、特徴点の動きベクトルが一致した状態の一例を示す説明図である。図２１は、入力画像の近似画像を近似画像記憶部１４７から選択する処理を示す説明図である。図２２は、情動映像処理部１４０による情動映像生成処理を示すフローチャートである。図２３は、コンテンツの同期情報に基づき情動映像の動き方向が決定された例を示す説明図である。図２４は、コンテンツの同期情報に基づき情動映像の動き方向が決定された他の例を示す説明図である。図２５は、コンテンツの色相に基づき情動映像の色が決定された例を示す説明図である。図２６は、夕日のシーンにおける輝度のヒストグラムの一例を示す説明図である。図２７は、日中のシーンにおける輝度のヒストグラムの一例を示す説明図である。図２８は、ＲＧＢ毎の輝度のヒストグラムの一例を示す説明図である。

　ここでは、一例として、コンテンツ解析部１４３のシーン解析部１４３ｄにより、コンテンツの特徴量を用いてシーン解析を行い、情動映像を生成する方法について説明する。かかる処理では、まず、コンテンツに表示されている物体が何かを認識（解析）する必要がある。一般的にはコンテンツから動きの対象となる物体を特定し、動き情報を取得する。このため、図１８に示すように、シーン解析部１４３ｄは、まず、コンテンツの画像から、画像中に含まれる特徴点を抽出する（Ｓ５１０）。

　画像中の特徴点Ｐｃを抽出する手法としては、例えば図１９に示すように、画像３０ＡからＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）という局所特徴量を抽出する手法が知られている。ＳＩＦＴは、特徴点の検出と特徴量の記述を行うアルゴリズムである。かかる手法は、検出した特徴点に対して、画像の回転、スケール変化、照明変化等に頑健な特徴量を記述するため、イメージモザイク等の画像のマッチングや物体認識、物体検出に広く用いられている画像処理技術である。

　次いで、画像中の特徴点Ｐｃが抽出されると、情動映像生成部１４９は、その物体を特定するためのマッチング処理を行い、入力画像に近似する近似画像を選択する（Ｓ５１２）。近似画像は、近似画像記憶部１４７に記憶されている画像から選択される。情動映像生成部１４９は、ステップＳ５１０にて特徴点を抽出した画像と特徴点が近似する画像を選択する。例えば、図２０に示すように、特徴点をマッチングすることで、２つの画像間で対応する場所を求める。このとき、２つの画像の特徴点を結んだ直線は、両端の特徴点の特徴ベクトルが似ている（すなわち、距離が小さい）ことを表している。

　このように特徴点の特徴ベクトルが近い画像を、近似画像記憶部１４７に記憶されている画像群から選択する。例えば、図２１に示すように、近似画像記憶部１４７に記憶されている画像群４０に含まれる画像４０ａ～４０ｊのうち、特徴ベクトルの近い特徴点が集中している画像４０ａが、情動映像の元画像として選択される。なお、ここでは、特徴点のマッチングに多少の間違いがあっても、許容される。

　そして、情動映像生成部１４９は、選択した近似画像を情動映像の元画像として、情動映像を作成する（Ｓ５１４）。ここで、図２２～図２５に基づいて、情動映像の生成処理を説明する。

　図２２に示すように、情動映像生成部１４９は、まず、入力画像であるコンテンツの動きベクトルからその方向性を検出し、情動映像の動き方向を決定する（Ｓ５１４１）。ステップＳ５１４１の処理により、例えば、図２３に示すような、入力画像３０Ｂの人物の手の動きに合わせて、手の動き方向に流れるようなオブジェクト映像を情動映像４０として表示させることができる。また、図２４に示すように、入力画像３０ｃに雷のシーンがあるとき、稲妻の動き方向に合わせて雷の激しさを表すようなオブジェクト４２ａ、４２ｂを表示した情動映像４０を生成することもできる。

　図２４に基づき、具体的な処理を説明すると、まず、入力画像から、雷の動きベクトルを検出する。動きベクトル検出技術としては、例えば、動き補償フレーム間予測による手法がある（例えば、特公昭６２－２５１５号公報、特公平１－３３９９４号公報、特公平６－１４７３９号公報、特開昭６２－２９１２８０号公報、特公平８－１３１４０号公報）。

　次いで、情動映像生成部１４９は、コンテンツ全体の色相に基づいて、情動映像の色を決定する（Ｓ５１４２）。コンテンツの色情報は、信号あるいは測色センサにより取得することができる。例えば、図２５に示すように、左側に表示された入力画像３０Ｄ全体について色度を測定し、平均色度を算出することで、コンテンツ全体の色相を特定する。そして、情動映像生成部１４９は、特定されたコンテンツ全体の色相に近い色の情動映像４０を生成する。例えば、夕日のシーンでは、色相的にオレンジからピンクの色の情動映像が生成される。

　情動映像生成部１４９は、このように生成された情動映像４０を、画像生成部１３０の対応関係処理部１３１に投影画像として入力する。情動映像は、画像生成部１３０により所定の画像処理が行われた後、投影装置１０により投影空間Ｖに投影される。

　図１８の説明に戻り、情動映像生成部１４９は、コンテンツからシーンチェンジを解析する（Ｓ５１６）。本実施形態では、シーンチェンジを、映像全体の輝度情報を用いて生成されたヒストグラムに基づき解析する。ヒストグラム（Ｈｉｓｔｏｇｒａｍ＝度数分布図）は、画像の輝度（明暗の度合い）の分布を表した図である。通常、横軸が輝度、縦軸がピクセル数（頻度）を表し、左側が暗い（黒い）ピクセル、右側が明るい（白い）ピクセルを表す。

　一例として、図２６及び図２７に、夕日のシーンを表す画像３０Ｅの輝度のヒストグラムと、日中のシーンを表す画像３０Ｆの輝度のヒストグラムとを示す。図２６の夕日のシーンでは、ヒストグラムは輝度の分布が左側に偏っているのに対し、図２７の日中のシーンでは、ヒストグラムは輝度の分布が右側に偏っている。このように、夕日のヒストグラムと灯台のヒストグラムとは形状が明らかに異なる。これより、情動映像生成部１４９は、シーンチェンジが起こったと判断する。

　また、図２６及び図２７では、輝度のヒストグラムによりシーンチェンジを判断したが、輝度のヒストグラムに加え、各色のヒストグラムによりシーンチェンジを判断することも可能である。例えば、図２８に、ある風景の入力画像３０Ｇの輝度のヒストグラムと、各色のヒストグラムとを示す。図２８に示すように、輝度のヒストグラムは、各色をすべて合わせた明暗の度合いを表している。一般的に、輝度情報はＧの出現頻度で決まるため、全体のヒストグラムとＧのヒストグラムは似ている。このように、輝度のヒストグラムに加え、各色のヒストグラムを用いてシーンチェンジを判断することで、より精度の高い検出を実現できる。

　ステップＳ５１６にてシーンチェンジが起こったと判断したとき、情動映像生成部１４９は、新たなシーンの画像に対し、図１８に示す処理を実行する。これにより、シーンチェンジが検出される度に、新たなシーンに対応する情動映像を生成することができる。

　＜６．まとめ＞
　以上、本開示の実施形態に係る画像表示システムについて説明した。かかる画像表示システムによれば、画像の内容に応じて投影装置の投影位置が変更されるので、ユーザに高い臨場感や没入感を提供することができる。また、主表示装置と投影装置が同一の投影空間内に配置されている場合、主表示装置に表示される画像の内容に応じて適切に生成された周辺画像が投影装置により重畳投影される。この場合にも、主表示装置に表示される画像の内容に応じて投影装置の投影位置が変更されるので、ユーザに高い臨場感や没入感を提供することができる。さらに、ユーザの位置に応じて投影位置が変更されるので、ユーザ自身の影の映り込みを防ぎながら、ユーザに高い臨場感や没入感を与えることができる。投影装置による投影位置も、ユーザ自身の嗜好に合わせて設定することが可能であり、よりユーザが好む映像環境を生成することができる。

　また、入力画像に対応して、その周辺視野に視聴者の情動を誘導するような情動映像を表示することで、視聴者により高い没入感を与えることができる。本開示の画像表示システムによれば、入力画像であるコンテンツの特徴点から物体を認識し、近似画像を取得し、情動映像の元画像とする。情動映像の生成では、コンテンツに含まれる特徴点の動きベクトルから推定された方向の延長線上に動きがあるように設定され、また、コンテンツの色相に近い色が設定される。さらに、コンテンツの輝度情報に基づいて生成されたヒストグラムの変化からシーンチェンジを判断することで、新しい情動映像に切り替えることもできる。これにより、コンテンツと非常に親和性の高い情動映像を、リアルタイムに生成することができる。

　＜７．ハードウェア構成＞
　最後に、上記実施形態に係る情報処理装置１００のハードウェア構成例について説明する。図２９は、上記実施形態に係る情報処理装置１００のハードウェア構成を示すハードウェア構成図である。なお、第２～第４の実施形態に係る情報処理装置２００～４００も、図２９に示す情報処理装置１００のハードウェア構成と同様に構成することができる。

　本実施形態に係る情報処理装置１００は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理装置１００は、図２９に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理装置１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

　ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

　入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

　ストレージ装置９０８は、情報処理装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　なお、上記実施形態では、投影装置１０により画像を投影する投影空間Ｖにおいて、投影装置１０の正面（面Ｓ）は、投影方向に対して垂直な面であるとしたが、本開示はかかる例に限定されない。例えば、投影装置１０の投影方向に正視したとき、コーナー部等のように鑑賞者の正面に当たる面が投影方向に対して垂直な面ではない場合もある。また、カーテン等の波打っている面に対して画像を投影する場合もある。このような場合には、非正面画像だけでなく、正面画像や正面周囲画像に対しても、投影面に適切に画像が表示されるように画像処理を行えばよい。

　例えば、上記第１の実施形態及び第３の実施形態のように、投影空間Ｖに画像を投影する場合には、解析された空間構造に応じて正面画像を投影する面とその投影領域を決定し、正面画像を投影する投影面の傾斜や形状に応じて画像処理を行う正面画像生成部を、画像生成部に設けてもよい。あるいは、すべて非正面画像と考え、非正面画像生成部にて各投射面に対して適切に画像が表示されるように画像処理を行うようにしてもよい。また、上記第２の実施形態及び第４の実施形態のように、投影空間Ｖに主表示装置が設けられている場合には、正面周囲画像生成部にて、正面周囲画像を投影する投射面の傾斜や形状に応じて画像処理を行えばよい。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　投影装置により投影される入力画像の内容を解析する画像解析部と、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置。
（２）
　前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
　解析された前記空間構造と前記投影領域とに基づいて、前記空間の投影面に対して投影させる前記入力画像の画像領域をそれぞれ決定する対応関係処理部と、
を備える、前記（１）に記載の情報処理装置。
（３）
　前記空間の投影面に応じて、前記入力画像から、当該投影面に投影される前記画像領域の画像に対して画像処理を行い、出力画像を生成する画像生成部を備える、前記（２）に記載の情報処理装置。
（４）
　前記対応関係処理部は、前記入力画像について、前記投影装置による投影方向に対して垂直となる第１の投影面に投影される正面画像領域と、前記第１の投影面以外に投影される非正面画像領域とを決定し、
　前記画像生成部は、前記非正面画像領域に対して前記投影面の傾斜に応じた画像処理を行う、前記（３）に記載の情報処理装置。
（５）
　前記空間内に前記入力画像の少なくとも一部が表示される主表示装置が設けられているとき、
　前記空間構造解析部は、前記空間構造の解析とともに、解析された前記空間構造と前記主表示装置との位置関係を解析し、
　前記画像生成部は、前記正面画像領域及び前記非正面画像領域のうち、前記主表示装置の表示面が含まれている領域に対応する前記入力画像の画像部分を除去する、前記（４）に記載の情報処理装置。
（６）
　前記画像解析部は、前記入力画像の画像内容に関するカテゴリを解析する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（７）
　前記画像解析部は、前記入力画像のメタデータに基づいて、当該入力画像の内容を解析する、前記（１）～（５）のいずれか１項に記載の情報処理装置。
（８）
　前記投影位置決定部は、前記投影空間内に存在するユーザ位置に基づいて、決定した前記入力画像の投影領域を変更する、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
　解析された前記空間構造及び前記入力画像の投影領域に基づいて、前記投影装置の設定を制御する制御部を備える、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記制御部は、ユーザの嗜好に応じて前記投影装置の設定を変更する、前記（９）に記載の情報処理装置。
（１１）
　前記入力画像として表示されるコンテンツの特徴量に基づいて、前記入力画像の周囲に表示される情動映像を生成する情動映像処理部を備える、前記（３）～（１０）のいずれか１項に記載の情報処理装置。
（１２）
　前記情動映像処理部は、
　前記コンテンツの特徴量に基づいて当該コンテンツに含まれる動き情報を抽出し、当該動き情報に基づいて前記情動映像を生成するための元画像を取得する元画像取得部と、
　前記コンテンツの画像全体の色相に基づいて、前記情動映像の色を決定する色決定部と、
　取得された前記元画像、前記情動映像の色に基づいて、前記情動映像を生成する情動映像生成部と、
を備える、前記（１１）に記載の情報処理装置。
（１３）
　前記元画像取得部は、前記コンテンツの画像の動き情報に基づいて、選択対象となる複数の元画像からなる元画像群から、前記コンテンツの画像と特徴点の類似度の高い元画像を取得する、前記（１２）に記載の情報処理装置。
（１４）
　前記コンテンツのシーンチェンジを解析し、前記情動映像の切り替えを判定する情動映像切替判定部を備える、前記（１１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
　前記画像生成部は、前記入力画像及び前記情動映像に基づいて、出力画像を生成する、前記（１１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
　投影装置により投影される入力画像の内容を解析すること、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定すること、
とを含む、情報処理方法。
（１７）
　コンピュータを、
　投影装置により投影される入力画像の内容を解析する画像解析部と、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置として機能させるプログラム。
（１８）
　画像を投影する投影装置と、
　前記投影装置により投影される入力画像の内容を解析する画像解析部と、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、画像表示システム。

　１００　　情報処理装置
　１１０　　解析処理部
　１１１　　放送信号受信部
　１１２　　撮像部
　１１３　　記憶部
　１１４　　画像入力部
　１１５　　画像解析部
　１１６　　投影位置決定部
　１１７　　空間構造解析部
　１１８　　空間構造保持部
　１１９　　ユーザ位置検出部
　１２０　　位置制御部
　１２１　　投影位置制御部
　１２２　　ユーザ設定部
　１２３　　設定情報保持部
　１２４　　制御量決定部
　１２５　　設定変更部
　１３０　　画像生成部
　１３１　　対応関係処理部
　１３２　　非正面画像生成部
　１３３　　出力画像生成部
　１３４　　正面周囲画像生成部
　１４０　　情動映像処理部
　１４１　　主表示画像入力部
　１４３　　コンテンツ解析部
　１４３ａ　顔表情解析部
　１４３ｂ　視線解析部
　１４３ｃ　搖動解析部
　１４３ｄ　シーン解析部
　１４３ｅ　検出部
　１４５　　情動マッチング処理部
　１４７　　近似画像記憶部
　１４９　　情動映像生成部

Claims

　投影装置により投影される入力画像の内容を解析する画像解析部と、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置。
　前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
　解析された前記空間構造と前記投影領域とに基づいて、前記空間の投影面に対して投影させる前記入力画像の画像領域をそれぞれ決定する対応関係処理部と、
を備える、請求項１に記載の情報処理装置。
　前記空間の投影面に応じて、前記入力画像から、当該投影面に投影される前記画像領域の画像に対して画像処理を行い、出力画像を生成する画像生成部を備える、請求項２に記載の情報処理装置。
　前記対応関係処理部は、前記入力画像について、前記投影装置による投影方向に対して垂直となる第１の投影面に投影される正面画像領域と、前記第１の投影面以外に投影される非正面画像領域とを決定し、
　前記画像生成部は、前記非正面画像領域に対して前記投影面の傾斜に応じた画像処理を行う、請求項３に記載の情報処理装置。
　前記空間内に前記入力画像の少なくとも一部が表示される主表示装置が設けられているとき、
　前記空間構造解析部は、前記空間構造の解析とともに、解析された前記空間構造と前記主表示装置との位置関係を解析し、
　前記画像生成部は、前記正面画像領域及び前記非正面画像領域のうち、前記主表示装置の表示面が含まれている領域に対応する前記入力画像の画像部分を除去する、請求項４に記載の情報処理装置。
　前記画像解析部は、前記入力画像の画像内容に関するカテゴリを解析する、請求項１に記載の情報処理装置。
　前記画像解析部は、前記入力画像のメタデータに基づいて、当該入力画像の内容を解析する、請求項１に記載の情報処理装置。
　前記投影位置決定部は、前記投影空間内に存在するユーザ位置に基づいて、決定した前記入力画像の投影領域を変更する、請求項１に記載の情報処理装置。
　前記入力画像が投影される空間の空間構造を解析する空間構造解析部と、
　解析された前記空間構造及び前記入力画像の投影領域に基づいて、前記投影装置の設定を制御する制御部を備える、請求項１に記載の情報処理装置。
　前記制御部は、ユーザの嗜好に応じて前記投影装置の設定を変更する、請求項９に記載の情報処理装置。
　前記入力画像として表示されるコンテンツの特徴量に基づいて、前記入力画像の周囲に表示される情動映像を生成する情動映像処理部を備える、請求項３に記載の情報処理装置。
　前記情動映像処理部は、
　前記コンテンツの特徴量に基づいて当該コンテンツに含まれる動き情報を抽出し、当該動き情報に基づいて前記情動映像を生成するための元画像を取得する元画像取得部と、
　前記コンテンツの画像全体の色相に基づいて、前記情動映像の色を決定する色決定部と、
　取得された前記元画像、前記情動映像の色に基づいて、前記情動映像を生成する情動映像生成部と、
を備える、請求項１１に記載の情報処理装置。
　前記元画像取得部は、前記コンテンツの画像の動き情報に基づいて、選択対象となる複数の元画像からなる元画像群から、前記コンテンツの画像と特徴点の類似度の高い元画像を取得する、請求項１２に記載の情報処理装置。
　前記コンテンツのシーンチェンジを解析し、前記情動映像の切り替えを判定する情動映像切替判定部を備える、請求項１１に記載の情報処理装置。
　前記画像生成部は、前記入力画像及び前記情動映像に基づいて、出力画像を生成する、請求項１１に記載の情報処理装置。
　投影装置により投影される入力画像の内容を解析すること、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定すること、
とを含む、情報処理方法。
　コンピュータを、
　投影装置により投影される入力画像の内容を解析する画像解析部と、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、情報処理装置として機能させるプログラム。
　画像を投影する投影装置と、
　前記投影装置により投影される入力画像の内容を解析する画像解析部と、
　前記入力画像の解析結果に基づいて、前記入力画像が投影される投影空間における前記投影装置による投影領域を決定する投影位置決定部と、
を備える、画像表示システム。