WO2016158001A1

WO2016158001A1 - 情報処理装置、情報処理方法、プログラム及び記録媒体

Info

Publication number: WO2016158001A1
Application number: PCT/JP2016/053140
Authority: WO
Inventors: 青司木村
Original assignee: ソニー株式会社
Priority date: 2015-03-30
Filing date: 2016-02-03
Publication date: 2016-10-06
Also published as: US20180115745A1; US10531040B2; JPWO2016158001A1

Abstract

【課題】大画面で広い観視画角で、広視野映像を快適にかつ高画質で鑑賞することが可能な情報処理装置を提供する。【解決手段】鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、映像鑑賞品質情報に基づいて、注視対象領域の鑑賞品質を改善する品質改善処理部と、を備える、情報処理装置が提供される。

Description

情報処理装置、情報処理方法、プログラム及び記録媒体

　本開示は、情報処理装置、情報処理方法、プログラム及び記録媒体に関する。

　近年、広画角で製作された映像（例えば広角撮影映像、パノラマ、全天周、全天球、自由視点映像、ゲームコンテンツ等）や、擬似的に広画角に拡張された映像（周辺外挿画像、モザイキング画像）等の、いわゆる広視野映像を、大画面で広い観視画角で鑑賞する機会が増えてきている。例えば、鑑賞者がマウス、リモコン等のコントローラを用いて、画面中の見たい領域をスクロールしたりズームさせたりしてインタラクティブに見ることができる。しかし、例えば図５５のように、大画面に表示された映像２を複数人で鑑賞する際、鑑賞者の一人（鑑賞者Ｐ１）がコントローラ４を操作して映像のスクロールやズームを行うと、コントローラ４を操作していない人（鑑賞者Ｐ２～Ｐ４）は、映像の動きを予測しにくいため、映像酔いを引き起こすことがある。

　これに対して、例えば特許文献１には、インタラクティブな操作による視点切り替え時、コントローラ上の小画面表示の動きに対して相対的に抑制した状態で映像を大画面ディスプレイに表示することで、鑑賞者の映像酔いを低減させる技術が開示されている。また、特許文献２には、映像中の動き情報に基づいて、映像全体の品質を低下させることで映像酔いを低減させる技術が開示されている。

　一方、広視野映像を大画面で広い観視画角で鑑賞する形態として、例えば非特許文献１には、複数平面にプロジェクタ投影して映像を表示させるシステムが開示されている。また、非特許文献２には、実際は狭い画角で撮影された映像を動き等の情報を用いて擬似的に広画角の映像に変換する技術が開示されている。このように、映像を大画面で広い観視画角で表示すると、没入感のある映像を鑑賞者に提供することができる。

特開２０１３－１２１８１号公報特開２０１０－５０６４５号公報

"凸面鏡を用いた室内広視野投影システムの開発"、映像情報メディア学会誌、Vol. 64 (2010) No. 4 P 594-601 "奥行きモデルを用いた擬似広視野映像の実時間生成"、映像情報メディア学会誌 : 映像情報メディア 62(4), 550-557, 2008-04-01

　しかし、上記特許文献１では、図５５に示したような状況において、映像酔いを軽減させることはできるが、大画面ディスプレイに表示すると、視点切り替えやズーミングの操作感度が悪くなったように感じられてしまう可能性がある。また、上記特許文献２では、映像全体の品質を低下させることで映像酔いを低減させることはできるが、画面全体の画質が低下するため、視認性が悪くなり、鑑賞者がフラストレーションを引き起こす可能性もある。

　さらに、例えば図５６のように、高速で流れる動きを含む映像Ｚ等の、映像酔いを引き起こすような動きを含んだ領域Ｚ０を、誤ってコントローラ４を操作して拡大表示させたとする。この操作により画面全体に領域Ｚ０が拡大された映像Ｚ１を鑑賞してしまうと、鑑賞者は映像酔いを引き起こすことがある。上記特許文献１、２では、このように誤って表示された映像酔いを誘発させる領域の表示を事前に防止することはできない。

　また、上記非特許文献１の技術を用いて、例えば図５７のように、室内空間Ｖの壁Ｓ１～Ｓ５をスクリーンとして広視野映像をプロジェクタ投影した場合、投影される映像が明るくなり過ぎたり、コントラストが低下したりする。これは、各平面（壁Ｓ１～Ｓ５や柱Ｃ１、Ｃ２）の材質や、平面間の相互反射の影響を受けるためである。

　さらに、上記非特許文献２の技術を用いて現映像を変換し、擬似的に広画角の映像を生成した場合、生成された広画角の映像は、図５８に示すように、原映像６ｏと、原映像６ｏを推定して生成された外挿予測映像６ｅとから構成される。このとき、外挿予測映像６ｅ中にはアーティファクトや不自然な動きが含まれる可能性もあり、これによって広画角の映像の鑑賞者の没入感を低下させたり、映像酔いを誘発したりすることも考え得る。

　そこで、本開示では、大画面で広い観視画角で、広視野映像を快適にかつ高画質で鑑賞することが可能な、新規かつ改良された情報処理装置、情報処理方法、プログラム及び記録媒体を提案する。

　本開示によれば、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、映像鑑賞品質情報に基づいて、注視対象領域の鑑賞品質を改善する品質改善処理部と、を備える、情報処理装置が提供される。

　また、本開示によれば、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成すること、鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成すること、映像鑑賞品質情報に基づいて、注視対象領域の鑑賞品質を改善すること、とを含む、情報処理方法が提供される。

　さらに、本開示によれば、コンピュータを、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、映像鑑賞品質情報に基づいて、注視対象領域の鑑賞品質を改善する品質改善処理部と、を備える、情報処理装置として機能させるためのプログラムが提供される。

　また、本開示によれば、コンピュータに、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、映像鑑賞品質情報に基づいて、注視対象領域の鑑賞品質を改善する品質改善処理部と、を備える、情報処理装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。

　以上説明したように本開示によれば、大画面で広い観視画角で、広視野映像を快適にかつ高画質で鑑賞することが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の第１の実施形態に係る情報処理装置の概略構成を示す機能ブロック図である。同実施形態に係る情報処理装置による画像信号処理の概要を示すフローチャートである。本実施形態に係る注視対象領域情報生成部の機能構成を示す機能ブロック図である。本実施形態に係る注視対象領域情報生成部による注視対象領域情報生成処理を示すフローチャートである。注視対象マップの生成処理を示すフローチャートである。顕著性マップの一例であって、顕著性マップから注視対象マップを生成するための処理を説明するための説明図である。平滑化フィルタ強度制御信号の一例を示す説明図である。入力映像、顕著性マップ、信号識別マップ、及び注視対象マップの例を示す説明図である。、奥行マップを用いる場合の注視対象領域情報生成部の構成を示す機能ブロック図である。同実施形態に係る品質解析部の機能構成を示す機能ブロック図である。同実施形態に係る品質解析部による映像鑑賞品質解析処理を示すフローチャートである。視野内映像酔い誘発度信号の生成処理の説明図である。相対ディスプレイ明るさ情報と明るさ誘発ゲインとの関係を示す説明図である。同実施形態に係る品質改善処理部の機能構成を示す機能ブロック図である。同実施形態に係る品質改善処理部による映像鑑賞品質改善処理を示すフローチャートである。注視誘導パターンマップの例を示す説明図である。注視誘導パターンマップの他の例を示す説明図である。注視対象領域相対顕著化画像処理部の一構成例を示す機能ブロック図である。注視対象領域相対顕著化画像処理部の各機能部の構成を示す機能ブロック図である。注視対象マップ信号と画質強調信号ブレンド比との関係の一例を示す説明図である。注視対象領域相対顕著化合成部の構成を示す機能ブロック図である。映像鑑賞品質情報と相対顕著化処理映像信号ブレンド比との関係の一例を示す説明図である。映像鑑賞品質情報と注視誘導パターン重畳信号ブレンド比との関係の一例を示す説明図である。本開示の第２の実施形態に係る情報処理装置の概略構成を示す機能ブロック図である。同実施形態に係る情報処理装置による画像信号処理の概要を示すフローチャートである。同実施形態に係る注視対象領域情報生成部の機能構成を示す機能ブロック図である。同実施形態に係る注視対象領域情報生成部による注視対象領域情報生成処理を示すフローチャートである。同実施形態に係る品質解析部の機能構成を示す機能ブロック図である。同実施形態に係る品質解析部による映像鑑賞品質解析処理を示すフローチャートである。クロッピング座標情報の時間変動からグローバルモーションベクトル場への変換処理を説明する説明図である。本開示の第３の実施形態に係る情報処理装置の概略構成を示す機能ブロック図である。同実施形態に係る情報処理装置による画像信号処理の概要を示すフローチャートである。同実施形態に係る品質解析部の機能構成を示す機能ブロック図である。同実施形態に係る品質解析部による映像鑑賞品質解析処理を示すフローチャートである。同実施形態に係る注視対象領域情報生成部の機能構成を示す機能ブロック図である。同実施形態に係る注視対象領域情報生成部による注視対象領域情報生成処理を示すフローチャートである。映像酔い誘発度マップと、これを反転したマップの例を示す説明図である。同実施形態に係る品質改善処理部の機能構成を示す機能ブロック図である。同実施形態に係る品質改善処理部による映像鑑賞品質改善処理を示すフローチャートである。映像酔いアラーム情報の一例を示す説明図である。単一平面スクリーンへプロジェクタ投影したときの状況を示す説明図である。複数平面スクリーンへプロジェクタ投影したときの状況を示す説明図である。本開示の第４の実施形態に係る情報処理装置の概略構成を示す機能ブロック図である。同実施形態に係る情報処理装置による画像信号処理の概要を示すフローチャートである。同実施形態に係る注視対象領域情報生成部の機能構成を示す機能ブロック図である。同実施形態に係る品質解析部の機能構成を示す機能ブロック図である。同実施形態に係る品質解析部による映像鑑賞品質解析処理を示すフローチャートである。同実施形態に係る映像鑑賞環境情報の一例を示す説明図である。ダイナミックレンジ減少幅と相互反射誘発環境情報との関係を示す説明図である。外挿領域平均明るさと映像環境品質情報との関係を示す説明図である。同実施形態に係る品質改善処理部の機能構成を示す機能ブロック図である。同実施形態に係る品質改善処理部による映像鑑賞品質改善処理を示すフローチャートである。入力映像信号と相対顕著化処理映像信号とのブレンド処理について説明する説明図である。上記実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である。大画面に表示された映像を複数人で鑑賞しているときに、鑑賞者の一人がコントローラを操作して映像を操作した状況を示す説明図である。映像酔いを引き起こすような動きを含んだ領域を、誤って拡大表示させた状況を示す説明図である。室内空間の壁をスクリーンとして広視野映像をプロジェクタ投影した状況を示す説明図である。現映像を変換して擬似的に生成された広画角の映像の構成を示す説明図である。

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　なお、説明は以下の順序で行うものとする。
　１．第１の実施の形態（疑似広画角映像の表示）
　　１．１．情報処理装置の概略構成
　　１．２．注視対象領域情報生成処理
　　１．３．映像鑑賞品質解析処理
　　１．４．映像鑑賞品質改善処理
　　１．５．まとめ
　２．第２の実施形態（広視野角映像の表示）
　　２．１．情報処理装置の概略構成
　　２．２．注視対象領域情報生成処理
　　２．３．映像鑑賞品質解析処理
　　２．４．映像鑑賞品質改善処理部
　　２．５．まとめ
　３．第３の実施形態（広視野角映像の表示：映像酔いアラーム情報）
　　３．１．情報処理装置の概略構成
　　３．３．映像鑑賞品質解析処理
　　３．３．注視対象領域情報生成処理
　　３．４．映像鑑賞品質改善処理
　　３．５．まとめ
　４．第４の実施形態（プロジェクタ投影による疑似広画角映像の表示）
　　４．１．情報処理装置の概略構成
　　４．２．注視対象領域情報生成処理
　　４．３．映像鑑賞品質解析処理
　　４．４．映像鑑賞品質改善処理
　　４．５．まとめ
　５．まとめ
　６．ハードウェア構成

　本開示は、広画角で製作された映像（パノラマ、全天周、全天球、自由視点映像、ゲームコンテンツ等）や、擬似的に広画角に拡張された映像（周辺外挿画像、モザイキング画像）等の広視野映像を提供する情報処理装置に関するものである。かかる情報処理装置は、広視野映像を、大画面で広い観視画角で鑑賞をする際に、まず、映像を表示する表示環境と映像信号とに依存した画質低下や映像酔い等の発生状況を解析し、映像鑑賞の品質を取得する。そして、情報処理装置は、映像において鑑賞者が注視すべき領域の情報に基づいて、解析した鑑賞品質が改善されるように映像信号処理を行う。これにより、大画面で広い観視画角で鑑賞をする際に、快適で高画質な映像の鑑賞を提供する。

　以下、本実施形態に係る情報処理装置とこれによる画像信号処理について、詳細に説明する。

　＜１．第１の実施形態＞
　まず、図１～図２３に基づいて、本開示の第１の実施形態に係る情報処理装置とこれによる画像信号処理について説明する。本実施形態では、上記非特許文献２のように、原映像と当該原映像の周囲に表示される外挿予測映像とからなる擬似的な広画角の映像を、広い観視画角で大画面に表示する場合について説明する。

　［１．１．情報処理装置の概略構成］
　まず、図１及び図２を参照して、本開示の第１の実施形態に係る情報処理装置の概略構成について説明する。なお、図１は、本実施形態に係る情報処理装置１００の概略構成を示す機能ブロック図である。図２は、本実施形態に係る情報処理装置１００による画像信号処理の概要を示すフローチャートである。

　本実施形態に係る情報処理装置１００は、図１に示すように、注視対象領域情報生成部１１０と、品質解析部１２０と、品質改善処理部１３０とから構成される。

　注視対象領域情報生成部１１０は、入力映像信号と、外部信号とに基づいて、鑑賞者が注視する（注視している）であろう領域（以下、「注視対象領域」ともいう。）を推定し、注視対象領域情報とする。ここで、入力映像信号は、表示画面に表示される映像を表す信号である。本実施形態では、入力映像信号に基づく映像は、擬似的に広画角に拡張された疑似広画角映像であり、図５８に示したように擬似的に広画角に拡張される前の原映像と外挿予測映像とからなる映像である。また、外部信号は、原映像を表す原信号と、外挿予測映像を表す外挿予測信号とを識別するための制御信号である。

　注視対象領域情報生成部１１０は、入力映像信号から、鑑賞者が注視していると推定される特徴的な被写体領域を検出し、映像において検出された被写体領域を表す顕著性マップを生成する。また、注視対象領域情報生成部１１０は、外部信号に基づき、原信号と外挿予測信号を識別する信号識別マップを生成する。そして、注視対象領域情報生成部１１０は、顕著性マップと信号識別マップとから、鑑賞者が注視すべき領域を示す注視対象マップ（注視対象領域情報）を生成する。

　品質解析部１２０は、入力映像信号と、映像鑑賞環境情報とに基づいて、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する。映像鑑賞環境情報は、例えば、映像が表示されるディスプレイサイズや、ディスプレイに対する鑑賞者の視距離、ディスプレイの明るさ情報、室内の明るさ情報等を含む情報である。品質解析部１２０は、映像を鑑賞する環境の状態から、映像の鑑賞品質に影響を与える度合を解析し、映像鑑賞品質情報を生成する。

　品質改善処理部１３０は、入力映像信号、外部信号、注視対象領域情報、及び映像鑑賞品質情報に基づいて、鑑賞者の映像鑑賞状態が良好になるように映像信号処理を行い、鑑賞品質改善映像信号を生成する。例えば、品質改善処理部１３０は、映像が映像酔いを誘発すると解析された場合には、原映像部分を画質調整やパターンの重畳により外挿予測映像よりも目立たせるようにすることで映像酔いを抑制し、鑑賞品質を改善した鑑賞品質改善映像信号を生成する。

　かかる情報処理装置１００は、図２に示すように、まず、注視対象領域情報生成部１１０において、外部から入力された入力映像信号及び外部信号から、注視対象領域を推定し、注視対象領域情報が生成される（Ｓ１００）。注視対象領域情報生成部１１０は、生成した注視対象領域情報を品質改善処理部１３０に出力する。

　一方、品質解析部１２０により、外部から入力された入力映像信号及び映像鑑賞環境情報から、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報が生成される（Ｓ１１０）。品質解析部１２０は、生成した映像鑑賞品質情報を品質改善処理部１３０に出力する。

　そして、品質改善処理部１３０により、外部から入力された入力映像信号及び外部信号と、注視対象領域情報及び映像鑑賞品質情報とから、鑑賞者の映像鑑賞状態が良好になるように映像信号処理が行われ、最終的に鑑賞品質改善映像信号が生成される（Ｓ１２０）。

　このような画像信号処理を行うことで、原映像の周囲に外挿予測映像が外挿された擬似広画角映像を鑑賞する際、鑑賞環境や映像信号を解析し、擬似広画角映像が映像酔いを誘発するような場合には、外挿予測映像より原映像を目立たせることで、映像酔いを抑制し、鑑賞品質を改善することが可能となる。以下、各機能について、詳細に説明する。

　［１．２．注視対象領域情報生成処理］
　まず、図３～図９に基づいて、本実施形態の情報処理装置１００の注視対象領域情報生成部１１０の構成とこれによる処理について説明する。なお、図３は、本実施形態に係る注視対象領域情報生成部１１０の機能構成を示す機能ブロック図である。図４は、本実施形態に係る注視対象領域情報生成部１１０による注視対象領域情報生成処理を示すフローチャートである。図５は、注視対象マップの生成処理を示すフローチャートである。図６は、顕著性マップの一例であって、顕著性マップから注視対象マップを生成するための処理を説明するための説明図である。図７は、平滑化フィルタ強度制御信号の一例を示す説明図である。図８は、入力映像、顕著性マップ、信号識別マップ、及び注視対象マップの例を示す説明図である。図９は、奥行マップを用いる場合の注視対象領域情報生成部１１０の構成を示す機能ブロック図である。

（１）機能構成
　本実施形態に係る注視対象領域情報生成部１１０は、図３に示すように、顕著性マップ生成部１１１と、信号識別マップ生成部１１３と、注視対象マップ生成部１１５とからなる。

　顕著性マップ生成部１１１は、入力映像信号から人間が目を引きやすい特徴的な被写体領域を検出し、映像において検出された被写体領域を表す顕著性マップを生成する。顕著性マップ生成部１１１は、映像から被写体領域の位置や大きさを検出する被写体検出機能により被写体領域を検出する。被写体検出機能は、周知の技術を適用することができ、例えば特開２０１０－２６２５０６号公報に記載の技術を適用してもよい。顕著性マップ生成部１１１は、検出した被写体領域から作成した顕著性マップを、顕著性マップ信号として注視対象マップ生成部１１５に出力する。

　信号識別マップ生成部１１３は、外部信号に基づき、原信号と外挿予測信号とを識別する信号識別マップを生成する。信号識別マップ生成部１１３は、外部信号から、映像における原映像の領域と外挿予測映像の領域とを表す識別信号マップを生成し、信号識別マップ信号として注視対象マップ生成部１１５に出力する。

　注視対象マップ生成部１１５は、顕著性マップと信号識別マップとに基づいて、鑑賞者が注視すべき領域を示す注視対象マップ（注視対象領域情報）を生成する。注視対象マップ生成部１１５は、図３に示すように、平滑化フィルタ強度制御部１１５ａと、平滑化処理部１１５ｂとからなる。

　平滑化フィルタ強度制御部１１５ａは、顕著性マップに基づいて、顕著性の高い（すなわち、被写体領域である可能性が高い）部分の平滑化を強くする特性の平滑化フィルタを生成する。平滑化処理部１１５ｂは、平滑化フィルタ強度制御部１１５ａにより生成された平滑化フィルタと信号識別マップとに基づいて、鑑賞者が注視すべき領域を示す注視対象マップを生成する。

（２）処理内容
　図３に示した注視対象領域情報生成部１１０は、入力映像信号が入力されると、図４に示す処理を開始する。図４に示すように、まず、顕著性マップ生成部１１１により、入力映像信号から、人間が目を引きやすい被写体領域を検出する（Ｓ１０１）。顕著性マップ生成部１１１は、被写体領域の位置及び大きさを検出し、これらの値とその確からしさとに基づき顕著性マップを生成する（Ｓ１０３）。顕著性マップは、例えば各画素が０－２５５の値で表された画像であり、値が大きいほどその空間位置で被写体領域が存在する可能性が高いことを表す。

　顕著性マップの一例を図６に示す。図６に示す顕著性マップ１２は、映像において、被写体領域が存在する領域を示しており、画素の信号値が０に近いほど黒く、画素の信号値が２５５に近いほど白く表されている。すなわち、図６に示す顕著性マップ１２では、黒い領域は被写体が存在しない領域１２ｂであり、白い領域は被写体が存在する領域１２ａであることを示している。領域１２ａと領域１２ｂとの境界がぼやけているのは、被写体の有無が確定できないことを示す。顕著性マップ生成部１１１は、生成した顕著性マップを、顕著性マップ信号として、注視対象マップ生成部１１５に出力する。

　次いで、信号識別マップ生成部１１３により、外部信号から、擬似広画角映像の原映像と外挿予測映像とを識別する信号識別マップを生成する（Ｓ１０５）。信号識別マップは、例えば、原映像を表す原信号を１、外挿予測映像を表す外挿予測信号を０としたバイナリ信号で表してもよく、原信号と外挿予測信号との境界部で遷移域を持つような０－２５５の連続値で表してもよい。信号識別マップを連続値で表す場合、原信号と外挿予測信号との境界は１２８となり、原信号で境界から離れるほど２５５に近く、外挿予測信号で境界から離れるほど０に近くなるような値で表してもよい。信号識別マップ生成部１１３は、生成した信号識別マップを信号識別マップ信号として、注視対象マップ生成部１１５に出力する。

　そして、注視対象マップ生成部１１５により、顕著性マップと信号識別マップとに基づいて、注視対象マップが生成される（Ｓ１０７）。注視対象マップの生成処理では、まず、図５に示すように、平滑化フィルタ強度制御部１１５ａにより、平滑化フィルタが生成される（Ｓ１０７１）。平滑化フィルタ強度制御部１１５ａは、顕著性の高い（すなわち、被写体領域である可能性が高い）部分の平滑化を強くする特性の平滑化フィルタを生成する。

　例えば、図６に示す顕著性マップ１２から平滑化フィルタを生成する場合、平滑化フィルタ強度制御部１１５ａは、顕著性マップ１２の各画素について、各画素を中心Ｃとする判定領域Ｗをそれぞれ設定し、判定領域Ｗ内の画素の信号値の累計値を演算する。そして、平滑化フィルタ強度制御部１１５ａは、その累計値が大きいほど、後述の平滑化処理部１１５ｂで行われる平滑化が強くなるような平滑化フィルタを生成する。平滑化フィルタは、例えば、ローパスフィルタのタップ長である場合には、図７のような特性で設定される。

　次いで、平滑化処理部１１５ｂにより、平滑化フィルタに基づいて、信号識別マップに対し平滑化処理を行い、注視対象マップ（注視対象領域情報）を生成する（Ｓ１０７３）。平滑化処理は、例えばＦＩＲ（Finite Impulse Response）ローパスフィルタ等を用いて行ってもよい。平滑化された信号識別マップは、鑑賞者が注視すべき領域を示す注視対象マップとなり、注視対象領域情報として品質改善処理部１３０に出力される。

　ここで、以上のような注視対象領域情報生成処理により入力映像信号から生成される、顕著性マップ、信号識別マップ及び注視対象マップの例を図８に示す。

　図８左側に示すケース１の入力映像信号１０Ａは、中央に特徴的な被写体が存在する原映像１０Ａｏと、原映像１０Ａｏの周囲に外挿された外挿予測映像１０Ａｅとからなる。すなわち、疑似広画角映像である映像１０Ａの中央部に原映像１０Ａｏがある。この映像１０Ａの顕著性マップ１２Ａは、映像の中央部にある特徴的な被写体が検出されたことにより、中央部に被写体が存在する領域１２Ａａがあり、その周囲に被写体が存在しない領域１２Ａｂがあるものとなる。一方、信号識別マップ１４Ａは、外部信号より、中央部に原映像の領域１４Ａｏがあり、その周囲に外挿予測映像１４Ａｅの領域があるものとなる。

　顕著性マップ１２Ａと信号識別マップ１４Ａとを比較すると、信号識別マップ１４Ａにおける原映像の領域１４Ａｏと外挿予測映像の領域１４Ａｅとの境界付近では、顕著性マップ１２Ａの値が低くなっている。したがって、ケース１で生成される注視対象マップ１６Ａは、信号識別マップ１４Ａとほぼ同一となる。

　これに対して、図８右側に示すケース２の入力映像信号１０Ｂは、映像左下から中央部に特徴的な被写体が存在しており、中央部の原映像１０Ｂｏと、原映像１０Ｂｏの周囲に外挿された外挿予測映像１０Ｂｅとからなる。この映像１０Ｂの顕著性マップ１２Ｂは、映像の左下から中央にかけて特徴的な被写体が検出されたことにより、左下から中央にわたって被写体が存在する領域１２Ｂａがあり、その周囲に被写体が存在しない領域１２Ｂｂがあるものとなる。一方、信号識別マップ１４Ｂは、外部信号より、中央部に原映像の領域１４Ｂｏがあり、その周囲に外挿予測映像１４Ｂｅの領域があるものとなる。

　顕著性マップ１２Ｂと信号識別マップ１４Ｂとを比較すると、信号識別マップ１４Ｂにおける原映像の領域１４Ｂｏと外挿予測映像の領域１４Ｂｅとの一部の境界付近では、顕著性マップ１２Ｂの値が高くなっている。このため、ケース２で生成される注視対象マップ１６Ｂは、信号識別マップ１４Ｂにおいて、原映像の領域１４Ｂｏと外挿予測映像の領域１４Ｂｅとの境界において顕著性マップ１２Ｂの値が高い左下部分１６Ｂｇがぼやけたものとなる。このように、注視対象マップ１６Ｂにおいて注視対象領域を示す領域１６ａが広がり、信号識別マップ１４Ｂとは異なるものとなる。

（３）奥行マップを用いた注視対象領域情報生成処理
　上述の説明では、注視対象領域情報生成部１１０では、顕著性マップを用いて注視対象領域情報を生成したが、顕著性マップの代わりに奥行マップを用いて注視対象領域情報を生成してもよい。すなわち、図９に示すように、注視対象領域情報生成部１１０を、奥行きマップ生成部１１１Ａと、信号識別マップ生成部１１３と、注視対象マップ生成部１１５とから構成してもよい。

　奥行きマップ生成部１１１Ａでは、入力映像信号から、映像の奥行き情報を検出し、奥行きマップを生成する。奥行きマップは、例えば、０－２５５の値をもった画像であり、値が大きいほどその空間位置での奥行きが手前であることを示す。例えば入力映像信号が３Ｄのステレオ映像信号である場合には、左右の画像の視差を検出して奥行きマップを生成することができる。また、２Ｄの単眼映像信号である場合には、周知の奥行き推定技術を用いて奥行きマップを生成することができる（例えば、特開２０１３－１７２２１４号公報参照）。

　なお、信号識別マップ生成部１１３と、注視対象マップ生成部１１５では、上述と同様の処理が行われる。

　以上、本実施形態に係る注視対象領域情報生成部１１０の構成とこれによる処理について説明した。

　［１．３．映像鑑賞品質解析処理］
　次に、図１０～図１３に基づいて、本実施形態の情報処理装置１００の品質解析部１２０の構成とこれによる処理について説明する。なお、図１０は、本実施形態に係る品質解析部１２０の機能構成を示す機能ブロック図である。図１１は、本実施形態に係る品質解析部１２０による映像鑑賞品質解析処理を示すフローチャートである。図１２は、視野内映像酔い誘発度信号の生成処理の説明図である。図１３は、相対ディスプレイ明るさ情報と明るさ誘発ゲインとの関係を示す説明図である。

（１）機能構成
　本実施形態に係る品質解析部１２０は、図１０に示すように、映像酔い誘発環境情報生成部１２１と、映像酔い誘発動き成分解析部１２３と、映像酔い誘発度生成部１２５とからなる。

　映像酔い誘発環境情報生成部１２１は、映像環境情報に基づいて、相対ディスプレイ明るさ情報と観視画角情報とを生成する。映像鑑賞環境情報は、例えば、映像が表示されるディスプレイサイズや、ディスプレイに対する鑑賞者の視距離、ディスプレイの明るさ情報、室内の明るさ情報等を含む情報である。映像酔い誘発環境情報生成部１２１は、映像を鑑賞する環境の状態から、映像の鑑賞品質に影響を与える度合を解析し、映像鑑賞品質情報を生成する。映像酔い誘発環境情報生成部１２１は、生成した相対ディスプレイ明るさ情報及び観視画角情報を映像酔い誘発度生成部１２５に出力する。

　映像酔い誘発動き成分解析部１２３は、映像の動きベクトルの特徴を解析し、映像酔い誘発動き成分マップを生成する。映像酔い誘発動き成分解析部１２３では、映像酔いを引き起こすような動きを含む映像酔い誘発領域を映像から検出し、映像中の映像酔い誘発領域の位置を映像酔い誘発動き成分マップとして表す。映像酔い誘発動き成分解析部１２３は、生成した映像酔い誘発動き成分マップを映像酔い誘発度生成部１２５に出力する。

　映像酔い誘発度生成部１２５は、映像が映像酔いを誘発させる鑑賞品質であるかを示す映像鑑賞品質情報を生成する。映像酔い誘発度生成部１２５は、図１０に示すように、視野内映像酔い誘発動き成分累積部１２５ａと、鑑賞環境下映像酔い誘発度生成部１２５ｂとからなる。

　視野内映像酔い誘発動き成分累積部１２５ａは、観視画角情報と映像酔い誘発動き成分マップとに基づいて、視野内映像酔い誘発度信号を生成する。視野内映像酔い誘発動き成分累積部１２５ａは、観視画角に応じた映像範囲に、映像酔い誘発動き成分マップを離散的にマッピングし、映像酔い誘発動き成分マップの情報の重み付き累積値を求める。視野内映像酔い誘発動き成分累積部１２５ａは、算出された累積値を正規化し、視野内映像酔い誘発度信号として鑑賞環境下映像酔い誘発度生成部１２５ｂに出力する。

　鑑賞環境下映像酔い誘発度生成部１２５ｂは、相対ディスプレイ明るさ情報と視野内映像酔い誘発度信号とに基づいて、映像鑑賞品質情報を生成する。鑑賞環境下映像酔い誘発度生成部１２５ｂは、相対ディスプレイ明るさ情報から明るさ誘発ゲインを設定し、明るさ誘発ゲインと視野内映像酔い誘発度信号とを乗じた値を反転させた信号を映像鑑賞品質情報とする。

（２）処理内容
　図１０に示した品質解析部１２０は、映像鑑賞環境情報が入力されると、図１１に示す処理を開始する。図１１に示すように、まず、映像酔い誘発環境情報生成部１２１により、映像鑑賞環境情報から、相対ディスプレイ明るさ情報及び観視画角情報が生成される（Ｓ１１１）。映像鑑賞環境情報は、ディスプレイサイズ、ディスプレイに対する鑑賞者の視距離、ディスプレイの明るさ情報、室内の明るさ情報等を含む情報である。ディスプレイサイズ及びディスプレイの明るさ情報は、例えばディスプレイから取得される。ディスプレイに対する鑑賞者の視距離は、例えばディスプレイの表示画面近傍に設けられた距離センサ等により取得される。なお、鑑賞者が複数存在する場合は、各鑑賞者の視距離の平均値や、中間値、最もディスプレイに近い鑑賞者の値としてもよい。また、室内の明るさ情報は、例えば室内に設置されている照度センサ等により取得される。

　映像酔い誘発環境情報生成部１２１は、ディスプレイの明るさ情報と室内の明るさ情報とから、室内の明るさに対するディスプレイの明るさの比を示す相対ディスプレイ明るさ情報を生成する。すなわち、室内は暗いほど、ディスプレイは明るいほど、相対ディスプレイ明るさ情報の値は大きくなる。また、映像酔い誘発環境情報生成部１２１は、ディスプレイサイズとディスプレイに対する鑑賞者の視距離とから、人間が知覚できる視野内での映像が知覚される範囲を算出し、観視画角情報とする。生成された相対ディスプレイ明るさ情報及び観視画角情報は、映像酔い誘発度生成部１２５へ出力される。

　次いで、映像酔い誘発動き成分解析部１２３は、入力された入力映像信号が表す映像について動きベクトルの特徴を解析し、映像酔い誘発動き成分マップを生成する（Ｓ１１３）。映像酔い誘発動き成分マップは、例えば各画素の信号値が０－２５５の値に正規化された画像であり、値が大きいほど、その空間位置の動きが映像酔いを誘発させる特徴を含んでいることを表している。映像酔い誘発動き成分マップは、既存の手法を用いて生成することができる（例えば、特開２０１３－２１４５５号公報）。映像酔い誘発動き成分解析部１２３は、生成した映像酔い誘発動き成分マップを、映像酔い誘発度生成部１２５へ出力する。

　その後、映像酔い誘発度生成部１２５により、相対ディスプレイ明るさ情報、観視画角情報及び映像酔い誘発動き成分マップに基づいて、映像酔いを誘発させる鑑賞品質であるかを示す映像鑑賞品質情報が生成される（Ｓ１１５）。

　ステップＳ１１５では、まず、視野内映像酔い誘発動き成分累積部１２５ａにより、観視画角情報と映像酔い誘発動き成分マップとに基づいて、視野内映像酔い誘発度信号を生成が生成される。図１２に基づいて具体的に説明すると、視野内映像酔い誘発動き成分累積部１２５ａは、まず、画面の水平方向及び垂直方向の２種類の情報を含む観視画角情報から、人間が知覚できる視野内での映像が知覚される範囲Ｅを算出する。例えば、この知覚可能な映像範囲Ｅは、人間が知覚できる全視野の範囲Ｅ_０に対して、観視画角が小さいときは中心視野側の範囲Ｅ_２となり、観視画角が大きいときは周辺視野側まで広がった範囲Ｅ_１となる。

　そして、視野内映像酔い誘発動き成分累積部１２５ａは、観視画角に応じた映像範囲に対して、映像酔い誘発動き成分マップの情報を離散的にマッピングし、映像酔い誘発動き成分マップの情報の重み付き累積値を求める。すなわち、図１２に示すように、まず、全視野角（例えば、１８０°）に対して予め設定された解像度の水平方向及び垂直方向に映像酔い誘発動き成分マップの離散データサンプルを設定し、観視画角に対応する解像度に合わせて映像酔い誘発動き成分マップをスケーリング処理する。次いで、視野内映像酔い誘発動き成分累積部１２５ａは、観視画角に対応する範囲にマッピングされた離散データサンプルの値に、水平方向及び垂直方向においてそれぞれ中心視野ほど重みが高くなるように設定された重み係数を乗じる。そして、視野内映像酔い誘発動き成分累積部１２５ａは、観視画角に対応する範囲の重み付けされた離散データサンプルの値を累積する。このように算出された視野内映像酔い誘発度信号は、同一の映像酔い誘発動き成分マップの場合、観視画角が大きいほど大きな値を取るようになる。

　その後、視野内映像酔い誘発動き成分累積部１２５ａは、重み付けされた離散データサンプルの累積値を正規化し、視野内映像酔い誘発度信号として鑑賞環境下映像酔い誘発度生成部１２５ｂに出力する。累積値の正規化処理は、例えば、累積値が０．０～１．０の値となるように行われる。

　視野内映像酔い誘発動き成分累積部１２５ａにより視野内映像酔い誘発度信号が生成されると、鑑賞環境下映像酔い誘発度生成部１２５ｂは、相対ディスプレイ明るさ情報と視野内映像酔い誘発度信号とに基づいて、映像鑑賞品質情報を生成する。鑑賞環境下映像酔い誘発度生成部１２５ｂは、まず、相対ディスプレイ明るさ情報から明るさ誘発ゲイン（ＬｕｍＧａｉｎ）を設定する。明るさ誘発ゲインは、相対ディスプレイ明るさの値が大きくなるほど大きな値となる正の係数である。明るさ誘発ゲインは、視野内映像酔い誘発度信号に乗じられ、相対ディスプレイ明るさの応じた映像酔いの誘発させやすさを視野内映像酔い誘発度信号に反映させる。例えば、室内が暗く、ディスプレイが明るいときは、鑑賞者は映像酔いしやすくなるので、明るさ誘発ゲインは１．０以上の大きな係数に設定される。反対に、室内が明るいのに、ディスプレイが暗いときは、映像自体がよく見えず、鑑賞者は映像酔いしにくい状況になるので、明るさ誘発ゲインは１．０未満の小さい係数に設定される。明るさ誘発ゲインは、例えば図１３に示すような、相対ディスプレイ明るさ情報と明るさ誘発ゲインとの関係に基づき設定される。

　鑑賞環境下映像酔い誘発度生成部１２５ｂは、設定した明るさ誘発ゲインと視野内映像酔い誘発度信号とを乗じた値を反転させた信号を映像鑑賞品質情報として、品質改善処理部１３０へ出力する。

　以上、本実施形態に係る品質解析部１２０の構成とこれによる処理について説明した。

　［１．４．映像鑑賞品質改善処理］
　次に、図１４～図２３に基づいて、本実施形態の情報処理装置１００の品質改善処理部１３０の構成とこれによる処理について説明する。なお、図１４は、本実施形態に係る品質改善処理部１３０の機能構成を示す機能ブロック図である。図１５は、本実施形態に係る品質改善処理部１３０による映像鑑賞品質改善処理を示すフローチャートである。図１６及び図１７は、注視誘導パターンマップの例を示す説明図である。図１８は、注視対象領域相対顕著化画像処理部１３１の一構成例を示す機能ブロック図である。図１９は、注視対象領域相対顕著化画像処理部１３１の各機能部の構成を示す機能ブロック図である。図２０は、注視対象マップ信号と画質強調信号ブレンド比との関係の一例を示す説明図である。図２１は、注視対象領域相対顕著化合成部１３５の構成を示す機能ブロック図である。図２２は、映像鑑賞品質情報と相対顕著化処理映像信号ブレンド比との関係の一例を示す説明図である。図２３は、映像鑑賞品質情報と注視誘導パターン重畳信号ブレンド比との関係の一例を示す説明図である。

（１）機能構成
　本実施形態に係る品質改善処理部１３０は、図１４に示すように、注視対象領域相対顕著化画像処理部１３１と、注視誘導パターンマップ生成部１３３と、注視対象領域相対顕著化合成部１３５とからなる。

　注視対象領域相対顕著化画像処理部１３１は、入力映像信号及び注視対象領域情報（注視対象マップ）に基づいて、注視対象領域が相対的に顕著化するように画像処理を施した相対顕著化処理映像信号を生成する。注視対象領域相対顕著化画像処理部１３１の詳細な処理については後述する。注視対象領域相対顕著化画像処理部１３１は、生成した相対顕著化処理映像信号を注視対象領域相対顕著化合成部１３５に出力する。

　注視誘導パターンマップ生成部１３３は、外部信号に基づいて、擬似広画角映像に対する原映像の領域を求め、原映像の領域を含むように注視誘導パターンを設定した注視誘導パターンマップを生成する。注視誘導パターンマップは、鑑賞者に注視させたい領域を示す情報である。注視誘導パターンマップ生成部１３３は、生成した注視誘導パターンマップを注視対象領域相対顕著化合成部１３５に出力する。

　注視対象領域相対顕著化合成部１３５は、相対顕著化処理映像信号、注視誘導パターンマップ、入力映像信号及び映像鑑賞品質情報に基づいて、注視対象領域の顕著性が強調された鑑賞品質改善映像信号を生成する。鑑賞品質改善映像信号は、入力映像信号に対して映像酔いを抑制し、鑑賞品質を改善した映像信号である。例えば、注視対象領域相対顕著化合成部１３５は、映像鑑賞品質情報の値が小さいほど（すなわち、映像酔いしやすいシーンほど）、注視対象領域の顕著性が強調された鑑賞品質改善映像信号を生成する。この鑑賞品質改善映像信号をディスプレイに表示させることで、鑑賞者は大画面で広い観視画角で、広視野映像を快適にかつ高画質で鑑賞することが可能となる。

（２）処理内容
　図１４に示した品質改善処理部１３０は、図１５に示すように、まず、注視誘導パターンマップ生成部１３３により、外部信号に基づいて、注視誘導パターンマップを生成する（Ｓ１２１）。注視誘導パターンマップ生成部１３３では、外部信号から擬似的に広画角に拡張される前の原信号により表される原映像の領域を求め、それを囲むような注視誘導パターンが設定された注視誘導パターンマップを生成する。

　注視誘導パターンマップ１８では、例えば原映像の領域１８ｏが矩形であるとき、図１６に示すように、原映像の領域１８ｏを囲むような矩形パターン１８ｐを設定してもよい。あるいは、図１７に示すように、原映像の領域１８ｏを囲むような楕円パターン１８ｐを設定し、注視誘導パターンマップ１８を生成してもよい。注視誘導パターンマップ１８の各画素のマップ値は、例えば０－２５５の値をとるように設定してもよい。このとき、注視対象パターン１８ｐを示すマップ値は２５５に近い値になる。なお、注視誘導パターンマップ１８がバイナリマップのときは、注視対象パターン１８ｐは０と２５５のみで表され、注視誘導パターンマップ１８にグラデーションがあるときには、注視対象パターン１８ｐは０～２５５の値で表される。

　注視誘導パターンマップ生成部１３３は、生成した注視誘導パターンマップ１８を注視対象領域相対顕著化合成部１３５に出力する。

　次いで、注視対象領域相対顕著化画像処理部１３１により、入力映像信号及び注視対象領域情報（注視対象マップ）に基づいて、注視対象領域が相対的に顕著化するように画像処理を施した相対顕著化処理映像信号が生成される（Ｓ１２３）。注視対象領域相対顕著化画像処理部１３１は、例えば、図１８及び図１９に示すように構成されており、各画質調整部１３１１～１３１４により、入力された疑似広画角映像に対して画像処理を施す。

　注視対象領域相対顕著化画像処理部１３１の内部構成は、図１８に示すように、例えば鮮鋭感調整部１３１１と、コントラスト調整部１３１２と、明るさ調整部１３１３と、彩度調整部１３１４とからなる。鮮鋭感調整部１３１１、コントラスト調整部１３１２、明るさ調整部１３１３及び彩度調整部１３１４はカスケードに接続され、各画質調整部の出力は後段の画質調整部に入力される。もちろん、各画質調整部が並列に処理され、後段で合成するような形態でもよい。

　各画質調整部１３１１～１３１４の内部構成は、例えば図１９に示す画質調整部１３１Ｘとして一般化して表現できる。画質調整部１３１Ｘは、画質強調部１３１Ｘ－１と、画質抑制部１３１Ｘ－２と、相対画質調整部１３１Ｘ－３とからなる。

　すなわち、鮮鋭感強調処理を行う鮮鋭感調整部１３１１は、例えば、画質強調部１３１Ｘ－１においてアンシャープマスク処理や超解像処理を行い、画質強調信号を生成する。また、画質抑制部１３１Ｘ－２においてローパスフィルタによる平滑化処理を行い、画質抑制信号を生成する。

　コントラスト強調処理を行うコントラスト調整部１３１２は、例えば、画質強調部１３１Ｘ－１においてヒストグラムのダイナミックレンジ拡大によるコントラスト強調処理を行い、画質強調信号を生成する。また、画質抑制部１３１Ｘ－２においてヒストグラムのダイナミックレンジ縮小によるコントラスト抑制処理を行い、画質抑制信号を生成する。

　明るさ強調処理を行う明るさ調整部１３１３は、例えば、画質強調部１３１Ｘ－１においてＹＵＶ信号のＹ信号、または、ＨＳＶ空間のＶ信号の増大処理を行い、画質強調信号を生成する。また、画質抑制部１３１Ｘ－２においてＹＵＶ信号のＹ信号または、ＨＳＶ空間のＶ信号の低下処理を行い、画質抑制信号を生成する。

　彩度強調処理を行う彩度調整部１３１４は、例えば、画質強調部１３１Ｘ－１においてＨＳＶ空間上でのＳ信号の増大処理を行い、画質強調信号を生成する。また、画質抑制部１３１Ｘ－２においてＨＳＶ空間上でのＳ信号の低下処理を行い、画質抑制信号を生成する。

　そして、各画質調整部１３１Ｘの相対画質調整部１３１Ｘ－３には、画質強調部１３１Ｘ－１において生成された画質強調信号と、画質抑制部１３１Ｘ－２において生成された画質抑制信号と、注視対象領域情報（注視対象マップ）とが入力される。相対画質調整部１３１Ｘ－３では、画質強調信号と画質抑制信号とのアルファブレンド処理が実行される。相対画質調整部１３１Ｘ－３は、例えば図２０に示すような注視対象マップ信号と画質強調信号のブレンド比（ＥｎｈＢｌｅｎｄ）との関係に基づき、画質強調信号と画質抑制信号とのアルファブレンド処理を行う。

　図２０では、注視対象領域情報（注視対象マップ）の信号値が大きいほど画質強調信号のブレンド比が高くなるように設定されている。例えば、注視対象領域情報（注視対象マップ）が０から２５５の値に設定されている場合、ブレンド比（ＥｎｈＢｌｅｎｄ）が０．５になる注視対象マップの値Ｍｔｈは、例えば１２８に設定される。

　このようなブレンド比を用いてアルファブレンド処理を行うことにより、注視対象マップの値が大きい領域（例えば、図８の注視対象マップ１６Ａ、１６Ｂにおける白い領域１６Ａａ、１６Ｂａ）ほど、画質（例えば、コントラスト、鮮鋭感、彩度、明るさ等）が強調される。一方、注視対象マップの値が小さい領域（図８の注視対象マップ１６Ａ、１６Ｂにおける黒い領域１６Ａｂ、１６Ｂｂ）ほど、画質が抑制される。

　なお、図１９に示した画質調整部１３１Ｘの構成において、画質強調信号と画質抑制信号とのうちいずれかが、前段の画質調整部１３１Ｘからの入力信号をスルーさせ、そのまま出力信号としてもよい。

　上述のように注視対象領域相対顕著化画像処理部１３１により生成された相対顕著化処理映像信号は、注視対象領域相対顕著化合成部１３５に出力される。

　図１５の説明に戻り、ステップＳ１２１、Ｓ１２３の処理を終えると、注視対象領域相対顕著化合成部１３５により、相対顕著化処理映像信号、注視誘導パターンマップ、入力映像信号及び映像鑑賞品質情報に基づいて、注視対象領域の顕著性が強調された鑑賞品質改善映像信号が生成される（Ｓ１２５）。

　具体的に説明すると、注視対象領域相対顕著化合成部１３５は、例えば図２１に示すように、注視対象領域相対顕著化画像強度調整部１３５１と、注視誘導パターン強度調整部１３５３とからなる。

　注視対象領域相対顕著化画像強度調整部１３５１は、入力映像信号、相対顕著化処理映像信号、及び映像鑑賞品質情報に基づいて、アルファブレンド処理を行い、注視対象領域相対顕著化画像強度調整信号を生成する。注視対象領域相対顕著化画像強度調整部１３５１は、例えば図２２に示すような映像鑑賞品質情報と相対顕著化処理映像信号のブレンド比（ＳａｌＢｌｅｎｄ）との関係に基づき、入力映像信号と相対顕著化処理映像信号とのアルファブレンド処理を行う。図２２では、映像鑑賞品質情報の値が小さいほど相対顕著化処理映像信号のブレンド比が高くなるように設定されている。注視対象領域相対顕著化画像強度調整部１３５１は、アルファブレンド処理により生成した注視対象領域相対顕著化画像強度調整信号を、注視誘導パターン強度調整部１３５３に出力する。

　注視誘導パターン強度調整部１３５３は、図２１に示すように、注視誘導パターン重畳部１３５３ａと、注視誘導パターン鑑賞品質改善部１３５３ｂとからなる。注視誘導パターン重畳部１３５３ａは、注視対象領域相対顕著化画像強度調整信号と注視誘導パターンマップとに基づいて、注視誘導パターン重畳信号を生成する。注視誘導パターン重畳信号は、注視対象領域相対顕著化画像強度調整信号の映像上に、注視誘導パターンマップで示された注視誘導パターンが重畳された映像信号である。注視誘導パターン重畳部１３５３ａは、予め指定された注視対象パターンの描画色（例えば、赤）の画素値と注視対象領域相対顕著化画像強度調整信号の画素値とに対し、注視誘導パターンマップを０．０～１．０に正規化した値をブレンド比としてアルファブレンド処理する。

　例えば、注視対象パターンの描画色のＲ、Ｇ、Ｂの各値をＲｐ、Ｇｐ、Ｂｐであり、注視対象領域相対顕著化画像強度調整信号のある画素のＲ、Ｇ、Ｂの値がＲｅ、Ｇｅ、Ｂｅであるとする。このとき、例えば、注視対象領域相対顕著化画像強度調整信号の当該画素と空間的に同一位置に対応する注視誘導パターンマップの値が０．９であるとすると、注視誘導パターン重畳信号のＲ、Ｇ、Ｂの値Ｒｓ、Ｇｓ、Ｂｓは、それぞれ以下のように算出される。
　　Ｒｓ＝０．９×Ｒｐ＋０．１×Ｒｅ
　　Ｇｓ＝０．９×Ｇｐ＋０．１×Ｇｅ
　　Ｂｓ＝０．９×Ｂｐ＋０．１×Ｂｅ

　注視誘導パターン重畳部１３５３ａは、このアルファブレンド処理により生成された画像を、注視誘導パターン重畳信号として、注視誘導パターン鑑賞品質改善部１３５３ｂに出力する。

　注視誘導パターン鑑賞品質改善部１３５３ｂは、注視誘導パターン重畳信号と注視対象領域相対顕著化画像強度調整信号とのアルファブレンド処理を行い、鑑賞品質改善映像信号を生成する。注視誘導パターン鑑賞品質改善部１３５３ｂは、例えば図２３に示すような映像鑑賞品質情報と注視誘導パターン重畳信号のブレンド比（ＰｔＢｌｅｎｄ）との関係に基づき、注視誘導パターン重畳信号と注視対象領域相対顕著化画像強度調整信号とのアルファブレンド処理を行う。図２３では、映像鑑賞品質情報の値が小さいほど注視誘導パターン重畳信号のブレンド比が高くなるように設定されている。このようなアルファブレンド処理を行うことにより、映像鑑賞品質情報の値が小さいほど（すなわち、映像酔いしやすいシーンほど）、注視対象領域に重畳される注視誘導パターンが目立つようになる。具体的には、注視対象領域に重畳される注視誘導パターンの色が濃くされることで、注視対象領域に重畳される注視誘導パターンが目立つようになる。

　このように、疑似広画角映像が映像酔いを誘発するような映像を含む場合には、原映像の領域に対して画質調整やパターンの重畳を行うことで、外挿予測映像の領域よりも原映像の領域を目立たせる。これにより、映像酔いを抑制し、鑑賞品質が改善された疑似広画角映像を提供することが可能となる。

　以上、本実施形態に係る品質改善処理部１３０の構成とこれによる処理について説明した。

　［１．５．まとめ］
　以上、本開示の第１の実施形態に係る情報処理装置１００とこれによる画像信号処理について説明した。本実施形態によれば、鑑賞する疑似広画角映像について、鑑賞環境や映像信号を解析し、疑似広画角映像が映像酔いを誘発するような映像を含む場合には、原映像の領域に対して画質調整やパターンの重畳を行い、外挿予測映像の領域よりも目立たせるようにする。このように生成された鑑賞品質改善映像信号をディスプレイに表示させることで、鑑賞者は大画面で広い観視画角で、広視野映像を快適にかつ高画質で鑑賞することが可能となる。

　＜２．第２の実施形態＞
　次に、図２４～図３０に基づいて、本開示の第２の実施形態に係る情報処理装置とこれによる画像信号処理について説明する。本実施形態では、入力映像信号は、広画角で製作された映像（広角撮影映像、パノラマ、全天周、全天球、自由視点映像、ゲームコンテンツ等の映像。以下、「広視野映像」とする。）であるとする。また、外部信号は、広視野映像データについて、ユーザインタラクション操作によりディスプレイに表示される領域を指定するためのクロッピング座標情報と、ユーザインタラクション操作で指定されたディスプレイ内の注視対象領域情報とを含んでいる。以下、広視野映像に対して、映像酔いの発生が抑制され、映像鑑賞状態が良好となる鑑賞品質改善映像信号を生成する情報処理装置２００とこれによる画像信号処理について説明する。

　［２．１．情報処理装置の概略構成］
　まず、図２４及び図２５を参照して、本開示の第２の実施形態に係る情報処理装置の概略構成について説明する。なお、図２４は、本実施形態に係る情報処理装置２００の概略構成を示す機能ブロック図である。図２５は、本実施形態に係る情報処理装置２００による画像信号処理の概要を示すフローチャートである。以下において、第１の実施形態に係る情報処理装置１００と同一の構成及び同一の機能については、詳細な説明を省略する。

　本実施形態に係る情報処理装置２００は、図２４に示すように、注視対象領域情報生成部２１０と、品質解析部２２０と、品質改善処理部２３０とから構成される。

　注視対象領域情報生成部２１０は、入力映像信号と、外部信号とに基づいて、広視野映像のうちディスプレイに表示される領域を示すクロッピング映像信号と、鑑賞者が注視する（注視している）であろう注視対象領域を推定し、注視対象領域情報とする。生成された注視対象領域情報は、品質改善処理部２３０へ出力される。

　品質解析部２２０は、外部信号と映像鑑賞環境情報とに基づいて、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する。品質解析部２２０は、映像を鑑賞する環境の状態から、映像の鑑賞品質に影響を与える度合を解析し、映像鑑賞品質情報を生成する。映像鑑賞品質情報は、本実施形態においても、映像酔いを誘発させる鑑賞品質を表すものとする。

　品質改善処理部２３０は、クロッピング映像信号、外部信号、注視対象領域情報、及び映像鑑賞品質情報に基づいて、鑑賞者の映像鑑賞状態が良好になるように映像信号処理を行い、鑑賞品質改善映像信号を生成する。

　かかる情報処理装置２００は、図２５に示すように、まず、注視対象領域情報生成部２１０において、外部から入力された入力映像信号及び外部信号から、クロッピング映像信号及び注視対象領域情報が生成される（Ｓ２００）。なお、これらの情報を生成する処理の詳細については後述する。注視対象領域情報生成部２１０は、生成したクロッピング映像信号及び注視対象領域情報を品質改善処理部２３０に出力する。

　一方、品質解析部２２０により、外部から入力された入力映像信号及び映像鑑賞環境情報から、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報が生成される（Ｓ２１０）。品質解析部２２０は、生成した映像鑑賞品質情報を品質改善処理部２３０に出力する。

　そして、品質改善処理部２３０により、クロッピング映像信号、外部信号、注視対象領域情報及び映像鑑賞品質情報から、鑑賞者の映像鑑賞状態が良好になるように映像信号処理が行われ、最終的に鑑賞品質改善映像信号が生成される（Ｓ２２０）。

　このような画像信号処理を行うことで、広視野映像を、ユーザインタラクション操作を伴って鑑賞する際、鑑賞環境やユーザインタラクション操作を解析し、広視野映像が映像酔いを誘発するような場合には、ディスプレイ表示内注視対象領域を画質調整やパターンの重畳により目立たせることができる。これにより、ユーザインタラクション操作を行っていない鑑賞者の映像酔いを抑制し、鑑賞品質を改善することが可能となる。以下、各機能について、詳細に説明する。

　［２．２．注視対象領域情報生成処理］
　まず、図２６及び図２７に基づいて、本実施形態の情報処理装置２００の注視対象領域情報生成部２１０の構成とこれによる処理について説明する。なお、図２６は、本実施形態に係る注視対象領域情報生成部２１０の機能構成を示す機能ブロック図である。図２７は、本実施形態に係る注視対象領域情報生成部２１０による注視対象領域情報生成処理を示すフローチャートである。

（１）機能構成
　本実施形態に係る注視対象領域情報生成部２１０は、図２６に示すように、外部信号デコーダ部２１１と、クロッピング映像生成部２１３と、顕著性マップ生成部２１５と、注視対象マップ生成部２１７とからなる。

　外部信号デコーダ部２１１は、外部信号より、クロッピング座標情報と、ディスプレイ内の注視対象領域情報であるディスプレイ表示内注視対象領域マップとを取得し、クロッピング映像生成部２１３あるいは注視対象マップ生成部２１７に出力する。クロッピング座標情報とディスプレイ内の注視対象領域情報とは、外部信号に含まれた情報である。

　クロッピング映像生成部２１３は、入力映像信号からクロッピング座標情報に基づきトリミングされた部分画像データを生成する。クロッピング映像生成部２１３は、部分画像データに所定の処理を行い、クロッピング映像信号を生成し、顕著性マップ生成部２１５へ出力する。

　顕著性マップ生成部２１５は、クロッピング映像信号から人間が目を引きやすい特徴的な被写体領域を検出し、映像において検出された被写体領域を表す顕著性マップを生成する。顕著性マップ生成部２１５は、入力映像信号の代わりにクロッピング映像信号から顕著性マップを生成する以外は、第１の実施形態に係る顕著性マップ生成部１１１と同様に動作する。顕著性マップ生成部２１５は、検出した被写体領域から作成した顕著性マップを、顕著性マップ信号として注視対象マップ生成部２１７に出力する。

　注視対象マップ生成部２１７は、顕著性マップとディスプレイ内の注視対象領域情報とに基づいて、鑑賞者が注視すべき領域を示す注視対象マップ（注視対象領域情報）を生成する。注視対象マップ生成部２１７は、信号識別マップ信号の代わりにディスプレイ内の注視対象領域情報から注視対象マップを生成する以外は、第１の実施形態に係る注視対象マップ生成部１１５と同様に動作する。

（２）処理内容
　図２６に示した注視対象領域情報生成部２１０は、まず、外部信号デコーダ部２１１により、入力された外部信号から、クロッピング座標情報と、ディスプレイ内の注視対象領域情報であるディスプレイ表示内注視対象領域マップとを取得する（Ｓ２０１）。ディスプレイ表示内注視対象領域マップは、例えば、１、０で表されるバイナリ信号であってもよく、０－２５５の連続値であってもよい。外部信号デコーダ部２１１は、クロッピング座標情報をクロッピング映像生成部２１３に出力し、ディスプレイ表示内注視対象領域マップを注視対象マップ生成部２１７に出力する。

　次いで、クロッピング映像生成部２１３により、入力映像信号とクロッピング座標情報とに基づいて、クロッピング映像信号が生成される（Ｓ２０３）。クロッピング映像生成部２１３は、入力映像信号が表す広視野映像から、クロッピング座標情報により特定される領域を、部分画像データとしてトリミングする。クロッピング映像生成部２１３は、部分画像データに対して、ディスプレイの解像度に合わせてスケーリング処理を行い、クロッピング映像信号を生成する。なお、スケーリング処理は、ディスプレイの解像度以外にも、例えば、後段にディスプレイの解像度で出力するスケーラーが接続されているようなシステムにおいては、予め設定された解像度に合わせて実施すればよい。クロッピング映像生成部２１３により生成されたクロッピング映像信号は、顕著性マップ生成部２１５に出力される。

　さらに、顕著性マップ生成部２１５により、クロッピング映像信号から、人間が目を引きやすい被写体領域を検出し、顕著性マップを生成する（Ｓ２０５）。顕著性マップ生成部２１５は、第１の実施形態と同様、被写体領域の位置及び大きさを検出し、これらの値とその確からしさとに基づき顕著性マップを生成する。顕著性マップ生成部２１５は、生成した顕著性マップを、顕著性マップ信号として、注視対象マップ生成部２１７に出力する。

　その後、注視対象マップ生成部２１７により、顕著性マップとディスプレイ表示内注視対象領域マップとに基づいて、注視対象マップが生成される（Ｓ２０７）。注視対象マップ生成部２１７は、第１の実施形態と同等に、平滑化フィルタを生成し、ディスプレイ表示内注視対象領域マップに対して平滑化処理を行うことにより、注視対象マップを作成する。なお、本実施形態にて生成される注視対象領域マップは、ユーザインタラクション操作で指定されたディスプレイ内の注視対象領域マップであるので、必ずしもディスプレイの中央にある必要はなく、その大きさもユーザが指定可能であるものとする。したがって、ディスプレイ表示内注視対象領域マップが図８の信号識別マップ信号と同一であるとき、注視対象領域情報（注視対象マップ）は図８に示す注視対象マップのようになる。

　以上、本実施形態に係る注視対象領域情報生成部２１０の構成とこれによる処理について説明した。

　［２．３．映像鑑賞品質解析処理］
　次に、図２８～図３０に基づいて、本実施形態の情報処理装置２００の品質解析部２２０の構成とこれによる処理について説明する。なお、図２８は、本実施形態に係る品質解析部２２０の機能構成を示す機能ブロック図である。図２９は、本実施形態に係る品質解析部２２０による映像鑑賞品質解析処理を示すフローチャートである。図３０は、クロッピング座標情報の時間変動からグローバルモーションベクトル場への変換処理を説明する説明図である。

（１）機能構成
　本実施形態に係る品質解析部２２０は、図２８に示すように、映像酔い誘発環境情報生成部２２１と、映像酔い誘発インタラクション操作成分解析部２２３と、映像酔い誘発度生成部２２５とからなる。

　映像酔い誘発環境情報生成部２２１は、映像環境情報に基づいて、相対ディスプレイ明るさ情報と観視画角情報とを生成する。映像酔い誘発環境情報生成部２２１は、第１の実施形態に係る映像酔い誘発環境情報生成部１２１と同様に動作する。映像酔い誘発環境情報生成部２２１は、生成した相対ディスプレイ明るさ情報及び観視画角情報を映像酔い誘発度生成部２２５に出力する。

　映像酔い誘発インタラクション操作成分解析部２２３は、外部信号に基づいて、インタラクション操作の制御信号から映像の動きベクトルの特徴を解析し、映像酔い誘発動き成分マップを生成する。映像酔い誘発インタラクション操作成分解析部２２３は、図２８に示すように、外部信号デコーダ部２２３ａと、グローバルモーションベクトル変換部２２３ｂと、映像酔い誘発動き成分解析部２２３ｃとからなる。

　外部信号デコーダ部２２３ａは、外部信号からクロッピング座標情報を取得する。外部信号デコーダ部２２３ａは、図２６に示した注視対象領域情報生成部２１０の外部信号デコーダ部２１１と同様に動作する。

　グローバルモーションベクトル変換部２２３ｂは、クロッピング座標情報の時間変動を、グローバルモーションベクトル場に変換する。グローバルモーションベクトル変換部２２３ｂでは、クロッピング座標情報の時間変動を、クロッピング映像信号に対する画面全体の動き（すなわち、グローバルモーション）とみなし、ディスプレイ表示画面内の各位置での動きベクトルを算出している。この動きベクトルよりグローバルモーションベクトル場が生成される。

　映像酔い誘発動き成分解析部２２３ｃは、グローバルモーションベクトル変換部２２３ｂにより生成されたグローバルモーションベクトル場に基づいて、映像酔い誘発動き成分マップを生成する。映像酔い誘発動き成分解析部２２３ｃは、生成した映像酔い誘発動き成分マップを映像酔い誘発度生成部２２５に出力する。

　映像酔い誘発度生成部２２５は、映像が映像酔いを誘発させる鑑賞品質であるかを示す映像鑑賞品質情報を生成する。映像酔い誘発度生成部２２５は、第１の実施形態に係る映像酔い誘発度生成部１２５と同様に動作する。

（２）処理内容
　図２８に示した品質解析部２２０は、図２９に示すように、まず、映像酔い誘発環境情報生成部２２１により、映像鑑賞環境情報から、相対ディスプレイ明るさ情報及び観視画角情報を生成する（Ｓ２１１）。ステップＳ２１１の処理は、図１１のステップＳ１１１と同様に行われる。映像酔い誘発環境情報生成部２２１は、生成した相対ディスプレイ明るさ情報及び観視画角情報を、映像酔い誘発度生成部２２５へ出力する。

　次いで、映像酔い誘発インタラクション操作成分解析部２２３より、映像酔い誘発動き成分マップが生成される。映像酔い誘発インタラクション操作成分解析部２２３は、まず、外部信号デコーダ部２２３ａにより、外部信号からクロッピング座標情報を取得する（Ｓ２１３）。そして、グローバルモーションベクトル変換部２２３ｂにより、クロッピング座標情報の時間変動がグローバルモーションベクトル場に変換される（Ｓ２１５）。グローバルモーションベクトル変換部２２３ｂでは、クロッピング座標情報の時間変動を、クロッピング映像信号に対する画面全体の動き（すなわち、グローバルモーション）とみなし、ディスプレイ表示画面内の各位置での動きベクトルを算出している。

　例えば、グローバルモーションベクトル変換部２２３ｂは、図３０に示すように、クロッピング座標情報の時間変動（図３０の矩形Ｓｇ_Ａと矩形Ｓｇ_Ｂとの４頂点のマッピングの対応関係）から、アフィン変換、射影変換等を用いてモーションパラメータを決定し、ディスプレイ表示画面内の各位置での動きベクトルを算出する。この動きベクトルよりグローバルモーションベクトル場が生成される。

　ステップＳ２１５にてグローバルモーションベクトル場が生成されると、映像酔い誘発動き成分解析部２２３ｃは、グローバルモーションベクトル場に基づいて、映像酔い誘発動き成分マップを生成する（Ｓ２１７）。映像酔い誘発動き成分解析部２２３ｃは、例えば第１の実施形態に係る映像酔い誘発動き成分解析部１２３と同様に映像酔い誘発動き成分マップを生成してもよい。なお、映像酔い誘発動き成分解析部２２３ｃでの処理は、第１の実施形態に係る映像酔い誘発動き成分解析部１２３の処理から、映像信号からの動きベクトル検出部分を除いた処理に相当する。すなわち、映像酔い誘発動き成分解析部２２３ｃは、動きベクトルを、映像信号の代わりに、インタラクション操作の制御信号から求めている。映像酔い誘発動き成分解析部２２３ｃは、生成した映像酔い誘発動き成分マップを映像酔い誘発度生成部２２５に出力する。

　その後、映像酔い誘発度生成部２２５により、相対ディスプレイ明るさ情報、観視画角情報及び映像酔い誘発動き成分マップに基づいて、映像酔いを誘発させる鑑賞品質であるかを示す映像鑑賞品質情報が生成される（Ｓ２１９）。ステップＳ２１９の処理は、図１１のステップＳ１１５と同様に行われる。

　以上、本実施形態に係る品質解析部２２０の構成とこれによる処理について説明した。

　［２．４．映像鑑賞品質改善処理部］
　次に、本実施形態の情報処理装置２００の品質改善処理部２３０について説明する。本実施形態に係る品質改善処理部２３０は、第１の実施形態と同様、図１４のように構成することができる。ただし、注視誘導パターンマップ生成部１３３において、本実施形態のディスプレイ表示内注視対象領域が、第１の実施形態の注視誘導パターンマップ１８の原映像を示す領域（図１６及び図１７に示した注視誘導パターンマップ１８の原映像を示す点線領域１８ｏ）に対応する点で相違する。その他の処理は、第１の実施形態と同様に行われる。

　以上、本実施形態に係る品質改善処理部２３０の構成とこれによる処理について説明した。

　［２．５．まとめ］
　以上、本開示の第２の実施形態に係る情報処理装置２００とこれによる画像信号処理について説明した。本実施形態によれば、広視野映像を、ユーザインタラクション操作を伴って鑑賞する際、鑑賞環境やユーザインタラクション操作を解析し、映像酔いを誘発するような場合には、ディスプレイ表示内注視対象領域を画質調整やパターンの重畳により目立たせるようにする。これにより、ユーザインタラクション操作をしていない鑑賞者に対する映像酔いを抑制し、鑑賞品質を改善することが可能となる。

　なお、上述の説明では、広視野映像を、ユーザインタラクション操作による鑑賞する場合を想定したが、本開示はかかる例に限定されない。例えば、ユーザインタラクション操作の情報が、予めコンテンツ製作者によって生成されてもよく、事前に他の鑑賞者の視線を解析して生成されたものでもよい（例えば、非特許文献："Gaze-driven Video Re-editing", Eakta Jain, Yaser Sheikh,
Ariel Shamir, Jessica Hodgins. ACM Transactions on Graphics (TOG), 2014）。あるいは、自動カメラワークを実現するような外部映像解析ブロックで生成されたものをユーザインタラクション操作の情報としてもよい（例えば、非特許文献："Video retargeting: automating pan and scan", MULTIMEDIA
'06 Proceedings of the 14th annual ACM international conference on Multimedia
Pages 241-250）。この場合、この情報を広視野映像にメタデータとして付加することで実現することが可能である。

　＜３．第３の実施形態＞
　次に、図３１～図４０に基づいて、本開示の第３の実施形態に係る情報処理装置とこれによる画像信号処理について説明する。本実施形態において、入力映像信号は、第２の実施形態と同様、広画角で製作された映像（広角撮影映像、パノラマ、全天周、全天球、自由視点映像、ゲームコンテンツ等の映像。以下、「広視野映像」とする。）であるとする。また、外部信号には、広視野映像データについて、ユーザインタラクション操作によりディスプレイに表示される領域を指定するためのクロッピング座標情報と、ユーザインタラクション操作で指定されたディスプレイ内の注視対象領域情報とを含んでいる。本実施形態では、広視野映像に対して、鑑賞者のユーザインタラクション操作どおりに表示すると映像酔いを誘発させる可能性がある場合、ユーザインタラクション操作どおりの表示ではなく、映像酔いを誘発させないように映像酔い防止処理を実行する場合について説明する。

　［３．１．情報処理装置の概略構成］
　まず、図３１及び図３２を参照して、本開示の第３の実施形態に係る情報処理装置の概略構成について説明する。なお、図３１は、本実施形態に係る情報処理装置３００の概略構成を示す機能ブロック図である。図３２は、本実施形態に係る情報処理装置３００による画像信号処理の概要を示すフローチャートである。以下において、第１、第２の実施形態に係る情報処理装置１００、２００と同一の構成及び同一の機能については、詳細な説明を省略する。

　本実施形態に係る情報処理装置３００は、図３１に示すように、注視対象領域情報生成部３１０と、品質解析部３２０と、品質改善処理部３３０とから構成される。

　注視対象領域情報生成部３１０は、入力映像信号及び外部信号と、後述する品質解析部３２０により生成された映像酔い誘発度マップとに基づいて、広視野映像のうちディスプレイに表示される領域を示すクロッピング映像信号と注視対象領域情報とを出力する。注視対象領域情報生成部３１０は、生成したクロッピング映像信号及び注視対象領域情報を、品質改善処理部３３０へ出力する。

　品質解析部３２０は、入力映像信号、外部信号、映像鑑賞環境情報に基づいて、鑑賞者のユーザインタラクション操作により、ディスプレイに表示される映像部分の中で、各領域の映像酔い誘発しやすさを示す映像酔い誘発度マップを生成する。品質解析部３２０は、生成した映像酔い誘発度マップを注視対象領域情報生成部３１０へ出力する。

　品質改善処理部３３０は、クロッピング映像信号及び注視対象領域情報に基づいて、映像酔いを誘発させないように映像酔い防止処理を実行し、鑑賞品質改善映像信号を生成する。映像酔い防止処理では、例えば、映像酔いを誘発させやすい映像領域を強制的にマスキングする強制マスク表示をしたり、ディスプレイ表示する映像が映像酔いを誘発させるシーンであることを示すアラーム表示をしたりする。

　かかる情報処理装置３００は、図３２に示すように、まず、品質解析部３２０により、入力映像信号、外部信号、映像鑑賞環境情報に基づいて、映像酔い誘発度マップが生成される（Ｓ３００）。品質解析部３２０は、生成した映像酔い誘発度マップを注視対象領域情報生成部３１０へ出力する。映像酔い誘発度マップは、上述したように、鑑賞者のユーザインタラクション操作により、ディスプレイに表示される映像部分の中で各領域の映像酔い誘発しやすさを示す画像である。

　次いで、注視対象領域情報生成部３１０により、入力映像信号及び外部信号と、映像酔い誘発度マップとに基づいて、クロッピング映像信号と注視対象領域情報とを生成する（Ｓ３１０）。注視対象領域情報生成部３１０は、生成したクロッピング映像信号及び注視対象領域情報を、品質改善処理部３３０へ出力する。

　そして、品質改善処理部３３０により、クロッピング映像信号及び注視対象領域情報に基づいて、映像酔い防止処理が実行され、鑑賞品質改善映像信号が生成される（Ｓ３２０）。

　このような画像信号処理を行うことで、広視野映像に対して、鑑賞者のユーザインタラクション操作どおりに表示すると映像酔いを誘発させる可能性がある場合、ユーザインタラクション操作どおりの表示ではなく、映像酔いを誘発させないようにする映像酔い防止処理が実行される。これにより、ユーザインタラクション操作の誤操作等によって発生する鑑賞者の映像酔いを抑制し、鑑賞品質を改善することが可能となる。以下、各機能について、詳細に説明する。

　［３．３．映像鑑賞品質解析処理］
　次に、図３３及び図３４に基づいて、本実施形態の情報処理装置３００の品質解析部３２０の構成とこれによる処理について説明する。なお、図３３は、本実施形態に係る品質解析部３２０の機能構成を示す機能ブロック図である。図３４は、本実施形態に係る品質解析部３２０による映像鑑賞品質解析処理を示すフローチャートである。

（１）機能構成
　本実施形態に係る品質解析部３２０は、図３３に示すように、映像酔い誘発環境情報生成部３２１と、映像酔い誘発動き成分解析部３２２と、外部信号デコーダ部３２３と、クロッピング映像生成部３２３－２と、映像酔い誘発度生成部３２４とからなる。

　映像酔い誘発環境情報生成部３２１は、映像環境情報に基づいて、相対ディスプレイ明るさ情報と観視画角情報とを生成する。映像酔い誘発環境情報生成部３２１は、第１の実施形態に係る映像酔い誘発環境情報生成部１２１と同様に動作する。映像酔い誘発環境情報生成部３２１は、生成した相対ディスプレイ明るさ情報及び観視画角情報を映像酔い誘発度生成部３２４に出力する。

　映像酔い誘発動き成分解析部３２２は、後述する外部信号デコーダ部３２３、クロッピング映像生成部３２３－２で生成されたクロッピング映像信号に基づいて、映像の動きベクトルの特徴を解析し、映像酔い誘発動き成分マップを生成する。映像酔い誘発動き成分解析部３２２は、第１の実施形態に係る映像酔い誘発動き成分解析部１２３と同様に動作するが、解析対象が、入力映像信号ではなく、クロッピング映像信号である点のみ相違する。映像酔い誘発動き成分解析部３２２は、生成した映像酔い誘発動き成分マップを映像酔い誘発度生成部３２４に出力する。

　外部信号デコーダ部３２３は、外部信号からクロッピング座標情報を取得し、クロッピング映像生成部３２３－２により、入力映像信号とクロッピング座標情報とに基づいて、クロッピング映像信号が生成される。外部信号デコーダ部３２３及びクロッピング映像生成部３２３－３は、図２６に示す第２の実施形態と同様に動作する。

　映像酔い誘発度生成部３２４は、映像鑑賞品質情報として、ディスプレイに表示される映像部分で、各領域での映像酔いの誘発しやすさを示す映像酔い誘発度マップを生成する。映像酔い誘発度生成部３２４は、図３３に示すように、視野内映像酔い誘発度マップ生成部３２４ａと、鑑賞環境下映像酔い誘発度マップ生成部３２４ｂとからなる。

　視野内映像酔い誘発度マップ生成部３２４ａは、観視画角情報及び映像酔い誘発動き成分マップに基づいて、視野内映像酔い誘発度マップを生成する。視野内映像酔い誘発度マップは、観視画角に応じた映像範囲に、離散的にマッピングした映像酔い誘発動き成分マップに対して重み付けをして生成されるものである。すなわち、視野内映像酔い誘発度マップ生成部３２４ａは、第１の実施形態に係る視野内映像酔い誘発動き成分累積部１２５ａと同様に動作する。

　鑑賞環境下映像酔い誘発度マップ生成部３２４ｂは、相対ディスプレイ明るさ情報及び視野内映像酔い誘発度マップに基づいて、映像酔い誘発度マップを生成する。

（２）処理内容
　図３３に示した品質解析部３２０は、図３３に示すように、まず、映像酔い誘発環境情報生成部３２１により、映像鑑賞環境情報から、相対ディスプレイ明るさ情報及び観視画角情報を生成する（Ｓ３０１）。ステップＳ３０１の処理は、図１１のステップＳ１１１と同様に行われる。映像酔い誘発環境情報生成部３２１は、生成した相対ディスプレイ明るさ情報及び観視画角情報を、映像酔い誘発度生成部３２４へ出力する。

　次いで、外部信号デコーダ部３２３により、外部信号からクロッピング座標情報が取得され、クロッピング映像生成部３１３により、入力映像信号とクロッピング座標情報とに基づいて、クロッピング映像信号が生成される（Ｓ３０３）。さらに、映像酔い誘発動き成分解析部３２２より、入力されたクロッピング映像信号が表す映像について動きベクトルの特徴を解析し、映映像酔い誘発動き成分マップが生成される（Ｓ３０５）。ステップＳ３０５の処理は、図１１のステップＳ１１３と同様に行われる。映像酔い誘発動き成分解析部３２２は、生成した映映像酔い誘発動き成分マップを、映像酔い誘発度生成部３２４へ出力する。

　そして、視野内映像酔い誘発度マップ生成部３２４ａにより、観視画角情報及び映像酔い誘発動き成分マップに基づいて、視野内映像酔い誘発度マップが生成される（Ｓ３０７）。視野内映像酔い誘発度マップの生成処理は、第１の実施形態に係る視野内映像酔い誘発動き成分累積部１２５ａと同様に、観視画角に応じた映像範囲に離散的にマッピングした映像酔い誘発動き成分マップに対して、例えば図１２に示したような中心視野ほど重みが高くなる重み係数を乗じ、重み付けして行われる。

　その後、鑑賞環境下映像酔い誘発度マップ生成部３２４ｂにより、相対ディスプレイ明るさ情報及び視野内映像酔い誘発度マップに基づいて、映像酔い誘発度マップが生成される（Ｓ３０９）。鑑賞環境下映像酔い誘発度マップ生成部３２４ｂは、例えば図１３に示したような特性に従って、相対ディスプレイ明るさ情報から明るさ誘発ゲイン（ＬｕｍＧａｉｎ）を設定する。そして、鑑賞環境下映像酔い誘発度マップ生成部３２４ｂは、設定した明るさ誘発ゲインを視野内映像酔い誘発度マップに乗じたものを、映像酔い誘発度マップとして生成する。なお、この映像酔い誘発度マップのマップ値は、例えば、０から２５５の値をとるように設定され、映像酔い誘発しやすい領域ほど大きな値に設定される。

　以上、本実施形態に係る品質解析部３２０の構成とこれによる処理について説明した。

　［３．３．注視対象領域情報生成処理］
　次に、図３５～図３７に基づいて、本実施形態の情報処理装置３００の注視対象領域情報生成部３１０の構成とこれによる処理について説明する。なお、図３５は、本実施形態に係る注視対象領域情報生成部３１０の機能構成を示す機能ブロック図である。図３６は、本実施形態に係る注視対象領域情報生成部３１０による注視対象領域情報生成処理を示すフローチャートである。図３７は、映像酔い誘発度マップと、これを反転したマップの例を示す説明図である。

（１）機能構成
　本実施形態に係る注視対象領域情報生成部３１０は、図３５に示すように、外部信号デコーダ部３１１と、クロッピング映像生成部３１３と、注視対象マップ生成部３１５とからなる。外部信号デコーダ部３１１及びクロッピング映像生成部３１３は、図２６に示す第２の実施形態と同様に動作する。

　注視対象マップ生成部３１５は、入力された映像鑑賞品質情報である映像酔い誘発度マップに基づいて、注視対象領域情報（注視対象マップ）を生成する。本実施形態では、映像酔い誘発度マップから、映像酔いしやすい領域を注視しない領域として示した注視対象マップを生成する。

（２）処理内容
　図３５に示した注視対象領域情報生成部３１０は、まず、外部信号デコーダ部３１１により、入力された外部信号から、クロッピング座標情報と、ディスプレイ内の注視対象領域情報であるディスプレイ表示内注視対象領域マップとを取得する（Ｓ３１１）。ステップＳ３１１の処理は、図２７に示すステップＳ２０１と同様に行われる。外部信号デコーダ部３１１は、クロッピング座標情報をクロッピング映像生成部３１３に出力する。

　次いで、クロッピング映像生成部３１３により、入力映像信号とクロッピング座標情報とに基づいて、クロッピング映像信号が生成される（Ｓ３１３）。ステップＳ３１３の処理は、図２７に示すステップＳ２０３と同様に行われる。クロッピング映像生成部３１３により生成されたクロッピング映像信号は、図３１の品質改善処理部３３０に出力される。

　その後、注視対象マップ生成部３１５により、映像酔い誘発度マップから注視対象マップが生成される（Ｓ３１５）。注視対象マップ生成部３１５は、例えば図３７に示すような、映像酔い誘発度マップ３６を反転させて反転マップ３６Ｒを生成し、これを注視対象マップとする。図３７の反転マップ３６Ｒは、黒い部分ほど映像酔いしやすい領域を示している。すなわち、映像酔い誘発度マップ３６から、注視対象マップ生成部３１５で映像酔いしやすい領域を鑑賞者に注視させない領域として示した注視対象領域情報に変換することで、注視対象マップを生成する。

　以上、本実施形態に係る注視対象領域情報生成部３１０の構成とこれによる処理について説明した。

　［３．４．映像鑑賞品質改善処理］
　次に、図３８～図４０に基づいて、本実施形態の情報処理装置３００の品質改善処理部３３０の構成とこれによる処理について説明する。なお、図３８は、本実施形態に係る品質改善処理部３３０の機能構成を示す機能ブロック図である。図３９は、本実施形態に係る品質改善処理部３３０による映像鑑賞品質改善処理を示すフローチャートである。図４０は、映像酔いアラーム情報の一例を示す説明図である。

（１）機能構成
　本実施形態に係る品質改善処理部３３０は、図３８に示すように、注視対象領域相対顕著化画像処理部３３１と、注視対象領域相対顕著化合成部３３３とからなる。

　注視対象領域相対顕著化画像処理部３３１は、クロッピング映像信号及び注視対象領域情報（注視対象マップ）に基づいて、注視対象領域が相対的に顕著化するように画像処理を施した相対顕著化処理映像信号を生成する。注視対象領域相対顕著化画像処理部３３１は、図１４に示す注視対象領域相対顕著化画像処理部１３１と同様に動作する。なお、本実施形態では、入力映像信号の代わりにクロッピング映像信号が入力されている。注視対象領域相対顕著化画像処理部３３１は、生成した相対顕著化処理映像信号を注視対象領域相対顕著化合成部３３３に出力する。

　注視対象領域相対顕著化合成部３３３は、相対顕著化処理映像信号及び注視対象領域情報（注視対象マップ）に基づいて、鑑賞品質改善映像信号を生成する。注視対象領域相対顕著化合成部３３３は、図３８に示すように、映像酔いアラーム判定部３３３ａと、映像酔いアラーム表示重畳部３３３ｂとからなる。

　映像酔いアラーム判定部３３３ａは、注視対象領域情報（注視対象マップ）に基づいて、映像酔いアラーム表示を行うか否かを判定し、ディスプレイに表示される映像が映像酔いを誘発するシーンである場合には、映像酔いアラーム情報を映像酔いアラーム表示重畳部３３３ｂに出力する。

　映像酔いアラーム表示重畳部３３３ｂは、制御情報に映像酔いアラーム表示を行う指示がある場合に、映像酔いアラーム情報に基づいて相対顕著化処理映像信号にアラーム表示を重畳し、鑑賞品質改善映像信号として出力する。

（２）処理内容
　図３８に示した品質改善処理部３３０は、図３９に示すように、まず、注視対象領域相対顕著化画像処理部３３１により、クロッピング映像信号及び注視対象領域情報（注視対象マップ）に基づいて、注視対象領域が相対的に顕著化するように画像処理を施した相対顕著化処理映像信号が生成される（Ｓ３２１）。ステップＳ３２１の処理は、図１５のステップＳ１２３と同様に行われる。すなわち、図３７に示す反転マップ３６Ｒの黒い部分ほど、ぼかしたり、コントラストを低くさせたり、暗くしたり、彩度を低くするような画質抑制処理が行われる。クロッピング映像信号に対してこのような画像処理を施したものが、相対顕著化処理映像信号として注視対象領域相対顕著化合成部３３３に出力される。

　次いで、映像酔いアラーム判定部３３３ａは、注視対象領域情報（注視対象マップ）に基づいて、広視野映像に映像酔いアラーム表示を行うか否かを判定する。まず、映像酔いアラーム判定部３３３ａは、入力された注視対象領域情報（注視対象マップ）に対して、反転処理を行い、図３７に示す映像酔い誘発度マップ３６の状態に戻し、映像酔い誘発度マップ３６のマップ値を画面全体で積算し、積算値を得る。そして、この積算値が所定の閾値かどうかを判定する（Ｓ３２３）。この閾値は、広視野映像中に映像酔いを起こしやすい領域の多さを判定するものであり、例えば経験的に適切な値に設定される。

　映像酔いアラーム判定部３３３ａは、累積値が閾値より小さい場合には、広視野映像中に映像酔いを起こしやすい領域は少なく、鑑賞者が映像酔いを起こす可能性は低いとして、図３９の処理を終了する。一方、映像酔いアラーム判定部３３３ａは、累積値が閾値以上の場合には、広視野映像中に映像酔いを起こしやすい領域が多く、ディスプレイに表示される映像が映像酔いを誘発するシーンであると判定される。このとき、映像酔いアラーム判定部３３３ａは、広視野映像に対して映像酔い防止処理を行わせることを決定する（Ｓ３２５）。

　映像酔い防止処理としては、例えば、広視野映像に映像酔いアラーム情報を表示させる映像酔いアラーム情報表示処理や、強制的に映像をマスキングする強制マスキング表示処理等がある。映像酔いアラーム判定部３３３ａは、映像酔い防止処理の実施の有無を表す制御情報を生成し、アラームの内容を示す映像酔いアラーム情報とともに、映像酔いアラーム表示重畳部３３３ｂへ出力する。

　その後、映像酔いアラーム表示重畳部３３３ｂは、制御情報に映像酔いアラーム表示を行う指示がある場合に、映像酔いアラーム情報に基づいて相対顕著化処理映像信号にアラーム表示を重畳し、鑑賞品質改善映像信号として出力する（Ｓ３２７）。これにより、例えば図４０に示すように、広視野映像３０の映像酔いを誘発しやすい領域には、映像酔いを誘発しやすい領域を注視しないように、映像酔いアラーム情報３０Ｗが表示される。

　以上、本実施形態に係る品質改善処理部３３０の構成とこれによる処理について説明した。

　［３．５．まとめ］
　以上、本開示の第３の実施形態に係る情報処理装置３００とこれによる画像信号処理について説明した。本実施形態によれば、広視野映像をユーザインタラクション操作しながら鑑賞する際、誤って映像酔いを誘発させるようなシーンを表示させてしまったとしても、鑑賞環境やクロッピング映像信号の解析により、ディスプレイ表示内で映像酔いを誘発させる領域に対する画質抑制マスク表示や、映像酔いを警告するアラーム表示等が行われる。これにより、鑑賞者に対する映像酔いを抑制し、鑑賞品質を改善することが可能となる。

　＜４．第４の実施形態＞
　次に、図４１～図５３に基づいて、本開示の第４の実施形態に係る情報処理装置とこれによる画像信号処理について説明する。本実施形態では、第１の実施形態と同様、上記非特許文献２のように、原映像と当該原映像の周囲に表示される外挿予測映像とからなる擬似的な広画角の映像を、広い観視画角で大画面に表示する場合について説明する。なお、外部信号は、擬似的に広画角に拡張される前の原映像を表す原信号と外挿予測信号を識別することが可能な制御信号である。

　本実施形態では、疑似広画角映像を、プロジェクタ５０を使って投影することを想定している。疑似広画角映像が投影されるスクリーンとしては、例えば図４１のように、単一平面スクリーン５２Ａだけでなく、図４２に示すような、プロジェクタ５０を囲むような複数平面５２１、５２２、５２３からなる複数平面スクリーン５２Ｂへの投影も想定する。このとき、単一平面スクリーン５２Ａ及び複数平面スクリーン５２Ｂには、それぞれ中央部分に原映像Ａｏが表示され、その両側（外周部分）に外挿予測映像Ａｅが表示される。

　［４．１．情報処理装置の概略構成］
　まず、図４３及び図４４を参照して、本開示の第４の実施形態に係る情報処理装置の概略構成について説明する。なお、図４３は、本実施形態に係る情報処理装置４００の概略構成を示す機能ブロック図である。図４４は、本実施形態に係る情報処理装置４００による画像信号処理の概要を示すフローチャートである。

　本実施形態に係る情報処理装置４００は、図４３に示すように、注視対象領域情報生成部４１０と、品質解析部４２０と、品質改善処理部４３０とから構成される。本実施形態に係る情報処理装置４００は、図１に示した第１の実施形態の情報処理装置１００と比較して、入力映像信号が注視対象領域情報生成部４１０に入力されない点で相違する。

　注視対象領域情報生成部４１０は、外部信号に基づいて、鑑賞者が注視する注視対象領域を推定し、注視対象領域情報とする。品質解析部４２０は、入力映像信号と、映像鑑賞環境情報とに基づいて、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する。品質改善処理部４３０は、入力映像信号、外部信号、注視対象領域情報、及び映像鑑賞品質情報に基づいて、鑑賞者の映像鑑賞状態が良好になるように映像信号処理を行い、鑑賞品質改善映像信号を生成する。

　かかる情報処理装置４００は、図４４に示すように、まず、注視対象領域情報生成部１１０において、外部信号から注視対象領域を推定し、注視対象領域情報を生成する（Ｓ４００）。注視対象領域情報生成部４１０は、生成した注視対象領域情報を品質改善処理部４３０に出力する。

　一方、品質解析部４２０により、外部から入力された入力映像信号及び映像鑑賞環境情報から、鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報が生成される（Ｓ４１０）。品質解析部４２０は、生成した映像鑑賞品質情報を品質改善処理部４３０に出力する。

　そして、品質改善処理部４３０により、外部から入力された入力映像信号及び外部信号と、注視対象領域情報及び映像鑑賞品質情報とから、鑑賞者の映像鑑賞状態が良好になるように映像信号処理が行われ、最終的に鑑賞品質改善映像信号が生成される（Ｓ４２０）。

　このような画像信号処理を行うことで、原映像の周囲に外挿予測映像が外挿された擬似広画角映像を鑑賞する際、鑑賞環境や映像信号を解析し、擬似広画角映像が映像酔いを誘発するような場合には、外挿予測映像より原映像を目立たせることで、映像酔いを抑制し、鑑賞品質を改善することが可能となる。また、疑似広画角映像を複数平面にプロジェクタ投影して表示させて鑑賞する場合でも、相互反射による原信号部分のコントラスト低下の現象を抑制することができる。以下、各機能について、詳細に説明する。

　［４．２．注視対象領域情報生成処理］
　まず、図４５に基づいて、本実施形態の情報処理装置４００の注視対象領域情報生成部４１０の構成とこれによる処理について説明する。なお、図４５は、本実施形態に係る注視対象領域情報生成部４１０の機能構成を示す機能ブロック図である。

　本実施形態に係る注視対象領域情報生成部４１０は、図４５に示すように、信号識別マップ生成部４１１のみからなる。すなわち、信号識別マップ生成部４１１は、外部信号として入力された信号識別マップ信号をそのまま注視対象領域情報（注視対象マップ）として出力する。

　［４．３．映像鑑賞品質解析処理］
　次に、図４６～図５０に基づいて、本実施形態の情報処理装置４００の品質解析部４２０の構成とこれによる処理について説明する。なお、図４６は、本実施形態に係る品質解析部４２０の機能構成を示す機能ブロック図である。図４７は、本実施形態に係る品質解析部４２０による映像鑑賞品質解析処理を示すフローチャートである。図４８は、本実施形態に係る映像鑑賞環境情報の一例を示す説明図である。図４９は、ダイナミックレンジ減少幅と相互反射誘発環境情報との関係を示す説明図である。図５０は、外挿領域平均明るさと映像環境品質情報との関係を示す説明図である。

（１）機能構成
　本実施形態に係る品質解析部４２０は、図４６に示すように、相互反射誘発環境情報生成部４２１と、外挿領域平均明るさ算出部４２３と、相互反射誘発度生成部４２５とからなる。

　相互反射誘発環境情報生成部４２１は、映像環境情報に基づいて、相互反射誘発環境情報を生成する。相互反射誘発環境情報は、原映像の周辺に挿入された外挿予測映像の表示による相互反射の影響が、中央部の原映像の表示にどの程度影響を与えているかを示す情報である。相互反射誘発環境情報の算出処理については後述する。相互反射誘発環境情報生成部４２１は、生成した相互反射誘発環境情報を、相互反射誘発度生成部４２５に出力する。

　外挿領域平均明るさ算出部４２３は、入力映像信号と外部信号とに基づいて、入力映像信号に対して、図５８に示した原映像６ｏの周辺に挿入された外挿予測映像６ｅの平均明るさ（輝度、明度）を算出し、外挿領域平均明るさとして相互反射誘発度生成部４２５に出力する。

　相互反射誘発度生成部４２５は、相互反射誘発環境情報と外挿領域平均明るさとに基づいて、相互反射の影響を受けた表示画質を示す映像鑑賞品質情報を出力する。

（２）処理内容
　図４６に示した品質解析部４２０は、図４７に示すように、まず、相互反射誘発環境情報生成部４２１により、映像環境情報に基づいて、相互反射誘発環境情報が生成される（Ｓ４１１）。相互反射誘発環境情報は、原映像の周辺に挿入された外挿予測映像の表示による相互反射の影響が、中央部の原映像の表示にどの程度影響を与えているかを示す情報である。

　本実施形態において、環境鑑賞環境情報は、例えば図４８に示すように、中央部の原映像に対応する部分に表示テストパターン４０ｏと周辺の外挿予測映像部分を全黒で表した周辺画像４０ｅＢとからなる画像と、表示テストパターン４０ｏと外挿予測映像部分を全白で表した周辺画像４０ｅＷとからなる画像とをそれぞれ表示させたときに、中央部を撮影して得られる２種類の画像データである。これらの画像データは、プロジェクタ投影を行うに際して事前に取得される。

　相互反射誘発環境情報生成部４２１は、２種類の画像データについて、それぞれのダイナミックレンジを計測し、ダイナミックレンジの減少幅（あるいは明るさ上昇値）を求める。そして、例えば図４９に示すような特性に従ってダイナミックレンジの減少幅から相互反射誘発環境係数（ＭＲＦ）を設定し、相互反射誘発環境情報とする。なお、別の実現例として、例えば図４８に示した２種類の画像データに対し、平均の明るさ（輝度、明度）を算出し、その差（明るさ上昇値）を相互反射誘発環境情報として設定してもよい。

　次いで、外挿領域平均明るさ算出部４２３により、入力映像信号と外部信号とに基づいて、入力映像信号に対して、原映像の周辺に挿入された外挿予測映像の平均明るさ（輝度、明度）が算出される（Ｓ４１３）。外挿領域平均明るさ算出部４２３は、算出した値を外挿領域平均明るさとして、相互反射誘発度生成部４２５に出力する。

　そして、相互反射誘発度生成部４２５は、相互反射誘発環境情報と外挿領域平均明るさとに基づいて、相互反射の影響を受けた表示画質を示す映像鑑賞品質情報を出力する（Ｓ４１５）。相互反射誘発度生成部４２５は、例えば図５０に示すように、周辺外挿領域平均明るさが大きければ大きいほど、０に近づくように映像鑑賞品質情報（すなわち表示画質）を設定する。

　以上、本実施形態に係る品質解析部４２０の構成とこれによる処理について説明した。

　［４．４．映像鑑賞品質改善処理］
　次に、図５１～図５３に基づいて、本実施形態の情報処理装置４００の品質改善処理部４３０の構成とこれによる処理について説明する。なお、図５１は、本実施形態に係る品質改善処理部４３０の機能構成を示す機能ブロック図である。図５２は、本実施形態に係る品質改善処理部４３０による映像鑑賞品質改善処理を示すフローチャートである。図５３は、入力映像信号と相対顕著化処理映像信号とのブレンド処理について説明する説明図である。

（１）機能構成
　本実施形態に係る品質改善処理部４３０は、図５１に示すように、注視対象領域相対顕著化画像処理部４３１と、注視対象領域相対顕著化合成部４３３とからなる。

　注視対象領域相対顕著化画像処理部４３１は、入力映像信号及び注視対象領域情報（注視対象マップ）に基づいて、相対顕著化処理映像信号を生成する。本実施形態に係る注視対象領域相対顕著化画像処理部４３１は、図５１に示すように、明るさ調整部４３１ａのみからなる。明るさ調整部４３１ａは、周辺の外挿予測領域（非注視対象領域）の明るさ抑制処理のみを動作させ、相対顕著化処理映像信号を生成する。

　注視対象領域相対顕著化合成部４３３は、相対顕著化処理映像信号、入力映像信号、外部信号及び映像鑑賞品質情報に基づいて、鑑賞品質改善映像信号を生成する。注視対象領域相対顕著化合成部４３３では、入力映像信号と相対顕著化処理映像信号とを、相互反射の影響を受けた表示画質を示す映像鑑賞品質情報と外部信号とにより得られた外挿/原信号の境界情報に基づいてブレンド処理し、鑑賞品質改善映像信号を生成する。

（２）処理内容
　図５１に示した品質改善処理部４３０は、図５２に示すように、まず、注視対象領域相対顕著化画像処理部４３１の明るさ調整部４３１ａにより、周辺の外挿予測領域（非注視対象領域）の明るさ抑制処理を行い、相対顕著化処理映像信号を生成する（Ｓ４２１）。

　次いで、注視対象領域相対顕著化合成部４３３により、相対顕著化処理映像信号、入力映像信号、外部信号及び映像鑑賞品質情報に基づいて、鑑賞品質改善映像信号が生成される（Ｓ４２３）。注視対象領域相対顕著化合成部４３３は、入力映像信号と相対顕著化処理映像信号とに対し、相互反射の影響を受けた表示画質を示す映像鑑賞品質情報と、外部信号により得られた外挿／原信号の境界情報に基づいてブレンド処理する。

　具体的には、図５３に示すように、映像鑑賞品質情報の値（表示画質）が高いほど、表示される映像の周辺まで入力映像信号が表示されるように、入力映像信号のブレンド比を高くする。一方、映像鑑賞品質情報の値（表示画質）が低い場合、周辺部分が暗くするため、相対顕著化処理映像信号のブレンド比が高くなるようにブレンド処理される。注視対象領域相対顕著化合成部４３３は、このような入力映像信号と相対顕著化処理映像信号とのブレンド処理により生成した信号を、最終的な鑑賞品質改善映像信号として出力する。

　以上、本実施形態に係る品質改善処理部４３０の構成とこれによる処理について説明した。

　［４．５．まとめ］
　以上、本開示の第４の実施形態に係る情報処理装置４００とこれによる画像信号処理について説明した。本実施形態によれば、鑑賞する疑似広画角映像について、複数平面にプロジェクタ投影して表示させて鑑賞する場合でも、相互反射による原信号部分のコントラスト低下の現象が抑制し、鑑賞品質を改善することが可能となる。

　＜５．まとめ＞
　上述の各実施形態によれば、広画角で製作された映像（広角撮影映像、パノラマ、全天周、全天球、自由視点映像、ゲームコンテンツなど）や、擬似的に広画角に拡張された映像（周辺外挿画像、モザイキング画像）等の、いわゆる広視野映像を、大画面で広い観視画角で鑑賞する際に、映像信号の動きやユーザインタラクションの動きで誘発される映像酔いや、複数平面にプロジェクタ投影した際の相互反射によるコントラスト低下などが抑制され、高品質な状態での映像鑑賞を提供することができる。

　＜６．ハードウェア構成＞
　最後に、上記実施形態に係る情報処理装置のハードウェア構成例について説明する。図５４は、上記実施形態に係る情報処理装置のハードウェア構成を示すハードウェア構成図である。

　本実施形態に係る情報処理装置は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理装置は、図５４に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理装置は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

　ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

　入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

　ストレージ装置９０８は、情報処理装置の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

　ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善する品質改善処理部と、
を備える、情報処理装置。
（２）
　前記映像鑑賞品質情報は、映像信号による映像酔いの誘発させやすさを示す情報である、前記（１）に記載の情報処理装置。
（３）
　前記品質解析部は、前記鑑賞者の視野内における前記映像の動きの分布情報に基づいて、前記映像信号から映像酔いを誘発するシーンを判定し、前記映像鑑賞品質情報を生成する、前記（２）に記載の情報処理装置。
（４）
　前記映像鑑賞品質情報は、プロジェクション投影された表示画面からの相互反射による画質低下を示す情報である、前記（１）に記載の情報処理装置。
（５）
　前記品質解析部は、前記注視対象領域のみを表示させた場合と全画面表示とした場合とについて、撮影された各画像信号の前記注視対象領域内の画質を解析し、前記映像鑑賞品質情報を生成する、前記（４）に記載の情報処理装置。
（６）
　前記品質解析部は、前記映像が映像酔いを誘発する映像鑑賞環境であるかを判定した鑑賞環境判定情報を生成する、前記（１）に記載の情報処理装置。
（７）
　前記品質解析部は、前記映像を表示するディスプレイサイズと前記鑑賞者からディスプレイまでの視距離とから決定される視画角に基づいて、前記鑑賞環境判定情報を生成する、前記（６）に記載の情報処理装置。
（８）
　前記品質解析部は、前記映像を表示するディスプレイの表示と前記映像を鑑賞している室内の明るさとの関係に基づいて、前記鑑賞環境判定情報を生成する、前記（６）に記載の情報処理装置。
（９）
　前記注視対象領域情報生成部は、前記鑑賞者のインタラクション操作による制御信号に基づいて、前記注視対象領域情報を生成する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記注視対象領域は、入力映像の原信号に基づく映像が表示されている領域であり、
　非注視対象領域は、前記入力映像の原信号に基づき外挿予測された信号に基づく映像が表示されている領域である、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１１）
　前記注視対象領域情報生成部は、入力映像から生成した顕著度マップに基づいて、前記注視対象領域情報を生成する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１２）
　前記注視対象領域情報生成部は、入力映像から生成した奥行マップに基づいて、前記注視対象領域情報を生成する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１３）
　前記注視対象領域情報生成部は、入力映像に付加されているメタデータに基づいて、前記注視対象領域情報を生成する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１４）
　前記注視対象領域情報生成部は、前記鑑賞者の視線解析結果に基づいて、前記注視対象領域情報を生成する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１５）
　前記注視対象領域情報は、連続的な値のマップで示されている、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１６）
　前記品質改善処理部は、前記映像鑑賞品質情報に基づいて、前記映像において相対的に前記注視対象領域の顕著性を強調させる処理を行う、前記（１）～（１５）のいずれか１項に記載の情報処理装置。
（１７）
　前記品質改善処理部は、前記注視対象領域に参照パターンを重畳し、前記映像において相対的に前記注視対象領域の顕著性を強調させる、前記（１６）に記載の情報処理装置。
（１８）
　前記品質改善処理部は、前記注視対象領域に対して、コントラスト強調処理、解像感強調処理、彩度強調処理、明るさ強調処理のうち少なくともいずれか１つを行うことにより、前記映像において相対的に前記注視対象領域の顕著性を強調させる、前記（１６）に記載の情報処理装置。
（１９）
　前記品質改善処理部は、前記注視対象領域以外の非注視対象領域に対して、コントラスト抑制処理、平滑化処理、彩度抑制処理、明るさ抑制処理のうち少なくともいずれか１つを行うことにより、前記映像において相対的に前記注視対象領域の顕著性を強調させる、前記（１６）に記載の情報処理装置。
（２０）
　前記品質改善処理部は、前記注視対象領域の映像鑑賞品質が基準値より低い状態になっている場合に、前記鑑賞者に対してアラームを通知する、前記（１）～（１９）のいずれか１項に記載の情報処理装置。
（２１）
　前記品質改善処理部は、前記注視対象領域の映像鑑賞品質が基準値より低い状態になっている場合に、前記注視対象領域をマスクするマスク画像を表示する、前記（１）～（１９）のいずれか１項に記載の情報処理装置。
（２２）
　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成すること、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成することと、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善すること、
とを含む、情報処理方法。
（２３）
　コンピュータを、
　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善する品質改善処理部と、
を備える、情報処理装置として機能させるためのプログラム。
（２４）
　コンピュータに、
　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善する品質改善処理部と、
を備える、情報処理装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

　１００～４００　情報処理装置
　１１０　　　　　注視対象領域情報生成部
　１１１　　　　　顕著性マップ生成部
　１１３　　　　　信号識別マップ生成部
　１１５　　　　　注視対象マップ生成部
　１２０　　　　　品質解析部
　１２１　　　　　誘発環境情報生成部
　１２３　　　　　成分解析部
　１２５　　　　　誘発度生成部
　１３０　　　　　品質改善処理部
　１３１　　　　　注視対象領域相対顕著化画像処理部
　１３３　　　　　注視誘導パターンマップ生成部
　１３５　　　　　注視対象領域相対顕著化合成部
　２１０　　　　　注視対象領域情報生成部
　２１１　　　　　外部信号デコーダ部
　２１３　　　　　クロッピング映像生成部
　２１５　　　　　顕著性マップ生成部
　２１７　　　　　注視対象マップ生成部
　２２０　　　　　品質解析部
　２２１　　　　　誘発環境情報生成部
　２２３　　　　　誘発インタラクション操作成分解析部
　２２５　　　　　誘発度生成部
　２３０　　　　　品質改善処理部
　３１０　　　　　注視対象領域情報生成部
　３１１　　　　　外部信号デコーダ部
　３１３　　　　　クロッピング映像生成部
　３１５　　　　　注視対象マップ生成部
　３２０　　　　　品質解析部
　３２１　　　　　誘発環境情報生成部
　３２２　　　　　成分解析部
　３２３　　　　　外部信号デコーダ部
　３２４　　　　　誘発度生成部
　３２５　　　　　誘発度生成部
　３３０　　　　　品質改善処理部
　３３１　　　　　注視対象領域相対顕著化画像処理部
　３３３　　　　　注視対象領域相対顕著化合成部
　４１０　　　　　注視対象領域情報生成部
　４１１　　　　　信号識別マップ生成部
　４２０　　　　　品質解析部
　４２１　　　　　相互反射誘発環境情報生成部
　４２３　　　　　外挿領域平均明るさ算出部
　４２５　　　　　相互反射誘発度生成部
　４３０　　　　　品質改善処理部
　４３１　　　　　注視対象領域相対顕著化画像処理部
　４３３　　　　　注視対象領域相対顕著化合成部

Claims

　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善する品質改善処理部と、
を備える、情報処理装置。
　前記映像鑑賞品質情報は、映像信号による映像酔いの誘発させやすさを示す情報である、請求項１に記載の情報処理装置。
　前記品質解析部は、前記鑑賞者の視野内における前記映像の動きの分布情報に基づいて、前記映像信号から映像酔いを誘発するシーンを判定し、前記映像鑑賞品質情報を生成する、請求項２に記載の情報処理装置。
　前記映像鑑賞品質情報は、プロジェクション投影された表示画面からの相互反射による画質低下を示す情報である、請求項１に記載の情報処理装置。
　前記品質解析部は、前記注視対象領域のみを表示させた場合と全画面表示とした場合とについて、撮影された各画像信号の前記注視対象領域内の画質を解析し、前記映像鑑賞品質情報を生成する、請求項４に記載の情報処理装置。
　前記品質解析部は、前記映像が映像酔いを誘発する映像鑑賞環境であるかを判定した鑑賞環境判定情報を生成する、請求項１に記載の情報処理装置。
　前記品質解析部は、前記映像を表示するディスプレイサイズと前記鑑賞者からディスプレイまでの視距離とから決定される視画角に基づいて、前記鑑賞環境判定情報を生成する、請求項６に記載の情報処理装置。
　前記品質解析部は、前記映像を表示するディスプレイの表示と前記映像を鑑賞している室内の明るさとの関係に基づいて、前記鑑賞環境判定情報を生成する、請求項６に記載の情報処理装置。
　前記注視対象領域情報生成部は、前記鑑賞者のインタラクション操作による制御信号に基づいて、前記注視対象領域情報を生成する、請求項１に記載の情報処理装置。
　前記注視対象領域は、入力映像の原信号に基づく映像が表示されている領域であり、
　非注視対象領域は、前記入力映像の原信号に基づき外挿予測された信号に基づく映像が表示されている領域である、請求項１に記載の情報処理装置。
　前記注視対象領域情報生成部は、入力映像から生成した顕著度マップに基づいて、前記注視対象領域情報を生成する、請求項１に記載の情報処理装置。
　前記注視対象領域情報生成部は、入力映像から生成した奥行マップに基づいて、前記注視対象領域情報を生成する、請求項１に記載の情報処理装置。
　前記品質改善処理部は、前記映像鑑賞品質情報に基づいて、前記映像において相対的に前記注視対象領域の顕著性を強調させる処理を行う、請求項１に記載の情報処理装置。
　前記品質改善処理部は、前記注視対象領域に参照パターンを重畳し、前記映像において相対的に前記注視対象領域の顕著性を強調させる、請求項１３に記載の情報処理装置。
　前記品質改善処理部は、前記注視対象領域に対して、コントラスト強調処理、解像感強調処理、彩度強調処理、明るさ強調処理のうち少なくともいずれか１つを行うことにより、前記映像において相対的に前記注視対象領域の顕著性を強調させる、請求項１３に記載の情報処理装置。
　前記品質改善処理部は、前記注視対象領域以外の非注視対象領域に対して、コントラスト抑制処理、平滑化処理、彩度抑制処理、明るさ抑制処理のうち少なくともいずれか１つを行うことにより、前記映像において相対的に前記注視対象領域の顕著性を強調させる、請求項１３に記載の情報処理装置。
　前記品質改善処理部は、前記注視対象領域の映像鑑賞品質が基準値より低い状態になっている場合に、前記鑑賞者に対してアラームを通知する、請求項１に記載の情報処理装置。
　前記品質改善処理部は、前記注視対象領域の映像鑑賞品質が基準値より低い状態になっている場合に、前記注視対象領域をマスクするマスク画像を表示する、請求項１に記載の情報処理装置。
　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成すること、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成すること、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善すること、
とを含む、情報処理方法。
　コンピュータを、
　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善する品質改善処理部と、
を備える、情報処理装置として機能させるためのプログラム。
　コンピュータに、
　鑑賞者の映像鑑賞状態の良好度を示す映像鑑賞品質情報を生成する品質解析部と、
　前記鑑賞者が鑑賞する映像から注視すべき注視対象領域を表す注視対象領域情報を生成する注視対象領域情報生成部と、
　前記映像鑑賞品質情報に基づいて、前記注視対象領域の鑑賞品質を改善する品質改善処理部と、
を備える、情報処理装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。