JP2018514977A

JP2018514977A - 周辺イメージを処理する方法及びデバイス

Info

Publication number: JP2018514977A
Application number: JP2017548097A
Authority: JP
Inventors: ギヨテル，フィリップ; アーバン，ファブリス; ターバン，ローラ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2015-03-13
Filing date: 2016-03-02
Publication date: 2018-06-07
Also published as: KR102483680B1; WO2016146386A1; EP3268930A1; US20180068425A1; CN107743637A; JP7247249B2; EP3268930B1; US10593027B2; EP3067857A1; JP2021170769A; KR20170127445A; CN107743637B

Abstract

表示されるときに、表示される中央イメージの境界を超えて広がる少なくとも１つの周辺イメージを処理する方法が開示される。この方法は、人間の視覚特性に周辺イメージの輝度を適合させることを含み、周辺イメージから視聴者の視野にレンダリングされる光が低いままであり、中央のビューのみによってレンダリングされる光に近くなるように、周辺イメージの輝度を処理する。第１の実施形態によると、方法は、光補正関数を入力輝度に適用することによって基準反射率レベルに周辺イメージの輝度を適応させることを含み、そのような光補正関数は、周辺イメージが表示される表面の基準反射率レベルに適応される表示された周辺イメージのレンダリングされた輝度レベルを測定することによって取得される。第２の実施形態によると、輝度は、基準反射率を参照して実際の反射率にさらに適応される。第３の実施形態によると、周辺イメージにおける動くオブジェクトの輝度は増加される。

Description

以下で、イメージを処理するデバイス及び方法が開示される。特に、中央イメージ（central image）の境界（borders）を超えて広がる少なくとも１つの周辺イメージ（peripheral image）を処理するデバイス及び方法を開示する。

この欄は、以下で説明され及び／又は請求される本原理の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。ここでの検討は、本原理の様々な態様をより良く理解することを促進するための背景情報を読者に提供することに役立つと確信する。その結果、これらの説明は、先行技術の自白としてではなく、このような観点で読まれるべきである点が理解されるはずである。

今日、映画（films：フィルム）は、ほとんど、中央スクリーンのみに対して制作される。ユーザ体験を向上するために、追加のコンテンツが、テレビジョン又は映写幕の周囲に投影され、それ故に、ユーザの周辺でオリジナルのシーンが拡張される。そのようなシステムは、ユーザの視界（field of vision）を埋めることによって、ユーザの没入感（immersiveness）を拡張し、すなわち、シーン中にあるというより良い感覚をユーザに与える。そのようなコンテンツは、例えば、広視野カメラ、１１０から３６０取得のためのカメラリグを使用して取得され、又はコンピュータ生成イメージを使用して作り出される。

しかしながら、オリジナルのビデオと一貫性があり、視覚的に魅力的な方法でビデオコンテンツを拡張することは、難しい。

ビデオコンテンツを拡張する方法の中で、最初のものは、広視野を持つ追加のコンテンツを取得することである。しかしながら、ポストプロダクションがより多くのイメージ（中央及び側面のイメージ）を管理することを必要とするので、そのような技法は、少なくとも多くの手作業を必要とする。なおまた、ユーザ体験を向上させるために設計されるので、拡張がユーザを妨げたり、問題を起こすことがないように特に気を付けなければならない。

ビデオコンテンツを拡張するための単純な技術は、ＷＯ２００４／００６５７０（特許文献１）に開示された、フィリップスによるアンビライト（Ambilight）技術であり、これは、中央イメージにおける色の分布を観察することによって、ＴＶの縁に搭載されたＲＧＢＬＥＤを使用してスクリーンの周りにイメージの主な色を投射するものである。この光の投射（light projection）は、ＴＶの周りの限られた領域にのみされ、背景の詳細又は形又は動きの印象は提供しない。しかしながら、色と光の観点でコンテンツとコヒーレントなそのような拡張は、そのような技術が多すぎる周辺光を増加させるので、高輝度イメージの場合は、最適ではない可能性がある。拡張は、ユーザ体験の向上を意図しているので、視聴者を邪魔したり、問題を作らないようにしなければならない。

ビデオを拡張する別の技術は、Ａアイデス他（A Aides et al.）による「Multiscale ultrawide foveated video extrapolation」（IEEE International Conference on Computational Photography (ICCP) 2011, pages 1-8）（非特許文献１）に技法が開示されている。このアルゴリズムの主要なアイデアは、空間と時間の次元（イメージブロックの代わりに、ビデオキューブを使用して）でパッチ・マッチ（Patch-Match）アルゴリズムを使用して、その境界の外側のビデオを外挿している点にある。正しいパッチ（right patch）を選んだとき、この方法は、気を散らさせるようなパッチを課す。加えて、人間の視覚は、目の中央から遠ざかるとき、詳細に対してより敏感ではなくなるので、このアルゴリズムは、異なる解像度で計算される。外挿がより粗い解像度から最も高い解像度で得られるとき、ベストな結果が得られる。しかしながら、そのような技法では、拡張のサイズが限られているので、ユーザの視野全体を埋めることはできない。加えて、他のコンピュータ生成イメージに関して、芸術的関心（artistic intent）は保存されないかもしれない。実際に、興味をそそり過ぎるサイドイメージ又は視聴条件の変更によって物語からユーザの気を散らしかねない。

国際公開第２００４／００６５７０号

Ａアイデス他（A Aides et al.）著、「Multiscale ultrawide foveated video extrapolation」IEEE International Conference on Computational Photography (ICCP) 2011, pages 1-8

それ故に、没入感に対して拡張が好ましいとしても、特に、過剰な光が拡張される投射により導入されるとき、心地良い視聴経験に対して、拡張が適切でないかもしれない。ユーザ体験を向上させるために拡張されたコンテンツを処理する方法が、それ故に必要となる。

本原理による、視聴者の視野における周辺イメージからの光が低くなるように周辺イメージの輝度が処理される実施形態が説明される。言い換えれば、中央のビュー（view）によって及び周辺のビューによってレンダリングされるグローバル輝度は、中央のビューのみによってレンダリングされる輝度に近いままであるように、周辺のビューの輝度は減少させられる。

そのために、中央イメージの境界を拡張する少なくとも１つの周辺イメージを処理する方法が開示される。この方法は、人間の視覚特性に基づいて周辺イメージの輝度を適応させることを含む。

より具体的には、第１の実施形態によると、方法は、周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに周辺イメージの輝度を適応することを含み、光補正関数は、周辺イメージが表示される表面の基準反射率レベルに適応された表示される周辺イメーイメージのレンダリングされる輝度レベルを測定することによって取得される。第１の実施形態の特定の特徴によると、光補正関数は、周辺イメージの輝度が高い輝度しきい値を超える場合に輝度を減少し、且つ、周辺イメージの輝度が低い輝度しきい値未満の場合に輝度を変更しない。有利なことに、低い輝度しきい値と高い輝度しきい値が、それぞれ、基準反射率レベルで表示されたとき、周辺イメージの輝度を増加させるために表示される周辺イメージの低いレンダリングされる輝度レベルと高いレンダリングされる輝度レベルに対応する。言い換えれば、しきい値は、経験により取得され、増加する輝度レベルを持つ周辺イメージが表示される。

視聴者の視野にあるグローバルな光が中央のビューからのオリジナルな意図よりも高くなるように、多すぎる光が周辺の投射によって反射される場合に、そのような実施形態は、特に良く適応される。

第１の実施形態の変形例によると、周辺イメージの輝度を適応することが、基準反射率レベルに適応された光補正関数を適用することと、表示されるグローバル輝度レベルに適応するために周辺イメージの輝度を減少させることを含む。そのような変形例は、ユーザの環境又はユーザのプリファレンスに対する基準環境に対して取得された光補正関数を変調するように特に良く適応される。特定の特性によると、周辺イメージの輝度を適応することは、基準反射率レベルに関して周辺イメージを表示する表面の反射率レベルに依存する線形関数を適用することをさらに含む。

そのような変形例は、黒い側壁のために周辺の投射によって反射される光が十分でない場合には、特に良く適応される。

第２の実施形態によると、方法は、周辺イメージにおける動くオブジェクトの輝度を増加させることを含む。有利なことに、オブジェクトベース適応は、動くオブジェクトの外観（appearance）を向上させる。

第２の態様によると、表示される中央イメージの境界を超えて表示される少なくとも１つの周辺イメージを処理するデバイスが開示される。デバイスは、周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに周辺イメージの輝度を適応させるように構成された少なくとも１つのプロセッサを備え、周辺イメージが表示される表面の基準反射率レベルに適応された表示される周辺イメージのレンダリングされた輝度レベルを測定することによって、光補正関数は取得される。別の実施形態による、少なくとも１つのスクリーン上にビデオデータを投射するデバイスであって、そのビデオデータが中央イメージと少なくとも１つの周辺イメージとを含む、デバイスが開示される。投射デバイスは、本原理に従った周辺イメージの輝度を適応するように構成された少なくとも１つのプロセッサを備える。

別の実施形態によると、デバイスは、本原理による周辺イメージの輝度の適応のための手段を備える。

第３の態様による、プログラムがコンピュータ上で実行されるときに実施形態及び変形例のいずれかによる処理方法のステップを実行するためのプログラムコード命令を含むコンピュータプログラム製品が開示される。

実施形態及びその変形例のいずれかに従う処理方法の少なくともステップをプロセッサに実行させる命令をその中に記憶するプロセッサ読取可能媒体が開示される。

第４の態様による、コンピュータによって読取可能であり、開示される実施形態及びその変形例のいずれかに従う処理方法を実行するためのコンピュータによって実行可能な命令のプログラムを有形的に具体化する非一時的プログラム記憶デバイスが開示される。

明示的に説明されていないとしても、本実施形態は、任意のコンビネーション又はサブコンビネーションとして用いることができる。加えて、方法を処理に関して説明される任意の特徴又は実施形態は、説明される方法を処理することを目的とするデバイス及びプログラム命令を記憶するコンピュータ読取可能記憶媒体と互換性がある。

図面において、本原理の実施形態が説明される。

本原理の実施形態による処理デバイスを表現する。本原理の実施形態による図１の処理デバイスの例となる構造を表す。外挿されたイメージを表示するための例となる構成を示す。輝度の適応前と適応後の中央イメージの左と右の境界を超えて生成され、表示された外挿されたイメージと、中央イメージとを含む例となるイメージを説明する。本原理の実施形態による多数のビデオを表示する方法のフローチャートを表す。本原理の実施形態による２つのイメージの相対位置を取得するための空間量子化を通した変換の解釈を表す。

図１は、本原理の実施形態による中央イメージ（central image）の境界を超えて拡張される少なくとも１つの周辺イメージ（peripheral image）の輝度（luminance）を適応させる処理デバイス１を表現する。ビデオコンテンツは、特に、広い視野を使った映画館、ホームシネマ又はヘッドマウンテッドデバイス（ＨＭＤ）のスクリーンを取り囲むように拡張される。このたぐいのディスプレイは、没入型ディスプレイとして知られている。例えば、スクリーンを取り囲むようにビデオコンテンツを拡張するために、コンテンツは、周辺（又は側面）の投射を作るために外挿される（luminance）。このことは、オリジナルの中央のコンテンツから外挿するために適切なイメージ処理技法を使用することによって行うことができる。しかしながら、周辺コンテンツは、大きな視野を持つカメラから取得され得る。その結果、処理デバイス１は、少なくとも１つの周辺ビデオを受信するように構成される入力１０を備える。周辺ビデオは、ソースから取得できる。本原理の種々の実施形態によると、ソースは、以下を含む組に属する：
・ローカルメモリ、例えば、ビデオメモリ、ＲＡＭ、フラッシュメモリ、ハードディスク；
・ストレージインタフェース、例えば、マスストレージ、ＲＯＭ、光学式ディスク又は磁気サポートとのインタフェース；
・通信インタフェース、例えば、配線インタフェース（例えば、バスインタフェース、ワイドエリアネットワークインタフェース、ローカルエリアネットワークインタフェース）又は無線インタフェース（ＩＥＥＥ８０２．１１インタフェース又はブルートゥース（登録商標）インタフェースなどの）；及び
・ピクチャ取得回路（例えば、ＣＣＤ（すなわち、電荷結合素子）又はＣＭＯＳ（すなわち、相補型金属酸化膜半導体）などのセンサ））。

人間の視覚特性に応答して少なくとも１つの周辺ビデオの輝度を適応させるように構成されるモジュール１２に、入力１０はリンクされる。適応的に外挿されたビデオは、メモリに記憶することができ、又は宛先に送信することができる。実例として、そのような情報は、例えば、ビデオメモリ又はＲＡＭ、ハードディスクなどのリモート又はローカルメモリに保存される。変形例において、情報は、例えば、マスストレージ、ＲＯＭ、フラッシュメモリ、光学式ディスク又は磁気サポートとのインタフェースなどのストレージインタフェースへ送られ、及び／又は、例えば、ポイントツーポイントリンクへのインタフェース、通信バス、ポイントツーマルチポイントリンク又はブロードキャストネットワークなどの通信インタフェースを通じて伝送される。変形例として、処理デバイス１は、サラウンド（取り囲む）ビデオ（surround videos）を外挿するためのモジュールをさらに含む。

図２は、本原理の例となる実施形態による処理デバイス１の例となる構造を表す。処理デバイス１は、例えば、ＣＰＵ、ＧＰＵ及び／又はＤＳＰ（デジタルシグナルプロセッサ（Digital Signal Processor）の英語の頭辞語）などの１つ以上のプロセッサ１１０を内部メモリ１２０（例えば、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭなど）と共に備える。処理デバイス１は、出力情報を表示し及び／又はユーザがコマンド及び／又はデータを入力することを許すために適合する１つ以上の入力／出力インタフェース１３０（例えば、キーボード、マウス、タッチパッド、ウェブカム、ディスプレイ）と、処理デバイス１の外部にあり得る電源１４０を備える。処理デバイス１は、ネットワークインタフェース（図示せず）も備えることができる。

本原理の例としての且つ非制限的な実施形態によると、処理デバイス１は、メモリ１２０の中に記憶されたコンピュータプログラムをさらに備える。コンピュータプログラムは、処理デバイス１、特にプロセッサ１１０によって実行されたときに、図５を参照して説明される処理方法を処理デバイス１に実行させる、命令を有する。変形例によると、コンピュータプログラムは、処理デバイス１の外部にある非一時的デジタルデータサポート上に記憶され、例えば、外部記憶媒体は、技術的にすべて知られている、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、リードオンリー及び／又はＤＶＤドライブ及び／又はＤＶＤリード／ライトドライブなどである。それ故に、処理デバイス１は、コンピュータプログラムを読み取るインタフェースを備える。さらに、処理デバイス１は、対応するＵＳＢポート（図示せず）を通して１つ以上のユニバーサルシリアルバス（ＵＳＢ）タイプストレージデバイス（例えば、「メモリステイック」）にアクセスできる。

例となり、且つ非制限的な実施形態によると、処理デバイス１は、以下を含む組に属するデバイスである：
・モバイルデバイス；
・通信デバイス；
・ゲームデバイス；
・タブレット（又はタブレットコンピュータ）；
・ラップトップ；
・静止画カメラ；
・ビデオカメラ；
・符号化チップ；
・復号化チップ；
・静止画サーバ；
・ビデオサーバー（例えば、放送サーバ、ビデオオンデマンドサーバ又はウェブサーバー）；
・投射デバイス又はプロジェクタ；
・劇場用プロジェクタ；
・ホームシネマディスプレイ；及び
・ヘッドマウンテッドデバイス（ＨＭＤ）。

図３は、そのような周辺イメージを表示するための例となる構成を示す。映画又はビデオコンテンツからのメインのイメージが、中央のスクリーン３０上に表示され、一方、周辺イメージは、没入感（feeling of immersiveness）を提供するために、表示エリア３２及び／又は３４上に中央スクリーン３０の境界を超えて表示される。そのような構成は、例えば、映画館であり得、映画館では、中央プロジェクタが、中央表示スクリーン上に映画又はビデオコンテンツを投射し、一方、左のプロジェクタは、左の表示スクリーン上に第１の外挿したイメージを投射し、右のプロジェクタは、右の表示スクリーン上に第２の外挿したイメージを投射し、且つ、任意選択で、プロジェクタは、上方の表示スクリーンに対しても提供されることもできる。構成の変形例は、３つの異なる向きでイメージを投射するように３つの光学系を含む単一のプロジェクタＰを備える。そのような構成は、プロジェクタベースのホームシネマ又はＨＭＤとして存在することもあり得る。しかしながら、本原理は、イメージ投射に制限されず、どんな種類のイメージ表示と互換性がある。例えば、周辺イメージは、ＨＭＤのパネル上に表示される。

中央イメージ４０及び中央イメージの左と右の境界を超えて生成され、表示される外挿されたイメージ４２、４４を含む例となるイメージを、図４は説明する。拡張された外挿されたイメージ４４は、高い光レベルを既に示すオリジナルイメージ４０の視覚体験を保存するやり方で外挿されたイメージ４２よりもより低い輝度を持つことが分かる。実際に、拡張された外挿イメージは、中央イメージと比較して弱められた高い光レベルを示し、一方、暗いシーンにおける情報を解き放たないようにするためにそれらのまま低いレベルを維持する。周辺イメージのピクセルの輝度レベルが高いしきい輝度レベルを超えたときは、高い輝度レベルであり、一方、周辺イメージのピクセルの輝度レベルが低いしきい輝度レベル未満のときは、低い輝度レベルである。例えば、イメージピクセルの輝度は、８ビットに量子化されたグレースケールレベル、従って［０〜２５５］によって表現され、低いしきい値輝度は、４０であり、高いしきい値輝度は、２００である。

図５は、本原理の特定の且つ非制限的な実施形態による中央イメージの境界を超えて広がる少なくとも１つの周辺イメージを処理する方法のフローチャートを表す。

実施形態は、ビデオの時間ｔに対応するようなイメージである、ビデオのイメージに関する非制限的な方法で開示する。しかしながら、本原理は、単一の周辺イメージの処理に制限されず、処理は、ビデオ全体を処理するように反復して適用される。加えて、方法は、拡張された周辺イメージを得るために、連続して又は並行して周辺イメージの各ピクセルに繰り返し適用することができる。周辺の表面が滑らかなケースに適応される第１の変形例によると、適応はグローバルで、同じ処理が各ピクセルに適用される。表面が均一ではない場合、又はハイライトへ動くオブジェクトを含む周辺イメージの場合に適用される第２の変形例によると、適応はローカルで、処理はピクセルの局在性（pixel localization）によって変化することがある。

ステップＳ１０において、周辺イメージの輝度は、没入体験（immersive experience）を拡張するために人間の視覚特性に適応される。そのためには、光補正関数（light correction function）が、各中央イメージから周辺イメージに反復して適用され、一連のイメージは、拡張された周辺イメージを出力するようにオリジナルビデオ又は映画を整形する。有利なことに、補正関数は、周辺イメージ（左、右、上…）のそれぞれに適用される。

次に、追加のステップＳ２０において、中央イメージ及び拡張された周辺イメージは、図３で説明されたような構成によって表示される。

視聴者の没入体験を拡張する光補正関数の変形例を開示する少なくとも３つの実施形態が、これから説明される。

第１の実施形態によると、周辺イメージの適応的な輝度は、周辺イメージの高い輝度レベルの場合、周辺イメージの輝度レベルを減少させることを含む。第１の実施形態の別の特定の特徴によると、周辺イメージの適応的な輝度は、周辺イメージの低い輝度レベルの場合、輝度レベルを変更しないことを含む。有利なことに、そのような実施形態において、低い及び中間の輝度レベルを維持することによる光適応（light adaptation）は、幾分コントラスを保存し、一方、高い輝度レベルを制限する光適応は、周辺及びグローバルの周辺光（ambient light）を減少させる。

第１の実施形態の変形例において、周辺イメージの適応的な輝度は、周辺イメージの高い輝度レベルの場合に、周辺イメージの輝度レベルを増加させることを含む。有利なことに、そのような実施形態は、弱い光を反射する黒い外側壁の場合に適用される。当業者であれば、そのような実施形態が、基準反射率レベルに関して反射率を変更する周辺イメージが表示される、表面の任意の色又は材質に適用することも可能であることが理解される。

第１の実施形態の別の特定の特徴によると、非線形光補正関数が開示される。非線形光補正関数は、周辺イメージが高い輝度レベルの場合に輝度レベルを減少させ、周辺イメージの低い輝度レベルの場合に輝度レベルを変更しない。

当業者であれば知っているように、主に桿体光受容器（rods photoreceptors）に基づく人間の周辺の視覚は、低から中間の光と動きに対してより敏感であり、色と解像度（resolution）に対してより鈍感である。弱い光の状態での目の視覚は、暗所視（scotopic vision）と呼ばれる。暗所視は、輝度レベルで１０^−３．５から１０^−６ｃｄ／ｍ^２で生じる。有利なことに、光補正関数は、周辺の投射されたイメージ／ビデオを人間の視覚の感度に適応させる。

非制限的な実施形態において、非線形光補正関数は、主観的な視聴者体験に応答して開示される。実験では、一様な輝度レベルを持つ中央のビューが、投射され、一方、周辺のイメージの輝度が増加されると、視聴者がそれに気づき又は周辺イメージによってうるさがらせるようになる。周辺イメージの明るさｌ（入力輝度）の各値に対する知覚又はレンダリングされるしきい値Ｐ（出力輝度）の決定に、そのような実験は導く。結果は、図６に説明されたように、８ビットグレースケールにおける輝度レベルは、［０−２５５］に正規化される。入力輝度レベルは、Ｘ軸上で表現され、知覚しきい値の出力輝度レベルは、Ｙ軸上で表現される。図６に示されるように、これらの知覚しきい値Ｐは、低い輝度値、すなわち、しきい値Ｔで１５０未満に対して、準線形（quasilinear）であり、一方、高い値、すなわち、しきい値Ｔで１５０超では、それは２００周辺の最大値Ｍに到達する。入力輝度から出力輝度へのそのような伝達関数（transfer function）は、式に従ってモデル化される：

ここで、Ｌ（ｔ）は、時間ｔに対応する拡張された周辺イメージにおけるピクセルの最終的な輝度値であり、
Ｉ（ｔ）は、同じ時間ｔでの周辺イメージにおける同じピクセルのオリジナルの輝度値であり；
そして、ａ、ｂ、ｃ、ｄ及びｅは、ａ＝８．１０^−８、ｂ＝５．１０^―５、ｃ＝０．００８、ｄ＝０．６２２５、ｅ＝３．０３１２である実験結果から得られた係数である。

特定の特徴によると、係数は、周辺イメージにおけるピクセル局在性（pixel localization）に依存せず、同じ非線形光補正関数は、各ピクセルに適用される。

しかしながら、本原理は、上述の関数及び任意の線形又は非線形関数モデリングに制限されず、実験結果は、第１の実施形態と矛盾がない。加えて、実験結果が視聴者環境に依存するような上記実験結果に、本原理は制限されない。それ故に、上述の通り、非線形関数は、低い反射率を持つ黒い外側壁の場合に、周辺イメージの高い輝度レベルであっても、周辺イメージの輝度レベルを増加させることもあり得る。

第２の実施形態による、線形光補正関数が開示される。周辺イメージが表示される表面（例えば、白いスクリーン）の高い反射率レベルの場合、周辺イメージの輝度レベルを、線形光補正関数は、減少させる。反対に、周辺イメージが表示される表面（例えば、黒いスクリーン）の低い反射率レベルの場合、周辺イメージの輝度レベルを、線形光補正関数が増加させる。実際、線形関数は、周辺イメージが投射される表面の反射率レベルに応答する。改良例としては、光補正関数は、標準又は基準反射率レベルに対して決定され、そのような線形補正関数は、次に、輝度を実際の反射率レベルにさらに適応するために、（入力）輝度に適応される。

ＢＲＤＦとして知られる、双方向反射率分布関数（bidirectional reflectance distribution function）は、不透明な表面（opaque surface）でいかに光が反射されるかを定義する４次元の関数である。ＢＲＤＦは、別の向きからの表面上の放射照度（irradiance）Ｅ^surface投射（incident）に対する向きにそって存在する反射された放射輝度（radiance）Ｌ^surfaceの比（ration）を返す。それ故に、入射光（irradiance：放射照度）と表面の特性（radiance：放射輝度）の関数において不均一な周辺スクリーンによって反射される光のローカルの合計は、以下のようにモデル化される：

ここで、
（外１）

表面の法線に関して定義される入来入射光Ｌ_iの向きを表す角度であり、
（外２）

は、表面の法線に関して定義される視聴者に向かって出ていく光の向きＬ_rを表す角度である。

ＢＲＤＦは、ｓｒ^−１の単位を持ち、ステラジアン（ｓｒ）は、立体角（solid angle）の単位である。

拡散（乱）反射（diffuse reflection）の場合、放射輝度（radiance）Ｌ^surfaceは次式で与えられる：

θ_iは、強度Ｉの入射光源（incident light source）による法線の角度（normal angle）であり；
ρ_ｄは、表面の拡散反射性（diffuse reflectivity）又は反射能（reflecting power）を表す表面のアルベド（albedo）又は反射係数（reflection coefficient）である。

それ故に、図３に表されるように、視聴者Ｖが側面の壁に対する位置法線（position normal）Ｎで、及び映画館の黒い壁でのプロジェクタＰを仮定すると、表面放射輝度Ｌが分かれば、光減衰係数（light attenuation coefficient）∝は、表面放射輝度Ｌとソース強度Ｉの関数である周辺イメージ輝度に対して決定できる。

第１の変形例によると、表面放射輝度（surface radiance）Ｌは、例えば、既知の強度Ｉの白いイメージを投射し（又はより一般的には決まった光のパターンに対して）、例えば、ＣＣＤ（すなわち電荷結合素子）又はＣＭＯＳ（すなわち相補型金属酸化膜半導体）などのセンサによって反射光を取得することによって測定する。実験結果は、それ故に、ＬとＩを測定することによって∝を推定することを許す。そのような変形例では、キャリブレーションフェーズは、投射されたパターンと手作業の調整によって映画館で実行される。この変形例によると、ピクセルに関する表面放射輝度は、それ故に、輝度のピクセルに関する適応を許す。

線形光補正関数は、それ故に、以下の方程式でモデル化される：

ここでＬ_ａ（ｔ）は、時間ｔに対応する拡張された周辺イメージにおけるピクセルの最終的な輝度値であり；
Ｉ（ｔ）は、同じ時間ｔでの周辺イメージにおける同じピクセルのオリジナルの輝度値である。

第２の変形例によると、例えば、側面の壁（すなわち、イメージが投射される表面）が黒いタペストリで覆われたコンクリート製であるか又は逆に、側面の壁が白いスクリーン（目安として、黒いアクリルペイントρｄ＝０．０５、白いアクリルペイントρｄ＝０．８）と仮定することによって、表面の反射率がそのアルベドρｄを通して分かることを仮定することによって、係数∝の計算は、単純化される。それ故に、図３のソースＰから表面の法線Ｎへの角度θ_ｉのみが、既知である必要がある。

明示的に説明されていなくても、本実施形態は、任意のコンビネーション又はサブコンビネーションにおいて採用され得る。例えば、本原理は、側面のスクリーンの反射率に応答する説明される線形光補正に限定されず、上述の加重関数又は非線形関数との結合であり得る。側面の壁の低い反射率の場合、結合された輝度（いくつかの視聴条件によって特徴付けられた非線形の変形例（variant）と低い反射率に対してパラメータ化された線形の変形例に起因する）は、高い入力輝度の場合であっても入力輝度と比較して増加することができることに、当業者であれば、それ故に、気付く。

第３の実施形態によると、別の加重光補正関数（weight light correction function）が開示される。加重光補正関数は、周辺イメージにおける移動オブジェクトの場合に、輝度レベルを増加する。有利なことに、そのような関数は、没入感を拡張するように側面のビューに対してある移動するオブジェクトをハイライトすることを許す。既に詳細に説明した通り、人間の周辺の視覚は、動きに対してより高い知覚能力を持っている。第１の変形例において、そのような処理は、それらの動くオブジェクトのコントラストを増加させることによって外挿イメージを生成することで行われることに当業者であれば気づく。第２の変形例において、そのような処理は、前の実施形態において説明された輝度適応を使って一緒に実行される。

この場合、その値がオブジェクトの「関心（interest）」に依存する係数βによって、最終的な輝度値が重み付けされる。β_{（ｉ,ｊ）}の値は、外挿イメージの（その座標（ｉ,ｊ）によって表現される）ピクセル毎に定義される。βは、例えば、時間ｔでの検討されるピクセル／オブジェクトの動きＭ（ｔ）とサリエンス（salience）Ｓ（ｔ）に基づいて計算される。

その結果、

ここで、（ｉ，ｊ）は、ピクセルの座標であり；
（ｔ）は、時間ｔに対応する拡張された周辺イメージにおけるピクセル（ｉ，ｊ）の最終的な輝度値であり；
ｌ（ｔ）は、同じ時間ｔでの周辺イメージにおける同じピクセルのオリジナル輝度値である。

この実施態様は、オブジェクトが中央のビデオを横切る場合に特に適応される。拡張の計算は、周辺に注意をそらすコンテンツを置くことを避ける一方、イメージに入ってくる又は出ていくオブジェクトは、周辺イメージに到達したときに、時々消滅する。この問題を是正するために、オブジェクトは、メインのコンテンツで検出され、追跡され、そして、周辺視野に適合する追加のブラー（blur）を持つ計算された動きに従って、周辺ビデオにペーストされる。

特定の特徴によって、関数は、例えば、シーンチェンジの場合に光のイメージを平滑化するための時間的変化を説明する動的な方法で適用される。

有利なことに、方法は、反復され、少なくとも周辺イメージに対して説明された光適応は、外挿されたビデオの各周辺イメージに適用される。

本明細書で説明した実装は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号中に実装することができる。実装の単一の形式（例えば、方法又はデバイスのみとして検討された）の文脈でのみ検討されたとしても、検討された構成要件の実装は、他の形式（例えば、プログラム）中に実装することもできる。装置は、例えば、適切なハードウェア、ソフトウェア、及びファームウェア中に実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む、一般に処理デバイスを指す、例えば、プロセッサなどの装置で実装され得る。プロセッサは、例えば、コンピュータ、携帯電話、ポータブル／パーソナルデジタルアシスタント（「ＰＤＡｓ」）、及びエンドユーザ間で情報の通信を容易にする他のデバイスなどの通信デバイスも含む。

本明細書で説明した様々なプロセス及び構成要件の実装は、特に、例えば、装置又はアプリケーションなどの様々な別個の装置又はアプリケーション中に具体化することができる。そのような装置の実例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信デバイスを含む。明らかなように、装置は、モバイルであり得、移動車両に設置することもできる。

加えて、方法は、プロセッサによって実行される命令によって実装することができ、そのような命令（及び／又は実装により生成されるデータ値）は、例えば、集積回路、ソフトウェアキャリア又は例えば、ハードディスク、コンパクトディスケット（「ＣＤ」）、オプティカルディスク（例えば、デジタルバーサタイルディスク又はデジタルビデオディスクとしてしばしば参照される、「ＤＶＤ」など）、ランダムアクセスメモリ（「ＲＡＭ」）、又はリードオンリーメモリ（「ＲＯＭ」）などの他の記憶デイバスなどのプロセッサ読取可能媒体上に記憶することができる。命令は、プロセッサ読取可能媒体上に有形的に具体化されるアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又はそれらの組合せとして存在し得る。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又はそれら２つの組合せ中に見いだすことができる。従って、プロセッサは、その結果、例えば、プロセスを実行するように構成されるデバイス及びプロセスを実行する命令を有するプロセッサ読取可能媒体（記憶デバイスなど）を含むデバイスの両方として特徴付けることができる。さらに、プロセッサ読取可能媒体は、命令に追加して、又は命令の代わりに、実装によって生成されるデータ値を記憶することができる。

当業者に明らかになるように、実装は、例えば記憶され又は伝送される情報を運ぶためにフォーマットされる多用な信号を生成することができる。情報は、例えば、方法を実行するための命令、又は説明した実装のうちの１つによって生成されるデータを含むことができる。例えば、信号は、説明される実施形態のシンタックスを書き込み又は読み取るための規則をデータとして伝搬し、又は説明される実施形態によって書かれる実際のシンタックス値をデータとして伝搬するようにフォーマット化され得る。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使って）として又はベースバンド信号として、フォーマットすることができる。フォーマット化は、例えば、データストリームの符号化及び符号化されたデータストリームと共に搬送波を変調することを含み得る。信号が運ぶ情報は、例えば、アナログ情報又はデジタル情報である。信号は、既知の色々な有線又は無線の様々なリンクを通じて伝送することができる。信号は、プロセッサ読取可能媒体上に記憶することができる。

多くの実装が説明された。それでもなお、様々な変形が可能であることが理解される。例えば、異なる実施形態の要素が、他の実装を生み出すために、組み合わされ、補足され、変更され、取り除かれることができる。加えて、他の構造及びプロセスは、これら開示されたものの代わりとなり、その結果としての実装は、開示される実装として少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で、少なくとも実質的に同じ関数を実行することを、当業者は理解する。その結果、これらの及び他の実装は、本出願によって意図される。

多くの実装が説明された。それでもなお、様々な変形が可能であることが理解される。例えば、異なる実施形態の要素が、他の実装を生み出すために、組み合わされ、補足され、変更され、取り除かれることができる。加えて、他の構造及びプロセスは、これら開示されたものの代わりとなり、その結果としての実装は、開示される実装として少なくとも実質的に同じ結果を達成するために、少なくとも実質的に同じ方法で、少なくとも実質的に同じ関数を実行することを、当業者は理解する。その結果、これらの及び他の実装は、本出願によって意図される。
ここで例としていくつかの付記を記載する。
（付記１）
表示される中央イメージの境界を超えて広がるように表示される少なくとも１つの周辺イメージを処理する方法であって、
前記方法は、前記周辺イメージの輝度に対して光補正関数を適用することによって基準反射率レベルに前記周辺イメージの前記輝度を適応させることと、を含み、
前記周辺イメージが表示される表面の前記基準反射率レベルに適応された前記表示された周辺イメージのレンダリングされた輝度レベルを測定することによって、前記光補正関数が取得される、方法。
（付記２）
前記周辺イメージの前記輝度が高い輝度しきい値を超える場合に輝度が減少され、且つ、前記周辺イメージの前記輝度が低い輝度しきい値未満である場合に輝度が変更されないような前記光補正関数である、付記１に記載の方法。
（付記３）
前記低い輝度しきい値と前記高い輝度しきい値が、それぞれ、前記基準反射率レベルで表示されたとき、前記周辺イメージの輝度を増加させるために前記表示される周辺イメージの低いレンダリングされる輝度レベルと高いレンダリングされる輝度レベルに対応する、付記２に記載の方法。
（付記４）
前記周辺イメージの輝度を適応することが、
前記基準反射率レベルに適応した光補正関数を適用することと、
表示されるグローバル輝度レベルに適応するために前記周辺イメージの輝度を減少させることと、
を含む、付記１乃至３のいずれか１項記載の方法。
（付記５）
前記周辺イメージの輝度を適応することが、前記周辺イメージが表示される前記表面の反射率レベルに依存する線形関数を適用することをさらに含む、付記１乃至３のいずれか１項記載の方法。
（付記６）
前記周辺イメージの輝度を適応することが、前記周辺イメージにおける動くオブジェクトの前記輝度を増加することを含む、付記１乃至５のいずれか１項記載の方法。
（付記７）
表示される中央イメージの境界を超えて表示が拡張されるときに、少なくとも１つの周辺イメージを処理するデバイスであって、前記デバイスは、前記周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに前記周辺イメージの輝度を適応するように構成された少なくとも１つのプロセッサ（１１０）を含み、前記光補正関数は、前記周辺イメージが表示される表面の前記基準反射率レベルに適応される前記表示された周辺イメージのレンダリングされる輝度レベルを測定することによって取得される、デバイス。
（付記８）
前記デバイスは、ビデオ投射デバイスを含む組に属する、付記７に記載のデバイス。
（付記９）
周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに少なくとも１つの前記周辺イメージの前記輝度を適応させるプログラムコード命令を含むコンピュータプログラム製品であって、前記光補正関数は、前記周辺イメージが表示される表面の前記基準反射率レベルに適応される前記表示される周辺イメージのレンダリングされる輝度レベルを測定することによって取得され、前記少なくとも１つの周辺イメージが表示されるとき、表示される中央イメージの境界を超えて拡張される、コンピュータプログラム製品。
（付記１０）
周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに少なくとも１つの周辺イメージの輝度をプロセッサに適応させるようにする命令を中に記憶するプロセッサ読取可能媒体であって、前記光補正関数は、前記周辺イメージが表示される表面の前記基準反射率レベルに適応される前記表示される周辺イメージのレンダリングされる輝度レベルを測定することによって取得され、前記少なくとも１つの周辺イメージが表示されるとき、表示される中央イメージの境界を超えて拡張される、プロセッサ読取可能媒体。

Claims

表示される中央イメージの境界を超えて広がるように表示される少なくとも１つの周辺イメージを処理する方法であって、
前記方法は、前記周辺イメージの輝度に対して光補正関数を適用することによって基準反射率レベルに前記周辺イメージの前記輝度を適応させることと、を含み、
前記周辺イメージが表示される表面の前記基準反射率レベルに適応された前記表示された周辺イメージのレンダリングされた輝度レベルを測定することによって、前記光補正関数が取得される、方法。
前記周辺イメージの前記輝度が高い輝度しきい値を超える場合に輝度が減少され、且つ、前記周辺イメージの前記輝度が低い輝度しきい値未満である場合に輝度が変更されないような前記光補正関数である、請求項１に記載の方法。
前記低い輝度しきい値と前記高い輝度しきい値が、それぞれ、前記基準反射率レベルで表示されたとき、前記周辺イメージの輝度を増加させるために前記表示される周辺イメージの低いレンダリングされる輝度レベルと高いレンダリングされる輝度レベルに対応する、請求項２に記載の方法。
前記周辺イメージの輝度を適応することが、
前記基準反射率レベルに適応した光補正関数を適用することと、
表示されるグローバル輝度レベルに適応するために前記周辺イメージの輝度を減少させることと、
を含む、請求項１乃至３のいずれか１項記載の方法。
前記周辺イメージの輝度を適応することが、前記周辺イメージが表示される前記表面の反射率レベルに依存する線形関数を適用することをさらに含む、請求項１乃至３のいずれか１項記載の方法。
前記周辺イメージの輝度を適応することが、前記周辺イメージにおける動くオブジェクトの前記輝度を増加することを含む、請求項１乃至５のいずれか１項記載の方法。
表示される中央イメージの境界を超えて表示が拡張されるときに、少なくとも１つの周辺イメージを処理するデバイスであって、前記デバイスは、前記周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに前記周辺イメージの輝度を適応するように構成された少なくとも１つのプロセッサ（１１０）を含み、前記光補正関数は、前記周辺イメージが表示される表面の前記基準反射率レベルに適応される前記表示された周辺イメージのレンダリングされる輝度レベルを測定することによって取得される、デバイス。
前記デバイスは、ビデオ投射デバイスを含む組に属する、請求項７に記載のデバイス。
周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに少なくとも１つの前記周辺イメージの前記輝度を適応させるプログラムコード命令を含むコンピュータプログラム製品であって、前記光補正関数は、前記周辺イメージが表示される表面の前記基準反射率レベルに適応される前記表示される周辺イメージのレンダリングされる輝度レベルを測定することによって取得され、前記少なくとも１つの周辺イメージが表示されるとき、表示される中央イメージの境界を超えて拡張される、コンピュータプログラム製品。
周辺イメージの輝度に光補正関数を適用することによって基準反射率レベルに少なくとも１つの周辺イメージの輝度をプロセッサに適応させるようにする命令を中に記憶するプロセッサ読取可能媒体であって、前記光補正関数は、前記周辺イメージが表示される表面の前記基準反射率レベルに適応される前記表示される周辺イメージのレンダリングされる輝度レベルを測定することによって取得され、前記少なくとも１つの周辺イメージが表示されるとき、表示される中央イメージの境界を超えて拡張される、プロセッサ読取可能媒体。