JP6042525B2

JP6042525B2 - 画像強調

Info

Publication number: JP6042525B2
Application number: JP2015501680A
Authority: JP
Inventors: バースカラン、バスデフ
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2012-03-22
Filing date: 2013-02-20
Publication date: 2016-12-14
Anticipated expiration: 2033-02-20
Also published as: CN104246822B; WO2013141997A1; US9286658B2; JP2015516627A; EP2828823A1; US20130251281A1; CN104246822A

Description

[0001]本開示は、画像強調に関し、より詳細には、構成画像に対する画像強調に関する。

[0002]様々なデバイスが、ビデオまたは画像を表示するように動作可能である。たとえば、デバイスは、ビデオもしくは画像をダウンロードすることができ、または、デジタルカメラを用いてビデオまたは画像を捕捉することができる。ダウンロード、捕捉、または他の様態で生成されたビデオまたは画像は、ディスプレイ上に表示される。たとえば、ビデオは、一連のフレームとして表示され得る。

[0003]概して、本開示では、画像強調のための技法について説明する。画像強調は、ビデオの構成フレーム（constructed frame）、または、個々の構成画像を強調することを指す。言い換えれば、説明される技法は、独立した画像またはビデオのフレームに適用可能であり得る。より詳細に説明されるように、本技法は、画像内のピクセルが他のピクセルに対して強調されるべきであるかを判定するために、別の知覚マップ（perception map）とともに、画像化の物体の相対深度を示すデプスマップ（depth map）を利用することができる。

[0004]一例において、本開示は、画像を受信することと、画像内のピクセルの相対深度を示す、画像のデプスマップのデプスマップ値を決定することとを含む、画像処理のための方法を説明する。本方法は、画像の知覚マップのための知覚マップ値を決定することと、少なくともデプスマップ値および知覚マップ値に基づいて、画像の第２の部分に対して画像の第１の部分を強調することとをも含む。

[0005]別の例において、本開示は、画像を記憶するように構成されているメモリと、１つまたは複数の処理ユニットとを含むデバイスを説明する。１つまたは複数の処理ユニットは、画像を受信し、画像内のピクセルの相対深度を示す、画像のデプスマップのデプスマップ値を決定するように構成されている。１つまたは複数の処理ユニットは、画像の知覚マップのための知覚マップ値を決定し、少なくともデプスマップ値および知覚マップ値に基づいて、画像の第２の部分に対して画像の第１の部分を強調するようにも構成されている。

[0006]別の例において、本開示は、画像を受信するための手段と、画像内のピクセルの相対深度を示す、画像のデプスマップのデプスマップ値を決定するための手段とを含むデバイスを記載する。デバイスは、画像の知覚マップのための知覚マップ値を決定するための手段と、少なくともデプスマップ値および知覚マップ値に基づいて、画像の第２の部分に対して画像の第１の部分を強調するための手段とをも含む。

[0007]別の例において、本開示では、コンピュータ可読記憶媒体について説明する。コンピュータ可読記憶媒体は、１つまたは複数のプロセッサに、画像を受信させ、画像内のピクセルの相対深度を示す、画像のデプスマップのデプスマップ値を決定させ、画像の知覚マップのための知覚マップ値を決定させ、少なくともデプスマップ値および知覚マップ値に基づいて、画像の第２の部分に対して画像の第１の部分を強調させる命令を備える。

[0008]１つまたは複数の例の詳細は、添付の図面および以下の説明に記載されている。他の特徴、目的、および利点は、その説明および図面、ならびに特許請求の範囲から明らかになろう。

[0009]本開示の１つまたは複数の態様を実施することができるデバイスの一例を示すブロック図。 [0010]本開示において説明される１つまたは複数の技法を実施することができるポストプロセッサの一例を示すブロック図。 [0011]本開示において説明される１つまたは複数の技法を実施することができる強調ユニットの一例を示すブロック図。 [0012]本開示において説明される１つまたは複数の技法を実施することができる強調ユニットの別の例を示すブロック図。 [0013]本開示において説明される１つまたは複数の技法を実施することができるデプスマップ処理ユニットの一例を示すブロック図。 [0014]本開示において説明される１つまたは複数の例による例示的な技法を示す流れ図。 [0015]本開示の１つまたは複数の態様を実施するように動作可能であり得るデバイスの別の例を示すブロック図。

[0016]一般的に、本開示は、画像に関連付けられる、観察者が知覚可能な情報を使用して１つまたは複数の画像を強調するための、画像強調技法に関する。画像は、静止画像（たとえば、カメラから撮影された写真）であってもよく、または、ビデオデータの一部分（たとえば、ビデオデータのフレーム）であってもよい。いくつかの例において、画像は、右目用画像および左目用画像（たとえば、立体ビデオの一部分）であってもよく、または、マルチビュービデオのための画像であってもよい。

[0017]より詳細に説明されるように、デバイスの１つまたは複数の処理ユニットは、本開示において説明される画像強調技法を実施することができる。本開示に記載される例示的な技法は、観察者が知覚可能な画像情報を使用して画像強調を実行することによって、より現実的な画像をもたらすことができる。たとえば、動き情報および／または顕著性情報（saliency information）と組み合わせたデプス情報のような知覚可能情報に基づいて、画像の部分に対して、１つまたは複数の処理ユニットは、コントラスト強調、鮮鋭化（sharpening）およびぼかし、色強調、またはそれらの任意の組合せを実行することができる。

[0018]図１は、本開示の１つまたは複数の態様を実施することができるデバイスの一例を示すブロック図である。たとえば、図１はデバイス１０を示す。デバイス１０の例には、限定はしないが、メディアプレーヤのようなビデオデバイス、セットトップボックス、携帯電話のようなワイヤレスハンドセット、携帯情報端末（ＰＤＡ）、デスクトップコンピュータ、ラップトップコンピュータ、ゲーミングコンソール、ビデオ会議ユニット、タブレットコンピューティングデバイスなどがある。図示されているように、デバイス１０は、ディスプレイ１２と、ビデオプロセッサ１４と、グラフィックスプロセシングユニット（ＧＰＵ）１６と、ビデオ符号化器／復号器（コーデック）１８と、メモリ２０と、ポストプロセッサ２２とを含んでもよい。デバイス１０は、図１に示す構成要素に加えて、構成要素を含んでもよい。たとえば、図９は、図１に示されているものよりも多くの構成要素を含むデバイス１０の一例を示す。

[0019]ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２の例には、限定はしないが、デジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路もしくはディスクリート論理回路がある。さらに、ビデオプロセッサ１４、ＧＰＵ１６、ビデオ符号化器−復号器（コーデック）１８、およびポストプロセッサ２２は別個の構成要素として示されているが、本開示の態様はそのように限定されない。代替の例において、ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２のうちの１つまたは複数は、共通の集積回路の一部分であってもよい。例示し説明を容易にする目的のために、ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２は別個の構成要素として示されている。

[0020]また、本開示は、ポストプロセッサ２２を、例示的な技法を実施するものとして説明する。代替の例において、デバイス１０の処理ユニットのいずれか１つが、本開示において説明される技法を実施してもよい。たとえば、デバイス１０のビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、ポストプロセッサ２２、ディスプレイプロセッサまたは中央処理ユニット（ＣＰＵ）が、本開示において説明される技法を実施してもよい。これを示すために、いくつかの例において、本開示は、処理ユニットを、本開示において説明される技法を実行するものとして説明する。そのような処理ユニットの例には、デバイス１０のビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、ポストプロセッサ２２、またはデバイス１０のＣＰＵがある。いくつかの例において、ポストプロセッサ２２は、他の処理ユニットのうちの１つの中に形成されてもよい。たとえば、デバイス１０のディスプレイプロセッサがポストプロセッサ２２を含んでもよい。この例において、本開示において説明される技法は、ディスプレイプロセッサによって実行されるとして考えられてもよい。

[0021]ビデオプロセッサ１４、ＧＰＵ１６、および／またはビデオコーデック１８は、画像データをメモリ２０に出力することができる。たとえば、メモリ２０は、ビデオプロセッサ１４、ＧＰＵ１６、またはビデオコーデック１８のいずれか１つから生成された構成画像である画像２４を記憶することができる。図１に示されていない他の構成要素が画像２４を生成し、画像２４をメモリ２０内に記憶することが可能であってもよく、例示の目的のために、ビデオプロセッサ１４、ＧＰＵ１６、およびビデオコーデック１８が記載されている。ポストプロセッサ２２は、メモリ２０から画像２４を取り出し、画像２４を強調して強調画像２６を生成し、強調画像２６をディスプレイ１２上に提示することができる。

[0022]画像２４を強調して強調画像２６を生成することは、強調画像２６の全体的な概観が画像２４よりも高い品質のものになるように、画像２４内のピクセルの色値のようなピクセル値を変更することを指し得る。画像２４と比較しての、強調画像のより高い品質の一例は、強調画像２６が画像２４よりも現実的に見えることであってもよいが、より高い品質の他の例が、本開示の技法を利用して達成されてもよい。たとえば、より詳細に説明されるように、ポストプロセッサ２２は、強調画像２６を生成するために、画像２４内の別の部分に対して、画像２４の一部分内のピクセルのコントラスト、鮮鋭度、および／または色を強調してもよい。そのような強調は、結果として、画像２４よりも現実的に見える強調画像２６をもたらすことができる。さらに、より詳細に説明されるように、ポストプロセッサ２２は、画像２４のいずれの部分を他の部分に対して強調すべきかを判定するために、３つの例として、デプス情報、動き情報、および顕著性情報のような、観察者が知覚可能な情報を利用することができる。

[0023]画像２４は、画像２４が画像２４のピクセルの各々のピクセル値を有する完全な画像であることを示すために、構成画像と称される場合がある。たとえば、ビデオプロセッサ１４、ＧＰＵ１６、またはビデオコーデック１８のうちの１つが、そのそれぞれの昨日を完遂して画像２４を生成し、画像２４をメモリ２０内に記憶してもよい。より詳細に説明されるように、本開示において説明される例示的な技法は、そのような構成画像を強調し、強調画像を表示することができる。言い換えれば、画像２４は、表示されるための状態にあり得るが、本開示において説明される例示的な技法は、表示する前に画像２４を強調することができる。

[0024]ディスプレイ１２は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、陰極線管（ＣＲＴ）ディスプレイ、プラズマディスプレイ、または別のタイプのディスプレイデバイスを備え得る。メモリ２０の例としては、限定はしないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、デバイス１０の中央処理ユニット（ＣＰＵ）、ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２によってアクセスされ得る、任意の他の媒体がある。いくつかの例において、メモリ２０は、コンピュータ可読記憶デバイスのような、１つまたは複数のコンピュータ可読記憶媒体を備えてもよい。たとえば、いくつかの例示的な実施態様において、メモリ２０は、ポストプロセッサ２２に、本開示においてポストプロセッサ２２に帰するものとされている昨日を実行させる命令を含んでもよい。

[0025]メモリ２０は、いくつかの例において、非一時的記憶媒体として考えられてもよい。「非一時的」という用語は、記憶媒体が、搬送波または伝搬信号においては具現化されないことを示し得る。しかしながら、「非一時的」という用語は、システムメモリ２０が非可動であることを意味するものと解釈されるべきでない。一例として、システムメモリ２０は、デバイス１０から取り外され、別のデバイスに移されてもよい。別の例として、メモリ２０と実質的に同様の記憶デバイスが、デバイス１０中に挿入されてもよい。いくつかの例において、非一時的記憶媒体は、時間経過に伴って変動し得るデータを（たとえば、ＲＡＭに）記憶してもよい。

[0026]一例として、ユーザは、ビデオコンテンツをディスプレイ１２上で見ることを所望する場合がある。ビデオプロセッサ１４は、ビデオコンテンツを処理し、メモリ２０内にビデオコンテンツを一連の画像２４（フレームまたはピクチャと称される）として記憶することができる。ポストプロセッサ２２は、メモリ２０から画像２４の各々を取り出し、ユーザがビデオの円滑な再生を体験するような特定のフレームレートで、それらをディスプレイ１２を介して表示することができる。

[0027]別の例として、ユーザは、ビデオゲームをデバイス１０上でプレイすることを所望する場合がある。この例において、ＧＰＵ１６は、ビデオゲームのグラフィックスコンテンツを、ＧＰＵ１６がメモリ２０内に記憶する画像２４の形態で生成することができる。ポストプロセッサ２２は、メモリ２０からビデオゲーム画像２４を取り出し、画像２４を強調し、それらをディスプレイ１２を介して表示することができる。ビデオゲーム以外のアプリケーションが、ポストプロセッサ２２が取り出し、強調し、ディスプレイ１２上に表示することができるグラフィックスコンテンツを生成する場合もある。

[0028]また別の例として、ビデオコーデック１８は、受信されたビデオコンテンツを復号することができる。ビデオプロセッサ１４と同様に、復号されたビデオコンテンツは一連の画像２４であってもよい。ビデオコーデック１８は、これらの一連の画像をメモリ２０内に記憶することができる。ビデオプロセッサ１４と同様に、ポストプロセッサ２２は、メモリ２０から画像２４を取り出し、画像２４を強調し、それらをディスプレイ１２を介して表示することができる。

[0029]画像２４をディスプレイ１２上に表示する前に、ポストプロセッサ２２は、画像強調を実行することができる。ディスプレイ１２はその後、この強調画像を表示することができる。たとえば、図１は、ディスプレイ１２を、強調画像２６を表示するものとして示している。強調画像２６は、画像２４の強調から結果としてもたらされる画像である。

[0030]図１はポストプロセッサ２２が、メモリ２０、たとえば、システムメモリから画像２４を受信することを示しているが、本開示の態様はそのように限定されない。ポストプロセッサ２２が、システムメモリ２０を通じてではなく、たとえば、直接メモリ転送によって、ビデオプロセッサ１４、ＧＰＵ１６、およびビデオコーデック１８のいずれか１つから直接、画像２４を受信することが可能であり得る。しかしながら、簡潔にする目的のために、本技法は、ポストプロセッサ２２がメモリ２０から画像２４を受信することに関して説明されている。

[0031]ポストプロセッサ２２は、画像２４を強調して強調画像２６を生成するための様々な技法を実施することができる。一例として、ポストプロセッサ２４は、別の知覚マップの値と組み合わせてデプスマップの値を利用して、画像２４を強調することができる。たとえば、図１に示されているように、メモリ２０は、デプスマップ２８および知覚マップ３０の値を記憶している。ポストプロセッサ２２は、メモリ２０からデプスマップ２８および知覚マップ３０の値を取り出し、これらの値のうちの１つまたは複数を利用して画像２４を強調することができる。

[0032]たとえば、ポストプロセッサ２２は、デプスマップ２８および知覚マップ３０の値を利用して、画像２４のいずれの部分が、および、他の例においてはどの程度だけ、他の部分に対して強調されるべきかを判定することができる。ポストプロセッサ２２は、画像２４の部分を強調するために、任意の強調方式を利用してもよい。たとえば、ポストプロセッサ２２は、画像２４の他の部分内のピクセルに対して強調されるべき画像２４の部分内のピクセル間のコントラストを強調してもよい。別の例として、ポストプロセッサ２２は、画像２４の他の部分内のピクセルに対して強調されるべき画像２４の部分内のピクセル間の鮮鋭度を強調してもよい。また別の例として、ポストプロセッサ２２は、画像２４の他の部分内のピクセルに対して強調されるべき画像２４の部分内のピクセルの色を強調してもよい。

[0033]より詳細に説明されるように、デプスマップ２８および知覚マップ３０の値を決定するための様々な方法があり得る。本開示において説明される技法は、デプスマップ２４および知覚マップ３０の値が決定される特定の例の方法に限定されない。一般的に、本開示において説明される技法は、デプスマップ２４および知覚マップ３０の値が決定されれる任意の方法に拡張可能であってもよい。

[0034]デプスマップ２８は、デプス情報と称される、画像２４のピクセルの「深度」の相対測度を提供することができる。「深度」という用語は、本開示において使用される場合、奥行きの深さである。たとえば、画像２４は、２次元（２Ｄ）画像であり、この文脈における深さは、特定の物体が、２Ｄ画像内の他の物体よりも遠ざかって見えるという知覚を指す。

[0035]デプスマップ２８の値は、画像２４内の対応するピクセルに関する相対深度を示すことができる。一例として、デプスマップ２８は、画像２４（たとえば、静止画像またはビデオのフレーム）内の各ピクセルの深度の推定値を提供する２Ｄマップとして考えられてもよい。この例において、デプスマップ２８は画像２４と同じサイズであってもよく、各々が画像２４の１ピクセルに対応する複数の箇所を有する。デプスマップ２８内のこれらの箇所の各々は、画像２４のその対応するピクセルの深度を示す値を含んでもよい。たとえば、デプスマップ２８は、画像２４のいずれのピクセルが前景ピクセルである（たとえば、相対的に画像２４内で前にあるように見える）か、および、画像２４のいずれのピクセルが背景ピクセルである（たとえば、相対的に画像２４内で後ろにあるように見える）かを示すことができる。

[0036]デプスマップ２８と同様に、知覚マップ３０は、画像２４内の対応するピクセルに対する値を含んでもよい。知覚マップ３０の値は、画像２４に関する追加の情報を示すことができる。一例として、知覚マップ３０の値は、動き情報を提供してもよい。この例において、知覚マップ３０は、動き情報マップと称される場合がある。たとえば、画像２４がビデオまたはグラフィックスの一連のフレームのうちの１つ（たとえば、ビデオゲームの一部分としての）である例において、動き情報は、画像２４の物体の、以前のまたは将来のフレームに対する位置変化を示し得る。たとえば、そのうちの１つが画像２４を含む一連のフレームが表示されると、観察者は、フレームを表示している画面を横切って移動している車のような物体を知覚し得る。

[0037]物体は、本開示において参照される場合、画像２４内の、明確に区別できる、観察者が識別可能な物品を指す。車はそのような物体の一例であるが、静止物体（すなわち、その位置が１つのフレームから次のフレームまでに変化しない物体）を含む他の物体の例が、本開示によって企図される。画像２４内の物体は、画像２４の複数のピクセルによって包含され得る。この例において、知覚マップ３０の値によって提供されるものとしての動き情報が、速度および方向ならびに／または座標のような値を含み得る。

[0038]たとえば、物体に関する画像２４内の１つのピクセルは、同じ物体について以前のフレームまたは後続のフレーム内では異なる箇所に対応ピクセル（corresponding pixel）を有する場合がある。画像２４内のピクセルの動き情報は、物体がどれだけ速く、および、どの方向に動いているか、ならびに／または、以前のフレームまたは後続のフレーム内の対応ピクセルの座標の何らかの量を提供することができる。対応ピクセルは、本開示において使用される場合、コロケートピクセル（co-located pixel）と混同されるべきではないが、対応ピクセルがコロケートピクセルであることも（たとえば、動きがない場合）あり得る。コロケートピクセルは、異なる複数のフレーム内で同じ箇所にあるピクセルを指す。対応ピクセルは、画像２４内のピクセルと同じ物体内の箇所にある、以前のまたは後続のフレーム内のピクセルを指す。

[0039]知覚マップ３０の別の例は、顕著性マップであり得る。顕著性マップの値は顕著性情報を提供することができ、これは、どれだけ「目立つ」ピクセルが画像２４内にあるかの何らかの量である。たとえば、観察者に望ましい視覚体験を提供するためには、観察者の注意を、他のピクセルと比較して特定のピクセルにより多く引きつけることが有益であり得る。顕著性マップの値は、他のピクセルと比較して、どのピクセルに観察者の注意が引きつけられるべきかを示し得る。

[0040]動き情報マップおよび顕著性マップに加えて知覚マップ３０の他の例があってもよく、本開示の態様は、知覚マップ３０が動き情報マップおよび顕著性マップに限定されることに限定されるべきではない。さらに、図１は単一の知覚マップ３０を記憶するメモリ２０を示しているが、本開示の態様はそのように限定されない。メモリ２０は、１つまたは複数の知覚マップを記憶してもよい。たとえば、メモリ２０は、動き情報マップとしての１つの知覚マップ３０、および、顕著性マップとしての別の知覚マップ３０を記憶してもよい。そのような例において、例示的な技法は、画像２４を強調するために、デプスマップ２８、動きマップ、および顕著性マップからの値を利用し得る。

[0041]少なくともデプスマップ２８および知覚マップ３０からの値を利用して画像２４を強調することは、結果として、相対的により現実的な画像をもたらすことができる。言い換えれば、強調画像２６は、画像２４と比較してより現実的な画像であることができる。一例として、現実的な画像においては、画像２４の前景ピクセルが、画像２４の背景ピクセルと比較してより鮮鋭、より明瞭、かつ／またはより尖鋭に見え得る。デプスマップ２８は、画像２４のいずれのピクセルが前景ピクセルであるか、および、いずれのピクセルが背景ピクセルであるかを示す値を提供することができ、いずれのピクセルが前景ピクセルであるか、および、いずれのピクセルが背景ピクセルであるかを示す値に基づいて画像２４を強調することが可能であり得る。

[0042]いくつかの例において、デプスマップ２８によって提供されるものとしてのデプス情報のみに依拠することは、現実的な画像を提供するには不十分である可能性があり得る。たとえば、画像２４内の物体のピクセルが前景であり得る。しかしながら、物体は移動しているため、物体が他の物体ほど明瞭に見えるべきではない。たとえば、物体（たとえば、車）が画像２４の前景にあり、車が移動している（たとえば、画像２４に先行するフレームおよび後続するフレームの連続的な表示によって証明されるように）と想定する。この例において、車は、車の移動のために、他の物体と比較して明瞭に見えなくなり得る。さらに、車が速く移動すればするほど、車は現実的には明瞭に見えなくなる。より詳細に説明されるように、ポストプロセッサ２２は、デプスマップ２８からのデプス情報および知覚マップ３０からの動き情報を利用して、画像２４の第２の部分（たとえば、画像２４の背景）に対して画像２４の第１の部分（たとえば、画像２４の前景）を強調することができる。このように、ポストプロセッサ２２は、画像２４の部分を画像２４の他の部分に対してどの程度強調すべきかを判定するために、デプス情報と動き情報の両方を考慮に入れることができる。

[0043]いくつかの例において、顕著性情報が、画像２４のいずれのピクセルが強調されるべきかを判定するにあたってポストプロセッサ２２をさらに補助してもよい。たとえば、デプスマップ２８からのデプス情報が、特定のピクセルが前景にあることを示してもよく、この例においては、知覚マップ３０からの顕著性情報が、その特定のピクセルが目立っていることを示してもよい。この例において、ポストプロセッサ２２は、デプス情報と顕著性情報の両方を利用して、その特定のピクセルを他のピクセルに対してどの程度強調すべきかを判定してもよい。

[0044]別の例として、デプスマップ２８からのデプス情報が、特定のピクセルが背景にあることを示すことができ、この例においては、知覚マップ３０からの顕著性情報が、その特定のピクセルが目立っていることを示すことができる。そのような背景ピクセルが過度にぼかされるのを回避するために、または、さらには強調されるようにするために、ポストプロセッサ２２は、顕著性マップの値と組み合わせてデプスマップ２８の値を利用して、特定のピクセルを他のピクセルに対してどの程度強調すべきかを判定してもよい。

[0045]図２は、本開示において説明される１つまたは複数の技法を実施することができるポストプロセッサ２２の一例を示すブロック図である。ポストプロセッサ２２は、画像２４の観察者が知覚可能な情報を利用して、画像２４の部分を画像２４の他の部分に対して強調することができる。たとえば、ポストプロセッサ２２は、画像２４内で背景ピクセルよりも前景ピクセルを強調してもよい。ポストプロセッサ２２が画像２４の一部分を画像２４の他の部分に対して強調し得る様々な方法があり得る。たとえば、ポストプロセッサ２２は、第１の部分を強調し、第２の部分を強調しなくてもよい。別の例として、ポストプロセッサ２２は、第２の部分をぼかし、第１の部分を変更しなくてもよい。また別の例として、ポストプロセッサ２２は、第１の部分を鮮鋭化し、第２の部分をぼかしてもよい。これらの例において、第１の部分は第２の部分よりも明瞭に見え得る。したがって、これらの例において、第１の部分の強調は第２の部分に対して相対的なものである。

[0046]上記で説明されたように、ポストプロセッサ２２は、画像２４の部分を強調するためにデプスマップ２８および知覚マップ３０の値を利用することができる。下記に説明されるように、デプスマップ２８および知覚マップ３０の値を決定するための様々な方法があり得る。デプスマップ２８および知覚マップ３０の値を決定するためのこれらの例示的な技法は、例示の目的のために提供されており、限定と考えられるべきではない。その上、本技法は、互いと、または、それらの任意の組合せとともに利用されてもよい。たとえば、デバイス１０は、デプスマップ２８の値を決定するために１つの技法を利用してもよく、知覚マップ３０の値を決定するために同じまたは異なる技法を利用してもよい。

[0047]一例として、デバイス１０が、別のデバイスから画像２４または画像２４を含むビデオをダウンロードする事例において、その他のデバイスが画像２４とともにデプスマップ２８および知覚マップ３０の値を提供してもよい。この例において、一例として、ビデオコーデック１８が、デプスマップ２８および知覚マップ３０とともに画像２４を受信してもよい。ビデオコーデック１８は、その後、メモリ２０内に画像２４のピクセル値ならびにデプスマップ２８および知覚マップ３０の値を記憶してもよい。ポストプロセッサ２２は、その後、メモリ２０から画像２４のピクセル値ならびにデプスマップ２８および知覚マップ３０の値を受信することによって、これらの値を決定してもよい。ポストプロセッサ２２は、その後、より詳細に説明されるように、受信された情報を用いて、画像２４の部分を他の部分に対して強調してもよい。

[0048]別の例として、デバイス１０内のモジュールが、デプスマップ２８および知覚マップ３０の値を生成してもよい。一例として、ビデオプロセッサ１４が、デバイス１０の一部分であるか、またはデバイス１０に結合されているカメラで撮られた画像２４または画像２４を含むビデオを受信してもよい。この例において、ビデオプロセッサ１４は、デプスマップ２８および知覚マップ３０の値を生成するためのアルゴリズムを実行してもよい。ビデオプロセッサ１４は、その後、メモリ２０内にデプスマップ２８および知覚マップ３０の値を記憶してもよい。上記と同様に、ポストプロセッサ２２は、その後、より詳細に説明されるように、受信された情報を用いて、画像２４の部分を他の部分に対して強調してもよい。

[0049]いくつかの例において、ＧＰＵ１６が、デプスマップ２８および知覚マップ３０の値を生成してもよい。たとえば、画像２４は、静止グラフィックス画像であってもよく、または、一例のグラフィックス画像の一部分であるグラフィックス画像（たとえば、ビデオゲームにおける画像）であってもよい。この例において、ＧＰＵ１６が、画像２４を生成するのに加えて、デプスマップ２８および知覚マップ３０の値を生成してもよい。ＧＰＵ１６は、その後、メモリ２０内に画像２４のピクセル値ならびにデプスマップ２８および知覚マップ３０の値を記憶してもよい。上記と同様に、ポストプロセッサ２２は、その後、より詳細に説明されるように、受信された情報を用いて、画像２４の部分を他の部分に対して強調してもよい。

[0050]いくつかの場合において、ポストプロセッサ２２が、デプスマップ２８および知覚マップ３０の値を決定することが可能であり得る。この例において、ポストプロセッサ２２が、一時記憶のためにメモリ２０内にデプスマップ２８および知覚マップ３０の値を記憶してもよい。代替的に、ポストプロセッサ２２は、ローカルメモリ内にデプスマップ２８および知覚マップ３０の値を記憶してもよい。この例において、メモリ２０は、デプスマップ２８および知覚マップ３０の値を記憶しなくてもよい。

[0051]上記で説明されたように、ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２のいずれか１つが、デプスマップ２８および知覚マップ３０の値を生成してもよい。また、上記で説明されたように、ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２のいずれか１つが、本開示において説明される強調技法を実施してもよい。これを例示するために、本開示の例示的な技法は、１つまたは複数の処理ユニットによって実施されるものとして考えられてもよい。１つまたは複数の処理ユニットの例は、ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２を含む。たとえば、１つの処理ユニットがデプスマップ２８および知覚マップ３０の値を決定してもよく、別の処理ユニットまたは同じ処理ユニットが本開示において説明される例示的な強調技法を実施してもよい。その上、いくつかの例において、表示プロセッサが、１つまたは複数の処理ユニットの別の例であり得る。たとえば、いくつかの例において、ポストプロセッサ２２は、表示プロセッサとして考えられてもよい。例示および簡潔さの目的のために、例示的な技法は、ポストプロセッサ２２によって実行されるものとして説明される。

[0052]デバイス１０がデプスマップ２８および／または知覚マップ３０の値を受信しない例において、１つまたは複数の処理ユニットが、デプスマップ２８および／または知覚マップ３０の値を決定するために１つまたは複数の既知のアルゴリズムを実施してもよい。一例として、１つまたは複数の処理ユニットは、画像２４内のピクセルの深度を推定するために、陰影情報（shadow information）を利用してもよい。別の例として、１つまたは複数の処理ユニットは、デプスマップ２８の値を判定するために、動き情報を利用してもよい。たとえば、速く動いているように見える物体は一般的に前景にあると考えられ、より遅く動いているように見える物体は一般的に、背景において動いていると考えられる。たとえば、空を飛んでいる飛行機（たとえば、背景にある）は、前景において急速に動いている車と比較してより遅く動いているように見える。この例において、１つまたは複数の処理ユニットは、デプスマップ２８のデプス値を決定する（たとえば、飛行機が背景にあり、車が前景にあると判定する）ために動き情報を使用してもよく、また、知覚マップ３０の値を決定する（たとえば、知覚マップ３０が動き情報マップである場合に）ために動き情報を使用してもよい。

[0053]知覚マップ３０が顕著性マップである例において知覚マップ３０の値を決定するための様々な技法があり得る。１つのそのような例示的な技法は、「Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌＳａｌｉｅｎｃｙＤｅｔｅｃｔｉｏｎＵｓｉｎｇＰｈａｓｅＳｐｅｃｔｒｕｍｏｆＱｕａｔｅｒｎｉｏｎＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ」、ＣｈｅｎｌｅｉＧｕｏ、ＱｉＭａ、ＬｉｍｉｎｇＺｈａｎｇ、ＩＥＥＥＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎＣｏｎｆｅｒｅｎｃｅ（ＩＥＥＥＣＶＰＲ）、２００８に記載されており、その全体が参照により組み込まれる。この引用文献に記載されている技法は、例示の目的のために与えられており、限定であると考えられるべきでない。本開示において説明される技法は、顕著性マップの値が受信されない例を含む、知覚３０が顕著性マップである例において知覚マップ３０の値を決定するための任意の方式を実装してもよい。

[0054]図２に示されているように、ポストプロセッサ２２は、画像２４のピクセル値を受信し、強調画像２６の強調ピクセル値を出力する。ピクセル値は、単一の画像、２Ｄビデオ（たとえば、単一チャネルビデオ）、または３Ｄビデオ（たとえば、マルチチャネルビデオ）の一部分に関連付けられるピクセル値を含んでもよい。ピクセル値は、一例として色値であってもよく、標準的なビデオフォーマットに従って定義されてもよい。たとえば、ピクセル値は、標準的な赤−緑−青（ＲＧＢ）にあってもよい。ピクセル値の例は、色値に加えて、２つの例として、座標および不透明度値のような値を含んでもよい。

[0055]図２の例において、ポストプロセッサ２２は、デプスマップ処理ユニット３２と、強調マップユニット３４と、強調ユニット３６とを含む。これらのユニットは、ともに形成されてもよく、または図２に示されているように、別個のユニットとして形成されてもよい。デプスマップ処理ユニット３２、強調マップユニット３４、および／または強調ユニット３６は、ハードウェアとして、またはハードウェア上で実行しているソフトウェアとして実装されてもよい。強調ユニット３６の出力が、強調画像２６のピクセル値であってもよい。

[0056]さらに、デプスマップ処理ユニット３２、強調マップユニット３４、および強調ユニット３６はポストプロセッサ２２内に形成されるものとして示されているが、本開示の態様はそのように限定されない。他の例において、デプスマップ処理ユニット３２、強調マップユニット３４、および強調ユニット３６のうちの１つまたは複数は、他の処理ユニットのうちの１つまたは複数の中に形成されてもよい。別の例として、デプスマップ処理ユニット３２および強調マップユニット３４は各々、個々のユニットであってもよく、または、デバイス１０内にあって、デバイス１０のビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、ポストプロセッサ２２、およびＣＰＵの外部にあるようにともに形成されてもよい。これらの例において、デプスマップ処理ユニット３２および強調マップユニット３４は、本開示において説明される例示的な技法を実施する１つまたは複数の処理ユニットの一部分であってもよい。

[0057]デプスマップ２８がデバイス１０によって受信されるか、またはデバイス１０によって生成されるいくつかの例において、デプスマップ２８の値に対するさらなる変更が適切である場合がある。たとえば、デプスマップ２８の値は、画像２４のいずれの部分が、および、どの程度だけ、他の部分に対して強調されるべきかを判定するのに画像２４のいずれの部分が、および、どの程度だけ、他の部分に対して強調されるべきかを判定するのに理想的でない場合がある。図２の例において、デプスマップ処理ユニット３２は、画像２４のいずれの部分が、および、どの程度だけ強調されるべきかを判定するのにより適切であり得る値を生成するために、デプスマップ２８の値を変更してもよい。デプスマップ処理ユニット３２の例は、図５に関連してより詳細に示されている。他の例において、デプスマップ２８の値はそのままで、画像２４の部分を他の部分に対して強調するのに適切であり得る。これらの例において、デプスマップ処理ユニット３２は必要とされなくてもよく、または、デプスマップ２８の値のパススルー（pass through）として機能してもよい。

[0058]強調マップユニット３４は、デプスマップ処理ユニット３２から処理されたデプスマップ２８を受け取ってもよい。ポストプロセッサ２２がデプスマップ処理ユニット３２を含まない例において、強調マップユニット３４が、デプスマップ２８の値を直接受け取ってもよい。図示されているように、強調マップユニット３４は、知覚マップ３０の値も受信してもよい。いくつかの例において、ポストプロセッサ２２は、知覚マップ３０の値を、画像２４の部分をどの程度強調すべきかを判定するのにより適したものにするために、その値を変更する知覚マップ処理ユニットをも含んでもよい。しかしながら、そのような知覚マップ処理ユニットは、ポストプロセッサ２２のすべての例において必要であるとは限らない場合があり、または知覚マップ３０の値のパススルーとして機能してもよい。

[0059]強調マップユニット３４は、画像２４のピクセルがどの程度強調されるべきかを判定するための様々なアルゴリズムを実施してもよい。一例のアルゴリズムとして、強調マップユニット３４は、強調マップを生成するために、デプスマップ２８の値と知覚マップ３０の値との加重和を実行してもよい。強調マップの値は、画像２４の対応ピクセルがどの程度強調されるべきかを示し得る。この例において、強調ユニット３６は、強調マップユニット３４から強調マップを受信し、強調マップの対応する値に基づいて、画像２４のピクセルを他のピクセルに対して強調してもよい。

[0060]たとえば、強調マップユニット３４は、デプスマップ２８および知覚マップ３０の値に選択可能なまたはプログラムされた重みを加えることによって、強調をより前景に向けて、または、動きが少なく、かつ／もしくは顕著性が大きい物体に向けてバイアスしてもよい。加重和の結果としての値は、仮にそうであるとしても、ピクセルの値がどの程度強調されるべきかを示し得る。たとえば、知覚マップ３０の値が動き情報の値である例において、加重和の結果としての値は、強調ユニット３６に、前景に位置する、遅く動いている物体のピクセルを、背景に位置する物体のピクセルまたは速く動いている物体のピクセルに対して強調するよう指示し得る。

[0061]いくつかの例において、強調マップユニット３４は、知覚マップ３０が顕著性マップである場合に、デプスマップ２８の値と知覚マップ３０の値との加重和を同様に実行してもよい。たとえば、この例において、加重和の結果としての値は、強調ユニット３６に、前景に位置する物体を有する画像２４の部分内の目立つピクセルを、ピクセルが背景にある物体のものであるか、またはより目立たないピクセルのものである画像２４の部分と比較して、より強調するよう指示し得る。

[0062]一例として、加重和を実行するために、強調マップユニット３４は、画像２４内の同じピクセルに対応するデプスマップ２８および知覚マップ３０の対応する値の各々に、以下の関数を実施してもよい。

[0063]β＝γｄ＋δ（１−ｔ）、式中、γは知覚マップ３０の値に対する選択可能なまたはプログラムされた重みであり、ｄは知覚マップ３０の値の１つであり、δはデプスマップ２８の値に対する選択可能なまたはプログラムされた重みであり、ｔは知覚マップ３０のｄの値に対応するデプスマップ２８の値の１つであり、ｄとｔの両方は画像２４のピクセルの１つに対応する。

[0064]この例において、βは、強調ユニット３６が画像２４の対応ピクセルをどの程度強調すべきかを判定するのに利用することができる、画像２４の対応ピクセルに対する結果としての加重和値である。たとえば、強調マップは、画像２４のピクセルごとに１つのβ値を含んでもよい。γの値は、知覚マップ３０の値向けに所望されるバイアスの量に基づいて選択可能であってもよく、またはプログラムされてもよい。たとえば、物体が、画像２４内の深度と比較して、動きまたは顕著性により基づいて強調され、γの値がそのような結果を達成するように選択またはプログラムされ得ることを保証することが望ましい場合がある。同様に、δの値は、デプスマップ２８の値向けに所望されるバイアスの量に基づいて選択可能であってもよく、またはプログラムされてもよい。たとえば、物体が、動きまたは顕著性と比較して、深度により基づいて強調され、δの値がそのような結果を達成するように選択またはプログラムされ得ることを保証することが望ましい場合がある。

[0065]値ｄは、知覚マップ３０が動き情報マップである例において、知覚される「速さ」に逆相関し得る。たとえば、知覚される速さが速ければ速いほど、ｄの値は小さくなる。ｔの値は、知覚される「深度」を示し得、１以下である。この例において、ｔの値が大きければ大きいほど、画像２４内でさらに奥になる。

[0066]γ、δ、ｄ、およびｔの値と、それらのそれぞれのバイアス、速さ、および深度との間の相関は例示の目的のためにのみ与えられており、限定と考えられるべきではないことは理解されるべきである。さらに、βに関する式は、例示の目的のためにのみ与えられており、限定と考えられるべきではない。一般的に、強調マップユニット３４は、デプスマップ２８および知覚マップ３０の値に基づいて画像２４のピクセルに対して加えるべき強調の量を決定する任意のアルゴリズムを実施してもよい。

[0067]図示されているように、強調ユニット３６は、強調マップユニット３４からの加重和の結果および画像２４のピクセル値を受け取ってもよい。強調ユニット３６は、その後、対応する加重和値に基づいて画像２４のピクセル値（たとえば、色値）を強調してもよい。強調ユニット３６が加重和値を利用して画像２４の第１の部分を画像２４の第２の部分に対して強調し得る様々な方法があり得る。

[0068]たとえば、強調ユニット３６は、加重和値に対する閾値を制定してもよい。その対応する加重和値が閾値以上であるピクセルが、画像２４の第１の部分内のピクセルであり得る。その対応する加重和値が閾値未満であるピクセルが、画像２４の第２の部分内のピクセルであり得る。画像２４の第２の部分に対する第１の部分の強調の一例として、強調ユニット３６は、画像２４の第１の部分内のピクセルを強調して、画像２４の第２の部分内のピクセルは強調しなくてもよい。別の例として、強調ユニット３６は、画像２４の第２の部分内のピクセルをぼかし、画像２４の第１の部分内のピクセルはぼかさなくてもよい。また別の例として、強調ユニット３６は、画像２４の第１の部分内のピクセルをぼかし、画像２４の第２の部分内のピクセルをぼかしてもよい。これらの例示的な事例のいずれにおいても、第１の部分は第２の部分よりも明瞭に見え得る。このように、例示的な技法は、画像２４の第１の部分を画像２４の第２の部分に対して強調することができる。

[0069]強調ユニット３６は、任意のタイプの強調技法を実施するように構成されてもよい。例として、強調ユニット３６は、コントラスト強調、鮮鋭化およびぼかし、ならびに色強調のうちの１つまたは複数を実施してもよいが、本開示の態様は、コントラスト強調、鮮鋭化およびぼかし、ならびに色強調に限定されると考えられるべきではない。強調ユニット３６の一例が、図３に関連してより詳細に説明される。

[0070]上記の例は、画像２４を、単一の静止画像またはビデオの１つの画像として説明した。ビデオの画像の少なくとも２つの例があり得、本開示の技法はビデオの両方の例に拡張可能である。ビデオの１つの例は一般的にモノビュービデオ（mono-view video）と称され、ビデオのもう１つの例はマルチビュービデオと称される。マルチビュービデオの一部に、立体ビデオがある。

[0071]三次元（３Ｄ）ビデオと称される場合がある立体ビデオにおいて、デバイス１０は、ディスプレイ１２上に２つの画像を同時に表示することができ、一方の画像は右目ではなく左目で見ることができ、もう一方の画像は左目ではなく右目で見ることができる。左目画像および右目画像は実質的に同様の画像内容を含み得るが、対応するピクセルにわずかなずれがあり得る。左目画像および右目画像を同時に見ることによって、観察者に、ディスプレイ１２から飛び出すかまたはディスプレイに入り込む単一の画像を知覚させることができ、それが、観察者に３Ｄ体験を与える。

[0072]マルチビュービデオは立体ビデオの延長である。たとえば、マルチビュービデオは、３Ｄ体験を生成するのと同様の前提に基づいているが、左および右目画像だけでない画像を生成し、それによって、３Ｄの見え方が、観察者がビデオを見る方向を問わず、より詳細にはユーザが３Ｄ画像を見るためのいかなる特定の眼鏡も装着していないときにも発生する。例示の目的のために、本技法は立体ビデオについて説明されるが、本技法はマルチビューにも同様に拡張可能であり得る。

[0073]二次元（２Ｄ）ビデオと称される場合があるモノビュービデオにおいて、デバイス１０は、一度に１つの画像をディスプレイ１２上に表示し得る。観察者は３Ｄ効果を何ら体験することができない。たとえば、ビデオはディスプレイ１２内に固定されているように見え得る。立体ビデオおよびモノビュービデオの両方において、ビデオ内に物体までの奥行きの深さがあり得るという点では、画像は３Ｄ画像であり得る。しかしながら、画像の各々はディスプレイ１２の境界に制約されている。観察者がディスプレイ１２から飛び出すまたはディスプレイ内に入り込む単一の画像を知覚するのは、立体ビデオの左目画像および右目画像が同時に見られるときのみである。

[0074]本開示において説明される技法は、立体ビデオまたはマルチビュービデオに拡張可能であり得る。たとえば、画像２４は立体ビデオの左目画像または右目画像のうちの一方であってもよく、メモリ２０は、左目画像と右目画像の両方を記憶してもよい。画像２４が立体ビデオのためのものである例において、デプスマップ２８は視差マップと称される場合がある。この事例において、視差マップは画像２４内の物体の奥行きの深さを示す値と、対応する他方の目の画像に関する物体の奥行きの深さを示す値とを含み得るため、デプスマップ２８は視差マップと称される場合がある。たとえば、画像２４が左目画像である場合、デプスマップ２８（たとえば、視差マップ）は、左目画像（すなわち、画像２４）、および、対応する右目画像、並びのその逆の中の物体の深度を示す値を含み得る。

[0075]画像２４が立体ビデオのためのものである例において、強調マップユニット３４は、画像２４のデプスマップ２８（たとえば、視差マップ）を受信し得、このマップは、立体ビデオの他方の画像のデプスマップでもある。この例において、強調マップユニット３４は、立体ビデオの両方の画像のピクセルを強調するのに強調ユニット３６が利用する単一の強調マップを生成してもよい。強調ユニット３６は、立体ビデオの右目画像と左目画像の両方のピクセル値（たとえば、色値）を受信してもよく、単一の強調マップを使用して右目画像および左目画像を強調してもよい。いくつかの事例において、強調ユニット３６が右目画像に加える強調の量が、左目画像に加えられる強調の量と異なる場合、強調された右目および左目画像を見ることは、適切な３Ｄ効果を生成しない場合がある。これに対処するために、強調ユニット３６は、右目画像と左目画像の両方に同じ量の強調を加え得る。

[0076]画像２４が立体ビデオの画像であるいくつかの例において、ポストプロセッサ２２は、デプス情報のみを使用して画像２４および立体ビデオの対応する画像（たとえば、右目画像と左目画像の両方）を強調してもよい。これらの例において、知覚マップ３０は必要でない場合がある。しかしながら、代替の例において、ポストプロセッサ２２は、画像２４が立体ビデオの画像である例においてさえも、デプスマップ２８と知覚マップ３０の両方を利用してもよい。強調ユニット３６がデプスマップ２８の値を利用するが、知覚マップ３０の値は利用しない例において、強調マップは、デプスマップ２８の値が乗算された、上記で説明されたような選択可能なまたはプログラムされた値「δ」であってもよい。強調ユニット３６がデプスマップ２８と知覚マップ３０の両方からの値を利用する例示において、強調マップは、画像２４の各対応ピクセルについて「β」の値を含んでもよい。

[0077]図３は、本開示において説明される１つまたは複数の技法を実施することができる強調ユニット３６の一例を示すブロック図である。図３の例において、強調ユニット３６は、コントラスト強調ユニット３８と、鮮鋭化およびぼかしユニット４０と、色強調ユニット４２とを含む。他の例において、強調ユニット３６は、図３に示されているものよりも少ないまたは多いユニットを含んでもよい。たとえば、強調ユニット３６は、コントラスト強調ユニット３８、鮮鋭化およびぼかしユニット４０、ならびに色強調ユニット４２の３つすべて、これら３つのうちのいずれか２つ、またはこれら３つのうちのいずれか１つを含んでもよい。言い換えれば、強調ユニット３６は、これらの例示的な強調技法のうちの１つまたは複数を適用してもよい。たとえば、強調ユニット３６は、コントラスト強調、鮮鋭化およびぼかし、ならびに色強調ユニット３つすべて、これら３つのうちのいずれか２つ、またはこれら３つのうちのいずれか１つを利用してもよい。強調ユニット３６の出力が、強調画像２６のピクセル値であってもよい。

[0078]コントラスト強調ユニット３８は、強調マップユニット３４によって生成された強調マップに基づいて、画像２４の第１の部分内のピクセルのコントラストを、画像２４の第２の部分に対して変化させることができる。たとえば、強調マップは、コントラスト強調ユニット３８に、背景内の物体のピクセルまたは遅く動いているかもしくはより目立たない物体のピクセルと比較して、遅く動いているかまたはより目立つ前景内の物体のピクセルのコントラストを増大させるように指示してもよい。

[0079]鮮鋭化およびぼかしユニット４０は、強調マップに基づいて鮮鋭化させ、またはぼかすことができる。たとえば、鮮鋭化およびぼかしユニット４０は、強調マップに基づいて、前景ピクセルを鮮鋭化させるか、背景ピクセルをぼかすか、または前景ピクセルの鮮鋭化と背景ピクセルのぼかしの両方を行ってもよい。強調マップに基づいて前景にある物体が動いているように知覚される場合、鮮鋭化およびぼかしユニット４０は、前景ピクセルをぼかしてもよい。

[0080]色強調ユニット４２は、強調マップに基づいてピクセルの色値を変化させてもよい。たとえば、人間は、前景物体を、背景物体よりも「暖かい」色をしていると知覚する。これに基づいて、色強調ユニット４２は、前景ピクセルの「赤さ」を増大させ、背景ピクセルの「赤さ」を低減し得る。コントラスト強調ユニット３８、鮮鋭化およびぼかしユニット４０、および色強調ユニット４２によって実行される強調は、任意の数の順序において順次実行されてもよく、または、並列に実行されてもよいことが留意されるべきである。

[0081]強調ユニット３６は、上記で説明された立体ビデオの画像に対して例示的な強調技法のいずれを適用してもよい。いくつかの状況において、立体ビデオの画像により適した他の強調技法があってもよい。図４は、本開示において説明される１つまたは複数の技法を実施することができる強調ユニット３６の別の例を示すブロック図である。図４に示されている例示的な強調ユニット３６は、画像２４が立体ビデオの画像のうちの１つである場合の、強調ユニット３６の適切な例であり得る。例示の目的のために、画像２４は左目画像であると仮定する。

[0082]図４に示されているように、この例の強調ユニット３６において、強調ユニット３６は、フィルタ４４と、乗算器４６と、加算器４８と、乗算器５２とを含む。いくつかの例において、強調ユニット３６は、図４において「Ａ」によって表されている、一定値５０を事前プログラムされ得る。代替的に、一定値５０は選択可能であってもよい。

[0083]フィルタ４４は、画像２４（たとえば、左目画像）のピクセル値を受信し、ピクセル値をハイパスフィルタリングし得る。フィルタ４４がピクセル値をハイパスフィルタリングし得る様々な方法があり得る。一例として、フィルタ４４はピクセル値をローパスフィルタリングし、元のピクセル値からローパスフィルタリングされたピクセル値を減算して、ハイパスフィルタリングされたピクセル値を生成してもよい。ピクセル値をローパスフィルタリングするために、一例として、フィルタ４４はピクセル値に５×５ガウスカーネルを乗算してもよい。フィルタ４４のフィルタリング技法は、例示の目的のためにのみ与えられており、限定と考えられるべきではない。別の例において、３×３または５×５カーネルが使用されてもよい。この例において、これらの寸法のローパスフィルタカーネルは、固定標準偏差を有する回転対称ガウス分布関数（circularly symmetric Gaussian spread function）から導出され得る。このとき、ハイパスカーネルは単純に１として計算され得る。さらに、ローパスカーネル重みは、それらの大きさが０〜１であるように正規化され得る。一般的に、本開示の態様は、任意のハイパスフィルタリング技法に拡張可能である。

[0084]乗算器４６は、フィルタ４４からのハイパスフィルタリングされたピクセル値および強調マップを受信し、これらの値をともに乗算し得る。強調マップの値の一例は、立体ビデオの強調マップがデプスマップ２８および知覚マップ３０の値に基づく例において、上記で説明されたような、画像２４の各対応ピクセルの「β」の値であってもよい。強調マップの値の別の例は、立体ビデオの強調マップがデプスマップ２８に基づき、知覚マップ３０の値には基づかない例において、デプスマップ２８の値を乗算された、上記で説明されたような、「δ」の値であってもよい。

[0085]乗算器５２も、画像２４のピクセル値を受信し、ピクセル値に一定値５０を乗算し得る。一定値５０は、選択可能なまたは事前プログラムされた値であってもよい。加算器４８は、乗算器４６からの、および乗算器５２からの値を受信し、これらの値をともに加算し得る。加算の結果は、強調画像２６のピクセル値であり得る。図４に示されているような強調ユニット３６は、立体ビデオの画像２４に対応する他方の画像（たとえば、右目画像）を強調するために同様の技法を実行し得る。

[0086]図５は、本開示において説明される１つまたは複数の技法を実施することができるデプスマップ処理ユニット３２の一例を示すブロック図である。上述のように、いくつかの例において、デプスマップ２８の受信されたまたは生成された値は、画像２４のいずれの部分が他の部分に対して強調されるべきかを判定するのに理想的に適していない場合がある。たとえば、デプスマップ２８は、これを画像強調にあまり有用でなくする場合があるノイズを含む場合がある。デプスマップ処理ユニット３２は、そのようなフィルタリングを実行するとともに、画像強調に使用するのに適した値を生成するために、デプスマップ２８の値に対する他の処理を実行し得る。また、上記で説明されたように、デプスマップ処理ユニット３２は、すべての例において必要であるとは限らない場合もある。

[0087]図５に示されている例示的なデプスマップ処理ユニット３２は、中央値フィルタリングユニット５４と、平滑化ユニット５６と、伸張ユニット５８とを含んでもよい。中央値フィルタリングユニット５４は、事前プログラムされたまたは選択可能なフィルタを適用することによって、受信されたデプスマップ２８内のインパルスノイズを除去し得る。平滑化ユニット５６は、ピクセルのデプス値を隣接するデプス値の値と置き換えることによって、デプスマップ２８内の「穴」を除去し得る。たとえば、ピクセルが０のデプス値を有するが、より高いデプス値を有するピクセルに囲まれている場合、ピクセルは引き継ぎ得る。このように、物体を構成するピクセルは同様の深度を有するように見えることになり、物体がより連続的に見えることになる。

[0088]伸張ユニット５８は、ヒストグラム伸張またはルックアップテーブルマッピングを使用して、受信されたデプスマップのダイナミックレンジを増大し得る。たとえば、受信されたデプスマップ２８は、１７の最大デプス値を有し得る。伸張ユニット５８は、画像２４の知覚される深度をさらに強調するために、一例として、この値を２５５まで増大させ得る。例示的な図５において示されているデプスデータ処理ユニット３２がデプスマップを処理するものとして説明されているが、他の例において、ポストプロセッサ２２は、画像２４内の物体がより連続的であり、互いからより明瞭に区別されるように、知覚マップ３０の値を同様に処理するための知覚マップ処理ユニットを含んでもよいことが留意されるべきである。

[0089]図６は、本開示において説明される１つまたは複数の例による例示的な技法を示す流れ図である。図６において示されているステップのすべてがすべての事例において実行される必要はないことが留意されるべきである。１つまたは複数のステップは実行されなくてもよく、または、図６において示されているものとは異なる順序で実行されてもよい。例示のみの目的のために、図１〜図５が参照される。

[0090]１つまたは複数の処理ユニットが画像を受信し得る（６０）。処理ユニットの例には、デバイス１０のビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、ポストプロセッサ２２、およびＣＰＵがある。受信される画像の一例は、１つまたは複数の処理ユニットが画像強調のためにメモリ２０から受信する画像２４であってもよい。

[0091]１つまたは複数の処理ユニットが、画像内のピクセルの相対深度を示す、画像のデプスマップのデプスマップ値を決定し得る（６２）。たとえば、ポストプロセッサ２２は、デプスマップ２８のデプスマップ値を決定してもよい。デプスマップ値は、いずれのピクセルが前景にある物体内にあり、いずれのピクセルが背景にある物体内にあるかのような、ピクセルの相対深度を示し得る。

[0092]１つまたは複数の処理ユニットが、画像の知覚マップの知覚マップ値を決定し得る（６４）。たとえば、知覚マップ値は、知覚マップ３０のためのものであってもよい。いくつかの例において、知覚マップ値は、物体が相対的に速く動いているか、または相対的に遅く動いているかの測定値を与えることができる、動き情報を示してもよい。いくつかの例において、知覚マップ値は、どの程度目立つピクセルが画像２４内にあるかを示してもよい。

[0093]１つまたは複数の処理ユニットが、少なくともデプスマップ値および知覚マップ値に基づいて画像の第１の部分を画像の第２の部分に対して強調し得る（６６）。１つまたは複数の処理ユニットが第１の部分を第２の部分に対して強調し得る様々な方法があり得る。たとえば、１つまたは複数の処理ユニットは、第１の部分を強調し、第２の部分を強調しなくてもよい。別の例として、１つまたは複数の処理ユニットは、第２の部分をぼかし、第１の部分をぼかさなくてもよい。また別の例として、１つまたは複数の処理ユニットは、第１の部分を強調し、第２の部分をぼかしてもよい。

[0094]いくつかの例において、１つまたは複数の処理ユニットは、画像の前景にある物体のピクセル値、および、画像内の物体の動き情報を決定してもよい。これらの例において、１つまたは複数の処理ユニットは、画像の前景にあり、遅く動いている物体のピクセルを、画像の背景にあり、速く動いている物体のピクセルに対して強調してもよい。

[0095]いくつかの例において、１つまたは複数の処理ユニットは、画像の前景にある物体のピクセル値、および、画像内のピクセルの顕著性情報を決定してもよい。これらの例において、１つまたは複数の処理ユニットは、より目立つ、画像の前景にある物体のピクセルを、より目立たない、画像の背景にある物体のピクセルに対して強調してもよい。

[0096]図７は、本開示の１つまたは複数の態様を実施するように動作可能であり得るデバイスの別の例を示すブロック図である。たとえば、図７は、図１のデバイス１０をより詳細に示す。簡潔さの目的のために、図７に示されているが図１には示されていないデバイス１０の構成要素のみが、詳細に説明される。

[0097]図７の例において、デバイス１０は、ディスプレイ１２と、ビデオプロセッサ１４と、ＧＰＵ１６と、ビデオコーデック１８と、メモリ２０と、ポストプロセッサ２２と、送受信機モジュール６８と、ユーザインターフェース７０と、プロセッサ７２とを含み得る。プロセッサ７２は、デバイス１０の中央処理ユニット（ＣＰＵ）であってもよい。本開示は、ポストプロセッサ２２を、本開示において説明される例示的な技法を実施するものとして説明するが、デバイス１０の任意の処理ユニットが例示的な技法を実施することが可能であり得る。処理ユニットは、プロセッサ７２、ビデオプロセッサ１４、ＧＰＵ１６、ビデオコーデック１８、およびポストプロセッサ２２、または図１および図９には示されていない何らかの他の処理ユニットのうちの１つまたは複数であってもよい。

[0098]デバイス１０は、明瞭さの目的のために図７に示されていない追加のモジュールまたはユニットを含んでもよい。たとえば、デバイス１０は、デバイス１０がモバイルワイヤレス電話である例において電話通信を実現するために、そのいずれも図７に示されていないスピーカおよびマイクロフォン、またはデバイス１０がメディアプレーヤである場合にスピーカを含んでもよい。デバイス１０はビデオカメラをも含んでもよい。さらに、デバイス１０に示す様々なモジュールおよびユニットは、デバイス１０のすべての例において必要であるとは限らない。たとえば、ユーザインターフェース７０およびディスプレイ１２は、デバイス１０がデスクトップコンピュータまたは外部のユーザインターフェースもしくはディスプレイとインターフェースするように備えられた他のデバイスである例において、デバイス１０の外部にあってよい。

[0099]ユーザインターフェース７０の例には、限定はしないが、トラックボール、マウス、キーボード、および他のタイプの入力デバイスがある。ユーザインターフェース７０はまた、タッチスクリーンであり得、ディスプレイ１２の一部として組み込まれ得る。送受信機モジュール６８は、デバイス１０と別のデバイスまたはネットワークとの間のワイヤレスまたはワイヤード通信を可能にするための回路を含み得る。送受信機モジュール６８は、ワイヤードまたはワイヤレス通信のための変調器、復調器、増幅器および他のそのような回路を含み得る。

[0100]例によっては、本明細書で説明された技法のうちいずれかの、いくつかの行為またはイベントは、異なる順番で実行される可能性があり、追加され、統合され、または完全に除外され得る（たとえば、すべての説明された行為またはイベントが、本技法の実施のために必要であるとは限らない）ことが認識されるべきである。さらに、いくつかの例において、行為またはイベントは、連続的にではなく、同時に、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて実行されてもよい。

[0101]１つまたは複数の例において、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装されてもよい。ソフトウェアにおいて実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されてもよい。コンピュータ可読媒体はコンピュータデータ記憶媒体を含み得る。データ記憶媒体は、本開示において説明される技法の実施のための命令、コードおよび／またはデータ構造を取り出すために１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0102]コードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）などの１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書において使用される場合、「プロセッサ」という用語は、前述の構造、または本明細書において説明される技法の実装に好適な他の構造のいずれかを指す。また、本技法は、１つまたは複数の回路または論理要素中に全体が実装され得る。

[0103]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、またはＩＣのセット（すなわち、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示されている技法を実行するように構成されたデバイスの機能的態様を強調するために様々な構成要素、モジュール、またはユニットについて説明されているが、それらの構成要素、モジュール、またはユニットを、必ずしも異なるハードウェアユニットによって実現する必要があるとは限らない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、ハードウェアユニットにおいて組み合わせられるか、または相互動作ハードウェアユニットの集合によって与えられ得る。

[0104]様々な例が説明された。これらおよび他の例は、以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］画像処理のための方法であって、前記方法は以下を備える、
画像を受信することと、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定することと、
前記画像の知覚マップの知覚マップ値を決定することと、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第１の部分を前記画像の第２の部分に対して強調すること。
［Ｃ２］前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調することは、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しないことと、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさないことと、
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも１つを備える、［Ｃ１］に記載の方法。
［Ｃ３］前記デプスマップのデプス値を決定することは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定することを備え、
前記知覚マップの知覚マップ値を決定することは、前記画像内の物体の動き情報を決定することを備え、
前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調することは、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調することを備える、［Ｃ１］に記載の方法。
［Ｃ４］前記デプスマップのデプス値を決定することは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定することを備え、
知覚マップ値を求めることは、前記画像内のピクセルの顕著性情報を求めることを備え、
前記画像の前記第１の部分を前記第２の部分に対して強調することは、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調することを備える、［Ｃ１］に記載の方法。
［Ｃ５］前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、［Ｃ１］に記載の方法。
［Ｃ６］前記画像は、第１の目に対する立体ビデオの第１の画像を備え、前記方法は、
第２の目に対する前記立体ビデオの第２の画像を受信すること、ここにおいて、前記第１の画像および前記第２の画像の画像内容は実質的に同様である、と、
少なくとも前記第１の画像の前記デプスマップ値および前記第１の画像の前記知覚マップ値に基づいて前記第２の画像の第１の部分を前記第２の画像の第２の部分に対して強調することと、
を備える、［Ｃ１］に記載の方法。
［Ｃ７］前記方法は、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行することをさらに備え、
前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調することは、前記強調マップ値に基づいて、前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調することをさらに備える、［Ｃ１］に記載の方法。
［Ｃ８］前記デプスマップの前記デプス値をフィルタリングすることと、
前記デプスマップの前記デプス値を平滑化することと、
前記デプスマップの前記デプス値をヒストグラム伸張することと、
のうちの少なくとも１つをさらに備える、［Ｃ１］に記載の方法。
［Ｃ９］デバイスであって、前記デバイスは以下を備える、
画像を記憶するように構成されているメモリと、
１つまたは複数の処理ユニット、ここで、前記１つまたは複数の処理ユニットは、
前記画像を受信し、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定し、
前記画像の知覚マップの知覚マップ値を決定し、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第１の部分を前記画像の第２の部分に対して強調する。
［Ｃ１０］前記画像の前記第１の部分を前記第２の部分に対して強調するために、前記１つまたは複数の処理ユニットは、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しない、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさない、および
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかす、
のうちの少なくとも１つを行うように構成されている、［Ｃ９］に記載のデバイス。
［Ｃ１１］前記１つまたは複数の処理ユニットは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定し、前記画像内の前記物体の動き情報を決定し、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調するように構成されている、［Ｃ９］に記載のデバイス。
［Ｃ１２］前記１つまたは複数の処理ユニットは、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定し、前記画像内のピクセルの顕著性情報を求め、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調するように構成されている、［Ｃ９］に記載のデバイス。
［Ｃ１３］前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、［Ｃ９］に記載のデバイス。
［Ｃ１４］前記画像は、第１の目に対する立体ビデオの第１の画像を備え、前記１つまたは複数の処理ユニットは、
第２の目に対する前記立体ビデオの第２の画像を受信し、ここで、前記第１の画像および前記第２の画像の画像内容は実質的に同様であり、
少なくとも前記第１の画像の前記デプスマップ値および前記第１の画像の前記知覚マップ値に基づいて前記第２の画像の第１の部分を前記第２の画像の第２の部分に対して強調するように構成されている、［Ｃ９］に記載のデバイス。
［Ｃ１５］前記１つまたは複数の処理ユニットは、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行し、
少なくとも前記強調マップ値に基づいて前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調する
ように構成されている、［Ｃ９］に記載のデバイス。
［Ｃ１６］前記１つまたは複数の処理ユニットは、
前記デプスマップの前記デプス値をフィルタリングする、
前記デプスマップの前記デプス値を平滑化する、および
前記デプスマップの前記デプス値をヒストグラム伸張する、
のうちの少なくとも１つを行うように構成されている、［Ｃ９］に記載のデバイス。
［Ｃ１７］デバイスであって、前記デバイスは以下を備える、
画像を受信するための手段と、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定するための手段と、
前記画像の知覚マップの知覚マップ値を決定するための手段と、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第１の部分を前記画像の第２の部分に対して強調するための手段。
［Ｃ１８］前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調するための前記手段は、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しないための手段と、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさないための手段と、
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかすための手段と、
のうちの少なくとも１つを備える、［Ｃ１７］に記載のデバイス。
［Ｃ１９］前記デプスマップのデプス値を求めるための前記手段は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための手段を備え、
前記知覚マップの知覚マップ値を求めるための前記手段は、前記画像内の物体の動き情報を決定するための手段を備え、
前記画像の前記第１の部分を前記第２の部分に対して強調するための前記手段は、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調するための手段を備える、［Ｃ１７］に記載のデバイス。
［Ｃ２０］前記デプスマップのデプス値を求めるための前記手段は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための手段を備え、
前記知覚マップ値を求めるための前記手段は、前記画像内のピクセルの顕著性情報を決定するための手段を備え、
前記画像の前記第１の部分を前記第２の部分に対して強調するための前記手段は、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調するための手段を備える、［Ｃ１７］に記載のデバイス。
［Ｃ２１］前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、［Ｃ１７］に記載のデバイス。
［Ｃ２２］前記画像は、第１の目に対する立体ビデオの第１の画像を備え、前記デバイスは、
第２の目に対する前記立体ビデオの第２の画像を受信するための手段、ここにおいて、前記第１の画像および前記第２の画像の画像内容は実質的に同様である、と、
少なくとも前記第１の画像の前記デプスマップ値および前記第１の画像の前記知覚マップ値に基づいて前記第２の画像の第１の部分を前記第２の画像の第２の部分に対して強調するための手段と、
をさらに備える、［Ｃ１７］に記載のデバイス。
［Ｃ２３］前記デバイスは、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行するための手段をさらに備え、
ここにおいて、前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調するための前記手段は、前記強調マップ値に基づいて、前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調するための手段をさらに備える、［Ｃ１７］に記載のデバイス。
［Ｃ２４］前記デプスマップの前記デプス値をフィルタリングするための手段と、
前記デプスマップの前記デプス値を平滑化するための手段と、
前記デプスマップの前記デプス値をヒストグラム伸張するための手段と、
のうちの少なくとも１つをさらに備える、［Ｃ１７］に記載のデバイス。
［Ｃ２５］命令を備えるコンピュータ可読記憶媒体であって、前記命令は１つまたは複数のプロセッサに以下をさせる、
画像を受信すること、
前記画像内のピクセルの相対深度を示す、前記画像のデプスマップのデプスマップ値を決定すること、
前記画像の知覚マップの知覚マップ値を決定すること、
少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記画像の第１の部分を前記画像の第２の部分に対して強調すること。
［Ｃ２６］前記画像の前記第１の部分を前記第２の部分に対して強調するための前記命令は、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しない、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさない、および
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかす
のうちの少なくとも１つのための命令を備える、［Ｃ２５］に記載のコンピュータ可読記憶媒体。
［Ｃ２７］前記デプスマップのデプス値を求めるための前記命令は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための命令を備え、
前記知覚マップの知覚マップ値を決定するための前記命令は、前記画像内の物体の動き情報を決定するための命令を備え、
前記画像の前記第１の部分を前記第２の部分に対して強調するための前記命令は、前記動き情報によって決定される、前記画像の前記前景にあって遅く動いている物体のピクセルを、前記動き情報によって決定される、前記画像の背景にあって速く動いている物体のピクセルに対して強調するための命令を備える、［Ｃ２５］に記載のコンピュータ可読記憶媒体。
［Ｃ２８］前記デプスマップのデプス値を求めるための前記命令は、いずれのピクセルが前記画像の前景にある物体のためのものであるかを決定するための命令を備え、
前記知覚マップ値を決定するための前記命令は、前記画像内のピクセルの顕著性情報を決定するための命令を備え、
前記画像の前記第１の部分を前記第２の部分に対して強調するための前記命令は、より目立つ、前記画像の前記前景にある物体のピクセルを、より目立たない、前記画像の背景にある物体のピクセルに対して強調するための命令を備える、［Ｃ２５］に記載のコンピュータ可読記憶媒体。
［Ｃ２９］前記知覚マップは、前記画像内の物体の知覚速度を示す動き情報マップ、および、前記画像内のピクセルの顕著性を示す顕著性マップを備える、［Ｃ２５］に記載のコンピュータ可読記憶媒体。
［Ｃ３０］前記画像は、第１の目に対する立体ビデオの第１の画像を備え、前記命令は、前記１つまたは複数のプロセッサに、
第２の目に対する前記立体ビデオの第２の画像を受信させ、ここで、前記第１の画像および前記第２の画像の画像内容は実質的に同様であり、
少なくとも前記第１の画像の前記デプスマップ値および前記第１の画像の前記知覚マップ値に基づいて前記第２の画像の第１の部分を前記第２の画像の第２の部分に対して強調させる、
命令をさらに備える、［Ｃ２５］に記載のコンピュータ可読記憶媒体。
［Ｃ３１］前記命令は、前記１つまたは複数のプロセッサに、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行させ、
前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調するための前記手段は、前記強調マップ値に基づいて、前記画像の前記第１の部分を前記画像の前記第２の部分に対して強調させる、
命令をさらに備える、［Ｃ２５］に記載のコンピュータ可読記憶媒体。
［Ｃ３２］前記１つまたは複数のプロセッサに、
前記デプスマップの前記デプス値をフィルタリングする、
前記デプスマップの前記デプス値を平滑化する、および
前記デプスマップの前記デプス値をヒストグラム伸張する、
のうちの少なくとも１つを行わせる命令をさらに備える、［Ｃ２５］に記載のコンピュータ可読記憶媒体。

Claims

画像処理のための方法であって、前記方法は以下を備える、
第１の部分および第２の部分を含む構成画像を受信することと、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定することと、
少なくとも、前記構成画像内の物体のピクセルの動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定することと、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調すること、ここにおいて、前記構成画像の前記第１の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第２の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと前記閾値より速く動いている物体のピクセルとを含む。
前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調することは、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しないことと、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさないことと、
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも１つを備える、請求項１に記載の方法。
知覚マップ値を決定することは、前記構成画像内のピクセルの顕著性情報を決定することを備え、
前記構成画像の前記第１の部分を前記第２の部分に対して強調することは、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調することを備える、請求項１に記載の方法。
前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項１に記載の方法。
前記構成画像は、第１の目に対する立体ビデオの第１の構成画像を備え、前記方法は、
第２の目に対する前記立体ビデオの第２の構成画像を受信すること、ここにおいて、前記第１の構成画像および前記第２の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第１の構成画像の前記デプスマップ値および前記第１の構成画像の前記知覚マップ値に基づいて前記第２の構成画像の第１の部分を前記第２の構成画像の第２の部分に対して強調することと、
をさらに備える、請求項１に記載の方法。
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行することをさらに備え、
前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調することは、前記強調マップ値に基づいて、前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調することを備える、請求項１に記載の方法。
前記デプスマップの前記デプスマップ値をフィルタリングすることと、
前記デプスマップの前記デプスマップ値を平滑化することと、
前記デプスマップの前記デプスマップ値をヒストグラム伸張することと、
のうちの少なくとも１つをさらに備える、請求項１に記載の方法。
前記構成画像および前記構成画像の前記強調されたバージョンは、同じビューからのものである、請求項１に記載の方法。
デバイスであって、前記デバイスは以下を備える、
第１の部分および第２の部分を含む構成画像を記憶するように構成されているメモリと、
１つまたは複数の処理ユニット、ここで、前記１つまたは複数の処理ユニットは、以下を行うように構成されている、
前記構成画像を受信することと、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定することと、
少なくとも、前記構成画像内の物体の動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定することと、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調すること、ここにおいて、前記構成画像の前記第１の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第２の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと、前記閾値より速く動いている物体のピクセルとを含む。
前記構成画像の前記第１の部分を前記第２の部分に対して強調するために、前記１つまたは複数の処理ユニットは、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しないことと、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさないことと、
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも１つを行うように構成されている、請求項９に記載のデバイス。
前記１つまたは複数の処理ユニットは、
少なくとも、前記構成画像内のピクセルの顕著性情報を決定することによって前記知覚マップの知覚マップ値を決定することと、
少なくとも、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調することによって、前記構成画像の前記第１の部分を前記第２の部分に対して強調することと、
を行うように構成されている、請求項９に記載のデバイス。
前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項９に記載のデバイス。
前記構成画像は、第１の目に対する立体ビデオの第１の構成画像を備え、前記１つまたは複数の処理ユニットは、
第２の目に対する前記立体ビデオの第２の構成画像を受信すること、ここにおいて、前記第１の構成画像および前記第２の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第１の構成画像の前記デプスマップ値および前記第１の構成画像の前記知覚マップ値に基づいて前記第２の構成画像の第１の部分を前記第２の構成画像の第２の部分に対して強調することと、
を行うように構成されている、請求項９に記載のデバイス。
前記１つまたは複数の処理ユニットは、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行することと、
前記強調マップ値に基づいて、前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調することと、
を行うように構成されている、請求項９に記載のデバイス。
前記１つまたは複数の処理ユニットは、
前記デプスマップの前記デプスマップ値をフィルタリングすることと、
前記デプスマップの前記デプスマップ値を平滑化することと、
前記デプスマップの前記デプスマップ値をヒストグラム伸張することと、
のうちの少なくとも１つを行うように構成されている、請求項９に記載のデバイス。
デバイスであって、前記デバイスは以下を備える、
第１の部分および第２の部分を含む構成画像を受信するための手段と、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定するための手段と、
少なくとも、前記構成画像内の物体の動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定するための手段と、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調するための手段、ここにおいて、前記構成画像の前記第１の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第２の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと、前記閾値より速く動いている物体のピクセルとを含む。
前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して前記強調するための手段は、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しないための手段と、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさないための手段と、
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかすための手段と、
のうちの少なくとも１つを備える、請求項１６に記載のデバイス。
知覚マップ値を前記決定するための手段は、前記構成画像内のピクセルの顕著性情報を決定するための手段を備え、
前記構成画像の前記第１の部分を前記第２の部分に対して前記強調するための手段は、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調するための手段を備える、請求項１６に記載のデバイス。
前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項１６に記載のデバイス。
前記構成画像は、第１の目に対する立体ビデオの第１の構成画像を備え、前記デバイスは、
第２の目に対する前記立体ビデオの第２の構成画像を受信するための手段、ここにおいて、前記第１の構成画像および前記第２の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第１の構成画像の前記デプスマップ値および前記第１の構成画像の前記知覚マップ値に基づいて前記第２の構成画像の第１の部分を前記第２の構成画像の第２の部分に対して強調するための手段と、
をさらに備える、請求項１６に記載のデバイス。
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行するための手段をさらに備え、
前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して前記強調するための手段は、前記強調マップ値に基づいて、前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調するための手段を備える、請求項１６に記載のデバイス。
前記デプスマップの前記デプスマップ値をフィルタリングするための手段と、
前記デプスマップの前記デプスマップ値を平滑化するための手段と、
前記デプスマップの前記デプスマップ値をヒストグラム伸張するための手段と、
のうちの少なくとも１つをさらに備える、請求項１６に記載のデバイス。
命令を備える非一時的なコンピュータ可読記憶媒体であって、前記命令は１つまたは複数のプロセッサに以下をさせる、
第１の部分および第２の部分を含む構成画像を受信することと、
少なくとも、いずれのピクセルが前記構成画像の前景にある物体のためのものであるかを決定することによって、前記構成画像内のピクセルの相対深度を示す、前記構成画像のデプスマップのデプスマップ値を決定することと、
少なくとも、前記構成画像内の物体の動き情報を決定することによって、前記構成画像の知覚マップの知覚マップ値を決定することと、
前記構成画像の強調されたバージョンを生成するために少なくとも前記デプスマップ値および前記知覚マップ値に基づいて前記構成画像の第１の部分を前記構成画像の第２の部分に対して強調すること、ここにおいて、前記構成画像の前記第１の部分は、前記知覚マップ値によって決定される、前記構成画像の前記前景にあって、閾値より遅く動いている物体のピクセルを含み、前記構成画像の前記第２の部分は、前記知覚マップ値によって決定される、前記構成画像の背景にある物体のピクセルと、前記閾値より速く動いている物体のピクセルとを含む。
前記構成画像の前記第１の部分を前記第２の部分に対して強調するための前記命令は、
前記第１の部分内のピクセルを強調し、前記第２の部分内のピクセルは強調しないことと、
前記第２の部分内の前記ピクセルをぼかし、前記第１の部分内の前記ピクセルはぼかさないことと、
前記第１の部分内の前記ピクセルを強調し、前記第２の部分内の前記ピクセルをぼかすことと、
のうちの少なくとも１つのための命令を備える、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。
知覚マップ値を決定するための前記命令は、前記構成画像内のピクセルの顕著性情報を決定するための命令を備え、
前記構成画像の前記第１の部分を前記第２の部分に対して強調するための前記命令は、より目立つ、前記構成画像の前記前景にある物体のピクセルを、より目立たない、前記構成画像の背景にある物体のピクセルに対して強調するための命令を備える、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。
前記知覚マップは、前記構成画像内の物体の知覚速度を示す動き情報マップ、または、前記構成画像内の物体の知覚速度を示す前記動き情報マップおよび前記構成画像内のピクセルの顕著性を示す顕著性マップを備える、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。
前記構成画像は、第１の目に対する立体ビデオの第１の構成画像を備え、前記命令は、前記１つまたは複数のプロセッサに、
第２の目に対する前記立体ビデオの第２の構成画像を受信すること、ここにおいて、前記第１の構成画像および前記第２の構成画像の画像内容は実質的に同様である、と、
少なくとも前記第１の構成画像の前記デプスマップ値および前記第１の構成画像の前記知覚マップ値に基づいて前記第２の構成画像の第１の部分を前記第２の構成画像の第２の部分に対して強調することと、
をさせる命令をさらに備える、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。
前記命令は、前記１つまたは複数のプロセッサに、
強調マップの強調マップ値を生成するために、前記デプスマップ値および前記知覚マップ値に対して加重和を実行させる命令をさらに備え、
前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調するための前記命令は、前記強調マップ値に基づいて、前記構成画像の前記第１の部分を前記構成画像の前記第２の部分に対して強調するための命令を備える、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。
前記１つまたは複数のプロセッサに、
前記デプスマップの前記デプスマップ値をフィルタリングすることと、
前記デプスマップの前記デプスマップ値を平滑化することと、
前記デプスマップの前記デプスマップ値をヒストグラム伸張することと、
のうちの少なくとも１つをさせるための命令をさらに備える、請求項２３に記載の非一時的なコンピュータ可読記憶媒体。