JP2012222588A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】簡易な処理により立体感の調整を可能とした装置および方法を提供する。
【解決手段】３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整部を有する。立体感調整部は、例えばユーザ入力された設定情報に応じて、左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行し、視差調整を施した補正画像を生成する。さらに、この補正画像の表示部に対する表示位置を決定して表示部に出力して３次元画像表示処理を実行させる。
【選択図】図７

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、３次元画像の表示を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

昨今、いわゆる立体画像と呼ばれる３次元画像（３Ｄ画像）を表示可能としたテレビやＰＣなどの表示装置や、３次元画像（３Ｄ画像）を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。３Ｄ画像の表示のためには異なる視点から２つの画像を撮影することが必要となる。すなわち左目視点からの左目用画像と右目視点からの右目用画像である。

異なる視点から撮影された２つの画像を表示する際に、左目用画像は観察者の左目にのみ観察させ、右目用画像は観察者の右目にのみ観察させる制御を行うことで、観察者は立体感を知覚することができる。なお、３Ｄ画像の記録、転送、表示方式には、様々な方式がある。

３Ｄ画像の表示方式の１つとして、例えば、表示装置に左目用画像と右目用画像を交互に表示し、観察者がシャッター式眼鏡を装着して、左目用画像の表示期間と、右目用画像の表示期間ごとにシャッター切り替えを行って、各画像を一方の目でのみ観察させる方式がある。

例えばこのような３次元画像表示を行う場合、左目用画像と右目用画像とでは、同じ表示オブジェクトの表示位置が左右方向にずらして表示される。このような視差のある画像の表示により、観察者は、奥行き感のある立体的な画像を知覚することができる。視差設定例について、図１、図２を参照して説明する。

図１には、
（ａ）視差なし画像の表示画像と知覚画像
（ｂ）視差あり画像の表示画像と知覚画像
これらの図を並べて示している。

（ａ）視差なし画像の表示画像は、左目用画像と右目用画像の双方とも、画像表示面における表示オブジェクト（りんご）の表示位置が同じ位置である。
この場合、（ａ）の知覚画像に示すように、観察者の左目で観察する左目用画像においても、視覚者の右目で観察する右目用画像においても、全く同じ表示面の位置に表示オブジェクト（りんご）が観察される。
この結果、観察者には、この表示オブジェクト（りんご）が表示面位置に位置するように知覚する。

一方、図１（ｂ）視差あり（視差設定例１）は、図１（ｂ）表示画像に示すように、表示面上に表示する左目用画像を左側（観察者から見て左側）にずらし、右目用画像を右側（観察者から見て右側）にずらした視差設定例である。
この設定では、図１（ｂ）知覚画像に示すように、観察者は、画像に対応するオブジェクトを表示面より奥（遠く）に知覚することになる。

また、図２（ｃ）視差あり（視差設定例２）は、図２（ｃ）表示画像に示すように、表示面上に表示する左目用画像を右側（観察者から見て右側）にずらし、右目用画像を左側（観察者から見て左側）にずらした視差設定例である。この設定では、図２（ｃ）知覚画像に示すように、観察者は、画像に対応するオブジェクトを表示面より手前（近く）に知覚することになる。

このように、左目用画像と右目用画像における視差設定により、観察者は様々な位置に、表示オブジェクトの位置を知覚することができる。

しかしながら、このように視差のある画像表示を行うと、観察者によっては、違和感や目の疲れを発生させる場合があるといわれている。このような問題を解決するため、視差調整を可能とする構成についても考案されている。例えば特許文献１（特許３７４９２２７号公報）は、画面全体を一様にずらして視差調整を行う構成を開示している。しかし、このような画像の全体移動を行ってしまうと、本来、表示部に表示されるべき画像の端部が欠けてしまうといった問題が発生する。

特許３７４９２２７号公報

本開示の一例においては、例えば上記問題点に鑑みてなされたものであり、画像の全体をずらすといった処理を行うことなく視差調整を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

また、本開示の一例においては、画像の欠如を低減または発生させることのない視差調整を可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整部を有し、
前記立体感調整部は、
前記左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成する画像処理装置にある。

さらに、本開示の画像処理装置の一実施態様において、前記立体感調整部は、左目用画像と右目用画像の少なくともいずれかの画像を横方向に縮小または拡大し生成した補正画像の表示部に対する表示位置を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、画像設定情報を入力可能とした入力部と、前記入力部を介する画像設定情報に応じて、画像の補正態様を決定する制御パラメータを決定する立体感調整量決定部を有し、前記立体感調整部は、前記立体感調整量決定部の決定した制御パラメータに従った画像補正処理と表示位置決定処理を実行する。

さらに、本開示の画像処理装置の一実施態様において、前記入力部から入力される画像設定情報は、表示画像の左右端部の奥行き情報：ＺＬ，ＺＲであり、前記立体感調整量決定部は、前記奥行き情報：ＺＬ，ＺＲに基づいて、左目用画像と右目用画像の拡縮率と、表示部に対する表示位置を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記立体感調整量決定部は、入力画像に付属するメタデータに基づいて、左目用画像と右目用画像の拡縮率と、表示部に対する表示位置を決定する。

さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記立体感調整部の生成した補正画像としての左目用画像と右目用画像を適用した３次元画像表示を実行する表示部を有する。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
立体感調整部が、３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整ステップを実行し、
前記立体感調整ステップは、
前記左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成するステップである画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
立体感調整部に、３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行させる立体感調整ステップを実行させ、
前記立体感調整ステップは、
前記左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成させるステップであるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、簡易な処理による立体感の調整を可能とした装置および方法が提供される。
具体的には、３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整部を有する。立体感調整部は、例えばユーザ入力された設定情報に応じて、左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行し、視差調整を施した補正画像を生成する。さらに、この補正画像の表示部に対する表示位置を決定して表示部に出力して３次元画像表示処理を実行させる。
本構成では、例えば画像の縮小処理のみで視差の調整が可能となり、任意の奥行き位置に表示オブジェクトを表示させる制御が可能となる。

視差の設定と観察者の知覚画像の例について説明する図である。 視差の設定と観察者の知覚画像の例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の構成例について説明する図である。 本開示の画像処理装置の入力する画像の例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の実行する処理の一例について説明する図である。 本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の実行する処理について
１−１．処理例１．表示面より手前に表示オブジェクトを知覚させる表示処理例
１−２．処理例２．表示面より奥に表示オブジェクトを知覚させる表示処理例
１−３．処理例３．左側を手前、右側を奥に表示オブジェクトを知覚させる表示処理例
１−４．処理例４．左側を奥、右側を手前に表示オブジェクトを知覚させる表示処理例
２．画像処理装置の構成と処理について
３．画像処理装置の実行する処理シーケンスについて
４．本開示の構成のまとめ

［１．本開示の画像処理装置の実行する処理について］
まず、図３以下の図面を参照して本開示の画像処理装置の実行する処理の具体的な例について説明する。
本開示の画像処理装置では、予め生成された３次元画像表示用の左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を入力して、これらのＬＲ画像に対する例えば画像縮小処理等の画像補正処理を実行して視差調整を施した左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）を生成する。生成画像は例えば表示装置に出力して３Ｄ画像として表示される。

図３以下を参照して、具体的な処理例について説明する。以下の４つの具体的処理例について、順次説明する。
（１）処理例１．表示面より手前に表示オブジェクトを知覚させる表示処理例
（２）処理例２．表示面より奥に表示オブジェクトを知覚させる表示処理例
（３）処理例３．左側を手前、右側を奥に表示オブジェクトを知覚させる表示処理例
（４）処理例４．左側を奥、右側を手前に表示オブジェクトを知覚させる表示処理例

（１−１．処理例１．表示面より手前に表示オブジェクトを知覚させる表示処理例）
まず、処理例１として、表示面より手前に表示オブジェクトを知覚させる表示処理例について図３を参照して説明する。

図３には、以下の各図を示している。
（ａ）表示画像生成例１
（ｂ）表示画像知覚例１（全体が手前に飛び出す）
これらの図を示している。

（ａ）表示画像生成例１は、本開示の画像処理装置において実行する画像処理の１つの具体例を示している。
本開示の画像処理装置では、予め生成された３次元画像表示用の左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を入力して、これらのＬＲ画像の少なくとも一方の画像に対して水平方向の画像縮小処理を実行して補正ＬＲ画像を生成して、生成した補正ＬＲ画像の表示位置を決定する処理を行う。

画像処理装置の入力する３次元画像表示用の左目用画像（Ｌ画像）と右目用画像（Ｒ画像）は、それぞれ異なる視点から撮影された画像であり、先に図１、図２を参照して説明したように被写体距離に応じた視差が設定された画像である。
これらの画像を、そのまま表示部に表示すれば、その視差に応じた立体感（奥行き感）を知覚することができる。

画像処理装置は、例えば、３次元画像撮影カメラで撮影されたＬＲ画像、あるいは放送局から受信する３Ｄ放送用のＬＲ画像など異なる視点から撮影された３次元画像表示用のＬＲ画像を入力して、これらのＬＲ画像を再加工して表示部に出力するための補正ＬＲ画像を生成する。
以下に説明する本開示の一実施例に係る画像処理装置は、入力ＬＲ画像の少なくとも一方の画像に対して、水平方向（左右方向）の画像縮小処理を実行して、視差調整を実現する。

図３（ａ）に示す例は、
入力画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の双方を、水平方向に縮小して左目用補正画像１１１と右目用補正画像１１２を生成する処理例を示している。

これらの左目用補正画像１１１と右目用補正画像１１２を３Ｄ画像表示可能な表示装置に３Ｄ表示画像１１３として出力する。
例えば縮小した左目用補正画像１１１と縮小した右目用補正画像１１２を交互に出力し、シャッター式メガネを装着した観察者が、左目用補正画像１１１を左目でのみ観察し、右目用補正画像１１２を右目でのみ観察する設定とすることで、３Ｄ画像として観察可能となる。

図３（ａ）に示す画像補正処理の詳細について説明する。
画像処理装置に入力する元の入力ＬＲ画像の画像幅をＷとする。
画像処理装置は、入力Ｌ画像の水平幅をＬｘ１削減し、Ｌ画像の水平方向の画像幅を、
Ｗから（Ｗ−Ｌｘ１）、
とする縮小処理を実行する。
すなわち、Ｌ画像の水平方向の縮小率をＬｍとしたとき、
Ｌｍ＝（Ｗ−Ｌｘ１）／Ｗ
上記縮小率の設定とした画像水平方向の画像縮小処理を実行して、左目用補正画像１１１を生成する。

さらに、Ｒ画像の水平幅をＲｘ２削減し、Ｒ画像の水平方向の画像幅を、
Ｗから（Ｗ−Ｒｘ２）、
とする縮小処理を実行する。
すなわち、Ｒ画像の水平方向の縮小率をＲｍとしたとき、
Ｒｍ＝（Ｗ−Ｒｘ２）／Ｗ
上記縮小率の設定とした画像水平方向の画像縮小処理を実行して、右目用補正画像１１２を生成する。
なお、本処理例では、Ｌｘ１≒Ｒｘ２であるものとする。

画像処理装置は、さらに、
生成した左目用補正画像１１１と右目用補正画像１１２の表示部における表示位置を決定する。
表示部における表示位置は、図３（ａ）に示す左目用補正画像１１１、右目用補正画像１１２の位置である。
すなわち、図３（ａ）の左目用補正画像１１１、右目用補正画像１１２の各々に示す横幅＝Ｗ（ｘ＝０〜ｗ）の点線枠を表示部の表示画面領域としたとき、
左目用補正画像１１１は、ｘ＝Ｌｘ１〜ｗの位置を表示位置とする。
右目用補正画像１１２は、ｘ＝０〜（ｗ−Ｒｘ２）の位置を表示位置とする。

画像処理装置は、このように、生成した左目用補正画像１１１と右目用補正画像１１２の表示部における表示位置を決定する。

図３（ａ）の左端に示すように水平方向ｘ、垂直方向をｙとした座標上での左目用補正画像１１１と右目用補正画像１１２の表示位置について説明する。
補正前の入力ＬＲ画像をそのまま表示装置に表示した場合は、
Ｌ画像もＲ画像も、ｘ＝０〜ｗの位置に表示される。

これに対して、縮小処理によって生成した左目用補正画像１１１は、水平方向の幅＝（Ｗ−Ｌｘ１）となっている。
画像処理装置は、この左目用補正画像１１１の表示位置を、
ｘ＝Ｌｘ１〜ｗ
の位置とする表示位置決定処理を行う。

また、縮小処理によって生成した右目用補正画像１１２は、水平方向の幅＝（Ｗ−Ｒｘ２）となっている。
画像処理装置は、この右目用補正画像１１２の表示位置を、
ｘ＝０〜（ｗ−Ｒｘ２）
の位置とする表示位置決定処理を行う。

図３下段に示す（ｂ）は、上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行った場合の観察者による知覚画像について説明する図である。

なお、説明を簡略化するため、補正前の入力ＬＲ画像に含まれるオブジェクト（りんご）とオブジェクト（みかん）は、視差のない画像、すなわち、補正前の入力画像であるＬＲ画像をそのまま３Ｄ画像として表示した場合、ＬＲ画像とも表示部の同じ位置に被写体像が表示される設定であると仮定して説明する。
すなわち、入力ＬＲ画像をそのまま表示部に表示した場合は、オブジェクト（りんご）とオブジェクト（みかん）について、観察者は、表示部の表示面の奥行位置に存在するオブジェクトとして知覚するものとする。
すなわち、先に図１（ａ）を参照して説明した設定である。

上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行うことで、観察者は、これらのオブジェクトを図３（ｂ）に示す知覚面１２２に位置するように知覚する。
すなわち、オブジェクト（りんご）とオブジェクト（みかん）は、いずれも表示面１２１より手前に飛び出した知覚面１２２上に存在するように観察される。
この原理は、先に図２を参照して説明した原理に基づくものである。

図３（ｂ）には、知覚面１２２と表示面１２１との距離を奥行き距離とし、
表示画像における左端と右端の奥行きについて各々、
左端奥行き＝ＺＬ、
右端奥行き＝ＺＲ、
これらの表示面と知覚面との距離情報を示している。

なお、図に示す例では、各オブジェクトの視差の発生要因となる画面上でのずれ量を、以下のように示している。
左側のオブジェクト（りんご）のオブジェクトずれ量＝（Ｌｘ１）
右側のオブジェクト（みかん）のオブジェクトずれ量＝（Ｒｘ２）
なお、
オブジェクトずれ量＝（Ｌｘ１）≒（Ｒｘ２）
である。

オブジェクトずれ量＝（Ｌｘ１）≒（Ｒｘ２）、これらのずれは入力ＬＲ画像の縮小と表示位置制御によって発生するものであり、これらの処理によって視差が発生し、各オブジェクトが表示面１２１より手前の知覚面１２２に存在するように知覚されることになる。
オブジェクトずれ量＝（Ｌｘ１）≒（Ｒｘ２）
であるため、
表示画像における左端と右端の奥行き：ＺＬ，ＺＲは、
ＺＬ≒ＺＲ
となる。

このように、本処理例１では、表示画像の全体が、表示面より手前に知覚させる表示処理が実行される。

本例では、先に説明したように、補正前の入力ＬＲ画像では、オブジェクト（りんご，みかん）とも視差の設定されていない画像、すなわち、入力ＬＲ画像をそのまま観察したときには、オブジェクト（りんご，みかん）は表示面に位置するように知覚される画像である。
画像処理装置は、この入力ＬＲ画像の水平方向への縮小処理と表示位置制御を行うことで、視差制御を行い、入力ＬＲ画像と異なる視差を発生させた３次元画像表示を行うことが可能となる。
本例では、表示画面全体を画面の手前に知覚可能な設定とした処理を実現している。

なお、本処理例では、左目用画像と右目用画像の少なくともいずれかを横方向に縮小する処理を行う構成であり、表示面の外に画像が出て左右端の画像が欠けてしまうことがなく、表示したい画像全体を表示面に表示させることができる。

（１−２．処理例２．表示面より奥に表示オブジェクトを知覚させる表示処理例）
次に、処理例２として、表示面より奥に表示オブジェクトを知覚させる表示処理例について図４を参照して説明する。

図４には、図３と同様、以下の各図を示している。
（ａ）表示画像生成例２
（ｂ）表示画像知覚例２（全体が奥に沈む）
これらの図を示している。

（ａ）表示画像生成例２は、本開示の画像処理装置において実行する画像処理の１つの具体例を示している。
前述したように、本開示の画像処理装置では、予め生成された３次元画像表示用の左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を入力して、これらのＬＲ画像の少なくとも一方の画像に対して水平方向の画像縮小処理を実行して補正ＬＲ画像を生成して、生成した補正ＬＲ画像の表示位置を決定する処理を行う。

画像処理装置は、例えば、３次元画像撮影カメラで撮影されたＬＲ画像、あるいは放送局から受信する３Ｄ放送用のＬＲ画像など異なる視点から撮影された３次元画像表示用のＬＲ画像を入力して、これらのＬＲ画像を再加工して表示部に出力するための補正ＬＲ画像を生成する。

図４（ａ）に示す例は、図３（ａ）を参照して説明した処理例と同様、
入力画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の双方を、水平方向に縮小して左目用補正画像１３１と右目用補正画像１３２を生成する処理例を示している。

これらの左目用補正画像１３１と右目用補正画像１３２を３Ｄ画像表示可能な表示装置に３Ｄ表示画像１３３として出力する。
例えば縮小した左目用補正画像１３１と縮小した右目用補正画像１３２を交互に出力し、シャッター式メガネを装着した観察者が、左目用補正画像１３１を左目でのみ観察し、右目用補正画像１３２を右目でのみ観察する設定とすることで、３Ｄ画像として観察可能となる。

図４（ａ）に示す画像補正処理の詳細について説明する。
画像処理装置に入力する元の入力ＬＲ画像の画像幅をＷとする。
画像処理装置は、入力Ｌ画像の水平幅をＬｘ２削減し、Ｌ画像の水平方向の画像幅を、
Ｗから（Ｗ−Ｌｘ２）、
とする縮小処理を実行する。
すなわち、Ｌ画像の水平方向の縮小率をＬｍとしたとき、
Ｌｍ＝（Ｗ−Ｌｘ２）／Ｗ
上記縮小率の設定とした画像水平方向の画像縮小処理を実行して、左目用補正画像１３１を生成する。

さらに、Ｒ画像の水平幅をＲｘ２削減し、Ｒ画像の水平方向の画像幅を、
Ｗから（Ｗ−Ｒｘ１）、
とする縮小処理を実行する。
すなわち、Ｒ画像の水平方向の縮小率をＲｍとしたとき、
Ｒｍ＝（Ｗ−Ｒｘ１）／Ｗ
上記縮小率の設定とした画像水平方向の画像縮小処理を実行して、右目用補正画像１３２を生成する。
なお、本処理例では、Ｒｘ１≒Ｌｘ２であるものとする。

画像処理装置は、さらに、
生成した左目用補正画像１３１と右目用補正画像１３２の表示部における表示位置を決定する。
表示部における表示位置は、図４（ａ）に示す左目用補正画像１３１、右目用補正画像１３２の位置である。
すなわち、図４（ａ）の左目用補正画像１３１、右目用補正画像１３２の各々に示す横幅＝Ｗ（ｘ＝０〜ｗ）の点線枠を表示部の表示画面領域としたとき、
左目用補正画像１３１は、ｘ＝０〜（ｗ−Ｌｘ２）の位置を表示位置とする。
右目用補正画像１３２は、ｘ＝Ｒｘ１〜ｗの位置を表示位置とする。

画像処理装置は、このように、生成した左目用補正画像１３１と右目用補正画像１３２の表示部における表示位置を決定する。

図４（ａ）の左端に示すように水平方向ｘ、垂直方向をｙとした座標上での左目用補正画像１３１と右目用補正画像１３２の表示位置について説明する。
補正前の入力ＬＲ画像をそのまま表示装置に表示した場合は、
Ｌ画像もＲ画像も、ｘ＝０〜ｗの位置に表示される。

これに対して、縮小処理によって生成した左目用補正画像１３１は、水平方向の幅＝（Ｗ−Ｌｘ２）となっている。
画像処理装置は、この左目用補正画像１３１の表示位置を、
ｘ＝０〜（ｗ−Ｌｘ２）
の位置とする表示位置決定処理を行う。

また、縮小処理によって生成した右目用補正画像１３２は、水平方向の幅＝（Ｗ−Ｒｘ１）となっている。
画像処理装置は、この右目用補正画像１２２の表示位置を、
ｘ＝Ｒｘ１〜ｗ
の位置とする表示位置決定処理を行う。

図４下段に示す（ｂ）は、上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行った場合の観察者による知覚画像について説明する図である。

なお、説明を簡略化するため、補正前の入力ＬＲ画像に含まれるオブジェクト（りんご）とオブジェクト（みかん）は、視差のない画像、すなわち、補正前の入力画像であるＬＲ画像をそのまま３Ｄ画像として表示した場合、ＬＲ画像とも表示部の同じ位置に被写体像が表示される設定であると仮定して説明する。
すなわち、入力ＬＲ画像をそのまま表示部に表示した場合は、オブジェクト（りんご）とオブジェクト（みかん）について、観察者は、表示部の表示面の奥行位置に存在するオブジェクトとして知覚するものとする。
すなわち、先に図１（ａ）を参照して説明した設定である。

上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行うことで、観察者は、これらのオブジェクトを図４（ｂ）に示す知覚面１４２に位置するように知覚する。
すなわち、オブジェクト（りんご）とオブジェクト（みかん）は、いずれも表示面１４１より奥側に沈み込んだ（遠い）知覚面１４２上に存在するように観察される。
この原理は、先に図１（ｂ）を参照して説明した原理に基づくものである。

図４（ｂ）には、知覚面１４２と表示面１４１との距離を奥行き距離とし、
表示画像における左端と右端の奥行きについて各々、
左端奥行き＝ＺＬ、
右端奥行き＝ＺＲ、
これらの表示面と知覚面との距離情報を示している。

なお、図に示す例では、各オブジェクトの視差の発生要因となる画面上でのずれ量を、以下のように示している。
左側のオブジェクト（りんご）のオブジェクトずれ量＝（Ｒｘ１）
右側のオブジェクト（みかん）のオブジェクトずれ量＝（Ｌｘ２）
なお、
オブジェクトずれ量＝（Ｒｘ１）≒（Ｌｘ２）
である。

オブジェクトずれ量＝（Ｒｘ１）≒（Ｌｘ２）、これらのずれは入力ＬＲ画像の縮小と表示位置制御によって発生するものであり、これらの処理によって視差が発生し、各オブジェクトが表示面１４１より観察者から遠い知覚面１４２に存在するように知覚されることになる。
オブジェクトずれ量＝（Ｒｘ１）≒（Ｌｘ２）
であるため、
表示画像における左端と右端の奥行き：ＺＬ，ＺＲは、
ＺＬ≒ＺＲ
となる。

このように、本処理例２では、表示画像の全体が、表示面より遠い位置に知覚させる表示処理が実行される。

本例では、先に説明したように、補正前の入力ＬＲ画像では、オブジェクト（りんご，みかん）とも視差の設定されていない画像、すなわち、入力ＬＲ画像をそのまま観察したときには、オブジェクト（りんご，みかん）は表示面に位置するように知覚される画像である。
画像処理装置は、この入力ＬＲ画像の水平方向への縮小処理と表示位置制御を行うことで、視差制御を行い、入力ＬＲ画像と異なる視差を発生させた３次元画像表示を行うことが可能となる。
本例では、表示画面全体を画面より遠い位置に知覚可能な設定とした処理を実現している。

なお、本処理例でも、左目用画像と右目用画像の少なくともいずれかを横方向に縮小する処理を行う構成であり、表示面の外に画像が出て左右端の画像が欠けてしまうことがなく、表示したい画像全体を表示面に表示させることができる。

（１−３．処理例３．左側を手前、右側を奥に表示オブジェクトを知覚させる表示処理例）
次に、処理例３として、左側を手前、右側を奥に表示オブジェクトを知覚させる表示処理例について図５を参照して説明する。

図５には、図３、図４と同様、以下の各図を示している。
（ａ）表示画像生成例３
（ｂ）表示画像知覚例３（左が手前、右が奥に沈む）
これらの図を示している。

（ａ）表示画像生成例３は、本開示の画像処理装置において実行する画像処理の１つの具体例を示している。
前述したように、本開示の画像処理装置では、予め生成された３次元画像表示用の左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を入力して、これらのＬＲ画像の少なくとも一方の画像に対して水平方向の画像縮小処理を実行して補正ＬＲ画像を生成して、生成した補正ＬＲ画像の表示位置を決定する処理を行う。

画像処理装置は、例えば、３次元画像撮影カメラで撮影されたＬＲ画像、あるいは放送局から受信する３Ｄ放送用のＬＲ画像など異なる視点から撮影された３次元画像表示用のＬＲ画像を入力して、これらのＬＲ画像を再加工して表示部に出力するための補正ＬＲ画像を生成する。

図５（ａ）に示す例においては、
入力画像としての左目用画像（Ｌ画像）のみを、水平方向に縮小して左目用補正画像１５１を生成する。
右目用画像１５２は、入力した右目用画像（Ｒ画像）をそのまま利用する。

これらの左目用補正画像１５１と右目用画像１５２を３Ｄ画像表示可能な表示装置に３Ｄ表示画像１５３として出力する。
例えば縮小した左目用補正画像１５１と右目用画像１５２を交互に出力し、シャッター式メガネを装着した観察者が、左目用補正画像１５１を左目でのみ観察し、右目用画像１５２を右目でのみ観察する設定とすることで、３Ｄ画像として観察可能となる。

図５（ａ）に示す画像補正処理の詳細について説明する。
画像処理装置に入力する元の入力ＬＲ画像の画像幅をＷとする。
画像処理装置は、入力Ｌ画像の水平幅を、（Ｌｘ１＋Ｌｘ２）削減し、Ｌ画像の水平方向の画像幅を、
Ｗから（Ｗ−（Ｌｘ１＋Ｌｘ２））、
とする縮小処理を実行する。
すなわち、Ｌ画像の水平方向の縮小率をＬｍとしたとき、
Ｌｍ＝（Ｗ−（Ｌｘ１＋Ｌｘ２））／Ｗ
上記縮小率の設定とした画像水平方向の画像縮小処理を実行して、左目用補正画像１５１を生成する。
なお、本処理例では、Ｌｘ１≒Ｌｘ２であるものとする。
右目用画像１５２は、入力した右目用画像（Ｒ画像）をそのまま利用する。

画像処理装置は、さらに、
生成した左目用補正画像１５１と右目用画像１５２の表示部における表示位置を決定する。
表示部における表示位置は、図５（ａ）に示す左目用補正画像１５１、右目用画像１５２の位置である。
すなわち、図５（ａ）の左目用補正画像１５１、右目用画像１５２の各々に示す横幅＝Ｗ（ｘ＝０〜ｗ）の点線枠を表示部の表示画面領域としたとき、
左目用補正画像１５１は、ｘ＝Ｌｘ１〜（ｗ−Ｌｘ２）の位置を表示位置とする。
右目用画像１５２は、ｘ＝０〜ｗの位置を表示位置とする。

画像処理装置は、このように、生成した左目用補正画像１５１と右目用画像１５２の表示部における表示位置を決定する。

図５（ａ）の左端に示すように水平方向ｘ、垂直方向をｙとした座標上での左目用補正画像１５１と右目用画像１５２の表示位置について説明する。
補正前の入力ＬＲ画像をそのまま表示装置に表示した場合は、
Ｌ画像もＲ画像も、ｘ＝０〜ｗの位置に表示される。

これに対して、縮小処理によって生成した左目用補正画像１５１は、水平方向の幅＝（Ｗ−（Ｌｘ１＋Ｌｘ２））となっている。
画像処理装置は、この左目用補正画像１５１の表示位置を、
ｘ＝Ｌｘ１〜（ｗ−Ｌｘ２）
の位置とする表示位置決定処理を行う。

また、右目用画像１５２は、水平方向の幅＝Ｗ＝０〜ｗとなっている。
画像処理装置は、この右目用画像１５２の表示位置を、
ｘ＝０〜ｗ
の位置とする表示位置決定処理を行う。

図５下段に示す（ｂ）は、上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行った場合の観察者による知覚画像について説明する図である。

なお、説明を簡略化するため、補正前の入力ＬＲ画像に含まれるオブジェクト（りんご）とオブジェクト（みかん）は、視差のない画像、すなわち、補正前の入力画像であるＬＲ画像をそのまま３Ｄ画像として表示した場合、ＬＲ画像とも表示部の同じ位置に被写体像が表示される設定であると仮定して説明する。
すなわち、入力ＬＲ画像をそのまま表示部に表示した場合は、オブジェクト（りんご）とオブジェクト（みかん）について、観察者は、表示部の表示面の奥行位置に存在するオブジェクトとして知覚するものとする。
すなわち、先に図１（ａ）を参照して説明した設定である。

上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行うことで、観察者は、これらのオブジェクトを図５（ｂ）に示す知覚面１６２に位置するように知覚する。
すなわち、左側のオブジェクト（りんご）は、表示面１６１より手前に知覚され、右側のオブジェクト（みかん）は、表示面１６１より奥側に沈み込んだ（遠い）知覚面１６２上に存在するように観察される。
この原理は、先に図１（ｂ）、図２を参照して説明した原理に基づくものである。

図５（ｂ）には、知覚面１６２と表示面１６１との距離を奥行き距離とし、
表示画像における左端と右端の奥行きについて各々、
左端奥行き＝ＺＬ、
右端奥行き＝ＺＲ、
これらの表示面と知覚面との距離情報を示している。

なお、図に示す例では、各オブジェクトの視差の発生要因となる画面上でのずれ量を、以下のように示している。
左側のオブジェクト（りんご）のオブジェクトずれ量＝（Ｌｘ１）
右側のオブジェクト（みかん）のオブジェクトずれ量＝（Ｌｘ２）
なお、
オブジェクトずれ量＝（Ｌｘ１）≒（Ｌｘ２）
である。

オブジェクトずれ量＝（Ｌｘ１）≒（Ｌｘ２）、これらのずれは入力ＬＲ画像の縮小と表示位置制御によって発生するものであり、これらの処理によって視差が発生する。
この結果、左側のオブジェクト（りんご）については表示面１６１より手前に知覚され、右側のオブジェクト（みかん）は表示面１６１より観察者から遠い位置に知覚される。

すなわち、左側が表示面１６１より手前、右側が表示面より奥に位置する斜めの知覚面１６２に各オブジェクトが存在するように知覚されることになる。
オブジェクトずれ量＝（Ｌｘ１）≒（Ｌｘ２）
であるため、
表示画像における左端と右端の奥行き：ＺＬ，ＺＲは、
ＺＬ≒ＺＲ
となる。

このように、本処理例３では、左側が表示面１６１より手前、右側が表示面より奥に位置する斜めの知覚面１６２に各オブジェクトが存在するように知覚させる表示処理が実行される。

本例では、先に説明したように、補正前の入力ＬＲ画像では、オブジェクト（りんご，みかん）とも視差の設定されていない画像、すなわち、入力ＬＲ画像をそのまま観察したときには、オブジェクト（りんご，みかん）は表示面に位置するように知覚される画像である。
画像処理装置は、この入力ＬＲ画像の水平方向への縮小処理と表示位置制御を行うことで、視差制御を行い、入力ＬＲ画像と異なる視差を発生させた３次元画像表示を行うことが可能となる。
本例では、左側が表示面より手前、右側が表示面より奥に位置する斜めの知覚面上に各オブジェクトが存在するように知覚させる表示処理を実現している。

なお、本処理例でも、左目用画像と右目用画像の少なくともいずれかを横方向に縮小する処理を行う構成であり、表示面の外に画像が出て左右端の画像が欠けてしまうことがなく、表示したい画像全体を表示面に表示させることができる。

（１−４．処理例４．左側を奥、右側を手前に表示オブジェクトを知覚させる表示処理例）
次に、処理例４として、左側を奥、右側を手前に表示オブジェクトを知覚させる表示処理例について図６を参照して説明する。

図６には、図３〜図５と同様、以下の各図を示している。
（ａ）表示画像生成例４
（ｂ）表示画像知覚例４（左が奥に沈み、右が手前）
これらの図を示している。

（ａ）表示画像生成例４は、本開示の画像処理装置において実行する画像処理の１つの具体例を示している。
前述したように、本開示の画像処理装置では、予め生成された３次元画像表示用の左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を入力して、これらのＬＲ画像の少なくとも一方の画像に対して水平方向の画像縮小処理を実行して補正ＬＲ画像を生成して、生成した補正ＬＲ画像の表示位置を決定する処理を行う。

画像処理装置は、例えば、３次元画像撮影カメラで撮影されたＬＲ画像、あるいは放送局から受信する３Ｄ放送用のＬＲ画像など異なる視点から撮影された３次元画像表示用のＬＲ画像を入力して、これらのＬＲ画像を再加工して表示部に出力するための補正ＬＲ画像を生成する。

図６（ａ）に示す例においては、
入力画像としての右目用画像（Ｒ画像）のみを、水平方向に縮小して右目用補正画像１７２を生成する。
左目用画像１７１は、入力した左目用画像（Ｌ画像）をそのまま利用する。

これらの左目用画像１７１と右目用補正画像１７２を３Ｄ画像表示可能な表示装置に３Ｄ表示画像１７３として出力する。
例えば左目用画像１７１と縮小した右目用補正画像１７２を交互に出力し、シャッター式メガネを装着した観察者が、左目用画像１７１を左目でのみ観察し、右目用補正画像１７２を右目でのみ観察する設定とすることで、３Ｄ画像として観察可能となる。

図６（ａ）に示す画像補正処理の詳細について説明する。
画像処理装置に入力する元の入力ＬＲ画像の画像幅をＷとする。
画像処理装置は、左目用画像１７１は、入力した左目用画像（Ｌ画像）をそのまま利用する。

画像処理装置は、入力Ｒ画像の水平幅を、（Ｒｘ１＋Ｒｘ２）削減し、Ｒ画像の水平方向の画像幅を、
Ｗから（Ｗ−（Ｒｘ１＋Ｒｘ２））、
とする縮小処理を実行する。
すなわち、Ｒ画像の水平方向の縮小率をＲｍとしたとき、
Ｒｍ＝（Ｗ−（Ｒｘ１＋Ｒｘ２））／Ｗ
上記縮小率の設定とした画像水平方向の画像縮小処理を実行して、右目用補正画像１７２を生成する。
なお、本処理例では、Ｒｘ１≒Ｒｘ２であるものとする。

画像処理装置は、さらに、
左目用画像１７１と右目用補正画像１７２の表示部における表示位置を決定する。
表示部における表示位置は、図６（ａ）に示す左目用画像１７１、右目用補正画像１７２の位置である。
すなわち、図６（ａ）の左目用画像１７１、右目用補正画像１７２の各々に示す横幅＝Ｗ（ｘ＝０〜ｗ）の点線枠を表示部の表示画面領域としたとき、
左目用画像１７１は、ｘ＝０〜ｗの位置を表示位置とする。
右目用補正画像１７２は、ｘ＝Ｒｘ１〜（ｗ−Ｒｘ２）の位置を表示位置とする。

画像処理装置は、このように、生成した左目用画像１７１と右目用補正画像１７２の表示部における表示位置を決定する。

図６（ａ）の左端に示すように水平方向ｘ、垂直方向をｙとした座標上での左目用画像１７１と右目用補正画像１７２の表示位置について説明する。
補正前の入力ＬＲ画像をそのまま表示装置に表示した場合は、
Ｌ画像もＲ画像も、ｘ＝０〜ｗの位置に表示される。

これに対して、縮小処理によって生成した右目用補正画像１７２は、水平方向の幅＝（Ｗ−（Ｒｘ１＋Ｒｘ２））となっている。
画像処理装置は、この右目用補正画像１７２の表示位置を、
ｘ＝Ｒｘ１〜（ｗ−Ｒｘ２）
の位置とする表示位置決定処理を行う。

また、左目用画像１７１は、水平方向の幅＝Ｗ＝０〜ｗとなっている。
画像処理装置は、この左目用画像１７１の表示位置を、
ｘ＝０〜ｗ
の位置とする表示位置決定処理を行う。

図６下段に示す（ｂ）は、上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行った場合の観察者による知覚画像について説明する図である。

なお、説明を簡略化するため、補正前の入力ＬＲ画像に含まれるオブジェクト（りんご）とオブジェクト（みかん）は、視差のない画像、すなわち、補正前の入力画像であるＬＲ画像をそのまま３Ｄ画像として表示した場合、ＬＲ画像とも表示部の同じ位置に被写体像が表示される設定であると仮定して説明する。
すなわち、入力ＬＲ画像をそのまま表示部に表示した場合は、オブジェクト（りんご）とオブジェクト（みかん）について、観察者は、表示部の表示面の奥行位置に存在するオブジェクトとして知覚するものとする。
すなわち、先に図１（ａ）を参照して説明した設定である。

上述した画像縮小処理と、表示位置決定処理の処理結果に従って表示部に３Ｄ画像表示を行うことで、観察者は、これらのオブジェクトを図６（ｂ）に示す知覚面１８２に位置するように知覚する。
すなわち、左側のオブジェクト（りんご）は、表示面１８１より奥側に沈み込んだ（遠い）位置に知覚され、右側のオブジェクト（みかん）は、表示面１６１より手前に知覚される。すなわち、知覚面１８２上に存在するように観察される。
この原理は、先に図１（ｂ）、図２を参照して説明した原理に基づくものである。

図６（ｂ）には、知覚面１８２と表示面１８１との距離を奥行き距離とし、
表示画像における左端と右端の奥行きについて各々、
左端奥行き＝ＺＬ、
右端奥行き＝ＺＲ、
これらの表示面と知覚面との距離情報を示している。

なお、図に示す例では、各オブジェクトの視差の発生要因となる画面上でのずれ量を、以下のように示している。
左側のオブジェクト（りんご）のオブジェクトずれ量＝（Ｒｘ１）
右側のオブジェクト（みかん）のオブジェクトずれ量＝（Ｒｘ２）
なお、
オブジェクトずれ量＝（Ｒｘ１）≒（Ｒｘ２）
である。

オブジェクトずれ量＝（Ｒｘ１）≒（Ｒｘ２）、これらのずれは入力ＬＲ画像の縮小と表示位置制御によって発生するものであり、これらの処理によって視差が発生する。
この結果、左側のオブジェクト（りんご）については表示面１８１より奥に知覚され、右側のオブジェクト（みかん）は表示面１８１より手前に知覚される。

すなわち、左側が表示面１８１より奥、右側が表示面より手前に位置する斜めの知覚面１８２に各オブジェクトが存在するように知覚されることになる。
オブジェクトずれ量＝（Ｒｘ１）≒（Ｒｘ２）
であるため、
表示画像における左端と右端の奥行き：ＺＬ，ＺＲは、
ＺＬ≒ＺＲ
となる。

このように、本処理例４では、左側が表示面１８１より奥、右側が表示面より手前に位置する斜めの知覚面１８２に各オブジェクトが存在するように知覚させる表示処理が実行される。

本例では、先に説明したように、補正前の入力ＬＲ画像では、オブジェクト（りんご，みかん）とも視差の設定されていない画像、すなわち、入力ＬＲ画像をそのまま観察したときには、オブジェクト（りんご，みかん）は表示面に位置するように知覚される画像である。
画像処理装置は、この入力ＬＲ画像の水平方向への縮小処理と表示位置制御を行うことで、視差制御を行い、入力ＬＲ画像と異なる視差を発生させた３次元画像表示を行うことが可能となる。
本例では、左側が表示面より奥、右側が表示面より手前に位置する斜めの知覚面上に各オブジェクトが存在するように知覚させる表示処理を実現している。

なお、本処理例でも、左目用画像と右目用画像の少なくともいずれかを横方向に縮小する処理を行う構成であり、表示面の外に画像が出て左右端の画像が欠けてしまうことがなく、表示したい画像全体を表示面に表示させることができる。

なお、図５や図６に示す知覚面を斜めに傾いて見えるように表示させることにより、立体画像表示装置に表示させるタイムコードやメニューといったオンスクリーンディスプレイ（ＯＳＤ）を斜めに傾いて見えるように表示することが可能となる。例えば表示面がタッチパネルになっている場合には、タッチＵＩの表示方法に応用したり、非接触タッチパネルの場合には、手前に浮き出ているボタンを触るといった操作ができるようになる。また、３Ｄのゲームにおけるさまざまな画像の表示にも用いることができる。

［２．画像処理装置の構成と処理について］
次に、図７以下を参照して本開示の一実施例に係る画像処理装置の構成と処理について説明する。
図７に示す画像処理装置３００は、外部から、３Ｄ画像表示用の左目用画像（Ｌ画像）２０１と右目用画像（Ｒ画像）２０２を入力し、これらの入力画像に対する画像処理を実行して、例えば３Ｄ画像表示可能なテレビなどの表示部に出力する出力画像２５１を生成する。

画像処理装置３００は、入力ＬＲ画像の画角を、出力する表示面の表示可能領域の大きさに調整するＬ画像画角変換部３１１、Ｒ画像画角変換部３２１を有する。
さらに、先に図３〜図６を参照して説明した入力ＬＲ画像の縮小処理や表示位置決定処理を実行する処理部として、
入力Ｌ画像２０１に対する処理を実行するＬ画像立体感調整部３５０、
入力Ｒ画像２０２に対する処理を実行するＲ画像立体感調整部３６０、
を有する。
Ｌ画像立体感調整部３５０は、縮小処理実行部３５１、表示位置決定部３５２、画像調整部３５３を有する。
Ｒ画像立体感調整部３６０は、縮小処理実行部３６１、表示位置決定部３６２、画像調整部３６３を有する。

さらに、バックライトや自発光する物質により実際に光を出力し、視差バリアや偏光などの方式により立体画像を表示する表示面３７２、立体画像合成部３７１を有する表示部３７０を持つ。
また、ユーザからの入力情報などを入力する入力部３３０と、
入力部３３０からの入力情報、あるいは予め既定されたデフォルト設定情報に従って立体感の調整量を決定する立体感調整量決定部３４０を有する。
なお、図には示していないが、画像処理装置３００は、図に示す構成の他、各構成部の処理の制御を実行する制御部と、制御部において実行するプログラムや処理パラメータ等を格納したメモリを有する。

この図７に示す画像処理装置３００の実行する処理について、説明する。
まず、入力画像としての左目用画像（Ｌ画像）２０１、右目用画像（Ｒ画像）２０２の例について図８を参照して説明する。

先に説明したように、画像処理装置３００は、予め生成された３次元画像表示用の左目用画像（Ｌ画像）２０１と右目用画像（Ｒ画像）２０２を入力する。すなわち、画像処理装置３００の入力する３次元画像表示用の左目用画像（Ｌ画像）２０１と右目用画像（Ｒ画像）２０２は、それぞれ異なる視点から撮影された画像であり、先に図１、図２を参照して説明したように被写体距離に応じた視差が設定された画像である。例えば、３次元画像撮影カメラで撮影されたＬＲ画像、あるいは放送局から受信する３Ｄ放送用のＬＲ画像など異なる視点から撮影された３次元画像表示用のＬＲ画像である。

図８は、このようなＬＲ画像の伝送態様の例を示した図である。
（ａ）ＬＲ画像を１フレームごとに交互に伝送するフレームシーケンシャル方式
（ｂ）ＬＲ画像を１フレームの左右に分割した領域に格納して伝送するサイドバイサイド方式
（ｃ）ＬＲ画像を１フレームの上下に分割した領域に格納して伝送するトップアンドボトム方式
例えば、このような伝送方式で伝送されるＬＲ画像が画像処理装置３００に入力される。

画像処理装置３００のＬ画像画角変換部３１１、Ｒ画像画角変換部３２１は、まず、これらの入力ＬＲ画像を、表示部３７０の表示面３７２の表示領域の大きさに適合するように調整する。
具体的には、例えば図３〜図６を参照して説明した例では、画像幅：Ｗ＝０〜ｗの画像に調整する処理である。画像高さも表示面３７２の高さに適合するね設定に調整する。

次に、入力部３３０からの入力情報の例について図９を参照して説明する。
入力部３３０には、ユーザによって例えば立体感の設定情報などが入力される。具体的には、例えば以下の情報である。
左奥行き情報：ＺＬ
右奥行き情報：ＺＲ
等である。
これらの奥行き情報ＺＬ，ＺＲは、図３〜図６を参照して説明した奥行き情報に相当し、表示面からの距離に対応する。
すなわち、図９に示すように、表示面６１１から知覚面６１２の距離に相当する値である。

以下の実施例では、表示面の位置を０として、
表示面より手前側（観察者に近い）を（−）
表示面より奥側（観察者から遠い）を（＋）
とした設定例について説明する。
例えば、パラメータの許容設定範囲が、
ＺＬ＝−５０〜＋５０
ＺＲ＝−５０〜＋５０
このような許容値が設定されていると想定する。

この設定において、ユーザが、
ＺＬ＝−５０、
ＺＲ＝−５０、
このようなパラメータを入力すると、先に、図３を参照して説明したような、知覚面が表示面より手前（観察者に近い位置）に設定されるような３Ｄ画像表示制御が行われる。

また、ユーザが、
ＺＬ＝＋５０、
ＺＲ＝＋５０、
このようなパラメータを入力すると、先に、図４を参照して説明したような、知覚面が表示面より奥（観察者から遠い位置）に設定されるような３Ｄ画像表示制御が行われる。

また、ユーザが、
ＺＬ＝−５０、
ＺＲ＝＋５０、
このようなパラメータを入力すると、先に、図５を参照して説明したような、知覚面が、左側が表示面より手前（観察者に近い位置）、右側が表示面より奥（観察者から遠い位置）に設定されるような３Ｄ画像表示制御が行われる。

パラメータＺＬ，ＺＲの設定態様と、知覚面の制御例の対応について図１０を参照して説明する。図１０には以下のパラメータの設定例を示している。
（１）ＺＬ＝０，ＺＲ＝０：通常の立体表示
（２）ＺＬ＝正数、ＺＲ＝正数：知覚面全体を表示面より奥（観察者から遠い位置）に設定、
（３）ＺＬ＝負数、ＺＲ＝負数：知覚面全体を表示面より手前（観察者に近い位置）に設定、
（４）ＺＬ＝負数、ＺＲ＝正数：知覚面の左（Ｌ）側を表示面より手前（観察者に近い位置）、右（Ｒ）側を表示面より奥（観察者から遠い位置）に設定、
（５）ＺＬ＝０、ＺＲ＝負数：知覚面の左（Ｌ）側を表示面の位置、右（Ｒ）側を表示面より手前（観察者に近い位置）に設定、
例えば、このような制御が可能となる。

次に、立体感調整量決定部３４０の処理例について図１１を参照して説明する。
立体感調整量決定部３４０は、入力部３３０から入力される情報、あるいは予め既定されたデフォルト設定情報に従って立体感の調整量を決定する。

前述したように、入力部３３０からは、
左奥行き情報：ＺＬ
右奥行き情報：ＺＲ
これらの情報が入力される。

立体感調整量決定部３４０は、これらの情報に基づいて、先に図３〜図６を参照して説明した各種の画像補正と画像表示位置の設定を行うための調整量（制御パラメータ）を決定する。
具体的には、図１１に示すように、
Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
Ｌ画像縮小率：Ｌｍ、
Ｒ画像縮小率：Ｒｍ、
これらの調整量（制御パラメータ）を決定する。

なお、
Ｌｘ１は、左目用画像（Ｌ画像）の左端の表示位置、
Ｌｘ２は、左目用画像（Ｌ画像）の右端の表示位置、
Ｒｘ１は、右目用画像（Ｒ画像）の左端の表示位置、
Ｒｘ２は、右目用画像（Ｒ画像）の右端の表示位置、
である。
すなわち、
左目用画像（Ｌ画像）の横幅は、（Ｌｘ２−Ｌｘ１）
右目用画像（Ｒ画像）の横幅は、（Ｒｘ２−Ｒｘ１）
である。

従って、表示面の幅をＷとすると、
Ｌ画像縮小率：Ｌｍは、
（Ｗ−（Ｌｘ２−Ｌｘ１））／Ｗ
Ｒ画像縮小率：Ｒｍは、
（Ｗ−（Ｒｘ２−Ｒｘ１））／Ｗ
上記式に従って算出される。

Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
これらの各位置は、入力部３３０から入力する以下の奥行き情報に応じて決定する。
左奥行き情報：ＺＬ
右奥行き情報：ＺＲ

例えば図３〜図６、図１０を参照して説明したように、
例えば左側を表示面（画面）の手前に表示させる場合は、
ＺＬ＜０であり、
この場合、
Ｌｘ１＞Ｒｘ１
上記条件を満足する設定とすればよい。
これは図３、図５の設定に対応する。

また、左側を表示面（画面）の奥に表示させる場合は、
ＺＬ＞０であり、
この場合、
Ｌｘ１＜Ｒｘ１
上記条件を満足する設定とすればよい。
これは図４、図６の設定に対応する。

また、右側を表示面（画面）の手前に表示させる場合は、
ＺＲ＜０であり、
この場合、
Ｌｘ２＜Ｒｘ２
上記条件を満足する設定とすればよい。
これは図３、図６の設定に対応する。

また、右側を表示面（画面）の奥に表示させる場合は、
ＺＲ＞０であり、
この場合、
Ｌｘ２＞Ｒｘ２
上記条件を満足する設定とすればよい。
これは図４、図５の設定に対応する。

立体感調整量決定部３４０は、上記条件を満足するように、例えば入力部３３０から入力された
左奥行き情報：ＺＬ
右奥行き情報：ＺＲ
これらの情報に従って、
Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
これらの表示位置を決定する。

なお、立体感調整量決定部３４０は、上述した条件を満足する設定とした算出式あるいはアルゴリズム、あるいはテーブルを保持し、これらの保持データに従って、入力部３３０から入力される奥行き情報：ＺＬ，ＺＲに従って、
Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
これらを算出する。

さらに、算出した
Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
これらの値を適用して、
Ｌ画像縮小率：Ｌｍ、
Ｒ画像縮小率：Ｒｍ、
これらを算出する。

立体感調整部３４０の生成した
Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
Ｌ画像縮小率：Ｌｍ、
Ｒ画像縮小率：Ｒｍ、
これらのパラメータは、Ｌ画像立体感調整部３５０、Ｒ画像立体感調整部３６０に提供される。
Ｌ画像立体感調整部３５０、Ｒ画像立体感調整部３６０は、左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成する。
この処理について、図１２を参照して説明する。

立体感調整部３４０の生成したＬ画像関連制御パラメータ、すなわち、
Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｌ画像縮小率：Ｌｍ、
これらの制御パラメータは、Ｌ画像立体感調整部３５０に入力される。

Ｌ画像立体感調整部３５０の縮小処理実行部３５１は、Ｌ画像の縮小率：Ｌｍに従って、Ｌ画像の横方向の縮小処理を実行する。
さらに、Ｌ画像立体感調整部３５０の表示位置決定部３５２は、Ｌ画像表示位置：Ｌｘ１，Ｌｘ２に従って、Ｌ画像の表示位置を決定する。
さらに、画像調整部３５３は、縮小されたＬ画像を決定された位置に表示するために必要となるその他の画像調整を実行して表示部３７０の立体画像合成部３７１に出力する。

同様に、立体感調整部３４０の生成したＲ画像関連制御パラメータ、すなわち、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
Ｒ画像縮小率：Ｒｍ、
これらの制御パラメータは、Ｒ画像立体感調整部３６０に入力される。

Ｒ画像立体感調整部３６０の縮小処理実行部３６１は、Ｒ画像の縮小率：Ｒｍに従って、Ｒ画像の横方向の縮小処理を実行する。
さらに、Ｒ画像立体感調整部３６０の表示位置決定部３６２は、Ｒ画像表示位置：Ｒｘ１，Ｒｘ２に従って、Ｒ画像の表示位置を決定する。
さらに、画像調整部３６３は、縮小されたＲ画像を決定された位置に表示するために必要となるその他の画像調整を実行して表示部３７０の立体画像合成部３７１に出力する。

表示部３７０の立体画像合成部３７１は、予め既定された３Ｄ画像表示フォーマットに従って、Ｌ画像立体感調整部３５０から入力するＬ画像と、Ｒ画像立体感調整部３６０から入力するＲ画像の表示面３７２に対する表示処理を実行する。

例えば少なくともいずれかを縮小した左目用補正画像と右目用補正画像を交互に出力し、シャッター式メガネを装着した観察者が、左目用補正画像を左目でのみ観察し、右目用補正画像を右目でのみ観察する設定とすることで、例えば先に図３〜図６を参照して説明した知覚面上で３Ｄ画像として観察することが可能となる。

［３．画像処理装置の実行する処理シーケンスについて］
次に、画像処理装置の実行する処理シーケンスについて図１３に示すフローチャートを参照して説明する。

ステップＳ１０１において、入力ＬＲ画像を表示部に適合するように画角変換を行う。
この処理は、図７に示すＬ画像画角変換部３１１、Ｒ画像画角変換部３２１において実行する処理である。Ｌ画像画角変換部３１１、Ｒ画像画角変換部３２１は、入力ＬＲ画像の画角を、出力する表示面の表示可能領域の大きさに調整する。
また、表示面の特徴に合うように、輝度成分や色差成分を調整してもよい。

次に、ステップＳ１０２において、ユーザからの表示調整要求が入力部を介して入力されているか否かを判定する。これは、先に、図７、図９を参照して説明した入力部３３０から入力される立体感の設定情報、具体的には、
左奥行き情報：ＺＬ
右奥行き情報：ＺＲ
これらの情報が入力されたか否かを判定する処理である。

入力されている場合は、ステップＳ１０２の判定がＹｅｓととなり、ステップＳ１０４に進む。
入力がない場合は、ステップＳ１０３に進む。
ステップＳ１０３では、入力ＬＲ画像に付属して設定されたメタデータ（属性情報）に基づいて設定値（左奥行き情報：ＺＬ，右奥行き情報：ＺＲ）を決定するか、あるいは既定の設定値（デフォルト値）を利用する処理を行う。
ステップＳ１０３では、例えば、入力画像の輝度成分、色差成分などの検出結果の比較から左目用画像と右目用画像の特徴点のずれなどといった特徴量に基づいて、設定値（左奥行き情報：ＺＬ，右奥行き情報：ＺＲ）を算出する構成としてもよい。

ステップＳ１０４では、ユーザ入力、あるいはメタデータ、あるいはデフォルト値に基づく設定値に基づいて、画像の縮小補正や表示位置を設定する制御パラメータ（調整量）を決定する。
具体的には、先に図１１を参照して説明したように、
Ｌ画像表示位置：Ｌｘ１，Ｌｘ２、
Ｒ画像表示位置：Ｒｘ１，Ｒｘ２、
Ｌ画像縮小率：Ｌｍ、
Ｒ画像縮小率：Ｒｍ、
これらの調整量（制御パラメータ）を決定する。

なお、ステップＳ１０４では、例えば、立体感調整量決定部３４０が保持するテーブル値や計算アルゴリズムなどによりあらかじめ設定されていた算出方法に基づき、入力された特徴量から立体感の調整のために必要な、水平方向の縮小率と水平方向の画像出力位置を決定することが可能である。
ステップＳ１０２〜Ｓ１０４の処理は、図７に示す立体感調整量決定部３４０において実行される。

次に、ステップＳ１０５において、制御パラメータ（調整量）に基づいてＬＲ画像の補正と表示位置の設定を実行する。
これらの処理は、図７に示すＬ画像立体感調整部３５０、Ｒ画像立体感調整部３６０において実行される。

最後に、ステップＳ１０６において、補正ＬＲ画像を利用して３Ｄ画像表示を実行する。
この処理は、図７に示す表示部３７０において実行される。
少なくともいずれかを縮小した左目用補正画像と右目用補正画像を交互に出力し、シャッター式メガネを装着した観察者が、左目用補正画像を左目でのみ観察し、右目用補正画像を右目でのみ観察する設定とすることで、例えば先に図３〜図６を参照して説明した知覚面上で３Ｄ画像として観察することが可能となる。

なお、上述の実施例では、左目用画像と右目用画像の少なくともいずれかの画像を横方向に縮小する処理例について説明したが、左目用画像と右目用画像の少なくともいずれかの画像を横方向に拡大する処理を行った場合にも視差調整による立体感制御が可能であり、縮小処理の代わりに拡大処理を行う構成としてもよい。あるいは両処理を組み合わせて利用する構成としてもよい。

［４．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整部を有し、
前記立体感調整部は、
前記左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成する画像処理装置。

（２）前記立体感調整部は、左目用画像と右目用画像の少なくともいずれかの画像を横方向に縮小または拡大し生成した補正画像の表示部に対する表示位置を決定する前記（１）に記載の画像処理装置。
（３）前記画像処理装置は、画像設定情報を入力可能とした入力部と、前記入力部を介する画像設定情報に応じて、画像の補正態様を決定する制御パラメータを決定する立体感調整量決定部を有し、前記立体感調整部は、前記立体感調整量決定部の決定した制御パラメータに従った画像補正処理と表示位置決定処理を実行する前記（）１）または（２）に記載の画像処理装置。

（４）前記入力部から入力される画像設定情報は、表示画像の左右端部の奥行き情報：ＺＬ，ＺＲであり、前記立体感調整量決定部は、前記奥行き情報：ＺＬ，ＺＲに基づいて、左目用画像と右目用画像の拡縮率と、表示部に対する表示位置を決定する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記立体感調整量決定部は、入力画像に付属するメタデータに基づいて、左目用画像と右目用画像の拡縮率と、表示部に対する表示位置を決定する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像処理装置は、さらに、前記立体感調整部の生成した補正画像としての左目用画像と右目用画像を適用した３次元画像表示を実行する表示部を有する前記（１）〜（５）いずれかに記載の画像処理装置。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、簡易な処理による立体感の調整を可能とした装置および方法が提供される。
具体的には、３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整部を有する。立体感調整部は、例えばユーザ入力された設定情報に応じて、左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行し、視差調整を施した補正画像を生成する。さらに、この補正画像の表示部に対する表示位置を決定して表示部に出力して３次元画像表示処理を実行させる。
本構成では、例えば画像の縮小処理のみで視差の調整が可能となり、任意の奥行き位置に表示オブジェクトを表示させる制御が可能となる。

３００ 画像処理装置
３１１ Ｌ画像画角変換部
３２１ Ｒ画像画角変換部
３３０ 入力部
３４０ 立体感調整量決定部
３５０ Ｌ画像立体感調整部
３５１ 縮小処理実行部
３５２ 表示位置決定部
３５３ 画像調整部
３６０ Ｒ画像立体感調整部
３６１ 縮小処理実行部
３６２ 表示位置決定部
３６３ 画像調整部
３７０ 表示部
３７１ 立体画像合成部
３７２ 表示面

Claims (8)

1. ３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整部を有し、
   前記立体感調整部は、
   前記左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成する画像処理装置。
2. 前記立体感調整部は、
   左目用画像と右目用画像の少なくともいずれかの画像を横方向に縮小または拡大し生成した補正画像の表示部に対する表示位置を決定する請求項１に記載の画像処理装置。
3. 前記画像処理装置は、
   画像設定情報を入力可能とした入力部と、
   前記入力部を介する画像設定情報に応じて、画像の補正態様を決定する制御パラメータを決定する立体感調整量決定部を有し、
   前記立体感調整部は、前記立体感調整量決定部の決定した制御パラメータに従った画像補正処理と表示位置決定処理を実行する請求項１に記載の画像処理装置。
4. 前記入力部から入力される画像設定情報は、
   表示画像の左右端部の奥行き情報：ＺＬ，ＺＲであり、
   前記立体感調整量決定部は、
   前記奥行き情報：ＺＬ，ＺＲに基づいて、左目用画像と右目用画像の拡縮率と、表示部に対する表示位置を決定する請求項３に記載の画像処理装置。
5. 前記立体感調整量決定部は、
   入力画像に付属するメタデータに基づいて、左目用画像と右目用画像の拡縮率と、表示部に対する表示位置を決定する請求項３に記載の画像処理装置。
6. 前記画像処理装置は、さらに、
   前記立体感調整部の生成した補正画像としての左目用画像と右目用画像を適用した３次元画像表示を実行する表示部を有する請求項１に記載の画像処理装置。
7. 画像処理装置において実行する画像処理方法であり、
   立体感調整部が、３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行する立体感調整ステップを実行し、
   前記立体感調整ステップは、
   前記左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成するステップである画像処理方法。
8. 画像処理装置において画像処理を実行させるプログラムであり、
   立体感調整部に、３次元画像表示に適用する左目用画像と右目用画像を入力し、入力画像の補正処理により立体感調整を実行させる立体感調整ステップを実行させ、
   前記立体感調整ステップは、
   前記左目用画像と右目用画像の少なくともいずれかの画像の横方向への縮小処理または拡大処理を実行して視差調整を施した補正画像を生成させるステップであるプログラム。