JP5450330B2 - 画像処理装置および方法、ならびに立体画像表示装置 - Google Patents

Description

本発明は、立体表示用の複数の視差画像を生成する画像処理装置および方法、ならびに複数の視差画像に基づいて立体表示を行う立体画像表示装置に関する。

近年、図１５に示したように、左右方向に第１の撮影部１１１と第２の撮影部１１２とを配置した立体撮影カメラ１０１が製品化されている。この立体撮影カメラ１０１で撮影すると、左右方向に視差のある左側視差画像１５１Ｌと右側視差画像１５１Ｒとを得ることができる。この左右方向の視差画像１５１Ｌ，１５１Ｒに基づいて、立体画像表示装置で立体画像表示を行うことができる。

立体画像表示装置によって立体表示を行う方法としては、観察者が眼鏡を用いる眼鏡方式と、観察者が眼鏡を用いずに裸眼での立体視が可能な裸眼方式とがある。眼鏡方式の代表的なものとしては、左眼用シャッタと右眼用シャッタとを有するシャッタメガネを用いるシャッタメガネ方式がある。シャッタメガネ方式では、２次元表示パネルに左眼用と右眼用の各視差画像をフレームシーケンシャルで高速で交互に表示する。そして、各視差画像の表示タイミングに合わせて左眼用シャッタと右眼用シャッタとを交互に切り換えることにより、観察者の左眼には左眼用視差画像、右眼には右眼用視差画像のみを入射させることで、立体視を可能にしている。

一方、裸眼方式の代表的なものとしては、パララックスバリア方式とレンチキュラレンズ方式とがある。パララックスバリア方式やレンチキュラ方式の場合、２次元表示パネルに立体視用の視差画像（２視点の場合には右眼用視差画像と左眼用視差画像）を空間分割して表示し、その視差画像を視差分離手段によって水平方向に視差分離することで立体視が行われる。パララックスバリア方式の場合、視差分離手段としてスリット状の開口が設けられたパララックスバリアを用いる。レンチキュラ方式の場合、視差分離手段として、シリンドリカル状の分割レンズを複数並列配置したレンチキュラレンズが用いられる。

図１７は、パララックスバリア方式による立体画像表示装置の一般的な構成例を示している。この立体画像表示装置は、２次元表示パネル２０２の前面に、パララックスバリア２０１を対向配置したものである。パララックスバリア２０１の一般的な構造は、２次元表示パネル２０２からの表示画像光を遮蔽する遮蔽部２１１と、表示画像光を透過するストライプ状の開口部（スリット部）２１２とを水平方向に交互に設けたものである。２次元表示パネル２０２には、例えば右眼用視差画像Ｒと左眼用視差画像Ｌとが水平方向に交互に配列された合成画像を表示する。パララックスバリア方式の場合、２次元表示パネル２０２に表示された合成画像がパララックスバリア２０１を介して観察される。これにより、所定の位置、所定の方向から観察者が立体画像表示装置を見た場合に、スリット部２１２を介して観察者の左右の眼５Ｌ，５Ｒに異なる視差画像の光を別々に入射させることができる。このようにして、所定の位置および方向から観察者が立体画像表示装置を見た場合に、立体像が知覚される。立体視を実現するためには、左眼５Ｌと右眼５Ｒとに異なる視差画像を見せる必要があるため、少なくとも右眼用画像と左眼用画像との２つの視差画像が必要となる。３つ以上の視差画像を用いた場合には、多眼視を実現できる。

特開２００９−２３９３８９号公報

上述の種々の立体画像表示装置において、正常に立体表示を行うためには、少なくとも左右方向に視差のある視差画像を用いる必要がある。図１５に示したように、立体撮影カメラ１０１によって左右方向に第１の撮影部１１１と第２の撮影部１１２とを配置した状態で撮影した場合には、左右方向に視差のある左側視差画像１５１Ｌと右側視差画像１５１Ｒとが得られるので、それをそのまま立体表示用の画像データとして利用することができる。しかしながら、例えば図１６に示したように、立体撮影カメラ１０１を縦方向にして、第１の撮影部１１１と第２の撮影部１１２とが上下方向に配置された状態で撮影した場合には、上下方向にのみ視差のある上側視差画像１５１Ｕと下側視差画像１５１Ｄとが得られることとなる。このような上下方向にのみ視差のある画像では、立体画像表示装置において、正常に立体表示をすることができない。

特許文献１には、立体画像の奥行き感を変更するために複数の視差画像から視差の異なる補間画像を生成する発明が開示されている。特許文献１に記載の発明では、視差量を可変することかできるが、生成される補間画像の視差の方向は元の視差画像と同じである。このため、元の視差画像が図１６に示したようにして得られた上下方向にのみ視差のある上側視差画像１５１Ｕと下側視差画像１５１Ｄとであった場合、正常に立体表示をすることができない。

本発明はかかる問題点に鑑みてなされたもので、その目的は、取得された視差画像が所望とする方向とは異なる方向に視差がある場合であっても、所望の方向に視差のある視差画像を得ることができる画像処理装置および方法、ならびに立体画像表示装置を提供することにある。

本発明による画像処理装置は、第１の方向に視差のある複数の第１の視差画像に基づいて、複数の第１の視差画像によって表される立体表示の奥行き量を算出する奥行き情報算出部と、奥行き情報算出部によって算出された奥行き量に基づいて、第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像を生成する視差画像生成部とを備え、前記視差画像生成部は、前記複数の第１の視差画像のうちの１つの特定の第１の視差画像をそのまま前記複数の第２の視差画像のうちの１つの特定の第２の視差画像とし、前記特定の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記特定の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成すると共に、前記特定の第１の視差画像以外の他の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記他の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成し、前記特定の第１の視差画像を基礎とする前記他の第２の視差画像と、前記他の第１の視差画像を基礎とする前記他の第２の視差画像とを合成した画像を、最終的な他の第２の視差画像とするようにしたものである。

本発明による画像処理装置方法は、第１の方向に視差のある複数の第１の視差画像に基づいて、奥行き情報算出手段によって、複数の第１の視差画像によって表される立体表示の奥行き量を算出し、奥行き量に基づいて、視差画像生成手段によって、第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像を生成し、前記視差画像生成部によって、前記複数の第１の視差画像のうちの１つの特定の第１の視差画像をそのまま前記複数の第２の視差画像のうちの１つの特定の第２の視差画像とし、前記特定の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記特定の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成すると共に、前記特定の第１の視差画像以外の他の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記他の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成し、前記特定の第１の視差画像を基礎とする前記他の第２の視差画像と、前記他の第１の視差画像を基礎とする前記他の第２の視差画像とを合成した画像を、最終的な他の第２の視差画像とするようにしたものである。

本発明による立体画像表示装置は、第１の方向に視差のある複数の第１の視差画像に基づいて、複数の第１の視差画像によって表される立体表示の奥行き量を算出する奥行き情報算出部と、奥行き情報算出部によって算出された奥行き量に基づいて、第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像を生成する視差画像生成部と、複数の第２の視差画像に基づいて立体画像表示を行う表示部とを備え、前記視差画像生成部は、前記複数の第１の視差画像のうちの１つの特定の第１の視差画像をそのまま前記複数の第２の視差画像のうちの１つの特定の第２の視差画像とし、前記特定の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記特定の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成すると共に、前記特定の第１の視差画像以外の他の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記他の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成し、前記特定の第１の視差画像を基礎とする前記他の第２の視差画像と、前記他の第１の視差画像を基礎とする前記他の第２の視差画像とを合成した画像を、最終的な他の第２の視差画像とするようにしたものである。

本発明の画像処理装置もしくは方法、または立体画像表示装置では、第１の方向に視差のある複数の第１の視差画像に基づいて、立体表示の奥行き量が算出される。その奥行き量に基づいて、第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像が生成される。

本発明の画像処理装置もしくは方法、または立体画像表示装置によれば、第１の方向に視差のある複数の第１の視差画像に基づいて立体表示の奥行き量を算出し、その奥行き量に基づいて第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像を生成するようにしたので、例えば立体撮影カメラによって、所望とする方向（例えば左右方向）とは異なる方向（例えば上下方向）に撮影されることにより取得された視差画像であっても、所望の方向に視差のある視差画像へと変換することができる。これにより、立体表示に適した視差画像を得ることができる。

本発明の一実施の形態に係る視差画像処理装置および立体画像表示装置の一構成例を表すブロック図である。 図１に示した視差画像処理装置における視差画像生成処理の概要を示す説明図である。 視差量と奥行き量との関係を示す説明図である。 表示面のサイズが３．７インチである場合の奥行き量についての説明図である。 表示面のサイズが３．７インチである場合の視差量と奥行き量との変換関数の一例を示す説明図である。 表示面のサイズが４０インチである場合の奥行き量についての説明図である。 表示面のサイズが４０インチである場合の視差量と奥行き量との変換関数の一例を示す説明図である。 図５に示した変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によってリニア変換した例を示す説明図である。 図５に示した変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によって平行変換した例を示す説明図である。 図５に示した変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によって手前への飛び出し感を重視させる変換をした例と奥行き感を重視させる変換をした例とを示す説明図である。 図１に示した視差画像処理装置の視差画像生成部による視差画像の生成方法の第１の参考例を示す説明図である。 図１に示した視差画像処理装置の視差画像生成部による視差画像の生成方法の第２の参考例を示す説明図である。 図１に示した視差画像処理装置の視差画像生成部による視差画像の生成方法の実施例を示す説明図である。 図１に示した視差画像処理装置の視差画像生成部による視差画像の生成方法の第３の参考例を示す説明図である。 立体撮影カメラによる第１の撮影例を示す説明図である。 立体撮影カメラによる第２の撮影例を示す説明図である。 パララックスバリア方式による立体画像表示装置を示す断面図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

［構成例］
図１は、本発明の一実施の形態に係る視差画像処理装置２および立体画像表示装置３の一構成例を示している。図２は、図１に示した視差画像処理装置２における視差画像生成処理の概要を示している。まず、主として図１を参照して視差画像処理装置２および立体画像表示装置３の構成を説明する。なお、図１では、視差画像処理装置２と立体画像表示装置３とが別々の構成である例を示しているが、立体画像表示装置３内に視差画像処理装置２の機能が含まれた構成であっても良い。

立体画像表示装置３は、視差画像処理装置２から出力された視差画像データ（図２（Ｆ）の左側視差画像５１Ｌおよび右側視差画像５１Ｒ）に基づいて立体画像表示を行うものであり、表示信号処理回路３１と、表示パネル３２とを備えている。立体画像表示装置３の立体表示方式は特に限定されない。シャッタメガネ方式等の裸眼方式であっても良いし、パララックスバリア方式やレンチキュラレンズ方式等の裸眼方式であっても良い。表示信号処理回路３１は、視差画像処理装置２から出力された視差画像データに基づいて、立体画像表示装置３の立体表示方式に応じた画像を生成して表示パネル３２に表示させるものである。表示パネル３２は、液晶表示パネル、エレクトリックルミナンス方式の表示パネル、またはプラズマディスプレイ等の２次元表示ディスプレイで構成されている。表示パネル３２の表示画面には、複数の画素が２次元的に配列されている。表示パネル３２の表示画面には、立体画像表示装置３の立体表示方式に応じた画像表示がなされる。

視差画像処理装置２には、異なる位置に配置された第１の撮影部１１と第２の撮影部１２とを有する立体撮影カメラ１によって撮影された第１の撮影部１１からの第１の撮像データと第２の撮影部１２からの第２の撮像データとが、複数の第１の視差画像データとして入力されるようになっている。本実施の形態では、例えば図２（Ａ）に示したように立体撮影カメラ１を縦方向にして、第１の撮影部１１と第２の撮影部１２とが上下方向に配置された状態で撮影した場合に得られた、上下方向に視差のある上側視差画像５１Ｕおよび下側視差画像５１Ｄが第１の撮像データおよび第２の撮像データとして視差画像処理装置２に入力される。

視差画像処理装置２は、奥行き情報算出部２０と、視差画像生成部２３とを備えている。奥行き情報算出部２０は、ステレオマッチング部２１と、視差量計算部２２とを有している。これらの各部の機能は例えばＣＰＵ（演算処理装置）、演算処理用のプログラムが記録された記録媒体、演算処理用のメモリ、および画像データ用のデータ保存メモリ等を組み合わせて構成することができる。

奥行き情報算出部２０は、第１の方向（上下方向）に視差のある複数の第１の視差画像（上側視差画像５１Ｕおよび下側視差画像５１Ｄ）に基づいて、複数の第１の視差画像によって表される立体表示の奥行き量を算出するものである。奥行き情報算出部２０は、複数の第１の視差画像に対して画素ごとの画像マッチング処理を行うことで、複数の第１の視差画像間で共通する画像部分における第１の方向の視差量を画素ごとに算出し、第１の方向の視差量に基づいて、共通する画像部分の画素ごとの奥行き量を算出するようになっている。ステレオマッチング部２１は、その画像マッチング処理を行うものである。視差量計算部２２は、画像マッチング処理後の画像データに基づいて第１の方向の視差量を算出し、奥行き量を算出するようになっている。

視差画像生成部２３は、奥行き情報算出部２０によって算出された奥行き量に基づいて、第１の方向とは異なる第２の方向（左右方向）に視差のある複数の第２の視差画像（左側視差画像５１Ｌおよび右側視差画像５１Ｒ）を生成するものである。視差画像生成部２３は、立体視の視差量と奥行き量との関係を示す後述の図５または図７に示すような所定の変換関数に基づいて、奥行き量から第２の方向の視差量を算出して、複数の第２の視差画像を生成するようになっている。

［視差画像生成処理の概要］
次に、図２を参照して、視差画像処理装置２における視差画像生成処理の概要を説明する。視差画像処理装置２には、複数の第１の視差画像データとして、例えば図２（Ａ）に示したように立体撮影カメラ１を縦方向にして撮影することにより得られた、上下方向に視差のある上側視差画像５１Ｕおよび下側視差画像５１Ｄが入力される（図２（Ｂ））。視差画像処理装置２において、奥行き情報算出部２０では、上側視差画像５１Ｕおよび下側視差画像５１Ｄに対して画素ごとの画像マッチング処理を行うことで、上側視差画像５１Ｕおよび下側視差画像５１Ｄの間で共通する画像部分における上下方向の視差量を画素ごとに算出する（図２（Ｃ））。奥行き情報算出部２０は次に、上下方向の視差量に基づいて、共通する画像部分の画素ごとの奥行き量を算出する（図２（Ｄ））。ここでの画像マッチング処理の手法としては例えば、”適応型ウィンドウによるステレオマッチング法（電子情報通信学会論文誌、Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ Ｎｏ．６，ｐｐ．６６９−６７７（１９９１））を用いることができる。また、奥行き量を算出するときに、例えばＤｅｐｔｈ ｉｍａｇｅ（距離画像）を作成して画像データの形で奥行き量のデータを保存しても良い。このＤｅｐｔｈ ｉｍａｇｅは例えば、立体撮影カメラ１によって撮影した際に、立体撮影カメラ１で測距した情報がある場合には、被写体までの距離と奥行き情報算出部２０で算出した上下方向の視差量とから作成することができる。なお、被写体までの距離は、画像内でフォーカスの合っているポイント（コントラストが最も高い部分）から判断することもできる。

視差画像生成部２３は、奥行き情報算出部２０によって算出された奥行き量に基づいて、第２の方向（左右方向）に視差のある複数の第２の視差画像（左側視差画像５１Ｌおよび右側視差画像５１Ｒ）を生成する（図２（Ｅ），（Ｆ））。このとき、視差画像生成部２３は、立体視の視差量と奥行き量との関係を示す後述の図５または図７に示すような所定の変換関数に基づいて、奥行き量から左右方向の視差量を算出する。このようにして生成された左側視差画像５１Ｌおよび右側視差画像５１Ｒを立体画像表示装置３に出力することで、立体画像表示装置３では、その視差画像データに基づいて通常の立体画像表示を行うことができる。

［視差量と奥行き量との関係の説明］
図３（Ａ），（Ｂ）は、視差量と奥行き量との関係を示している。図３（Ａ），（Ｂ）では、立体視差画像（左側視差画像５１Ｌおよび右側視差画像５１Ｒ）の表示位置と立体視との関係を模式的に示している。３次元（３Ｄ）映像の見え方（立体感、奥行き感）は、視差量の違いによって異なってくる。仮に、基準面（表示パネル３２における画像表示面）上で左側視差画像５１Ｌおよび右側視差画像５１Ｒが同一の画素位置にあり、視差量がゼロであれば、観察者の左眼５Ｌと右眼５Ｒとで画像表示面上の同一の画素位置を観察することになり、実質的に２次元（２Ｄ）表示と同じである。この場合、表示画像に視差はなく観察者は実像を見ることになる。一方、図３（Ａ），（Ｂ）では、左側視差画像５１Ｌおよび右側視差画像５１Ｒを視差のある状態で表示した場合を示している。

図３（Ａ）では、基準面（画像表示面）上で右側視差画像５１Ｒが左側視差画像５１Ｌに対して左側に位置している。このような場合、例えば、左側視差画像５１Ｌの視差量は右側視差画像５１Ｒに対して＋方向にあると定義することができる。図３（Ａ）の場合、観察者は画像表示面に対して手前側の虚像Ｐ１を見る状態で立体視している。この場合、手前側に画像が飛び出して見えるような立体感が得られる。このように手前側に画像が飛び出して見えるような状態の奥行き量を、例えば＋方向と定義することができる。この場合、奥行き量の＋方向の絶対値が大きいほど、より手前側に画像が飛び出して見えるような立体感が得られる。

一方、図３（Ｂ）では、図３（Ａ）の場合とは左右の画像の表示位置が逆となっている。すなわち、図３（Ｂ）では、画像表示面上で右側視差画像５１Ｒが左側視差画像５１Ｌに対して右側に位置している。このような場合、例えば、左側視差画像５１Ｌの視差量は右側視差画像５１Ｒに対して−方向にあると定義することができる。図３（Ｂ）の場合、観察者は画像表示面に対して奥側の虚像Ｐ２を見る状態で立体視している。この場合、基準面に対して奥行き感のある立体感が得られる。このような奥行き感のあるような状態での奥行き量を、例えば−方向と定義することができる。この場合、奥行き量の−方向の絶対値が大きいほど、より奥行き感のある立体感が得られる。

また、視差量と奥行き量の関係は、ディスプレイのサイズおよび視聴距離にも依存する。図４は、表示面のサイズが３．７インチである場合の奥行き量の具体例を示している。また、図５は、図４に示したような視聴距離にある場合の左右方向の視差量と奥行き量との変換関数の一例を示している。図４および図５では、観察者の両眼５Ｌ，５Ｒの中心位置から基準面（表示面）までの距離を３５ｃｍとしている。観察者の左眼５Ｌと右眼５Ｒとの間隔（眼幅）は６．５ｃｍとしている。

図６は、表示面のサイズが４０インチである場合の奥行き量の具体例を示している。また、図７は、図６に示したような視聴距離にある場合の左右方向の視差量と奥行き量との変換関数の一例を示している。図６および図７では、観察者の両眼５Ｌ，５Ｒの中心位置から基準面（表示面）までの距離を３００ｃｍとしている。観察者の左眼５Ｌと右眼５Ｒとの間隔（眼幅）は６．５ｃｍとしている。

（重み付け）
視差画像生成部２３は、図５または図７に示すような所定の変換関数に基づいて、奥行き量から左右方向の視差量を算出することができるが、さらに、この所定の変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によって変化させ、その変化後の変換関数に基づいて左右方向の視差量を算出するようにしても良い。これにより、左右方向の視差画像５１Ｌ，５１Ｒを生成する際に、立体画像表示装置３の表示パネル３２の大きさや視聴者の嗜好に合わせた立体感を調整することができる。例えば視聴者の嗜好に合わせて、立体表示をした場合の手前に飛び出す量や奥行き感に強弱をつけることが可能である。基準となる視差量と奥行き量の関係（図５または図７に示した所定の変換関数）に対し、例えば以下のような重み付けが可能である。ここで示した１〜５の重み付けは関数の一例であり、この他の関数も適用できる。
１．リニア変換
２．平行変換
３．飛び出し側（手前側）重視の変換
４．奥行き側重視の変換
５．１〜４の組み合わせ

図８は、 図５に示した変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によってリニア変換した例を示している。図８における奥行き量分布および視差量分布のグラフにおいて、縦軸のＮ数は、各視差画像のピクセル数を表す。図８では、オリジナルの視差量分布に対して、中心位置を変えずに分布の広がり幅（半値幅）をリニア変換によって変えた例を示している。また、視差量分布に対応する奥行き量分布を示している。具体的には、オリジナルの視差量分布および奥行き量分布に対して分布の広がり幅が小さくなるようにリニア変換した例と、広がり幅が大きくなるようにリニア変換した例とを示している。広がり幅を小さくした場合には、オリジナルに対して立体感（飛び出し感および奥行き感）の小さい立体画像表示を行うことができる。広がり幅を大きくした場合には、オリジナルに対して立体感（飛び出し感および奥行き感）の大きい立体画像表示を行うことができる。

図９は、図５に示した変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によって平行変換した例を示している。図９では、オリジナルの視差量分布に対して、全体形状を変えずに全体の分布位置を平行変換によって変えた（オフセットさせた）例を示している。また、視差量分布に対応する奥行き量分布を示している。具体的には、オリジナルの視差量分布および奥行き量分布に対して飛び出し側への平行変換をした例と、奥行き側への平行変換をした例とを示している。

図１０は、図５に示した変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によって、オリジナルの視差量分布および奥行き量分布に対して、手前への飛び出し感を重視させる変換をした例と奥行き感を重視させる変換をした例とを示している。

［視差画像の生成方法の具体例］
図１１（Ａ）〜（Ｃ）は、視差画像生成部２３による視差画像の生成方法の第１の参考例を示している。この第１の参考例では、視差画像生成部２３は、まず、複数の第１の視差画像（上側視差画像５１Ｕおよび下側視差画像５１Ｄ）の平均画像５１Ａを作成する（図１１（Ａ），（Ｂ））。次に、その平均画像５１Ａに対して、奥行き情報算出部２０で算出された奥行き量に基づいて第２の方向（左右方向）に視差を付加することで、複数の第２の視差画像（左側視差画像５１Ｌおよび右側視差画像５１Ｒ）を生成する（図１１（Ｃ））。

図１２（Ａ），（Ｂ）は、視差画像生成部２３による視差画像の生成方法の第２の参考例を示している。この第２の参考例では、視差画像生成部２３は、まず、複数の第１の視差画像（上側視差画像５１Ｕおよび下側視差画像５１Ｄ）のうちの１つの特定の第１の視差画像（例えば上側視差画像５１Ｕ）をそのまま複数の第２の視差画像（左側視差画像５１Ｌおよび右側視差画像５１Ｒ）のうちの１つの特定の第２の視差画像（例えば左側視差画像５１Ｌ）とする。次に、その特定の第２の視差画像に対して、奥行き情報算出部２０で算出された奥行き量に基づいて第２の方向（左右方向）に視差を付加することで、特定の第２の視差画像以外の他の第２の視差画像（例えば右側視差画像５１Ｒ）を生成する。

図１１の第１の参考例で示した方法によるメリットは、例えば立体撮影カメラ１における第１の撮影部１１と第２の撮影部１２との中心位置から左右方向の視差を付けることになるので、撮影者の意図した画角の立体画像を得ることができる。デメリットとしては、平均画像５１Ａを作成するため、画像処理量が増加する。図１２の第２の参考例で示した方法によるメリットは、画像処理によって左右方向に作成する画像枚数が１枚少なくなるため、画像処理量を軽減することができる。デメリットとしては上下方向の視差画像を１枚そのまま残すことになるため、撮影者の意図とは外れた画角の立体画像が作成される可能性がある。

図１３（Ａ）〜（Ｅ）は、視差画像生成部２３による視差画像の生成方法の実施例を示している。この実施例では、視差画像生成部２３は、まず、複数の第１の視差画像（上側視差画像５１Ｕおよび下側視差画像５１Ｄ）のうちの１つの特定の第１の視差画像（例えば上側視差画像５１Ｕ）を、オリジナルの画像状態でそのまま複数の第２の視差画像（左側視差画像５１Ｌおよび右側視差画像５１Ｒ）のうちの１つの特定の第２の視差画像（例えば左側視差画像５１Ｌ）とする（図１３（Ａ），（Ｂ），（Ｅ））。

また一方で、特定の第１の視差画像に対して、奥行き情報算出部２０で算出された奥行き量に基づいて第２の方向（左右方向）に視差を付加することで、特定の第１の視差画像を基礎とする特定の第２の視差画像以外の他の第２の視差画像（例えば上側視差画像５１Ｕベースの右側視差画像５２）を生成する（図１３（Ａ），（Ｂ））。さらに、特定の第１の視差画像以外の他の第１の視差画像（例えば下側視差画像５１Ｄ）に対して、奥行き情報算出部２０で算出された奥行き量に基づいて第２の方向（左右方向）に視差を付加することで、他の第１の視差画像を基礎とする特定の第２の視差画像以外の他の第２の視差画像（例えば下側視差画像５１Ｄベースの右側視差画像５４）を生成する。この場合において、例えば下側視差画像５１Ｄベースの左側視差画像５３を生成した後で、下側視差画像５１Ｄベースの右側視差画像５４を生成する（図１３（Ｃ），（Ｄ））。これら特定の第１の視差画像を基礎とする他の第２の視差画像（例えば上側視差画像５１Ｕベースの右側視差画像５２）と、他の第１の視差画像を基礎とする他の第２の視差画像（例えば下側視差画像５１Ｄベースの右側視差画像５４）とを合成した画像を、最終的な他の第２の視差画像（例えば右側視差画像５１Ｒ）とする（図１３（Ｂ），（Ｄ），（Ｅ））。

図１４は、視差画像生成部２３による視差画像の生成方法の第３の参考例を示している。図１１〜図１３では、左右方向の２つの視差画像５１Ｌ，５１Ｒを複数の第２の視差画像として生成する例を示したが、３つ以上の第２の視差画像を生成するようにしても良い。これにより、多眼視用の視差画像を生成することができる。図１４の参考例は、図１１の生成方法を応用した手法によって３つ以上の第２の視差画像を生成したものであり、視差画像生成部２３は、まず、複数の第１の視差画像（上側視差画像５１Ｕおよび下側視差画像５１Ｄ）の平均画像５１Ａを作成する（図１４（Ａ），（Ｂ））。次に、その平均画像５１Ａに対して、奥行き情報算出部２０で算出された奥行き量に基づいて第２の方向（左右方向）に視差を付加することで、３つ以上の第２の視差画像（例えば４つの多視差画像５１−１，５１−２，５１−３，５１−４）を生成する（図１４（Ｃ））。また、図１２および図１３の生成方法を応用した手法によって、３つ以上の第２の視差画像を生成するようにしても良い。

［効果］
本実施の形態に係る画像処理装置２によれば、第１の方向（上下方向）に視差のある複数の第１の視差画像（上下方向の視差画像５１Ｕ，５１Ｄ）に基づいて立体表示の奥行き量を算出し、その奥行き量に基づいて第１の方向とは異なる第２の方向（左右方向）に視差のある複数の第２の視差画像（左右方向の視差画像５１Ｌ，５１Ｒ）を生成するようにしたので、例えば立体撮影カメラ１によって、所望とする方向（左右方向）とは異なる方向（上下方向）に撮影されることにより取得された視差画像（上下方向の視差画像５１Ｕ，５１Ｄ）であっても、所望の方向に視差のある視差画像（左右方向の視差画像５１Ｌ，５１Ｒ）へと変換することができる。これにより、立体表示に適した左右方向の視差画像５１Ｌ，５１Ｒを得ることができる。

＜その他の実施の形態＞
本発明は、上記実施の形態の説明に限定されず種々の変形実施が可能である。
例えば、上記実施の形態の説明では、上下方向の視差画像５１Ｕ，５１Ｄから左右方向の視差画像５１Ｌ，５１Ｒを生成する場合を例に挙げたが、本発明は、任意の第１の方向の視差画像から、第１の方向とは異なる第２の方向の視差画像を生成する場合に広く適用可能である。例えば撮影時に斜め方向に撮影してしまったような場合に、斜め方向の視差画像から左右方向の視差画像５１Ｌ，５１Ｒを生成することが考えられる。また上記実施の形態の例とは逆に、左右方向の視差画像５１Ｌ，５１Ｒから上下方向の視差画像５１Ｕ，５１Ｄを生成するような場合にも適用可能である。

１，１０１…立体撮影カメラ、２…視差画像処理装置、３…立体画像表示装置、５Ｌ…左眼、５Ｒ…右眼、１１，１１１…第１の撮影部、１２，１１２…第２の撮影部、２０…奥行き情報算出部、２１…ステレオマッチング部、２２…視差量計算部、２３…視差画像生成部、３１…表示信号処理回路、３２…表示パネル、５１−１，５１−２，５１−３，５１−４…多視差画像、５１Ａ…平均画像、５１Ｌ，１５１Ｌ…左側視差画像、５１Ｒ，１５１Ｒ…右側視差画像、５１Ｕ，１５１Ｕ…上側視差画像、５１Ｄ，１５１Ｄ…下側視差画像、５２…上側画像ベースの右（左）側視差画像、５３…下側画像ベースの左（右）側視差画像、５４…下側画像ベースの右（左）側視差画像。

Claims (5)

1. 第１の方向に視差のある複数の第１の視差画像に基づいて、前記複数の第１の視差画像によって表される立体表示の奥行き量を算出する奥行き情報算出部と、
   前記奥行き情報算出部によって算出された前記奥行き量に基づいて、前記第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像を生成する視差画像生成部と
   を備え、
   前記視差画像生成部は、前記複数の第１の視差画像のうちの１つの特定の第１の視差画像をそのまま前記複数の第２の視差画像のうちの１つの特定の第２の視差画像とし、
   前記特定の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記特定の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成すると共に、前記特定の第１の視差画像以外の他の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記他の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成し、
   前記特定の第１の視差画像を基礎とする前記他の第２の視差画像と、前記他の第１の視差画像を基礎とする前記他の第２の視差画像とを合成した画像を、最終的な他の第２の視差画像とする
   画像処理装置。
2. 前記視差画像生成部は、立体視の視差量と奥行き量との関係を示す所定の変換関数に基づいて、前記奥行き量から前記第２の方向の視差量を算出して、前記複数の第２の視差画
   像を生成する
   請求項１に記載の画像処理装置。
3. 前記視差画像生成部は、前記所定の変換関数によって表される視差量と奥行き量との関係を所定の重み付け関数によって変化させ、その変化後の変換関数に基づいて前記第２の
   方向の視差量を算出する
   請求項２に記載の画像処理装置。
4. 第１の方向に視差のある複数の第１の視差画像に基づいて、奥行き情報算出手段によって、前記複数の第１の視差画像によって表される立体表示の奥行き量を算出し、
   前記奥行き量に基づいて、視差画像生成手段によって、前記第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像を生成し、
   前記視差画像生成部によって、前記複数の第１の視差画像のうちの１つの特定の第１の視差画像をそのまま前記複数の第２の視差画像のうちの１つの特定の第２の視差画像とし、
   前記特定の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記特定の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成すると共に、前記特定の第１の視差画像以外の他の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記他の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成し、
   前記特定の第１の視差画像を基礎とする前記他の第２の視差画像と、前記他の第１の視差画像を基礎とする前記他の第２の視差画像とを合成した画像を、最終的な他の第２の視差画像とする
   画像処理方法。
5. 第１の方向に視差のある複数の第１の視差画像に基づいて、前記複数の第１の視差画像によって表される立体表示の奥行き量を算出する奥行き情報算出部と、
   前記奥行き情報算出部によって算出された前記奥行き量に基づいて、前記第１の方向とは異なる第２の方向に視差のある複数の第２の視差画像を生成する視差画像生成部と、
   前記複数の第２の視差画像に基づいて立体画像表示を行う表示部と
   を備え、
   前記視差画像生成部は、前記複数の第１の視差画像のうちの１つの特定の第１の視差画像をそのまま前記複数の第２の視差画像のうちの１つの特定の第２の視差画像とし、
   前記特定の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記特定の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成すると共に、前記特定の第１の視差画像以外の他の第１の視差画像に対して前記奥行き量に基づいて前記第２の方向に視差を付けることで、前記他の第１の視差画像を基礎とする前記特定の第２の視差画像以外の他の第２の視差画像を生成し、
   前記特定の第１の視差画像を基礎とする前記他の第２の視差画像と、前記他の第１の視差画像を基礎とする前記他の第２の視差画像とを合成した画像を、最終的な他の第２の視差画像とする
   立体画像表示装置。

Images