JP4875762B2 - 画像処理装置、画像表示装置および画像撮像装置 - Google Patents

Description

本発明は立体画像を生成する画像処理装置、当該画像処理装置を備えた画像表示装置、および、当該画像処理装置を備えた画像撮像装置に関する。

左眼用と右眼用の２台のカメラを並べて同時に同一の被写体（以下、同一被写体と略記する）を撮影し、２台のカメラが生成する２つの画像データ（以下、画像と略記する）に対して各種画像処理を実行し、立体画像（ステレオ画像とも言う）を生成する装置が提案されている（特許文献１参照）。

前記２つの画像を重ねた際に生じる画像間のずれを視差と呼ぶ。この視差はカメラと被写体までの距離によって変化する。
例えば、カメラの光軸が平行になるように２台のカメラを直線上に配置し、同一被写体を撮影する場合を想定する。このとき、被写体が遠方にあると、当該被写体の視差はほぼ０になる。そして、カメラと被写体との距離が短くなるにつれて、当該被写体の視差が大きくなる。従って、視差が大きい被写体を含む２つの画像に基づき立体画像を生成し、表示出力すると、前記被写体の飛び出し量が大きくなり（近づいて見える）、立体感が強調される。

しかし、視差をある程度以上に大きくすると、左目で知覚する画像と右目で知覚する画像とが融合せず、二重像が見えてしまい、立体視ができなくなる（融合限界）。さらに、過度の視差による二重像は、視覚疲労の原因となることが知られている。そこで、立体画像を快適に視聴するためには、画像表示時における被写体の奥行き（飛びだし、引っ込み）範囲を制限する必要がある。なお、この制限については、非特許文献１に開示されている。

また、過度の視差による二重像を生じさせることなく立体画像を生成する技術が、例えば前述した特許文献１に開示されている。特許文献１に開示されている技術は、立体画像が観察者の立体視可能な範囲内に表示されるように、奥行き範囲を非線形に制御することで観察者が立体視しやすい画像を生成するものである。

特開２００５−９１５０８号公報

３Ｄコンソーシアム ３ＤＣ安全ガイドライン URL: http://www.3dc.gr.jp/jp/scmt_wg_rep/3dc_guidelineJ_200812.pdf

ところで、立体感を強調したい主要被写体が、撮影可能な最大視差と最小視差との中間付近の視差を有していない場合には、主要被写体の立体感が十分に得られないという課題がある。この課題について、図１６、図１７を用いて具体的に説明する。

図１６は、主要被写体１６００、主要被写体１６０１、背景１６０２を模式的に示した図であり、図示しないカメラからの距離は主要被写体１６００が最も近く、主要被写体１６０１、背景１６０２の順に遠くなるとする。
前述したように、直線上に配置された２台のカメラを用いて主要被写体１６００、１６０１、背景１６０２を撮影した画像に対して各種画像処理を実行し、立体画像を生成し、立体画像表示装置（以下、表示装置と略記する）に表示出力する。

カメラからの距離は主要被写体１６００、１６０１、背景１６０２の順に遠くなるので、主要被写体１６００の視差がγ、主要被写体１６０１の視差がβであるとすると、γ＞βとなる。なお、主要被写体１６００の視差γ、主要被写体１６０１の視差βは、撮影可能な最大視差、最小視差との中間付近の視差ではないとする。背景１６０２は、カメラから最も遠くに位置するので、背景１６０２の視差αは最も小さい。

図１７は、図１６に示した主要被写体１６００、１６０１、背景１６０２を撮影した画像に対して各種画像処理を実行することにより生成された立体画像を表示装置の表示パネルＰに表示した場合に、当該立体画像が視聴者によって知覚される状態を模式的に示す図である。なお、表示パネルＰの“あ”は表示パネルの位置を示している。

主要被写体１６００は位置１７００付近に知覚され、主要被写体１６０１は位置１７０１付近に知覚され、背景１６０２は位置１７０２付近に知覚される。
このように、図１６に示した主要被写体１６００、１６０１、背景１６０２の立体画像を表示パネルＰに表示すると、主要被写体１６００、１６０１が背景１６０２付近に引っ込んでいるように観察者により知覚されてしまう。その結果、被写体の立体感を十分に得ることができず、立体画像としての立体感が弱まって知覚されてしまう。

特に、主要被写体の視差が背景または前景の視差と略一致すると、主要被写体の立体感が大きく損なわれる。

本発明の目的は、上記課題を解決し、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、立体画像中の任意部分の立体感を簡単に調整する画像処理装置を提供することにある。

第１の技術手段は、１視点からの撮影画像と前記撮影画像に対応する視差画像が入力され、前記視差画像の視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素に対し、前記視差の絶対値に比例してぼかし量を大きくするぼかし処理をするぼかし処理部と、前記視差画像の所定範囲外の視差を飽和させる視差補正部と、前記撮影画像の少なくとも一つの主要被写体に対応する視差を所定値に変換する視差変換部と、前記ぼかし処理部でぼかし処理された前記撮影画像および、前記視差補正部によって補正されると共に、前記視差変換部で主要被写体に対応する視差が変換された前記視差画像に基づいて立体画像を生成する画像生成部とを備え、立体画像を生成することを特徴とする画像処理装置である。

第２の技術手段は、第１の技術手段において、前記撮影画像は同一被写体を２つの視点位置から撮影した２つの撮影画像のうちの１つであり、前記視差画像は、前記２つの撮影画像から算出された視差画像であることを特徴とする。

第３の技術手段は、第１または第２の技術手段において、前記視差変換部は、主要被写体に対応する入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする。

第４の技術手段は、第１から第３のいずれかの技術手段において、前記所定値は、０、または、０を基準に所定の範囲内にある値であることを特徴とする。

第５の技術手段は第１から第４のいずれかの技術手段において、前記視差画像の所定範囲は、最小値が前記第１所定値以下でかつ最大値が前記第２所定値以上であることを特徴とする。

第６の技術手段は第１から第５のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像表示装置である。

第７の技術手段は第１から第５のいずれかの技術手段の画像処理装置を備えたことを特徴とする画像撮像装置である。

本発明の画像処理装置によれば、観察者が立体視しやすく疲れにくい立体画像を生成するとともに、視差変換によって立体画像中の任意部分の立体感を簡単に調整することができ、簡単に主要被写体の立体感を強調したり、奥行き感を変更することができる。

第１実施例で説明する画像処理装置の機能ブロック図である。 視差画像について説明する図である。 視差を正規化する視差補正式のグラフである。 視差をクリップする視差補正式のグラフである。 観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。 視差を０、正負の値に増減させた被写体を表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。 正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。 クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。 クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフである。 視聴者によって視差変換後の立体画像が知覚される状態を模式的に示す図である。 第２実施例で説明する画像処理装置の機能ブロック図である。 視差の拡大例を示すグラフである 正規化することにより補正した視差に視差変換を実行する視差変換式のグラフである。 第３実施例で説明する画像処理装置の機能ブロック図である。 視差をクリップする視差補正式のグラフである。 主要被写体、背景を模式的に示した図である。 視聴者によって立体画像が知覚される状態を模式的に示す図である。

（実施例１）
以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
図１は、実施例１で説明する、本発明の画像処理装置１００の機能ブロック図である。
画像処理装置１００は、視差補正部１０１、主要被写体決定部１０２、視差変換部１０３、画像生成部１０４から構成され、１視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成するものである。

外部装置（図示しない）などから入力された視差画像は、視差補正部１０１に入力される。外部装置などから入力された撮影画像は、主要被写体決定部１０２、画像生成部１０４に入力される。

視差補正部１０１は、入力された視差画像の視差を所定の範囲で補正し、補正後の視差が格納された視差画像を視差変換部１０３に出力する。なお、視差画像については、後述する。
主要被写体決定部１０２は、入力された撮影画像の主要被写体を決定し、主要被写体の位置情報を視差変換部１０３に出力する。

視差変換部１０３は、主要被写体決定部１０２から入力される主要被写体の位置情報に基づき、視差補正部１０１から入力される視差画像から、前記主要被写体の画像に対応する視差（補正後）を抽出する。そして抽出した視差を所定の変換式に基づき変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。すなわち、主要被写体決定部１０２で決定された主要被写体の画像に対応する視差が所定値となるように前記視差画像の視差を変換する。前記所定値は、前記主要被写体を立体表示装置に表示したときに、前記主要被写体が表示画面上付近に表示される値である。具体的には、例えば０、または、０を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。
その結果、主要被写体の立体感が強調されるように視差が変換される。

画像生成部１０４は、入力された視差画像と撮影画像に基づいて、左眼用の画像（左画像）と、右眼用の画像（右画像）を生成し、表示装置（図示しない）に出力する。
すなわち、画像生成部１０４は、視差変換部１０３が変換した視差による視差画像と、撮影画像に基づいて立体画像を生成する。

以下に、各機能ブロックの内容について詳細に説明する。まず、視差補正部１０１に入力される視差画像について図２を用いて説明する。

図２（Ａ）は、被写体２０１をカメラ２０２、２０３で撮影している状態を模式的に示した図である。カメラ２０２、２０３の光軸（点線）は平行であり、カメラ２０２、２０３は直線上に配置されている。

図２（Ｂ）は、左側のカメラ２０２によって撮影された被写体２０１の撮影画像（以下、左画像と記す）２０４、右側のカメラ２０３によって撮影された被写体２０１の撮影画像（以下、右画像と記す）２０５を模式的に示した図である。

図２（Ｃ）は、左画像２０４に右画像２０５を重ね合わせた画像を模式的に示し、図２（Ｄ）は、視差画像２０６を示す。

図２（Ｃ）に示すように、右画像２０５の被写体２０１（四角形の点線）は、左画像２０４の被写体２０１（四角形の実線）に対して左側にＸ画素分ずれている。前記Ｘ画素が、２つの撮影画像（左画像２０４、右画像２０５）おける同一被写体２０１のずれを示す視差である。

視差画像とは、同一被写体を２つの視点位置から撮影した２つの撮影画像における同一被写体のずれを示す視差を被写体の画素と対応して画素毎に格納した画像を意味する。前述の例では、左画像２０４の被写体に対応して視差画像の画素毎に当該被写体の視差が格納されている。

図２（Ｄ）では、視差画像２０６の画素２０６ａに被写体２０１の視差Ｘが格納されている状態を模式的に示している。
視差画像２０６の他の画素２０６ｂにも、画素２０６ｂに対応する左画像２０４の被写体の視差が格納されている。
なお、視差の単位は画素でもよいし距離でもよい。

視差補正部１０１は、過度の視差を抑制するため、視差画像の視差の補正を行う。この視差の補正は後に述べる周知の方法で補正できる。
視差補正方法には、代表的な２つの方法がある。１つは視差を正規化する方法、もう１つは視差をクリップする方法である。視差を正規化すると、視差が飽和せずに、全体の奥行き関係が保存され、視差をクリップすると、立体視可能な範囲内の視差を持つ被写体の奥行き量は保持される特徴がある。

正規化する方法により視差補正を実行する例を図３に、クリップする方法により視差補正を実行する例を図４に示す。
図３は、視差を正規化する視差補正式のグラフを示し、前記視差補正式は、（式１）で表される。

図４は、視差をクリップする視差補正式のグラフを示し、前記視差補正式は、（式２）〜（式４）で表される。

横軸は入力視差Ｄ_ｉｎ、縦軸は出力視差Ｄ_ｏｕｔを示す。入力視差とは、視差補正部１０１に入力される視差画像の視差（補正前の視差）を意味し、出力視差とは、視差補正部１０１から出力される視差画像の視差（補正後の視差）を意味する。また、式中のｄ_ｉｎは入力視差Ｄ_ｉｎに対応し、式中のｄ_ｏｕｔは出力視差Ｄ_ｏｕｔに対応する。

Ｄ_{ｉｎ＿ｍｉｎ}は入力視差画像の最小視差、Ｄ_{ｉｎ＿ｍａｘ}は入力視差画像の最大視差である。
Ｄ_{ｏｕｔ＿ｍｉｎ}は立体視可能な視差の最小値、Ｄ_{ｏｕｔ＿ｍａｘ}は立体視可能な視差の最大値であり、融合限界の視差に対応する。

線３００は視差補正を行う前の入力視差と出力視差の関係を表し、視差補正前では、入力視差と出力視差は同値である。線３０１は視差補正前の入力視差Ｄ_ｉｎと視差補正後の出力視差Ｄ_ｏｕｔの関係を表す。

図３の方法では、Ｄ_{ｉｎ＿ｍａｘ}（入力視差の最大値）をＤ_{ｏｕｔ＿ｍａｘ}（立体視可能な視差の最大値）に割り当て、Ｄ_{ｉｎ＿ｍｉｎ}（入力視差の最小値）をＤ_{ｏｕｔ＿ｍｉｎ}（立体視可能な視差の最小値）に割り当てることで、視差を飽和させずに全体の奥行き関係を保ちながら立体視可能な範囲に視差を補正している。

図４の方法では、Ｄ_{ｏｕｔ＿ｍａｘ}（立体視可能な視差の最大値）以上の入力視差をＤ_{ｏｕｔ＿ｍａｘ}にする補正を行い、Ｄ_{ｏｕｔ＿ｍｉｎ}（立体視可能な視差の最小値）以下の入力視差をＤ_{ｏｕｔ＿ｍｉｎ}にする補正を行う。このように、立体視不可能な視差を立体視可能な視差に飽和させることで、奥行き量を保ちながら立体視可能な範囲に視差を補正している。

前記した立体視可能な両眼視差の範囲は、表示装置の画面サイズと観察者の視聴距離に依存し、非特許文献１には、立体視可能な両眼視差の範囲（融合限界）は最大２度程度、快適に立体画像を視聴できる両眼視差の範囲は１度以下であると記載されている。

立体画像を表示する表示装置の画面サイズと、画面サイズに応じた標準視聴距離に基づき、Ｄ_{ｏｕｔ＿ｍｉｎ}およびＤ_{ｏｕｔ＿ｍａｘ}を決定する場合、非特許文献１の基準を用いると、例えば、４０インチＨＤ（１９２０×１０８０）解像度のときは表示装置（表示パネル）の位置を基準にして−１３０画素が最小視差、１３０画素が最大視差となる。

視差補正部１０１により補正された視差が格納された視差画像は、視差変換部１０３に出力される。

主要被写体決定部１０２は、入力される撮影画像の被写体の中から主要被写体を決定し、主要被写体の位置情報、例えば、主要被写体の画素位置を示す座標情報を視差変換部１０３に出力する。主要被写体の決定は周知の方法で実現できる。例えば、撮影画像の中から焦点が合っている被写体を選択し、当該被写体を主要被写体と決定する方法や、撮影画像に対してパターン認識処理を実行することにより抽出された被写体を主要被写体と決定する方法、ユーザ自らが主要被写体を決定する方法がある。他にも、顔認識技術を使って特定人物を主要被写体と決定してもよい。

視差変換部１０３は、主要被写体決定部１０２で決定された主要被写体の画像に対応する視差が所定値となるように変換する。具体的には、前記被写体の立体感が強調されるように視差を変換する。図２の例では、被写体２０１が主要被写体とすると、被写体２０１の視差Ｘが主要被写体の画像に対応する視差（変換対象の視差）である。

ここで、視差を０、正負の値に増減させた被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図５、図６を用いて説明する。
図５は、観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。奥行き量とは飛び出し量と引っ込み量のことであり、飛び出し量とは実際の表示位置よりも観察者の方へ近づいて見える量で、引っ込み量とは実際の表示位置よりも観察者から遠ざかって見える量のことである。

すなわち、ある被写体を表示装置に表示させたとき、その被写体の視差が正の値に大きくなるほど飛び出して見え、負の値に大きくなるほど引っ込んで見える。また、視差が０の被写体は、左右画像にずれが生じないので表示装置に表示しても、知覚される位置は表示画面上であり、２Ｄで知覚される奥行き位置に違いは生じない。そのため、視差が０の画像を表示装置で表示しても観察者には奥行きがあるようには知覚されず、実際の表示位置と同じ位置に２Ｄ表示されているように知覚される。この視差が０の被写体を表示装置に表示させることを、被写体が表示画面上に表示されているという。この視差０、または、０を基準に所定の範囲内にある値が、前記所定値に該当する。

図６は、視差を０、正負の値に増減させた被写体を表示装置に表示した場合に、観察者によってどのように知覚されるかを模式的に説明する図である。
図６に示す被写体Ａの手前側面の視差をＤ_ｉｎ（入力視差）とする。ここで、視差Ｄ_ｉｎの値を０に変換、すなわち、変換後の視差を０（以下、変換後の視差をＤ_ｏｕｔと記す）にして、視差が０の被写体Ａを表示装置Ｐに表示すると、被写体Ａは、観察者によって、表示装置Ｐの画像表示面である位置６００付近に知覚される。

また、Ｄ_ｏｕｔを正の値にすると被写体Ａは位置６０１のように画像表示面の手前側に飛び出すように知覚される。Ｄ_ｏｕｔを負の値にすると被写体Ａは位置６０２のように画像表示面の奥側に引っ込んで知覚される。

前記視差の変換は、例えば、図７、８に示す視差変換式によって実行することができる。
図７は、図３に示した、正規化することにより補正した視差に視差変換を実行する視差変換式のグラフを示し、図８は、クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフを示す。

図７の視差変換式は、（式５）、（式６）で表される。

図８の視差変換式は、（式７）〜（式１０）で表される。

ここで、入力視差Ｄ_ｉｎは視差変換前の視差を示し、Ｄ_{ｉｎ＿ｍａｘ}は視差変換前の最大視差、Ｄ_{ｉｎ＿ｍｉｎ}は視差変換前の最小視差を示す。
出力視差Ｄ_ｏｕｔは視差変換後の視差を示し、Ｄ_{ｏｕｔ＿ｍａｘ}は視差変換後の最大視差、Ｄ_{ｏｕｔ＿ｍｉｎ}は視差変換後の最小視差を示す。
線３０２は視差変換前の入力視差Ｄ_ｉｎと視差変換後の出力視差Ｄ_ｏｕｔの関係を表す。Ｄ_ｉｎ０、Ｄ_ｏｕｔ０については任意の値とすることができる。

また、式中のｄ_ｉｎは視差変換前の入力視差Ｄ_ｉｎに対応し、式中のｄ_ｏｕｔは視差変換後の出力視差Ｄ_ｏｕｔに対応する。

ここで、図７、図８のグラフについて、図６を参照しながら説明する。
図７のグラフによれば、入力視差は減らされ、図８のグラフによれば、入力視差は増やされる。

図６で説明した被写体Ａが位置６００付近に知覚されている状態において、図７のグラフに示した視差変換式を用いて被写体Ａの視差を減らして負の値に変換すると、被写体Ａは、位置６０２のように画像表示面の奥側に引っ込んで知覚される。
図６で説明した被写体Ａが位置６００付近に知覚されている状態において、図８のグラフに示した変換式を用いて被写体Ａの視差を増やして正の値に変換すると、被写体Ａは、位置６０１のように画像表示面の手前側に飛び出すように知覚される。

図７、図８に示したように、Ｄ_ｉｎ０を境に、Ｄ_ｉｎ０よりも小さい視差の範囲と、Ｄ_ｉｎ０よりも大きい視差の範囲とで変換式を変えている。すなわち、主要被写体から背景までの奥行き量を大きくしたり、小さくしたりすることが可能であり、簡単に立体感を強調することができる。

以下に、図１６に示した主要被写体の視差を例えば、図８で説明した視差変換式を用いて変換し、視差変換後の主要被写体を表示装置に表示した場合、観察者によってどのように知覚されるかを図９、図１０を用いて説明する。図９の視差変換式は、図８の視差変換式と同じ変換式である。

図１６の主要被写体１６００の視差γは、図９に示す視差変換式により、視差γ’に増やされる。また、図１６の主要被写体１６０１の視差βは、図９に示す視差変換式により、視差β’に増やされる。

図１０は、視差変換後の立体画像が知覚される状態を模式的に示す図である。
視差を増やすことにより、主要被写体１６００は位置１０００付近に知覚され、主要被写体１６０１は位置１００１付近に知覚されるようになる。このようにすることで、奥行き量を拡大することができ、立体感が強調される。
図１７と比べると、視差を増やすことにより、背景１６０２の位置と、主要被写体１６００、１６０１との位置の違いがはっきりと知覚されるようになる。その結果、立体感が強調された画像表示が可能になる。

このように主要被写体の視差を変換することで、主要被写体と当該主要被写体の周辺部との立体感を強調できる。主要被写体に厚みがある場合は、主要被写体の最大視差と最小視差の平均値を主要被写体の視差とする。また、主要被写体が複数ある場合は、複数の主要被写体の最大視差と最小視差の平均値を、各主要被写体の視差とする。このようにすることにより、主要被写体の厚みを考慮して、主要被写体の視差（表示位置）を変換することができるため好適である。また、視差の平均値は領域の面積を考慮して算出する方が、被写体の重心を考慮して表示位置を変換することができるため好適である。

前述したように、視差変換部１０３は、視差補正部１０１から入力される視差画像の中から、主要被写体決定部１０２が決定した主要被写体の視差（補正後）を画素毎に抽出し、この抽出した画素毎の視差を、図７または図８に示した所定の変換式に基づき変換し、変換後の視差を当該主要被写体の画素毎に格納する。そして、変換後の視差が格納されている視差画像を画像生成部１０４に出力する。

画像生成部１０４は、外部装置などから入力された撮影画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。
ここで、立体画像生成方法を以下に述べる。撮影画像をＩ、視差画像をＤ、出力画像をＯとする。画像中の座標（ｘ、ｙ）における画素値をＩ（ｘ、ｙ）とＤ（ｘ、ｙ）で表す。（式１１）を用いて撮影画像Ｉから出力画像Ｏへ視差分水平移動した画像を作成する。

このとき、画素が重なった場合は視差の大きな画素（カメラに近い場所にある被写体）を用い、画素が埋まらなかった場合は上下左右の画素を用いて補間する。撮影画像Ｉを左画像、出力画像Ｏを右画像として出力する。

以上の構成により、主要被写体と前景または背景との視差の値が小さくても、視差を変換することで、主要被写体と前景または背景との視差の差を大きくすることができる。
その結果、主要被写体と前景または背景との奥行き量を変換し、観察者が立体視可能な範囲内で立体感を強調した画像を生成することができる。

本実施例では、視差補正部１０１、視差変換部１０３において、線形変換を用いて視差の補正、変換を行ったが、非線形変換を用いても同様の効果を得ることができる。
本実施例では、Ｄ_ｉｎ０とＤ_ｏｕｔ０という入力視差と出力視差の１組を用いたが、２組以上を用いて視差の変換を行っても、同様の効果を得ることができる。

（実施例２）
以下、本発明の実施例２について図面を参照して詳細に説明する。ただし、実施例１と同様の機能を有する部分については同一の符合を付している。
図１１は、実施例２で説明する、本発明の画像処理装置１１００の機能ブロック図である。
画像処理装置１１００は、図１で説明した画像処理装置１００に、視差算出部１１０１を追加したもので、同一被写体を２つの視点位置から撮影した２つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成するものである。

同一被写体を少なくとも２つの視点位置から撮影した２つの撮影画像は、視差算出部１１０１に入力される。また、２つの撮影画像の何れか１つが、主要被写体決定部１０２、画像生成部１０４に入力される。２つの撮影画像の１つの撮影画像は、被写体に向かって左側のカメラが撮影した撮影画像であり、これを左画像と呼ぶ。もう１つの撮影画像は、被写体に向かって右側のカメラで撮影した撮影画像であり、これを右画像と呼ぶ。
左画像、右画像は、視差算出部１１０１に入力され、左画像は、主要被写体決定部１０２、画像生成部１０４に入力される。

視差算出部１１０１は、左画像と右画像に基づき、視差を算出する。そして、算出した視差に基づき、実施例１で説明した視差画像を生成する。視差の算出には、周知の技術を用いることができ、例えばブロックマッチング法を用いることができる。ブロックマッチング法は、適切に定めたブロック単位で左右画像間の照合を行い、画像間で最も類似するブロックを対応するブロックとし、視差の算出を行う方法である。

視差算出部１１０１は、生成した視差画像を視差補正部１０１に出力する。
視差補正部１０１は、実施例１で説明したように、視差算出部１１０１から入力される視差画像の視差を所定の範囲で補正する。すなわち、視差算出部１１０１で算出した視差を所定の範囲で補正する。

この補正時に、左画像を撮影したカメラと右画像を撮影したカメラの間隔（基線長）を超えるような視差調整を行うことも可能である。立体画像を撮影する際、基線長は６５ｍｍに設定されることが多い。これは、人間の目の幅が約６５ｍｍだからである。
しかしながら、カメラの設置位置の関係上、基線長６５ｍｍ以下での撮影を余儀なくされることもある。同じ被写体を同じ構図で撮影した場合、基線長が短くなるにつれて視差が減少するため、奥行き感が減少してしまう。視差補正部１０１は、入力視差の最小値と最大値を拡大する補正をすることで、この奥行き感の減少を防ぐ。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。

図１２は、視差の拡大例を示すグラフである。図中の横軸縦軸などは、図３と同じなので説明を省略する。短い基線長で撮影された左右画像に基づき生成された視差画像の視差は、線３００である。例えば、Ｄ_{ｉｎ＿ｍａｘ}（視差画像の最大視差）が１００、Ｄ_{ｏｕｔ＿ｍａｘ}（立体視可能な視差の最大値）が２００であったとする。視差補正前の値では、視差１００の範囲でしか表示できない。そこで、前述した（式１）を用いることで、線３００で示す視差を線３０１で示す視差に補正する。

（式１）を用いて視差を補正すると、Ｄ_{ｉｎ＿ｍａｘ}はＤ_{ｏｕｔ＿ｍａｘ}に補正される。視差補正後の値では、表示装置における出力視差の最大値まで表示可能となる。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。さらに、表示装置の奥行き量に合わせて立体感の強調を行うこともできる。

視差補正部１０１は、補正後の視差が格納された視差画像を、視差変換部１０３に出力する。
視差変換部１０３は、前述のようにして、主要被写体の視差を、図７に対応する図１３に示す視差変換により変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。図１３の視差変換には、前述した（式５）、（式６）を用いる。

すなわち、主要被写体決定部１０２で決定された主要被写体に対応する視差が所定値となるように視差算出部１１０１で算出した視差（視差算出部１１０１が作成した視差画像の視差）を変換する。前記所定値は、例えば０であり、または、０を基準に所定の範囲内にある値である。なお、前記所定値は調整可能である。

画像生成部１０４は、外部装置などから入力された左画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。立体画像の生成は、実施例１で説明したので省略する。

以上の構成により、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、短い基線長で撮影された左右画像に基づき生成した視差画像の視差を補正することにより、あたかも長い基線長で撮影されたかのような画像を生成することができる。これは、内視鏡カメラや小型の機器に内蔵されたカメラの左右画像など、基線長を長くできない状況で撮影された左右画像に基づき立体画像を生成し、被写体の立体感を強調する場合に特に有効である。

（実施例３）
以下、本発明の実施例３について図面を参照して詳細に説明する。ただし、実施例１と同様の機能を有する部分については同一の符合を付している。
図１４は、実施例３で説明する、本発明の画像処理装置１４００の機能ブロック図である。
図１４の画像処理装置１４００は、図１で説明した画像処理装置１００にぼかし処理部１４０１を追加したものである。

外部装置などから入力された視差画像は、視差補正部１０１およびぼかし処理部１４０１に入力される。外部装置などから入力された撮影画像は、主要被写体決定部１０２およびぼかし処理部１４０１に入力される。

ぼかし処理部１４０１は、入力された視差画像と撮影画像に基づき、視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素値に対してぼかし処理を実行する。そして、ぼかし処理を実行した撮影画像を画像生成部１０４に出力する。なお、第１所定値＜第２所定値である。このとき、ぼかし処理部１４０１は、前記撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。

図２の例では、被写体２０１の視差Ｘが第１所定値以下または第２所定値以上の場合、ぼかし処理部１４０１は、被写体２０１に対応する撮影画像の画素値に対してぼかし処理を実行する。

図１５を用いて第１所定値、第２所定値について説明する。図１５は、図４のグラフに対応するグラフである。第１所定値以下とは、符号１５００で示す視差の範囲であり、第２所定値以上とは、符号１５０１で示す範囲である。
ぼかし処理部１４０１が、第１所定値以下（符号１５００で示す範囲）の視差の被写体、すなわち、Ｄ_{ｏｕｔ＿ｍｉｎ}（立体視可能な視差の最小値）以下の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が小さい（被写体がカメラ位置から遠ざかる）ほど、前記被写体のぼかし量を大きくする。

この処理により、立体視可能な視差の範囲よりも引っ込んで知覚される領域がぼかされた画像が生成される。このぼかし処理が施された画像は、実際に撮影したときよりも、被写界深度を浅くしたように表示される。被写界深度を浅くした画像は、被写体とカメラとの距離に応じて背景がぼかされているので奥行き感を感じやすくなる。

ぼかし処理部１４０１が、第２所定値以上（符号１５０１で示す範囲）の視差の被写体、すなわち、Ｄ_{ｏｕｔ＿ｍａｘ}（立体視可能な視差の最大値）以上の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が大きい（被写体がカメラ位置に近づく）ほど、前記被写体のぼかし量を大きくする。

この処理により、立体視困難な範囲をぼかすことができるので、見やすい立体画像を得ることができる。さらに、第１所定値以下の視差の被写体、および、第２所定値以上の視差の被写体を同時にぼかした場合、立体視可能な範囲の誘目性が高まった立体画像を得ることができる。

なお、ぼかし処理は周知の方法で実現することができる。代表的なぼかし処理の方法として、平滑化フィルタやガウシアンフィルタなどがある。平滑化フィルタは、注目画素周辺の画素値を用いて、画素値を平均し、処理後の画像の画素値とする手法である。ぼかし対象となる被写体の注目画素に対して、３×３の８近傍の画素値を用いて平均したり、５×５の２４近傍の画素値を用いて平均したりできる。平均に用いる周辺画素値を増やすと、処理後の画素値のぼかし量が大きくなる。

すなわち、第１所定値以下（Ｄ_{ｏｕｔ＿ｍｉｎ}以下）の視差の被写体をぼかし対象とした場合は、視差とぼかし量を反比例させ、第２所定値以上（Ｄ_{ｏｕｔ＿ｍａｘ}以上）の視差の被写体をぼかし対象とした場合は、視差とぼかし量を比例させる。
すなわち、ぼかし処理部１４０１は、撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。

このぼかし処理を施すことで、立体視困難な範囲に含まれる視差がクリップされた場合でも、奥行き関係を保持することができる。そして、撮影画像の画素ごとに視差に応じてぼかし処理を行うので、視差に応じて各画素のぼけの大きさが異なり、均一なぼかしではなくカメラで撮影した画像と同様のぼかし効果が得られる。

ぼかし処理部１４０１は、ぼかし処理実行後の撮影画像を画像生成部１０４に出力する。

また、視差補正部１０１は、図４で説明したように、視差をクリップする方法で補正し、補正後の視差が格納された視差画像を、視差変換部１０３に出力する。視差変換部１０３は、前述のようにして、主要被写体の視差を変換し、変換後の視差が格納された視差画像を画像生成部１０４に出力する。

画像生成部１０４は、ぼかし処理部１４０１から入力された撮影画像と視差変換部１０３から入力された視差画像に基づき、立体画像を生成する。

以上の構成により、視差変換を行うことで、観察者が立体視可能な範囲内で立体感を強調した画像を簡単に生成できる。さらに、視差補正実行前の視差画像に基づいて撮影画像にぼかし処理を施すことにより、視差が飽和している範囲でもぼかし量が一定になることなく、立体感の強調された立体画像を生成することができる。

本発明の画像処理装置によれば、立体視可能な範囲内で被写体と背景（あるいは前景）との立体（奥行）感を強調させた立体映像を簡易に生成することができる。

以上説明した実施例は、画像処理装置に搭載される集積回路／チップセットにも適用される。

本発明の画像処理装置は、立体画像の表示が可能な画像表示装置に適用することができる。本発明の画像処理装置を備えることにより、立体感が強調された画像表示が可能となる。表示面の大きさや解像度が異なる様々な画像表示装置に本発明の画像処理装置を適用することも可能である。

また、立体画像の撮影が可能な画像撮像装置にも適用することが可能で、立体画像の撮影結果をプレビューしながら撮影することが可能となるため好適である。

１００，１１００，１４００…画像処理装置、１０１…視差補正部、１０２…主要被写体決定部、１０３…視差変換部、１０４…画像生成部、１１０１…視差算出部、１４０１…ぼかし処理部、２０１…被写体、２０２，２０３…カメラ、２０４…左画像、２０５…右画像、２０６…視差画像、２０６ａ，２０６ｂ…画素。

Claims (7)

1. １視点からの撮影画像と前記撮影画像に対応する視差画像が入力され、
   前記視差画像の視差が第１所定値以下または第２所定値以上の被写体に対応する前記撮影画像の画素に対し、前記視差の絶対値に比例してぼかし量を大きくするぼかし処理をするぼかし処理部と、
   前記視差画像の所定範囲外の視差を飽和させる視差補正部と、
   前記撮影画像の少なくとも一つの主要被写体に対応する視差を所定値に変換する視差変換部と、
   前記ぼかし処理部でぼかし処理された前記撮影画像および、前記視差補正部によって補正されると共に、前記視差変換部で主要被写体に対応する視差が変換された前記視差画像に基づいて立体画像を生成する画像生成部とを備え、立体画像を生成することを特徴とする画像処理装置。
2. 前記撮影画像は同一被写体を２つの視点位置から撮影した２つの撮影画像のうちの１つであり、前記視差画像は、前記２つの撮影画像から算出された視差画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記視差変換部は、主要被写体に対応する入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記所定値は、０、または、０を基準に所定の範囲内にある値であることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 前記視差画像の所定範囲は、最小値が前記第１所定値以下でかつ最大値が前記第２所定値以上であることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
6. 請求項１から５のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
7. 請求項１から５のいずれか１項に記載の画像処理装置を備えたことを特徴とする画像撮像装置。

Images