JP5581452B2 - 視差量調整装置およびその動作制御方法 - Google Patents

Description

この発明は，視差量調整装置およびその動作制御方法に関する。

従来，いわゆるステレオ・カメラ撮影により取得された水平視差を有する左右一対の画像を，３Ｄ画像として表示する装置がある。昨今では，テレビ，スマートフォン，ディジタル・カメラなどの家庭用電化製品にも３Ｄ表示機能をもつディスプレイを備えたものが登場している。

３Ｄの奥行きや飛び出しの感じ方には個人差があるために，３Ｄ表示装置にはユーザに対する視差（立体感）調整機構が設けられていることが多い。一般的には，３Ｄ画像を見ながら，左右画像を水平方向に移動することで視差を調整する。

各視点画像の相互の視差の調整が可能な立体視画像処理装置（特許文献１），立体視の視差量を調整できる立体画像表示装置（特許文献２），輻輳点を調整する装置（特許文献３）などもある。

特開2005-130310号公報 特開2004-289527号公報 特開平9-201472号公報

しかしながら，水平視差の大きな左右画像にもとづく３Ｄ画像は過度な飛び出し，奥行きを与えるため，その画像を見ながら視差調整することは難しい。

この発明は，適切な視差調整ができるようにすることを目的とする。

この発明による視差量調整装置は，視点の異なる第１の画像と第２の画像とのうち，第１の画像を基準として，画素ごとに第２の画像との間の視差量を算出する視差量算出手段，上記視差量算出手段によって算出された視差量と所定の許容視差量（許容視差量とは，適切な立体視が可能な視差量の目安を与えるもので，表示ディバイスのサイズ，立体表示方式に依存する。）とにもとづいて，第１の画像および第２の画像の縮小率を決定する縮小率決定手段，上記縮小率決定手段によって決定された縮小率で第１の画像および第２の画像を縮小する縮小手段，上記縮小手段によって縮小された第１の画像および第２の画像からなる立体画像を表示画面に表示するように表示装置を制御する立体画像表示制御手段，ならびに視差量の調整指示を受け付け，指示された調整量に応じて，上記縮小手段によって縮小された第１の画像と第２の画像との視差量を調整する第１の視差量調整手段を備えていることを特徴とする。

この発明は，上記視差量調整装置に適した動作制御方法も提供している。すなわち，この方法は，視差量算出手段が，視点の異なる第１の画像と第２の画像とのうち，第１の画像を基準として，画素ごとに第２の画像との間の視差量を算出し，縮小率決定手段が，上記視差量算出手段によって算出された視差量と所定の許容視差量とにもとづいて，第１の画像および第２の画像の縮小率を決定し，縮小手段が，上記縮小率決定手段によって決定された縮小率で第１の画像および第２の画像を縮小し，立体画像表示制御手段が，上記縮小手段によって縮小された第１の画像および第２の画像からなる立体画像を表示画面に表示するように表示装置を制御し，視差量調整手段が，視差量の調整指示を受け付け，指示された調整量に応じて，上記縮小手段によって縮小された第１の画像と第２の画像との視差量を調整するものである。

この発明によると，視点の異なる第１の画像と第２の画像とのうち，第１の画像を基準として，画素ごとに第２の画像との間の視差量が算出され，算出された視差量にもとづいて（視差量が許容視差量となるように）第１の画像と第２の画像との縮小率が決定される。決定された縮小率で第１の画像と第２の画像とが縮小される。縮小した第１の画像と第２の画像とが表示画面に表示され，その表示画面に表示されている，縮小した第１の画像と第２の画像とを見ながら視差量が調整される。

大きな画像は視差量が大きい。このために立体視しづらく，視差量調整も難しい。この発明によると，第１の画像と第２の画像とは縮小され，縮小された状態で第１の画像と第２の画像との視差量が調整されるので，視差量調整がしやすくなる。

上記縮小手段による縮小前の上記視点の異なる第１の画像と第２の画像との各画素の視差量を，上記視差量調整手段によって視差量が調整され，かつ縮小されている第１の画像と第２の画像とを上記縮小手段による縮小前の大きさとなるように拡大したときの視差量とする第２の視差量調整手段をさらに備えることが好ましい。

上記第２の視差量調整手段は，たとえば，第１の画像と第２の画像との視差量が許容視差量以下となるように視差量を調整するものである。

上記縮小率決定手段は，たとえば，第１の画像の画素のうち，所定数以上の画素の視差量が許容視差量となるように縮小率を決定するものである。

上記視差量算出手段は，たとえば，第１の画像を基準として，第１の画像を所定の大きさをもつブロックに分割した場合において，ブロックごとに第２の画像との間の視差量を算出するものであり，上記縮小率決定手段は，たとえば，許容視差量以上の視差量をもつブロックの数がしきい値以上となる，そのようなブロックの視差量の絶対値のうち最大の視差量が許容視差量となるように縮小するものである。

上記縮小手段によって縮小された第１の画像および第２の画像のコントラストを下げる第１のコントラスト調整手段，ならびに上記第２の視差量調整手段によって視差量が調整された第１の画像および第２の画像のコントラストを，上記コントラスト調整手段によるコントラスト調整前のコントラストに戻す第２のコントラスト調整手段をさらに備えてもよい。

上記視差量算出手段は，たとえば，第１の画像と第２の画像とのうち，もっとも手前にある被写体像の視差量を算出するものである。

上記視差量算出手段は，第１の画像および第２の画像から，あらかじめ定められている所定の被写体の視差量を算出するものでもよい。この場合，上記縮小率決定手段は，たとえば，上記視差量算出手段によって算出された所定の被写体の視差量を算出するものとなろう。

上記拡大手段による拡大後の第１の画像と第２の画像との視差量が，上記視差量調整手段によって調整された視差量と同じとなるように上記拡大手段による拡大処理を行うようにしてもよい。

画像ビューワの電気的構成を示すブロック図である。 画像ビューワの処理手順を示すフローチャートである。 画像ビューワの処理手順を示すフローチャートである。 左視点画像および右視点画像の一例を示している。 立体画像の一例である。 視差ヒストグラムの一例である。 立体画像の一例である。 視差ヒストグラムの一例である。 立体画像の一例である。 視差ヒストグラムの一例である。 立体画像の一例である。 視差ヒストグラムの一例である。 画像縮小判定処理手順を示すフローチャートである。 画像処理判定処理手順を示すフローチャートである。 視差ヒストグラムの一例である。 視差ヒストグラムの一部を拡大している。 視差ヒストグラムの一部を拡大している。 画像ビューワの処理手順を示すフローチャートである。 画像ビューワの処理手順を示すフローチャートである。 縮小された立体画像の一例である。 縮小された立体画像の一例である。

図１は，この発明の実施例を示すもので，画像ビューワ１の電気的構成を示すブロック図である。

この実施例による画像ビューワ１は，立体画像を表示できるもので，立体視しやすいように視差調整を行うことができる。視差が大きすぎると，立体視しづらいので，この実施例では，立体画像を縮小させて視差調整を行うことができる。

画像ビューワ１の全体の動作は，ＣＰＵ２によって統括される。

画像ビューワ１には，上述したように，視差調整のための調整量を画像ビューワ１に与えるための調整つまみ，その他指令を与える操作装置を含むユーザ・インターフェイス３，視差調整装置４，画像縮小処理が必要かどうかを判定する画像縮小判定装置５および立体画像の視差量を算出するために左視点画像と右視点画像との画素ごとの一致を判定するステレオ・マッチング装置６が含まれている。

また，画像ビューワ１には，立体画像を表示する立体画像表示装置７，立体画像の拡大および縮小を行う画像拡大／縮小装置８，所定のデータを記憶するメモリ９，画像データの圧縮および伸張を行う圧縮／伸張装置10およびメモリ・カード12にアクセスする外部メディア・インターフェイス11が含まれている。メモリ・カード12に立体画像を表わす立体画像データ（左視点画像を表わす画像データおよび右視点画像を表わす画像データ）が格納されている。

図２および図３は，画像ビューワ１の処理手順を示すフローチャートである。

まず，メモリ・カード12から所望の左視点画像を表わす画像データおよび右視点画像を表わす画像データが読み取られる（図２ステップ21）。

図４は左視点画像40Ｌおよびは右視点画像40Ｒの一例である。

図４の左側を参照して，左視点画像40Ｌは，左視点で撮像することにより得られた画像である。この左視点画像40Ｌには，人物像41Ｌおよび山の背景画像43Ｌが含まれている。図４の右側を参照して，右視点画像40Ｒは，右視点で撮像することにより得られた画像である。この右視点画像40Ｒには，左視点画像40Ｌに含まれている人物像41Ｌおよび山の背景画像43Ｌにそれぞれ対応した人物像41Ｒおよび背景画像43Ｒが含まれている。

図４の左側に示す左視点画像40Ｌと図４の右側に示す右視点画像40Ｒとは異なる視点で撮像されたものであるから視差がある。

これらの左視点画像40Ｌと右視点画像40Ｒとの間でステレオ・マッチングが行われ（図２ステップ22），左視点画像40Ｌと右視点画像40Ｒとのうち，左視点画像40Ｌ（または右視点画像40Ｒ）を基準として，画素ごとに右視点画像40Ｒ（または左視点画像40Ｌ）との間の視差量が算出される。もっとも，画素ごとに視差量が算出されずとも，左視点画像40Ｌ（または右視点画像40Ｒ）を所定の大きさをもつブロックに分割した場合において，ブロックごとに右視点画像40Ｒ（または左視点画像40Ｌ）との間の視差量を算出するようにしてもよい。画素をブロックと考えることもできる。マッチングにはブロック・マッチングが利用できるほか，Kanade-Lucas-Tomasiの特徴点トラッカー，SIFT（Scale Invariant Feature Transform）などを利用できる。

つづいて，左視点画像40Ｌと右視点画像40Ｒとの間の視差ヒストグラムが生成され，生成された視差ヒストグラムにもとづいて，画像縮小判定が行われる（図２ステップ23）。

図５は，立体画像52の一例である。

視差のある左視点画像40Ｌと右視点画像40Ｒとが表示画面50に表示されることにより，立体画像52が得られる。立体画像52の大きさは，表示画面50の大きさよりも小さいので立体画像52の周りに枠51（ハッチングで示す）が現れている。背景画像43Ｌと43Ｒによって表わされる山の背景の前方に，人物像41Ｌと41Ｒとによって表わされる人物が存在している。この実施例では，その人物が見やすくなるように視差が調整されるものである。人物像41Ｌと41Ｒとの視差はｄ１で表されている。たとえば，人物像41Ｌと41Ｒとの視差が大きすぎると，立体視しづらいので視差調整もしづらい。視差ヒストグラムにもとづいて，左視点画像40Ｌと右視点画像40Ｒとから構成される立体画像が見づらいと考えられると，画像縮小処理が行われる。画像縮小処理が行われることにより，左視点画像40Ｌと右視点画像40Ｒとの視差が小さくなるので，立体視しやすくなり，視差調整もし易くなる。立体画像が見づらくなければ，画像縮小処理は行われない。画像縮小判定の詳細は，後述する。

図６は，図５に示す立体画像52の視差ヒストグラムの一例である。

図６において，横軸は視差量であり，縦軸は画素数である。視差量を表す横軸において，中央の０は，視差が０のクロス・ポイントである。中央の０よりも左側は画像が飛び出す視差量を示し，中央の０よりも右側は奥まりを示す視差量を表している。

左側の分布Ｄ１は，人物像41Ｌと41Ｒとの視差量の分布を示し，右側の分布Ｄ２は，背景画像43Ｌと43Ｒとの分布を示している。

この実施例では，左視点画像40Ｌまたは右視点画像40Ｒの全画素Nallのうち，多くの画素が含まれるような視差範囲±ｄthが規定される。また，許容視差範囲±ｄｐが規定されている。人物像41Ｌと41Ｒとの視差ｄ１（人物像41Ｌと41Ｒとの視差量の分布のうち，ピーク値の視差）は許容視差範囲±ｄｐに含まれていないので立体視しづらいものとなっている。

このように立体視しづらい場合には，立体画像の縮小が必要と判定される。画像縮小判定において立体画像の縮小が必要と判断されると（図２ステップ24でＹＥＳ），立体画像の縮小処理が行われる（図２ステップ25）。立体画像の縮小が必要と判断されなければ（図２ステップ24でＮＯ），縮小されない立体画像を用いて視差調整などのその他の処理が行われる。縮小された立体画像は表示画面50に表示される（図３ステップ26）。

図７は，縮小処理が行われた立体画像54の一例である。

縮小された立体画像54には，上述した縮小前の人物像41Ｌおよび41Ｒに対応する人物像42Ｌおよび42Ｒが含まれている。また，縮小前の背景画像43Ｌおよび43Ｒに対応する背景画像45Ｌおよび45Ｒも含まれている。立体画像54は縮小されているので，表示画面50において，立体画像54の周りに表示される枠53（ハッチングで示す）の大きさが大きくなっている。さらに，立体画像54は，図５に示す立体画像52に比べて縮小されているので，人物像42Ｌと42Ｒとの間の視差ｄ２は，縮小前の立体画像52に含まれる人物像41Ｌと41Ｒとの間の視差に比べて小さくなっている。

図８は，画像縮小後の視差ヒストグラムの一例である。

図８において，左側の分布Ｄ１が人物像42Ｌおよび42Ｒの視差分布であり，右側の分布Ｄ２が背景画像45Ｌおよび45Ｒの視差分布である。

画像縮小処理が行われることにより，人物像42Ｌおよび42Ｒの視差分布Ｄ１および背景画像45Ｌおよび45Ｒの視差分布Ｄ２が近づく。ほとんどの画素の視差量が許容視差範囲±ｄｐ内に収まるようになる。したがって，上述したように，縮小された立体画像54を用いて視差調整しやすくなる。人物像42Ｌおよび42Ｒの視差ｄ２も許容視差範囲±ｄｐに収まっており，立体視しやすい状態となっている。

このように，立体画像52が縮小されることにより得られる立体画像54の人物像42Ｌと42Ｒとの視差（人物像42Ｌと42Ｒとの視差に限らない）が小さくなるので，視差調整がし易くなる。

縮小された立体画像（左視点画像，右視点画像）54に含まれている人物像42Ｌおよび42Ｒについて視差調整（第１の視差調整）が行われ（図３ステップ27），視差調整が完了する（図３ステップ28でＹＥＳ）。

図９は，視差調整が行われた縮小画像54Ａの一例である。

視差調整が行われることにより，人物像42Ｌと42Ｒとの視差がｄ２からｄ３（ｄ２＜ｄ３）となっている。

図10は，図９に示す視差調整が行われた縮小画像54Ａの視差ヒストグラムの一例である。

人物像42Ｌと42Ｒとについて視差調整が行われたことにより，上述のように，それらの視差がｄ３となっている。この視差は，ユーザが立体視しやすいように調整されたものである。

縮小された立体画像54Ａについて適用された視差ｄ３を，立体画像54を縮小前の立体画像52の大きさに拡大する場合の拡大率に応じて拡大して，縮小前の左視点画像40Ｌ（図４）および縮小前の右視点画像40Ｒ（図４）に適用すると，許容視差量（許容視差量とは，適切な立体視が可能な視差量の目安を与えるもので，表示ディバイスのサイズ，立体表示方式に依存する。）を超えてしまうことがある。このために，この実施例では，縮小率を用いて，縮小画像54Ａを縮小前の立体画像52の大きさに拡大した場合の拡大率に応じた視差量が算出される（図３ステップ30）。算出された視差量が許容視差量以下でなければ（図３ステップ30でＮＯ），立体視しやすくするために，許容視差量となるように，左視点画像40Ｌと右視点画像40Ｒとが視差調整される（第２の視差調整）（図３ステップ32）。算出された視差量が許容視差量以下であれば（図３ステップ30でＹＥＳ），算出された視差量を用いて，左視点画像40Ｌおよび40Ｒの視差調整（第２の視差調整）が行われる（図３ステップ32）。

図11は，上述のように縮小画像での視差調整により得られた視差にもとづいて算出された視差で視差調整された立体画像52Ａの一例である。この立体画像52Ａは，縮小画像54Ａが拡大されたものではなく，左視点画像40Ｌおよび右視点画像40Ｒに対して，上述のようにして算出された視差となるように視差調整されたものである。

立体画像52Ａには，上述した人物像41Ｌおよび41Ｒが含まれている。これらの人物像41Ｌと41Ｒとの視差ｄは，縮小画像54Ａでの視差ｄ３にもとづいて算出されたものである。もっとも，上述のように，算出された視差ｄが許容視差量を超えていると許容視差量となるのはいうまでもない。

図５に示したように立体画像52の人物像41Ｌと41Ｒとの視差がｄ１であり，図７に示したように縮小することにより得られた立体画像54の人物像42Ｌと42Ｒとの視差がｄ２となる。縮小率をＲとすると，視差ｄ２＝ｄ１×Ｒである。縮小画像54について視差調整が行われることにより，視差ｄ３＝ｄ２＋ｃ１となったものとする（ｃ１が視差調整量）。視差ｄ３を縮小前の左視点画像40Ｌおよび右視点画像40Ｒに適用するために，縮小率に応じた視差ｄが算出される。縮小前の左視点画像40Ｌおよび右視点画像40Ｒの人物像41Ｌおよび41Ｒに適用される視差ｄは，ｄ＝ｄ３／Ｒ＝（ｄ１×Ｒ＋ｃ１）／Ｒ＝ｄ１＋（ｃ１／Ｒ）となる。この視差ｄが視差許容量を超えていると，視差許容量とされる。もっとも，必ずしも，この視差ｄを視差許容量に制限しなくともよい。

図12は，算出された視差ｄが適用されて視差調整された立体画像52Ａの視差ヒストグラムの一例である。

図11に示す立体画像52Ａの視差調整量は図９に示す縮小されている立体画像54Ａの視差調整量よりも大きくなるので，人物像41Ｒと41Ｌとの視差分布Ｄ１および背景画像43Ｌと43Ｒとの視差分布Ｄ２との間隔が開くこととなる。

図13は，画像縮小判定処理手順（図２ステップ23の処理手順）を示すフローチャートである。

図９に示したように，左視点画像40Ｌ（図４参照）の画素と右視点画像40Ｒ（図４参照）の画素との視差を表す視差ヒストグラムが生成される。

まず，視差範囲±ｄthが０にリセットされる（図13ステップ61）。

つづいて，視差範囲±ｄth内に含まれる視差をもつ画素の数Ｎｒが算出される（図13ステップ62）。算出された画素数Ｎｒと全画素数Ｎall との比率が所定のしきい値th１（たとえば，0.9 ）よりも大きくなるまで（ステップ63），視差範囲±ｄthの幅が一つずつ広げられる（図13ステップ64）。算出された画素数Ｎｒと全画素数Ｎall との比率が所定のしきい値th１よりも大きくなると（図13ステップ63でＹＥＳ），全画素Ｎall のうち多くの画素が含まれるような視差範囲±ｄthが決定される。

このようにして決定された視差範囲±ｄthが許容視差±ｄｐ以下であれば（図13ステップ65でＮＯ），そのような立体画像は立体視しやすいので縮小処理はしないと決定される（縮小率Ｒ＝１）（図13ステップ67）。

視差範囲±ｄthが許容視差±ｄｐよりも大きければ（図13ステップ65でＹＥＳ），縮小率Ｒ＝ｄｐ／ｄthで縮小するものと決定される（図13ステップ66）。このような画像縮小により，視差の分布を許容視差範囲±ｄｐ内に圧縮できるようになる。

立体視の特性として上述した視差範囲±ｄthの算出を，エッジ検出して得られるエッジ強度の強い画素（たとえば，垂直線の画素）の視差のみを利用するようにしてもよいし，コントラストの低い被写体の視差を除外するようにしてもよい。

図14は，画像縮小判定処理手順（図２ステップ23の処理手順）の他の例を示すフローチャートである。

この実施例は，立体画像において過度な飛び出し視差が快適な立体視を阻害することがあることを考慮して，手前側の被写体の視差量に応じて画像縮小率Ｒの設定が行われるものである。上述したのと同様に視差ヒストグラムが生成される。

図15は，視差ヒストグラムＧの一例である。

上述した視差ヒストグラムと同様に横軸が視差量であり，縦軸が画素数である。視差ヒストグラムは，その視差量をもつ画素がどの位あるかを示すものであるから，視差量に対する画素数の数を表わしている。

図16は，視差ヒストグラムＧの一部を拡大したものである。

上述したように，視差ヒストグラムＧによって視差量に対応して画素数が表わされている。たとえば，視差量Ｐ１の画素数は１であり，視差量Ｐ２の画素数は２である。このように視差ヒストグラムＧから視差量に対応した画素数が分る。

まず，視差ヒストグラムの第ｉ番目の視差量（最初は飛び出し量のもっとも大きな画素，一番手前の画素の視差量にリセットされている）の画素数ｎが読み取られる（図14ステップ71）。得られた画素数ｎがしきい値ｆth以上でなければ（図14ステップ72でＮＯ），影響は少ないので，すべての視差量について確認されていなれければ（図14ステップ73でＮＯ），ｉがインクレメントされ（図14ステップ74），次に奥側の視差量をもつ画素の数ｎが読み取られる（図14ステップ71）。

図16に示すように，視差量Ｐｎをもつ画素の数がしきい値ｆth以上となると（図14ステップ72でＹＥＳ），その第ｉ番目の視差量ｄｉが，もっとも手前の被写体の視差量ｄｆとされる（図14ステップ75）。その視差量ｄｆが許容視差量ｄｐ内に入るように，縮小率Ｒ＝ｄｐ／ｄｆで縮小すると決定される（図14ステップ76）。

図17は，しきい値ｆthを超える画素が存在しない場合のヒストグラムの一部を拡大している。

すべての画素の視差量について確認しても，しきい値ｆthを超える画素数をもつものが存在しない場合には（図14ステップ72でＮＯ，ステップ73でＹＥＳ），許容視差ｄｐがもっとも手前の被写体の視差量ｄｆとされ（図14ステップ77），縮小しないと決定される（図14ステップ78）。縮小率Ｒ＝ｄｐ／ｄｆ＝ｄｐ／ｄｐ＝１となる。

上述の実施例では，手前の被写体の視差量に応じて制御が行われているが，奥側の被写体が重視される場合には，奥側の被写体の視差量から順に上述した処理と同様の処理が行われればよい。

図18から図21は，他の実施例を示している。

この実施例は，顔画像（顔画像に限らない）のような特定の被写体を検出し，その検出された特定の被写体の視差が許容視差よりも大きければ立体画像を縮小するものである。また，立体画像の縮小処理が行われると，立体画像を構成する左視点画像および右視点画像のうち，少なくとも一方の画像のコントラストを低下させる処理も行われる。視差調整に応じてコントラストが元に戻る。もっともコントラストを低下させる処理は必ずしも行われなくともよい。立体画像の縮小処理を行わずにコントラストを低下させる処理を行ってもよい。

図18および図19は，画像ビューワ１の処理手順を示すフローチャートである。これらの図において，図２または図３に示す処理と同じ処理については同じ符号を付して説明を省略する。

上述したのと同様に，左視点画像40Ｌおよび右視点画像40Ｒがメモリ・カード12から読み取られ（図18ステップ81），左視点画像40Ｌの顔検出処理が行われる（図18ステップ82）。左視点画像40Ｌから顔が検出されると（図18ステップ83でＹＥＳ），左視点画像40Ｌにおいて検出された顔と同じ顔を検出する処理が右視点画像40Ｒについて行われる（図18ステップ84）。たとえば，左視点画像40Ｌにおいて検出された顔画像がテンプレート画像とされて，そのテンプレート画像と同じ画像が右視点画像40Ｒから検出される。右視点画像40Ｒから左視点画像40Ｌから検出された顔と同一の顔が検出されると（図18ステップ85でＹＥＳ），顔の位置関係から，顔の視差量ｄｈが算出される（図18ステップ86）。

算出された顔の視差量ｄｈが許容視差量ｄｐよりも大きければ（図18ステップ87でＹＥＳ），上述のように立体画像の画像縮小が行われる（図18ステップ88）。算出された顔の視差量ｄｈが許容視差量ｄｐ以下であれば（図18ステップ87でＮＯ），画像縮小処理は行われずに，縮小されていない立体画像について視差調整を行うなどのその他の処理が行われる。

つづいて，立体画像を構成する左視点画像および右視点画像の少なくとも一方の画像についてコントラストが低下させられる（図19ステップ91）。立体画像が縮小されていれば，縮小されている画像についてコントラストが低下させられるのはいうまでもない。コントラストが低下させられた場合には，その旨をユーザに通知することが好ましい。たとえば，「画像の立体感が適切でないために表示モードを変更しました。」と表示される。

その後，縮小された立体画像を用いて視差調整が行われると，その視差調整に応じてコントラストが元に戻されていく（図19ステップ27Ａ）。コントラスト変化により視差調整の程度を示すことができるようになる。

コントラストの調整は，画像全体を一律の値で調整してもよいし，許容視差を超えている領域のみコントラストを低下させてもよい。

図20および図21は，立体画像52Ａの一例である。

図20を参照して，立体画像54Ａには，左視点画像から得られる人物像44Ｌと右視点画像から得られる人物像44Ｒとが含まれている。これらの人物像44Ｌと44Ｒとのそれぞれのコントラストがハッチングで示されている。上述のように右視点画像のコントラストが下げられている。

視差調整が行われると，コントラストが変化していき，視差調整の完了に応じて，図21に示すように，元のコントラストとなる。

上述したように，手前の被写体に対応する視差量を検出し，その視差量の絶対値が許容視差を超えている場合に上述のようにコントラストを低下させるようにしてもよい。

１ 画像ビューワ
２ ＣＰＵ
４ 視差調整装置
５ 画像縮小判定装置
６ ステレオ・マッチング装置
７ 立体表示装置

Claims (8)

1. 視点の異なる第１の画像と第２の画像とのうち，第１の画像を基準として，画素ごとに第２の画像との間の視差量を算出する視差量算出手段，
   上記視差量算出手段によって算出された視差量と所定の許容視差量とにもとづいて，第１の画像および第２の画像の縮小率を決定する縮小率決定手段，
   上記縮小率決定手段によって決定された縮小率で第１の画像および第２の画像を縮小する縮小手段，
   上記縮小手段によって縮小された第１の画像および第２の画像からなる立体画像を表示画面に表示するように表示装置を制御する立体画像表示制御手段，
   視差量の調整指示を受け付け，指示された調整量に応じて，上記縮小手段によって縮小された第１の画像と第２の画像との視差量を調整する第１の視差量調整手段，ならびに
   上記縮小手段による縮小前の上記視点の異なる第１の画像と第２の画像との視差量を，上記視差量調整手段によって視差量が調整され，かつ縮小されている第１の画像と第２の画像とを上記縮小手段による縮小前の大きさとなるように拡大したときの視差量とする第２の視差量調整手段，
   を備えた視差量調整装置。
2. 上記第２の視差量調整手段は，第１の画像と第２の画像との視差量が許容視差量以下となるように視差量を調整するものである，
   をさらに備えた請求項１に記載の視差量調整装置。
3. 上記縮小率決定手段は，
   第１の画像の画素のうち，所定数以上の画素の視差量が許容視差量となるように縮小率を決定するものである，
   請求項１または２に記載の視差量調整装置。
4. 上記視差量算出手段は，
   第１の画像を基準として，第１の画像を所定の大きさをもつブロックに分割した場合において，ブロックごとに第２の画像との間の視差量を算出するものであり，
   上記縮小率決定手段は，
   許容視差量以上の視差量をもつブロックの数がしきい値以上となる，そのようなブロックの視差量の絶対値のうち最大の視差量が許容視差量となるように縮小するものである，
   請求項１から３のうち，いずれか一項に記載の視差量調整装置。
5. 上記縮小手段によって縮小された第１の画像および第２の画像のコントラストを下げる第１のコントラスト調整手段，ならびに
   上記第２の視差量調整手段によって視差量が調整された第１の画像および第２の画像のコントラストを，上記コントラスト調整手段によるコントラスト調整前のコントラストに戻す第２のコントラスト調整手段，
   をさらに備えた請求項１から４のうち，いずれか一項に記載の視差量調整装置。
6. 上記視差量算出手段は，
   第１の画像と第２の画像とのうち，もっとも手前にある被写体像の視差量を算出するものである，
   請求項１から５のうち，いずれか一項に記載の視差量調整装置。
7. 上記視差量算出手段は，
   第１の画像および第２の画像から，あらかじめ定められている所定の被写体の視差量を算出するものであり，
   上記縮小率決定手段は，
   上記視差量算出手段によって算出された所定の被写体の視差量を算出するものである，
   請求項１から５のうち，いずれか一項に記載の視差量調整装置。
8. 視差量算出手段が，視点の異なる第１の画像と第２の画像とのうち，第１の画像を基準として画素ごとに第２の画像との間の視差量を算出し，
   縮小率決定手段が，上記視差量算出手段によって算出された視差量と所定の許容視差量とにもとづいて，第１の画像および第２の画像の縮小率を決定し，
   縮小手段が，上記縮小率決定手段によって決定された縮小率で第１の画像および第２の画像を縮小し，
   立体画像表示制御手段が，上記縮小手段によって縮小された第１の画像および第２の画像からなる立体画像を表示画面に表示するように表示装置を制御し，
   第１の視差量調整手段が，視差量の調整指示を受け付け，指示された調整量に応じて，上記縮小手段によって縮小された第１の画像と第２の画像との視差量を調整し，
   第２の視差量調整手段が，上記縮小手段による縮小前の上記視点の異なる第１の画像と第２の画像との視差量を，上記視差量調整手段によって視差量が調整され，かつ縮小されている第１の画像と第２の画像とを上記縮小手段による縮小前の大きさとなるように拡大したときの視差量とする，
   視差量調整装置の動作制御方法。

Images