JP2011091481A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】三次元画像の表示に際して、ディスプレイサイズや視聴者年齢に応じた最適な視差を持つ画像を選択する装置および方法を提供する。
【解決手段】表示部に左目用画像と右目用画像の視差を持つ画像の組を出力して三次元画像の表示を行う構成において、表示部のディスプレイサイズや視聴者年齢に応じた画像を選択して出力する。表示部のディスプレイサイズが大きい場合は、視差の小さい画像の組み合わせを表示画像として選択し、ディスプレイサイズが小さい場合は、比較的視差の大きい画像を表示画像として選択する。さらに視聴者の年齢が予め設定した閾値年齢、例えば７歳未満である場合は、比較的視差の小さい画像を表示画像として選択して表示処理を行う。
【選択図】図１３

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、三次元画像である立体画像（３Ｄ画像）の表示処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

近年、三次元画像である立体画像（３Ｄ画像）を表示可能とする複数視点の画像を撮影する撮像装置（カメラ）が開発されている。このような撮像装置は、例えば左目用画像と右目用画像の異なる視点からの画像を撮影する。

三次元画像の表示を行う場合、表示部には左目用画像と右目用画像を表示する。視聴者は、例えば液晶シャッターメガネや、偏光メガネを装着して左目用画像は左目で観察し、右目用画像は右目で観察することで、立体感を持つ三次元画像を観察することができる。なお、三次元画像の表示方式には、上述の液晶シャッター方式や偏光方式、さらにメガネ装着を必要としない視差バリア方式など、様々な方式がある。

いずれの方式においても、ユーザは視差のある２つの画像の各々を個別に左目と右目で観察することによって立体感を得ることができる。しかし、２つの異なる視点からの撮影画像を表示する表示部の大きさによって、視聴者の得られる像の位置は異なるものとなる。

この現象について、図１を参照して説明する。図１には表示部（ディスプレイ）のサイズが大、中、小の３種類の場合に、同じ画像ペア、すなわち左目用画像と右目用画像を表示して、その表示画像に含まれるオブジェクトの立体像が感じられる立体像位置を示した図である。
（ａ）ディスプレイが大型の場合
（ｂ）ディスプレイが中型の場合
（ｃ）ディスプレイが小型の場合
これらの３種類の例を示している。

（ａ）ディスプレイが大型の場合について説明する。視聴者が感じる立体像の位置は、図に示すようにディスプレイの左目用画像の表示位置と視聴者の左目を結ぶラインと、ディスプレイの右目用画像の表示位置と視聴者の右目を結ぶラインとの交点となる。これは、（ｂ），（ｃ）のいずれにおいても同様である。

図から理解されるように、ディスプレイのサイズが大きいほど、ディスプレイ上の左目用画像の表示位置と右目用画像の表示位置との距離（ディスプレイ上の視差）は大きくなる。ディスプレイのサイズが小さいと、ディスプレイ上の左目用画像の表示位置と右目用画像の表示位置との距離は小さくなる

この結果、ディスプレイのサイズが大きいほど、視聴者が感じる立体像の位置はディスプレイから視聴者により近い位置になる。図１（ａ）に示すように立体像のディスプレイからの距離である画像飛び出し量は［Ｌ１］となる。
ディスプレイのサイズが中型になると、図１（ｂ）に示すように立体像のディスプレイからの距離である画像飛び出し量は［Ｌ２］となる。
ディスプレイのサイズが小になると、図１（ｃ）に示すように立体像のディスプレイからの距離である画像飛び出し量は［Ｌ３］となる。
このように、視聴者が感じる立体像の位置はディスプレイサイズが大きくなると、より大きく飛び出しているように感じられる。

すなわち、図１（ｄ）に記載した説明のように、
ディスプレイサイズが大型の場合の画像の飛び出し量［Ｌ１］、
ディスプレイサイズが中型の場合の画像の飛び出し量［Ｌ２］、
ディスプレイサイズが小型の場合の画像の飛び出し量［Ｌ３］、
とすると、
Ｌ１＞Ｌ２＞Ｌ３
このような関係になる。

ところが、図１（ａ）のように立体像の飛び出し量が大きく、立体像が視聴者により近づくような画像を長時間、観察し続けると、人によっては眼精疲労や頭痛などが発生する場合がある。一方、図１（ｃ）のように立体像の飛び出し量が小さいと、視聴者は十分な立体感を感ずることができないという問題がある。
なお、図１（ａ）のように立体像の飛び出し量が大きく、立体像が視聴者により近づくような画像を長時間、観察し続けると、成長段階にある子供など低年齢層に対する悪影響を及ぼすことが考えられるため、安全ガイドラインが設定されている［３ＤＣ（ｈｔｔｐ：／／ｗｗｗ．３ｄｃ．ｇｒ．ｊｐ／ｊｐ／ｉｎｄｅｘ．ｈｔｍｌ）］。

このように、三次元画像表示を行う場合、ディスプレイサイズに応じた最適な視差を持つ画像を利用して表示することが必要となる。

このように、三次元画像をディスプレイに表示する場合、ディスプレイサイズに応じた異なる視差を持つ画像を利用する構成については従来から知られている。例えば、表示装置に応じた適切な視差を持つ画像を提供するための構成を開示した従来技術として、特許文献１（特開２００８−１７２３４２号公報）がある。

特許文献１（特開２００８−１７２３４２号公報）は、予め異なる視差を持つ異なる視点からの撮影画像を複数取得し、これらの画像中に含まれる特定パターンの情報を利用して各画像の視差を算出し、表示装置に適合した視差を持つ画像を選択して利用する構成を開示している。特定パターンの情報とは、例えば画像中に含まれる人物の顔であり、人物の顔の領域に基づいて複数の画像の視差を算出する構成である。

しかし、特許文献１に記載の方法は、画像解析により特定パターンの情報を抽出して、視差を算出する処理が必要となる。このための処理コストが高くなり、また特定パターンの画像、例えば顔画像が含まれていることが必要となる。従って、画像中に特定パターンの情報が検出されない場合には、処理ができないという問題がある。また、特許文献１に記載の方法は、前述した安全ガイドラインについての考慮がなされていないという問題がある。

特開２００８−１７２３４２号公報

本発明は、例えば、上述の問題点に鑑みてなされたものであり、様々なサイズの表示部（ディスプレイ）に応じた最適な視差を持つ画像を効率的に選択して表示することを可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
異なる視点から撮影した複数の画像から、三次元画像の表示処理に適用する画像を選択する制御部を有し、
前記制御部は、
表示部のディスプレイサイズに応じて異なる視差を持つ画像の組を表示画像として選択する処理を実行する構成であり、
画像の属性情報として画像間の視差に相当する移動量情報が記録されているか否かを検証し、移動量情報の記録がある場合は記録された移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択し、
移動量情報の記録がない場合は、
ブロック分割した画像相互のブロック一致度の判定情報を利用して移動量を算出し、算出した移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択する処理を実行する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、ブロック分割した画像相互のブロック一致度の判定処理を実行する動き検出部を有し、前記制御部は、前記動き検出部の検出情報を用いて前記移動量を算出する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、視聴者の年齢情報を取得し、取得した年齢情報と予め設定した閾値年齢を比較し、視聴者年齢が閾値年齢未満であるか閾値年齢以上である場合とで、異なる視差を持つ画像の組み合わせを選択する処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、ディスプレイサイズの大きい表示部に対して、ディスプレイサイズの大きい表示部に対する選択画像より視差の小さい画像の組み合わせを選択する処理を行う。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、視聴者年齢が閾値年齢未満である場合は、視聴者年齢が閾値年齢以上である場合より視差の小さい画像の組み合わせを選択する処理を行う。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、画像処理装置に接続された外部の表示装置から入力する表示装置情報を解析してディスプレイサイズを取得する。

さらに、本発明の画像処理装置の一実施態様において、前記制御部は、画像の属性情報として画像間の視差に相当する移動量情報の記録がない場合、画像を輝度情報のみからなる画像に変換し、輝度情報画像を利用してブロック一致度検証処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、画像撮影機能を有する撮像装置であり、前記制御部は、撮影画像に対応する視差情報としての移動量情報を撮影画像の属性情報として記録する処理を行う。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、ブロック分割した画像相互のブロック一致度の判定処理を実行する動き検出部を有し、前記制御部は、前記動き検出部の検出情報を用いて前記移動量を算出して画像の属性情報として記録する。

さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
制御部が、異なる視点から撮影した複数の画像から、三次元画像の表示処理に適用する画像を選択する画像選択ステップを有し、
前記画像選択ステップは、
表示部のディスプレイサイズに応じて異なる視差を持つ画像の組を表示画像として選択する処理を実行するステップであり、
画像の属性情報として画像間の視差に相当する移動量情報が記録されているか否かを検証するステップと、
移動量情報の記録がある場合は、記録された移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択するステップと、
移動量情報の記録がない場合は、ブロック分割した画像相互のブロック一致度の判定情報を利用して移動量を算出し、算出した移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択するステップを有する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
制御部に、異なる視点から撮影した複数の画像から、三次元画像の表示処理に適用する画像を選択させる画像選択ステップを有し、
前記画像選択ステップは、
表示部のディスプレイサイズに応じて異なる視差を持つ画像の組を表示画像として選択する処理を実行させるステップであり、
画像の属性情報として画像間の視差に相当する移動量情報が記録されているか否かを検証させるステップと、
移動量情報の記録がある場合は、記録された移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択させるステップと、
移動量情報の記録がない場合は、ブロック分割した画像相互のブロック一致度の判定情報を利用して移動量を算出し、算出した移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択させるステップと、
を実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、三次元画像の表示に際して、ディスプレイサイズや視聴者年齢に応じた最適な視差を持つ画像を選択する装置および方法を提供する。表示部に左目用画像と右目用画像の視差を持つ画像の組を出力して三次元画像の表示を行う構成において、表示部のディスプレイサイズや視聴者年齢に応じた画像を選択して出力する。表示部のディスプレイサイズが大きい場合は、視差の小さい画像の組み合わせを表示画像として選択し、ディスプレイサイズが小さい場合は、比較的視差の大きい画像を表示画像として選択する。さらに視聴者の年齢が予め設定した閾値年齢、例えば７歳未満である場合は、比較的視差の小さい画像を表示画像として選択して表示処理を行う。この構成により、ディスプレイサイズや視聴者に応じた最適な立体画像表示が実現される。

ディスプレイサイズの違いによる立体画像の見え方について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）の外観構成例について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）の複数の異なる視点からの画像撮影処理構成について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）の複数の異なる視点からの画像撮影処理構成について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）のハードウェア構成例について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）の記録データであるＭｐファイルについて説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）の記録データであるＭｐファイルについて説明する図である。 輻輳角と視差について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する移動量の算出処理について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する移動量の記録処理について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する画像記録処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する画像表示処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する画像表示処理における画像選択シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する画像選択処理に適用する設定情報のメニュー画面について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する画像補間処理について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する外部の表示装置に表示を実行している場合の画面例について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行するユーザによる画像選択処理について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する外部の表示装置に応じた制御処理について説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する外部の表示装置に対するデータ出力処理例について説明する図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する移動量算出と外部の表示装置に応じた制御処理について説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置（撮像装置）において実行する移動量算出と外部の表示装置に応じた制御処理について説明するフローチャートを示す図である。 基線長について説明する図である。 画像のブロック分割と移動量算出処理について説明する図である。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．画像処理装置の構成例について
２．撮像装置における画像撮影、記録処理について
３．撮影画像の再生処理について
４．接続した表示装置の機能に応じた画像出力処理例について
５．画像比較処理による移動量算出の実施例について

［１．画像処理装置の構成例について］
本発明の画像処理装置は、異なる視点から撮影された複数の画像から三次元画像表示を行うための画像の選択を行う。さらに、この画像選択処理に際して、表示部のサイズなどの表示部構成や、視聴者年齢などに応じて最適な画像を選択する処理を行う。本発明の画像処理装置は、例えばＴＶ、ＰＣ等のような表示部を有する装置の他、撮影機能を有する撮像装置などである。撮像装置は例えば外部の表示装置に対する出力部を介して様々なサイズの表示装置を接続して撮影画像を出力して三次元画像の表示処理を行う。

本発明の画像処理装置の一実施例として、撮像装置の例について図２以下を参照して説明する。図２は撮像装置１０の外観を示す図である。図２（ａ）は、撮像装置１０の正面図、（ｂ）は背面図である。図２（ａ）に示すシャッター１１の操作によりレンズ１２を介した画像を撮り込む。

図２（ｂ）の背面図に示すように、撮像装置１０の背面には撮像装置のレンズ１２を介して取得される画像の表示を行う表示部（モニタ）２１が設けられている。表示部２１には、ユーザ操作によって、レンズ１２を介した画像であるプレビュー画の表示のみならず、メモリに記録された撮影済み画像の表示や、操作用のメニューやマニュアルの表示などにも利用される。

撮像装置１０の背面には、さらに、撮影時に覗き込むビューファインダであるＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗ ｆｉｎｄｅｒ）２２が設けられている。ユーザは、撮影アングルなどを決定する際、表示部（モニタ）２１、あるいはＥＶＦ２２のいずれかを選択的に利用して、被写体像を確認してシャッター１１を操作して撮影を行う。

なお、図２に示す例は、従来型のカメラと同様の外観を有しているが、本発明に従った三次元画像の表示処理を行う場合は、異なる視点からの撮影画像が必要である。異なる視点からの撮影画像の取得処理例について図３を参照して説明する。図３に示すように、被写体２５に対して、撮影位置を順次変更して複数の画像を順次撮影する。この処理によって異なる視点からの画像が撮影できる。この画像は、三次元画像表示ように取得されたものに限らず、例えばパノラマ画像生成用の画像の集合でもよい。

なお、図２、図３を参照して説明した撮像装置の例は、１つのレンズ部を介して、１回の撮影タイミングにおいて１つの画像を撮影する構成であるが、例えば図４に示すような多視点からの撮影が可能な多眼カメラを用いれば、１回の撮影タイミングで異なる視点からの画像を撮影できる。本発明の画像処理装置（撮像装置）はこのような多眼カメラでもよい。

図４に示す撮像装置３０は、カメラ前面に４つのレンズ部３１ａ〜３１ｄを有している。これらの４つのレンズを介して４つの異なる視点からの画像を１回の撮影タイミングで取得する。なお、図４に示す例はレンズ部を４つ有しているが、２つのレンズ部を持つ多視点カメラなど、レンズ数は様々なレンズ数のものを用いることができる。

このように、本発明の画像処理装置は１つのレンズ部を有する撮像装置であっても、複数のレンズ部を有する撮像装置であってもよい。また、前述したようにＰＣ等の撮影機能を持たない表示処理機能を持つ装置であってもよい。例えばＰＣ等の場合、複数の異なる視点からの撮影画像をハードディスクなどの記憶部、あるいはネットワークやケーブル等を介して外部から入力して処理を行う。処理とは、例えば表示部構成等に応じた最適な三次元画像表示のための画像選択処理である。

次に、図５を参照して本発明の画像処理装置の一実施例である撮像装置１０の内部構成例について説明する。本発明の撮像装置は、被写体像を入力するレンズ部１１１、レンズ部介して入力する光信号を電気信号に変換する撮像素子を有する光電変換部１１２、光電変換部１１２の生成する電気信号を入力して信号処理を実行する信号処理部１１３を有する。なお、レンズ部１１１は、図２〜図４を参照して説明したように、複数のレンズによる構成、あるいは１つのレンズによる構成のいずれでもよい。

信号処理部１１３では、例えばホワイトバランス調整処理、γ補正処理、補間処理等の様々な信号処理が実行される。信号処理部１１３の処理結果に基づいて制御部１１７は、例えばＭｐ（ｍｕｌｔｉ ｐｉｃｔｕｒｅ）フォーマットに従ってＭｐファイルを生成し、ＤＣＦ（ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ ｃａｍｅｒａ ｆｉｌｅ ｓｙｓｔｅｍ）に従った立体画像表示用データを生成する。

信号処理部１１３の処理結果としての画像が表示部（モニタ）１２１、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗ ｆｉｎｄｅｒ）１２２に表示される。また、撮影時には、その画像が記憶部１１５や外部メモリ１１６に格納される。

記憶部１１５や外部メモリ１１６に格納するＭｐファイルの構成例について、図６、図７を参照して説明する。図６は、被写体２５に対して撮像装置１０を左から右に移動させて異なる視点からの複数の画像１〜画像４を撮影した場合のＭｐファイル１５０の構成例を示す図である。

Ｍｐファイル１５０は図６に示すように、各画像に対応するヘッダ情報と画像データの組を１つの画像に対応する記録データとして有する。ヘッダは画像に対応するヘッダ情報であり画像対応の様々な情報が記録される。ヘッダの構成例について図７を参照して説明する。

図７に示すように、ヘッダには、
（ａ）撮影画像情報として、画像を記録したディレクトリ情報、
（ｂ）撮影画像属性情報として、
撮影モード情報：例えば立体画像モード、パノラマ画像モードなど
撮影シーケンス番号（基準画像（１枚目）から何枚目かを示す画像の順番）、
輻輳角情報、
移動量情報、
（ｃ）撮影日時情報、
例えばこれらの情報が記録される。
なお、これらのヘッダ情報例は一例であり、この他の情報が記録されていてもよく、またこれらの情報の一部のみを記録する構成であってもよい。

輻輳角について、図８を参照して説明する。輻輳角は、図８に示すように被写体と撮影視点を結ぶ線のなす角である。なお、撮影位置の移動距離は視差（カメラ移動量）に相当する。
これらの情報は、例えば先に図４を参照して説明した多眼カメラであれば、レンズの配置に応じた固定値として記録することができる。
ただし、図３を参照して説明したように、ユーザが移動して異なる視点からの撮影を行った場合は、撮影画像の解析によって算出して記録することが必要となる。この処理は動き検出部１３１の動き検出処理を適用して行われる。この処理については後段で説明する。

なお、画像データの保存方法はｍｐフォーマットをサポートしていない機器のために、Ｅｘｉｆ（ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）のｍａｋｅｒ ｎｏｔｅを使用した立体画像の独自形式でもよく、またＥｘｉｆの代わりに、図７を参照して説明したヘッダ情報を含むＤＣＦ規格を満たす形式のデータベースファイルを作成して記録する構成としてもよい。

輻輳角情報や、移動量情報は、表示部のサイズ等に応じた最適な２つの画像を選択する際に利用される情報である。
なお、図７に示すＭｐファイルのヘッダ情報には、輻輳角情報や、移動量情報を各画像に対応付けて記録する例を示しているが、これらの情報は、撮影画像を解析することによって求めることも可能である。従って画像の記録時にこれらの画像属性情報を記録することは必須ではなく、表示画像を選択する際に、画像の解析を実行してこれらの値を算出する構成としてもよい。

図５に戻り、撮像装置の構成についての説明を続ける。操作部１１４は、例えばシャッター、フォーカス調整部、モード切り替え部などの様々な操作部によって構成される。シャッターの操作により画像の撮影が行われる。

記憶部１１５、外部メモリ１１６は、前述したように、撮影画像の記憶部として利用される。その他制御プログラム、各種パラメータなどの情報格納領域としても利用される。

制御部（ＣＰＵ）１１７は、撮像装置による撮影処理、表示部（モニタ）１２１やＥＶＦ１２２に対する画像表示処理など、撮像装置において実行する処理の制御を実行する。また、制御部１１７は、例えば表示部１２１や、入出力部１３２を介して接続される外部の表示装置１３５の情報を入力し、表示装置１３５のサイズなどに応じた最適な視差を持つ画像を選択する処理を行う。これらの処理の詳細については後述する。なお、制御部１１７の実行する制御に必要なプログラムは、例えばＲＯＭ１１８に格納されており、制御部（ＣＰＵ）１１７はプログラムに従って各種の処理を実行する。

ＲＡＭ１１９は、制御部（ＣＰＵ）１１７における処理のワークエリアとして利用され、さらに、様々な設定情報の記憶領域としても利用される。また、画像や各種データの一時的な記憶領域として利用される。制御部（ＣＰＵ）１１７がＲＯＭ１１８に格納されたプログラムを実行する場合、そのプログラムをＲＡＭ１１９上に展開してプログラムに従った処理を行う。

表示部（モニタ）１２１は、図２に示す表示部（モニタ）２１に対応する。例えば液晶表示装置によって構成される。表示部（モニタ）１２１には、レンズ部１１１を介して取得される画像（プレビュー画像）が表示される。さらに、記憶部１１５や外部メモリ１１６から読み出された撮影済みの画像の表示にも利用される。さらに、メニュー画面、操作画面などの表示もなされる。表示部（モニタ）１２１は、例えばタッチパネル機能を有した構成としてユーザ入力部として機能する構成としてもよい。

表示部（モニタ）１２１は、例えば立体画像（３Ｄ画像）と平面画像（２Ｄ画像）の切り替え表示が可能な構成を持つ表示部である。例えば偏光板やレンチキュラー（プリズムシート）を備えた表示構成や、イメージスプリッタなどの視差バリアを用いた表示構成を有し、裸眼で立体画像を観察可能な表示部として構成される。

ＥＶＦ１２２は、図１に示すＥＶＦ２２に対応する。例えば液晶表示装置によって構成される。ＥＶＦ切り替え部１３２を操作することで、ＥＶＦ１２２に、レンズ部１１１を介して取得される画像（プレビュー画像）が表示される。

ユーザは、撮影アングルなどを決定する際、表示部（モニタ）１２１、あるいはビューファインダであるＥＶＦ１２２のいずれかを選択的に利用して、被写体像を確認して撮影を行うことができる。

電源１２３は、撮像装置に対する電力供給部であり、例えばバッテリーが装着される。

動き検出部１３１は、前述したように、異なる視点からの撮影画像の解析によって画像の動き検出処理を実行する。制御部１１７は、この検出結果に基づいて輻輳角やカメラ移動距離（視差）を算出し、画像に対応するヘッダ等の属性情報として記憶部等に記録する。

動き検出部１３１の実行する動き検出処理について図９、図１０参照して説明する。図９には連続的に撮影された異なる視点からの撮影画像、画像１、画像２を示している。これは、例えば図１０に示すようにカメラ１０を左から右に移動させて撮影した画像１と画像２に対応する。

画像１は画像２に先行して撮影された画像データである。この画像１，２の各画像データはＲＡＭ１１９（図５参照）に一時的に格納される。動き検出部１３１はこれらの画像データを比較する。比較する際に、各画像データをブロック分割する。図９に示すように例えば横：ｎ、縦：ｍの計ｎｍブロックに分割する。

画像１、画像２について、ｎｍブロックの類似度を判定して、画像１と画像２との移動距離（＝視差）を算出する。例えば図９に示す例は、画像１のブロック１８１を選択して処理を行う場合の例を示している。画像１のブロック１８１に類似するブロックを画像２から選択する。例えば輝度分布の類似度に基づいてブロック間類似度を判定する。この判定処理によって、図に示すように画像２のブロック１８２が選択される。この場合、画像２の画像１に対する移動距離（視差）は１ブロックとする。

このように、動き検出部１３１は、先行する撮影画像と後続する撮影画像との移動距離をブロックマッチングにより算出する。制御部１１７は、このブロックマッチング結果を動き検出部１３１から入力し、この結果に基づいて移動量を算出して画像対応の属性情報として記録する。例えば図１０に示すように４枚の連続撮影がなされた場合、それぞれの属性情報の移動量情報として、先行する画像に対応する移動ブロック量と方向を記録する。

入出力部１３２は、外部の表示装置１３５と接続し、例えば三次元画像表示用の画像データを出力する。具体的には、例えばＬＡＮやＷＡＮ等のネットワークに接続するネットワーク接続部、コンポーネントやコンポジットでＴＶなどの外部表示装置に接続するＶｉｄｅｏＤＡＣ部、ＨＤＭＩでＴＶなどの外部表示装置に接続するｔｒａｎｓｍｉｔｔｅｒ／ｃｅｃ部などによって構成される。なお、入出力部１３２は、外部の表示装置１３５から、サイズなどの表示装置情報を入力して制御部１１７に提供する。制御部１１７は、これらの情報を入力して表示装置１３５に最適な視差を持つ画像を選択する処理を行う。これらの処理の詳細については後段で説明する。

［２．撮像装置における画像撮影、記録処理について］
次に、撮像装置における画像撮影、記録処理について説明する。図１１は、撮像装置の実行する画像撮影、記録処理の全体シーケンスを示すフローチャートである。なお、以下のフローを参照して説明する処理は、制御部１１７の制御の下、例えばＲＯＭ１１８に予め格納されたプログラムに従って実行される処理である。

図１１に示すフローチャートの各ステップの処理について説明する。
ステップＳ１０１において、シャッターが押下されたか否かを判定する。押下されていない場合は、ステップＳ１０２において撮像装置の表示部（モニタ）１２１に対するプレビュー画像の表示を継続して行う。

ステップＳ１０１において、シャッターが押下され、撮影が実行されたと判定すると、ステップＳ１０３に進む。ステップＳ１０３では、撮影画像が基準画像であるか否かを判定する。この判定処理は、例えば三次元画像撮影モード、あるいはパノラマ画像撮影モードにおいて撮影された最初の画像であるか否かに基づく判定処理である。例えば最初の画像であればその画像を基準画像とする。図１０を参照して説明した処理例では、画像１が基準画像となる。なお、多眼カメラの場合は、いずれか１つのレンズを解して取得された画像を基準画像とする。

ステップＳ１０３において、撮影画像が基準画像であると判定した場合は、ステップＳ１０４に進み、撮影条件等を保存してステップＳ１０６に進む。ステップＳ１０３では、例えばＡＥ／ＷＢ（ホワイトバランス）／シャッタースピード／フォーカス位置などの撮影条件をＲＡＭに一時的に記録する。２枚目以降の画像、すなわち三次元画像撮影モード、あるいはパノラマ画像撮影モードを終了するまで、基準となる１枚目の撮影条件を適用して撮影を行う。撮影条件を合わせることで立体画像再生を行ったときの違和感を無くすことができる。

ステップＳ１０３において、撮影画像が基準画像でないと判定した場合は、ステップＳ１０５に進む。ステップＳ１０５では、新規撮影画像と基準画像を比較して画像間の移動量を算出する。これは、例えば先に図９を参照して説明した動き検出部１３１におけるブロック間マッチングを適用した処理として行われる。なお、移動量の算出は、カメラが先に図４を参照して説明したような多眼カメラである場合は、予め設定された固定値を利用すればよい。また、撮像装置に加速度センサなどの移動量計測可能なハードウェアが備わっている場合には、それらのハードウェアから取得する情報を用いてもよい。

次に、ステップＳ１０６において、撮影画像を記憶部や外部メモリに保存する。保存形式は、例えば図６、図７を参照して説明したＭｐファイル形式である。その他の例えばＥｘｉｆファイルなどの形式としてもよいが、移動量情報等の属性情報は、撮影画像に対応付けて記録する構成とすることが好ましい。

ステップＳ１０７において、撮影処理が完了したか否かを判定する。撮影処理が完了していない場合は、ステップＳ１０１以下の処理を繰り返す。ステップＳ１０７において、撮影処理が完了したと判定すると処理を終了する。
この処理によって、複数視点から撮影された画像が記憶部や外部メモリに格納される。

［３．撮影画像の再生処理について］
次に、撮像装置において撮影され記録された画像を適用した再生処理について説明する。図１２は、撮像装置の実行する画像再生処理の全体シーケンスを示すフローチャートである。

まず、ステップＳ２０１において、制御部は再生対象とする画像ファイルを記憶部あるいは外部メモリから読み出す。ステップＳ２０２において読み出しファイルが立体画像表示可能なファイルか否かを判定する。この判定処理は、例えば、画像の属性情報に基づいて判定する。先に図７を参照して説明したように撮影画像には立体画像撮影モード、パノラマ画像撮影モード等の撮影モード情報が記録されており、これらの情報が付加された画像は複数視点の複数画像のセットが記録されていると判定し、ステップＳ２０２の判定はＹｅｓとなる。

取得した画像の属性が立体画像撮影モード、パノラマ画像撮影モード等ではなく単発撮影の画像ファイルである場合は、ステップＳ２０２の判定はＮｏとなる。この場合は、ステップＳ２０７に進み、その画像を通常の二次元データとして出力し表示する処理が行われる。

ステップＳ２０２の判定がＹｅｓの場合は、ステップＳ２０３に進む。ステップＳ２０３では、立体画像として表示するための異なる視点の画像が３枚以上あるか否かを判定する。２枚以下しかない場合は、ステップＳ２０３の判定はＮｏとなり、ステップＳ２０７に進む。１枚しかない場合は、その画像を通常の二次元データとして出力し表示する処理が行われる。２枚の場合は、その２枚の画像を左目用画像、右目用画像とした立体画像表示を行う。

ステップＳ２０３において、立体画像として表示するための異なる視点の画像が３枚以上あると判定した場合は、画像の選択の余地があり、画像選択のためにステップＳ２０４以下の処理が実行される。

ステップＳ２０４では、画像に対応する属性情報として移動量情報が記録されているか否かを判定する。移動量情報が記録されていない場合は、ステップＳ２０５において画像間の移動量を算出する。これは、２つの画像を比較して画像間の移動量を算出する処理であり、例えば先に図９を参照して説明した動き検出部１３１におけるブロック間マッチングを適用した処理として行われる。

ステップＳ２０４において、画像に対応する移動量情報が記録されていることが確認された場合、またはステップＳ２０５において移動量の算出が完了した場合、ステップＳ２０６に進む。ステップＳ２０６では、移動量情報を適用して画像表示装置と視聴者に応じた最適画像の選択処理を実行する。この処理の詳細については後述する。

最後に、ステップＳ２０７において、選択した２つの異なる視点からの画像を適用した立体画像表示を実行する。

ステップＳ２０６における画像選択処理の具体的シーケンスについて、図１３に示すフローチャートを参照して説明する。
ステップＳ２５１において、視聴者の年齢が予め設定した閾値年齢（例えば７歳）未満であるか閾値以上であるかを判定する。これは、ユーザ入力情報に基づいて判定する。
例えば、図１４に示す（ａ）設定メニュー１のように、カメラの表示部に視聴者情報を入力するためのメニューを表示して、ユーザに回答を求め、ユーザ入力情報に応じて判定する。

なお、先に説明したように、立体像が視聴者により近づくような画像を長時間、観察し続けると、成長段階にある子供など低年齢層に対する悪影響を及ぼすことが考えられるため、安全ガイドラインが設定されている。ステップＳ２５１の判定処理は、この安全ガイドラインに従った画像表示を行うための判定処理ステップである。

ステップＳ２５１において、視聴者の年齢が予め設定した閾値年齢（例えば７歳）未満であると判定した場合は、ステップＳ２５３に進む。
ステップＳ２５３では、３枚以上の異なる視点の画像から視差、すなわち移動量の小さい画像の組み合わせを選択してその２つの画像を表示装置に出力する左目用画像、右目用画像として選択する。例えば画像１〜画像４がある場合、画像１と、画像１に対して最も移動量（視差）の少ない画像２を選択する。あるいは、画像１〜画像４の全ての画像間の移動量を求めて、予め設定した最大移動量以下で最大の移動量を持つ画像の組み合わせを選択するといった処理としてもよい。

一方、ステップＳ２５１において、視聴者の年齢が予め設定した閾値（例えば７歳）未満でないと判定した場合は、ステップＳ２５２に進む。
ステップＳ２５２では、画像表示を行う表示装置のサイズが、予め設定した閾値サイズ以上のサイズであるか否かを判定する。
この判定処理も、例えばユーザ入力情報に基づいて判定する。
例えば、図１４に示す（ｂ）設定メニュー２のように、カメラの表示部に表示部情報を入力するためのメニューを表示して、ユーザに回答を求め、ユーザ入力情報に応じて判定する。図１４に示す例では閾値＝３０インチの設定であり、表示装置が３０インチ以上か３０インチ未満であるかを入力する設定である。

ステップＳ２５２において、表示装置が閾値サイズ以上である場合は、ステップＳ２５３に進み、前述したように、視差、すなわち移動量の小さい画像の組み合わせを選択してその２つの画像を表示装置に出力する左目用画像、右目用画像として選択する。

一方、ステップＳ２５２において、表示装置が閾値サイズ以上でないと判定した場合は、ステップＳ２５４に進み、視差、すなわち移動量の大きい画像の組み合わせを選択してその２つの画像を表示装置に出力する左目用画像、右目用画像として選択する。

なお、ステップＳ２５２における表示装置のサイズ情報は、図１４に示すメニュー表示に対するユーザ入力を利用することなく、例えば図５に示す入出力部１３２を介して接続された表示装置１３５から表示情報の情報、例えば画面サイズ情報、あるいはＨＤ画像の表示可否情報などを取得し、これらの情報に基づいて判定してもよい。例えばＨＤ画像の表示可能な表示装置であれば画面サイズは大であるといった判定を行う。例えば、ＨＤＭＩケーブルの接続構成を持つ場合、ＥＤＩＤから画像サイズ情報として、［Ｍａｘ Ｈｏｒｉｚｏｎｔａｌ／Ｖｅｒｔｉｃａｌ Ｉｍａｇｅ Ｓｉｚｅ］を取得することができる。コンポーネントケーブルの接続構成であればＨＤ画像の表示可否の情報を取得できる。また、例えば、Ｄ３で表示しているなら画面サイズは大きいと判断することも可能である。

また、ステップＳ２５１における視聴者の年齢判定処理もユーザ入力情報を用いない構成とすることも可能である。例えば、表示装置に備えられたカメラで視聴者を撮影し、撮影画像に対する顔検出処理により、検出した顔画像を利用して年齢判断処理を行ってもよい。この場合、撮像装置内の記憶部に顔検出処理および顔画像に基づく年齢判定処理を実行するプログラムを予め格納し、このプログラムによる処理を実行する。

図１３に示すフローに従った画像選択処理を行うことで、低年齢の視聴者には視差の大きすぎない立体画像を提示するとこができる。
また、画面サイズに応じた最適な立体画像表示を行うことができる。

なお、ステップＳ２５３、あるいはステップＳ２５４において、表示にふさわしい視差の画像が無い場合には、存在する画像から加工して新たに補間画像を作り出し、表示画像とする補間画像生成処理を実行してよい。例えば、図１５に示すように、画像１と画像２がある場合、図像１と画像２の移動量（視差）が大きい場合、図像１と画像２を適用した補間処理により、補間画像を生成する。画像１と補間画像の視差は、画像１と画像２の視差の半分の視差となる。このような補間画像を表示処理に適用する構成としてもよい。

なお、例えば撮像装置に図５に示す入出力部１３２を介して表示装置１３５が接続されている場合、画像表示処理は、撮像装置の表示部（モニタ）１２１と、接続された表示装置１３５のいずれにも表示可能となる。この場合、入出力部１３２を介して表示装置１３５が接続されている場合は、表示サイズの大きい外部表示装置を表示先として優先して表示を行う。なお、この際には、撮像装置の表示部（モニタ）１２１には、外部に接続された表示装置１３５と同じ立体画像を表示してもよいし、例えば図１６に示すように、撮像装置の表示部（モニタ）１２１に外部出力中などの文字を表示してもよい。

なお、図１３に示すフローによる画像選択処理を行うと、特定の画像ペアのみが選択されることになり、ユーザによる選択の余地がないが、例えば、図１７に示すような画像選択を実行させる画面を提示してユーザに任意の画像ペアを選択させる設定としてもよい。

［４．接続した表示装置の機能に応じた画像出力処理例について］
撮像装置は、図５に示す入出力部１３２を介して様々な表示装置１３５を接続できる。接続される表示装置１３５の機能も様々である。例えば、
（ａ）立体画像の表示は可能であるが、画像選択ができない表示装置
（ｂ）立体画像の表示と画像選択は可能であるが、Ｍｐファイルの解釈はできない。
（ｃ）立体画像の表示が可能であり、さらにＭｐファイルの解釈、画像選択も自ら実行できる表示装置
例えばこれらのタイプの表示装置がある。

撮像装置は、入出力部１３２を介して接続された表示装置の機能に応じて異なる処理を実行することになる。図１８に示すフローチャートを参照して、撮像装置が、接続された表示装置の機能に応じて実行する処理について説明する。

なお、図１８に示すフローは、接続された表示装置の情報を入出力部１３２を介して入力、あるいはユーザが入力した表示装置情報を用いて実行される。
まず、ステップＳ３０１において、接続された表示装置が立体画像表示用画像の選択処理を実行する機能を有するか否かを判定する。選択機能が無い場合は、ステップＳ３１１に進み、撮像装置側において、画像の選択処理を実行し選択画像をメモリ（ＲＡＭ）に展開する。なお、この最の画像選択処理は、例えば先に説明した図１３に示すフローに従って実行する。

一方、テップＳ３０１において、接続された表示装置が立体画像表示用画像の選択処理を実行する機能を有すると判定した場合は、ステップＳ３０２に進む。
ステップＳ３０２では、接続された表示装置がＭｐファイル（図６、図７参照）を解釈して処理可能か否かを判定する。

接続された表示装置がＭｐファイルの解釈処理機能を有している場合は、ステップＳ３０５に進み、Ｍｐファイルをそのまま表示装置側に出力して処理を終了する。この場合、表示装置側で画像を選択して表示する処理を実行する。

接続された表示装置がＭｐファイルの解釈処理機能を有していない場合は、ステップＳ３０３に進む。
ステップＳ３０３では、立体画像表示用の複数の画像をメモリ（ＲＡＭ）上に展開する。

ステップＳ３０３の処理、またはステップＳ３１１の処理の後、ステップＳ３０４に進む。
ステップＳ３０４では、メモリ（ＲＡＭ）上のファイルから出力先となる表示装置の立体画像表示方式に応じた画像を生成する。

なお、立体画像表示方式には、液晶シャッター方式、偏光メガネ方式、視差バリア方式など様々な方式がある。また左右画像のデータ提供形式にもサイドバイサイド、オーバーアンダー、インターレースなど様々な形式がある。ステップＳ３０４では、表示装置の許容可能な方式に従って出力用のデータを生成する。
その後、ステップＳ３０５において生成した画像ファイルを表示装置に出力する。

このように、撮像装置は、接続された外部の表示装置の機能に応じた画像提供処理を行う。なお、複数画像を含む画像ファイルを表示装置に出力する際には、例えば図１９に示すように圧縮ファイルを生成して、圧縮ファイルの送信を行う構成とするのが望ましい。

［５．画像比較処理による移動量算出の実施例について］
先に図９を参照して説明したように、立体画像の表示に適用可能な異なる視点から撮影された複数の画像の移動量（視差）を算出する際に、動き検出部１３１（図５参照）は、画像をブロック分割し、ブロックマッチングを実行して移動量を算出する。

以下、この移動量算出処理による最適画像の選択シーケンスの詳細処理について、図２０、図２１に示すフローチャートを参照して説明する。

まず、ステップＳ５０１において、Ｍｐファイル（図６、図７参照）に基線長情報が記録されているか否かを判定する。基線長情報は、図２２に示すように、画像を撮影したレンズ間の距離情報であり移動量情報に対応する情報である。基線長情報（移動量情報）が記録されている場合（ステップＳ５０１でＹｅｓ）は、ステップＳ５１１に進み、この情報を利用した処理を行うことになる。

一方、Ｍｐファイル（図６、図７参照）に基線長情報が記録されていない場合、ステップＳ５０１の判定はＮｏとなり、ステップＳ５０２に進む。
ステップＳ５０２では、基準画像を取得する。基準画像は、立体画像表示に適用する１つの画像とする。
次に、ステップＳ５０３において比較画像を取得する。比較画像は、基準画像以外の画像である。

次に、ステップＳ５０４において、基準画像と比較画像を輝度（Ｙ）情報のみの画像に変換してブロック分割を行う。なお、輝度情報への変換は、ブロックの比較処理を効率的に実行するための情報量の削減を目的として行われる処理である。従って例えば十分なデータ処理機能を備えた装置であれば、ＲＧＢの値をそのまま用いてもよく、この場合は、ステップＳ５０４における輝度（Ｙ）情報のみの画像に変換する処理は省略してもよい。また、画像を分割して設定するブロック数は様々な設定が可能である。例えば一例を図２３（ｂ）に示す。図２３（ａ）に示す例では、６４×４８ブロックに分割した例を示している。

次に、ステップＳ５０５において、基準画像と比較画像各々について、分割ブロック内の平均輝度を算出する。
次に、ステップＳ５０６において、比較画像から順次処理ブロックを選択し、選択した処理ブロックの平均輝度と同じ、あるいは予め設定した差分以内の平均輝度を持つブロックが基準画像内にあるか否かを判定する。なお、予め設定した差分以内の平均輝度を持つブロックが基準画像内に複数ある場合は、最も差分の小さいブロックを１つ選択する。

このブロック探索処理に際しては、基準画像の全てのブロックを探索範囲として探索をしてもよいが、図２３（ｃ）に示すように、基準画像の一部のブロックのみを探索範囲とした処理を行ってもよい。図２３（ｃ）に示す例は、（ｃ１）比較画像のブロックの対応位置の（ｃ２）基準画像のブロックを起点として、予め設定した探索領域内のブロックのみ（図２３（ｃ２）のｘ〜ｙ）を探索する設定である。

ステップＳ５０７において、比較画像からの選択ブロックの平均輝度と同じ、あるいは予め設定した差分以内の平均輝度を持つブロックが基準画像内から検出された場合は、ステップＳ５０８に進み、検出されない場合はステップＳ５０９に進む。

ステップＳ５０８では、比較画像からの選択ブロックと基準画像内から検出されたブロックとの移動ブロック量を記録し、一致ブロック数カウンタのカウント数を更新する。
ステップＳ５０９では不一致ブロック数カウンタのカウント数を更新する。

ステップＳ５１０において、比較画像に設定した全ブロックの処理が終了したか否かを判定し、未処理ブロックがある場合は、ステップＳ５０６以下の処理を未処理ブロックに対して実行する。
全てのブロックに対する処理が終了したと判定すると、ステップＳ５１２に進む。

続いて図２１に示すフローについて説明する。
ステップＳ５１１は、ステップＳ５０１において、Ｍｐファイルに基線長が記録されている場合の処理である。
この場合、ステップＳ５１１において、基線長に基づいて、各画像間の移動量を算出する。

一方、Ｍｐファイルに基線長が記録されていない場合は、ステップＳ５１２において、ステップＳ５０２〜Ｓ５１０の処理の結果として得られるブロック移動量に基づいて各画像間の移動量を算出する。ステップＳ５０２〜Ｓ５１０の処理の結果として得られる複数のブロック移動量の平均値を画像間の移動量として設定する。

例えば、ステップＳ５０２〜Ｓ５１０の処理の結果として、例えば以下の結果が得られる。
画像１と画像２の移動量＝１ブロック
画像１と画像３の移動量＝２ブロック
画像１と画像４の移動量＝６ブロック
このような結果を得ることができる。

次に、ステップＳ５１３において、画像の出力先が撮像装置に接続された外部の表示装置であるか、あるいは撮像装置の表示部（モニタ）であるかを判定する。

出力先が撮像装置の表示部（モニタ）である場合は、ステップＳ５１７に進み、移動量の大きい画像ペアを左目用画像と右目用画像として選択する。例えば画像１と画像３を選択する。なお、この画像選択の際には予め移動量の許容最大値や許容最小値を決定しておき、その範囲の画像ペアを選択する構成とすることが好ましい。

一方、ステップＳ５１３において、、画像の出力先が撮像装置に接続された外部の表示装置であると判定した場合は、ステップＳ５１４に進み、接続された表示装置から表示装置情報を入力（例えばＥＤＩＤを利用）し、ステップＳ５１５において、表示装置の画面サイズが予め設定した閾値サイズ（例えば３０インチ）以上であるか否かを判定する。

表示装置の画面サイズが予め設定した閾値サイズ（例えば３０インチ）以上である場合は、ステップＳ５１６に進み、表示装置の画面サイズが予め設定した閾値サイズ（例えば３０インチ）未満である場合はステップＳ５１７に進む。

表示装置の画面サイズが閾値以上であると判定し、ステップＳ５１６に進んだ場合は、移動量の小さい画像ペアを左目用画像と右目用画像として選択する。例えば画像１と画像２を選択する。なお、この画像選択の際にも予め移動量の許容最大値や許容最小値を決定しておき、その範囲の画像ペアを選択する構成とすることが好ましい。

一方、表示装置の画面サイズが閾値未満であると判定し、ステップＳ５１７に進んだ場合は、移動量の大きい画像ペアを左目用画像と右目用画像として選択する。例えば画像１と画像３を選択する。

ステップＳ５１６、またはステップＳ５１７の処理の完了後、ステップＳ５１８に進む。ステップＳ５１８では、選択画像による立体表示用画像を生成して表示部に出力する。

なお、図２０、図２１に示すフローでは視聴者の年齢による画像選択処理を省略しているが、先に図１３を参照して説明した視聴者の年齢を考慮した画像選択処理を併せて実行してもよい。

上述したように、本発明の画像処理装置（例えば撮像装置）は、
三次元画像である立体画像の表示対象とする表示装置のディスプレイサイズが大きい場合は、移動量（視差）の小さい画像ペアを選択し、表示装置のディスプレイサイズが小さい場合は、移動量（視差）の大きい画像ペアを選択して表示する。
また、視聴者の年齢が低い場合は、移動量（視差）の小さい画像ペアを選択して表示する。
これらの処理を実行することで表示装置および視聴者に応じた最適な立体画像表示が実現される。

なお、上述した実施例では、ディスプレイサイズを１つの閾値サイズ以上か未満かによって移動量が小の画像ペアか、移動量が大の画像ペアの２つの画像ペアを選択する設定として説明したが、さらに複数の閾値を設定して、複数の異なる移動量（視差）の画像ペアを表示画像として選択する構成としてもよい。

例えば、閾値サイズとして、
Ｔｈａ＞Ｔｈｂ
これらの２種類の閾値サイズを設定し、
ディスプレイサイズ≧Ｔｈａの場合：移動量（視差）が［ｍ１］〜［ｍ２］の画像ペア
Ｔｈａ＞ディスプレイサイズ≧Ｔｈｂの場合：移動量（視差）が［ｍ２］〜［ｍ３］の画像ペア
Ｔｈｂ＞ディスプレイサイズの場合：移動量（視差）が［ｍ３］〜［ｍ４］の画像ペア
このような画像ペアの選択を行う構成としてもよい。
ただし、移動量（視差）ｍ１〜ｍ４は、
ｍ１＜ｍ２＜ｍ３＜ｍ４
である。
さらに閾値を３以上設定してさらに細かい設定の画像ペア選択を行う構成としてもよい。

また、視聴者の年齢による画像の選択においても同様であり、さらに複数の閾値を設定して、複数の異なる移動量（視差）の画像ペアを表示画像として選択する構成としてもよい。

例えば、閾値年齢として、
Ｔｈｘ＜Ｔｈｙ
これらの２種類の閾値年齢を設定し、
視聴者年齢＜Ｔｈｘの場合：移動量（視差）が［ｍｐ］〜［ｍｑ］の画像ペア
Ｔｈｘ＜視聴者年齢≦Ｔｈｙの場合：移動量（視差）が［ｍｑ］〜［ｍｒ］の画像ペア
ＴＨｙ＜視聴者年齢の場合：移動量（視差）が［ｍｒ］〜［ｍｓ］の画像ペア
このような画像ペアの選択を行う構成としてもよい。
ただし、移動量（視差）ｍｐ〜ｍｓは、
ｍｐ＜ｍｑ＜ｍｒ＜ｍｓ
である。
さらに閾値を３以上設定してさらに細かい設定の画像ペア選択を行う構成としてもよい。

また、上述した実施例では、撮像装置の撮影画像の立体表示について説明したが、例えばメニュー画面やＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）情報の表示に際しても、予めルモリに複数の立体表示用の画像を格納して、ディスプレイサイズや視聴者年齢に応じて視差の異なる画像の組み合わせを選択して表示する構成としてもよい。視差の選定基準は、上述の画像表示と同様、表示装置のディスプレイサイズが大きい場合は視差の小さい画像ペア、ディスプレイサイズが小さい場合は視差の大きい画像ペアを選択して表示する。視聴者の年齢が低い場合は、視差の小さい画像ペアを選択して表示する。これらの処理を実行することで、メニューやＯＳＤ情報についても表示装置および視聴者に応じた最適な立体画像表示が実現される。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、三次元画像の表示に際して、ディスプレイサイズや視聴者年齢に応じた最適な視差を持つ画像を選択する装置および方法を提供する。表示部に左目用画像と右目用画像の視差を持つ画像の組を出力して三次元画像の表示を行う構成において、表示部のディスプレイサイズや視聴者年齢に応じた画像を選択して出力する。表示部のディスプレイサイズが大きい場合は、視差の小さい画像の組み合わせを表示画像として選択し、ディスプレイサイズが小さい場合は、比較的視差の大きい画像を表示画像として選択する。さらに視聴者の年齢が予め設定した閾値年齢、例えば７歳未満である場合は、比較的視差の小さい画像を表示画像として選択して表示処理を行う。この構成により、ディスプレイサイズや視聴者に応じた最適な立体画像表示が実現される。

１０ 撮像装置
１１ シャッター
１２ レンズ
２１ 表示部（モニタ）
２２ ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗ ｆｉｎｄｅｒ）
２５ 被写体
３０ 撮像装置
３１ レンズ
１１１ レンズ部
１１２ 光電変換部
１１３ 信号処理部
１１４ 操作部
１１５ 記憶部
１１６ 外部メモリ
１１７ 制御部
１１８ ＲＯＭ
１１９ ＲＡＭ
１２１ 表示部（モニタ）
１２２ ＥＶＦ
１２３ 電源
１３１ 動き検出部
１３２ 入出力部
１３５ 表示装置
１５０ Ｍｐファイル
１８１，１８２ ブロック

Claims (11)

1. 異なる視点から撮影した複数の画像から、三次元画像の表示処理に適用する画像を選択する制御部を有し、
   前記制御部は、
   表示部のディスプレイサイズに応じて異なる視差を持つ画像の組を表示画像として選択する処理を実行する構成であり、
   画像の属性情報として画像間の視差に相当する移動量情報が記録されているか否かを検証し、移動量情報の記録がある場合は記録された移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択し、
   移動量情報の記録がない場合は、
   ブロック分割した画像相互のブロック一致度の判定情報を利用して移動量を算出し、算出した移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択する処理を実行する画像処理装置。
2. 前記画像処理装置は、
   ブロック分割した画像相互のブロック一致度の判定処理を実行する動き検出部を有し、
   前記制御部は、前記動き検出部の検出情報を用いて前記移動量を算出する請求項１に記載の画像処理装置。
3. 前記制御部は、
   視聴者の年齢情報を取得し、取得した年齢情報と予め設定した閾値年齢を比較し、視聴者年齢が閾値年齢未満であるか閾値年齢以上である場合とで、異なる視差を持つ画像の組み合わせを選択する処理を実行する請求項１または２に記載の画像処理装置。
4. 前記制御部は、
   ディスプレイサイズの大きい表示部に対して、ディスプレイサイズの大きい表示部に対する選択画像より視差の小さい画像の組み合わせを選択する処理を行う請求項１〜３いずれかに記載の画像処理装置。
5. 前記制御部は、
   視聴者年齢が閾値年齢未満である場合は、視聴者年齢が閾値年齢以上である場合より視差の小さい画像の組み合わせを選択する処理を行う請求項３に記載の画像処理装置。
6. 前記制御部は、
   画像処理装置に接続された外部の表示装置から入力する表示装置情報を解析してディスプレイサイズを取得する請求項１〜５いずれかに記載の画像処理装置。
7. 前記制御部は、
   画像の属性情報として画像間の視差に相当する移動量情報の記録がない場合、画像を輝度情報のみからなる画像に変換し、輝度情報画像を利用してブロック一致度検証処理を実行する請求項１に記載の画像処理装置。
8. 前記画像処理装置は、
   画像撮影機能を有する撮像装置であり、
   前記制御部は、
   撮影画像に対応する視差情報としての移動量情報を撮影画像の属性情報として記録する処理を行う請求項１〜７いずれかに記載の画像処理装置。
9. 前記画像処理装置は、
   ブロック分割した画像相互のブロック一致度の判定処理を実行する動き検出部を有し、
   前記制御部は、前記動き検出部の検出情報を用いて前記移動量を算出して画像の属性情報として記録する請求項８に記載の画像処理装置。
10. 画像処理装置において実行する画像処理方法であり、
    制御部が、異なる視点から撮影した複数の画像から、三次元画像の表示処理に適用する画像を選択する画像選択ステップを有し、
    前記画像選択ステップは、
    表示部のディスプレイサイズに応じて異なる視差を持つ画像の組を表示画像として選択する処理を実行するステップであり、
    画像の属性情報として画像間の視差に相当する移動量情報が記録されているか否かを検証するステップと、
    移動量情報の記録がある場合は、記録された移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択するステップと、
    移動量情報の記録がない場合は、ブロック分割した画像相互のブロック一致度の判定情報を利用して移動量を算出し、算出した移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択するステップを有する画像処理方法。
11. 画像処理装置において画像処理を実行させるプログラムであり、
    制御部に、異なる視点から撮影した複数の画像から、三次元画像の表示処理に適用する画像を選択させる画像選択ステップを有し、
    前記画像選択ステップは、
    表示部のディスプレイサイズに応じて異なる視差を持つ画像の組を表示画像として選択する処理を実行させるステップであり、
    画像の属性情報として画像間の視差に相当する移動量情報が記録されているか否かを検証させるステップと、
    移動量情報の記録がある場合は、記録された移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択させるステップと、
    移動量情報の記録がない場合は、ブロック分割した画像相互のブロック一致度の判定情報を利用して移動量を算出し、算出した移動量情報を適用してディスプレイサイズに応じた視差を持つ画像の組み合わせを選択させるステップと、
    を実行させるプログラム。