JP5586377B2 - 表示装置 - Google Patents

Description

本発明は、２つの画像データを用いて３次元画像を表示する表示装置に関する。

近年、同一の被写体に対してデジタルステレオカメラを用いて撮影することによって複数の画像データを取得し、この取得した複数の画像データに含まれる被写体の視差を利用することにより、ユーザが立体的に見ることができる３次元画像（以下、「３Ｄ画像」という）を表示する表示装置が知られている。

このような表示装置において、ユーザが偏光眼鏡を用いて３Ｄ画像を快適に視聴することができる技術が知られている（特許文献１参照）。この技術では、ユーザが偏光眼鏡を用いて３Ｄ画像を見る際に左右の眼球のグレイレベル明度を検出して変換曲線を求め、この求めた変換曲線を予め求めた偏光眼鏡の漏出値に一致させた後に表示パネルに３Ｄ画像のデータを出力することにより、ユーザが快適に視聴することができる３Ｄ画像を表示パネルに表示させる。

特開２００８−１２３５０４号公報

ところで、従来の表示装置では、３Ｄ画像全体で飛び出し感または引っ込み感を調整していた。このため、３Ｄ画像に含まれる被写体毎に所望の飛び出し感または引っ込み感をそれぞれ個別に調整することができなかった。

本発明は、上記に鑑みてなされたものであって、３Ｄ画像に含まれる被写体毎に飛び出し感または引っ込み感をそれぞれ個別に調整することができる表示装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示装置は、２つの画像データを組み合わせて生成された３次元画像を表示する表示部と、前記表示部が表示する前記３次元画像の中で前記表示部の表示画面と直交する方向へ仮想的に離間した離間距離を調整する調整領域を選択する設定部と、前記設定部が選択した前記調整領域における前記離間距離の変更を指示する変更指示信号の入力を受け付ける入力部と、前記入力部が受け付けた前記変更指示信号に応じて、前記調整領域の視差を調整することによって、前記調整領域の前記離間距離を調整する離間距離調整部と、前記離間距離調整部によって前記調整領域の前記離間距離が調整された前記２つの画像データを用いた３次元画像を前記表示部に表示させる制御を行う表示制御部と、前記設定部が選択した前記調整領域を切出してトリミング画像を生成するトリミング部と、前記調整領域の視差と前記調整領域の前記離間距離とに基づいて、前記トリミング部が生成した前記トリミング画像を拡大または縮小して拡大トリミング画像または縮小トリミング画像を生成する拡大縮小部と、前記拡大縮小部が生成した前記拡大トリミング画像または前記縮小トリミング画像を前記調整領域に重ねた合成画像を生成する合成画像生成部と、を備え、前記表示制御部は、前記合成画像生成部が生成した前記合成画像を用いた３次元画像を前記表示部に表示させる制御を行うことを特徴とする。

また、本発明に係る表示装置は、上記発明において、前記入力部は、前記３次元画像内において被写体を指定する指定信号の入力を受け付け、前記設定部は、前記２つの画像データに含まれ、前記入力部が受け付けた前記指定信号によって指定された被写体を表示する領域を前記調整領域として選択し、前記離間距離調整部は、前記２つの画像データにおける前記指定された被写体の視差を調整し、前記表示制御部は、前記離間距離調整部が前記指定された被写体の視差を調整した前記２つの画像データを用いた３次元画像を前記表示部に表示させる制御を行うことを特徴とする。

また、本発明に係る表示装置は、上記発明において、異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する撮像部と、前記撮像部が生成した前記２つの画像データそれぞれに対応する２つの画像に対し、所定の縦横比率で切出して前記３次元画像を生成する立体画像生成部と、をさらに備え、前記表示制御部は、前記立体画像生成部が生成した前記３次元画像を、前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に出力する制御を行うことを特徴とする。

また、本発明に係る表示装置は、上記発明において、前記入力部は、前記表示部の表示画面上に設けられ、外部からの物体の接触位置に応じた信号の入力を受け付けるタッチパネルを有し、前記設定部は、前記２つの画像データに含まれ、前記タッチパネルが入力を受け付けた信号によって指定された被写体を表示する領域を前記調整領域として選択することを特徴とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示装置は、上記発明において、前記表示制御部は、互いに異なる内容の前記変更指示信号の入力を受け付ける複数のアイコンを前記表示部に表示させる制御を行い、前記離間距離調整部は、前記タッチパネルが前記アイコンの表示領域上に位置する接触領域で入力を受け付けた前記変更指示信号に応じて前記調整領域の視差を調整することを特徴とする。

また、本発明に係る表示装置は、上記発明において、前記撮像部と前記入力部とを有し、当該表示装置の本体部から着脱自在であるレンズユニットをさらに備えたことを特徴とする。

本発明に係る表示装置によれば、設定部が表示部によって表示される３Ｄ画像の中で表示部の表示画面と直交する方向へ仮想的に離間した離間距離を調整する調整領域を選択し、離間距離調整部が入力部によって受け付けられた変更指示信号に応じて調整領域の離間距離を調整し、表示制御部が離間距離調整部によって調整領域の離間距離を調整した２つの画像データを用いて３Ｄ画像を表示部に表示させる制御を行う。この結果、ユーザは、３Ｄ画像に含まれる所望の被写体の飛び出し感または引っ込み感をそれぞれ個別に調整することができる。

図１は、本発明の一実施の形態に係る表示装置の構成を示すブロック図である。 図２は、本発明の一実施の形態に係る表示装置が備える表示部の概略構成を示す模式図である。 図３は、本発明の一実施の形態に係る表示装置が備える撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。 図４は、図３に示す状況下で撮像部が被写体に対して互いの視野の左右方向の一端部同士が重なりを有する２つの画像データに対応する画像の一例を示す図である。 図５は、図３に示す状況下で撮像部が生成した右目画像と左目画像とを仮想的に重ねた画像の一例を示す図である。 図６は、図３に示す状況下で撮像部と被写体との距離と画像中の被写***置の関係を示す図である。 図７は、本発明の一実施の形態に係る表示装置が備える設定部が選択する調整領域の選択方法を説明する模式図である。 図８は、本発明の一実施の形態に係る表示装置が備える離間距離調整部が行う処理の概要を示す模式図である。 図９は、本発明の一実施の形態に係る表示装置が行う処理の概要を示すフローチャートである。 図１０は、表示部によって表示されるユーザが視認する仮想的な３Ｄ画像中に設けられたアイコンを操作する際の模式図である。 図１１は、離間距離調整部が被写体の視差を拡大する調整方法を説明する模式図である。 図１２は、合成画像生成部が生成する合成画像の一例を示す図である。 図１３は、離間距離調整部によって調整されたユーザが視認する仮想的な３Ｄ画像の一例を示す図である。 図１４は、離間距離調整部が被写体の視差を縮小する調整方法を説明する模式図である。 図１５は、合成画像生成部が生成する合成画像の一例を示す図である。 図１６は、離間距離調整部によって調整されたユーザが視認する仮想的な３Ｄ画像の一例を示す図である。 図１７は、離間距離調整部が被写体の視差を縮小する調整前と調整後にユーザが仮想的に視認する３Ｄ画像の飛び出し距離の概要を説明する図である。 図１８は、図９の再生表示処理の概要を示すフローチャートである。 図１９は、本発明の一実施の形態に係る変形例において離間距離調整部が被写体の視差を拡大する調整方法を説明する模式図である。 図２０は、本発明の一実施の形態に係る変形例において合成画像生成部が生成する合成画像の一例を示す図である。 図２１は、本発明の一実施の形態に係る変形例において離間距離調整部によって調整されたユーザが視認する仮想的な３Ｄ画像の一例を示す図である。 図２２は、本発明の一実施の形態に係る変形例において離間距離調整部が被写体の視差を縮小する調整方法を説明する模式図である。 図２３は、本発明の一実施の形態に係る変形例において合成画像生成部が生成する合成画像の一例を示す図である。 図２４は、本発明の一実施の形態に係る変形例において離間距離調整部によって調整されたユーザが視認する仮想的な３Ｄ画像の一例を示す図である。 図２５は、本発明の一実施の形態に係る変形例においてユーザが３Ｄ画像内における被写体の視差の調整を行っている状況を示す図である。 図２６は、本発明の一実施の形態に係る変形例において撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付している。

図１は、本発明の一実施の形態に係る表示装置の構成を示すブロック図である。本実施の形態では、表示装置を搭載したデジタルステレオカメラを例に挙げて説明する。図１に示すように、異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する撮像部２と、表示装置１の姿勢を検出する姿勢検出部３と、表示装置１の各種情報の入力を受け付ける操作入力部４と、撮影日時の判定機能やタイマー機能を有する時計５と、２次元画像（以下、「２Ｄ画像」という）または３Ｄ画像を表示する表示部６と、外部からの接触位置や軌跡に応じた信号の入力を受け付けるタッチパネル７と、撮像部２によって生成された画像データを含む各種情報を記憶する記憶部８と、表示装置１の動作を制御する制御部９と、を備える。

撮像部２は、第１撮像部２１と第２撮像部２２とを有する。第１撮像部２１および第２撮像部２２は、互いの光軸Ｌ１，Ｌ２が平行または所定の角度をなすように同一平面上で並設される。

第１撮像部２１は、レンズ部２１ａと、レンズ駆動部２１ｂと、絞り２１ｃと、絞り駆動部２１ｄと、シャッタ２１ｅと、シャッタ駆動部２１ｆと、撮像素子２１ｇと、信号処理部２１ｈとを有する。レンズ部２１ａは、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光する。レンズ駆動部２１ｂは、ＤＣモータ等によって構成され、レンズ部２１ａのフォーカスレンズやズームレンズ等を光軸Ｌ１上で移動させることにより、レンズ部２１ａのピント位置や焦点距離の変更を行う。絞り２１ｃは、レンズ部２１ａが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部２１ｄは、ステッピングモータ等によって構成され、絞り２１ｃを駆動する。シャッタ２１ｅは、撮像素子２１ｇの状態を露光状態または遮光状態に設定する。シャッタ駆動部２１ｆは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ２１ｅを駆動する。撮像素子２１ｇは、レンズ部２１ａが集光した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等によって実現され、変換した電気信号を信号処理部２１ｈに出力する。信号処理部２１ｈは、撮像素子２１ｇから出力される電気信号に増幅等の信号処理を施した後、Ａ／Ｄ変換を行うことによってデジタルの画像データに変換して制御部９に出力する。

第２撮像部２２は、第１撮像部２１と同一の構成によって実現され、レンズ部２２ａと、レンズ駆動部２２ｂと、絞り２２ｃと、絞り駆動部２２ｄと、シャッタ２２ｅと、シャッタ駆動部２２ｆと、撮像素子２２ｇと、信号処理部２２ｈとを有する。

姿勢検出部３は、加速度センサによって構成され、表示装置１の加速度を検出することにより、表示装置１の姿勢状態を検出する。具体的には、姿勢検出部３は、水平面を基準としたときの表示装置１の姿勢を検出する。

操作入力部４は、表示装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ４１と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ４２と、表示装置１の各種撮影モードや各種設定の切換える切換スイッチ４３と、撮像部２のズーム操作を行うズームスイッチ４４と、３Ｄ画像の調整を行うアイコンを表示部６に表示させる３Ｄ調整スイッチ４５とを有する。

時計５は、表示装置１の動作の基準となる時間信号を生成する。これにより、制御部９は、画像データの取得時間や撮像素子２１ｇ，２２ｇの露光時間等を設定することができる。

図２は、表示部６の概略構成を示す模式図である。図２に示すように、表示部６は、バックライト６１と、表示パネル６２と、視差バリア６３とを有する。バックライト６１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル６２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア６３は、液晶等によって構成され、表示パネル６２の上面に積層される。視差バリア６３は、表示パネル６２の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目Ｏ１と左目Ｏ２とにそれぞれ対応した画像を分離する。また、本実施の形態では、視差バリア６３は、パララックバリア方式が適用される。なお、本実施の形態では、レンティキュラレンズを積層したレンズシートを視差バリア６３に換えて表示パネル６２の上面に積層するようにしてもよい。

以上の構成を有する表示部６は、制御部９から３Ｄ画像データが入力された場合、制御部９の制御のもと表示パネル６２が左端の画素から水平方向に右目画像と左目画像との順で交互に表示し、視差バリア６３が表示パネル６２の各画素から出た光を分離する。このため、右目画像が右目Ｏ１のみ、左目画像が左目Ｏ２のみにそれぞれ届く。これにより、ユーザは、表示部６が表示する３Ｄ画像を立体視することができる。また、表示部６は、表示態様を３Ｄ画像から２Ｄ画像に切換える場合、視差バリア６３に印加される電圧がオン状態からオフ状態になることによって、視差バリア６３が遮光状態から透過状態になり、右目画像または左目画像のどちらか一方が表示パネル６２に出力されることで２Ｄ画像を表示することができる。

タッチパネル７は、表示部６の表示画面上に重ねて設けられる。タッチパネル７は、ユーザが表示部６で表示される情報や画像に基づいて接触（タッチ）した領域や軌跡を検出し、この接触領域や軌跡に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。なお、本実施の形態では、タッチパネル７は、入力部として機能の一部をなす。

記憶部８は、撮像部２が撮影した画像データを記憶する画像データ記憶部８１と、表示装置１が実行する各種プログラムを記憶するプログラム記憶部８２とを有する。記憶部８は、表示装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ（Random Access Memory）等の半導体メモリを用いて実現される。なお、記憶部８に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。

制御部９は、ＣＰＵ（Central Processing Unit）等によって実現される。制御部９は、操作入力部４からの操作信号等に応じて記憶部８のプログラム記憶部８２からプログラムを読み出して実行し、表示装置１を構成する各部に対する指示やデータの転送等を行って表示装置１の動作を統括的に制御する。制御部９は、画像処理部９１と、立体画像生成部９２と、設定部９３と、離間距離調整部９４と、トリミング部９５と、合成画像生成部９７と、表示制御部９８とを有する。

画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対して各種の画像処理を施して記憶部８の画像データ記憶部８１に出力する。具体的には、画像処理部９１は、信号処理部２１ｈ，２２ｈからそれぞれ出力された左目画像データおよび右目画像データに対してエッジ強調、色補正およびγ補正等の処理を施す。

立体画像生成部９２は、画像処理部９１によって画像処理された右目画像データおよび左目画像データに対し、所定の縦横比率、たとえばアスペクト比３：４でそれぞれ切出すことによって３Ｄ画像を生成する。なお、立体画像生成部９２が左目画像データおよび右目画像データそれぞれから切出す縦横比率は、切換スイッチ４３で設定するようにしてもよい。

設定部９３は、表示部６が表示する３Ｄ画像の中で表示部６の表示画面と直交する方向へ仮想的に離間した離間距離を調整する調整領域を選択する。具体的には、設定部９３は、表示部６が表示する３Ｄ画像に対し、タッチパネル７が入力を受け付けた信号によって指定された被写体を表示する領域を、周知の三角測量の原理を用いて調整領域として選択する。

離間距離調整部９４は、画像処理部９１によって画像処理された右目画像データおよび左画像データそれぞれに含まれ、タッチパネル７が入力を受け付けた調整領域の離間距離を変更する変更指示信号に応じて設定部９３が選択した調整領域の離間距離を調整する。具体的には、離間距離調整部９４は、タッチパネル７が入力を受け付けた信号によって指定された被写体の視差を、タッチパネル７が入力を受け付けた離間距離の変更を指示する変更指示信号に応じて調整する。

トリミング部９５は、設定部９３が選択した調整領域を切出してトリミング画像を生成する。具体的には、トリミング部９５は、表示部６が表示する３Ｄ画像に対し、タッチパネル７が入力を受け付けた信号によって指定された被写体を表示する領域を右目画像および左目画像それぞれから切出してトリミング画像を生成する。ここで、トリミングとは、画像内に含まれる被写体の輪郭にそって切出した画像を生成することをいう。また、トリミング画像とは、画像内に含まれる被写体の輪郭にそって切出して生成した画像である。

拡大縮小部９６は、トリミング部９５が生成したトリミング画像を拡大または縮小して拡大トリミング画像または縮小トリミング画像を生成する。具体的には、拡大縮小部９６は、トリミング部９５が右目画像および左目画像それぞれから切出した右目トリミング画像および左目トリミング画像を拡大した拡大トリミング画像または縮小した縮小トリミング画像を生成する。さらに、拡大縮小部９６は、離間距離調整部９４が調整した被写体の視差と被写体の離間距離とに基づいて、トリミング画像を所定の倍率で拡大して拡大トリミング画像または縮小して縮小トリミング画像を生成する。

合成画像生成部９７は、拡大縮小部９６が生成した拡大トリミング画像または縮小トリミング画像を被写体領域に重ねた合成画像を生成する。具体的には、合成画像生成部９７は、表示部６が表示する３Ｄ画像に対し、タッチパネル７が入力を受け付けた信号によって指定された被写体の領域に対応する右目画像および左目画像それぞれの領域に、拡大縮小部９６が生成した拡大トリミング画像または縮小トリミング画像を重ねた右目合成画像および左目合成画像を生成する。

表示制御部９８は、３Ｄ画像または２Ｄ画像を表示部６に表示させる制御を行う。具体的には、表示制御部９８は、表示部６に３Ｄ画像を表示させる場合、立体画像生成部９２が生成した３Ｄ画像の右目画像と左目画像とを表示部６の表示画面における水平方向の１画素毎に交互に並べた３Ｄ画像を表示部６に出力する制御を行う。これに対して、表示制御部９８は、表示部６に２Ｄ画像を表示させる場合、表示部６の視差バリア６３を遮光状態から透過状態にするため、視差バリア６３に印加する電源をオン状態からオフ状態にするとともに、左目画像または右目画像どちらか一方のみを表示パネル６２に出力する制御を行う。さらに、表示制御部９８は、離間距離調整部９４が３Ｄ画像内における被写体の視差を調整した右目画像データおよび左目画像データを用いた３Ｄ画像を表示部６に表示させる制御を行う。さらにまた、表示制御部９８は、合成画像生成部９７が拡大縮小部９６によって生成された拡大トリミング画像または縮小トリミング画像を合成した右目画像データおよび左目画像データを用いた３Ｄ画像を表示部６に表示させる制御を行う。

以上の構成を有する表示装置１において、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図３は、撮像部２が、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。図４は、図３に示す状況下で撮像部２が生成する２つの画像データにそれぞれ対応する２つの画像の一例を示す図である。図４において、画像ＷＲ１が、立体画像生成部９２が第１撮像部２１によって生成された右目画像データに対応する画像から切出して生成した右目画像であり、画像ＷＬ１が、立体画像生成部９２が第２撮像部２２によって生成された左目画像データに対応する画像から切出して生成した左目画像である。図５は、図３に示す状況下で立体画像生成部９２が生成した右目画像と左目画像とを仮想的に重ねた画像の一例を示す図である。図６は、図３に示す状況下で撮像部２と被写体との距離と画像中の被写***置の関係を示す図である。図６では、横軸が左端を原点としたときの画像Ｗ１内の被写***置であり、縦軸が撮像部２と被写体との距離である。なお、図４および図５において、破線および一点鎖線は第１撮像部２１および第２撮像部２２がそれぞれ生成する画像データに対応する画像領域を示す。

図３に示すように、撮像部２は、撮像部２からの距離が異なる被写体Ａ１（距離ｄ１）および被写体Ａ２（距離ｄ２）に対して、距離（基線長）Ｂ１離れて並設された第１撮像部２１および第２撮像部２２で撮影することにより、右目画像データと左目画像データとを生成する。その後、立体画像生成部９２が、画像処理部９１によって画像処理された右目画像データおよび左目画像データそれぞれを所定の縦横比率で切出して右目画像ＷＲ１および左目画像ＷＬ１を生成する（図４を参照）。図６に示すように、撮像部２と被写体Ａ２との距離は、撮像部２と被写体Ａ１との距離より大きい。このため、被写体Ａ２の領域がほぼ重なる。具体的には、図５に示すように、画像Ｗ１内では、被写体Ａ２の領域がほぼ重なる。これに対して、被写体Ａ１の領域が重ならず、被写体Ａ１に対して視差ａ１を有する。このように、右目画像ＷＲ１および左目画像ＷＬ１では、撮像部２からの距離が近い被写体（被写体Ａ１）ほど３Ｄ画像内での視差が大きく、撮像部２からの距離が遠い被写体（被写体Ａ２）ほど３Ｄ画像内での視差が小さい。

つぎに、設定部９３が選択する調整領域について説明する。図７は、設定部９３が選択する調整領域の選択方法を説明する模式図である。図７に示すように、設定部９３は、表示部６が表示する３Ｄ画像に対し、タッチパネル７が入力を受け付けた信号によって指定された被写体の被写体領域を調整領域として選択する。具体的には、図７（ａ）に示すように、設定部９３は、ユーザが表示部６によって表示される３Ｄ画像内における被写体Ａ２の一部をタッチした場合、画像Ｗ１内で重ならない領域を背景画像として特定し、画像Ｗ１内で重なる領域を３Ｄ画像内に含まれる被写体Ａ２の被写体領域として特定する。これにより、設定部９３は、ユーザが表示部６によって表示される３Ｄ画像内における被写体Ａ２の一部をタッチした場合、被写体Ａ２の被写体領域を調整領域として選択することができる。

これに対して、図７（ｂ）に示すように、設定部９３は、ユーザが表示部６によって表示される３Ｄ画像内における被写体Ａ１の一部をタッチした場合、右目画像ＷＲ１の被写体Ａ１と左目画像ＷＬ１の被写体Ａ１とを重ねることにより、画像Ｗ２内で重ならない領域の画像を背景画像として特定し、画像Ｗ２内で重なる領域を３Ｄ画像内に含まれる被写体Ａ１の被写体領域として特定する。これにより、設定部９３は、ユーザが表示部６によって表示される３Ｄ画像内における被写体Ａ１の一部をタッチした場合、被写体Ａ１の被写体領域を調整領域として選択することができる。

このように、設定部９３は、ユーザが表示部６によって表示される３Ｄ画像内における被写体の一部をタッチした場合、立体画像生成部９２が生成する右目画像および左目画像に基づいて、３Ｄ画像に含まれる被写体の被写体領域を特定し、特定した被写体領域を調整領域として選択する。なお、設定部９３は、立体画像生成部９２が生成する右目画像および左目画像それぞれに含まれる被写体を重ねる場合、たとえばパターンマッチング等により被写体の顔領域を検出し、この検出した顔領域を基準として被写体の領域を重ねることにより、３Ｄ画像に含まる被写体の被写体領域を特定するようにしてもよい。さらに、設定部９３は、コントラストおよび／またはピントが最大値となる位置を基準として被写体の領域を重ねることにより、３Ｄ画像に含まれる被写体の被写体領域を特定するようにしてもよい。

つぎに、離間距離調整部９４が行う処理の概要について説明する。図８は、離間距離調整部９４が行う処理の概要を示す模式図である。図８のＰ_０は、３Ｄ画像に含まれる被写体が視差を持たない状態（２Ｄ画像）に表示される位置を示している。図８のＰ_１は、３Ｄ画像に含まれる被写体が表示部６の表示画面と直交する方向へ仮想的に初期位置から飛び出した状態の飛び出し位置を示している。図８のＰ_２は、３Ｄ画像に含まれる被写体が表示部６の表示画面と直交する方向へ仮想的に初期位置から引っ込んだ状態の引っ込み位置を示す。なお、図８では、図３〜図６に示した被写体Ａ１を例に説明する。

図８に示すように、離間距離調整部９４は、表示部６が表示する３Ｄ画像に対し、タッチパネル７が入力を受け付けた信号によって指定された被写体Ａ１を表示部６の表示画面と直交する方向へ仮想的に飛び出せる場合（位置Ｐ_０→位置Ｐ_１）、右目画像に含まれる被写体Ａ１の被写体画像Ａ１_Ｒと左目画像に含まれる被写体Ａ１の被写体画像Ａ１_Ｌとの視差を調整する。これにより、離間距離調整部９４は、被写体Ａ１が表示部６の表示画面と直交する方向へ仮想的に飛び出す距離ｒ_１（以下、「飛び出し距離」という）を調整することができる。具体的には、離間距離調整部９４は、飛び出した被写体Ａ１を表示部６の表示画面と直交する方向に仮想的にさらに飛び出せる場合、被写体画像Ａ１_Ｒと被写体画像Ａ１_Ｌとの視差Ｃ１を大きくすることにより、被写体Ａ１の飛び出し距離ｒ_１を大きくすることができる。一方、離間距離調整部９４は、飛び出した被写体Ａ１を表示部６の表示画面と直交する方向に仮想的に引っ込ませる場合、被写体画像Ａ１_Ｒと被写体画像Ａ１_Ｌとの視差Ｃ１を小さくすることにより、被写体Ａ１の飛び出し距離ｒ_１を小さくすることができる。

これに対し、離間距離調整部９４は、タッチパネル７が受け付けた信号によって指定された被写体Ａ１を表示部６の表示画面と直交する方向へ仮想的に引っ込ませる場合（位置Ｐ_０→位置Ｐ_２）、右目画像に含まれる被写体Ａ１の被写体画像Ａ１_Ｒと左目画像に含まれる被写体Ａ１の被写体画像Ａ１_Ｌとの視差を調整する。これにより、離間距離調整部９４は、被写体が表示部６の表示画面と直交する方向に仮想的に引っ込む距離ｒ_２（以下、「引っ込み距離」という）を調整することができる。具体的には、離間距離調整部９４は、引っ込んだ被写体を表示部６の表示画面と直交する方向に仮想的にさらに引っ込ませる場合、被写体画像Ａ１_Ｒと被写体画像Ａ１_Ｌとの視差Ｃ２を大きくすることにより、被写体Ａ１の引っ込み距離ｒ_２を大きくすることができる。一方、離間距離調整部９４は、引っ込んだ被写体Ａ１を表示パネル６２と直交する方向に仮想的に飛び出させる場合、被写体画像Ａ１_Ｒと被写体画像Ａ１_Ｌとの視差Ｃ２を小さくすることにより、被写体Ａ１の引っ込み距離ｒ_２を小さくすることができる。

このように、離間距離調整部９４がタッチパネル７によって指定された３Ｄ画像内の被写体に対応する右目画像および左目画像それぞれに含まれる被写体画像の視差を個別に調整し、表示制御部９８が離間距離調整部９４によって被写体の視差を調整した右目画像および左目画像を用いた３Ｄ画像を表示部６に表示させる制御を行う。これにより、ユーザは、表示部６が表示する３Ｄ画像に含まる所望の被写体をタッチすることにより、タッチした被写体の離間距離を調整することができる。

つぎに、本実施の形態に係る表示装置１が行う処理について説明する。図９は、表示装置１が行う処理の概要を示すフローチャートである。なお、以下において、３Ｄ画像が表示部６の表示画面と直交する方向へ仮想的に飛び出した状態に対して行う処理を例に説明する。

図９において、まず、制御部９は、表示装置１の電源がオンになっているか否かを判断する（ステップＳ１０１）。表示装置１の電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、表示装置１はステップＳ１０２に移行する。一方、表示装置１の電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、表示装置１は本処理を終了する。

続いて、制御部９は、表示装置１が撮影モードに設定されているか否かを判断する（ステップＳ１０２）。表示装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）、表示装置１は後述するステップＳ１０３に移行する。一方、表示装置１が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）、表示装置１は後述するステップＳ１２６に移行する。

ステップＳ１０２において、表示装置１が撮影モードに設定されている場合（ステップＳ１０２：Ｙｅｓ）について説明する。この場合、表示制御部９８は、撮像部２が一定の微小な時間間隔で連続的に生成する画像データに対応する３Ｄ画像のスルー画像を表示部６に表示させる（ステップＳ１０３）。

続いて、制御部９は、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する（ステップＳ１０４）。撮影を指示するレリーズ信号が入力された場合（ステップＳ１０４：Ｙｅｓ）、表示装置１は後述するステップＳ１２３に移行する。一方、撮影を指示するレリーズ信号が入力されていない場合（ステップＳ１０４：Ｎｏ）、表示装置１は後述するステップＳ１０５に移行する。

ステップＳ１０４において、撮影を指示するレリーズ信号が入力されていない場合（ステップＳ１０４：Ｎｏ）について説明する。この場合、制御部９は、ユーザによって３Ｄ調整スイッチ４５が操作されて３Ｄ画像内における被写体の飛び出し距離を調整する奥行アイコンを表示部６に表示させる指示信号が入力されたか否かを判断する（ステップＳ１０５）。３Ｄ調整スイッチ４５が操作されていない場合（ステップＳ１０５：Ｎｏ）、表示装置１はステップＳ１０４に戻る。一方、３Ｄ調整スイッチ４５が操作された場合（ステップＳ１０５：Ｙｅｓ）、表示装置１はステップＳ１０６に移行する。

続いて、表示制御部９８は、３Ｄ画像内における被写体の飛出し距離を調整する奥行アイコンを表示部６が表示する３Ｄ画像上に表示させる（ステップＳ１０６）。具体的には、図１０（ａ）に示すように、表示制御部９８は、表示部６が表示する３Ｄ画像Ｗ３の右端領域Ｋ１上に飛び出し調整アイコンＱ１、引っ込み調整アイコンＱ２および戻すアイコンＱ３を表示させる。３Ｄ画像Ｗ３の右端領域Ｋ１は、ユーザが操作情報の確認やアイコンを操作（タッチ）する領域であり、アイコン等の操作情報を２Ｄ画像で表示できればよい。なお、表示制御部９８は、右端領域Ｋ１にアイコン等を３Ｄ画像で表示させてもよい。

その後、制御部９は、タッチパネル７が入力を受け付けた信号によって被写体が指定されたか否かを判断する（ステップＳ１０７）。具体的には、図１０（ｂ）に示すように、制御部９は、ユーザが指Ｏ３で３Ｄ画像Ｗ３内の被写体Ａ１をタッチすることにより、タッチパネル７が入力を受け付けた信号によって被写体Ａ１が指定されたか否かを判断する。タッチパネル７が入力を受け付けた信号によって被写体が指定されていない場合（ステップＳ１０７：Ｎｏ）、表示装置１はステップＳ１０４に戻る。一方、タッチパネル７が入力を受け付けた信号によって被写体が指定された場合（ステップＳ１０７：Ｙｅｓ）、表示装置１は後述するステップＳ１０８に移行する。

続いて、設定部９３は、タッチパネル７が入力を受け付けた信号によって指定された被写体を調整領域として選択する（ステップＳ１０８）。

その後、制御部９は、被写体を表示部６の表示画面と直交する方向へ仮想的に飛び出させる飛び出し調整アイコンＱ１が操作されたか否かを判断する（ステップＳ１０９）。具体的には、図１０（ｃ）に示すように、制御部９は、ユーザが指Ｏ３で飛び出しアイコンＱ１をタッチすることにより、タッチパネル７が入力を受け付けた信号によって飛び出しアイコンＱ１が操作されたか否かを判断する。飛び出し調整アイコンＱ１が操作された場合（ステップＳ１０９：Ｙｅｓ）、離間距離調整部９４は、被写体の視差を所定量拡大する調整を行う（ステップＳ１１０）。

続いて、トリミング部９５は、設定部９３が選択した被写体を右目画像および左目画像それぞれから切出してトリミング画像を生成し（ステップＳ１１１）、拡大縮小部９６は、離間距離調整部９４が調整した被写体の視差と被写体の飛び出し距離とに基づいて、被写体を拡大した拡大トリミング画像を生成する（ステップＳ１１２）。

その後、合成画像生成部９７は、拡大縮小部９６が生成した拡大トリミング画像を被写体の領域に重ねた合成画像を生成し（ステップＳ１１３）、表示制御部９８は、合成画像生成部９７が生成した合成画像を用いた３Ｄ画像を表示部６に表示させる制御を行い（ステップＳ１１４）、表示装置１はステップＳ１０４に戻る。

図１１は、離間距離調整部９４が被写体Ａ１の視差を拡大する調整方法を説明する模式図である。図１１に示すように、離間距離調整部９４は、立体画像生成部９２が生成した右目画像ＷＲ１および左目画像ＷＬ１にそれぞれ含まれる被写体Ａ１の視差を所定量拡大する調整を行う。具体的には、図１１に示すように、離間距離調整部９４は、右目画像ＷＲ１の被写体Ａ１を視差が大きくなる左方向（矢印Ｃ３）に所定量、たとえば視差の１／１０移動させる。これにより、ユーザは、表示部６が表示する３Ｄ画像に対し、タッチした被写体Ａ１の飛出し距離を個別に大きくする調整を行うことができる。しかしながら、右目画像ＷＲ１内には、離間距離調整部９４が右目画像ＷＲ１の被写体Ａ１を移動させたことで右目画像ＷＲ１内に画素が欠落する欠落領域Ｈ１（図１１で黒塗りの領域）が生じる。

そこで、図１２に示すように、トリミング部９５が、被写体Ａ１を右目画像ＷＲ１および左目画像ＷＬ１それぞれから切出してトリミング画像Ａ１１を生成する（図１２（ｂ）を参照）。ここで、トリミング画像とは、右目画像および左目画像それぞれに含まれる被写体（猫）の輪郭にそって切出して生成した切出し画像である。

その後、拡大縮小部９６が、離間距離調整部９４によって調整された被写体Ａ１の視差と被写体Ａ１の飛出し距離とに基づいて、右目画像ＷＲ１および左目画像ＷＬ１のトリミング画像Ａ１１をそれぞれ拡大した拡大トリミング画像Ａ１２を生成し、合成画像生成部９７が、拡大縮小部９６によって生成された拡大トリミング画像Ａ１２を被写体Ａ１の領域を含むように重ねた右目合成画像ＷＲ２および左目合成画像ＷＬ２を生成する（図１２（ｃ））。続いて、表示制御部９８が右目合成画像ＷＲ２および左目合成画像ＷＬ２を用いて３Ｄ画像（図１３の画像Ｗ４を参照）を表示部６に表示させる制御を行う。

このように、表示装置１は、被写体Ａ１を拡大してユーザ側に被写体Ａ１をより飛び出させることによって、欠落領域Ｈ１の画素を補間することができる。これにより、ユーザは、表示部６が表示する３Ｄ画像に対し、タッチした被写体の飛び出し距離を調整することができるとともに、滑らかな３Ｄ画像Ｗ４を仮想的に視認することができる。なお、図１１においては、右目画像ＷＲ１内の被写体Ａ１のみを移動させているが、左目画像ＷＬ１内の被写体Ａ１と右目画像ＷＲ１内の被写体Ａ１とを同期させながら被写体Ａ１の視差を拡大する調整を行うようにしてもよい。また、左目画像ＷＬ１内の被写体Ａ１のみを移動させるようにしてもよい。

ここで、図９に戻り、ステップＳ１０９において、飛び出し調整アイコンＱ１が操作されていない場合（ステップＳ１０９：Ｎｏ）について説明する。この場合、制御部９は、ユーザによって被写体を表示部６の表示画面と直交する方向へ仮想的に引っ込ませる引っ込み調整アイコンＱ２（図１０（ａ）を参照）が操作されたか否かを判断する（ステップＳ１１５）。引っ込み調整アイコンＱ２が操作された場合（ステップＳ１１５：Ｙｅｓ）、表示装置１は後述するステップＳ１１６に移行する。一方、引っ込み調整アイコンＱ２が操作されていない場合（ステップＳ１１５：Ｎｏ）、表示装置１は後述するステップＳ１２１に移行する。

ステップＳ１１５において、ユーザによって被写体を表示部６の表示画面と直交する方向へ仮想的に引っ込ませる引っ込み調整アイコンＱ２が操作された場合（ステップＳ１１５：Ｙｅｓ）について説明する。この場合、離間距離調整部９４は、被写体の視差を所定量縮小する調整を行い（ステップＳ１１６）、トリミング部９５は、設定部９３が選択した被写体を右目画像および左目画像それぞれから切出してトリミング画像を生成する（ステップＳ１１７）。

続いて、拡大縮小部９６は、離間距離調整部９４が調整した被写体の視差と被写体の飛び出し距離とに基づいて、トリミング部９５が生成したトリミング画像を縮小した縮小トリミング画像を生成し（ステップＳ１１８）、合成画像生成部９７は、拡大縮小部９６が生成した縮小トリミング画像を被写体の領域に重ねた合成画像を生成する（ステップＳ１１９）。

その後、表示制御部９８は、合成画像生成部９７が生成した合成画像を用いた３Ｄ画像を表示部６に表示させる制御を行い（ステップＳ１２０）、表示装置１はステップＳ１０４に戻る。

図１４は、離間距離調整部９４が被写体の視差を縮小する調整方法を説明する模式図である。図１４に示すように、離間距離調整部９４は、立体画像生成部９２が生成した右目画像ＷＲ１および左目画像ＷＬ１にそれぞれ含まれる被写体Ａ１の視差を所定量縮小する調整を行う。具体的には、図１４に示すように、離間距離調整部９４は、右目画像ＷＲ１の被写体Ａ１を視差が小さくなる右方向（矢印Ｃ４）に所定量、たとえば視差の１／１０移動させる。これにより、ユーザは、被写体Ａ１の飛び出し距離を個別に小さくする調整を行うことができる。しかしながら、ユーザは、仮想的に視認する３Ｄ画像内での被写体Ａ１と被写体Ａ２との奥行き感のバランスが崩れることで違和感を生じる。さらに、上述したステップＳ１１０と同様に画素が欠落する欠落領域Ｈ２（図１４で黒塗りの領域）が生じる。

そこで、図１５に示すように、トリミング部９５が、被写体Ａ１を右目画像ＷＲ１および左目画像ＷＬ１それぞれから切出してトリミング画像Ａ１３を生成する（図１５（ｂ）を参照）。その後、拡大縮小部９６が、離間距離調整部９４によって調整された被写体Ａ１の視差と被写体Ａ１の飛出し距離とに基づいて、右目画像ＷＲ１および左目画像ＷＬ１のトリミング画像Ａ１３をそれぞれ縮小したトリミング画像Ａ１４を生成し、合成画像生成部９７が、拡大縮小部９６によって生成された縮小トリミング画像Ａ１４を被写体Ａ１の領域を含むように重ねるとともに、欠落領域Ｈ２の画素を周知の補間処理によって領域Ｙ１（図１５の点線の領域）を補間した右目合成画像ＷＲ３および左目合成画像ＷＬ３を生成する（図１５（ｃ））。続いて、表示制御部９８が右目合成画像ＷＲ３および左目合成画像ＷＬ３を用いて３Ｄ画像（図１６の画像Ｗ５を参照）を表示部６に表示させる制御を行う。なお、合成画像生成部９７が欠落領域Ｈ２に対して行う補間処理は、被写体Ａ１の明るさに比して低い画像および／またはぼかした画像で領域Ｙ１を補間してもよい。

図１７は、離間距離調整部９４が被写体の視差を縮小する調整前と調整後にユーザが仮想的に視認する３Ｄ画像の飛び出し距離の概要を説明する図である。図１７において、Ｂ_２は瞳孔間距離であり、たとえば６．５ｃｍである。Ｚ_０は、表示部６からユーザの目Ｏ１，Ｏ２までの距離（視距離）であり、たとえば４０ｃｍである。離間距離調整部９４による調整前の被写体の視差をＸ_１、３Ｄ画像内における被写体の飛び出し距離をΔＺ_１とすると、図１７より、
Ｘ_１：ΔＺ_１＝Ｂ_２：Ｚ_０・・・（１）
なので、
ΔＺ_１＝（Ｚ_０／Ｂ_２）×Ｘ_１・・・（２）
となる。

これに対して、離間距離調整部９４による調整後の被写体の視差をＸ_２、３Ｄ画像内における被写体の飛び出し距離をΔZ_２とすると、図１７により、
Ｘ_２：ΔＺ_２＝Ｂ_２：Ｚ_０・・・（３）
なので、
ΔＺ_２＝（Ｚ_０／Ｂ_２）×Ｘ_２・・・（４）
となる。ここで、離間距離調整部９４が調整前の視差Ｘ_１を、たとえば１／１０だけ右目画像を動かした場合、調整後の視差Ｘ_２が（Ｘ_１−Ｘ_１／１０）となる。したがって、式（４）より、離間距離調整部９４による調整後の被写体の飛び出し距離ΔＺ_２は、
ΔＺ_２＝（Ｚ_０／Ｂ_２）×（Ｘ_１−Ｘ_１／１０）・・・（５）
となる。これにより、ユーザは、調整後の被写体を飛び出し距離ΔＺ_２で仮想的に視認することができる。

さらに、拡大縮小部９６による被写体の縮小倍率Ｖは、たとえば
Ｖ＝（Ｚ_０−ΔＺ_１）／（Ｚ_０−ΔＺ_２）・・・（６）
で設定される。これにより、拡大縮小部９６は、３Ｄ画像内での被写体のバランスを保ちながら、被写体を縮小した縮小トリミング画像を生成することができる。なお、式（６）は、あくまでも例示であり、経験則に基づいて式（６）の右辺に係数ｋを乗じることにより、
Ｖ’＝ｋ×（（Ｚ_０−ΔＺ_１）／（Ｚ_０−ΔＺ_２））・・・（７）
を縮小倍率としてもよい。この場合、Ｖ’＜１を満たすように係数ｋが定められることはもちろんである。さらに、式（６）の右辺を二乗したものを縮小倍率としてもよい。また、離間距離調整部９４が調整する視差の値は、切換スイッチ４３で設定してもよい。さらにまた、上述した被写体の飛び出し距離を大きくする場合および拡大トリミング画像を生成する場合にも同様に行うようにしてもよい。

このように、離間距離調整部９４が被写体の視差を縮小することにより被写体の飛び出し距離を小さくし、拡大縮小部９６が被写体の飛び出し距離に応じて被写体を縮小した縮小トリミング画像を生成する。これにより、図１６に示すように、ユーザは、タッチした被写体の飛び出し距離を小さくすることができるとともに、３Ｄ画像Ｗ５内での被写体間の大きさのバランスを維持した３Ｄ画像を仮想的に視認することができる。

図９に戻り、ステップＳ１０７において、タッチパネル７が入力を受け付けた信号によって被写体が指定されていない場合（ステップＳ１０７：Ｎｏ）について説明する。この場合、制御部９は、離間距離調整部９４が調整した被写体の視差を初期の状態に戻す変更指示信号が入力される戻すアイコンＱ３（図１０（ａ）を参照）が操作されたか否かを判断する（ステップＳ１２１）。戻すアイコンＱ３が操作されていない場合（ステップＳ１２１：Ｎｏ）、表示装置１はステップＳ１０４に戻る。一方、戻すアイコンＱ３が操作された場合（ステップＳ１２１：Ｙｅｓ）、離間距離調整部９４は、被写体の視差を初期の状態に調整し（ステップＳ１２２）、表示装置１はステップＳ１０４に戻る。

ステップＳ１０４において、ユーザによってレリーズスイッチ４２が操作されて撮影を指示するレリーズ信号が入力された場合（ステップＳ１０４：Ｙｅｓ）について説明する。この場合、表示装置１は、表示部６が現在表示している画像に対して撮影を行い、撮影した画像データを記憶部８の画像データ記憶部８１に記憶する（ステップＳ１２３）。

続いて、表示制御部９８は、撮影した画像データに対応する３Ｄ画像を表示部６にレックビュー表示させ（ステップＳ１２４）、制御部９は、表示部６による撮影した画像のレックビュー表示を行ってから所定時間経過したか否かを判断する（ステップＳ１２５）。制御部９が判断した結果、表示部６による撮影した画像のレックビュー表示を行ってから所定時間経過していない場合（ステップＳ１２５：Ｎｏ）、表示装置１はステップＳ１２４に戻る。一方、制御部９が判断した結果、表示部６による撮影した画像のレックビュー表示を行ってから所定時間経過した場合（ステップＳ１２５：Ｙｅｓ）、表示装置１はステップＳ１０１に戻る。

ステップＳ１０２において、表示装置１が撮影モードに設定されていない場合（ステップＳ１０２：Ｎｏ）について説明する。この場合、表示装置１は、撮影した画像データを表示部６に表示する再生表示処理を実行し（ステップＳ１２６）、表示装置１はステップＳ１０１に戻る。

ここで、図９のステップＳ１２６の再生表示処理について説明する。図１８は、再生表示処理の概要を示すフローチャートである。図１８において、まず、表示制御部９８は、画像データ記憶部８１に記憶された複数の画像をまとめて表示した画像選択画面を表示部６に表示させる（ステップＳ２０１）。

続いて、制御部９は、ユーザがタッチパネル７をタッチすることによって表示部６が表示する画像選択画面の中から画像が選択されたか否かを判断する（ステップＳ２０２）。ユーザによって画像選択画面の中から画像が選択された場合（ステップＳ２０２：Ｙｅｓ）、表示装置１は後述するステップＳ２０３に移行する。一方、ユーザによって画像選択画面の中から画像が選択されない場合（ステップＳ２０２：Ｎｏ）、表示装置１は後述するステップＳ２０６に移行する。

まず、ユーザによって画像選択画面の中から画像が選択された場合（ステップＳ２０２：Ｙｅｓ）について説明する。この場合、表示制御部９８は、ユーザによって選択された３Ｄ画像を表示部６に全画面表示させ（ステップＳ２０３）、ユーザによって画像の切換操作が行われたか否かを判断する（ステップＳ２０４）。ユーザによって画像の切換操作が行われた場合（ステップＳ２０４：Ｙｅｓ）、表示制御部９８は、現在表示部６が表示している３Ｄ画像の切換えを行い（ステップＳ２０５）、表示装置１はステップＳ２０３に戻る。

これに対して、ユーザによって画像の切換操作が行われていない場合（ステップＳ２０４：Ｎｏ）、制御部９は、画像再生の終了操作が行われたか否かを判断する（ステップＳ２０６）。画像再生の終了操作が行われていない場合（ステップＳ２０６：Ｎｏ）、表示装置１はステップＳ２０１に戻る。一方、画像再生の終了操作が行われた場合（ステップＳ２０６：Ｙｅｓ）、表示装置１は図９に示したメインルーチンに戻る。

以上説明した本実施の形態では、設定部９３がタッチパネル７によって指定された被写体の被写体領域を調整領域として選択し、離間距離調整部９４がタッチパネル７による変更指示信号に応じて被写体の視差を調整し、表示制御部９８が離間距離調整部９４によって被写体の視差を調整された右目画像および左目画像を用いた３Ｄ画像を表示部６に表示させる。この結果、ユーザは、３Ｄ画像に含まれる所望の被写体の飛び出し感または引っ込み感をそれぞれ個別に調整することができる。

さらに、本実施の形態では、トリミング部９５が、タッチパネル７が入力を受け付けた信号によって指定された被写体を右目画像および左目画像それぞれから切出してトリミング画像を生成し、拡大縮小部９６が拡大または縮小して拡大トリミング画像または縮小トリミング画像を生成後、合成画像生成部９７が被写体の領域に拡大トリミング画像または縮小トリミング画像を重ねて右目合成画像および左目合成画像をそれぞれ生成し、表示制御部９８が合成画像生成部によって生成された右目合成画像および左目合成画像を用いた３Ｄ画像を表示部６に表示する。これにより、ユーザは、３Ｄ画像内における被写体間の大きさのバランスを維持しつつ滑らかな３Ｄ画像を仮想的に視認することができる。

以上の説明では、表示部３が表示する３Ｄ画像内における被写体Ａ１の離間距離を調整する場合を例示していたが、３Ｄ画像内における被写体Ａ２の離間距離も調整することができる。図１９は、離間距離調整部９４が被写体Ａ２の視差を拡大する調整方法を説明する模式図である。図１９に示すように、離間距離調整部９４は、立体画像生成部９２が生成した右目画像ＷＲ１および左目画像ＷＬ１それぞれに含まれる被写体Ａ２の視差を所定量拡大する調整を行う。具体的には、図１９に示すように、離間距離調整部９４は、右目画像ＷＲ１の被写体Ａ２を視差が大きくなる左方向（矢印Ｃ５）に所定量を移動させる。これにより、ユーザは、被写体Ａ２の飛出し距離を個別に大きくする調整を行うことができるが、離間距離調整部９４が右目画像ＷＲ１の被写体Ａ２を移動させたことで右目画像ＷＲ１内に画素が欠落する欠落領域Ｈ３（図１９の黒塗り領域）が生じる。

そこで、図２０に示すように、トリミング部９５が、被写体Ａ２を右目画像ＷＲ１および左目画像ＷＬ１それぞれから切出してトリミング画像を生成し、拡大縮小部９６が離間距離調整部９４によって調整された被写体Ａ２の視差と被写体Ａ２の飛び出し距離とに基づいて、右目画像ＷＲ１および左目画像ＷＬ１の被写体Ａ２をそれぞれ拡大した拡大トリミング画像Ａ２１を生成する。その後、合成画像生成部９７が拡大縮小部９６によって生成されたトリミング画像Ａ２１を被写体Ａ２の領域を含むように重ねた右目合成画像ＷＲ４および左目合成画像ＷＬ４を生成する。続いて、表示制御部９８が右目合成画像ＷＲ４および左目合成画像ＷＬ４を用いて３Ｄ画像（図２１の画像Ｗ６を参照）を表示部６に表示させる制御を行う。

さらに、図２２に示すように、離間距離調整部９４は、立体画像生成部９２が生成した右目画像ＷＲ１および左目画像ＷＬ１それぞれに含まれる被写体Ａ２の視差を所定量縮小する調整を行う。具体的には、図２２に示すように、離間距離調整部９４は、右目画像ＷＲ１の被写体Ａ２を視差が小さくなる右方向（矢印Ｃ６）に所定量移動させる。これにより、ユーザは、被写体Ａ２の飛び出し距離を個別に小さくする調整を行うことができるが、ユーザが仮想的に視認する３Ｄ画像内での被写体Ａ１と被写体Ａ２との奥行き感のバランスが崩れることで違和感を生じる。さらに、上述したステップＳ１２２と同様に画素が欠落する欠落領域Ｈ４（図２２の黒塗り領域）が生じる。

そこで、図２３に示すように、トリミング部９５が右目画像ＷＲ１および左目画像ＷＬ１それぞれから被写体Ａ２を切出してトリミング画像を生成し、拡大縮小部９６が離間距離調整部９４によって調整された被写体Ａ２の視差と被写体Ａ２の飛び出し距離とに基づいて、右目画像ＷＲ１および左目画像ＷＬ１それぞれのトリミング画像を縮小した縮小トリミング画像Ａ２２を生成する。その後、合成画像生成部９７が拡大縮小部９６によって生成された縮小トリミング画像Ａ２２を被写体Ａ２の領域に重ねるとともに、欠落領域Ｈ４の領域を周知の補間処理によって領域Ｙ２を補間した右目合成画像ＷＲ５および左目合成画像ＷＬ５を生成し、表示制御部９８が右目合成画像ＷＲ５および左目合成画像ＷＬ５を用いた３Ｄ画像（図２４の画像Ｗ７を参照）を表示部６に表示させる制御を行う。

このように、ユーザは、表示部６が表示する３Ｄ画像に対し、タッチした被写体Ａ２の飛び出し距離を調整することができるとともに、滑らかな３Ｄ画像を仮想的に視認することができる。

なお、本実施の形態では、表示部６が表示する３Ｄ画像上に設けられた奥行アイコンが操作されることにより、離間距離調整部９４が指定された３Ｄ画像内の被写体の視差を調整していたが、他のスイッチが操作されることにより被写体の視差を調整するようにしてもよい。図２５は、本発明の一実施の形態に係る表示装置の変形例においてユーザが３Ｄ画像内における被写体の視差の調整を行っている状況を示す図である。図２５に示すように、表示装置１は、レンズユニット１００を備える。レンズユニット１００は、表示装置１の本体部から着脱可能であり、異なる位置から撮影し、互いの視差の左右方向の一端部同士が重なりを有する２つの撮影部１０１と、設定部９３が選択した調整領域の離間距離を変更する変更指示信号の入力を受け付ける入力部１０２とを有する。離間距離調整部９４は、入力部１０２の操作時間または操作量に応じて、タッチパネル７によって指定された被写体の視差を調整する。これにより、ユーザは、機械的な操作を楽しみながら３Ｄ画像内における所望の被写体の離間距離を調整することができる。さらに、離間距離調整部９４は、ズームスイッチ４４による操作信号に応じて、タッチパネル７によって指定された被写体の視差を調整するようにしてもよい。

また、上述した本実施の形態では、拡大縮小部９６は、離間距離調整部９４がタッチパネル７によって指定された被写体の視差を小さくする場合に、トリミング画像を縮小した縮小トリミング画像を生成していたが、たとえばトリミング画像を拡大したトリミング画像を生成してもよい。

また、上述した本実施の形態では、設定部９３は、表示部６が表示する３Ｄ画像に対し、ユーザがタッチした被写体を調整領域として選択していたが、たとえば、タッチパネル７が外部から接触した物体の軌跡に応じて調整領域を選択してもよい。これにより、ユーザは、３Ｄ画像内における所望の領域の離間距離を調整することができる。

また、上述した本実施の形態では、離間距離調整部９４は、タッチパネル７によって被写体が指定された後に、被写体の視差を調整していたが、たとえば奥行アイコンが操作された後に、ユーザが３Ｄ画像内における被写体をタッチした際に被写体の視差を調整するようにしてもよい。

また、上述した本実施の形態では、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成していたが、たとえば、１つの撮像部のみを有する構成とし、この撮像部で連続的に撮影することにより、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成するようにしてもよい。具体的には、図２６に示すように、ユーザが表示装置１を左から右に向けて移動（矢印Ｃ７）させながら被写体Ａ１を連続的に撮影することにより、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成するようにしてもよい。

また、上述した本実施の形態では、撮像部２が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成していたが、たとえば、１つの撮像素子のみを有する構成とし、この１つの撮像素子の撮影領域内に２つの光学系によって集光することにより、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成するようにしてもよい。

また、上述した本実施の形態では、姿勢検出部３は、表示装置１の姿勢状態を検出していたが、たとえば、ユーザが表示部６の表示画面をタップした際に生じる加速度を検出することにより、表示装置１の各種撮影モードや各種設定を切換えるタップ操作の操作信号を受け付け、この操作信号を制御部９に出力するようにしてもよい。

また、上述した本実施の形態では、離間距離調整部９４は、撮影中に本処理を行っていたが、たとえば撮影直後に表示部６がレックビュー表示する画像や画像データ記憶部８１に記憶された画像データを再生した際の画像に対して本処理を行ってもよい。

また、上述した本実施の形態では、表示部６は、パララックバリア方式であったが、ユーザが３Ｄ画像を立体視することができればよく、たとえばレンティキュラ方式であってもよい。

また、上述した本実施の形態では、表示装置１をデジタルステレオカメラとして説明していたが、たとえばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能および表示機能を備えた各種電子機器に適用することができる。

１ 表示装置
２，１０１ 撮像部
３ 姿勢検出部
４ 操作入力部
５ 時計
６ 表示部
７ タッチパネル
８ 記憶部
９ 制御部
２１ 第１撮像部
２１ａ，２２ａ レンズ部
２１ｂ，２２ｂ レンズ駆動部
２１ｃ，２２ｃ 絞り
２１ｄ，２２ｄ 絞り駆動部
２１ｅ，２２ｅ シャッタ
２１ｆ，２２ｆ シャッタ駆動部
２１ｇ，２２ｇ 撮像素子
２１ｈ，２２ｈ 信号処理部
２２ 第２撮像部
４１ 電源スイッチ
４２ レリーズスイッチ
４３ 切換スイッチ
４４ ズームスイッチ
４５ ３Ｄ調整スイッチ
６１ バックライト
６２ 表示パネル
６３ 視差バリア
８１ 画像データ記憶部
８２ プログラム記憶部
９１ 画像処理部
９２ 立体画像生成部
９３ 設定部
９４ 離間距離調整部
９５ トリミング部
９６ 拡大縮小部
９７ 合成画像生成部
９８ 表示制御部
１００ レンズユニット
１０２ 入力部
Ｌ１，Ｌ２ 光軸
Ｏ１ 右目
Ｏ２ 左目
Ｏ３ 指

Claims (6)

1. ２つの画像データを組み合わせて生成された３次元画像を表示する表示部と、
   前記表示部が表示する前記３次元画像の中で前記表示部の表示画面と直交する方向へ仮想的に離間した離間距離を調整する調整領域を選択する設定部と、
   前記設定部が選択した前記調整領域における前記離間距離の変更を指示する変更指示信号の入力を受け付ける入力部と、
   前記入力部が受け付けた前記変更指示信号に応じて、前記調整領域の視差を調整することによって、前記調整領域の前記離間距離を調整する離間距離調整部と、
   前記離間距離調整部によって前記調整領域の前記離間距離が調整された前記２つの画像データを用いた３次元画像を前記表示部に表示させる制御を行う表示制御部と、
   前記設定部が選択した前記調整領域を切出してトリミング画像を生成するトリミング部と、
   前記調整領域の視差と前記調整領域の前記離間距離とに基づいて、前記トリミング部が生成した前記トリミング画像を拡大または縮小して拡大トリミング画像または縮小トリミング画像を生成する拡大縮小部と、
   前記拡大縮小部が生成した前記拡大トリミング画像または前記縮小トリミング画像を前記調整領域に重ねた合成画像を生成する合成画像生成部と、
   を備え、
   前記表示制御部は、前記合成画像生成部が生成した前記合成画像を用いた３次元画像を前記表示部に表示させる制御を行うことを特徴とする表示装置。
2. 前記入力部は、前記３次元画像内において被写体を指定する指定信号の入力を受け付け、
   前記設定部は、前記２つの画像データに含まれ、前記入力部が受け付けた前記指定信号によって指定された被写体を表示する領域を前記調整領域として選択し、
   前記離間距離調整部は、前記２つの画像データにおける前記指定された被写体の視差を調整し、
   前記表示制御部は、前記離間距離調整部が前記指定された被写体の視差を調整した前記２つの画像データを用いた３次元画像を前記表示部に表示させる制御を行うことを特徴とする請求項１に記載の表示装置。
3. 異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する撮像部と、
   前記撮像部が生成した前記２つの画像データそれぞれに対応する２つの画像に対し、所定の縦横比率で切出して前記３次元画像を生成する立体画像生成部と、
   をさらに備え、
   前記表示制御部は、前記立体画像生成部が生成した前記３次元画像を、前記表示画面における水平方向の１画素毎に交互に並べて前記表示部に出力する制御を行うことを特徴とする請求項１または２に記載の表示装置。
4. 前記入力部は、前記表示部の表示画面上に設けられ、外部からの物体の接触位置に応じた信号の入力を受け付けるタッチパネルを有し、
   前記設定部は、前記２つの画像データに含まれ、前記タッチパネルが入力を受け付けた信号によって指定された被写体を表示する領域を前記調整領域として選択することを特徴とする請求項１〜３のいずれか一つに記載の表示装置。
5. 前記表示制御部は、互いに異なる内容の前記変更指示信号の入力を受け付ける複数のアイコンを前記表示部に表示させる制御を行い、
   前記離間距離調整部は、前記タッチパネルが前記アイコンの表示領域上に位置する接触領域で入力を受け付けた前記変更指示信号に応じて前記調整領域の視差を調整することを特徴とする請求項４に記載の表示装置。
6. 前記撮像部と前記入力部とを有し、当該表示装置の本体部から着脱自在であるレンズユニットをさらに備えたことを特徴とする請求項３に記載の表示装置。

Images