JP2013175805A - Display device and image pickup device - Google Patents
Display device and image pickup device Download PDFInfo
- Publication number
- JP2013175805A JP2013175805A JP2012037423A JP2012037423A JP2013175805A JP 2013175805 A JP2013175805 A JP 2013175805A JP 2012037423 A JP2012037423 A JP 2012037423A JP 2012037423 A JP2012037423 A JP 2012037423A JP 2013175805 A JP2013175805 A JP 2013175805A
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- image data
- display device
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、表示装置および撮像装置に関する。 The present invention relates to a display device and an imaging device.
従来から、2次元画像信号に付加された奥行き情報を用いて、視差情報を用いた立体画像を生成する表示装置が知られている(たとえば特許文献1)。 Conventionally, a display device that generates a stereoscopic image using parallax information by using depth information added to a two-dimensional image signal is known (for example, Patent Document 1).
しかしながら、裸眼で立体画像が観察可能な表示器や立体画像を観察するための専用のメガネ等が必要になるため、二次元表示用の表示器では立体画像として観察することができないという問題がある。 However, since a display capable of observing a stereoscopic image with the naked eye or dedicated glasses for observing the stereoscopic image is required, there is a problem that the display for a two-dimensional display cannot be observed as a stereoscopic image. .
請求項1に記載の発明による表示装置は、主要被写体が所定の視差を有するように撮影された一対の右目用画像と左目用画像とを生成する第1生成手段と、第1生成手段により取得された一対の右目用画像と左目用画像とに基づいて、所定の視差とは異なる視差を有する少なくとも一対の中間画像を生成する第2生成手段と、画像を表示する表示器と、表示器に表示された画像を観察する観察方向と観察角度とを判定する判定手段と、判定手段により判定された観察方向と観察角度とに応じて、第1生成手段により生成された一対の右目用画像および左目用画像と、第2生成手段により生成された中間画像との少なくとも1つの画像を表示器に表示させる表示制御手段と、を備えることを特徴とする。 The display device according to the first aspect of the present invention includes a first generation unit that generates a pair of right-eye images and a left-eye image captured so that the main subject has a predetermined parallax, and is acquired by the first generation unit. A second generation means for generating at least a pair of intermediate images having a parallax different from a predetermined parallax based on the pair of right-eye images and the left-eye image, a display device for displaying images, and a display device; A determination unit that determines an observation direction and an observation angle for observing the displayed image; a pair of right-eye images generated by the first generation unit according to the observation direction and the observation angle determined by the determination unit; Display control means for displaying at least one image of the left-eye image and the intermediate image generated by the second generation means on a display device is provided.
本発明によれば、表示器の観察方向と観察角度に応じて、視差が異なる一対の右目用画像および左目用画像と、中間画像との少なくとも1つの画像を表示することができる。 According to the present invention, it is possible to display at least one image of a pair of right-eye images and left-eye images with different parallaxes and an intermediate image according to the viewing direction and viewing angle of the display.
−第1の実施の形態−
図面を参照して、本発明による第1の実施の形態における表示装置を備えるカメラを説明する。図1はデジタルカメラ1の要部構成を示す図である。デジタルカメラ1のボディに、撮影レンズL1と絞り20とを備える交換レンズ2が着脱可能に装着されている。デジタルカメラ1のボディ側には、クイックリターンミラー10、焦点板11、ペンタプリズム12、接眼レンズ13、撮像素子14およびシャッタ21が設けられている。
-First embodiment-
A camera provided with a display device according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a main configuration of the
図2はデジタルカメラ1の制御系のブロック図である。図2において、図1に示した構成要素には同一の符号を付して説明する。デジタルカメラ1の制御系は、撮像素子14、制御回路15、一時メモリ16、LCD駆動回路17、液晶表示器171、姿勢センサ18、操作部30および記録媒体インタフェース31を備えている。
FIG. 2 is a block diagram of the control system of the
図1を参照して説明すると、交換レンズ2を通過してデジタルカメラ1に入射した被写体光は、シャッタレリーズ前は図1において実線で示すように位置するクイックリターンミラー10で上方へ導かれて焦点板11に結像する。焦点板11に結像された被写体像は、ペンタプリズム12により接眼レンズ13へ導かれる。その結果、被写体像が撮影者に観察される。被写体光の一部はクイックリターンミラー10の半透過領域を透過し、サブミラー10aにて下方に反射され、図示しない焦点検出用センサへ入射される。レリーズ後はクイックリターンミラー10が図1の破線で示される位置へ回動し、シャッタ21が開き、被写体光が撮像素子14へ導かれ、その撮像面上に被写体像が結像する。
Referring to FIG. 1, the subject light that has passed through the interchangeable lens 2 and entered the
図2を参照して制御系について詳細に説明する。
撮像素子14は、たとえばCCDやCMOS等の光電変換素子により構成され、後述する制御回路15の制御に応じて駆動して撮影レンズL1を通して入力される被写体像を撮像し、撮像して得た画素信号を出力する。制御回路15は、図示しないCPU、ROM、RAMなどを有し、デジタルカメラ1の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。
The control system will be described in detail with reference to FIG.
The
制御回路15は、画像処理部151、表示制御部152および傾斜判定部153を機能的に有する。画像処理部151は、撮像素子14から入力したアナログ画素信号をデジタル画像信号に変換し、変換後の画像信号に対して、ホワイトバランス処理、ガンマ補正処理、色補間処理、輪郭強調、ビネット補正などの画像処理を施して画像データを生成する。そして、画像処理部151は、生成した画像データに対してJPEG圧縮処理を実行した後、たとえばEXIF形式の画像ファイルを生成する。また、画像処理部151は、後述する3D撮影モードが設定された場合には、同一の主要被写体に対して所定の視差を有する3D用画像データを生成する。表示制御部152は、後述するLCD駆動回路17を制御して各種のメニュー画面や、表示用画像データに対応する画像を液晶表示器171に表示させる。なお、表示制御部152は、後述する3D再生モードが設定された場合、液晶表示器171に画像を擬似的に立体表示させるための3D用画像データを生成する。傾斜判定部153は、姿勢センサ18から出力された重力方向を示す検出信号を入力して、デジタルカメラ1の傾斜角度と傾斜方向とを判定する。なお、3D撮影モードまたは3D再生モードにおける画像処理部151、表示制御部152および傾斜判定部153の詳細については、説明を後述する。
The
一時メモリ16は、画像処理、画像圧縮処理の途中や処理後のデータを一時的に格納するバッファメモリとして使用される揮発性記録媒体である。記録媒体インタフェース31は、記録媒体32が着脱可能なインタフェースである。記録媒体インタフェース31は、制御回路15の制御に基づいて、画像データを記録媒体32に書き込んだり、記録媒体32に記録されている画像データを読み出したりする。記録媒体32はコンパクトフラッシュ(登録商標)やSDカードなどの半導体記録媒体である。
The
LCD駆動回路17は、制御回路15の命令に基づいて液晶表示器171を駆動する回路である。液晶表示器171は、再生モードにおいて、記録媒体32に記録されている画像データに基づいて制御回路15で作成された表示用画像データに対応する画像の表示を行う。
The
姿勢センサ18は、傾斜センサやジャイロセンサ等により構成され、デジタルカメラ1の重力方向を検出し、検出信号を制御回路15へ出力する。操作部30は、ユーザの操作を受け付けるスイッチである。操作部30には、電源スイッチ、レリーズスイッチ、十字キー、決定ボタンなどが含まれる。また、操作部30により、撮影モードとして静止画撮影モードや動画撮影モード、3D撮影モード等の設定が可能である。3D撮影モードは、視差を有する3D用画像データを生成するための撮影モードである。さらに、操作部30により再生モードとして、3D用画像データに基づいて、液晶表示器171に疑似的に立体的な画像を表示させる3D再生モードの設定が可能である。3D撮影モード、3D再生モードについては、説明を後述する。
The
以下、第1の実施の形態によるデジタルカメラ1の動作について、3D撮影モードが設定された場合と、3D再生モードが設定された場合とに分けて説明する。
−3D撮影モード−
ユーザが操作部30を操作して3D撮影モードを設定した場合、ユーザは、同一の主要被写体が所定の視差を有するように画像を撮影する。図3に撮影対象となる主要被写体AおよびBを示す。図3(a)は主要被写体AおよびBをデジタルカメラ1から見た場合の位置関係を示し、図3(b)は主要被写体AおよびBと、デジタルカメラ1との位置関係を俯瞰して示す。図3(a)の左右方向、すなわち矢印Q1Q2の方向(−x方向から+x方向)に主要被写体AおよびBが視差を有するように画像を撮影する場合、ユーザは図3(c)に示すように、位置P1およびP2のそれぞれから主要被写体AおよびBを撮影する。なお、図3(c)は、主要被写体AおよびBが視差を有するように画像を撮影する場合の、主要被写体AおよびBとデジタルカメラ1との位置関係を俯瞰する図である。
Hereinafter, the operation of the
-3D shooting mode
When the user operates the
図3(d)は、主要被写体AおよびBを位置P1から撮影した画像の画像データを示す。図3(d)では、主要被写体AおよびBを右方向からの視点に対応する右目用画像となる。図3(e)は、図3(a)に示す主要被写体AおよびBを位置P2から撮影した画像の画像データを示す。図3(e)では、主要被写体AおよびBを左方向からの視点に対応する左目用画像となる。 FIG. 3D shows image data of an image obtained by photographing the main subjects A and B from the position P1. In FIG. 3D, the main subjects A and B are right-eye images corresponding to viewpoints from the right direction. FIG. 3 (e) shows image data of an image obtained by photographing the main subjects A and B shown in FIG. 3 (a) from the position P2. In FIG. 3E, the main subjects A and B are left-eye images corresponding to the viewpoint from the left direction.
制御回路15の画像処理部151は、図3(c)の位置P1から撮影して生成された画像信号を用いて、図3(d)に示す第1の3D用画像データID1を生成する。また、画像処理部151は、図3(c)の位置P2から撮影して生成された画像信号を用いて、図3(e)に示す第2の3D用画像データID2を生成する。そして、制御回路15は、生成した第1および第2の3D用画像データID1、ID2を記録媒体32に記録させる。このとき、制御回路15は、第1および第2の3D用画像データID1、ID2が3D撮影モードで同一の主要被写体AおよびBが撮影されたものであることを示すように関連付けを行う。
The
上述した説明は、主要被写体AおよびBに対して左右方向に所定の視差を有する画像を撮影する場合を例として行った。しかし、主要被写体AおよびBに対して上下方向(−y方向から+y方向)の視差、または上下左右方向(−x方向−y方向から+x方向+y方向、または+x方向+y方向から−x方向−y方向)の視差を有する画像を撮影してもよい。上下方向の視差を有する画像を撮影する場合には、ユーザは図3(a)の上下方向、すなわち矢印Q1’Q2’の方向(−y方向からy方向)に沿って、主要被写体AおよびBを少なくとも2回撮影すればよい。上下左右方向の視差を有する画像を撮影する場合には、ユーザは図3(a)の対角方向、すなわち矢印Q1”Q2”の方向に沿って少なくとも2回、または矢印Q1’”Q2’”の方向に沿って少なくとも2回、主要被写体AおよびBを撮影すればよい。 In the above description, the case where an image having a predetermined parallax in the left-right direction with respect to the main subjects A and B is taken as an example. However, the parallax in the vertical direction (−y direction to + y direction) with respect to the main subjects A and B, or the vertical and horizontal directions (−x direction−y direction to + x direction + y direction, or + x direction + y direction to −x direction−) An image having a parallax in the y direction may be taken. When capturing an image having parallax in the vertical direction, the user moves the main subjects A and B along the vertical direction in FIG. 3A, that is, in the direction of arrows Q1'Q2 '(from the -y direction to the y direction). Should be taken at least twice. When shooting an image having parallax in the vertical and horizontal directions, the user must perform at least twice along the diagonal direction of FIG. 3A, that is, the direction of the arrow Q1 "Q2", or the arrow Q1 '"Q2'". The main subjects A and B may be photographed at least twice along the direction.
なお、3D撮影モードにおいて交換レンズ2に視差を有する画像を撮影するためのアタッチメントを取り付けて主要被写体AおよびBを撮影してもよい。この場合、ユーザが図3(b)に示す主要被写体AおよびBとデジタルカメラ1との位置関係で主要被写体AおよびBを撮影することにより、画像処理部151は、上述した第1の3D用画像データID1と第2の3D用画像データID2とを生成する。そして、制御回路15は、生成した第1および第2の3D用画像データID1、ID2を記録媒体32に記録させる。
Note that the main subjects A and B may be photographed by attaching an attachment for photographing an image having parallax to the interchangeable lens 2 in the 3D photographing mode. In this case, when the user captures the main subjects A and B in the positional relationship between the main subjects A and B and the
−3D再生モード−
ユーザが操作部30を操作して3D再生モードを設定した場合について説明する。以下の説明では、上述した3D撮影モードで生成され記録媒体32に記録された第1の3D用画像データID1に対応する画像の再生がユーザにより指示されたものとする。このとき、表示制御部152は、記録媒体32から第1の3D用画像データID1と、第1の3D用画像データID1と関連付けされた第2の3D用画像データID2とを読み出し、一時メモリ16に記録する。表示制御部152は、第1および第2の3D用画像データID1、ID2を用いて、主要被写体AおよびBの視差が撮影時における所定の視差よりも小さい中間視差となるように、中間画像データを生成する。そして、表示制御部152は、第1および第2の3D用画像データID1、ID2と中間画像データとのうち、姿勢センサ18により検出されたデジタルカメラ1の傾斜角度と傾斜方向とに対応付けされた画像データをLCD駆動回路17に出力させる。その結果、液晶表示器171には、デジタルカメラ1の傾斜角度と傾斜方向とに応じて主要被写体AおよびBに対する視点の異なる画像が表示されることになり、ユーザは擬似的な立体画像として主要被写体AおよびBを観察できる。以下、中間画像データ生成処理と表示制御処理とに分けて、詳細に説明する。
-3D playback mode
A case where the user operates the
(1)中間画像データ生成処理
図4(a)に示すように、表示制御部152は、一時メモリ16に読み出された第1および第2の3D用画像データID1、ID2から、たとえば特開2003−99796号公報に記載の公知のモーフィング等の技術を用いて複数の中間画像データIDM1〜IDM9(総称する場合は符合IDMとする)を生成する。なお、本実施の形態においては、中間画像データIDMが9枚生成されている場合を例として説明するが、生成される中間画像データIDMの枚数は、第1および第2の3D用画像データID1、ID2における主要被写体AおよびBの視差に応じて決定される。すなわち、主要被写体AおよびBの視差が大きい場合には、表示制御部152は中間画像データIDMの枚数を増やす。なお、主要被写体AおよびBの視差が5cm程度の場合には、表示制御部152は、第1および第2の3D用画像データID1、ID2と中間画像データIDMとの枚数が10枚以上となるように中間画像データIDMを生成するのが好ましい。また、図4(a)〜(c)においては、図の水平方向をx軸、垂直方向をy軸とする。
(1) Intermediate Image Data Generation Processing As shown in FIG. 4A, the
モーフィングとは、動画中のある形状を有する物体が第1の形状から第2の形状に変化する様子が滑らかに再現されるように、物体の中間形状を補うための画像データを作成する技術である。本実施の形態では、表示制御部152は、第1の3D用画像データID1での主要被写体Aの位置(x軸の座標)と第2の3D用画像データID2での主要被写体Aの位置(x軸の座標)との差分defAを演算する。そして、表示制御部152は、差分defAを、生成する中間画像データIDMの枚数に1を足した数値(本実施の形態では、たとえば10)で割った値(defA/10)をシフト量として算出する。表示制御部152は、このシフト量に基づいて主要被写体Aを画像データ上で移動させることにより中間画像データIDMを生成する。
Morphing is a technique for creating image data to compensate for the intermediate shape of an object so that a state in which an object having a certain shape in a moving image is smoothly reproduced from a first shape to a second shape is reproduced. is there. In the present embodiment, the
第1の3D用画像データID1を用いて中間画像データIDM1を生成する場合について説明する。表示制御部152は、図4(b)に示す第1の3D用画像データID1での主要被写体Aの座標(x=x1)から、図4(c)に示すように、x軸に沿って正方向へ算出したシフト量(defA/10)だけシフトした位置(座標(x=x1’))に主要被写体Aを移動させる。図4(c)において、第1の3D用画像データID1上において主要被写体Aが存在した位置を破線で示す。主要被写体Aを座標x1’に移動させることにより、斜線を付した領域Re1にはデータが存在しないことになる。このため、表示制御部152は、領域Re1内を周辺のデータ(主要被写体Aに含まれるデータを除く)を用いて補間により生成する。
A case where the intermediate image data IDM1 is generated using the first 3D image data ID1 will be described. From the coordinates (x = x1) of the main subject A in the first 3D image data ID1 shown in FIG. 4B, the
表示制御部152は、主要被写体Bについても同様の処理を行う。まず、表示制御部152は、第1の3D用画像データID1での主要被写体Bの位置(x軸の座標)と第2の3D用画像データID2での主要被写体Bの位置(x軸の座標)との差分defBを演算する。表示制御部152は、差分DefBを生成する中間画像データIDMの枚数に対応する数値(本実施の形態では、すなわち10)で割った値(defB/10)をシフト量として算出する。表示制御部152は、図4(b)に示す第1の3D用画像データID1での主要被写体Bの座標(x=x2)から、図4(c)に示すように、x軸に沿って負方向へ算出したシフト量(defB/10)だけシフトした位置(座標(x=x2’))に主要被写体Bを移動させる。図4(c)において、第1の3D用画像データID1上において主要被写体Bが存在した位置を一点鎖線で示す。主要被写体Bを座標x2’に移動させることにより、データが存在しなくなった、斜線を付した領域Re2について、表示制御部152は、領域Re1の場合と同様にして補間により生成する。
The
上記のようにして主要被写体A、Bの位置をシフトさせることにより、表示制御部152は中間画像データIDM1を生成する。その結果、生成された中間画像データIDM1においては、主要被写体AおよびB間の距離が、第1および第2の3D用画像データID1、ID2での主要被写体AおよびB間の距離よりも小さいものとなる。さらに、表示制御部152は、第1の3D用画像データID1の主要被写体Aをシフト量(2×defA/10)、主要被写体Bをシフト量(2×defB/10)だけ移動させて中間画像データIDM2を生成する。この場合も、表示制御部152は、主要被写体A、Bの移動によりデータが存在しなくなった領域に対して補間処理を行う。なお、表示制御部152は、中間画像データIDM1の主要被写体Aをシフト量(defA/10)、主要被写体Bをシフト量(defB/10)だけ移動させて中間画像データIDM2を生成してもよい。表示制御部152は、中間画像データIDM3〜IDM9についても、同様にして生成する。なお、表示制御部152は、第2の3D用画像データID2の主要被写体A、Bを移動させることにより生成してもよい。この場合、表示制御部152は、中間画像データIDM1〜IDM4については第1の3D用画像データID1の主要被写体A、Bを、中間画像データIDM6〜IDM9については第2の3D用画像データID2の主要被写体A、Bを移動させることが好ましい。
The
中間画像データIDMが生成されると、表示制御部152は、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとを一時メモリ16に格納する。このとき、表示制御部152は、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとのそれぞれに、傾斜角度と傾斜方向とを関連付ける。この傾斜角度と傾斜方向とは、液晶表示器171に表示された画像をユーザが観察する観察方向と観察角度とを表す。斜角度と傾斜方向とに応じて、後述する表示制御処理において液晶表示器171に表示される画像が表示制御部152により選択される。
When the intermediate image data IDM is generated, the
図5(a)に、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとのそれぞれ関連付けされた傾斜角度と傾斜方向との一例を示す。図5(a)に示すように、第1の3D用画像データID1は、傾斜方向が「+」側であって、傾斜角度が最大(45度以上)に、第2の3D用画像データID2は、傾斜方向が「−」側であって、傾斜角度が最大(45度以上)に関連付けされている。なお、傾斜方向の「+」および「−」の意味については後述する。また、中間画像データIDM1〜IDM4のそれぞれは、傾斜方向が「+」側であって、傾斜角度が44度〜5度のうち10度の範囲ごとに降順で段階付けされて関連付けされる。中間画像データIDM6〜IDM9のそれぞれは、傾斜方向が「−」側であって、傾斜角度が5度〜44度のうち10度の範囲ごとに昇順で段階付けされて関連付けされる。中間画像データIDM5は、傾斜方向が「なし」で傾斜角度が0度に関連付けされている。なお、本実施の形態では、傾斜方向「なし」、傾斜角度0度は、姿勢センサ18により検出された傾斜角度が、0度を基準として4度以下の場合を示すものとする。なお、生成する中間画像データIDMの枚数に応じて、各中間画像データに対応する傾斜角度も変更する。
FIG. 5A shows an example of the inclination angle and the inclination direction associated with the first and second 3D image data ID1, ID2 and the intermediate image data IDM, respectively. As shown in FIG. 5A, the first 3D image data ID1 is the second 3D image data ID2 with the inclination direction on the “+” side and the inclination angle being maximum (at least 45 degrees). The tilt direction is on the “−” side, and the tilt angle is associated with the maximum (at least 45 degrees). The meaning of “+” and “−” in the tilt direction will be described later. Further, each of the intermediate image data IDM1 to IDM4 is associated with being graded in descending order for each range of 10 degrees out of 44 degrees to 5 degrees with the inclination direction on the “+” side. Each of the intermediate image data IDM6 to IDM9 is associated with being graded in ascending order for each range of 10 degrees out of 5 to 44 degrees with the inclination direction on the “−” side. The intermediate image data IDM5 is associated with an inclination direction of “none” and an inclination angle of 0 degree. In the present embodiment, the inclination direction “none” and the inclination angle of 0 degrees indicate a case where the inclination angle detected by the
以下、図5(b)〜(d)を参照して、本実施の形態における傾斜角度と傾斜方向とについて説明する。傾斜角度と傾斜方向とは、ユーザが液晶表示器171を観察する方向と角度とに関連する。図5(b)に示すように、ユーザが液晶表示器171に対して垂直後方から液晶表示器171を観察する場合には、傾斜角度は「0」とし、傾斜方向は「なし」とする。図5(c)は、ユーザがデジタルカメラ1を傾けて左後方から液晶表示器171を観察する場合を示している。すなわち、ユーザがデジタルカメラ1のボディ左側を手前に引き、ボディ右側を押し出す場合である。この場合、ユーザが液晶表示器171を観察する方向と、液晶表示器171の垂直方向とがなす狭角θを傾斜角度とし、傾斜方向を「+」とする。したがって、ユーザがデジタルカメラ1のボディ左側を手前に引き、ボディ右側を押し出す程度が大きいほど、+方向への傾斜角度が大きくなる。
Hereinafter, the inclination angle and the inclination direction in the present embodiment will be described with reference to FIGS. The tilt angle and the tilt direction are related to the direction and angle at which the user observes the
図5(d)は、ユーザがデジタルカメラ1を傾けて右後方から液晶表示器171を観察する場合を示している。すなわち、ユーザがデジタルカメラ1のボディ左側を押し出し、ボディ右側を手前に引く場合である。この場合、ユーザが液晶表示器171を観察する方向と、液晶表示器171の垂直方向とがなす狭角θを傾斜角度とし、傾斜方向を「−」とする。したがって、ユーザがデジタルカメラ1のボディ左側を押し出し、ボディ右側を手前に引く程度が大きいほど、−方向への傾斜角度が大きくなる。
FIG. 5D shows a case where the user tilts the
(2)表示制御処理
上述した中間画像データIDMの生成処理により第1および第2の3D用画像データID1、ID2と、中間画像データIDMとが一時メモリ16に格納されると、表示制御部152は、傾斜角度「0」、傾斜方向「なし」に対応する画像を液晶表示器171に表示させる。すなわち、表示制御部152は、図5(a)に示す関連付けされたデータを参照して、中間画像データIDM5をLCD駆動回路17へ出力して、液晶表示器171に中間画像データIDM5に対応する画像を表示させる。この結果、図3(b)に示す位置関係で撮影された画像に相当する画像が液晶表示器171に表示される。
(2) Display Control Processing When the first and second 3D image data ID1 and ID2 and the intermediate image data IDM are stored in the
つぎに、傾斜判定部153は、姿勢センサ18から出力された検出信号を用いてデジタルカメラ1の傾斜角度と傾斜方向とを判定する。傾斜判定部153により傾斜角度と傾斜方向とが5度、+方向と判定された場合、すなわちユーザによりデジタルカメラ1のボディ左側が手前に引かれ、ボディ右側が押し出された場合、表示制御部152は、関連付けされたデータを参照して、中間画像データIDM4をLCD駆動回路17へ出力する。その結果、中間画像データIDM4に対応する画像が液晶表示器171に表示される。なお、傾斜判定部153により判定された傾斜方向が+方向で傾斜角度が5度〜14度までの間は、液晶表示器171には中間画像データIDM4に対応する画像の表示が継続される。
Next, the
ユーザにより、さらに、デジタルカメラ1のボディ左側が手前に引かれ、ボディ右側が押し出されることによって、傾斜判定部153により傾斜角度と傾斜方向とが15度、+方向と判定された場合、表示制御部152は、関連付けされたデータを参照して中間画像データIDM3をLCD駆動回路17へ出力する。その結果、中間画像データIDM3に対応する画像が液晶表示器171に表示される。以後、傾斜判定部153により、傾斜方向が+方向であって、傾斜角度が25度〜34度と判定された場合には中間画像データIDM2に対応する画像が表示され、傾斜角度が35度〜44度と判定された場合には中間画像データIDM1に対応する画像が表示され、傾斜角度が45度以上と判定された場合には第1の3D用画像データID1に対応する画像が表示される。
When the user further pulls the left side of the body of the
傾斜判定部153により判定された傾斜方向が−方向の場合、すなわちユーザによりデジタルカメラ1のボディ右側が手前に引かれ、ボディ左側が押し出された場合についても、同様にして判定された傾斜角度に対応する画像が表示される。すなわち、傾斜判定部153により傾斜角度が5度〜14度と判定された場合には、表示制御部152は中間画像データIDM6をLCD駆動回路17へ出力する。その結果、中間画像データIDM6に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が15度〜24度と判定された場合には、中間画像データIDM7に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が25度〜34度と判定された場合には、中間画像データIDM8に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が35度〜44度と判定された場合には、中間画像データIDM9に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が45度以上と判定された場合には、第2の3D用画像データID2に対応する画像が液晶表示器171に表示される。
Even when the tilt direction determined by the
上述したように傾斜判定部153により判定された傾斜角度と傾斜方向とに対応した画像が液晶表示器171に表示されている場合に、ユーザにより決定ボタンが操作された場合には、表示中の画像の画像データを記録することができる。すなわち、制御回路15は、ユーザによる決定ボタンの操作に応じて操作部30から操作信号を入力すると、表示中の画像に対応する画像データ(第1および第2の3D用画像データID1、ID2または中間画像データIDMのいずれか)を記録媒体32に記録させる。
As described above, when the image corresponding to the inclination angle and the inclination direction determined by the
図6に示すフローチャートを用いて、以上で説明した3D再生モードにおけるデジタルカメラ1における表示処理について説明する。図6の処理を行うプログラムは制御回路15内の図示しないメモリに格納されており、ユーザの操作に応じて3D再生モードが設定された場合に制御回路15により起動されて、実行される。
ステップS1においては、表示制御部152は記録媒体32から第1および第2の3D用画像データID1、ID2を読み出しで一時メモリ16に格納してステップS2へ進む。ステップS2では、表示制御部152は、一時メモリ16に格納した第1および第2の3D用画像データID1、ID2を用いて、中間画像データIDMを生成し、ステップS3へ進む。
The display process in the
In step S1, the
ステップS3では、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとを、傾斜角度および傾斜方向に関連付けて一時メモリ16に格納し、ステップS4へ進む。ステップS4では、表示制御部152は、傾斜方向なし、傾斜角度「0」に関連付けされた中間画像データIDMをLCD駆動回路17へ出力して、液晶表示器171に中間画像データを表示させてステップS5へ進む。ステップS5においては、傾斜判定部153は、姿勢センサ18から出力された検出信号を用いて、デジタルカメラ1の傾斜角度を傾斜方向とを判定してステップS6へ進む。
In step S3, the first and second 3D image data ID1, ID2 and the intermediate image data IDM are stored in the
ステップS6では、表示制御部152は、ステップS5で傾斜判定部153により判定された傾斜角度および傾斜方向に関連付けされた画像データ(すなわち第1および第2の3D用画像データID1、ID2または中間画像データIDMのいずれか)をLCD駆動回路17へ出力して、液晶表示器171に画像を表示させてステップS7へ進む。
In step S6, the
ステップS7においては、制御回路15は表示中の画像を記録する処理が行われたか否かを判定する。ユーザの決定ボタンの操作に応じて操作部30から操作信号が出力された場合には、制御回路15はステップS7を肯定判定してステップS8へ進む。ステップS8では、制御回路15は、表示中の画像に対応する画像データ(第1および第2の3D用画像データID1、ID2または中間画像データIDMのいずれか)を記録媒体32に記録させる。
In step S7, the
ユーザにより決定ボタンが操作されず操作部30から操作信号が出力されない場合には、制御回路15はステップS7を否定判定してステップS9へ進む。ステップS9においては、表示制御部152は3D再生モードでの画像表示を終了するか否かを判定する。ユーザによる操作部30の操作により3D再生モードが終了された場合、制御回路15によりステップS9が肯定判定されて処理を終了する。3D再生モードを終了する操作が行われていない場合には、制御回路15によりステップS9が否定判定されてステップS5へ戻る。
If the determination button is not operated by the user and no operation signal is output from the
以上で説明した第1の実施の形態によるデジタルカメラ1によれば、以下の作用効果が得られる。
(1)画像処理部151は、主要被写体AおよびBが所定の視差を有するように撮影された一対の右目用画像である第1の3D用画像データID1と左目用画像である第2の3D用画像データID2とを生成する。表示制御部152は、一対の第1および第2の3D用画像データID1、ID2に基づいて、所定の視差とは異なる視差を有する少なくとも一対の中間画像データIDMを生成する。傾斜判定部153は、液晶表示器171に表示された画像をユーザが観察する観察方向と観察角度とを判定する。そして、表示制御部152は、傾斜判定部153により判定された観察方向と観察角度とに応じて、第1および第2の3D用画像データID1、ID2に対応する画像と、中間画像データIDMに対応する画像との少なくとも1つの画像を液晶表示器171に表示させるようにした。すなわち、ユーザが図5(c)に示すように液晶表示器171を観察すると、図4(a)に示す主要被写体AおよびBの視差が異なる画像(第1の3D用画像データID1、中間画像データIDM1〜IDM4)が表示される。その結果、ユーザが実際に主要被写体AおよびBの正面に対して左側から観察した場合に相当する画像が液晶表示器171に表示される。同様に、ユーザが図5(d)に示すように液晶表示器171を観察すると、図4(a)に示す主要被写体AおよびBの視差が異なる画像(第2の3D用画像データID2、中間画像データIDM6〜IDM9)が表示される。その結果、ユーザが実際に主要被写体AおよびBの正面に対して右側から観察した場合に相当する画像が液晶表示器171に表示される。したがって、裸眼で立体画像が観察可能な表示器や立体画像を観察するための専用のメガネ等を用いることなく、ユーザは液晶表示器171への観察方向と観察角度とを変えることにより、液晶表示器171上で疑似的に立体画像を観察することができる。
According to the
(1) The
(2)表示制御部152は、一対の第1および第2の3D用画像データID1、ID2に対応する画像での主要被写体AおよびB間の距離よりも、一対の中間画像データIDMに対応する画像での主要被写体AおよびB間の距離を小さくするようにした。したがって、中間画像データIDMに対応する画像の画質劣化を防ぐことができる。また、主要被写体AおよびBの視差が異なる複数の画像を生成できるので、観察角度と観察方向とに応じて表示される画像上での主要被写体AおよびBの位置関係が不自然に変化することを抑制できる。
(2) The
(3)傾斜判定部153は、姿勢センサ18から出力された検出信号を用いて、傾斜角度と傾斜方向とを判定するようにした。したがって、ユーザはデジタルカメラ1のボディの傾けることにより、液晶表示器171上で疑似的に立体画像を観察できる。
(3) The
−第2の実施の形態−
図面を参照して、本発明の第2の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、3D撮影モードにて生成される画像データが主要被写体の奥行きに関する情報を有する点で、第1の実施の形態とは異なる。
-Second Embodiment-
A
本実施の形態では、3D撮影モードにおいて、デジタルカメラ1は、図3(b)に示す位置関係で主要被写体AおよびBを撮影する。画像処理部151は、撮像素子14から出力された画像信号を用いて画像データを生成する。画像処理部151は、生成した画像データから、公知の技術を用いて主要被写体Aおよび主要被写体Bのそれぞれについて、デジタルカメラ1からの距離を算出する。そして、画像処理部151は、算出された主要被写体Aからデジタルカメラ1までの距離と、主要被写体Bからデジタルカメラ1までの距離とを減算して、主要被写体AおよびBとの間の距離、すなわち奥行きを算出する。画像処理部151は、主要被写体AおよびBとデジタルカメラ1とのそれぞれの距離と、算出した主要被写体AおよびBの奥行きとを奥行き情報として生成する。そして、画像処理部151は、生成した奥行き情報を記録した付加情報部と、生成した画像データとにより3D用画像ファイルを生成して記録媒体32に記録させる。なお、画像処理部151は、複数の主要被写体のうち少なくともデジタルカメラ1に近い主要被写体(実施の形態においては主要被写体A)までの距離と、主要被写体間の奥行きとを奥行き情報として生成してもよい。
In the present embodiment, in the 3D shooting mode, the
次に、図7を用いて、第2の実施の形態による3D再生モードにおける第1および第2の3D用画像データ、中間画像データの生成処理について説明する。図7(a)は、第2の実施の形態の3D撮影モードにより生成された3D用画像ファイルの画像データImを示している。ユーザにより3D用画像ファイルが選択されると、表示制御部152は、3D用画像ファイルの画像データImと付加情報部に記録された奥行き情報とを一時メモリ16に読み出す。そして、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Aの位置(座標)に対するx軸、−方向へのシフト量を決定し、シフトさせる。同様に、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Bの位置(座標)に対するx軸、+方向へのシフト量を決定し、シフトさせる。このとき、図7(a)に示すように、主要被写体AおよびBが重なる領域Re3については、主要被写体Bに関する情報が存在しない。このため、表示制御部152は、主要被写体Bに含まれ、かつ領域Re3の近傍のデータを用いて補間する。以上の処理により、表示制御部152は、第1の3D用画像データID1を生成する。
Next, generation processing of first and second 3D image data and intermediate image data in the 3D playback mode according to the second embodiment will be described with reference to FIG. FIG. 7A shows image data Im of the 3D image file generated by the 3D shooting mode of the second embodiment. When the user selects the 3D image file, the
さらに、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Aの位置(座標)に対するx軸、+方向へのシフト量を決定し、シフトさせる。同様に、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Bの位置(座標)に対するx軸、−方向へのシフト量を決定し、シフトさせる。そして、表示制御部152は、領域Re3に含まれるデータを補間により生成して、第2の3D用画像データID2を生成する。第1および第2の3D用画像データID1、ID2が生成されると、表示制御部152は、第1の実施の形態と同様にして中間画像データIDMを生成し、傾斜角度および傾斜方向と関連付けて一時メモリ16に格納する。
Further, the
以上で説明した第2の実施の形態のデジタルカメラ1によれば、第1の実施の形態により得られた作用効果に加えて、以下の作用効果が得られる。
画像処理部151は、撮影光学系の光軸方向に沿った主要被写体の撮影距離(奥行き情報)に関する情報を付加情報として有する3D画像ファイルを生成する。そして、表示制御部152は、3D用画像ファイルの画像データImと撮影距離に関する情報とに基づいて、一対の第1および第2の3D用画像データID1、ID2を生成するようにした。したがって、主要被写体AおよびBを第1の実施の形態のように一対の右目用画像と左目用画像を撮影する場合ではなくても、主要被写体AおよびBの撮影方法によらず画像を疑似的に立体表示するための視差を有する画像データを生成できる。
According to the
The
−第3の実施の形態−
図面を参照して、本発明の第3の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1および第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1および第2の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1および第2の実施の形態とは異なる。なお、以下の説明では、第1および第2の3D用画像データと中間画像データとを包含して3D用画像データと呼ぶ。
-Third embodiment-
A
3D再生モードにおいて、傾斜判定部153は、第1および第2の実施の形態と同様にして、姿勢センサ18からの検出信号に基づいて、デジタルカメラ1の傾斜角度と傾斜方向とを判定する。そして、傾斜判定部153は、姿勢センサ18からの検出信号が所定の時間変化がないか否かを判定する。すなわち、傾斜判定部153は、ユーザがデジタルカメラ1のボディ右側を手前に引きボディ左側を押し出した、またはボディ左側を手前に引きボディ右側を押し出した状態で、所定の時間その姿勢を維持していることを判定する。傾斜判定部153により姿勢センサ18からの検出信号が所定の時間変化がないと判定されると、表示制御部152は、傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データ(以後、検出画像データと呼ぶ)を検出する。
In the 3D playback mode, the
傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データが、たとえば傾斜角度45度以上、傾斜方向「+」に関連付けされているとする。このとき、表示制御部152は、傾斜方向が「+」であって、傾斜角度「0」から傾斜角度45度までに関連付けされた全ての3D用画像データを一時メモリ16から読み出す。そして、表示制御部152は、読み出した3D用画像データのうち、傾斜角度が小さい値と関連付けされている3D用画像データから順次LCD駆動回路17へ出力する。LCD駆動回路17は、表示制御部152から3D用画像データに対応する画像を、3D用画像データを入力した順序で、たとえば動画のフレームレート(30fps)にて液晶表示器171へ表示させる。
Assume that the 3D image data associated with the inclination angle and the inclination direction determined by the
図8(a)は、第3の実施の形態により表示される画像を示している。図8(a)においては、傾斜角度「0」傾斜方向なしに関連付けされた3D用画像データに対応する画像をFr1、検出画像データに対応する画像をFr10として示す。図8(a)に示すように、Fr1からFr10までの画像が動画のフレームレートで順次液晶表示器171に表示される。すなわち、液晶表示器171には、主要被写体AおよびBについて視差のない画像から、少しずつ視差が設けられた画像が表示される。
FIG. 8A shows an image displayed according to the third embodiment. In FIG. 8A, the image corresponding to the 3D image data associated with the inclination angle “0” without the inclination direction is indicated as Fr1, and the image corresponding to the detected image data is indicated as Fr10. As shown in FIG. 8A, images from Fr1 to Fr10 are sequentially displayed on the
以上で説明した第3の実施の形態のデジタルカメラ1によれば、第1および第2の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
表示制御部152は、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像を連続的に液晶表示器171に表示させるようにした。この結果、主要被写体AおよびBの視差が少しずつ異なる画像が液晶表示器171に順次表示されるので、裸眼で立体画像が観察可能な表示器や立体画像を観察するための専用のメガネ等を用いることなく、液晶表示器171上で疑似的に立体画像を観察することができる。
According to the
The
−第4の実施の形態−
図面を参照して、本発明の第4の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1〜第3の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1〜第3の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1〜第3の実施の形態とは異なる。なお、以下の説明では、第1および第2の3D用画像データと中間画像データとを包含して3D用画像データと呼ぶ。
-Fourth embodiment-
A
本実施の形態においても、傾斜判定部153により姿勢センサ18からの検出信号が所定の時間変化がないと判定されると、表示制御部152は、傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データ(検出画像データ)を検出する。傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データが、たとえば傾斜角度45度以上、傾斜方向「+」に関連付けされているとする。表示制御部152は、傾斜方向が「+」であって、傾斜角度「0」から傾斜方向45度までに関連付けされた全ての3D用画像データを一時メモリ16から読み出す。そして、表示制御部152は、読み出した全ての3D用画像データのうち一部の3D用画像データを間引いた後、傾斜角度が小さい値と関連付けされている3D用画像データから順次LCD駆動回路17へ出力する。LCD駆動回路17は、表示制御部152から3D用画像データに対応する画像を、3D用画像データを入力した順序で、たとえば動画のフレームレート(30fps)にて液晶表示器171へ表示させる。
Also in the present embodiment, when the
図8(b)に第4の実施の形態により表示される画像を示している。図8(b)においては、第3の実施の形態の場合と同様に、傾斜角度「0」傾斜方向なしに関連付けされた3D用画像データに対応する画像をFr1、検出画像データに対応する画像をFr10として示す。まず、液晶表示器171には、Fr1の画像、すなわち主要被写体AおよびBに視差のない画像が表示される。次に、表示制御部152によりFr2〜Fr4の画像に対応する3D用画像データが間引かれ、液晶表示器171にはFr5の画像が表示される。すなわち、Fr1の画像と比べて主要被写体AおよびBについて視差が大きく変化した画像が液晶表示器171に表示される。
FIG. 8B shows an image displayed according to the fourth embodiment. In FIG. 8B, as in the third embodiment, the image corresponding to the 3D image data associated with the tilt angle “0” without the tilt direction is Fr1, and the image corresponding to the detected image data. Is shown as Fr10. First, the
さらに、表示制御部152によりFr6およびFr7の画像に対応する3D用画像データが間引かれて、液晶表示器171にはFr8の画像が表示される。すなわち、Fr5の画像よりも、主要被写体AおよびBについてさらに視差が変化した画像が液晶表示器171に表示される。ただし、Fr1の画像とFr5の画像との間における主要被写体AおよびBの視差の変化量よりも、Fr5の画像とFr8の画像との間にける主要被写体AおよびBの視差の変化量が小さくなる。そして、Fr8の画像からFr10の画像までは、順次液晶表示器171に表示される。その結果、液晶表示器171には、動画のフレームレートにて、Fr1、Fr5、Fr8、Fr9、Fr10の順序で画像が表示される。したがって、ユーザには、主要被写体AおよびBが最初は早く、徐々にゆっくりシフトされるように観察される。
Further, 3D image data corresponding to the images of Fr6 and Fr7 is thinned out by the
上述したように、表示制御部152は、傾斜角度が小さい値と関連付けされた3D用画像データについては間引きする枚数を多くして、傾斜角度が大きな値と関連付けされた3D用画像データになるほど間引きする枚数を少なくする。この場合、表示制御部152は、3D用画像データを間引きする枚数を、一時メモリ16から読み出した3D用画像データの枚数に応じて決定すればよい。
As described above, the
以上で説明した第4の実施の形態のデジタルカメラ1によれば、第1および第2の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
表示制御部152は、液晶表示器に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のうち、一部の画像を液晶表示器171に表示させないようにした。この結果、ユーザには、主要被写体AおよびBが最初は早く、徐々にゆっくり変化するように観察されるので、印象的な映像効果を有する立体画像を表示することができる。
According to the
The
−第5の実施の形態−
図面を参照して、本発明の第5の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1〜第4の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1〜第4の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1〜第4の実施の形態とは異なる。なお、以下の説明では、第1および第2の3D用画像データと中間画像データとを包含して3D用画像データと呼ぶ。
-Fifth embodiment-
A
本実施の形態においても、傾斜判定部153により姿勢センサ18からの検出信号が所定の時間変化がないと判定されると、表示制御部152は、傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データ(検出画像データ)を検出する。傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データが、たとえば傾斜角度45度以上、傾斜方向「+」に関連付けされているとする。表示制御部152は、傾斜方向が「+」であって、傾斜角度「0」から傾斜方向45度までに関連付けされた全ての3D用画像データを一時メモリ16から読み出す。
Also in the present embodiment, when the
表示制御部152は、読み出した3D用画像データのうち、傾斜角度が小さい値と関連付けされている3D用画像データから順次LCD駆動回路17へ出力する。LCD駆動回路17は、表示制御部152から3D用画像データに対応する画像を、3D用画像データを入力した順序で、液晶表示器171へ表示させる。このとき、LCD駆動回路17は、入力した順序が早い3D用画像データに対応する画像ほど液晶表示器171への表示時間を長くし、入力した順序が遅い3D用画像データに対応する画像ほど液晶表示器171に表示する時間を短くする。
The
図9は第5の実施の形態により表示される画像を示している。なお、図9では、Fr1の画像からFr6までの画像が順次液晶表示器171に表示される場合を示している。図9に示すように、LCD駆動回路17は、Fr1の画像の表示時間をたとえば100tとすると、Fr2の画像の表示時間を50t、Fr3の画像の表示時間を20t、Fr4の画像の表示時間を10t、Fr5の画像の表示時間を5t、Fr6の画像の表示時間を4tにする。すなわち、主要被写体AおよびBについて視差の大きな画像ほど表示時間が短くなる。その結果、第4の実施の形態の場合と同様に、ユーザには、主要被写体AおよびBが最初は早く、徐々にゆっくりシフトされるように観察される。なお、表示時間の減少の割合については、表示制御部152が一時メモリ16から読み出した3D用画像データの枚数に応じて決定すればよい。
FIG. 9 shows an image displayed according to the fifth embodiment. FIG. 9 shows a case where images from Fr1 to Fr6 are sequentially displayed on the
以上で説明した第5の実施の形態のデジタルカメラ1によれば、第1および第2の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
表示制御部152は、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に液晶表示器171に表示させるようにした。その結果、第4の実施の形態により得られた作用効果と同様に、ユーザには主要被写体AおよびBが最初は早く、徐々にゆっくり変化するように観察されるので、印象的な映像効果を有する立体画像を表示できる。
According to the
The
−第6の実施の形態−
図面を参照して、本発明の第6の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1および第5の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1および第5の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1、第4および第5の実施の形態を組み合わせ、所定の条件に応じて表示方式を切り替える。以下、詳細に説明する。
-Sixth embodiment-
A
図10に示すように、デジタルカメラ1は液晶表示器171の温度を検出する温度センサ19を有する。温度センサ19は、検出した温度を示す温度検出信号を制御回路15へ出力する。制御回路15は、温度センサ19から入力した温度検出信号に基づいて、液晶表示器171の温度状態を判定する温度判定部154を機能的に備える。そして、表示制御部152は、温度判定部154により判定された温度状態に応じて、3D再生モードで表示される画像の表示方式を、第1表示方式、第2表示方式および第3表示方式のうちのいずれかに設定する。第1表示方式は、第1および第2の実施の形態における表示方式である。第2表示方式は第4の実施の形態における表示方式である。第3表示方式は第5の実施の形態における表示方式である。
As shown in FIG. 10, the
以下、詳細に説明する。温度判定部154は、温度センサ19で検出された温度と第1閾値、第2閾値および第3閾値との間で比較する。第1〜第3閾値は液晶表示器171の表示特性に基づいて決定された値であり、第3閾値>第2閾値>第1閾値の関係を有する。第3閾値は、高温のために液晶表示器171の表示特性に影響が生じる温度に相当する。第2閾値は、高温のために液晶表示器171の表示特性に若干の影響が生じる温度に相当する。第1閾値は、これ以上低温になると液晶表示器171の表示特性に影響が生じる温度に相当する。
Details will be described below. The
図11に、液晶表示器171と表示方式との対応関係を示す。154により液晶表示器171の温度が第1閾値未満と判定された場合、または第3閾値以上と判定された場合、第2表示方式を選択する。すなわち、液晶表示器171の表示特性に温度による影響が生じる場合には、第4の実施の形態の場合と同様に画像が表示される。換言すると、液晶表示器171の表示特性に影響が生じるので、液晶表示器171に切り換えて表示される画像の枚数が、複数種の表示方式のうち最も少ない枚数となる表示方式を行うことによって、表示される画像の劣化を抑制する。表示制御部152は、温度判定部154により液晶表示器171の温度が第1閾値以上第2閾値未満と判定されると、第1表示方式を選択する。すなわち、液晶表示器171の表示特性に温度による影響が生じない場合には、第1の実施の形態の場合と同様に画像が表示される。換言すると、液晶表示器171の表示特性に影響が生じないので、液晶表示器171に切り換えて表示される画像の枚数が、複数種の表示方式のうちで最大の表示枚数となる表示方式によって画像が表示されても劣化の少ない画像表示が可能となる。温度判定部154により液晶表示器171の温度が第2閾値以上第3閾値未満と判定されると、第3表示方式を選択する。すなわち、液晶表示器171の表示特性に温度による影響が若干生じる場合には、第5の実施の形態の場合と同様に画像が表示される。換言すると、液晶表示器171の表示特性に若干の影響が生じるので、液晶表示器171に切り換えて表示される画像の枚数が、複数種の表示方式のうち中間の枚数となる表示形式を行うことによって、表示される画像の劣化を抑制する。
FIG. 11 shows the correspondence between the
図12に示すフローチャートを用いて、以上で説明した3D再生モードにおけるデジタルカメラ1における表示処理について説明する。図12の処理を行うプログラムは制御回路15内の図示しないメモリに格納されており、ユーザの操作に応じて3D再生モードが設定された場合に制御回路15により起動されて、実行される。
ステップS10(3D用画像データ読み出し)〜S13(傾斜角度0、傾斜方向なしの画像表示)までの各処理は、図6のフローチャートに示すステップS1(3D用画像データ読み出し)〜S4(傾斜角度0、傾斜方向なしの画像表示)までの各処理と同様である。
The display process in the
Steps S10 (3D image data reading) to S13 (tilt angle 0, image display without tilt direction) are performed in steps S1 (3D image data read) to S4 (tilt angle 0) shown in the flowchart of FIG. This is the same as each processing until image display without a tilt direction.
ステップS14では、温度判定部154は液晶表示器171の温度が第3閾値以上か否かを判定する。液晶表示器171の温度が第3閾値以上の場合には、温度判定部154によりステップS14が肯定判定されてステップS15へ進む。ステップS15では、表示制御部152は第2表示方式を選択してステップS21へ進む。液晶表示器171の温度が第3閾値未満の場合には、温度判定部154によりステップS14が否定判定されてステップS16へ進む。
In step S14, the
ステップS16では、温度判定部154は液晶表示器171の温度が第2閾値以上第3閾値未満か否かを判定する。液晶表示器171の温度が第2閾値以上第3閾値未満の場合には、温度判定部154によりステップS16が肯定判定されてステップS17へ進む。ステップS17では、表示制御部152は第3表示方式を選択してステップS21へ進む。液晶表示器171の温度が第2閾値未満の場合には、温度判定部154によりステップS16が否定判定されてステップS18へ進む。
In step S <b> 16, the
ステップS18では、温度判定部154は液晶表示器171の温度が第1閾値以上第2閾値未満か否かを判定する。液晶表示器171の温度が第1閾値以上第2閾値未満の場合には、温度判定部154によりステップS18が肯定判定されてステップS19へ進む。ステップS19では、表示制御部152は第1表示方式を選択してステップS21へ進む。液晶表示器171の温度が第1閾値未満の場合には、温度判定部154によりステップS18が否定判定されてステップS20へ進む。ステップS20では、表示制御部152は第2表示方式を選択してステップS21へ進む。ステップS21(表示画像記録判定)〜S23(3D再生モード終了判定)までの各処理は、図6のフローチャートに示すステップS7(表示画像記録判定)〜S9(3D再生モード終了判定)までの各処理と同様である。なお、ステップS23が否定判定された場合には、処理はステップS14へ戻る。
In step S18, the
以上で説明した第6の実施の形態のデジタルカメラ1によれば、第1〜第5の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
温度センサ19は、液晶表示器171の温度を検出する。表示制御部152は、温度センサ19により検出された液晶表示器171の温度に応じて、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のうち、一部の画像を液晶表示器171に表示させない第2表示方法と、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に液晶表示器171に表示させる第3表示方法とを切り換えるようにした。したがって、液晶表示器171の温度による表示特性に応じて、画像の表示枚数を異ならせたり表示時間を異ならせたりするので、液晶表示器171に表示される画質劣化を防止できる。
According to the
The
以上で説明した第1〜第6の実施の形態のデジタルカメラ1を、以下のように変形できる。
(1)姿勢センサ18からの検出信号に基づいて、傾斜角度と傾斜方向とに関連付けされた画像データに対応する画像が表示されるものに代えて、操作部30の操作に応じて視差の異なる画像が表示されてもよい。この場合、ユーザは、操作部30を構成する十字キーを操作する。たとえば、図5(a)の関連付けデータに示す中間画像データIDM5に対応する画像が表示されているときに、十字キーの左ボタンが3回操作されたとする。このとき、表示制御部152は図5(a)の関連付けデータのうち、中間画像データIDM5から傾斜方向「+」側に傾斜角度の区切りが3段階大きい中間画像データIDM2をLCD駆動回路17へ出力すればよい。
The
(1) Based on the detection signal from the
(2)3D再生モードでは、姿勢センサ18からの検出信号や、十字キーの操作に応じた傾斜角度と傾斜方向とに関連付けされた画像データに対応する画像が表示されるものに代えて、全ての3D用画像データに対応するそれぞれの画像が連続的に表示されてもよい。たとえば、傾斜方向が「−」と判定された場合には、表示制御部152は、中間画像データIDM5〜IDM9、第2の3D用画像データID2、第1の3D用画像データID1、中間画像データIDM1〜IDM4の順序でLCD駆動回路17へ出力する。そして、LCD駆動回路17は、上述した順序で入力した画像データに対応する画像を液晶表示器171に表示させる。なお、この場合、LCD駆動回路17は、たとえば動画のフレームレートである30fpsにて各画像の表示を切り替える。
(2) In the 3D playback mode, instead of displaying a detection signal from the
(3)表示制御部152は、主要被写体AおよびBの視差に応じた枚数の中間画像データIDMを生成するものに代えて、液晶表示器171の温度に応じて生成する中間画像データIDMの枚数を変更してもよい。たとえば、液晶表示器171の温度が高温の場合には、表示制御部152は、中間画像データIDMの生成枚数を減少させる。
(3) The
(4)表示制御部152は、第1および第2の3D用画像データID1、ID2における主要被写体AおよびBよりも視差が小さい中間画像データIDMを生成するものに代えて、主要被写体AおよびBよりも視差が大きくなるように画像データを生成してもよい。
(4) The
(5)デジタルカメラ1の3D撮影モードで取得された画像データを用いて3D用画像データを生成するものに代えて、表示制御部152は、他のカメラで取得された画像データを用いて3D用画像データを生成してもよい。この場合、他のカメラで取得された画像データを、記録媒体32にから読み込んだり、図示しない外部インタフェース(たとえばUSBケーブルや、無線通信等)を用いて取得すればよい。
(5) Instead of generating 3D image data using image data acquired in the 3D shooting mode of the
(6)3D再生モードをデジタルカメラ1にて実行するものとして説明したが、液晶表示器を備える携帯機器(たとえば携帯電話、携帯型情報端末等)で実行するものであってもよい。
(6) Although the 3D playback mode has been described as being executed by the
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組み合わせて構成しても構わない。 In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included. The embodiments and modifications used for the description may be configured by appropriately combining them.
14 撮像素子、 15 制御回路、 16 一時メモリ、
18 姿勢センサ、 19 温度センサ、 30 操作部、
151 画像処理部、 152 表示制御部、 153 傾斜判定部、
171 液晶表示器
14 image sensor, 15 control circuit, 16 temporary memory,
18 attitude sensor, 19 temperature sensor, 30 operation unit,
151 image processing unit, 152 display control unit, 153 tilt determination unit,
171 Liquid crystal display
Claims (11)
前記第1生成手段により取得された前記一対の右目用画像と左目用画像とに基づいて、前記所定の視差とは異なる視差を有する少なくとも一対の中間画像を生成する第2生成手段と、
画像を表示する表示器と、
前記表示器に表示された前記画像を観察する観察方向と観察角度とを判定する判定手段と、
前記判定手段により判定された前記観察方向と観察角度とに応じて、前記第1生成手段により生成された前記一対の右目用画像および左目用画像と、前記第2生成手段により生成された前記中間画像との少なくとも1つの画像を前記表示器に表示させる表示制御手段と、
を備えることを特徴とする表示装置。 First generation means for generating a pair of right-eye images and left-eye images captured so that the main subject has a predetermined parallax;
Second generation means for generating at least a pair of intermediate images having a parallax different from the predetermined parallax based on the pair of right-eye images and left-eye images acquired by the first generation means;
A display for displaying images;
Determination means for determining an observation direction and an observation angle for observing the image displayed on the display;
According to the observation direction and the observation angle determined by the determination unit, the pair of right-eye and left-eye images generated by the first generation unit and the intermediate generated by the second generation unit Display control means for causing the display to display at least one image of the image;
A display device comprising:
撮影光学系の光軸方向に沿った主要被写体の撮影距離に関する情報を有する画像を入力画像として取得する取得手段をさらに有し、
前記第1生成手段は、前記取得手段により取得された前記入力画像と前記撮影距離に関する情報とに基づいて、前記一対の右目用画像と左目用画像とを生成することを特徴とする表示装置。 The display device according to claim 1,
Further comprising an acquisition means for acquiring an image having information on the shooting distance of the main subject along the optical axis direction of the shooting optical system as an input image;
The display device characterized in that the first generation means generates the pair of right-eye images and left-eye images based on the input image acquired by the acquisition means and information on the shooting distance.
前記第2生成手段は、前記一対の右目用画像および左目用画像での前記主要被写体間の距離よりも、前記一対の中間画像での前記主要被写体間の距離を小さくすることを特徴とする表示装置。 The display device according to claim 1 or 2,
The second generating means makes the distance between the main subjects in the pair of intermediate images smaller than the distance between the main subjects in the pair of right-eye images and left-eye images. apparatus.
表示装置の傾斜を検出する傾斜検出手段をさらに備え、
前記判定手段は、前記傾斜検出手段により検出された傾斜に基づいて、前記観察方向と観察角度とを判定することを特徴とする表示装置。 The display device according to any one of claims 1 to 3,
Further comprising tilt detecting means for detecting the tilt of the display device;
The display device according to claim 1, wherein the determination unit determines the observation direction and the observation angle based on the inclination detected by the inclination detection unit.
操作入力を受け付ける操作部材をさらに備え、
前記判定手段は、前記操作入力に基づいて、前記観察方向と観察角度とを判定することを特徴とする表示装置。 The display device according to any one of claims 1 to 3,
An operation member for receiving an operation input;
The determination device determines the observation direction and the observation angle based on the operation input.
前記表示制御手段は、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像を連続的に前記表示器に表示させることを特徴とする表示装置。 The display device according to any one of claims 1 to 5,
The display control means, wherein the display device continuously displays on the display an image in which the parallax of the main subject sequentially increases from an image corresponding to an observation when viewed from a direction perpendicular to the display.
前記表示制御手段は、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のうち、一部の画像を前記表示器に表示させないことを特徴とする表示装置。 The display device according to claim 6,
The display control means does not cause the display to display a part of images among images in which parallax of the main subject sequentially increases from an image corresponding to a case where the display is observed from a direction perpendicular to the display. Display device.
前記表示制御手段は、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に前記表示器に表示させることを特徴とする表示装置。 The display device according to claim 6,
The display control means continuously displays the images in which the parallax of the main subject is sequentially increased from the corresponding image when observed from a direction perpendicular to the display device with different display times. A display device characterized by displaying.
前記表示器の温度を検出する温度検出手段をさらに有し、
前記表示制御手段は、前記温度検出手段により検出された前記表示器の温度に応じて、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のうち、一部の画像を前記表示器に表示させない第1の表示方法と、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に前記表示器に表示させる第2の表示方法とを切り換えることを特徴とする表示装置。 The display device according to claim 6,
Further comprising temperature detecting means for detecting the temperature of the indicator;
The display control unit is configured to display an image in which the parallax of the main subject sequentially increases from an image corresponding to an observation from a direction perpendicular to the display, according to the temperature of the display detected by the temperature detection unit. Among these, for each of the first display method that does not display a part of the image on the display, and the image in which the parallax of the main subject sequentially increases from the image corresponding to when observed from a direction perpendicular to the display, A display device characterized by switching between a second display method for continuously displaying on the display unit with different display times.
前記一対の右目用画像および左目用画像と、前記中間画像とのそれぞれを、前記観察方向と観察角度とに関連付けて記録する記録手段をさらに有することを特徴とする表示装置。 The display device according to any one of claims 1 to 9,
The display device further comprising recording means for recording the pair of right-eye image and left-eye image and the intermediate image in association with the observation direction and the observation angle.
請求項1乃至10のいずれか一項に記載の表示装置とを備え、
前記第1生成手段は、前記撮像素子により生成された前記画像信号を用いて、前記一対の右目用画像と左目用画像とを生成することを特徴とする撮像装置。
An image sensor that captures an image of a subject via an imaging optical system and generates an image signal;
A display device according to any one of claims 1 to 10,
The first generation means generates the pair of right-eye images and left-eye images using the image signals generated by the image sensor.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037423A JP2013175805A (en) | 2012-02-23 | 2012-02-23 | Display device and image pickup device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012037423A JP2013175805A (en) | 2012-02-23 | 2012-02-23 | Display device and image pickup device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013175805A true JP2013175805A (en) | 2013-09-05 |
Family
ID=49268371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012037423A Pending JP2013175805A (en) | 2012-02-23 | 2012-02-23 | Display device and image pickup device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013175805A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016199381A1 (en) * | 2015-06-08 | 2016-12-15 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2017005689A (en) * | 2015-06-08 | 2017-01-05 | キヤノン株式会社 | Image processing system and image processing method |
WO2020090629A1 (en) * | 2018-10-31 | 2020-05-07 | 京セラ株式会社 | Image display device, image display system, and movable body |
-
2012
- 2012-02-23 JP JP2012037423A patent/JP2013175805A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016199381A1 (en) * | 2015-06-08 | 2016-12-15 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
JP2017005689A (en) * | 2015-06-08 | 2017-01-05 | キヤノン株式会社 | Image processing system and image processing method |
US10574906B2 (en) | 2015-06-08 | 2020-02-25 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
WO2020090629A1 (en) * | 2018-10-31 | 2020-05-07 | 京セラ株式会社 | Image display device, image display system, and movable body |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101391042B1 (en) | Image processing device capable of generating wide-range image | |
US20110018970A1 (en) | Compound-eye imaging apparatus | |
US10587860B2 (en) | Imaging apparatus and method for controlling same | |
JP5371845B2 (en) | Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus | |
KR101346426B1 (en) | Image processing device capable of generating wide-range image | |
US8514273B2 (en) | 3D image display apparatus and 3D image display method | |
JP2009053748A (en) | Image processing apparatus, image processing program, and camera | |
JP2007295547A (en) | Digital camera | |
JP5526233B2 (en) | Stereoscopic image photographing apparatus and control method thereof | |
JP2014039311A (en) | Monocular 3d-imaging apparatus, shading correction method for monocular 3d-imaging apparatus, and program for monocular 3d-imaging apparatus | |
JP6752681B2 (en) | Display control device, control method and program of display control device, and storage medium | |
US20090027487A1 (en) | Image display apparatus and image display method | |
JP2011259168A (en) | Stereoscopic panoramic image capturing device | |
JP2012186612A (en) | Imaging device | |
JP6155471B2 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
JP5322817B2 (en) | 3D image pickup apparatus and 3D image display method | |
CN103329549B (en) | Dimensional video processor, stereoscopic imaging apparatus and three-dimensional video-frequency processing method | |
CN103339948B (en) | 3D video playing device, 3D imaging device, and 3D video playing method | |
JP2012133185A (en) | Imaging apparatus | |
JP2012231520A (en) | Imaging apparatus, control apparatus, and control method therefor | |
JP2013175805A (en) | Display device and image pickup device | |
JPWO2012043003A1 (en) | Stereoscopic image display apparatus and stereoscopic image display method | |
JP5049231B2 (en) | Three-dimensional display device, method and program | |
JP2014066904A (en) | Imaging device, image processing apparatus, image processing server, and display device | |
JP4887461B2 (en) | 3D image pickup apparatus and 3D image display method |