JP2013175805A - Display device and image pickup device - Google Patents

Display device and image pickup device Download PDF

Info

Publication number
JP2013175805A
JP2013175805A JP2012037423A JP2012037423A JP2013175805A JP 2013175805 A JP2013175805 A JP 2013175805A JP 2012037423 A JP2012037423 A JP 2012037423A JP 2012037423 A JP2012037423 A JP 2012037423A JP 2013175805 A JP2013175805 A JP 2013175805A
Authority
JP
Japan
Prior art keywords
display
image
image data
display device
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012037423A
Other languages
Japanese (ja)
Inventor
Yukio Muto
幸雄 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2012037423A priority Critical patent/JP2013175805A/en
Publication of JP2013175805A publication Critical patent/JP2013175805A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable even a display of two-dimensional display type to be observable artificially as a stereoscopic image.SOLUTION: A display device comprises: first generation means for generating a pair of right-eye image and left-eye image photographed for the main subject to have predetermined parallax; second generation means for generating at least a pair of intermediate images having different parallax than the predetermined parallax on the basis of the pair of right-eye image and left-eye image obtained by the first generation means; a display for showing images; determination means for determining the direction of observation and the angle of observation in and at which the image shown on the display is observed; and display control means for showing on the display at least one of the pair of right-eye image and left-eye image generated by the first generation means and the intermediate images generated by the second generation means.

Description

本発明は、表示装置および撮像装置に関する。   The present invention relates to a display device and an imaging device.

従来から、2次元画像信号に付加された奥行き情報を用いて、視差情報を用いた立体画像を生成する表示装置が知られている(たとえば特許文献1)。   Conventionally, a display device that generates a stereoscopic image using parallax information by using depth information added to a two-dimensional image signal is known (for example, Patent Document 1).

特開2000−78611号公報JP 2000-78611 A

しかしながら、裸眼で立体画像が観察可能な表示器や立体画像を観察するための専用のメガネ等が必要になるため、二次元表示用の表示器では立体画像として観察することができないという問題がある。   However, since a display capable of observing a stereoscopic image with the naked eye or dedicated glasses for observing the stereoscopic image is required, there is a problem that the display for a two-dimensional display cannot be observed as a stereoscopic image. .

請求項1に記載の発明による表示装置は、主要被写体が所定の視差を有するように撮影された一対の右目用画像と左目用画像とを生成する第1生成手段と、第1生成手段により取得された一対の右目用画像と左目用画像とに基づいて、所定の視差とは異なる視差を有する少なくとも一対の中間画像を生成する第2生成手段と、画像を表示する表示器と、表示器に表示された画像を観察する観察方向と観察角度とを判定する判定手段と、判定手段により判定された観察方向と観察角度とに応じて、第1生成手段により生成された一対の右目用画像および左目用画像と、第2生成手段により生成された中間画像との少なくとも1つの画像を表示器に表示させる表示制御手段と、を備えることを特徴とする。   The display device according to the first aspect of the present invention includes a first generation unit that generates a pair of right-eye images and a left-eye image captured so that the main subject has a predetermined parallax, and is acquired by the first generation unit. A second generation means for generating at least a pair of intermediate images having a parallax different from a predetermined parallax based on the pair of right-eye images and the left-eye image, a display device for displaying images, and a display device; A determination unit that determines an observation direction and an observation angle for observing the displayed image; a pair of right-eye images generated by the first generation unit according to the observation direction and the observation angle determined by the determination unit; Display control means for displaying at least one image of the left-eye image and the intermediate image generated by the second generation means on a display device is provided.

本発明によれば、表示器の観察方向と観察角度に応じて、視差が異なる一対の右目用画像および左目用画像と、中間画像との少なくとも1つの画像を表示することができる。   According to the present invention, it is possible to display at least one image of a pair of right-eye images and left-eye images with different parallaxes and an intermediate image according to the viewing direction and viewing angle of the display.

本発明の実施の形態によるデジタルカメラの要部構成を示す断面図Sectional drawing which shows the principal part structure of the digital camera by embodiment of this invention 実施の形態によるデジタルカメラの制御系の構成を示すブロック図The block diagram which shows the structure of the control system of the digital camera by embodiment 第1の実施の形態における3D撮影モードについて説明する図The figure explaining 3D imaging | photography mode in 1st Embodiment 中間画像データについて説明する図Diagram explaining intermediate image data 傾斜角度と傾斜方向について説明する図The figure explaining an inclination angle and an inclination direction 実施の形態における3D再生モードでの処理を説明する図The figure explaining the process in 3D playback mode in embodiment 第2の実施の形態における3D用画像データの生成について説明する図The figure explaining the production | generation of the image data for 3D in 2nd Embodiment 第3および第4の実施の形態による3D再生モードでの表示方式を説明する図The figure explaining the display system in 3D playback mode by 3rd and 4th embodiment 第5の実施の形態による3D再生モードでの表示方式を説明する図The figure explaining the display system in 3D playback mode by 5th Embodiment 第6の実施の形態によるデジタルカメラの制御系の構成を示すブロック図A block diagram showing a configuration of a control system of a digital camera according to a sixth embodiment 液晶表示器の温度と表示方式との対応関係を説明する図The figure explaining the correspondence between the temperature of the liquid crystal display and the display method 第6の実施の形態における3D再生モードでの処理を説明する図The figure explaining the process in 3D playback mode in 6th Embodiment

−第1の実施の形態−
図面を参照して、本発明による第1の実施の形態における表示装置を備えるカメラを説明する。図1はデジタルカメラ1の要部構成を示す図である。デジタルカメラ1のボディに、撮影レンズL1と絞り20とを備える交換レンズ2が着脱可能に装着されている。デジタルカメラ1のボディ側には、クイックリターンミラー10、焦点板11、ペンタプリズム12、接眼レンズ13、撮像素子14およびシャッタ21が設けられている。
-First embodiment-
A camera provided with a display device according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a main configuration of the digital camera 1. An interchangeable lens 2 including a photographing lens L1 and a diaphragm 20 is detachably mounted on the body of the digital camera 1. On the body side of the digital camera 1, a quick return mirror 10, a focusing screen 11, a pentaprism 12, an eyepiece lens 13, an image sensor 14 and a shutter 21 are provided.

図2はデジタルカメラ1の制御系のブロック図である。図2において、図1に示した構成要素には同一の符号を付して説明する。デジタルカメラ1の制御系は、撮像素子14、制御回路15、一時メモリ16、LCD駆動回路17、液晶表示器171、姿勢センサ18、操作部30および記録媒体インタフェース31を備えている。   FIG. 2 is a block diagram of the control system of the digital camera 1. In FIG. 2, the components shown in FIG. The control system of the digital camera 1 includes an image sensor 14, a control circuit 15, a temporary memory 16, an LCD drive circuit 17, a liquid crystal display 171, an attitude sensor 18, an operation unit 30, and a recording medium interface 31.

図1を参照して説明すると、交換レンズ2を通過してデジタルカメラ1に入射した被写体光は、シャッタレリーズ前は図1において実線で示すように位置するクイックリターンミラー10で上方へ導かれて焦点板11に結像する。焦点板11に結像された被写体像は、ペンタプリズム12により接眼レンズ13へ導かれる。その結果、被写体像が撮影者に観察される。被写体光の一部はクイックリターンミラー10の半透過領域を透過し、サブミラー10aにて下方に反射され、図示しない焦点検出用センサへ入射される。レリーズ後はクイックリターンミラー10が図1の破線で示される位置へ回動し、シャッタ21が開き、被写体光が撮像素子14へ導かれ、その撮像面上に被写体像が結像する。   Referring to FIG. 1, the subject light that has passed through the interchangeable lens 2 and entered the digital camera 1 is guided upward by a quick return mirror 10 positioned as shown by a solid line in FIG. 1 before the shutter release. An image is formed on the focusing screen 11. The subject image formed on the focusing screen 11 is guided to the eyepiece 13 by the pentaprism 12. As a result, the subject image is observed by the photographer. Part of the subject light passes through the semi-transmissive region of the quick return mirror 10, is reflected downward by the sub mirror 10a, and enters a focus detection sensor (not shown). After the release, the quick return mirror 10 is rotated to the position indicated by the broken line in FIG. 1, the shutter 21 is opened, the subject light is guided to the image sensor 14, and the subject image is formed on the imaging surface.

図2を参照して制御系について詳細に説明する。
撮像素子14は、たとえばCCDやCMOS等の光電変換素子により構成され、後述する制御回路15の制御に応じて駆動して撮影レンズL1を通して入力される被写体像を撮像し、撮像して得た画素信号を出力する。制御回路15は、図示しないCPU、ROM、RAMなどを有し、デジタルカメラ1の各構成要素を制御したり、各種のデータ処理を実行したりする演算回路である。
The control system will be described in detail with reference to FIG.
The imaging element 14 is configured by a photoelectric conversion element such as a CCD or a CMOS, for example. The imaging element 14 is driven under the control of a control circuit 15 to be described later to capture a subject image input through the imaging lens L1 and obtain the captured image. Output a signal. The control circuit 15 includes a CPU, ROM, RAM, and the like (not shown), and is an arithmetic circuit that controls each component of the digital camera 1 and executes various data processing.

制御回路15は、画像処理部151、表示制御部152および傾斜判定部153を機能的に有する。画像処理部151は、撮像素子14から入力したアナログ画素信号をデジタル画像信号に変換し、変換後の画像信号に対して、ホワイトバランス処理、ガンマ補正処理、色補間処理、輪郭強調、ビネット補正などの画像処理を施して画像データを生成する。そして、画像処理部151は、生成した画像データに対してJPEG圧縮処理を実行した後、たとえばEXIF形式の画像ファイルを生成する。また、画像処理部151は、後述する3D撮影モードが設定された場合には、同一の主要被写体に対して所定の視差を有する3D用画像データを生成する。表示制御部152は、後述するLCD駆動回路17を制御して各種のメニュー画面や、表示用画像データに対応する画像を液晶表示器171に表示させる。なお、表示制御部152は、後述する3D再生モードが設定された場合、液晶表示器171に画像を擬似的に立体表示させるための3D用画像データを生成する。傾斜判定部153は、姿勢センサ18から出力された重力方向を示す検出信号を入力して、デジタルカメラ1の傾斜角度と傾斜方向とを判定する。なお、3D撮影モードまたは3D再生モードにおける画像処理部151、表示制御部152および傾斜判定部153の詳細については、説明を後述する。   The control circuit 15 functionally includes an image processing unit 151, a display control unit 152, and a tilt determination unit 153. The image processing unit 151 converts an analog pixel signal input from the image sensor 14 into a digital image signal, and performs white balance processing, gamma correction processing, color interpolation processing, contour enhancement, vignette correction, and the like on the converted image signal. The image processing is performed to generate image data. Then, the image processing unit 151 performs JPEG compression processing on the generated image data, and then generates, for example, an image file in the EXIF format. The image processing unit 151 generates 3D image data having a predetermined parallax with respect to the same main subject when a 3D shooting mode to be described later is set. The display control unit 152 controls the LCD drive circuit 17 described later to display various menu screens and images corresponding to display image data on the liquid crystal display 171. Note that the display control unit 152 generates 3D image data for pseudo-stereoscopic display of an image on the liquid crystal display 171 when a 3D playback mode to be described later is set. The tilt determination unit 153 receives the detection signal indicating the direction of gravity output from the posture sensor 18 and determines the tilt angle and tilt direction of the digital camera 1. Details of the image processing unit 151, the display control unit 152, and the tilt determination unit 153 in the 3D shooting mode or the 3D playback mode will be described later.

一時メモリ16は、画像処理、画像圧縮処理の途中や処理後のデータを一時的に格納するバッファメモリとして使用される揮発性記録媒体である。記録媒体インタフェース31は、記録媒体32が着脱可能なインタフェースである。記録媒体インタフェース31は、制御回路15の制御に基づいて、画像データを記録媒体32に書き込んだり、記録媒体32に記録されている画像データを読み出したりする。記録媒体32はコンパクトフラッシュ(登録商標)やSDカードなどの半導体記録媒体である。   The temporary memory 16 is a volatile recording medium used as a buffer memory for temporarily storing data during and after image processing and image compression processing. The recording medium interface 31 is an interface to which the recording medium 32 can be attached and detached. The recording medium interface 31 writes image data on the recording medium 32 and reads out image data recorded on the recording medium 32 based on the control of the control circuit 15. The recording medium 32 is a semiconductor recording medium such as a compact flash (registered trademark) or an SD card.

LCD駆動回路17は、制御回路15の命令に基づいて液晶表示器171を駆動する回路である。液晶表示器171は、再生モードにおいて、記録媒体32に記録されている画像データに基づいて制御回路15で作成された表示用画像データに対応する画像の表示を行う。   The LCD drive circuit 17 is a circuit that drives the liquid crystal display 171 based on a command from the control circuit 15. The liquid crystal display 171 displays an image corresponding to the display image data created by the control circuit 15 based on the image data recorded on the recording medium 32 in the reproduction mode.

姿勢センサ18は、傾斜センサやジャイロセンサ等により構成され、デジタルカメラ1の重力方向を検出し、検出信号を制御回路15へ出力する。操作部30は、ユーザの操作を受け付けるスイッチである。操作部30には、電源スイッチ、レリーズスイッチ、十字キー、決定ボタンなどが含まれる。また、操作部30により、撮影モードとして静止画撮影モードや動画撮影モード、3D撮影モード等の設定が可能である。3D撮影モードは、視差を有する3D用画像データを生成するための撮影モードである。さらに、操作部30により再生モードとして、3D用画像データに基づいて、液晶表示器171に疑似的に立体的な画像を表示させる3D再生モードの設定が可能である。3D撮影モード、3D再生モードについては、説明を後述する。   The attitude sensor 18 is configured by an inclination sensor, a gyro sensor, or the like, detects the direction of gravity of the digital camera 1, and outputs a detection signal to the control circuit 15. The operation unit 30 is a switch that receives a user operation. The operation unit 30 includes a power switch, a release switch, a cross key, an enter button, and the like. Further, the operation unit 30 can set a still image shooting mode, a moving image shooting mode, a 3D shooting mode, or the like as a shooting mode. The 3D shooting mode is a shooting mode for generating 3D image data having parallax. Furthermore, a 3D playback mode in which a pseudo three-dimensional image is displayed on the liquid crystal display 171 can be set as a playback mode by the operation unit 30 based on the 3D image data. The 3D shooting mode and the 3D playback mode will be described later.

以下、第1の実施の形態によるデジタルカメラ1の動作について、3D撮影モードが設定された場合と、3D再生モードが設定された場合とに分けて説明する。
−3D撮影モード−
ユーザが操作部30を操作して3D撮影モードを設定した場合、ユーザは、同一の主要被写体が所定の視差を有するように画像を撮影する。図3に撮影対象となる主要被写体AおよびBを示す。図3(a)は主要被写体AおよびBをデジタルカメラ1から見た場合の位置関係を示し、図3(b)は主要被写体AおよびBと、デジタルカメラ1との位置関係を俯瞰して示す。図3(a)の左右方向、すなわち矢印Q1Q2の方向(−x方向から+x方向)に主要被写体AおよびBが視差を有するように画像を撮影する場合、ユーザは図3(c)に示すように、位置P1およびP2のそれぞれから主要被写体AおよびBを撮影する。なお、図3(c)は、主要被写体AおよびBが視差を有するように画像を撮影する場合の、主要被写体AおよびBとデジタルカメラ1との位置関係を俯瞰する図である。
Hereinafter, the operation of the digital camera 1 according to the first embodiment will be described separately when the 3D shooting mode is set and when the 3D playback mode is set.
-3D shooting mode
When the user operates the operation unit 30 to set the 3D shooting mode, the user captures an image so that the same main subject has a predetermined parallax. FIG. 3 shows main subjects A and B to be photographed. 3A shows the positional relationship when the main subjects A and B are viewed from the digital camera 1, and FIG. 3B shows the positional relationship between the main subjects A and B and the digital camera 1 as an overview. . When taking images so that the main subjects A and B have parallax in the left-right direction in FIG. 3A, that is, in the direction of the arrow Q1Q2 (from the −x direction to the + x direction), the user is as shown in FIG. Then, the main subjects A and B are photographed from the positions P1 and P2, respectively. FIG. 3C is a view overlooking the positional relationship between the main subjects A and B and the digital camera 1 when images are taken so that the main subjects A and B have parallax.

図3(d)は、主要被写体AおよびBを位置P1から撮影した画像の画像データを示す。図3(d)では、主要被写体AおよびBを右方向からの視点に対応する右目用画像となる。図3(e)は、図3(a)に示す主要被写体AおよびBを位置P2から撮影した画像の画像データを示す。図3(e)では、主要被写体AおよびBを左方向からの視点に対応する左目用画像となる。   FIG. 3D shows image data of an image obtained by photographing the main subjects A and B from the position P1. In FIG. 3D, the main subjects A and B are right-eye images corresponding to viewpoints from the right direction. FIG. 3 (e) shows image data of an image obtained by photographing the main subjects A and B shown in FIG. 3 (a) from the position P2. In FIG. 3E, the main subjects A and B are left-eye images corresponding to the viewpoint from the left direction.

制御回路15の画像処理部151は、図3(c)の位置P1から撮影して生成された画像信号を用いて、図3(d)に示す第1の3D用画像データID1を生成する。また、画像処理部151は、図3(c)の位置P2から撮影して生成された画像信号を用いて、図3(e)に示す第2の3D用画像データID2を生成する。そして、制御回路15は、生成した第1および第2の3D用画像データID1、ID2を記録媒体32に記録させる。このとき、制御回路15は、第1および第2の3D用画像データID1、ID2が3D撮影モードで同一の主要被写体AおよびBが撮影されたものであることを示すように関連付けを行う。   The image processing unit 151 of the control circuit 15 generates the first 3D image data ID1 shown in FIG. 3D by using the image signal generated by photographing from the position P1 in FIG. Further, the image processing unit 151 generates the second 3D image data ID2 shown in FIG. 3E by using the image signal generated by photographing from the position P2 in FIG. Then, the control circuit 15 records the generated first and second 3D image data ID1 and ID2 on the recording medium 32. At this time, the control circuit 15 associates the first and second 3D image data ID1 and ID2 so as to indicate that the same main subjects A and B are photographed in the 3D photographing mode.

上述した説明は、主要被写体AおよびBに対して左右方向に所定の視差を有する画像を撮影する場合を例として行った。しかし、主要被写体AおよびBに対して上下方向(−y方向から+y方向)の視差、または上下左右方向(−x方向−y方向から+x方向+y方向、または+x方向+y方向から−x方向−y方向)の視差を有する画像を撮影してもよい。上下方向の視差を有する画像を撮影する場合には、ユーザは図3(a)の上下方向、すなわち矢印Q1’Q2’の方向(−y方向からy方向)に沿って、主要被写体AおよびBを少なくとも2回撮影すればよい。上下左右方向の視差を有する画像を撮影する場合には、ユーザは図3(a)の対角方向、すなわち矢印Q1”Q2”の方向に沿って少なくとも2回、または矢印Q1’”Q2’”の方向に沿って少なくとも2回、主要被写体AおよびBを撮影すればよい。   In the above description, the case where an image having a predetermined parallax in the left-right direction with respect to the main subjects A and B is taken as an example. However, the parallax in the vertical direction (−y direction to + y direction) with respect to the main subjects A and B, or the vertical and horizontal directions (−x direction−y direction to + x direction + y direction, or + x direction + y direction to −x direction−) An image having a parallax in the y direction may be taken. When capturing an image having parallax in the vertical direction, the user moves the main subjects A and B along the vertical direction in FIG. 3A, that is, in the direction of arrows Q1'Q2 '(from the -y direction to the y direction). Should be taken at least twice. When shooting an image having parallax in the vertical and horizontal directions, the user must perform at least twice along the diagonal direction of FIG. 3A, that is, the direction of the arrow Q1 "Q2", or the arrow Q1 '"Q2'". The main subjects A and B may be photographed at least twice along the direction.

なお、3D撮影モードにおいて交換レンズ2に視差を有する画像を撮影するためのアタッチメントを取り付けて主要被写体AおよびBを撮影してもよい。この場合、ユーザが図3(b)に示す主要被写体AおよびBとデジタルカメラ1との位置関係で主要被写体AおよびBを撮影することにより、画像処理部151は、上述した第1の3D用画像データID1と第2の3D用画像データID2とを生成する。そして、制御回路15は、生成した第1および第2の3D用画像データID1、ID2を記録媒体32に記録させる。   Note that the main subjects A and B may be photographed by attaching an attachment for photographing an image having parallax to the interchangeable lens 2 in the 3D photographing mode. In this case, when the user captures the main subjects A and B in the positional relationship between the main subjects A and B and the digital camera 1 shown in FIG. Image data ID1 and second 3D image data ID2 are generated. Then, the control circuit 15 records the generated first and second 3D image data ID1 and ID2 on the recording medium 32.

−3D再生モード−
ユーザが操作部30を操作して3D再生モードを設定した場合について説明する。以下の説明では、上述した3D撮影モードで生成され記録媒体32に記録された第1の3D用画像データID1に対応する画像の再生がユーザにより指示されたものとする。このとき、表示制御部152は、記録媒体32から第1の3D用画像データID1と、第1の3D用画像データID1と関連付けされた第2の3D用画像データID2とを読み出し、一時メモリ16に記録する。表示制御部152は、第1および第2の3D用画像データID1、ID2を用いて、主要被写体AおよびBの視差が撮影時における所定の視差よりも小さい中間視差となるように、中間画像データを生成する。そして、表示制御部152は、第1および第2の3D用画像データID1、ID2と中間画像データとのうち、姿勢センサ18により検出されたデジタルカメラ1の傾斜角度と傾斜方向とに対応付けされた画像データをLCD駆動回路17に出力させる。その結果、液晶表示器171には、デジタルカメラ1の傾斜角度と傾斜方向とに応じて主要被写体AおよびBに対する視点の異なる画像が表示されることになり、ユーザは擬似的な立体画像として主要被写体AおよびBを観察できる。以下、中間画像データ生成処理と表示制御処理とに分けて、詳細に説明する。
-3D playback mode
A case where the user operates the operation unit 30 to set the 3D playback mode will be described. In the following description, it is assumed that reproduction of an image corresponding to the first 3D image data ID1 generated in the 3D shooting mode and recorded on the recording medium 32 is instructed by the user. At this time, the display control unit 152 reads the first 3D image data ID1 and the second 3D image data ID2 associated with the first 3D image data ID1 from the recording medium 32, and the temporary memory 16 To record. The display control unit 152 uses the first and second 3D image data ID1 and ID2 so that the parallax of the main subjects A and B is an intermediate parallax that is smaller than a predetermined parallax at the time of shooting. Is generated. The display control unit 152 then associates the tilt angle and the tilt direction of the digital camera 1 detected by the posture sensor 18 among the first and second 3D image data ID1, ID2 and the intermediate image data. The image data is output to the LCD drive circuit 17. As a result, the liquid crystal display 171 displays images with different viewpoints with respect to the main subjects A and B according to the inclination angle and the inclination direction of the digital camera 1, and the user can display the main images as pseudo stereoscopic images. Subjects A and B can be observed. Hereinafter, the intermediate image data generation process and the display control process will be described in detail.

(1)中間画像データ生成処理
図4(a)に示すように、表示制御部152は、一時メモリ16に読み出された第1および第2の3D用画像データID1、ID2から、たとえば特開2003−99796号公報に記載の公知のモーフィング等の技術を用いて複数の中間画像データIDM1〜IDM9(総称する場合は符合IDMとする)を生成する。なお、本実施の形態においては、中間画像データIDMが9枚生成されている場合を例として説明するが、生成される中間画像データIDMの枚数は、第1および第2の3D用画像データID1、ID2における主要被写体AおよびBの視差に応じて決定される。すなわち、主要被写体AおよびBの視差が大きい場合には、表示制御部152は中間画像データIDMの枚数を増やす。なお、主要被写体AおよびBの視差が5cm程度の場合には、表示制御部152は、第1および第2の3D用画像データID1、ID2と中間画像データIDMとの枚数が10枚以上となるように中間画像データIDMを生成するのが好ましい。また、図4(a)〜(c)においては、図の水平方向をx軸、垂直方向をy軸とする。
(1) Intermediate Image Data Generation Processing As shown in FIG. 4A, the display control unit 152 uses, for example, the first and second 3D image data ID1 and ID2 read to the temporary memory 16 to A plurality of intermediate image data IDM <b> 1 to IDM <b> 9 (generally referred to as a code IDM) is generated using a known technique such as morphing described in Japanese Patent Application Publication No. 2003-99796. In this embodiment, a case where nine intermediate image data IDM are generated will be described as an example. However, the number of generated intermediate image data IDM is the first and second 3D image data ID1. , Determined according to the parallax of the main subjects A and B in ID2. That is, when the parallax of the main subjects A and B is large, the display control unit 152 increases the number of intermediate image data IDM. When the parallax of the main subjects A and B is about 5 cm, the display control unit 152 makes the number of the first and second 3D image data ID1 and ID2 and the intermediate image data IDM 10 or more. Thus, it is preferable to generate the intermediate image data IDM. 4A to 4C, the horizontal direction in the figure is the x axis and the vertical direction is the y axis.

モーフィングとは、動画中のある形状を有する物体が第1の形状から第2の形状に変化する様子が滑らかに再現されるように、物体の中間形状を補うための画像データを作成する技術である。本実施の形態では、表示制御部152は、第1の3D用画像データID1での主要被写体Aの位置(x軸の座標)と第2の3D用画像データID2での主要被写体Aの位置(x軸の座標)との差分defAを演算する。そして、表示制御部152は、差分defAを、生成する中間画像データIDMの枚数に1を足した数値(本実施の形態では、たとえば10)で割った値(defA/10)をシフト量として算出する。表示制御部152は、このシフト量に基づいて主要被写体Aを画像データ上で移動させることにより中間画像データIDMを生成する。   Morphing is a technique for creating image data to compensate for the intermediate shape of an object so that a state in which an object having a certain shape in a moving image is smoothly reproduced from a first shape to a second shape is reproduced. is there. In the present embodiment, the display control unit 152 displays the position of the main subject A (the x-axis coordinates) in the first 3D image data ID1 and the position of the main subject A in the second 3D image data ID2 ( The difference defA from the x-axis coordinate) is calculated. Then, the display control unit 152 calculates, as the shift amount, a value (defA / 10) obtained by dividing the difference defA by a numerical value (for example, 10 in the present embodiment) obtained by adding 1 to the number of intermediate image data IDM to be generated. To do. The display control unit 152 generates the intermediate image data IDM by moving the main subject A on the image data based on the shift amount.

第1の3D用画像データID1を用いて中間画像データIDM1を生成する場合について説明する。表示制御部152は、図4(b)に示す第1の3D用画像データID1での主要被写体Aの座標(x=x1)から、図4(c)に示すように、x軸に沿って正方向へ算出したシフト量(defA/10)だけシフトした位置(座標(x=x1’))に主要被写体Aを移動させる。図4(c)において、第1の3D用画像データID1上において主要被写体Aが存在した位置を破線で示す。主要被写体Aを座標x1’に移動させることにより、斜線を付した領域Re1にはデータが存在しないことになる。このため、表示制御部152は、領域Re1内を周辺のデータ(主要被写体Aに含まれるデータを除く)を用いて補間により生成する。   A case where the intermediate image data IDM1 is generated using the first 3D image data ID1 will be described. From the coordinates (x = x1) of the main subject A in the first 3D image data ID1 shown in FIG. 4B, the display control unit 152 follows the x axis as shown in FIG. 4C. The main subject A is moved to a position (coordinates (x = x1 ′)) shifted by the shift amount (defA / 10) calculated in the positive direction. In FIG. 4C, the position where the main subject A exists on the first 3D image data ID1 is indicated by a broken line. By moving the main subject A to the coordinate x1 ', no data exists in the hatched region Re1. For this reason, the display control unit 152 generates the area Re1 by interpolation using peripheral data (excluding data included in the main subject A).

表示制御部152は、主要被写体Bについても同様の処理を行う。まず、表示制御部152は、第1の3D用画像データID1での主要被写体Bの位置(x軸の座標)と第2の3D用画像データID2での主要被写体Bの位置(x軸の座標)との差分defBを演算する。表示制御部152は、差分DefBを生成する中間画像データIDMの枚数に対応する数値(本実施の形態では、すなわち10)で割った値(defB/10)をシフト量として算出する。表示制御部152は、図4(b)に示す第1の3D用画像データID1での主要被写体Bの座標(x=x2)から、図4(c)に示すように、x軸に沿って負方向へ算出したシフト量(defB/10)だけシフトした位置(座標(x=x2’))に主要被写体Bを移動させる。図4(c)において、第1の3D用画像データID1上において主要被写体Bが存在した位置を一点鎖線で示す。主要被写体Bを座標x2’に移動させることにより、データが存在しなくなった、斜線を付した領域Re2について、表示制御部152は、領域Re1の場合と同様にして補間により生成する。   The display control unit 152 performs the same process for the main subject B. First, the display control unit 152 determines the position of the main subject B (the x-axis coordinates) in the first 3D image data ID1 and the position of the main subject B in the second 3D image data ID2 (the x-axis coordinates). ) And the difference defB is calculated. The display control unit 152 calculates a value (defB / 10) divided by a numerical value (in this embodiment, that is, 10) corresponding to the number of intermediate image data IDM for generating the difference DefB as a shift amount. From the coordinates (x = x2) of the main subject B in the first 3D image data ID1 shown in FIG. 4B, the display control unit 152 follows the x axis as shown in FIG. 4C. The main subject B is moved to a position (coordinates (x = x2 ′)) shifted by the shift amount (defB / 10) calculated in the negative direction. In FIG. 4C, the position where the main subject B exists on the first 3D image data ID1 is indicated by a one-dot chain line. By moving the main subject B to the coordinate x2 ', the display control unit 152 generates the hatched region Re2 in which data is no longer present by interpolation in the same manner as in the region Re1.

上記のようにして主要被写体A、Bの位置をシフトさせることにより、表示制御部152は中間画像データIDM1を生成する。その結果、生成された中間画像データIDM1においては、主要被写体AおよびB間の距離が、第1および第2の3D用画像データID1、ID2での主要被写体AおよびB間の距離よりも小さいものとなる。さらに、表示制御部152は、第1の3D用画像データID1の主要被写体Aをシフト量(2×defA/10)、主要被写体Bをシフト量(2×defB/10)だけ移動させて中間画像データIDM2を生成する。この場合も、表示制御部152は、主要被写体A、Bの移動によりデータが存在しなくなった領域に対して補間処理を行う。なお、表示制御部152は、中間画像データIDM1の主要被写体Aをシフト量(defA/10)、主要被写体Bをシフト量(defB/10)だけ移動させて中間画像データIDM2を生成してもよい。表示制御部152は、中間画像データIDM3〜IDM9についても、同様にして生成する。なお、表示制御部152は、第2の3D用画像データID2の主要被写体A、Bを移動させることにより生成してもよい。この場合、表示制御部152は、中間画像データIDM1〜IDM4については第1の3D用画像データID1の主要被写体A、Bを、中間画像データIDM6〜IDM9については第2の3D用画像データID2の主要被写体A、Bを移動させることが好ましい。   The display control unit 152 generates the intermediate image data IDM1 by shifting the positions of the main subjects A and B as described above. As a result, in the generated intermediate image data IDM1, the distance between the main subjects A and B is smaller than the distance between the main subjects A and B in the first and second 3D image data ID1 and ID2. It becomes. Further, the display control unit 152 moves the main subject A of the first 3D image data ID1 by the shift amount (2 × defA / 10) and the main subject B by the shift amount (2 × defB / 10), thereby moving the intermediate image. Data IDM2 is generated. Also in this case, the display control unit 152 performs an interpolation process on a region where data no longer exists due to the movement of the main subjects A and B. The display control unit 152 may generate the intermediate image data IDM2 by moving the main subject A of the intermediate image data IDM1 by the shift amount (defA / 10) and the main subject B by the shift amount (defB / 10). . The display control unit 152 generates intermediate image data IDM3 to IDM9 in the same manner. The display control unit 152 may generate the main subjects A and B of the second 3D image data ID2 by moving them. In this case, the display control unit 152 displays the main subjects A and B of the first 3D image data ID1 for the intermediate image data IDM1 to IDM4, and the second 3D image data ID2 for the intermediate image data IDM6 to IDM9. It is preferable to move the main subjects A and B.

中間画像データIDMが生成されると、表示制御部152は、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとを一時メモリ16に格納する。このとき、表示制御部152は、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとのそれぞれに、傾斜角度と傾斜方向とを関連付ける。この傾斜角度と傾斜方向とは、液晶表示器171に表示された画像をユーザが観察する観察方向と観察角度とを表す。斜角度と傾斜方向とに応じて、後述する表示制御処理において液晶表示器171に表示される画像が表示制御部152により選択される。   When the intermediate image data IDM is generated, the display control unit 152 stores the first and second 3D image data ID1 and ID2 and the intermediate image data IDM in the temporary memory 16. At this time, the display control unit 152 associates a tilt angle and a tilt direction with each of the first and second 3D image data ID1 and ID2 and the intermediate image data IDM. The inclination angle and the inclination direction represent an observation direction and an observation angle in which the user observes the image displayed on the liquid crystal display 171. The display control unit 152 selects an image to be displayed on the liquid crystal display 171 in a display control process to be described later according to the oblique angle and the inclination direction.

図5(a)に、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとのそれぞれ関連付けされた傾斜角度と傾斜方向との一例を示す。図5(a)に示すように、第1の3D用画像データID1は、傾斜方向が「+」側であって、傾斜角度が最大(45度以上)に、第2の3D用画像データID2は、傾斜方向が「−」側であって、傾斜角度が最大(45度以上)に関連付けされている。なお、傾斜方向の「+」および「−」の意味については後述する。また、中間画像データIDM1〜IDM4のそれぞれは、傾斜方向が「+」側であって、傾斜角度が44度〜5度のうち10度の範囲ごとに降順で段階付けされて関連付けされる。中間画像データIDM6〜IDM9のそれぞれは、傾斜方向が「−」側であって、傾斜角度が5度〜44度のうち10度の範囲ごとに昇順で段階付けされて関連付けされる。中間画像データIDM5は、傾斜方向が「なし」で傾斜角度が0度に関連付けされている。なお、本実施の形態では、傾斜方向「なし」、傾斜角度0度は、姿勢センサ18により検出された傾斜角度が、0度を基準として4度以下の場合を示すものとする。なお、生成する中間画像データIDMの枚数に応じて、各中間画像データに対応する傾斜角度も変更する。   FIG. 5A shows an example of the inclination angle and the inclination direction associated with the first and second 3D image data ID1, ID2 and the intermediate image data IDM, respectively. As shown in FIG. 5A, the first 3D image data ID1 is the second 3D image data ID2 with the inclination direction on the “+” side and the inclination angle being maximum (at least 45 degrees). The tilt direction is on the “−” side, and the tilt angle is associated with the maximum (at least 45 degrees). The meaning of “+” and “−” in the tilt direction will be described later. Further, each of the intermediate image data IDM1 to IDM4 is associated with being graded in descending order for each range of 10 degrees out of 44 degrees to 5 degrees with the inclination direction on the “+” side. Each of the intermediate image data IDM6 to IDM9 is associated with being graded in ascending order for each range of 10 degrees out of 5 to 44 degrees with the inclination direction on the “−” side. The intermediate image data IDM5 is associated with an inclination direction of “none” and an inclination angle of 0 degree. In the present embodiment, the inclination direction “none” and the inclination angle of 0 degrees indicate a case where the inclination angle detected by the attitude sensor 18 is 4 degrees or less with reference to 0 degrees. The inclination angle corresponding to each intermediate image data is also changed according to the number of intermediate image data IDM to be generated.

以下、図5(b)〜(d)を参照して、本実施の形態における傾斜角度と傾斜方向とについて説明する。傾斜角度と傾斜方向とは、ユーザが液晶表示器171を観察する方向と角度とに関連する。図5(b)に示すように、ユーザが液晶表示器171に対して垂直後方から液晶表示器171を観察する場合には、傾斜角度は「0」とし、傾斜方向は「なし」とする。図5(c)は、ユーザがデジタルカメラ1を傾けて左後方から液晶表示器171を観察する場合を示している。すなわち、ユーザがデジタルカメラ1のボディ左側を手前に引き、ボディ右側を押し出す場合である。この場合、ユーザが液晶表示器171を観察する方向と、液晶表示器171の垂直方向とがなす狭角θを傾斜角度とし、傾斜方向を「+」とする。したがって、ユーザがデジタルカメラ1のボディ左側を手前に引き、ボディ右側を押し出す程度が大きいほど、+方向への傾斜角度が大きくなる。   Hereinafter, the inclination angle and the inclination direction in the present embodiment will be described with reference to FIGS. The tilt angle and the tilt direction are related to the direction and angle at which the user observes the liquid crystal display 171. As shown in FIG. 5B, when the user observes the liquid crystal display 171 from the vertical rear with respect to the liquid crystal display 171, the inclination angle is “0” and the inclination direction is “none”. FIG. 5C shows a case where the user tilts the digital camera 1 and observes the liquid crystal display 171 from the left rear. That is, it is a case where the user pulls the left side of the body of the digital camera 1 forward and pushes out the right side of the body. In this case, the narrow angle θ formed by the direction in which the user observes the liquid crystal display 171 and the vertical direction of the liquid crystal display 171 is defined as the tilt angle, and the tilt direction is defined as “+”. Therefore, as the user pulls the left side of the body of the digital camera 1 forward and pushes out the right side of the body, the inclination angle in the + direction increases.

図5(d)は、ユーザがデジタルカメラ1を傾けて右後方から液晶表示器171を観察する場合を示している。すなわち、ユーザがデジタルカメラ1のボディ左側を押し出し、ボディ右側を手前に引く場合である。この場合、ユーザが液晶表示器171を観察する方向と、液晶表示器171の垂直方向とがなす狭角θを傾斜角度とし、傾斜方向を「−」とする。したがって、ユーザがデジタルカメラ1のボディ左側を押し出し、ボディ右側を手前に引く程度が大きいほど、−方向への傾斜角度が大きくなる。   FIG. 5D shows a case where the user tilts the digital camera 1 and observes the liquid crystal display 171 from the right rear. That is, the user pushes out the left side of the digital camera 1 body and pulls the right side of the body forward. In this case, the narrow angle θ formed by the direction in which the user observes the liquid crystal display 171 and the vertical direction of the liquid crystal display 171 is defined as the tilt angle, and the tilt direction is defined as “−”. Therefore, as the user pushes out the left side of the body of the digital camera 1 and pulls the right side of the body forward, the inclination angle in the − direction increases.

(2)表示制御処理
上述した中間画像データIDMの生成処理により第1および第2の3D用画像データID1、ID2と、中間画像データIDMとが一時メモリ16に格納されると、表示制御部152は、傾斜角度「0」、傾斜方向「なし」に対応する画像を液晶表示器171に表示させる。すなわち、表示制御部152は、図5(a)に示す関連付けされたデータを参照して、中間画像データIDM5をLCD駆動回路17へ出力して、液晶表示器171に中間画像データIDM5に対応する画像を表示させる。この結果、図3(b)に示す位置関係で撮影された画像に相当する画像が液晶表示器171に表示される。
(2) Display Control Processing When the first and second 3D image data ID1 and ID2 and the intermediate image data IDM are stored in the temporary memory 16 by the above-described generation processing of the intermediate image data IDM, the display control unit 152 Causes the liquid crystal display 171 to display an image corresponding to the tilt angle “0” and the tilt direction “none”. That is, the display control unit 152 refers to the associated data shown in FIG. 5A and outputs the intermediate image data IDM5 to the LCD drive circuit 17 to correspond to the intermediate image data IDM5 on the liquid crystal display 171. Display an image. As a result, an image corresponding to the image photographed with the positional relationship shown in FIG. 3B is displayed on the liquid crystal display 171.

つぎに、傾斜判定部153は、姿勢センサ18から出力された検出信号を用いてデジタルカメラ1の傾斜角度と傾斜方向とを判定する。傾斜判定部153により傾斜角度と傾斜方向とが5度、+方向と判定された場合、すなわちユーザによりデジタルカメラ1のボディ左側が手前に引かれ、ボディ右側が押し出された場合、表示制御部152は、関連付けされたデータを参照して、中間画像データIDM4をLCD駆動回路17へ出力する。その結果、中間画像データIDM4に対応する画像が液晶表示器171に表示される。なお、傾斜判定部153により判定された傾斜方向が+方向で傾斜角度が5度〜14度までの間は、液晶表示器171には中間画像データIDM4に対応する画像の表示が継続される。   Next, the tilt determination unit 153 determines the tilt angle and tilt direction of the digital camera 1 using the detection signal output from the attitude sensor 18. When the inclination determination unit 153 determines that the inclination angle and the inclination direction are 5 degrees and the + direction, that is, when the user pulls the left side of the digital camera 1 toward the front and pushes out the right side of the body, the display control unit 152 Outputs the intermediate image data IDM4 to the LCD drive circuit 17 with reference to the associated data. As a result, an image corresponding to the intermediate image data IDM4 is displayed on the liquid crystal display 171. Note that while the tilt direction determined by the tilt determination unit 153 is the + direction and the tilt angle is 5 degrees to 14 degrees, the liquid crystal display 171 continues to display the image corresponding to the intermediate image data IDM4.

ユーザにより、さらに、デジタルカメラ1のボディ左側が手前に引かれ、ボディ右側が押し出されることによって、傾斜判定部153により傾斜角度と傾斜方向とが15度、+方向と判定された場合、表示制御部152は、関連付けされたデータを参照して中間画像データIDM3をLCD駆動回路17へ出力する。その結果、中間画像データIDM3に対応する画像が液晶表示器171に表示される。以後、傾斜判定部153により、傾斜方向が+方向であって、傾斜角度が25度〜34度と判定された場合には中間画像データIDM2に対応する画像が表示され、傾斜角度が35度〜44度と判定された場合には中間画像データIDM1に対応する画像が表示され、傾斜角度が45度以上と判定された場合には第1の3D用画像データID1に対応する画像が表示される。   When the user further pulls the left side of the body of the digital camera 1 toward the front and pushes out the right side of the body, the tilt determination unit 153 determines that the tilt angle and the tilt direction are 15 degrees and the + direction. The unit 152 refers to the associated data and outputs the intermediate image data IDM3 to the LCD drive circuit 17. As a result, an image corresponding to the intermediate image data IDM3 is displayed on the liquid crystal display 171. Thereafter, when the inclination determination unit 153 determines that the inclination direction is the positive direction and the inclination angle is 25 degrees to 34 degrees, an image corresponding to the intermediate image data IDM2 is displayed, and the inclination angle is 35 degrees to 35 degrees. When it is determined to be 44 degrees, an image corresponding to the intermediate image data IDM1 is displayed, and when it is determined that the inclination angle is 45 degrees or more, an image corresponding to the first 3D image data ID1 is displayed. .

傾斜判定部153により判定された傾斜方向が−方向の場合、すなわちユーザによりデジタルカメラ1のボディ右側が手前に引かれ、ボディ左側が押し出された場合についても、同様にして判定された傾斜角度に対応する画像が表示される。すなわち、傾斜判定部153により傾斜角度が5度〜14度と判定された場合には、表示制御部152は中間画像データIDM6をLCD駆動回路17へ出力する。その結果、中間画像データIDM6に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が15度〜24度と判定された場合には、中間画像データIDM7に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が25度〜34度と判定された場合には、中間画像データIDM8に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が35度〜44度と判定された場合には、中間画像データIDM9に対応する画像が液晶表示器171に表示される。傾斜判定部153により傾斜角度が45度以上と判定された場合には、第2の3D用画像データID2に対応する画像が液晶表示器171に表示される。   Even when the tilt direction determined by the tilt determination unit 153 is the negative direction, that is, when the right side of the body of the digital camera 1 is pulled forward and the left side of the body is pushed out by the user, the tilt angle determined in the same manner is used. The corresponding image is displayed. That is, when the inclination determination unit 153 determines that the inclination angle is 5 degrees to 14 degrees, the display control unit 152 outputs the intermediate image data IDM6 to the LCD drive circuit 17. As a result, an image corresponding to the intermediate image data IDM6 is displayed on the liquid crystal display 171. When the inclination determination unit 153 determines that the inclination angle is 15 degrees to 24 degrees, an image corresponding to the intermediate image data IDM7 is displayed on the liquid crystal display 171. When the inclination determination unit 153 determines that the inclination angle is 25 degrees to 34 degrees, an image corresponding to the intermediate image data IDM8 is displayed on the liquid crystal display 171. When the inclination determination unit 153 determines that the inclination angle is 35 degrees to 44 degrees, an image corresponding to the intermediate image data IDM9 is displayed on the liquid crystal display 171. When the inclination determination unit 153 determines that the inclination angle is 45 degrees or more, an image corresponding to the second 3D image data ID2 is displayed on the liquid crystal display 171.

上述したように傾斜判定部153により判定された傾斜角度と傾斜方向とに対応した画像が液晶表示器171に表示されている場合に、ユーザにより決定ボタンが操作された場合には、表示中の画像の画像データを記録することができる。すなわち、制御回路15は、ユーザによる決定ボタンの操作に応じて操作部30から操作信号を入力すると、表示中の画像に対応する画像データ(第1および第2の3D用画像データID1、ID2または中間画像データIDMのいずれか)を記録媒体32に記録させる。   As described above, when the image corresponding to the inclination angle and the inclination direction determined by the inclination determination unit 153 is displayed on the liquid crystal display 171, when the user operates the determination button, Image data of an image can be recorded. That is, when the control circuit 15 inputs an operation signal from the operation unit 30 according to the operation of the determination button by the user, the image data corresponding to the image being displayed (first and second 3D image data ID1, ID2 or One of the intermediate image data IDM) is recorded on the recording medium 32.

図6に示すフローチャートを用いて、以上で説明した3D再生モードにおけるデジタルカメラ1における表示処理について説明する。図6の処理を行うプログラムは制御回路15内の図示しないメモリに格納されており、ユーザの操作に応じて3D再生モードが設定された場合に制御回路15により起動されて、実行される。
ステップS1においては、表示制御部152は記録媒体32から第1および第2の3D用画像データID1、ID2を読み出しで一時メモリ16に格納してステップS2へ進む。ステップS2では、表示制御部152は、一時メモリ16に格納した第1および第2の3D用画像データID1、ID2を用いて、中間画像データIDMを生成し、ステップS3へ進む。
The display process in the digital camera 1 in the 3D playback mode described above will be described using the flowchart shown in FIG. The program for performing the processing of FIG. 6 is stored in a memory (not shown) in the control circuit 15 and is activated and executed by the control circuit 15 when the 3D playback mode is set according to the user's operation.
In step S1, the display control unit 152 reads the first and second 3D image data ID1 and ID2 from the recording medium 32, stores them in the temporary memory 16, and proceeds to step S2. In step S2, the display control unit 152 generates the intermediate image data IDM using the first and second 3D image data ID1 and ID2 stored in the temporary memory 16, and the process proceeds to step S3.

ステップS3では、第1および第2の3D用画像データID1、ID2と、中間画像データIDMとを、傾斜角度および傾斜方向に関連付けて一時メモリ16に格納し、ステップS4へ進む。ステップS4では、表示制御部152は、傾斜方向なし、傾斜角度「0」に関連付けされた中間画像データIDMをLCD駆動回路17へ出力して、液晶表示器171に中間画像データを表示させてステップS5へ進む。ステップS5においては、傾斜判定部153は、姿勢センサ18から出力された検出信号を用いて、デジタルカメラ1の傾斜角度を傾斜方向とを判定してステップS6へ進む。   In step S3, the first and second 3D image data ID1, ID2 and the intermediate image data IDM are stored in the temporary memory 16 in association with the tilt angle and the tilt direction, and the process proceeds to step S4. In step S4, the display control unit 152 outputs the intermediate image data IDM associated with the inclination direction “0” and the inclination angle “0” to the LCD drive circuit 17 to display the intermediate image data on the liquid crystal display 171. Proceed to S5. In step S5, the tilt determination unit 153 determines the tilt angle of the digital camera 1 as the tilt direction using the detection signal output from the attitude sensor 18, and proceeds to step S6.

ステップS6では、表示制御部152は、ステップS5で傾斜判定部153により判定された傾斜角度および傾斜方向に関連付けされた画像データ(すなわち第1および第2の3D用画像データID1、ID2または中間画像データIDMのいずれか)をLCD駆動回路17へ出力して、液晶表示器171に画像を表示させてステップS7へ進む。   In step S6, the display control unit 152 displays image data associated with the tilt angle and the tilt direction determined by the tilt determination unit 153 in step S5 (that is, the first and second 3D image data ID1, ID2 or intermediate image). Any one of the data IDM) is output to the LCD drive circuit 17 to display an image on the liquid crystal display 171 and the process proceeds to step S7.

ステップS7においては、制御回路15は表示中の画像を記録する処理が行われたか否かを判定する。ユーザの決定ボタンの操作に応じて操作部30から操作信号が出力された場合には、制御回路15はステップS7を肯定判定してステップS8へ進む。ステップS8では、制御回路15は、表示中の画像に対応する画像データ(第1および第2の3D用画像データID1、ID2または中間画像データIDMのいずれか)を記録媒体32に記録させる。   In step S7, the control circuit 15 determines whether or not processing for recording the image being displayed has been performed. If an operation signal is output from the operation unit 30 in response to the user's operation of the determination button, the control circuit 15 makes a positive determination in step S7 and proceeds to step S8. In step S8, the control circuit 15 causes the recording medium 32 to record image data corresponding to the image being displayed (any one of the first and second 3D image data ID1, ID2 or intermediate image data IDM).

ユーザにより決定ボタンが操作されず操作部30から操作信号が出力されない場合には、制御回路15はステップS7を否定判定してステップS9へ進む。ステップS9においては、表示制御部152は3D再生モードでの画像表示を終了するか否かを判定する。ユーザによる操作部30の操作により3D再生モードが終了された場合、制御回路15によりステップS9が肯定判定されて処理を終了する。3D再生モードを終了する操作が行われていない場合には、制御回路15によりステップS9が否定判定されてステップS5へ戻る。   If the determination button is not operated by the user and no operation signal is output from the operation unit 30, the control circuit 15 makes a negative determination in step S7 and proceeds to step S9. In step S9, the display control unit 152 determines whether or not to end image display in the 3D playback mode. When the 3D playback mode is ended by the operation of the operation unit 30 by the user, the control circuit 15 makes a positive determination in step S9 and ends the process. If the operation to end the 3D playback mode has not been performed, the control circuit 15 makes a negative determination in step S9 and returns to step S5.

以上で説明した第1の実施の形態によるデジタルカメラ1によれば、以下の作用効果が得られる。
(1)画像処理部151は、主要被写体AおよびBが所定の視差を有するように撮影された一対の右目用画像である第1の3D用画像データID1と左目用画像である第2の3D用画像データID2とを生成する。表示制御部152は、一対の第1および第2の3D用画像データID1、ID2に基づいて、所定の視差とは異なる視差を有する少なくとも一対の中間画像データIDMを生成する。傾斜判定部153は、液晶表示器171に表示された画像をユーザが観察する観察方向と観察角度とを判定する。そして、表示制御部152は、傾斜判定部153により判定された観察方向と観察角度とに応じて、第1および第2の3D用画像データID1、ID2に対応する画像と、中間画像データIDMに対応する画像との少なくとも1つの画像を液晶表示器171に表示させるようにした。すなわち、ユーザが図5(c)に示すように液晶表示器171を観察すると、図4(a)に示す主要被写体AおよびBの視差が異なる画像(第1の3D用画像データID1、中間画像データIDM1〜IDM4)が表示される。その結果、ユーザが実際に主要被写体AおよびBの正面に対して左側から観察した場合に相当する画像が液晶表示器171に表示される。同様に、ユーザが図5(d)に示すように液晶表示器171を観察すると、図4(a)に示す主要被写体AおよびBの視差が異なる画像(第2の3D用画像データID2、中間画像データIDM6〜IDM9)が表示される。その結果、ユーザが実際に主要被写体AおよびBの正面に対して右側から観察した場合に相当する画像が液晶表示器171に表示される。したがって、裸眼で立体画像が観察可能な表示器や立体画像を観察するための専用のメガネ等を用いることなく、ユーザは液晶表示器171への観察方向と観察角度とを変えることにより、液晶表示器171上で疑似的に立体画像を観察することができる。
According to the digital camera 1 according to the first embodiment described above, the following operational effects can be obtained.
(1) The image processing unit 151 includes a first 3D image data ID1 that is a pair of right-eye images captured so that the main subjects A and B have a predetermined parallax, and a second 3D that is a left-eye image. Image data ID2 is generated. The display control unit 152 generates at least a pair of intermediate image data IDM having a parallax different from a predetermined parallax based on the pair of first and second 3D image data ID1 and ID2. The tilt determination unit 153 determines an observation direction and an observation angle at which the user observes the image displayed on the liquid crystal display 171. Then, the display control unit 152 applies the images corresponding to the first and second 3D image data ID1 and ID2 and the intermediate image data IDM according to the observation direction and the observation angle determined by the inclination determination unit 153. At least one image corresponding to the corresponding image is displayed on the liquid crystal display 171. That is, when the user observes the liquid crystal display 171 as shown in FIG. 5C, the images (first 3D image data ID1, intermediate image) having different parallaxes of the main subjects A and B shown in FIG. Data IDM1 to IDM4) are displayed. As a result, an image corresponding to a case where the user actually observes the main subjects A and B from the left side is displayed on the liquid crystal display 171. Similarly, when the user observes the liquid crystal display 171 as shown in FIG. 5D, images (second 3D image data ID2, intermediate) having different parallaxes of the main subjects A and B shown in FIG. Image data IDM6 to IDM9) are displayed. As a result, an image corresponding to the case where the user actually observes the main subjects A and B from the right side is displayed on the liquid crystal display 171. Therefore, the user can change the viewing direction and the viewing angle to the liquid crystal display 171 without using a display device that can observe a stereoscopic image with the naked eye or dedicated glasses for observing the stereoscopic image. A stereoscopic image can be observed on the instrument 171 in a pseudo manner.

(2)表示制御部152は、一対の第1および第2の3D用画像データID1、ID2に対応する画像での主要被写体AおよびB間の距離よりも、一対の中間画像データIDMに対応する画像での主要被写体AおよびB間の距離を小さくするようにした。したがって、中間画像データIDMに対応する画像の画質劣化を防ぐことができる。また、主要被写体AおよびBの視差が異なる複数の画像を生成できるので、観察角度と観察方向とに応じて表示される画像上での主要被写体AおよびBの位置関係が不自然に変化することを抑制できる。 (2) The display control unit 152 corresponds to the pair of intermediate image data IDM rather than the distance between the main subjects A and B in the image corresponding to the pair of first and second 3D image data ID1 and ID2. The distance between the main subjects A and B in the image was made small. Therefore, it is possible to prevent image quality deterioration of the image corresponding to the intermediate image data IDM. In addition, since a plurality of images with different parallaxes of the main subjects A and B can be generated, the positional relationship between the main subjects A and B on the displayed image changes unnaturally according to the observation angle and the observation direction. Can be suppressed.

(3)傾斜判定部153は、姿勢センサ18から出力された検出信号を用いて、傾斜角度と傾斜方向とを判定するようにした。したがって、ユーザはデジタルカメラ1のボディの傾けることにより、液晶表示器171上で疑似的に立体画像を観察できる。 (3) The inclination determination unit 153 determines the inclination angle and the inclination direction using the detection signal output from the attitude sensor 18. Therefore, the user can observe a pseudo stereoscopic image on the liquid crystal display 171 by tilting the body of the digital camera 1.

−第2の実施の形態−
図面を参照して、本発明の第2の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、3D撮影モードにて生成される画像データが主要被写体の奥行きに関する情報を有する点で、第1の実施の形態とは異なる。
-Second Embodiment-
A digital camera 1 according to a second embodiment of the present invention will be described with reference to the drawings. In the following description, the same components as those in the first embodiment are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first embodiment. This embodiment is different from the first embodiment in that the image data generated in the 3D shooting mode has information on the depth of the main subject.

本実施の形態では、3D撮影モードにおいて、デジタルカメラ1は、図3(b)に示す位置関係で主要被写体AおよびBを撮影する。画像処理部151は、撮像素子14から出力された画像信号を用いて画像データを生成する。画像処理部151は、生成した画像データから、公知の技術を用いて主要被写体Aおよび主要被写体Bのそれぞれについて、デジタルカメラ1からの距離を算出する。そして、画像処理部151は、算出された主要被写体Aからデジタルカメラ1までの距離と、主要被写体Bからデジタルカメラ1までの距離とを減算して、主要被写体AおよびBとの間の距離、すなわち奥行きを算出する。画像処理部151は、主要被写体AおよびBとデジタルカメラ1とのそれぞれの距離と、算出した主要被写体AおよびBの奥行きとを奥行き情報として生成する。そして、画像処理部151は、生成した奥行き情報を記録した付加情報部と、生成した画像データとにより3D用画像ファイルを生成して記録媒体32に記録させる。なお、画像処理部151は、複数の主要被写体のうち少なくともデジタルカメラ1に近い主要被写体(実施の形態においては主要被写体A)までの距離と、主要被写体間の奥行きとを奥行き情報として生成してもよい。   In the present embodiment, in the 3D shooting mode, the digital camera 1 captures the main subjects A and B with the positional relationship shown in FIG. The image processing unit 151 generates image data using the image signal output from the image sensor 14. The image processing unit 151 calculates the distance from the digital camera 1 for each of the main subject A and the main subject B from the generated image data using a known technique. Then, the image processing unit 151 subtracts the calculated distance from the main subject A to the digital camera 1 and the distance from the main subject B to the digital camera 1 to obtain a distance between the main subjects A and B, That is, the depth is calculated. The image processing unit 151 generates distances between the main subjects A and B and the digital camera 1 and the calculated depths of the main subjects A and B as depth information. Then, the image processing unit 151 generates a 3D image file from the additional information unit in which the generated depth information is recorded and the generated image data and records the generated 3D image file on the recording medium 32. The image processing unit 151 generates, as depth information, a distance to at least a main subject close to the digital camera 1 (main subject A in the embodiment) and a depth between the main subjects among a plurality of main subjects. Also good.

次に、図7を用いて、第2の実施の形態による3D再生モードにおける第1および第2の3D用画像データ、中間画像データの生成処理について説明する。図7(a)は、第2の実施の形態の3D撮影モードにより生成された3D用画像ファイルの画像データImを示している。ユーザにより3D用画像ファイルが選択されると、表示制御部152は、3D用画像ファイルの画像データImと付加情報部に記録された奥行き情報とを一時メモリ16に読み出す。そして、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Aの位置(座標)に対するx軸、−方向へのシフト量を決定し、シフトさせる。同様に、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Bの位置(座標)に対するx軸、+方向へのシフト量を決定し、シフトさせる。このとき、図7(a)に示すように、主要被写体AおよびBが重なる領域Re3については、主要被写体Bに関する情報が存在しない。このため、表示制御部152は、主要被写体Bに含まれ、かつ領域Re3の近傍のデータを用いて補間する。以上の処理により、表示制御部152は、第1の3D用画像データID1を生成する。   Next, generation processing of first and second 3D image data and intermediate image data in the 3D playback mode according to the second embodiment will be described with reference to FIG. FIG. 7A shows image data Im of the 3D image file generated by the 3D shooting mode of the second embodiment. When the user selects the 3D image file, the display control unit 152 reads the image data Im of the 3D image file and the depth information recorded in the additional information unit to the temporary memory 16. Then, the display control unit 152 determines and shifts the shift amount in the x-axis and −direction with respect to the position (coordinates) of the main subject A in the image data Im based on the depth information. Similarly, the display control unit 152 determines and shifts the shift amount in the x-axis and + direction with respect to the position (coordinates) of the main subject B in the image data Im based on the depth information. At this time, as shown in FIG. 7 (a), there is no information about the main subject B in the region Re3 where the main subjects A and B overlap. For this reason, the display control unit 152 performs interpolation using data included in the main subject B and in the vicinity of the region Re3. Through the above processing, the display control unit 152 generates the first 3D image data ID1.

さらに、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Aの位置(座標)に対するx軸、+方向へのシフト量を決定し、シフトさせる。同様に、表示制御部152は、奥行き情報に基づいて、画像データImの主要被写体Bの位置(座標)に対するx軸、−方向へのシフト量を決定し、シフトさせる。そして、表示制御部152は、領域Re3に含まれるデータを補間により生成して、第2の3D用画像データID2を生成する。第1および第2の3D用画像データID1、ID2が生成されると、表示制御部152は、第1の実施の形態と同様にして中間画像データIDMを生成し、傾斜角度および傾斜方向と関連付けて一時メモリ16に格納する。   Further, the display control unit 152 determines and shifts the shift amount in the x axis and + direction with respect to the position (coordinates) of the main subject A in the image data Im based on the depth information. Similarly, the display control unit 152 determines and shifts the shift amount in the x axis and − direction with respect to the position (coordinates) of the main subject B of the image data Im based on the depth information. Then, the display control unit 152 generates the data included in the region Re3 by interpolation, and generates the second 3D image data ID2. When the first and second 3D image data ID1 and ID2 are generated, the display control unit 152 generates the intermediate image data IDM in the same manner as in the first embodiment, and associates it with the tilt angle and the tilt direction. And stored in the temporary memory 16.

以上で説明した第2の実施の形態のデジタルカメラ1によれば、第1の実施の形態により得られた作用効果に加えて、以下の作用効果が得られる。
画像処理部151は、撮影光学系の光軸方向に沿った主要被写体の撮影距離(奥行き情報)に関する情報を付加情報として有する3D画像ファイルを生成する。そして、表示制御部152は、3D用画像ファイルの画像データImと撮影距離に関する情報とに基づいて、一対の第1および第2の3D用画像データID1、ID2を生成するようにした。したがって、主要被写体AおよびBを第1の実施の形態のように一対の右目用画像と左目用画像を撮影する場合ではなくても、主要被写体AおよびBの撮影方法によらず画像を疑似的に立体表示するための視差を有する画像データを生成できる。
According to the digital camera 1 of the second embodiment described above, the following functions and effects can be obtained in addition to the functions and effects obtained by the first embodiment.
The image processing unit 151 generates a 3D image file having, as additional information, information related to the shooting distance (depth information) of the main subject along the optical axis direction of the shooting optical system. Then, the display control unit 152 generates the pair of first and second 3D image data ID1 and ID2 based on the image data Im of the 3D image file and information on the shooting distance. Therefore, even if the main subjects A and B are not photographed as a pair of right-eye images and left-eye images as in the first embodiment, the images are simulated regardless of the method of photographing the main subjects A and B. It is possible to generate image data having parallax for stereoscopic display.

−第3の実施の形態−
図面を参照して、本発明の第3の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1および第2の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1および第2の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1および第2の実施の形態とは異なる。なお、以下の説明では、第1および第2の3D用画像データと中間画像データとを包含して3D用画像データと呼ぶ。
-Third embodiment-
A digital camera 1 according to a third embodiment of the present invention will be described with reference to the drawings. In the following description, the same components as those in the first and second embodiments are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first and second embodiments. In the present embodiment, the display method of images displayed in the 3D playback mode is different from those in the first and second embodiments. In the following description, the first and second 3D image data and the intermediate image data are collectively referred to as 3D image data.

3D再生モードにおいて、傾斜判定部153は、第1および第2の実施の形態と同様にして、姿勢センサ18からの検出信号に基づいて、デジタルカメラ1の傾斜角度と傾斜方向とを判定する。そして、傾斜判定部153は、姿勢センサ18からの検出信号が所定の時間変化がないか否かを判定する。すなわち、傾斜判定部153は、ユーザがデジタルカメラ1のボディ右側を手前に引きボディ左側を押し出した、またはボディ左側を手前に引きボディ右側を押し出した状態で、所定の時間その姿勢を維持していることを判定する。傾斜判定部153により姿勢センサ18からの検出信号が所定の時間変化がないと判定されると、表示制御部152は、傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データ(以後、検出画像データと呼ぶ)を検出する。   In the 3D playback mode, the tilt determination unit 153 determines the tilt angle and tilt direction of the digital camera 1 based on the detection signal from the attitude sensor 18 in the same manner as in the first and second embodiments. And the inclination determination part 153 determines whether the detection signal from the attitude | position sensor 18 has a predetermined time change. That is, the tilt determination unit 153 maintains the posture for a predetermined time in a state where the user pulls the right side of the digital camera 1 toward the front and pushes out the left side of the body, or pulls the left side of the body toward the front and pushes out the right side of the body. Judge that there is. When the tilt determination unit 153 determines that the detection signal from the posture sensor 18 does not change for a predetermined time, the display control unit 152 3D associated with the tilt angle and tilt direction determined by the tilt determination unit 153. Image data (hereinafter referred to as detected image data) is detected.

傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データが、たとえば傾斜角度45度以上、傾斜方向「+」に関連付けされているとする。このとき、表示制御部152は、傾斜方向が「+」であって、傾斜角度「0」から傾斜角度45度までに関連付けされた全ての3D用画像データを一時メモリ16から読み出す。そして、表示制御部152は、読み出した3D用画像データのうち、傾斜角度が小さい値と関連付けされている3D用画像データから順次LCD駆動回路17へ出力する。LCD駆動回路17は、表示制御部152から3D用画像データに対応する画像を、3D用画像データを入力した順序で、たとえば動画のフレームレート(30fps)にて液晶表示器171へ表示させる。   Assume that the 3D image data associated with the inclination angle and the inclination direction determined by the inclination determination unit 153 is associated with the inclination direction “+”, for example, with an inclination angle of 45 degrees or more. At this time, the display control unit 152 reads from the temporary memory 16 all the 3D image data associated with the inclination direction “+” and the inclination angle “0” to the inclination angle 45 degrees. Then, the display control unit 152 sequentially outputs the 3D image data associated with a small inclination angle among the read 3D image data to the LCD drive circuit 17. The LCD drive circuit 17 causes the liquid crystal display 171 to display an image corresponding to the 3D image data from the display control unit 152 in the order in which the 3D image data is input, for example, at a moving image frame rate (30 fps).

図8(a)は、第3の実施の形態により表示される画像を示している。図8(a)においては、傾斜角度「0」傾斜方向なしに関連付けされた3D用画像データに対応する画像をFr1、検出画像データに対応する画像をFr10として示す。図8(a)に示すように、Fr1からFr10までの画像が動画のフレームレートで順次液晶表示器171に表示される。すなわち、液晶表示器171には、主要被写体AおよびBについて視差のない画像から、少しずつ視差が設けられた画像が表示される。   FIG. 8A shows an image displayed according to the third embodiment. In FIG. 8A, the image corresponding to the 3D image data associated with the inclination angle “0” without the inclination direction is indicated as Fr1, and the image corresponding to the detected image data is indicated as Fr10. As shown in FIG. 8A, images from Fr1 to Fr10 are sequentially displayed on the liquid crystal display 171 at a moving image frame rate. That is, on the liquid crystal display 171, images with parallax are gradually displayed from the images without parallax for the main subjects A and B.

以上で説明した第3の実施の形態のデジタルカメラ1によれば、第1および第2の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
表示制御部152は、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像を連続的に液晶表示器171に表示させるようにした。この結果、主要被写体AおよびBの視差が少しずつ異なる画像が液晶表示器171に順次表示されるので、裸眼で立体画像が観察可能な表示器や立体画像を観察するための専用のメガネ等を用いることなく、液晶表示器171上で疑似的に立体画像を観察することができる。
According to the digital camera 1 of the third embodiment described above, the following functions and effects can be obtained in addition to the functions and effects obtained by the digital camera 1 according to the first and second embodiments.
The display control unit 152 causes the liquid crystal display 171 to continuously display images in which the parallaxes of the main subjects A and B are sequentially increased from an image corresponding to an observation from a direction perpendicular to the liquid crystal display 171. As a result, since images with slightly different parallaxes of the main subjects A and B are sequentially displayed on the liquid crystal display 171, a display capable of observing a stereoscopic image with the naked eye, dedicated glasses for observing the stereoscopic image, etc. A pseudo stereoscopic image can be observed on the liquid crystal display 171 without using it.

−第4の実施の形態−
図面を参照して、本発明の第4の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1〜第3の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1〜第3の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1〜第3の実施の形態とは異なる。なお、以下の説明では、第1および第2の3D用画像データと中間画像データとを包含して3D用画像データと呼ぶ。
-Fourth embodiment-
A digital camera 1 according to a fourth embodiment of the present invention will be described with reference to the drawings. In the following description, the same components as those in the first to third embodiments are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first to third embodiments. In the present embodiment, the display method of images displayed in the 3D playback mode is different from those in the first to third embodiments. In the following description, the first and second 3D image data and the intermediate image data are collectively referred to as 3D image data.

本実施の形態においても、傾斜判定部153により姿勢センサ18からの検出信号が所定の時間変化がないと判定されると、表示制御部152は、傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データ(検出画像データ)を検出する。傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データが、たとえば傾斜角度45度以上、傾斜方向「+」に関連付けされているとする。表示制御部152は、傾斜方向が「+」であって、傾斜角度「0」から傾斜方向45度までに関連付けされた全ての3D用画像データを一時メモリ16から読み出す。そして、表示制御部152は、読み出した全ての3D用画像データのうち一部の3D用画像データを間引いた後、傾斜角度が小さい値と関連付けされている3D用画像データから順次LCD駆動回路17へ出力する。LCD駆動回路17は、表示制御部152から3D用画像データに対応する画像を、3D用画像データを入力した順序で、たとえば動画のフレームレート(30fps)にて液晶表示器171へ表示させる。   Also in the present embodiment, when the inclination determination unit 153 determines that the detection signal from the attitude sensor 18 has not changed for a predetermined time, the display control unit 152 determines the inclination angle and inclination determined by the inclination determination unit 153. 3D image data (detected image data) associated with the direction is detected. Assume that the 3D image data associated with the inclination angle and the inclination direction determined by the inclination determination unit 153 is associated with the inclination direction “+”, for example, with an inclination angle of 45 degrees or more. The display control unit 152 reads from the temporary memory 16 all 3D image data associated with the inclination direction “+” and the inclination angle “0” to the inclination direction 45 degrees. The display control unit 152 thins out some 3D image data out of all the read 3D image data, and then sequentially starts the LCD drive circuit 17 from the 3D image data associated with a small inclination angle. Output to. The LCD drive circuit 17 causes the liquid crystal display 171 to display an image corresponding to the 3D image data from the display control unit 152 in the order in which the 3D image data is input, for example, at a moving image frame rate (30 fps).

図8(b)に第4の実施の形態により表示される画像を示している。図8(b)においては、第3の実施の形態の場合と同様に、傾斜角度「0」傾斜方向なしに関連付けされた3D用画像データに対応する画像をFr1、検出画像データに対応する画像をFr10として示す。まず、液晶表示器171には、Fr1の画像、すなわち主要被写体AおよびBに視差のない画像が表示される。次に、表示制御部152によりFr2〜Fr4の画像に対応する3D用画像データが間引かれ、液晶表示器171にはFr5の画像が表示される。すなわち、Fr1の画像と比べて主要被写体AおよびBについて視差が大きく変化した画像が液晶表示器171に表示される。   FIG. 8B shows an image displayed according to the fourth embodiment. In FIG. 8B, as in the third embodiment, the image corresponding to the 3D image data associated with the tilt angle “0” without the tilt direction is Fr1, and the image corresponding to the detected image data. Is shown as Fr10. First, the liquid crystal display 171 displays an image of Fr1, that is, an image having no parallax on the main subjects A and B. Next, 3D image data corresponding to the images Fr2 to Fr4 is thinned out by the display control unit 152, and the image of Fr5 is displayed on the liquid crystal display 171. That is, an image in which the parallax of the main subjects A and B is greatly changed compared to the image of Fr1 is displayed on the liquid crystal display 171.

さらに、表示制御部152によりFr6およびFr7の画像に対応する3D用画像データが間引かれて、液晶表示器171にはFr8の画像が表示される。すなわち、Fr5の画像よりも、主要被写体AおよびBについてさらに視差が変化した画像が液晶表示器171に表示される。ただし、Fr1の画像とFr5の画像との間における主要被写体AおよびBの視差の変化量よりも、Fr5の画像とFr8の画像との間にける主要被写体AおよびBの視差の変化量が小さくなる。そして、Fr8の画像からFr10の画像までは、順次液晶表示器171に表示される。その結果、液晶表示器171には、動画のフレームレートにて、Fr1、Fr5、Fr8、Fr9、Fr10の順序で画像が表示される。したがって、ユーザには、主要被写体AおよびBが最初は早く、徐々にゆっくりシフトされるように観察される。   Further, 3D image data corresponding to the images of Fr6 and Fr7 is thinned out by the display control unit 152, and the image of Fr8 is displayed on the liquid crystal display 171. That is, an image in which the parallax of the main subjects A and B is changed more than the image of Fr5 is displayed on the liquid crystal display 171. However, the amount of change in the parallax of the main subjects A and B between the image of Fr5 and the image of Fr8 is smaller than the amount of change in the parallax of the main subjects A and B between the image of Fr1 and the image of Fr5. Become. The images from Fr8 to Fr10 are sequentially displayed on the liquid crystal display 171. As a result, the liquid crystal display 171 displays images in the order of Fr1, Fr5, Fr8, Fr9, and Fr10 at the frame rate of the moving image. Therefore, the user observes that the main subjects A and B are shifted early and gradually slowly.

上述したように、表示制御部152は、傾斜角度が小さい値と関連付けされた3D用画像データについては間引きする枚数を多くして、傾斜角度が大きな値と関連付けされた3D用画像データになるほど間引きする枚数を少なくする。この場合、表示制御部152は、3D用画像データを間引きする枚数を、一時メモリ16から読み出した3D用画像データの枚数に応じて決定すればよい。   As described above, the display control unit 152 increases the number of thinned 3D image data associated with a value with a small tilt angle, and thins the image data as 3D image data associated with a large tilt angle. Reduce the number of sheets to be played. In this case, the display control unit 152 may determine the number of 3D image data to be thinned according to the number of 3D image data read from the temporary memory 16.

以上で説明した第4の実施の形態のデジタルカメラ1によれば、第1および第2の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
表示制御部152は、液晶表示器に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のうち、一部の画像を液晶表示器171に表示させないようにした。この結果、ユーザには、主要被写体AおよびBが最初は早く、徐々にゆっくり変化するように観察されるので、印象的な映像効果を有する立体画像を表示することができる。
According to the digital camera 1 of the fourth embodiment described above, the following operational effects are obtained in addition to the operational effects obtained by the digital camera 1 according to the first and second embodiments.
The display control unit 152 does not cause the liquid crystal display 171 to display a part of the images in which the parallaxes of the main subjects A and B sequentially increase from the corresponding image when observed from a direction perpendicular to the liquid crystal display. I made it. As a result, the main subjects A and B are initially observed so as to change gradually and slowly, so that a stereoscopic image having an impressive video effect can be displayed.

−第5の実施の形態−
図面を参照して、本発明の第5の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1〜第4の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1〜第4の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1〜第4の実施の形態とは異なる。なお、以下の説明では、第1および第2の3D用画像データと中間画像データとを包含して3D用画像データと呼ぶ。
-Fifth embodiment-
A digital camera 1 according to a fifth embodiment of the present invention will be described with reference to the drawings. In the following description, the same components as those in the first to fourth embodiments are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first to fourth embodiments. In the present embodiment, the display method of images displayed in the 3D playback mode is different from those in the first to fourth embodiments. In the following description, the first and second 3D image data and the intermediate image data are collectively referred to as 3D image data.

本実施の形態においても、傾斜判定部153により姿勢センサ18からの検出信号が所定の時間変化がないと判定されると、表示制御部152は、傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データ(検出画像データ)を検出する。傾斜判定部153により判定された傾斜角度と傾斜方向とに関連付けされた3D用画像データが、たとえば傾斜角度45度以上、傾斜方向「+」に関連付けされているとする。表示制御部152は、傾斜方向が「+」であって、傾斜角度「0」から傾斜方向45度までに関連付けされた全ての3D用画像データを一時メモリ16から読み出す。   Also in the present embodiment, when the inclination determination unit 153 determines that the detection signal from the attitude sensor 18 has not changed for a predetermined time, the display control unit 152 determines the inclination angle and inclination determined by the inclination determination unit 153. 3D image data (detected image data) associated with the direction is detected. Assume that the 3D image data associated with the inclination angle and the inclination direction determined by the inclination determination unit 153 is associated with the inclination direction “+”, for example, with an inclination angle of 45 degrees or more. The display control unit 152 reads from the temporary memory 16 all 3D image data associated with the inclination direction “+” and the inclination angle “0” to the inclination direction 45 degrees.

表示制御部152は、読み出した3D用画像データのうち、傾斜角度が小さい値と関連付けされている3D用画像データから順次LCD駆動回路17へ出力する。LCD駆動回路17は、表示制御部152から3D用画像データに対応する画像を、3D用画像データを入力した順序で、液晶表示器171へ表示させる。このとき、LCD駆動回路17は、入力した順序が早い3D用画像データに対応する画像ほど液晶表示器171への表示時間を長くし、入力した順序が遅い3D用画像データに対応する画像ほど液晶表示器171に表示する時間を短くする。   The display control unit 152 sequentially outputs to the LCD drive circuit 17 the 3D image data associated with a value with a small tilt angle among the read 3D image data. The LCD driving circuit 17 causes the liquid crystal display 171 to display an image corresponding to the 3D image data from the display control unit 152 in the order in which the 3D image data is input. At this time, the LCD drive circuit 17 increases the display time on the liquid crystal display 171 as the image corresponding to the 3D image data that is input earlier, and the liquid crystal as the image corresponding to the 3D image data that is input later. The time displayed on the display 171 is shortened.

図9は第5の実施の形態により表示される画像を示している。なお、図9では、Fr1の画像からFr6までの画像が順次液晶表示器171に表示される場合を示している。図9に示すように、LCD駆動回路17は、Fr1の画像の表示時間をたとえば100tとすると、Fr2の画像の表示時間を50t、Fr3の画像の表示時間を20t、Fr4の画像の表示時間を10t、Fr5の画像の表示時間を5t、Fr6の画像の表示時間を4tにする。すなわち、主要被写体AおよびBについて視差の大きな画像ほど表示時間が短くなる。その結果、第4の実施の形態の場合と同様に、ユーザには、主要被写体AおよびBが最初は早く、徐々にゆっくりシフトされるように観察される。なお、表示時間の減少の割合については、表示制御部152が一時メモリ16から読み出した3D用画像データの枚数に応じて決定すればよい。   FIG. 9 shows an image displayed according to the fifth embodiment. FIG. 9 shows a case where images from Fr1 to Fr6 are sequentially displayed on the liquid crystal display 171. As shown in FIG. 9, when the display time of the Fr1 image is 100 t, for example, the LCD drive circuit 17 sets the display time of the Fr2 image to 50 t, the display time of the Fr3 image to 20 t, and the display time of the Fr4 image. The display time for the 10t, Fr5 image is 5t, and the display time for the Fr6 image is 4t. That is, for the main subjects A and B, the larger the parallax, the shorter the display time. As a result, as in the case of the fourth embodiment, the user observes that the main subjects A and B are shifted early and gradually slowly. Note that the reduction rate of the display time may be determined according to the number of 3D image data read from the temporary memory 16 by the display control unit 152.

以上で説明した第5の実施の形態のデジタルカメラ1によれば、第1および第2の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
表示制御部152は、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に液晶表示器171に表示させるようにした。その結果、第4の実施の形態により得られた作用効果と同様に、ユーザには主要被写体AおよびBが最初は早く、徐々にゆっくり変化するように観察されるので、印象的な映像効果を有する立体画像を表示できる。
According to the digital camera 1 of the fifth embodiment described above, the following functions and effects can be obtained in addition to the functions and effects obtained by the digital camera 1 according to the first and second embodiments.
The display control unit 152 continuously displays liquid crystal with different display times for each of the images in which the parallaxes of the main subjects A and B are sequentially increased from the image corresponding to the observation from the direction perpendicular to the liquid crystal display 171. The data is displayed on the display 171. As a result, similar to the effect obtained by the fourth embodiment, the main subjects A and B are observed to change quickly and slowly at the beginning, so that an impressive video effect can be obtained. A stereoscopic image can be displayed.

−第6の実施の形態−
図面を参照して、本発明の第6の実施の形態によるデジタルカメラ1を説明する。以下の説明では、第1および第5の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1および第5の実施の形態と同じである。本実施の形態では、3D再生モードにて表示される画像の表示方式が第1、第4および第5の実施の形態を組み合わせ、所定の条件に応じて表示方式を切り替える。以下、詳細に説明する。
-Sixth embodiment-
A digital camera 1 according to a sixth embodiment of the present invention will be described with reference to the drawings. In the following description, the same components as those in the first and fifth embodiments are denoted by the same reference numerals, and different points will be mainly described. Points that are not particularly described are the same as those in the first and fifth embodiments. In the present embodiment, the display method of an image displayed in the 3D playback mode is a combination of the first, fourth, and fifth embodiments, and the display method is switched according to a predetermined condition. Details will be described below.

図10に示すように、デジタルカメラ1は液晶表示器171の温度を検出する温度センサ19を有する。温度センサ19は、検出した温度を示す温度検出信号を制御回路15へ出力する。制御回路15は、温度センサ19から入力した温度検出信号に基づいて、液晶表示器171の温度状態を判定する温度判定部154を機能的に備える。そして、表示制御部152は、温度判定部154により判定された温度状態に応じて、3D再生モードで表示される画像の表示方式を、第1表示方式、第2表示方式および第3表示方式のうちのいずれかに設定する。第1表示方式は、第1および第2の実施の形態における表示方式である。第2表示方式は第4の実施の形態における表示方式である。第3表示方式は第5の実施の形態における表示方式である。   As shown in FIG. 10, the digital camera 1 has a temperature sensor 19 that detects the temperature of the liquid crystal display 171. The temperature sensor 19 outputs a temperature detection signal indicating the detected temperature to the control circuit 15. The control circuit 15 functionally includes a temperature determination unit 154 that determines the temperature state of the liquid crystal display 171 based on the temperature detection signal input from the temperature sensor 19. Then, the display control unit 152 changes the display method of the image displayed in the 3D playback mode according to the temperature state determined by the temperature determination unit 154 to the first display method, the second display method, and the third display method. Set to one of them. The first display method is the display method in the first and second embodiments. The second display method is the display method in the fourth embodiment. The third display method is the display method in the fifth embodiment.

以下、詳細に説明する。温度判定部154は、温度センサ19で検出された温度と第1閾値、第2閾値および第3閾値との間で比較する。第1〜第3閾値は液晶表示器171の表示特性に基づいて決定された値であり、第3閾値>第2閾値>第1閾値の関係を有する。第3閾値は、高温のために液晶表示器171の表示特性に影響が生じる温度に相当する。第2閾値は、高温のために液晶表示器171の表示特性に若干の影響が生じる温度に相当する。第1閾値は、これ以上低温になると液晶表示器171の表示特性に影響が生じる温度に相当する。   Details will be described below. The temperature determination unit 154 compares the temperature detected by the temperature sensor 19 with the first threshold value, the second threshold value, and the third threshold value. The first to third threshold values are values determined based on the display characteristics of the liquid crystal display 171 and have a relationship of third threshold> second threshold> first threshold. The third threshold corresponds to a temperature at which the display characteristics of the liquid crystal display 171 are affected due to a high temperature. The second threshold corresponds to a temperature at which the display characteristics of the liquid crystal display 171 are slightly affected due to a high temperature. The first threshold corresponds to a temperature at which the display characteristics of the liquid crystal display 171 are affected when the temperature is further lowered.

図11に、液晶表示器171と表示方式との対応関係を示す。154により液晶表示器171の温度が第1閾値未満と判定された場合、または第3閾値以上と判定された場合、第2表示方式を選択する。すなわち、液晶表示器171の表示特性に温度による影響が生じる場合には、第4の実施の形態の場合と同様に画像が表示される。換言すると、液晶表示器171の表示特性に影響が生じるので、液晶表示器171に切り換えて表示される画像の枚数が、複数種の表示方式のうち最も少ない枚数となる表示方式を行うことによって、表示される画像の劣化を抑制する。表示制御部152は、温度判定部154により液晶表示器171の温度が第1閾値以上第2閾値未満と判定されると、第1表示方式を選択する。すなわち、液晶表示器171の表示特性に温度による影響が生じない場合には、第1の実施の形態の場合と同様に画像が表示される。換言すると、液晶表示器171の表示特性に影響が生じないので、液晶表示器171に切り換えて表示される画像の枚数が、複数種の表示方式のうちで最大の表示枚数となる表示方式によって画像が表示されても劣化の少ない画像表示が可能となる。温度判定部154により液晶表示器171の温度が第2閾値以上第3閾値未満と判定されると、第3表示方式を選択する。すなわち、液晶表示器171の表示特性に温度による影響が若干生じる場合には、第5の実施の形態の場合と同様に画像が表示される。換言すると、液晶表示器171の表示特性に若干の影響が生じるので、液晶表示器171に切り換えて表示される画像の枚数が、複数種の表示方式のうち中間の枚数となる表示形式を行うことによって、表示される画像の劣化を抑制する。   FIG. 11 shows the correspondence between the liquid crystal display 171 and the display method. When it is determined by 154 that the temperature of the liquid crystal display 171 is lower than the first threshold value, or when it is determined that the temperature is equal to or higher than the third threshold value, the second display method is selected. That is, when the display characteristics of the liquid crystal display 171 are affected by temperature, an image is displayed as in the case of the fourth embodiment. In other words, since the display characteristics of the liquid crystal display 171 are affected, by performing a display method in which the number of images displayed by switching to the liquid crystal display 171 is the smallest among a plurality of display methods. Suppress deterioration of the displayed image. When the temperature determination unit 154 determines that the temperature of the liquid crystal display 171 is greater than or equal to the first threshold value and less than the second threshold value, the display control unit 152 selects the first display method. That is, when the display characteristics of the liquid crystal display 171 are not affected by temperature, an image is displayed as in the case of the first embodiment. In other words, since the display characteristics of the liquid crystal display 171 are not affected, the number of images displayed by switching to the liquid crystal display 171 is determined by a display method in which the maximum display number is selected from among a plurality of display methods. Even if is displayed, it is possible to display an image with little deterioration. When the temperature determination unit 154 determines that the temperature of the liquid crystal display 171 is greater than or equal to the second threshold and less than the third threshold, the third display method is selected. That is, when the display characteristics of the liquid crystal display 171 are slightly affected by temperature, an image is displayed as in the case of the fifth embodiment. In other words, since the display characteristics of the liquid crystal display 171 are slightly affected, a display format in which the number of images displayed by switching to the liquid crystal display 171 is an intermediate number among a plurality of display methods is performed. To suppress deterioration of the displayed image.

図12に示すフローチャートを用いて、以上で説明した3D再生モードにおけるデジタルカメラ1における表示処理について説明する。図12の処理を行うプログラムは制御回路15内の図示しないメモリに格納されており、ユーザの操作に応じて3D再生モードが設定された場合に制御回路15により起動されて、実行される。
ステップS10(3D用画像データ読み出し)〜S13(傾斜角度0、傾斜方向なしの画像表示)までの各処理は、図6のフローチャートに示すステップS1(3D用画像データ読み出し)〜S4(傾斜角度0、傾斜方向なしの画像表示)までの各処理と同様である。
The display process in the digital camera 1 in the 3D playback mode described above will be described using the flowchart shown in FIG. The program for performing the processing of FIG. 12 is stored in a memory (not shown) in the control circuit 15 and is activated and executed by the control circuit 15 when the 3D playback mode is set according to the user's operation.
Steps S10 (3D image data reading) to S13 (tilt angle 0, image display without tilt direction) are performed in steps S1 (3D image data read) to S4 (tilt angle 0) shown in the flowchart of FIG. This is the same as each processing until image display without a tilt direction.

ステップS14では、温度判定部154は液晶表示器171の温度が第3閾値以上か否かを判定する。液晶表示器171の温度が第3閾値以上の場合には、温度判定部154によりステップS14が肯定判定されてステップS15へ進む。ステップS15では、表示制御部152は第2表示方式を選択してステップS21へ進む。液晶表示器171の温度が第3閾値未満の場合には、温度判定部154によりステップS14が否定判定されてステップS16へ進む。   In step S14, the temperature determination unit 154 determines whether the temperature of the liquid crystal display 171 is equal to or higher than a third threshold value. If the temperature of the liquid crystal display 171 is equal to or higher than the third threshold value, the temperature determination unit 154 makes a positive determination in step S14 and proceeds to step S15. In step S15, the display control unit 152 selects the second display method and proceeds to step S21. When the temperature of the liquid crystal display 171 is lower than the third threshold value, the temperature determination unit 154 makes a negative determination in step S14 and proceeds to step S16.

ステップS16では、温度判定部154は液晶表示器171の温度が第2閾値以上第3閾値未満か否かを判定する。液晶表示器171の温度が第2閾値以上第3閾値未満の場合には、温度判定部154によりステップS16が肯定判定されてステップS17へ進む。ステップS17では、表示制御部152は第3表示方式を選択してステップS21へ進む。液晶表示器171の温度が第2閾値未満の場合には、温度判定部154によりステップS16が否定判定されてステップS18へ進む。   In step S <b> 16, the temperature determination unit 154 determines whether the temperature of the liquid crystal display 171 is greater than or equal to the second threshold and less than the third threshold. When the temperature of the liquid crystal display 171 is equal to or higher than the second threshold and lower than the third threshold, the temperature determination unit 154 makes an affirmative determination in step S16 and proceeds to step S17. In step S17, the display control unit 152 selects the third display method and proceeds to step S21. If the temperature of the liquid crystal display 171 is lower than the second threshold value, the temperature determination unit 154 makes a negative determination in step S16 and proceeds to step S18.

ステップS18では、温度判定部154は液晶表示器171の温度が第1閾値以上第2閾値未満か否かを判定する。液晶表示器171の温度が第1閾値以上第2閾値未満の場合には、温度判定部154によりステップS18が肯定判定されてステップS19へ進む。ステップS19では、表示制御部152は第1表示方式を選択してステップS21へ進む。液晶表示器171の温度が第1閾値未満の場合には、温度判定部154によりステップS18が否定判定されてステップS20へ進む。ステップS20では、表示制御部152は第2表示方式を選択してステップS21へ進む。ステップS21(表示画像記録判定)〜S23(3D再生モード終了判定)までの各処理は、図6のフローチャートに示すステップS7(表示画像記録判定)〜S9(3D再生モード終了判定)までの各処理と同様である。なお、ステップS23が否定判定された場合には、処理はステップS14へ戻る。   In step S18, the temperature determination unit 154 determines whether or not the temperature of the liquid crystal display 171 is greater than or equal to the first threshold and less than the second threshold. When the temperature of the liquid crystal display 171 is equal to or higher than the first threshold value and lower than the second threshold value, the temperature determination unit 154 makes an affirmative determination in step S18 and proceeds to step S19. In step S19, the display control unit 152 selects the first display method and proceeds to step S21. When the temperature of the liquid crystal display 171 is lower than the first threshold value, the temperature determination unit 154 makes a negative determination in step S18 and proceeds to step S20. In step S20, the display control unit 152 selects the second display method and proceeds to step S21. Each process from step S21 (display image recording determination) to S23 (3D playback mode end determination) is performed from step S7 (display image recording determination) to S9 (3D playback mode end determination) shown in the flowchart of FIG. It is the same. If step S23 is negative, the process returns to step S14.

以上で説明した第6の実施の形態のデジタルカメラ1によれば、第1〜第5の実施の形態によるデジタルカメラ1で得られた作用効果に加えて、以下の作用効果が得られる。
温度センサ19は、液晶表示器171の温度を検出する。表示制御部152は、温度センサ19により検出された液晶表示器171の温度に応じて、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のうち、一部の画像を液晶表示器171に表示させない第2表示方法と、液晶表示器171に垂直な方向から観察した場合に対応する画像から主要被写体AおよびBの視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に液晶表示器171に表示させる第3表示方法とを切り換えるようにした。したがって、液晶表示器171の温度による表示特性に応じて、画像の表示枚数を異ならせたり表示時間を異ならせたりするので、液晶表示器171に表示される画質劣化を防止できる。
According to the digital camera 1 of the sixth embodiment described above, the following functions and effects can be obtained in addition to the functions and effects obtained by the digital camera 1 according to the first to fifth embodiments.
The temperature sensor 19 detects the temperature of the liquid crystal display 171. In accordance with the temperature of the liquid crystal display 171 detected by the temperature sensor 19, the display control unit 152 sequentially increases the parallax of the main subjects A and B from the image corresponding to the observation from a direction perpendicular to the liquid crystal display 171. Among these images, the parallax of the main subjects A and B is sequentially increased from the second display method in which some images are not displayed on the liquid crystal display 171 and the image corresponding to the case of observation from a direction perpendicular to the liquid crystal display 171. For each of the images, the third display method of continuously displaying on the liquid crystal display 171 with different display times is switched. Therefore, since the number of displayed images is changed or the display time is changed in accordance with the display characteristics depending on the temperature of the liquid crystal display 171, the image quality displayed on the liquid crystal display 171 can be prevented from being deteriorated.

以上で説明した第1〜第6の実施の形態のデジタルカメラ1を、以下のように変形できる。
(1)姿勢センサ18からの検出信号に基づいて、傾斜角度と傾斜方向とに関連付けされた画像データに対応する画像が表示されるものに代えて、操作部30の操作に応じて視差の異なる画像が表示されてもよい。この場合、ユーザは、操作部30を構成する十字キーを操作する。たとえば、図5(a)の関連付けデータに示す中間画像データIDM5に対応する画像が表示されているときに、十字キーの左ボタンが3回操作されたとする。このとき、表示制御部152は図5(a)の関連付けデータのうち、中間画像データIDM5から傾斜方向「+」側に傾斜角度の区切りが3段階大きい中間画像データIDM2をLCD駆動回路17へ出力すればよい。
The digital camera 1 of the first to sixth embodiments described above can be modified as follows.
(1) Based on the detection signal from the attitude sensor 18, instead of displaying an image corresponding to the image data associated with the tilt angle and the tilt direction, the parallax varies depending on the operation of the operation unit 30. An image may be displayed. In this case, the user operates the cross key constituting the operation unit 30. For example, it is assumed that the left button of the cross key is operated three times while an image corresponding to the intermediate image data IDM5 shown in the association data in FIG. At this time, the display control unit 152 outputs, to the LCD drive circuit 17, intermediate image data IDM2 having a larger inclination angle delimiter by three stages from the intermediate image data IDM5 to the inclination direction “+” side in the association data of FIG. do it.

(2)3D再生モードでは、姿勢センサ18からの検出信号や、十字キーの操作に応じた傾斜角度と傾斜方向とに関連付けされた画像データに対応する画像が表示されるものに代えて、全ての3D用画像データに対応するそれぞれの画像が連続的に表示されてもよい。たとえば、傾斜方向が「−」と判定された場合には、表示制御部152は、中間画像データIDM5〜IDM9、第2の3D用画像データID2、第1の3D用画像データID1、中間画像データIDM1〜IDM4の順序でLCD駆動回路17へ出力する。そして、LCD駆動回路17は、上述した順序で入力した画像データに対応する画像を液晶表示器171に表示させる。なお、この場合、LCD駆動回路17は、たとえば動画のフレームレートである30fpsにて各画像の表示を切り替える。 (2) In the 3D playback mode, instead of displaying a detection signal from the attitude sensor 18 and an image corresponding to the image data associated with the tilt angle and the tilt direction according to the operation of the cross key, Each image corresponding to the 3D image data may be continuously displayed. For example, when it is determined that the tilt direction is “−”, the display control unit 152 displays the intermediate image data IDM5 to IDM9, the second 3D image data ID2, the first 3D image data ID1, and the intermediate image data. Output to the LCD drive circuit 17 in the order of IDM1 to IDM4. Then, the LCD drive circuit 17 causes the liquid crystal display 171 to display an image corresponding to the image data input in the order described above. In this case, the LCD drive circuit 17 switches the display of each image at, for example, 30 fps which is the frame rate of the moving image.

(3)表示制御部152は、主要被写体AおよびBの視差に応じた枚数の中間画像データIDMを生成するものに代えて、液晶表示器171の温度に応じて生成する中間画像データIDMの枚数を変更してもよい。たとえば、液晶表示器171の温度が高温の場合には、表示制御部152は、中間画像データIDMの生成枚数を減少させる。 (3) The display control unit 152 instead of generating the number of intermediate image data IDM corresponding to the parallax of the main subjects A and B, the number of intermediate image data IDM generated according to the temperature of the liquid crystal display 171 May be changed. For example, when the temperature of the liquid crystal display 171 is high, the display control unit 152 decreases the number of generated intermediate image data IDM.

(4)表示制御部152は、第1および第2の3D用画像データID1、ID2における主要被写体AおよびBよりも視差が小さい中間画像データIDMを生成するものに代えて、主要被写体AおよびBよりも視差が大きくなるように画像データを生成してもよい。 (4) The display control unit 152 replaces with the main subjects A and B instead of generating the intermediate image data IDM having a smaller parallax than the main subjects A and B in the first and second 3D image data ID1 and ID2. Alternatively, the image data may be generated so that the parallax becomes larger.

(5)デジタルカメラ1の3D撮影モードで取得された画像データを用いて3D用画像データを生成するものに代えて、表示制御部152は、他のカメラで取得された画像データを用いて3D用画像データを生成してもよい。この場合、他のカメラで取得された画像データを、記録媒体32にから読み込んだり、図示しない外部インタフェース(たとえばUSBケーブルや、無線通信等)を用いて取得すればよい。 (5) Instead of generating 3D image data using image data acquired in the 3D shooting mode of the digital camera 1, the display control unit 152 uses 3D image data acquired by another camera. Image data may be generated. In this case, image data acquired by another camera may be read from the recording medium 32 or acquired using an external interface (not shown) (for example, a USB cable or wireless communication).

(6)3D再生モードをデジタルカメラ1にて実行するものとして説明したが、液晶表示器を備える携帯機器(たとえば携帯電話、携帯型情報端末等)で実行するものであってもよい。 (6) Although the 3D playback mode has been described as being executed by the digital camera 1, it may be executed by a portable device (for example, a mobile phone, a portable information terminal, etc.) having a liquid crystal display.

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組み合わせて構成しても構わない。   In addition, the present invention is not limited to the above-described embodiment as long as the characteristics of the present invention are not impaired, and other forms conceivable within the scope of the technical idea of the present invention are also within the scope of the present invention. included. The embodiments and modifications used for the description may be configured by appropriately combining them.

14 撮像素子、 15 制御回路、 16 一時メモリ、
18 姿勢センサ、 19 温度センサ、 30 操作部、
151 画像処理部、 152 表示制御部、 153 傾斜判定部、
171 液晶表示器
14 image sensor, 15 control circuit, 16 temporary memory,
18 attitude sensor, 19 temperature sensor, 30 operation unit,
151 image processing unit, 152 display control unit, 153 tilt determination unit,
171 Liquid crystal display

Claims (11)

主要被写体が所定の視差を有するように撮影された一対の右目用画像と左目用画像とを生成する第1生成手段と、
前記第1生成手段により取得された前記一対の右目用画像と左目用画像とに基づいて、前記所定の視差とは異なる視差を有する少なくとも一対の中間画像を生成する第2生成手段と、
画像を表示する表示器と、
前記表示器に表示された前記画像を観察する観察方向と観察角度とを判定する判定手段と、
前記判定手段により判定された前記観察方向と観察角度とに応じて、前記第1生成手段により生成された前記一対の右目用画像および左目用画像と、前記第2生成手段により生成された前記中間画像との少なくとも1つの画像を前記表示器に表示させる表示制御手段と、
を備えることを特徴とする表示装置。
First generation means for generating a pair of right-eye images and left-eye images captured so that the main subject has a predetermined parallax;
Second generation means for generating at least a pair of intermediate images having a parallax different from the predetermined parallax based on the pair of right-eye images and left-eye images acquired by the first generation means;
A display for displaying images;
Determination means for determining an observation direction and an observation angle for observing the image displayed on the display;
According to the observation direction and the observation angle determined by the determination unit, the pair of right-eye and left-eye images generated by the first generation unit and the intermediate generated by the second generation unit Display control means for causing the display to display at least one image of the image;
A display device comprising:
請求項1に記載の表示装置において、
撮影光学系の光軸方向に沿った主要被写体の撮影距離に関する情報を有する画像を入力画像として取得する取得手段をさらに有し、
前記第1生成手段は、前記取得手段により取得された前記入力画像と前記撮影距離に関する情報とに基づいて、前記一対の右目用画像と左目用画像とを生成することを特徴とする表示装置。
The display device according to claim 1,
Further comprising an acquisition means for acquiring an image having information on the shooting distance of the main subject along the optical axis direction of the shooting optical system as an input image;
The display device characterized in that the first generation means generates the pair of right-eye images and left-eye images based on the input image acquired by the acquisition means and information on the shooting distance.
請求項1または2に記載の表示装置において、
前記第2生成手段は、前記一対の右目用画像および左目用画像での前記主要被写体間の距離よりも、前記一対の中間画像での前記主要被写体間の距離を小さくすることを特徴とする表示装置。
The display device according to claim 1 or 2,
The second generating means makes the distance between the main subjects in the pair of intermediate images smaller than the distance between the main subjects in the pair of right-eye images and left-eye images. apparatus.
請求項1乃至3のいずれか一項に記載の表示装置において、
表示装置の傾斜を検出する傾斜検出手段をさらに備え、
前記判定手段は、前記傾斜検出手段により検出された傾斜に基づいて、前記観察方向と観察角度とを判定することを特徴とする表示装置。
The display device according to any one of claims 1 to 3,
Further comprising tilt detecting means for detecting the tilt of the display device;
The display device according to claim 1, wherein the determination unit determines the observation direction and the observation angle based on the inclination detected by the inclination detection unit.
請求項1乃至3のいずれか一項に記載の表示装置において、
操作入力を受け付ける操作部材をさらに備え、
前記判定手段は、前記操作入力に基づいて、前記観察方向と観察角度とを判定することを特徴とする表示装置。
The display device according to any one of claims 1 to 3,
An operation member for receiving an operation input;
The determination device determines the observation direction and the observation angle based on the operation input.
請求項1乃至5のいずれか一項に記載の表示装置において、
前記表示制御手段は、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像を連続的に前記表示器に表示させることを特徴とする表示装置。
The display device according to any one of claims 1 to 5,
The display control means, wherein the display device continuously displays on the display an image in which the parallax of the main subject sequentially increases from an image corresponding to an observation when viewed from a direction perpendicular to the display.
請求項6に記載の表示装置において、
前記表示制御手段は、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のうち、一部の画像を前記表示器に表示させないことを特徴とする表示装置。
The display device according to claim 6,
The display control means does not cause the display to display a part of images among images in which parallax of the main subject sequentially increases from an image corresponding to a case where the display is observed from a direction perpendicular to the display. Display device.
請求項6に記載の表示装置において、
前記表示制御手段は、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に前記表示器に表示させることを特徴とする表示装置。
The display device according to claim 6,
The display control means continuously displays the images in which the parallax of the main subject is sequentially increased from the corresponding image when observed from a direction perpendicular to the display device with different display times. A display device characterized by displaying.
請求項6に記載の表示装置において、
前記表示器の温度を検出する温度検出手段をさらに有し、
前記表示制御手段は、前記温度検出手段により検出された前記表示器の温度に応じて、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のうち、一部の画像を前記表示器に表示させない第1の表示方法と、前記表示器に垂直な方向から観察した場合に対応する画像から前記主要被写体の視差が順次大きくなる画像のそれぞれについて、表示時間を互いに異ならせて連続的に前記表示器に表示させる第2の表示方法とを切り換えることを特徴とする表示装置。
The display device according to claim 6,
Further comprising temperature detecting means for detecting the temperature of the indicator;
The display control unit is configured to display an image in which the parallax of the main subject sequentially increases from an image corresponding to an observation from a direction perpendicular to the display, according to the temperature of the display detected by the temperature detection unit. Among these, for each of the first display method that does not display a part of the image on the display, and the image in which the parallax of the main subject sequentially increases from the image corresponding to when observed from a direction perpendicular to the display, A display device characterized by switching between a second display method for continuously displaying on the display unit with different display times.
請求項1乃至9のいずれか一項に記載の表示装置において、
前記一対の右目用画像および左目用画像と、前記中間画像とのそれぞれを、前記観察方向と観察角度とに関連付けて記録する記録手段をさらに有することを特徴とする表示装置。
The display device according to any one of claims 1 to 9,
The display device further comprising recording means for recording the pair of right-eye image and left-eye image and the intermediate image in association with the observation direction and the observation angle.
撮像光学系を介して被写体を撮像して画像信号を生成する撮像素子と、
請求項1乃至10のいずれか一項に記載の表示装置とを備え、
前記第1生成手段は、前記撮像素子により生成された前記画像信号を用いて、前記一対の右目用画像と左目用画像とを生成することを特徴とする撮像装置。
An image sensor that captures an image of a subject via an imaging optical system and generates an image signal;
A display device according to any one of claims 1 to 10,
The first generation means generates the pair of right-eye images and left-eye images using the image signals generated by the image sensor.
JP2012037423A 2012-02-23 2012-02-23 Display device and image pickup device Pending JP2013175805A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012037423A JP2013175805A (en) 2012-02-23 2012-02-23 Display device and image pickup device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012037423A JP2013175805A (en) 2012-02-23 2012-02-23 Display device and image pickup device

Publications (1)

Publication Number Publication Date
JP2013175805A true JP2013175805A (en) 2013-09-05

Family

ID=49268371

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012037423A Pending JP2013175805A (en) 2012-02-23 2012-02-23 Display device and image pickup device

Country Status (1)

Country Link
JP (1) JP2013175805A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199381A1 (en) * 2015-06-08 2016-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2017005689A (en) * 2015-06-08 2017-01-05 キヤノン株式会社 Image processing system and image processing method
WO2020090629A1 (en) * 2018-10-31 2020-05-07 京セラ株式会社 Image display device, image display system, and movable body

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016199381A1 (en) * 2015-06-08 2016-12-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2017005689A (en) * 2015-06-08 2017-01-05 キヤノン株式会社 Image processing system and image processing method
US10574906B2 (en) 2015-06-08 2020-02-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2020090629A1 (en) * 2018-10-31 2020-05-07 京セラ株式会社 Image display device, image display system, and movable body

Similar Documents

Publication Publication Date Title
KR101391042B1 (en) Image processing device capable of generating wide-range image
US20110018970A1 (en) Compound-eye imaging apparatus
US10587860B2 (en) Imaging apparatus and method for controlling same
JP5371845B2 (en) Imaging apparatus, display control method thereof, and three-dimensional information acquisition apparatus
KR101346426B1 (en) Image processing device capable of generating wide-range image
US8514273B2 (en) 3D image display apparatus and 3D image display method
JP2009053748A (en) Image processing apparatus, image processing program, and camera
JP2007295547A (en) Digital camera
JP5526233B2 (en) Stereoscopic image photographing apparatus and control method thereof
JP2014039311A (en) Monocular 3d-imaging apparatus, shading correction method for monocular 3d-imaging apparatus, and program for monocular 3d-imaging apparatus
JP6752681B2 (en) Display control device, control method and program of display control device, and storage medium
US20090027487A1 (en) Image display apparatus and image display method
JP2011259168A (en) Stereoscopic panoramic image capturing device
JP2012186612A (en) Imaging device
JP6155471B2 (en) Image generating apparatus, imaging apparatus, and image generating method
JP5322817B2 (en) 3D image pickup apparatus and 3D image display method
CN103329549B (en) Dimensional video processor, stereoscopic imaging apparatus and three-dimensional video-frequency processing method
CN103339948B (en) 3D video playing device, 3D imaging device, and 3D video playing method
JP2012133185A (en) Imaging apparatus
JP2012231520A (en) Imaging apparatus, control apparatus, and control method therefor
JP2013175805A (en) Display device and image pickup device
JPWO2012043003A1 (en) Stereoscopic image display apparatus and stereoscopic image display method
JP5049231B2 (en) Three-dimensional display device, method and program
JP2014066904A (en) Imaging device, image processing apparatus, image processing server, and display device
JP4887461B2 (en) 3D image pickup apparatus and 3D image display method