WO2013146067A1 - 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム Download PDF

Info

Publication number
WO2013146067A1
WO2013146067A1 PCT/JP2013/055374 JP2013055374W WO2013146067A1 WO 2013146067 A1 WO2013146067 A1 WO 2013146067A1 JP 2013055374 W JP2013055374 W JP 2013055374W WO 2013146067 A1 WO2013146067 A1 WO 2013146067A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
parallax
partial
images
stereoscopic
Prior art date
Application number
PCT/JP2013/055374
Other languages
English (en)
French (fr)
Inventor
岩崎　洋一
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2014507580A priority Critical patent/JP5993937B2/ja
Priority to CN201380018550.XA priority patent/CN104247412B/zh
Publication of WO2013146067A1 publication Critical patent/WO2013146067A1/ja
Priority to US14/500,176 priority patent/US9609302B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Definitions

  • the present invention provides an image processing apparatus and an imaging apparatus capable of preventing the stereoscopic effect of a stereoscopic partial image cut out from a trimming area of a stereoscopic image from being impaired when a stereoscopic image generated by pupil division imaging is trimmed.
  • the present invention relates to an image processing method, a recording medium, and a program.
  • a display device that allows a viewer to stereoscopically view a plurality of viewpoint images by simultaneously displaying a plurality of viewpoint images with parallax respectively on the left and right eyes of the viewer.
  • Patent Literature 1 when a plurality of viewpoint images are trimmed and displayed, the parallax adjustment amount input by the user is corrected based on the digital zoom magnification, thereby performing digital zoom while maintaining an appropriate stereoscopic effect.
  • a possible configuration is disclosed.
  • Patent Document 2 discloses a natural left, which does not burden the eyes, by controlling the F-number of the diaphragm so that the parallax of the left and right images is within a predetermined range based on the distance information of the subject or the amount of parallax of the subject.
  • a configuration for acquiring the right image is disclosed.
  • Patent Document 3 a parallax amount generated in the foreground or the background is weighted and adjusted according to the parallax amount based on the parallax amount at the feature point of the viewpoint image, which is particularly preferable on a stereoscopic display print.
  • a configuration that enables display of a parallax image having a stereoscopic effect is disclosed.
  • An object of the present invention is to provide an image processing device, an imaging device, an image processing method, a recording medium, and a program.
  • the present invention provides an image acquisition means for acquiring a stereoscopic image composed of a plurality of viewpoint images with different viewpoints generated by pupil division imaging, and trimming of the stereoscopic image cut out from the plurality of viewpoint images.
  • Trimming that generates a three-dimensional partial image composed of a plurality of partial images with different viewpoints by cutting out a partial image corresponding to the trimming region from each of a plurality of viewpoint images of the three-dimensional image and an instruction input unit that inputs an instruction indicating a region Means, parallax information generating means for generating parallax information indicating parallax between the partial images of the plurality of partial images, parallax adjusting means for adjusting the parallax between the partial images of the plurality of partial images based on the parallax information, Based on the adjustment result by the parallax adjustment unit, the sharpness increases as the adjusted parallax amount decreases for multiple partial images after parallax adjustment. And, to provide an image processing apparatus and a sharpness changing process means for performing image processing to weaken the sharpness as parallax amount is larger after adjustment.
  • a trimming region (a plurality of partial images with different viewpoints) between a plurality of viewpoint images is obtained.
  • Disparity information is generated.
  • the parallax between the partial images of the plurality of partial images is adjusted based on the parallax information, and the sharpness of the plurality of partial images is changed based on the adjustment result of the parallax. Therefore, even when a region blurred due to pupil division imaging is cut out, a three-dimensional partial image in which the sharpness is appropriately changed and the stereoscopic effect is not impaired is obtained.
  • cross point setting means for setting a cross point having no parallax in the stereoscopic partial image.
  • the cross point setting means sets a point where the average parallax of the stereoscopic partial image matches the average parallax of the stereoscopic image as a cross point. Thereby, a three-dimensional partial image in which an appropriate cross point is automatically set is obtained. Note that the average parallax “match” includes “almost match”.
  • the sharpness change processing means divides the stereoscopic partial image into a first area and a second area having a larger amount of parallax than the first area based on the parallax information after parallax adjustment, and the first The sharpness of the second region is increased, and the sharpness of the second region having a larger amount of parallax than the first region is decreased.
  • the subject image in a region with a small amount of parallax has a strong sharpness
  • the subject image in a region with a large amount of parallax has a low sharpness. Therefore, it is possible to maintain a stereoscopic effect in a region with a small amount of parallax and to make a double image inconspicuous in a region with a large amount of parallax.
  • the sharpness change processing means changes the sharpness of the three-dimensional partial image using a blur function indicating a blur state of a plurality of viewpoint images caused by pupil division imaging. Thereby, the sharpness of the three-dimensional partial image can be appropriately changed according to the blur distribution.
  • the sharpness change processing means changes the overall sharpness of the stereoscopic partial image.
  • the parallax adjustment unit when performing the process of enlarging the parallax between the partial images, based on the parallax information, the region closer to the cross point without parallax in the stereoscopic partial image, and the cross point than A far-distance area is detected, and the parallax magnification ratio of the short-distance area is set larger than the parallax magnification ratio of the long-distance area.
  • the parallax amount of the subject image in the short-distance region is larger than the parallax amount of the subject image in the long-distance region, so that the observer can feel a stereoscopic effect more easily.
  • the apparatus includes an image enlarging unit that enlarges the size of the stereoscopic partial image, and the parallax adjusting unit performs parallax associated with the enlargement of the size of the stereoscopic partial image by the image enlarging unit when performing the process of enlarging the parallax between the partial images.
  • the parallax magnification rate of the stereoscopic partial image is determined.
  • the present invention also provides an imaging apparatus comprising the above-described image processing apparatus and imaging means for performing pupil division imaging.
  • the present invention also includes a step of acquiring a stereoscopic image composed of a plurality of viewpoint images having different viewpoints generated by pupil division imaging, and a step of inputting an instruction indicating a trimming region to be cut out from the plurality of viewpoint images of the stereoscopic image.
  • the present invention is a computer-readable recording medium, and when a command stored in the recording medium is read by a processor, the processor has a plurality of viewpoints generated by pupil division imaging. Acquiring a stereoscopic image composed of viewpoint images; inputting an instruction indicating a trimming area to be cut out from the plurality of viewpoint images of the stereoscopic image; and inputting each of the plurality of viewpoint images of the stereoscopic image to the trimming area.
  • the present invention also includes a step of acquiring a stereoscopic image composed of a plurality of viewpoint images having different viewpoints generated by pupil division imaging, and a step of inputting an instruction indicating a trimming region to be cut out from the plurality of viewpoint images of the stereoscopic image.
  • the stereoscopic effect of the stereoscopic partial image cut out from the trimming region of the stereoscopic image can be prevented from being impaired.
  • FIG. 1 is a front perspective view showing an embodiment of a 3D digital camera to which an image processing apparatus according to the present invention is applied.
  • Rear view of the 3D digital camera The figure which shows the structural example of the image pick-up element of the said 3D digital camera.
  • the figure which shows the structural example of the image pick-up element of the said 3D digital camera (main pixel)
  • the figure (subpixel) which shows the example of composition of the image sensor of the above-mentioned 3D digital camera Enlarged view of the main part of the image sensor Enlarged view of the main part of the image sensor
  • the block diagram which shows embodiment of the internal structure of the said 3D digital camera
  • An explanatory diagram showing an example of a stereoscopic image including a flower image in the foreground, a person image in the middle background, and a mountain image in the background
  • Explanatory drawing which shows an example of the image for left eyes which comprises an original stereo image
  • Explanatory drawing which shows an example of the image for right eyes which comprises an
  • FIG. 1 is a front perspective view showing an embodiment of a 3D digital camera (stereoscopic imaging apparatus) to which an image processing apparatus according to the present invention is applied.
  • FIG. 2 is a rear view of the 3D digital camera.
  • the 3D digital camera 10 is a digital camera that receives light passing through a lens with an imaging device, converts the light into a digital signal, and records the digital signal on a recording medium such as a memory card.
  • a 3D digital camera 10 has a photographing lens 12, a flash 1, etc. on its front surface, and a shutter button 2, a power / mode switch 3, a mode dial 4, etc. on its upper surface. Yes.
  • a 3D liquid crystal monitor 30 for 3D display a zoom button 5, a cross button 6, a MENU / OK button 7, a playback button 8, a BACK button 9, and the like are arranged on the back of the camera. Yes.
  • the photographing lens 12 is constituted by a retractable zoom lens, and is set out from the camera body by setting the camera mode to the photographing mode by the power / mode switch 3.
  • the flash 1 irradiates flash light toward the main subject.
  • the shutter button 2 is composed of a two-stroke switch composed of a so-called “half press” and “full press”.
  • the shutter button 2 is “half-pressed” to operate AE / AF (automatic exposure adjustment / autofocus), and “full press”. As a result, shooting is performed. Further, when the 3D digital camera 10 is driven in the shooting mode, the shutter button 2 is “fully pressed” to perform shooting.
  • the power / mode switch 3 has both a function as a power switch for turning on / off the power of the 3D digital camera 10 and a function as a mode switch for setting the mode of the 3D digital camera 10.
  • the power / mode switch 3 is slidably disposed between “OFF position”, “reproduction position”, and “shooting position”.
  • the 3D digital camera 10 is turned on by sliding the power / mode switch 3 to the “playback position” or “shooting position”, and turned off by setting it to the “OFF position”. .
  • the power / mode switch 3 is slid and set to “playback position” to set to “playback mode”, and to the “shooting position” to set to “shooting mode”.
  • the mode dial 4 functions as a shooting mode setting means for setting the shooting mode of the 3D digital camera 10.
  • the shooting mode of the 3D digital camera 10 is set to various modes. For example, there are a “planar image capturing mode” for capturing a planar image, a “stereoscopic image capturing mode” for capturing a stereoscopic image (3D image), and a “moving image capturing mode” for capturing a moving image.
  • the 3D liquid crystal monitor 30 is a stereoscopic display means that can display a stereoscopic image (left-eye image and right-eye image) as a directional image having a predetermined directivity by a parallax barrier.
  • a parallax barrier having a pattern in which light transmitting portions and light shielding portions are alternately arranged at a predetermined pitch on the parallax barrier display layer of the 3D liquid crystal monitor 30 is provided.
  • strip-shaped image fragments showing left and right images are alternately arranged and displayed on the lower image display surface.
  • the form of the 3D liquid crystal monitor 30 is not limited to this, and may be any display that can recognize the left-eye image and the right-eye image as a stereoscopic image.
  • the form of the 3D liquid crystal monitor 30 is, for example, a type that uses a lenticular lens, or a user who wears dedicated glasses such as polarized glasses or liquid crystal shutter glasses, so that the left-eye image and the right-eye image can be individually viewed. But you can.
  • the zoom button 5 functions as zoom instruction means for instructing zooming, and includes a tele button 5T for instructing zooming to the telephoto side and a wide button 5W for instructing zooming to the wide angle side.
  • a tele button 5T for instructing zooming to the telephoto side
  • a wide button 5W for instructing zooming to the wide angle side.
  • the cross button 6 is an operation unit for inputting instructions in four directions, up, down, left, and right, and is a button (cursor moving operation means) for selecting an item from a menu screen or instructing selection of various setting items from each menu.
  • the left / right key functions as a frame advance (forward / reverse feed) button in the playback mode.
  • the MENU / OK button 7 has both a function as a menu button for instructing to display a menu on the screen of the 3D liquid crystal monitor 30 and a function as an OK button for instructing confirmation and execution of selection contents. Operation key.
  • the playback button 8 is a button for switching to a playback mode in which a 3D liquid crystal monitor 30 displays a still image or a moving image of a stereoscopic image (3D image) or a planar image (2D image) that has been shot and recorded.
  • the BACK button 9 functions as a button for instructing to cancel the input operation or return to the previous operation state.
  • the focus lens 12 ⁇ / b> A and the zoom lens 12 ⁇ / b> B constitute an imaging optical system (photographing lens 12) composed of a large number of lenses.
  • the diaphragm 14 includes, for example, five diaphragm blades, and the diaphragm value (F value) is controlled to be continuously or stepwise from F2 to F8, for example.
  • the mechanical shutter 15 is driven by the shutter driving unit 35 and switches between shielding and non-shielding of the light incident on the image sensor 16. In the photographing mode, the image light indicating the subject is imaged on the light receiving surface of the image sensor 16 through the photographing lens 12 and the diaphragm 14.
  • 3A to 3C are diagrams illustrating a configuration example of the image sensor 16.
  • the image sensor 16 is configured as a CCD (Charge-Coupled Device) image sensor for detecting an image having a parallax (a plurality of viewpoint images), and each pixel in an odd line (main pixel, A-plane pixel) arranged in a matrix. And pixels of even lines (also referred to as sub-pixels or B-plane pixels).
  • CCD Charge-Coupled Device
  • the odd lines (1, 3, 5,...) Of the image sensor 16 include pixels having R (red), G (green), and B (blue) color filters. , GRGR... Pixel array lines and BGBG... Pixel array lines are alternately provided. On the other hand, in the pixels of the even lines (2, 4, 6,%), The GRGR... Pixel array lines and the BGBG... The pixels are arranged so as to be shifted in the line direction by a half pitch with respect to the pixels.
  • 4A and 4B are enlarged views of main parts of the image sensor 16 functioning as a phase difference image sensor.
  • a light shielding member 16A is disposed on the front side (microlens L side) of the photodiode PD of the main pixel of the image sensor 16.
  • a light shielding member 16B is disposed on the front side of the photodiode PD of the sub-pixel.
  • the microlens L and the light shielding members 16A and 16B function as pupil dividing means.
  • the light shielding member 16A shields the left half of the light receiving surface of the main pixel (photodiode PD). Therefore, only the left side of the optical axis of the light beam passing through the exit pupil of the photographing lens 12 is received by the main pixel.
  • the light shielding member 16B shields the right half of the light receiving surface of the sub-pixel (photodiode PD). Therefore, only the right side of the optical axis of the light beam passing through the exit pupil of the photographing lens 12 is received by the sub-pixel. In this way, the light beam passing through the exit pupil is divided into the right and left by the microlens L and the light shielding members 16A and 16B, which are pupil dividing means, and enter into the main pixel and the subpixel, respectively.
  • the in-focus portion is on the image sensor 16.
  • the front and rear pin portions are incident on different positions on the image sensor 16 (out of phase). Accordingly, the subject image corresponding to the left half light beam and the subject image corresponding to the right half light beam can be acquired as parallax images (left eye image and right eye image) having different parallaxes.
  • the image sensor 16 of this embodiment is a CCD image sensor, but is not limited to this.
  • the image sensor 16 may be, for example, a CMOS (Complementary Metal Metal Oxide Semiconductor) type image sensor.
  • FIG. 5 is a block diagram showing an embodiment of the internal configuration of the 3D digital camera 10.
  • the 3D digital camera 10 records a captured image on an external recording medium 54, and the operation of the entire apparatus is centrally controlled by a central processing unit (CPU) 40.
  • CPU central processing unit
  • the 3D digital camera 10 is provided with an operation unit 38 including a shutter button 2, a mode dial 4, a playback button 8, a MENU / OK button 7, a cross button 6, a zoom button 5, and a BACK button 9.
  • a signal from the operation unit 38 is input to the CPU 40, and the CPU 40 controls each circuit of the 3D digital camera 10 based on the input signal. For example, lens driving control, aperture driving control, photographing operation control, image processing control, image processing Data recording / reproduction control, display control of the 3D liquid crystal monitor 30, and the like are performed.
  • the operation unit 38 receives an input of an instruction indicating a trimming region to be cut out from a plurality of viewpoint images that form a stereoscopic image.
  • the signal charge accumulated in the image sensor 16 is read out as a voltage signal corresponding to the signal charge according to control by the image sensor control unit 36 based on the readout signal applied from the timing generator 37.
  • the voltage signal read from the image sensor 16 is applied to the image sensor signal processor 18.
  • the image sensor signal processing unit 18 performs various signal processes on the voltage signal output from the image sensor 16 and outputs the signal to the image input controller 22.
  • an A / D converter is built in the image sensor 16.
  • the image sensor signal processing unit 18 performs offset processing, white balance correction, gain control processing including sensitivity correction, gamma correction processing, demosaic processing (synchronization processing), YC processing, edge enhancement processing on the digital image signal.
  • the predetermined signal processing such as is performed.
  • the main image data read from the main pixels of the odd lines of the image sensor 16 is processed as image data for the left eye
  • the sub image data read from the sub pixels of the even lines is processed as the image data for right eye.
  • the left-eye image data and right-eye image data (3D image data) processed by the image sensor signal processing unit 18 are input to the memory 48 via the image input controller 22.
  • the 3D image data read from the memory 48 is encoded by the display control unit 28 and output to the monitor 30 (3D liquid crystal display device) provided on the back of the camera. As a result, 3D subject images are continuously displayed on the display screen of the monitor 30.
  • the CPU 40 starts the AF operation and the AE operation. Then, the focus lens 12A is moved in the optical axis direction via the focus lens driving unit 32, and control is performed so that the focus lens 12A comes to the in-focus position.
  • the AF processing unit 42 is a part that performs contrast AF processing or phase difference AF processing.
  • the contrast AF process the high-frequency component of the image in the predetermined focus area is extracted from at least one of the left-eye image and the right-eye image, and the in-focus state is obtained by integrating the high-frequency component.
  • An AF evaluation value is calculated.
  • AF control is performed by controlling the focus lens 12A so that the AF evaluation value is maximized.
  • information indicating the phase difference is detected by detecting the phase difference between the main pixel and the sub-pixel in the predetermined focus area of the left-eye image and the right-eye image.
  • the defocus amount is obtained based on the above.
  • AF control is performed by controlling the focus lens 12A so that the defocus amount becomes zero.
  • the CPU 40 moves the zoom lens 12B forward and backward in the optical axis direction via the zoom lens driving unit 33 in accordance with the zoom command from the zoom button 5 to change the focal length.
  • the image data output from the image sensor signal processing unit 18 when the shutter button 2 is half-pressed is taken into the AE processing unit 44.
  • the AE processing unit 44 integrates the G signals of the entire screen, or integrates the G signals that are weighted differently in the central portion and the peripheral portion of the screen, and outputs the integrated value to the CPU 40.
  • the CPU 40 calculates the brightness of the subject (shooting Ev value) from the integrated value input from the AE processing unit 44, and based on this shooting Ev value, the F value of the diaphragm 14 set for the diaphragm drive unit 34, and The electronic shutter (shutter speed) of the image sensor 16 set for the timing generator 37 is determined according to a predetermined program diagram.
  • the AWB processing unit 45 analyzes the image and performs white balance processing on the image.
  • a subject detection unit 46 detects a specific subject (for example, a face image) within a shooting angle of view, and a known subject detection circuit for setting areas including the subject as AF areas and AE areas. (For example, JP-A-9-101579).
  • the memory 48 corrects the stereoscopic effect of the left-eye image and the right-eye image according to the present invention (parallax) in addition to the camera control program, defect information of the image sensor 16, various parameters and tables used for image processing, and the like.
  • An image processing program for correction a calculation formula or look-up table for calculating filter coefficients, a parameter of a calculation formula corresponding to the degree of parallax or parallax enhancement, or information for determining a look-up table is stored.
  • ROM Read-Only Memory
  • EEPROM Electrically-Erasable Programmable-Read-Only Memory
  • the two pieces of image data temporarily stored in the memory 48 are appropriately read out by the image sensor signal processing unit 18, and here, demosaic processing (synchronization processing; the color signal spatially associated with the primary color filter array) Processing for interpolating the shift and converting the color signal into a simultaneous expression), image processing for parallax correction and edge enhancement according to the present invention, and YC processing (processing for generating luminance data and color difference data of image data) Signal processing is performed.
  • the YC processed image data (YC data) is stored in the memory 48 again.
  • the two pieces of YC data stored in the memory 48 are respectively output to the compression / decompression processing unit 26, and after a predetermined compression process such as JPEG (Joint Photographic Experts Group) is performed, the YC data is stored in the memory 48 again.
  • a predetermined compression process such as JPEG (Joint Photographic Experts Group) is performed, the YC data is stored in the memory 48 again.
  • JPEG Joint Photographic Experts Group
  • the flash light 56 of the flash 1 emits light under the control of the flash control unit 58.
  • the image processing unit 62 is configured by a circuit that performs various types of image processing.
  • the image processing unit 62 of the present example trims a partial image corresponding to a trimming region from each of a plurality of viewpoint images constituting a stereoscopic image, thereby generating a stereoscopic partial image including a plurality of partial images with different viewpoints. Is configured. Further, the image processing unit 62 of the present example constitutes an image enlarging unit that enlarges the size of the stereoscopic partial image.
  • the parallax map generation unit 64 constitutes parallax information generation means for generating a parallax map (parallax information) indicating parallax (parallax distribution) between partial images of a plurality of partial images.
  • the cross point setting unit 66 constitutes cross point setting means for setting a cross point having no parallax in the stereoscopic partial image.
  • the cross point setting unit 66 of this example has a function of setting a point where the average parallax of the stereoscopic partial image matches the average parallax of the stereoscopic image as a cross point.
  • the parallax enlargement unit 68 constitutes a parallax adjustment unit that adjusts the parallax between the partial images of the plurality of partial images based on the parallax information.
  • the sharpness change processing unit 70 constitutes a sharpness change processing unit that performs image processing for changing the sharpness of a plurality of partial images after parallax adjustment based on the parallax adjustment result by the parallax enlargement unit 68.
  • the sharpness change processing unit 70 of this example increases the sharpness as the adjusted parallax amount is smaller, and decreases the sharpness as the adjusted parallax amount is larger.
  • the 3D digital camera 10 can acquire not only a stereoscopic image (3D image) but also a planar image (2D image).
  • the original stereoscopic image 80 in FIG. 6 is an image captured by the pupil division method, and actually includes the left-eye image 80L and the right-eye image 80R shown in FIGS. 7A and 7B.
  • the original stereoscopic image 80 of this example includes a mountain image 81 at a long distance (far view), a person image 82 at a middle distance (middle view), and a flower image 83 at a short distance (near view).
  • At least one of the left-eye image 80L and the right-eye image 80R is displayed on the monitor 30, and an instruction indicating a trimming region to be cut out from the original stereoscopic image 80 (the left-eye image 80L and the right-eye image 80R) is displayed by the operation unit 38.
  • Accept input In this example, a user instruction input is accepted. You may receive the instruction
  • FIG. 8 shows a case where a stereoscopic partial image is cut out from a trimming area 92 including a person image 82 at a medium distance from the original stereoscopic image 80.
  • the left-eye partial image 92L and the right-eye partial image 92R shown in FIGS. 9A and 9B are cut out from the left-eye image 80L and the right-eye image 80R in FIGS. 7A and 7B, respectively.
  • FIG. 10 shows a case where a stereoscopic partial image is cut out from a trimming region 93 including a short-distance flower image 83 from the original stereoscopic image 80.
  • FIG. 10 shows a case where a stereoscopic partial image is cut out from a trimming region 93 including a short-distance flower image 83 from the original stereoscopic image 80.
  • FIG. 11 shows a case where a stereoscopic partial image is cut out from a trimming area 91 including a mountain image 81 at a long distance from the original stereoscopic image 80.
  • FIG. 12 shows a case where the original stereoscopic image 80 is cut out from a trimming region 94 including a person image 82 at a medium distance and a flower image 83 at a short distance.
  • the left-eye partial image and the right-eye partial image are cut out from the left-eye image 80L and the right-eye image 80R in FIGS. 7A and 7B, respectively.
  • FIG. 13 is a flowchart showing the flow of an example of the image processing method according to the present invention. This processing is executed according to the program by the CPU 40 of FIG.
  • step S7 stereoscopic image acquisition (step S1), trimming range designation (step S2), trimming area enlargement (step S3), parallax map generation (step S4), crosspoint setting (step S5), parallax enlargement (step S6)
  • step S7 The sharpness change processing (step S7) is executed in this order. Cases in which the order is other than this are also included in the present invention.
  • an original stereoscopic image (the left-eye image 80L and the right-eye image 80R in FIGS. 7A and 7B) generated by the media control unit 52 by the pupil division method imaging and having different viewpoints (FIG. 6). 80) is acquired (step S1).
  • the operation unit 38 receives an input of a trimming range designation instruction indicating a trimming area to be cut out from the original stereoscopic image 80 (step S2). For example, as shown in FIG. 8, when the partial images 92L and 92R are cut out from the trimming area 92 including the person image in the middle scene, an instruction input for designating the range of the trimming area 92 indicated by the dotted line is accepted.
  • the partial images 92L and 92R in the trimming region 92 are cut out from the left eye image 80L and the right eye image 80R of the original stereoscopic image 80 by the image processing unit 62 (image enlarging means), and the cut out trimming region 92 is cut out.
  • the partial images 92L and 92R are enlarged (step S3). That is, the left-eye partial image 92L and the right-eye partial image 92R are each enlarged by image processing.
  • a parallax map in the partial images 92L and 92R of the enlarged trimming region is generated by the parallax map generation unit 64 (parallax information generation means) (step S4).
  • the parallax map of this example shows the parallax between corresponding points of the left-eye partial image and the right-eye partial image.
  • a cross point without parallax is set in the partial image (trimming region image) by the cross point setting unit 66 (step S5), and the partial image is generated by the parallax enlargement unit 68 based on the parallax map in the partial image. Is expanded (adjusted) (step S6).
  • the amount of parallax enlargement may be set based on the width that can be displayed on the display system.
  • a cross point is set in the person image 82, and the amount of parallax is small as it is.
  • the amount of parallax is enlarged in the entire images 92L and 92R.
  • the cross point is set in the flower image 83 and the amount of parallax is small as it is.
  • the parallax is enlarged in the entire partial image 93. Also, for example, as shown in FIG.
  • the sharpness change processing unit 70 changes the sharpness of the stereoscopic partial image in which the parallax is enlarged (step S6).
  • the sharpness change processing unit 70 of the present example adjusts the parallax after adjustment on a plurality of partial images after parallax enlargement (parallax adjustment) based on the parallax map (parallax information) after parallax enlargement (parallax adjustment) in step S6.
  • Image processing is performed to increase the sharpness as the amount is smaller, and to decrease the sharpness as the amount of parallax after adjustment is larger.
  • step S5 In addition, although the case where it performed in order of cross point setting (step S5) and parallax expansion (step S6) was demonstrated as an example, you may perform in order of parallax expansion (step S6) and cross point setting (step S5). When the cross point setting and parallax expansion are performed in this order, the maximum amount of parallax shift becomes smaller and memory is saved.
  • FIG. 14 shows the relationship between the distance in the original stereoscopic image 80 (the distance from the 3D digital camera 10 to the subject) and the parallax.
  • Reference numeral 101 indicates the distance and parallax range of the mountain image 81 as a distant view
  • reference numeral 102 indicates the distance and disparity range of the person image 82 as a middle scene
  • reference numeral 103 indicates the distance and disparity of the flower image 83 as a foreground. Indicates the range.
  • the parallax magnifying unit 68 changes the correspondence between the parallax and the distance from the straight line indicated by reference numeral 102 to the straight line indicated by reference numeral 122. Thereby, the parallax range is expanded from d20 to d22 (> d20).
  • the cross point setting unit 66 changes the correspondence between the parallax and the distance from a straight line indicated by reference numeral 103 to a straight line indicated by reference numeral 113 (dotted line).
  • the cross point setting unit 66 sets the cross point so that the average parallax of the stereoscopic partial image matches the average parallax of the original stereoscopic image.
  • the correspondence relationship between the parallax and the distance is changed from the straight line indicated by reference numeral 113 to the straight line indicated by reference numeral 123 by the parallax expansion unit 68.
  • the parallax range is expanded from d30 to d32 (> d30).
  • the cross point setting unit 66 changes the correspondence between the parallax and the distance from the straight line indicated by reference numeral 101 to the straight line indicated by reference numeral 111 (dotted line).
  • the cross point setting unit 66 sets the cross point so that the average parallax of the stereoscopic partial image matches the average parallax of the original stereoscopic image.
  • the correspondence relationship between the parallax and the distance is changed from the straight line indicated by reference numeral 111 to the straight line indicated by reference numeral 121 by the parallax enlargement unit 68.
  • the parallax range is expanded from d10 to d12 (> d10).
  • parallax magnification processing by the parallax magnification unit 68 for example, based on a parallax map (parallax information) between partial images with different viewpoints, a short-distance region and a long-distance region are classified in a stereoscopic partial image, You may perform the image process which makes a parallax magnification rate larger than the parallax magnification rate of a long-distance area
  • region For example, based on a parallax map (parallax information) between partial images with different viewpoints, a short-distance region and a long-distance region are classified in a stereoscopic partial image, You may perform the image process which makes a parallax magnification rate larger than the parallax magnification rate of a long-distance area
  • region for example, based on a parallax map (parallax information) between partial images with different viewpoints, a short-distance region and
  • the parallax enlargement unit 68 subtracts the parallax increment accompanying the enlargement of the size of the stereoscopic partial image by the image processing unit 62.
  • the parallax of the stereoscopic partial image is enlarged.
  • the cross point setting unit 66 of this example sets a point where the average parallax of the stereoscopic partial image and the average parallax of the stereoscopic image coincide with each other as a cross point.
  • a parallax map (disparity information) indicating a parallax (parallax distribution) between a left-eye partial image and a right-eye partial image in a stereoscopic partial image
  • a parallax map after parallax adjustment (for example, after parallax expansion)
  • the sharpness change processing unit 70 based on the parallax map, the parallax small area (first area) where the parallax amount (parallax magnitude) is equal to or smaller than the threshold and the parallax whose parallax amount is larger than the threshold based on the parallax map
  • the image is divided into large areas (second areas), image processing for increasing the sharpness of the small parallax area (first area), and image processing for blurring the large parallax area (second area) is performed.
  • the cross point and its neighboring area are sharpened, and an area with a large amount of parallax away from the cross point is blurred.
  • the sharpness of the three-dimensional partial image is changed based on the parallax map after parallax adjustment, using a blur function indicating the blur state of a plurality of viewpoint images resulting from the imaging of the pupil division method.
  • the blur function corresponding to the parallax map before the parallax adjustment is associated with the parallax map after the parallax adjustment, and the restoration process is performed as the shape change process based on the parallax map after the parallax adjustment.
  • the restoration process is performed using, for example, a lens blur function, a point light source blur function, or the like as the blur function.
  • the sharpness is changed by the same sharpness changing process for the entire stereoscopic partial image based on the parallax map after the parallax adjustment.
  • the representative value for example, maximum parallax
  • the representative value of the parallax amount of the adjusted stereoscopic partial image for example, maximum parallax.
  • a well-known technique can be used for the sharpness changing process.
  • a Wiener filter, a general inverse filter, a projection filter, or the like may be applied.
  • FIG. 18 shows an appearance of a smartphone 500 which is another embodiment of the portable electronic device according to the present invention.
  • a smartphone 500 illustrated in FIG. 18 includes a flat housing 502, and a display input in which a display panel 521 as a display unit and an operation panel 522 as an input unit are integrated on one surface of the housing 502. Part 520.
  • the housing 502 includes a speaker 531, a microphone 532, an operation unit 540, and a camera unit 541.
  • the configuration of the housing 502 is not limited thereto, and for example, a configuration in which the display unit and the input unit are independent, or a configuration having a folding structure or a slide mechanism can be employed.
  • FIG. 19 is a block diagram showing a configuration of the smartphone 500 shown in FIG.
  • the main components of the smartphone include a wireless communication unit 510, a display input unit 520, a call unit 530, an operation unit 540, a camera unit 541, a storage unit 550, and an external input / output unit. 560, a GPS (Global Positioning System) receiving unit 570, a motion sensor unit 580, a power supply unit 590, and a main control unit 501.
  • a wireless communication function for performing mobile wireless communication via the base station device BS and the mobile communication network NW is provided as a main function of the smartphone 500.
  • the wireless communication unit 510 performs wireless communication with the base station apparatus BS accommodated in the mobile communication network NW according to an instruction from the main control unit 501. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the display input unit 520 displays images (still images and moving images), character information, and the like visually by transmitting information to the user under the control of the main control unit 501, and detects user operations on the displayed information.
  • a so-called operation panel which includes a display panel 521 and an operation panel 522.
  • the display panel 521 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • the operation panel 522 is a device that is placed so that an image displayed on the display surface of the display panel 521 is visible and detects one or a plurality of coordinates operated by a user's finger or stylus. When this device is operated by a user's finger or stylus, a detection signal generated due to the operation is output to the main control unit 501. Next, the main control unit 501 detects an operation position (coordinates) on the display panel 521 based on the received detection signal.
  • the display panel 521 and the operation panel 522 of the smartphone 500 integrally form the display input unit 520, but the operation panel 522 is disposed so as to completely cover the display panel 521. ing.
  • the operation panel 522 may have a function of detecting a user operation even in an area outside the display panel 521.
  • the operation panel 522 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 521 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 521. May be included).
  • the operation panel 522 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 502 and the like.
  • examples of the position detection method employed in the operation panel 522 include a matrix switch method, a resistive film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, a capacitance method, and the like. You can also
  • the call unit 530 includes a speaker 531 and a microphone 532, and converts a user's voice input through the microphone 532 into voice data that can be processed by the main control unit 501, and outputs the voice data to the main control unit 501, or a wireless communication unit 510 or the audio data received by the external input / output unit 560 is decoded and output from the speaker 531.
  • the speaker 531 can be mounted on the same surface as the display input unit 520 and the microphone 532 can be mounted on the side surface of the housing 502.
  • the operation unit 540 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 540 is mounted on the lower and lower side of the display unit of the housing 502 of the smartphone 500 and turns on when pressed with a finger or the like, and restores a spring or the like when the finger is released. It is a push button type switch that is turned off by force.
  • the storage unit 550 includes a control program and control data of the main control unit 501, application software, address data that associates the name and telephone number of a communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, The downloaded content data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 550 includes an internal storage unit 551 with a built-in smartphone and an external storage unit 552 having a removable external memory slot.
  • Each of the internal storage unit 551 and the external storage unit 552 constituting the storage unit 550 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), It is realized using a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • flash memory type flash memory type
  • hard disk type hard disk type
  • multimedia card micro type multimedia card micro type
  • a storage medium such as a card type memory (for example, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input / output unit 560 serves as an interface with all external devices connected to the smartphone 500, and communicates with other external devices (for example, universal serial bus (USB), IEEE1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wide Band) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of external devices connected to the smartphone 500 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • a wirelessly connected smart phone a wired / wireless personal computer, a wired / wireless PDA (personal digital assistant), a wired / wireless personal computer, an earphone, and the like.
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 500, or may allow data inside the smartphone 500 to be transmitted to the external device. it can.
  • the GPS receiving unit 570 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 501, performs positioning calculation processing based on the received GPS signals, and calculates the latitude of the smartphone 500 Detect the position consisting of longitude and altitude.
  • the GPS reception unit 570 can acquire position information from the wireless communication unit 510 or the external input / output unit 560 (for example, a wireless LAN), the GPS reception unit 570 can also detect the position using the position information.
  • the motion sensor unit 580 includes a triaxial acceleration sensor, for example, and detects the physical movement of the smartphone 500 in accordance with an instruction from the main control unit 501. By detecting the physical movement of the smartphone 500, the moving direction and acceleration of the smartphone 500 are detected. This detection result is output to the main control unit 501.
  • the power supply unit 590 supplies power stored in a battery (not shown) to each unit of the smartphone 500 in accordance with an instruction from the main control unit 501.
  • the main control unit 501 includes a microprocessor, operates according to a control program and control data stored in the storage unit 550, and controls each unit of the smartphone 500 in an integrated manner. Further, the main control unit 501 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 510.
  • the application processing function is realized by the main control unit 501 operating according to the application software stored in the storage unit 550.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 560 to perform data communication with the opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 501 has an image processing function such as displaying video on the display input unit 520 based on image data (still image data or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 501 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 20.
  • the main control unit 501 executes display control for the display panel 521 and operation detection control for detecting a user operation through the operation unit 540 and the operation panel 522.
  • the main control unit 501 By executing the display control, the main control unit 501 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for receiving an instruction to move the display portion of a large image that does not fit in the display area of the display panel 21.
  • the main control unit 501 detects a user operation through the operation unit 540, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 522. Or a display image scroll request through a scroll bar.
  • the main control unit 501 causes the operation position with respect to the operation panel 522 to overlap with the display panel 521 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 521. And an operation panel control function for controlling the sensitive area of the operation panel 522 and the display position of the software key.
  • the main control unit 501 can also detect a gesture operation on the operation panel 522 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 541 is a digital camera that performs electronic photography using an image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge-Coupled Device).
  • the camera unit 541 converts image data obtained by imaging into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 501, and records the data in the storage unit 550.
  • the data can be output through the output unit 560 and the wireless communication unit 510.
  • the camera unit 541 is mounted on the same surface as the display input unit 520, but the mounting position of the camera unit 541 is not limited to this and may be mounted on the back surface of the display input unit 520.
  • a plurality of camera units 541 may be mounted. Note that in the case where a plurality of camera units 541 are mounted, the camera unit 541 used for shooting can be switched to perform shooting alone, or a plurality of camera units 541 can be used for shooting simultaneously.
  • the camera unit 541 can be used for various functions of the smartphone 500.
  • an image acquired by the camera unit 541 can be displayed on the display panel 521, or the image of the camera unit 541 can be used as one of operation inputs of the operation panel 522.
  • the GPS receiving unit 570 detects the position, the position can also be detected with reference to an image from the camera unit 541.
  • the optical axis direction of the camera unit 541 of the smartphone 500 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 541 can be used in the application software.
  • the main control unit 501 includes the functions of the image processing unit 62, the parallax map generation unit 64, the cross point setting unit 66, the parallax enlargement unit 68, the sharpness change processing unit 70, the CPU 40, and the like described above with reference to FIG.
  • the position information acquired by the GPS receiver 570 to the image data of the still image or the moving image, the voice information acquired by the microphone 532 (the text information may be converted into voice information by the main control unit or the like), Posture information and the like acquired by the motion sensor unit 580 can be added and recorded in the storage unit 550 or output through the input / output unit 560 and the wireless communication unit 510.
  • the present invention provides a computer-readable program code for causing the device as exemplified above to perform the above processing, and a non-transitory and computer-readable recording medium storing the program code (for example, an optical disc (eg, CD (Compact Disc), DVD (Digital Versatile Disc), BD (Blu-ray Disc)), magnetic disc (eg, hard disk, magneto-optical disc)), and executable for the method It can be provided as a computer program product that stores code.
  • an optical disc eg, CD (Compact Disc), DVD (Digital Versatile Disc), BD (Blu-ray Disc)
  • magnetic disc eg, hard disk, magneto-optical disc

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　本発明に係る画像処理方法は、瞳分割方式の撮像により得た立体画像の複数の視点画像に対して指示されたトリミング領域に対応する部分画像を各視点画像から切り出して複数の部分画像からなる立体部分画像を生成し、部分画像間の視差を示す視差情報を生成し、視差情報に基づいて部分画像間の視差を調整し、視差調整後の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする。

Description

画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
　本発明は、瞳分割方式の撮像により生成された立体画像をトリミングした場合に、立体画像のトリミング領域から切り出した立体部分画像の立体感を損ねないようにすることができる画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラムに関する。
　視差のある複数の視点画像を観察者の左右の目にそれぞれ同時に見せることにより、観察者に複数の視点画像を立体視させる表示装置が知られている。
　特許文献１には、複数の視点画像をトリミングして表示する際に、ユーザによって入力された視差調整量をデジタルズーム倍率に基づいて修正することで、適切な立体感を保ったままデジタルズームを行うことのできる構成が開示されている。
　特許文献２には、被写体の距離情報又は被写体の視差量に基づいて、左右画像の視差が所定の範囲になるように絞りのＦ値を制御することで、目に負担のかからない自然な左、右画像を取得する構成が開示されている。
　特許文献３には、視点画像の特徴点における視差量に基づいて、前景や背景に生じる視差量をその視差量に応じて重み付け調整する（強弱をつける）ことで、特に立体表示プリント上で好ましい立体感のある視差画像を表示可能にする構成が開示されている。
特開２０１１－２９７００号公報 特開２０１１－１９９５０２号公報 特開２０１１－２１１７１７号公報
　しかしながら、ユーザから指示入力された任意の範囲で立体画像をトリミングする際に、トリミング範囲が狭いと立体感が著しく損なわれてしまう問題があり、特に、瞳分割方式の撮像により生成された立体画像のトリミングでは、全体的にボケた画像になり更に立体感が損なわれてしまう場合がある。
　本発明はこのような事情に鑑みてなされたもので、瞳分割方式の撮像により生成された立体画像をトリミングした場合に、立体画像のトリミング領域から切り出した部分画像の立体感を損ねないようにすることができる画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラムを提供することを目的とする。
　上記目的を達成するために、本発明は、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得する画像取得手段と、立体画像の複数の視点画像から切り出すトリミング領域を示す指示を入力する指示入力手段と、立体画像の複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段と、複数の部分画像の部分画像間における視差を示す視差情報を生成する視差情報生成手段と、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整する視差調整手段と、視差調整手段による調整結果に基づいて、視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うシャープネス変更処理手段と、を備えた画像処理装置を提供する。
　本発明によれば、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像をトリミングする際に、複数の視点画像間におけるトリミング領域（視点の異なる複数の部分画像）の視差情報が生成される。そして、その視差情報に基づいて、複数の部分画像の部分画像間の視差が調整され、かつ、視差の調整結果に基づいて複数の部分画像のシャープネスが変更される。したがって、瞳分割方式の撮像に起因してボケた領域を切り出す場合でも、適切にシャープネスが変更された、立体感を損なわない立体部分画像が得られる。
　一態様では、立体部分画像内に視差の無いクロスポイントを設定するクロスポイント設定手段を備える。これにより、クロスポイントよりも近距離の被写体像の領域を切り出す場合や、クロスポイントよりも遠距離の被写体像の領域を切り出す場合でも、適切な視差の立体部分画像を得ることができる。
　一態様では、クロスポイント設定手段は、立体部分画像の平均視差と立体画像の平均視差とが一致する点をクロスポイントに設定する。これにより、適切なクロスポイントが自動的に設定された立体部分画像が得られる。尚、平均視差が「一致」するとは、「ほぼ一致の状態」を含む。
　一態様では、シャープネス変更処理手段は、視差調整後の視差情報に基づいて、立体部分画像を第１の領域と第１の領域よりも視差量が大きい第２の領域とに区分けし、第１の領域のシャープネスを強くし、かつ、第１の領域よりも視差量が大きい第２の領域のシャープネスを弱くする。これにより、立体部分画像を立体表示した際に、視差量が小さい領域の被写体像はシャープネスが強くなり、視差量が大きい領域の被写体像はシャープネスが弱くなる。したがって、視差量が小さい領域の立体感を保ち、かつ、視差量が大きい領域は二重像を目立たないようにできる。
　一態様では、シャープネス変更処理手段は、瞳分割方式の撮像に起因した複数の視点画像のボケの状態を示すボケ関数を用いて、立体部分画像のシャープネスを変更する。これにより、ボケの分布に応じて、適切に立体部分画像のシャープネスを変更することができる。
　一態様では、シャープネス変更処理手段は、立体部分画像の全体のシャープネスを変更する。
　一態様では、視差調整手段は、部分画像間の視差を拡大する処理を行う場合、視差情報に基づいて、立体部分画像内における視差の無いクロスポイントよりも近距離の領域、及びクロスポイントよりも遠距離の領域を検出し、近距離の領域の視差拡大率を遠距離の領域の視差拡大率よりも大きくする。これにより、近距離の領域の被写体像の視差量が遠距離の領域の被写体像の視差量よりも増すことで、観察者がより立体感を体感し易くなる。
　一態様では、立体部分画像のサイズを拡大する画像拡大手段を備え、視差調整手段は、部分画像間の視差を拡大する処理を行う場合、画像拡大手段による立体部分画像のサイズの拡大に伴う視差量の増分を差し引いて、立体部分画像の視差の拡大率を決定する。
　また、本発明は、上記の画像処理装置と、瞳分割方式の撮像を行う撮像手段と、を備えた撮像装置を提供する。
　また、本発明は、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、立体画像の複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、立体画像の複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整するステップと、視差の調整結果に基づいて、視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、を備えた画像処理方法を提供する。
　また、本発明は、コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、プロセッサが、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップとを実行する、記録媒体を提供する。
　また、本発明は、瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、立体画像の複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、立体画像の複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整するステップと、視差の調整結果に基づいて、視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、をコンピュータに実行させるプログラムを提供する。
　本発明によれば、瞳分割方式の撮像により生成された立体画像をトリミングした場合に、立体画像のトリミング領域から切り出した立体部分画像の立体感を損ねないようにすることができる。
本発明に係る画像処理装置が適用された３Ｄデジタルカメラの実施の形態を示す正面斜視図 上記３Ｄデジタルカメラの背面図 上記３Ｄデジタルカメラの撮像素子の構成例を示す図 上記３Ｄデジタルカメラの撮像素子の構成例を示す図（主画素） 上記３Ｄデジタルカメラの撮像素子の構成例を示す図（副画素） 上記撮像素子の要部拡大図 上記撮像素子の要部拡大図 上記３Ｄデジタルカメラの内部構成の実施形態を示すブロック図 近景に花画像、中景に人物画像、遠景に山画像を含む立体画像の一例を示す説明図 原立体画像を構成する左目用画像の一例を示す説明図 原立体画像を構成する右目用画像の一例を示す説明図 原立体画像のうちの中距離の画像を含むトリミング領域から切り出す場合を示す説明図 切り出された左目用部分画像の一例を示す説明図 切り出された右目用部分画像の一例を示す説明図 原立体画像のうちの近距離の画像を含むトリミング領域から切り出す場合を示す説明図 原立体画像のうちの遠距離の画像を含むトリミング領域から切り出す場合を示す説明図 原立体画像のうちの中距離及び近距離の画像を含むトリミング領域から切り出す場合を示す説明図 本発明に係る画像処理方法の一例の処理の流れを示すフローチャート 原立体画像における距離と視差との関係を示す説明図 中景のトリミング領域から部分画像を切り出した場合のクロスポイント設定及び視差拡大の説明図 近景のトリミング領域から部分画像を切り出した場合のクロスポイント設定及び視差拡大の説明図 遠景のトリミング領域から部分画像を切り出した場合のクロスポイント設定及び視差拡大の説明図 本発明に係る画像処理装置の他の実施形態であるスマートフォンの外観図 上記スマートフォンの構成を示すブロック図
　以下、添付図面に従って、本発明の実施形態について、詳細に説明する。
　以下、添付図面に従って本発明に係る画像処理装置、画像処理方法、立体撮像装置、及び携帯電子機器の実施の形態について説明する。
　＜立体撮像装置の全体構成＞
　図１は本発明に係る画像処理装置が適用された３Ｄデジタルカメラ（立体撮像装置）の実施の形態を示す正面斜視図である。図２は上記３Ｄデジタルカメラの背面図である。この３Ｄデジタルカメラ１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換してメモリカード等の記録メディアに記録するデジタルカメラである。
　図１に示すように、３Ｄデジタルカメラ１０は、その正面に撮影レンズ１２、フラッシュ１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、カメラ背面には、３Ｄ表示用の３Ｄ液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。
　撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。フラッシュ１は、主要被写体に向けてフラッシュ光を照射するものである。
　シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。３Ｄデジタルカメラ１０は、撮影モードで駆動しているときは、このシャッタボタン２が「半押し」されることにより、ＡＥ／ＡＦ（自動露出調整／自動合焦）が作動し、「全押し」されることにより、撮影を実行する。また、３Ｄデジタルカメラ１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。
　電源／モードスイッチ３は、３Ｄデジタルカメラ１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、３Ｄデジタルカメラ１０のモードを設定するモードスイッチとしての機能とを併せ持っている。電源／モードスイッチ３は、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。３Ｄデジタルカメラ１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。
　モードダイヤル４は、３Ｄデジタルカメラ１０の撮影モードを設定する撮影モード設定手段として機能する。このモードダイヤルの設定位置により、３Ｄデジタルカメラ１０の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体画像（３Ｄ画像）の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。
　３Ｄ液晶モニタ３０は、立体画像（左目用画像及び右目用画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体画像が３Ｄ液晶モニタ３０に入力された場合には、３Ｄ液晶モニタ３０のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。尚、３Ｄ液晶モニタ３０の形態はこれに限らず、左目用画像及び右目用画像を立体画像として認識可能に表示させるものであればよい。３Ｄ液晶モニタ３０の形態は、例えば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをユーザがかけることで左目用画像と右目用画像とを個別に見ることができるものでもよい。
　ズームボタン５は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。３Ｄデジタルカメラ１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。
　十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。
　ＭＥＮＵ／ＯＫボタン７は、３Ｄ液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。
　再生ボタン８は、撮影記録した立体画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を３Ｄ液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。
　ＢＡＣＫボタン９は、入力操作のキャンセルや１つ前の操作状態に戻すことを指示するボタンとして機能する。
　＜撮影光学系、撮像素子の構成例＞
　図５に示すように、フォーカスレンズ１２Ａ、ズームレンズ１２Ｂは、多数のレンズから構成される撮像光学系（撮影レンズ１２）を構成する。絞り１４は、例えば、５枚の絞り羽根からなり、例えば、絞り値（Ｆ値）をＦ２～Ｆ８まで連続的又は段階的に絞り制御される。メカシャッタ１５は、シャッタ駆動部３５によって駆動され、撮像素子１６に入射する光の遮光及び非遮光を切り替える。撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して撮像素子１６の受光面に結像される。
　図３Ａから図３Ｃは撮像素子１６の構成例を示す図である。
　撮像素子１６は、視差を有する画像（複数の視点画像）検出用のＣＣＤ（Charge Coupled Device）イメージセンサとして構成されており、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有する。これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。
　図３Ａから図３Ｃに示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。
　図４Ａ及び図４Ｂは位相差イメージセンサとして機能する撮像素子１６の要部拡大図である。
　図４Ａに示すように撮像素子１６の主画素のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設される。一方、図４Ｂに示すように副画素のフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ、及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有し、図４Ａに示すように遮光部材１６Ａは、主画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、主画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の左側のみが受光される。また、図４Ｂに示すように遮光部材１６Ｂは、副画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、副画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ主画素、副画素に入射する。
　また、撮影レンズ１２の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている部分は、撮像素子１６上の同じ位置に結像するが、前ピン又は後ピンの部分は、それぞれ撮像素子１６上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目用画像、右目用画像）として取得することができる。尚、この実施の形態の撮像素子１６は、ＣＣＤイメージセンサであるが、これに限定されるものではない。撮像素子１６は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサでもよい。
　＜立体撮像装置の内部構成＞
　図５は上記３Ｄデジタルカメラ１０の内部構成の一実施形態を示すブロック図である。この３Ｄデジタルカメラ１０は、撮像した画像を外部記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。
　３Ｄデジタルカメラ１０には、シャッタボタン２、モードダイヤル４、再生ボタン８、ＭＥＮＵ／ＯＫボタン７、十字ボタン６、ズームボタン５、ＢＡＣＫボタン９を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて３Ｄデジタルカメラ１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、３Ｄ液晶モニタ３０の表示制御などを行う。操作部３８は、立体画像を構成する複数の視点画像から切り出すトリミング領域を示す指示の入力を受け付ける。
　電源／モードスイッチ３により３Ｄデジタルカメラ１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、３Ｄデジタルカメラ１０の駆動が開始される。
　フォーカスレンズ１２Ａ、ズームレンズ１２Ｂ、絞り１４等を通過した光束は撮像素子１６に結像され、撮像素子１６には信号電荷が蓄積される。撮像素子１６に蓄積された信号電荷は、タイミングジェネレータ３７から加えられる読み出し信号に基づく撮像素子制御部３６による制御にしたがって、信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、撮像素子信号処理部１８に加えられる。
　撮像素子信号処理部１８は、撮像素子１６から出力された電圧信号に対して、各種の信号処理を行い、画像入力コントローラ２２に出力する。尚、本例では、撮像素子１６にＡ／Ｄ変換器が内蔵されている。
　撮像素子信号処理部１８は、デジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（同時化処理）、ＹＣ処理、エッジ強調処理等の所定の信号処理を行う。
　ここで、撮像素子１６の奇数ラインの主画素から読み出される主画像データは、左目用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右目用画像データとして処理される。
　撮像素子信号処理部１８で処理された左目用画像データ及び右目用画像データ（３Ｄ画像データ）は、画像入力コントローラ２２を介して、メモリ４８に入力される。
　メモリ４８から読み出された３Ｄ画像データは、表示制御部２８においてエンコーディングされ、カメラ背面に設けられているモニタ３０（３Ｄ液晶表示デバイス）に出力される。これにより、３Ｄの被写体像が連続的にモニタ３０の表示画面上に表示される。
　操作部３８のシャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させる。そして、フォーカスレンズ駆動部３２を介してフォーカスレンズ１２Ａを光軸方向に移動させ、フォーカスレンズ１２Ａが合焦位置にくるように制御する。
　ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左目用画像及び右目用画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるようにフォーカスレンズ１２Ａを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左目用画像及び右目用画像のうちの所定のフォーカス領域内の主画素、副画素に対応する画像の位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるようにフォーカスレンズ１２Ａを制御することによりＡＦ制御が行われる。
　ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてズームレンズ駆動部３３を介してズームレンズ１２Ｂを光軸方向に進退動作させ、焦点距離を変更させる。
　また、シャッタボタン２の半押し時に撮像素子信号処理部１８から出力される画像データは、ＡＥ処理部４４に取り込まれる。
　ＡＥ処理部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ処理部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて、絞り駆動部３４に対して設定する絞り１４のＦ値、及びタイミングジェネレータ３７に対して設定する撮像素子１６の電子シャッタ（シャッタ速度）を、所定のプログラム線図にしたがって決定する。
　ＡＷＢ処理部４５は、画像を解析し、画像に対してホワイトバランス処理を行う。
　尚、図５において、被写体検出部４６は、撮影画角内の特定の被写体（例えば顔画像）を検出し、その被写体を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の被写体検出回路である（例えば、特開平９－１０１５７９号公報）。
　また、メモリ４８は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルに加えて、本発明に係る左目用画像及び右目用画像の立体感を補正（視差補正）するための画像処理プログラム、フィルタ係数算出用の計算式又はルックアップテーブル、視差や視差強調の度合いに応じた計算式のパラメータ、又はルックアップテーブルを決定するための情報が記憶されているＲＯＭ（Read-Only Memory）（ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory））を含む。尚、本発明に係る画像処理プログラム等の詳細については後述する。
　シャッタボタン２の半押しによりＡＥ動作及びＡＦ動作が終了し、シャッタボタン２の第２段階の押下（全押し）があると、その押下に応答して撮像素子１６から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２からメモリ４８に入力し、一時的に記憶される。
　メモリ４８に一時的に記憶された２枚分の画像データは、撮像素子信号処理部１８により適宜読み出され、ここで、デモザイク処理（同時化処理；原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、本発明に係る視差補正及びエッジ強調の画像処理、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。
　メモリ４８に記憶された２枚分のＹＣデータは、それぞれ圧縮／伸長処理部２６に出力され、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。メモリ４８に記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成される。そのＭＰファイルは、メディア制御部５２により読み出され、外部記録メディア５４に記録される。
　フラッシュ１のフラッシュライト５６は、フラッシュ制御部５８の制御により、発光する。
　画像処理部６２は、各種の画像処理を行う回路等によって構成されている。
　本例の画像処理部６２は、立体画像を構成する複数の視点画像のそれぞれからトリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段を構成している。また、本例の画像処理部６２は、立体部分画像のサイズを拡大する画像拡大手段を構成している。
　視差マップ生成部６４は、複数の部分画像の部分画像間における視差（視差分布）を示す視差マップ（視差情報）を生成する視差情報生成手段を構成している。
　クロスポイント設定部６６は、立体部分画像内に視差の無いクロスポイントを設定するクロスポイント設定手段を構成する。本例のクロスポイント設定部６６は、立体部分画像の平均視差と立体画像の平均視差とが一致する点をクロスポイントに設定する機能を有する。
　視差拡大部６８は、視差情報に基づいて、複数の部分画像の部分画像間の視差を調整する視差調整手段を構成する。
　シャープネス変更処理部７０は、視差拡大部６８による視差調整結果に基づいて、視差調整後の複数の部分画像のシャープネスを変更する画像処理を行うシャープネス変更処理手段を構成する。本例のシャープネス変更処理部７０は、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする。
　尚、３Ｄデジタルカメラ１０は、立体画像（３Ｄ画像）のみでなく、平面画像（２Ｄ画像）の取得も可能である。
　＜立体画像のトリミング例＞
　次に、立体画像のトリミング例を説明する。
　図６の原立体画像８０は、瞳分割方式により撮像された画像であり、実際には、図７Ａ及び図７Ｂに示す左目用画像８０Ｌと右目用画像８０Ｒとからなる。本例の原立体画像８０は、遠距離（遠景）の山画像８１、中距離（中景）の人物画像８２、近距離（近景）の花画像８３を含む。
　例えば、モニタ３０に左目用画像８０Ｌ及び右目用画像８０Ｒの少なくとも一方を表示させて、操作部３８によって、原立体画像８０（左目用画像８０Ｌ及び右目用画像８０Ｒ）から切り出すトリミング領域を示す指示の入力を受け付ける。本例では、ユーザの指示入力を受け付ける。他の装置から通信により指示の入力を受け付けてもよい。
　図８は、原立体画像８０から中距離の人物画像８２を含むトリミング領域９２から立体部分画像を切り出す場合を示す。実際には、図７Ａ及び図７Ｂの左目用画像８０Ｌ及び右目用画像８０Ｒから、それぞれ、図９Ａ及び図９Ｂに示す左目用部分画像９２Ｌ及び右目用部分画像９２Ｒが、切り出される。図１０は、原立体画像８０から近距離の花画像８３を含むトリミング領域９３から立体部分画像を切り出す場合を示す。図１１は、原立体画像８０から遠距離の山画像８１を含むトリミング領域９１から立体部分画像を切り出す場合を示す。図１２は、原立体画像８０のうちで中距離の人物画像８２及び近距離の花画像８３を含むトリミング領域９４から切り出す場合を示す。いずれの場合も、図７Ａ及び図７Ｂの左目用画像８０Ｌ及び右目用画像８０Ｒから、それぞれ、左目用部分画像及び右目用部分画像が、切り出される。
　＜画像処理方法の一例＞
　図１３は、本発明に係る画像処理方法の一例の処理の流れを示すフローチャートである。本処理は、図５のＣＰＵ４０によって、プログラムに従い実行される。
　図１３では、立体画像取得（ステップＳ１）、トリミング範囲指定（ステップＳ２）、トリミング領域拡大（ステップＳ３）、視差マップ生成（ステップＳ４）、クロスポイント設定（ステップＳ５）、視差拡大（ステップＳ６）、シャープネス変更処理（ステップＳ７）の順番で実行される。これ以外の順番で行う場合も本発明に含まれる。
　まず、メディア制御部５２によって、瞳分割方式の撮像により生成された視点の異なる複数の視点画像（図７Ａ及び図７Ｂの左目用画像８０Ｌ及び右目用画像８０Ｒ）からなる原立体画像（図６の８０）が取得される（ステップＳ１）。
　次に、操作部３８（指示入力手段）によって、原立体画像８０から切り出すトリミング領域を示すトリミング範囲指定の指示の入力を受け付ける（ステップＳ２）。例えば、図８に示すように、中景の人物画像を含むトリミング領域９２から部分画像９２Ｌ，９２Ｒを切り出す場合、点線で示したトリミング領域９２の範囲を指定する指示入力を受け付ける。
　次に、画像処理部６２（画像拡大手段）によって、原立体画像８０の左目用画像８０Ｌ及び右目用画像８０Ｒのそれぞれからトリミング領域９２内の部分画像９２Ｌ，９２Ｒを切り出し、その切り出したトリミング領域９２内の部分画像９２Ｌ，９２Ｒを拡大する（ステップＳ３）。即ち、左目用部分画像９２Ｌ及び右目用部分画像９２Ｒが、それぞれ、画像処理により拡大される。
　次に、視差マップ生成部６４（視差情報生成手段）によって、拡大されたトリミング領域の部分画像９２Ｌ、９２Ｒにおける視差マップを生成する（ステップＳ４）。本例の視差マップは、左目用部分画像と右目用部分画像との対応点間の視差を示す。
　次に、クロスポイント設定部６６によって、部分画像（トリミング領域の画像）内に視差の無いクロスポイントを設定し（ステップＳ５）、視差拡大部６８によって、部分画像における視差マップに基づいて、部分画像の視差を拡大（調整）する（ステップＳ６）。視差拡大する量の設定は、表示系で表示できる幅を基準にして行えばよい。
　例えば、図８に示すように、原立体画像８０から中距離の人物画像８２を中心にトリミングした場合には、人物画像８２にクロスポイントが設定されており、そのままでは視差量が小さいので、部分画像９２Ｌ、９２Ｒの全体で視差量を拡大する。また、例えば、図１０に示すように、原立体画像８０から近距離の花画像８３を中心にトリミングした場合には、花画像８３にクロスポイントを設定し、かつ、そのままでは視差量が小さいので、部分画像９３の全体で視差を拡大する。また、例えば、図１１に示すように、原立体画像８０から遠距離の山画像８１を中心にトリミングした場合には、山画像８１にクロスポイントを設定し、かつ、そのままでは視差量が小さいので、部分画像９１の全体で視差を拡大する。
　次に、シャープネス変更処理部７０によって、視差が拡大された立体部分画像のシャープネスを変更する（ステップＳ６）。本例のシャープネス変更処理部７０は、ステップＳ６の視差拡大（視差調整）後の視差マップ（視差情報）に基づいて、視差拡大（視差調整）後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行う。
　尚、クロスポイント設定（ステップＳ５）、視差拡大（ステップＳ６）の順で行う場合を例に説明したが、視差拡大（ステップＳ６）、クロスポイント設定（ステップＳ５）の順で行ってもよい。クロスポイント設定、視差拡大の順で行った方が、視差の最大ずらし量が小さくなり、メモリの節約になる。
　＜クロスポイント設定及び視差拡大＞
　クロスポイント設定部６６によるクロスポイント設定（ステップＳ５）及び視差拡大部６８による視差拡大（ステップＳ６）の例を、図１４～図１７を用いて説明する。
　図１４は、原立体画像８０における距離（３Ｄデジタルカメラ１０から被写体までの距離）と視差との関係を示す。符号１０１は遠景としての山画像８１の距離及び視差の範囲を示し、符号１０２は中景としての人物画像８２の距離及び視差の範囲を示し、符号１０３は近景としての花画像８３の距離及び視差の範囲を示す。
　図８に示すように中景の人物画像８２を含むトリミング領域９２から立体部分画像を切り出した場合、図１５に示すようにクロスポイント設定及び視差拡大が行われる。本例では、視差拡大部６８によって、視差と距離との対応関係を、符号１０２で示す直線から、符号１２２で示す直線に変化させる。これにより、視差範囲がｄ２０からｄ２２（＞ｄ２０）に拡大する。
　図１０に示すように近景の花画像８３を含むトリミング領域９３から部分画像を切り出した場合、図１６に示すようにクロスポイント設定及び視差拡大が行われる。本例では、まず、クロスポイント設定部６６によって、視差と距離との対応関係を、符号１０３で示す直線から、符号１１３で示す直線（点線）に変化させる。ここで、クロスポイント設定部６６は、立体部分画像の平均視差と原立体画像の平均視差とが一致するようにクロスポイントを設定する。次に、視差拡大部６８によって、視差と距離との対応関係を、符号１１３で示す直線から、符号１２３で示す直線に変化させる。これにより、視差範囲がｄ３０からｄ３２（＞ｄ３０）に拡大する。
　図１１に示すように遠景の山画像８１を含むトリミング領域９１から部分画像を切り出した場合、図１７に示すようにクロスポイント設定及び視差拡大が行われる。本例では、まず、クロスポイント設定部６６によって、視差と距離との対応関係を、符号１０１で示す直線から、符号１１１で示す直線（点線）に変化させる。ここで、クロスポイント設定部６６は、立体部分画像の平均視差と原立体画像の平均視差とが一致するようにクロスポイントを設定する。次に、視差拡大部６８によって、視差と距離との対応関係を、符号１１１で示す直線から、符号１２１で示す直線に変化させる。これにより、視差範囲がｄ１０からｄ１２（＞ｄ１０）に拡大する。
　視差拡大部６８による視差拡大処理としては、例えば、視点が異なる部分画像間の視差マップ（視差情報）に基づいて、立体部分画像内に近距離領域及び遠距離領域を区分し、近距離領域の視差拡大率を遠距離領域の視差拡大率よりも大きくする画像処理を行ってもよい。
　また、画像処理部６２（画像拡大手段）により立体部分画像のサイズを拡大する場合には、視差拡大部６８は、画像処理部６２による立体部分画像のサイズの拡大に伴う視差の増分を差し引いて、立体部分画像の視差を拡大する。
　また、本例のクロスポイント設定部６６は、立体部分画像の平均視差と立体画像の平均視差とが一致する点をクロスポイントに設定する。
　＜シャープネス変更処理＞
　シャープネス変更処理部７０のシャープネス変更処理には、各種の態様がある。
　第１に、立体部分画像における左目用部分画像と右目用部分画像との間の視差（視差分布）を示す視差マップ（視差情報）であって視差調整後（例えば視差拡大後）の視差マップに基づいて、立体部分画像のうち調整後の視差量が小さい部分のシャープネスを強くし、調整後の視差量が大きい部分のシャープネスを弱くする態様がある。
　例えば、シャープネス変更処理部７０は、視差マップに基づいて、立体部分画像を視差量（視差の大きさ）が閾値以下の視差小領域（第１の領域）と、視差量が閾値よりも大きい視差大領域（第２の領域）とに区分けし、視差小領域（第１の領域）のシャープネスを強くする画像処理を行い、かつ、視差大領域（第２の領域）をぼかす画像処理を行う。例えば、クロスポイント及びその近傍領域はシャープにし、クロスポイントから離れた視差量が大きい領域はぼかす。
　第２に、瞳分割方式の撮像に起因した複数の視点画像のボケの状態を示すボケ関数を用いて、視差調整後の視差マップに基づいて立体部分画像のシャープネスを変更する態様がある。例えば、視差調整前の視差マップに対応したボケ関数を視差調整後の視差マップに対応付けて、視差調整後の視差マップに基づいて、シェープネス変更処理として復元処理を行う。
　ボケ関数として、例えば、レンズのボケ関数、点光源のボケ関数などを利用して、復元処理を行う。
　第３に、視差調整後の視差マップに基づいて、立体部分画像の全体を同一のシャープネス変更処理でシャープネスを変更する態様がある。例えば、調整後の立体部分画像の視差量の代表値（例えば最大視差）が小さいほど立体部分画像の全体のシャープネスを強くし、調整後の立体部分画像の視差量の代表値（例えば最大視差）が大きいほど立体部分画像の全体のシャープネスを弱くする。
　シャープネス変更処理は、周知の技術を用いることができる。ウィーナーフィルタ、一般逆フィルタ、射影フィルタ等を適用してもよい。
　＜スマートフォンの構成＞
　図１８は、本発明に係る携帯型電子機器の他の実施形態であるスマートフォン５００の外観を示すものである。図１８に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
　図１９は、図１８に示すスマートフォン５００の構成を示すブロック図である。図１９に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
　無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
　表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆる操作パネルであって、表示パネル５２１と、操作パネル５２２とを備える。
　表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
　図１８に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１８に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。
　操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１８に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ（携帯情報通信端末）、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
　電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
　また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０に表示する機能のことをいう。
　更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御する操作パネル制御機能を備える。
　また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することができる。図１８に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
　また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　主制御部５０１は、前述した、図５の画像処理部６２、視差マップ生成部６４、クロスポイント設定部６６、視差拡大部６８、シャープネス変更処理部７０、ＣＰＵ４０などの機能を備える。
　その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、入出力部５６０や無線通信部５１０を通じて出力することもできる。
　本発明は、上記に例示したようなデバイスに上記の処理を行わせるためのコンピュータ読取可能なプログラムコード、該プログラムコードが格納される非一次的（non-transitory）かつコンピュータ読取可能な記録媒体（例えば、光ディスク（例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc））、磁気ディスク（例えば、ハードディスク、光磁気ディスク））、及び該方法のための実行可能なコードを格納するコンピュータ・プログラム・プロダクトとして提供することができる。
　なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
　１０…３Ｄデジタルカメラ（画像処理装置）、１６…撮像素子、３０…ＬＣＤ、４０…ＣＰＵ、６２…画像処理部、６４…視差マップ生成部、６６…クロスポイント設定部、６８…視差拡大部、７０…シャープネス変更処理部、５００…スマートフォン

Claims (12)

  1. 　瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得する画像取得手段と、
    　前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力する指示入力手段と、
    　前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するトリミング手段と、
    　前記複数の部分画像の部分画像間における視差を示す視差情報を生成する視差情報生成手段と、
    　前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整する視差調整手段と、
    　前記視差調整手段による調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うシャープネス変更処理手段と、
    　を備えた画像処理装置。
  2. 　前記立体部分画像内に視差の無いクロスポイントを設定するクロスポイント設定手段を備えた請求項１に記載の画像処理装置。
  3. 　前記クロスポイント設定手段は、前記立体部分画像の平均視差と前記立体画像の平均視差とが一致する点をクロスポイントに設定する請求項２に記載の画像処理装置。
  4. 　前記シャープネス変更処理手段は、前記視差情報に基づいて、前記立体部分画像を第１の領域と前記第１の領域よりも視差量が大きい第２の領域とに区分けし、前記第１の領域内の画像のシャープネスを強くし、かつ、前記第１の領域よりも視差量が大きい前記第２の領域内の画像のシャープネスを弱くする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　前記シャープネス変更処理手段は、前記瞳分割方式の撮像に起因した前記複数の視点画像のボケの状態を示すボケ関数を用いて、前記立体部分画像のシャープネスを変更する請求項１または２に記載の画像処理装置。
  6. 　前記シャープネス変更処理手段は、前記立体部分画像の全体のシャープネスを変更する請求項１から３のいずれか１項に記載の画像処理装置。
  7. 　前記視差調整手段は、前記部分画像間の視差を拡大する処理を行う場合、前記視差情報に基づいて、前記立体部分画像内における視差の無いクロスポイントよりも近距離の領域、及び前記クロスポイントよりも遠距離の領域を検出し、前記近距離の領域の視差拡大率を前記遠距離の領域の視差拡大率よりも大きくする請求項１から６のいずれかに記載の画像処理装置。
  8. 　前記立体部分画像のサイズを拡大する画像拡大手段を備え、
    　前記視差調整手段は、前記部分画像間の視差を拡大する処理を行う場合、前記画像拡大手段による前記立体部分画像のサイズの拡大に伴う視差量の増分を差し引いて、前記立体部分画像の視差の拡大率を決定する請求項１から７のいずれか１項に記載の画像処理装置。
  9. 　請求項１から８のいずれか１項に記載の画像処理装置と、
    　前記瞳分割方式の撮像を行う撮像手段と、
    　を備えた撮像装置。
  10. 　瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、
    　前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、
    　前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、
    　前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、
    　前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、
    　前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、
    　を備えた画像処理方法。
  11. 　コンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がプロセッサによって読み取られた場合に、前記プロセッサが、
    　瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、
    　前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、
    　前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、
    　前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、
    　前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、
    　前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、
    　を実行する、記録媒体。
  12. 　瞳分割方式の撮像により生成された視点の異なる複数の視点画像からなる立体画像を取得するステップと、
    　前記立体画像の前記複数の視点画像から切り出すトリミング領域を示す指示を入力するステップと、
    　前記立体画像の前記複数の視点画像のそれぞれから前記トリミング領域に対応する部分画像を切り出すことにより、視点の異なる複数の部分画像からなる立体部分画像を生成するステップと、
    　前記複数の部分画像の部分画像間における視差を示す視差情報を生成するステップと、
    　前記視差情報に基づいて、前記複数の部分画像の部分画像間の視差を調整するステップと、
    　前記視差の調整結果に基づいて、前記視差の調整後の複数の部分画像に対し、調整後の視差量が小さいほどシャープネスを強くし、調整後の視差量が大きいほどシャープネスを弱くする画像処理を行うステップと、
    　をコンピュータに実行させるプログラム。
PCT/JP2013/055374 2012-03-30 2013-02-28 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム WO2013146067A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014507580A JP5993937B2 (ja) 2012-03-30 2013-02-28 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN201380018550.XA CN104247412B (zh) 2012-03-30 2013-02-28 图像处理装置、摄像装置、图像处理方法、记录介质以及程序
US14/500,176 US9609302B2 (en) 2012-03-30 2014-09-29 Image processing device, imaging device, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012082079 2012-03-30
JP2012-082079 2012-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/500,176 Continuation US9609302B2 (en) 2012-03-30 2014-09-29 Image processing device, imaging device, image processing method, and recording medium

Publications (1)

Publication Number Publication Date
WO2013146067A1 true WO2013146067A1 (ja) 2013-10-03

Family

ID=49259342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/055374 WO2013146067A1 (ja) 2012-03-30 2013-02-28 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム

Country Status (4)

Country Link
US (1) US9609302B2 (ja)
JP (2) JP5993937B2 (ja)
CN (1) CN104247412B (ja)
WO (1) WO2013146067A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017108373A (ja) * 2015-11-30 2017-06-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP2017130869A (ja) * 2016-01-22 2017-07-27 キヤノン株式会社 画像処理装置及び画像処理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013146996A1 (ja) * 2012-03-29 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置および画像処理方法
JP6248484B2 (ja) * 2013-09-11 2017-12-20 ソニー株式会社 立体視画像生成装置、立体視画像生成方法
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
JP7022544B2 (ja) * 2017-09-13 2022-02-18 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2019079193A (ja) * 2017-10-23 2019-05-23 キヤノン株式会社 情報処理装置、撮像装置、プログラム及び撮像システム
JP7375022B2 (ja) * 2019-08-29 2023-11-07 オリンパス株式会社 画像処理装置の作動方法、制御装置、および内視鏡システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2011029700A (ja) * 2009-07-21 2011-02-10 Fujifilm Corp 画像再生装置及び方法
WO2011024352A1 (ja) * 2009-08-25 2011-03-03 パナソニック株式会社 立体視画像編集装置および立体視画像編集方法
WO2011118089A1 (ja) * 2010-03-24 2011-09-29 富士フイルム株式会社 立体撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19720851A1 (de) * 1997-05-17 1998-11-19 Zeiss Carl Jena Gmbh Ophthalmologisches Untersuchungsgerät sowie Verfahren zu dessen Betrieb
JP4442190B2 (ja) * 2003-10-24 2010-03-31 ソニー株式会社 立体視画像処理装置
JP2011211717A (ja) 2009-02-05 2011-10-20 Fujifilm Corp ３次元画像出力装置及び方法
JP4737573B2 (ja) 2009-02-05 2011-08-03 富士フイルム株式会社 ３次元画像出力装置及び方法
WO2010140332A1 (ja) * 2009-06-01 2010-12-09 パナソニック株式会社 立体画像表示装置
JP2011035712A (ja) * 2009-08-03 2011-02-17 Mitsubishi Electric Corp 画像処理装置、画像処理方法及び立体画像表示装置
JP2011071605A (ja) * 2009-09-24 2011-04-07 Fujifilm Corp 立体撮像装置及び立体撮像方法
JP2011082918A (ja) * 2009-10-09 2011-04-21 Sony Corp 画像処理装置および方法、並びにプログラム
JP2011087234A (ja) * 2009-10-19 2011-04-28 Fujifilm Corp 撮像装置及び撮像方法
JP5565001B2 (ja) * 2010-03-04 2014-08-06 株式会社Ｊｖｃケンウッド 立体映像撮像装置、立体映像処理装置および立体映像撮像方法
JP5368350B2 (ja) 2010-03-18 2013-12-18 富士フイルム株式会社 立体撮像装置
JP5683025B2 (ja) * 2010-04-19 2015-03-11 パナソニックＩｐマネジメント株式会社 立体画像撮影装置および立体画像撮影方法
WO2011162063A1 (ja) * 2010-06-22 2011-12-29 富士フイルム株式会社 立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよび記録媒体
JP5484577B2 (ja) * 2010-06-30 2014-05-07 富士フイルム株式会社 画像処理装置、撮像装置及び画像処理方法
WO2012029298A1 (ja) * 2010-08-31 2012-03-08 パナソニック株式会社 撮影装置および画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004349736A (ja) * 2003-05-08 2004-12-09 Sharp Corp 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体
JP2011029700A (ja) * 2009-07-21 2011-02-10 Fujifilm Corp 画像再生装置及び方法
WO2011024352A1 (ja) * 2009-08-25 2011-03-03 パナソニック株式会社 立体視画像編集装置および立体視画像編集方法
WO2011118089A1 (ja) * 2010-03-24 2011-09-29 富士フイルム株式会社 立体撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017108373A (ja) * 2015-11-30 2017-06-15 キヤノン株式会社 画像処理装置、画像処理装置の制御方法及びプログラム
JP2017130869A (ja) * 2016-01-22 2017-07-27 キヤノン株式会社 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
CN104247412B (zh) 2016-08-24
US20150015672A1 (en) 2015-01-15
US9609302B2 (en) 2017-03-28
CN104247412A (zh) 2014-12-24
JP5993937B2 (ja) 2016-09-14
JPWO2013146067A1 (ja) 2015-12-10
JP2017041887A (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
JP5993937B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5655174B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP5931206B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5889441B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5926391B2 (ja) 撮像装置及び合焦確認表示方法
JP5740045B2 (ja) 画像処理装置及び方法並びに撮像装置
JP6086975B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2014045739A1 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9288472B2 (en) Image processing device and method, and image capturing device
JPWO2014046039A1 (ja) 撮像装置及び合焦確認表示方法
JP5923595B2 (ja) 画像処理装置及び方法並びに撮像装置
JPWO2014106935A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
WO2014106916A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5972485B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901780B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
WO2013136832A1 (ja) 立体画像表示制御装置および立体画像表示制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13767292

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014507580

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13767292

Country of ref document: EP

Kind code of ref document: A1