WO2013047641A1 - 立体画像処理装置及び立体画像処理方法 - Google Patents
立体画像処理装置及び立体画像処理方法 Download PDFInfo
- Publication number
- WO2013047641A1 WO2013047641A1 PCT/JP2012/074843 JP2012074843W WO2013047641A1 WO 2013047641 A1 WO2013047641 A1 WO 2013047641A1 JP 2012074843 W JP2012074843 W JP 2012074843W WO 2013047641 A1 WO2013047641 A1 WO 2013047641A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- adjustment value
- stereoscopic image
- parallax adjustment
- distance
- distance distribution
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Definitions
- the present invention relates to a stereoscopic image processing apparatus, a stereoscopic imaging apparatus, a stereoscopic image reproduction apparatus, a stereoscopic image processing method, and a stereoscopic image processing program that perform parallax adjustment of a stereoscopic image.
- parallax is adjusted when capturing and displaying the stereoscopic image.
- Patent Document 1 describes that a favorable stereoscopic effect can be obtained by preventing imaging conditions such as left and right in-focus positions / exposure levels from being shifted.
- Patent Document 2 includes a parallax amount holding unit that holds the parallax amount of each user, and each user selects and captures and displays his / her parallax amount.
- Patent Document 3 describes that parallax amount data for each user is stored and the parallax amount is specified from an answer to a question to the user.
- JP 2011-39486 A Japanese Patent Laid-Open No. 2002-232913 JP 2004-289527 A
- the present invention has been made based on such circumstances, and a stereoscopic image processing apparatus, a stereoscopic imaging apparatus, a stereoscopic image reproduction apparatus, and a stereoscopic image processing method capable of setting an appropriate parallax adjustment value in consideration of a shooting scene and user preference. And a stereoscopic image processing program.
- the stereoscopic image processing apparatus of the present invention includes a stereoscopic image acquisition unit that acquires a stereoscopic image of a subject, and a distance from the acquired stereoscopic image to one or more subjects or a value corresponding to the distance.
- a distance distribution calculating means for calculating the distribution of the distance as a distance distribution, a distance distribution matching means for matching the calculated distance distribution with a plurality of patterns of the distance distribution stored in advance, and a three-dimensional image obtained based on the matching result
- a stereoscopic image processing apparatus comprising: a parallax adjustment value setting unit that sets a parallax adjustment value; and a recording unit that records an image to which the parallax adjustment value set to the acquired stereoscopic image is applied.
- the appropriate parallax adjustment value for shooting and displaying a stereoscopic image varies depending on the shooting and display conditions, but also varies depending on the number of subjects and the distance distribution to the subjects. Therefore, the stereoscopic image processing apparatus of the present invention compares the distance distribution from the acquired stereoscopic image to the calculated subject with a plurality of predetermined patterns, and sets the parallax adjustment value according to the pattern determined to be similar. Thus, it is possible to set an appropriate parallax adjustment value according to the shooting scene. Such a configuration is effective when it is difficult to set an appropriate parallax adjustment value only by the user's own judgment.
- the “plural patterns” can be set in consideration of whether or not the distribution of distances to the subject is suitable for capturing a stereoscopic image. Further, the recommended value of the parallax adjustment value may be set as a default setting value (default value) for each pattern of the distance distribution. In addition, examples of the “value corresponding to the distance” include parallax.
- the stereoscopic image processing apparatus of the present invention further includes a parallax adjustment value input unit that receives an instruction input of a parallax adjustment value from a user, and the parallax adjustment value setting unit is configured to match the received parallax adjustment value according to a pattern that is determined to be similar.
- the parallax adjustment value may be set.
- the parallax adjustment value is set according to the shooting scene by setting the parallax adjustment value in consideration of the distribution of the distance to the subject. By making it possible to set a parallax amount according to the user's preference, a more appropriate parallax adjustment value can be set.
- the parallax adjustment value setting unit when the parallax adjustment value input unit receives the input of the parallax adjustment value, the parallax adjustment value setting unit generates a new parallax based on the received parallax adjustment value and the setting history of the parallax adjustment value.
- An adjustment value may be calculated and set as a parallax adjustment value according to a pattern determined to be similar, and the setting history of the parallax adjustment value may be updated.
- the stereoscopic image processing apparatus of the present invention further includes user identification means for identifying a plurality of users, and the parallax adjustment value setting means sets a parallax adjustment value according to which of the plurality of users is the identified user. You may do it. With such a configuration, it is possible to set a parallax adjustment value corresponding to each user's preference difference.
- the parallax amount setting unit determines that the calculated subject is not similar to any of the plurality of patterns as a result of the collation, and the in-focus subject is obtained for the acquired stereoscopic image.
- the parallax adjustment value may be set so that the parallax becomes zero.
- the two may not be similar, but in this mode, the parallax adjustment value is set and the stereoscopic image is recorded in such a case. can do.
- the distance distribution calculated by the distance distribution calculating means may be a histogram of distances to the subject.
- the “distance distribution pattern” to be compared with the histogram may be a histogram or another format. Further, the calculated histogram and “distance distribution pattern” may be converted into another format and compared.
- the distance distribution calculated by the distance distribution calculating unit may be a parallax histogram of the subject.
- the parallax adjustment value may be a value for adjusting the parallax of the subject at a predetermined distance.
- the parallax adjustment value may be a value for adjusting the parallax of the main subject.
- the stereoscopic image processing apparatus of the present invention may further include stereoscopic image display means for displaying an image to which the parallax adjustment value set for the acquired stereoscopic image is applied.
- a stereoscopic imaging apparatus of the present invention includes a stereoscopic image acquisition unit that acquires a stereoscopic image of a subject, and a distance from the acquired stereoscopic image to one or more subjects or a distribution of values corresponding to the distance.
- a distance distribution calculating means for calculating the distance distribution as a distance distribution, a distance distribution matching means for matching the calculated distance distribution with a plurality of patterns of the distance distribution stored in advance, and a parallax adjustment for the acquired stereoscopic image based on the matching result
- a stereoscopic imaging device comprising: a parallax adjustment value setting unit that sets a value; and a recording unit that records an image to which the parallax adjustment value set to the acquired stereoscopic image is applied, wherein the distance distribution matching unit calculates the calculated distance
- the parallax adjustment value setting means is configured to perform collation in consideration of whether the distance to the main subject in the distribution belongs to the distance range to the main subject in a plurality of patterns. As a result, when the distribution of the calculated distance is determined to be similar to any of a plurality of patterns, for the acquired three-dimensional image, it sets a parallax adjustment value corresponding to the pattern determined to be similar.
- a stereoscopic image reproduction device includes a stereoscopic image acquisition unit that acquires a stereoscopic image of a subject, and a distance from the acquired stereoscopic image to one or more subjects or a value corresponding to the distance.
- Distance distribution calculating means for calculating the distribution as a distance distribution, distance distribution matching means for matching the calculated distance distribution with a plurality of patterns of the distance distribution stored in advance, and the parallax for the acquired stereoscopic image based on the matching result
- Display parallax adjustment value setting means for setting an adjustment value
- recording means for recording an image to which the parallax adjustment value set for the acquired stereoscopic image is applied, and an image to which the parallax adjustment value set for the acquired stereoscopic image is applied
- a distance distribution matching means wherein the distance to the main subject in the calculated distance distribution includes a plurality of patterns.
- the parallax adjustment value setting means determines that the calculated distance distribution is similar to any of the plurality of patterns as a result of the collation
- the parallax adjustment value corresponding to the pattern determined to be similar to the acquired stereoscopic image is set.
- a stereoscopic image processing method of the present invention includes a stereoscopic image acquisition step of acquiring a stereoscopic image of a subject, and a distance from the acquired stereoscopic image to one or more subjects or a value corresponding to the distance.
- a stereoscopic image processing method comprising: a parallax adjustment value setting step for setting a parallax adjustment value; and a recording step for applying and recording the parallax adjustment value set for the acquired stereoscopic image, wherein the calculation is performed in the distance distribution matching step. Check whether the distance to the main subject in the measured distance distribution belongs to the distance range to the main subject in multiple patterns.
- the parallax adjustment value setting step when it is determined that the calculated distance distribution is similar to any of the plurality of patterns as a result of the collation, the parallax adjustment according to the pattern determined to be similar to the acquired stereoscopic image Set the value.
- the stereoscopic image processing method of the present invention further includes a parallax adjustment value input step for receiving an instruction input by a user for a parallax adjustment value for the acquired stereoscopic image, and the parallax adjustment value setting unit receives the parallax adjustment value input unit.
- the value may be set as a parallax adjustment value according to a pattern determined to be similar.
- the parallax adjustment value setting step when the parallax adjustment value input unit receives the input of the parallax adjustment value, a new parallax is generated based on the received parallax adjustment value and the setting history of the parallax adjustment value.
- An adjustment value may be calculated and set as a parallax adjustment value according to a pattern determined to be similar, and the setting history of the parallax adjustment value may be updated.
- the stereoscopic image processing program of the present invention causes a computer to execute the stereoscopic image processing method according to any of the above aspects.
- a recording medium on which a computer-readable code of such a stereoscopic image processing program is recorded is also included in one aspect of the present invention.
- an appropriate parallax adjustment value in consideration of the shooting scene and user preference. can be set.
- FIG. 1 is an image diagram showing an appearance of a stereoscopic image processing apparatus 2 according to the first embodiment of the present invention.
- FIG. 2 is a block diagram illustrating a configuration of the stereoscopic image processing apparatus 2.
- FIG. 3 is a flowchart showing an example of parallax adjustment value setting processing according to the present invention.
- FIG. 4A is a diagram illustrating an example of a histogram of distance distribution to a subject.
- FIG. 4B is a diagram illustrating another example of a histogram of distance distribution to a subject.
- FIG. 5A is a conceptual diagram illustrating an example of comparison between a distance distribution histogram and a distance distribution pattern.
- FIG. 5B is another conceptual diagram illustrating an example of comparison between a distance distribution histogram and a distance distribution pattern.
- FIG. 5C is still another conceptual diagram illustrating an example of comparison between a distance distribution histogram and a distance distribution pattern.
- FIG. 6 is a table showing an example of a pattern of distance distribution to a subject and setting of a parallax adjustment value.
- FIG. 7 is a flowchart showing another example of the parallax adjustment value setting process according to the present invention.
- FIG. 8 is a flowchart showing still another example of the parallax adjustment value setting process according to the present invention.
- FIG. 9 is a flowchart showing still another example of the parallax adjustment value setting process according to the present invention.
- Embodiments for implementing a stereoscopic image processing device, a stereoscopic imaging device, a stereoscopic image reproducing device, a stereoscopic image processing method, and a stereoscopic image processing program according to the present invention will be described in detail below with reference to the accompanying drawings.
- FIG. 1 is a front perspective view of a stereoscopic camera 2 according to the present invention.
- a first lens barrel 4 a that holds the first imaging optical system 1 a and a second lens barrel 4 b that holds the second imaging optical system 1 b are incorporated in the front surface of the stereoscopic camera 2, and a flash 5. Etc. are exposed.
- a shutter button 6 used for a shutter release operation is provided on the upper surface of the stereoscopic camera 2.
- an operation unit 10 including a zoom button, a menu button, a cursor button, and the like and a monitor 11 are provided on the back of the stereoscopic camera 2.
- the monitor 11 is a parallax barrier (or lenticular) 3D monitor that functions as an electronic viewfinder when shooting an image, as an image playback monitor during image playback, and for displaying information for setting parallax adjustment values. Also works.
- FIG. 2 shows the electrical configuration of the stereoscopic camera 2.
- the first photographing optical system 1a includes a first variable magnification lens 21, a first focus lens 22, and a first diaphragm 23 arranged along the lens optical axis L1.
- the first variable magnification lens 21 is driven by a first variable magnification lens control unit 24 configured by a DC motor and a driver.
- the first focus lens 22 is driven by a first focus lens control unit 25 configured by a DC motor and a driver.
- the first diaphragm 23 is driven by a first diaphragm control unit 26 composed of a DC motor and a driver.
- the operations of the control units 24 to 26 are controlled by a main CPU 40 (hereinafter simply represented by the CPU 40).
- the first variable magnification lens control unit 24 responds to an input operation of tele or wide zoom direction information to a zoom button of the operation unit 10 (however, a ring-shaped operation member is also possible). Is moved from the home position to the tele side (feeding side) / wide side (retracting side) along the lens optical axis L1 to change the focal length (shooting magnification). When the first variable magnification lens 21 is moved to the tele side, the focal length becomes long and the photographing range becomes narrow. When the first variable magnification lens 21 is moved to the wide side, the focal point becomes short and the photographing range becomes wide.
- the focus lens control unit 25 moves the first focus lens 22 along the lens optical axis L1 to perform focus adjustment.
- the position of the first focus lens 22 is automatically adjusted with the movement of the first variable magnification lens 21 so as not to be out of focus. It is assumed that stepwise zoom magnifications (zoom steps) Z1, Z2,..., Zn can be input from the operation unit 10.
- the number n of steps is arbitrary, but Z1 corresponds to the wide end and Zn corresponds to the tele end.
- the target zoom direction set from the zoom button is output to the CPU 40.
- the CPU 40 sets a target zoom position according to the target zoom direction. If the target zoom direction is the tele direction, the closest zoom stage from the current position of the first variable magnification lens 21 to the tele direction side is set as the target zoom position, and if the target zoom direction is the wide direction, the current first variable magnification lens. The closest zoom level from 21 to the wide direction side is set as the target zoom position.
- the CPU 40 converts the target zoom position into the number of pulses up to the target stop position of the first variable magnification lens 21, and causes the first variable magnification lens control unit 24 to drive according to the number of pulses. Note that the pulse number 0 corresponds to the home position.
- the first image sensor 28 receives the subject light imaged by the first variable magnification lens 21 and the first focus lens 22 and accumulates photocharges corresponding to the amount of received light in the light receiving element.
- the photocharge accumulation / transfer operation is controlled by a timing signal (clock pulse) periodically input from the timing generator 20 (TG). And sequentially input to the first analog signal processing unit 27.
- a timing signal clock pulse
- TG timing generator 20
- a CCD type or MOS type solid-state imaging device is used as the first image sensor 28 a CCD type or MOS type solid-state imaging device.
- the first analog signal processing unit 27 receives an image signal for one screen input from the first image sensor 28, and amplifies R, G, B image data corresponding to the accumulated charge amount of each light receiving element accurately. To the first A / D converter 29. The first A / D converter 29 converts the input image data from analog to digital. The imaging signal of the first image sensor 28 becomes first image data (right-eye image data) via the first analog signal processing unit 27 and the first A / D converter 29.
- the second photographing optical system 1b has the same configuration as the first photographing optical system 1a, and is driven by a second variable lens 31 and a second focus lens controller 36 that are driven by a second variable lens controller 34. And a second aperture 38 driven by a second aperture controller 37.
- the operations of the control units 34, 36, and 37 are controlled by the CPU 40.
- photography optical system 1a is used for each member of the 2nd imaging
- the first photographing optical system 1a and the second photographing optical system 1b are basically synchronized and perform an image pickup operation in conjunction with each other.
- the respective photographing optical systems are used. May be moved individually.
- Either the left or right optical system may be the first photographing optical system 1a or the second photographing optical system 1b, and both are technically interchangeable.
- the second analog signal processing unit 35 and the second A / D converter 39 have the same configurations as the first analog signal processing unit and the A / D converter 29, respectively.
- the imaging signal of the second image sensor 33 becomes second image data (left-eye image data) via the second analog signal processing unit 35 and the second A / D converter 39.
- the first and second image data output from the first and second A / D converters 29 and 39 are input to the digital signal processing units 41 and 42 via the image input controllers 39a and 39b, respectively.
- the digital signal processing units 41 and 42 perform various image processing such as gradation conversion, white balance correction, and ⁇ correction processing on each of the first and second image data.
- the first image data processed by the digital signal processing unit 41 and output at predetermined intervals is input to the VRAM 43.
- the second image data processed by the digital signal processing unit 42 and output at predetermined intervals is input to the VRAM 43.
- the VRAM 43 is a working memory that temporarily stores the first and second image data.
- the first and second image data of the next period are input to the VRAM 43 in a state where the first and second image data are already stored in the VRAM 43, the first and second image data already stored are new. It is overwritten with the input first and second image data.
- the first and second image data that are repeatedly overwritten and updated at predetermined intervals in the VRAM 43 are called through images.
- the 3D image generation unit 45 combines the first and second image data stored in the VRAM 43 with stereoscopic image data for the monitor 11 to perform stereoscopic display.
- the display control unit 56 causes the monitor 11 to display the stereoscopic image data synthesized by the 3D image generation unit 45 as a through image.
- the recording of captured images will be described below.
- the images captured from the first photographing optical system 1a and the second photographing optical system 1b at the timing when the shutter button 6 is pressed are processed by analog signal processing 27 and 35, respectively, and then converted into digital signals by A / D 29 and 39, respectively. And input to the digital signal processing units 41 and 42 via the image input controllers 39a and 39b, respectively.
- the digital signal processing units 41 and 42 perform various image processing such as gradation conversion, white balance correction, and ⁇ correction processing on each of the first and second image data.
- the first and second image data processed and output by the digital signal processing units 41 and 42 are recorded in the SDRAM 52.
- the compression / decompression processing unit 47 performs compression processing on the stored first and second image data in a compression format such as the JPEG method.
- the SDRAM 52 is used as a temporary storage area necessary for this compression process.
- the media control unit 48 records each image data compressed by the compression / decompression processing unit 47 on the memory card 49.
- each image data recorded on the memory card 49 is read by the media control unit 48.
- Each image data subjected to the decompression processing by the compression / decompression processing unit 47 is converted into stereoscopic image data by the 3D image generation unit 45 and then reproduced and displayed on the monitor 11 via the display control unit 46.
- a predetermined amount of parallax set by a method described later is used.
- the detailed structure of the monitor 11 is not shown, but the monitor 11 has a parallax barrier display layer on the surface thereof.
- the method of the monitor 11 is not limited to the parallax barrier method, and other methods such as a lenticular method, a time division method, and a polarization filter method may be used as long as the same function can be realized.
- the monitor 11 may be a touch panel type, and the user can perform various operations via the monitor 11.
- the CPU 40 controls the overall operation of the stereoscopic camera 2 in an integrated manner.
- the CPU 40 is connected to a flash control unit 72 that controls light emission of the flash 5 and an operation unit 10.
- a flash ROM 50 is connected to the CPU 40.
- the flash ROM 50 is a non-volatile memory capable of electrically rewriting data, but can store any data as long as there is free space.
- the ROM 51 stores a control program (including a program for performing a parallax adjustment value setting process described later) for the CPU 40 to execute various processes.
- the clock unit 70 counts the current time and outputs it to the main CPU 40.
- the posture detection sensor 71 detects the photographing posture of the stereoscopic camera 2 in the horizontal position or the vertical position at the timing instructed from the CPU 40, for example, when the shutter button is half-pressed, and outputs the detection result to the CPU 40.
- the power control unit 80 detects a power on signal or an off signal issued from the CPU 40 in response to an on or off operation of a power switch included in the operation unit 10, the power control unit 80 is supplied from the battery 81 to each block of the stereoscopic camera 2. Control to turn the power on or off.
- the AF detection unit 44 calculates an AF evaluation value from the first image data or the second image data stored in the VRAM 43.
- the AF evaluation value is calculated by accumulating high-frequency components of luminance values for a region (for example, the central portion) designated by the CPU 40 in the first image data or the second image data, and represents the sharpness of the image.
- the AF evaluation value increases as the AF approaches the in-focus point, and becomes maximum at the time of in-focus.
- the AE / AWB detection unit 73 detects subject brightness (photometry of subject brightness) based on the first image data or the second image data stored in the VRAM 43, and uses the detected subject brightness as a photometric value.
- the AE / AWB detection unit 73 detects a WB (white balance) value based on the first image data or the second image data stored in the VRAM 43.
- the method of calculating the exposure value is arbitrary, and any of spot metering, weighted average metering, and average metering may be used.
- the obtained photometric value, WB value, and AF evaluation value are notified to the CPU 40, and are used to control AE, AWB, and AF of the image signals obtained from the first photographing optical system 1a and the second photographing optical system 1b. .
- the CPU 40 reads the program diagram defining the photometric value, the aperture value, the sensitivity, and the correspondence relationship among the shutter speeds from the ROM 51 to the SDRAM 52 and refers to the photometric value detected by the AE / AWB detector 73.
- the corresponding aperture value and sensitivity are set in the aperture controllers 26 and 37 and the image sensors 24 and 33, respectively, and exposure control is performed.
- an AE / AF evaluation value or the like is obtained based on one of the first image data and the second image data, and thereby the AE, AF, WB are obtained by the first photographing optical system 1a and the second photographing optical system 1b.
- the AE / AF evaluation values and the like are obtained for each of the first image data and the second image data, and based on these, the first photographing optical system 1a and the second photographing optical system are described. You may make it control 1b separately.
- the stereoscopic camera 2 is a so-called “compound-eye stereoscopic imaging device” having the first imaging optical system 1a and the second imaging optical system 1b, but the parallax amount setting process described below is such a compound eye.
- the present invention is not limited to a camera of the type, and can also be applied to a “monocular stereoscopic imaging device” that acquires a stereoscopic image using a single optical system.
- FIG. 3 is a flowchart showing a first embodiment of parallax adjustment value setting processing according to the present invention. This process is controlled by the CPU 40. A program for causing the CPU 40 to execute this process is stored in the ROM 51. The following processing can also be executed by an information terminal such as a camera-equipped mobile phone having a configuration equivalent to that of the stereoscopic camera 2, a personal computer (hereinafter referred to as a PC), a digital television, and the like.
- a PC personal computer
- the program for setting the parallax adjustment value includes a computer-readable code of the program such as a magneto-optical recording medium such as CD, DVD, BD, HDD (hard disk drive), SSD (solid state drive), etc. in addition to ROM. It can be used by being stored in a recording medium such as a magnetic recording device, a memory card, or a USB memory.
- a stereoscopic image is first acquired in S100.
- This stereoscopic image can be acquired by operating the stereoscopic camera 2 to photograph the subject, but an already captured image may be acquired via the memory card 49.
- a distance histogram of the subject is created from the acquired stereoscopic image (S102).
- This distance histogram divides the left and right viewpoint images constituting the stereoscopic image into a plurality of regions (for example, 8 ⁇ 8, 16 ⁇ 16, etc.), calculates the distance to the subject in each region, and the subject is a predetermined distance. It can be created by counting the number of areas in the range.
- the distance to the subject can be calculated by, for example, comparing the contrasts of a plurality of imaging signals acquired at different lens positions, but is not limited to this, and various methods can be used.
- the main subject exists in the range of distance 1.2 m to 2.5 m, and another subject exists in the range of distance 5 m to 10 m.
- the main subject exists in the range of distance 2.5 m to 3 m, and subjects other than the main subject exist in other distance ranges.
- the distance histogram created as described above is compared with a pattern of distance distribution created and recorded in advance (S104). Comparison images are shown in FIGS.
- the number of areas can be set to a predetermined threshold value (for example, 5 but different values may be set according to the number of divided areas, etc. ) Is exceeded, it is determined that “the subject exists”, and each distance range is classified into “(subject / main subject) exists” or “does not exist”, and a pattern as shown in FIG. 5B is obtained. create. Then, it is compared with a pattern as shown in FIG.
- a plurality of patterns as shown in FIG. 5C can be set according to the distance range in which the main subject and other subjects exist.
- a setting example of this distance distribution pattern is shown in the table of FIG.
- the distance range is divided into three areas, a foreground (1.2 m to 2.5 m), a middle scene (2.5 m to 5 m), and a distant view (5 m to).
- the patterns 1, 2, 6 and 9 are “patterns suitable for 3D (stereoscopic) shooting” with an appropriate amount of parallax, and the shaded patterns 3 to 5 and 7 are too large in parallax.
- the parallax is too small to be seen three-dimensionally.
- FIG. 4A described above is an example of the pattern 4 that is not suitable for 3D shooting
- FIG. 4B is an example of the pattern 2 that is suitable for 3D shooting.
- FIG. 5C is an example of pattern 2.
- the distance to the main subject in the acquired stereoscopic image is compared in consideration of whether or not it belongs to the distance range of the main subject determined in the distance distribution pattern.
- the main subject exists in the range of 2.5 m to 3 m, and belongs to the distance range (2.5 m to 5 m) of the main subject defined in the pattern (pattern 2) shown in FIG. 5C. ing.
- the process proceeds to S108 to recommend a similar distance pattern.
- the parallax adjustment value is set as the parallax adjustment value and the process proceeds to S112. If the distance histogram is not similar to any of the distance patterns suitable for stereoscopic shooting (NO in S106), the process proceeds to S110 and the focused subject has zero parallax.
- the parallax adjustment value is set to be (cross point).
- the condition of whether or not they are similar in S106 can be set as appropriate according to the characteristics of the stereoscopic camera 2 and the shooting scene, and “similar” may include the same case.
- recommended parallax adjustment values for distance patterns (patterns 1, 2, 6, 8, and 9) suitable for stereoscopic shooting are shown in units of pixels.
- the parallax adjustment value a value for adjusting the parallax of an object at a predetermined distance (for example, 2 m from the stereoscopic camera 2) may be set, or a value for adjusting the parallax of the main subject may be set.
- the in-focus subject is set to zero parallax in consideration of the fact that the in-focus subject is often a main subject such as a human face, but is suitable for stereoscopic shooting.
- the parallax adjustment value setting when there is no similarity to the distance pattern is not necessarily limited to this, and a parallax adjustment value or a fixed parallax adjustment value such that the center of the image becomes zero parallax (cross point) is used.
- the point designated by the user in the image may be zero parallax.
- “cross point” means a point where parallax is zero in a stereoscopic image.
- the set parallax adjustment value is applied to the stereoscopic image acquired in S100. Specifically, the left and right viewpoint images constituting the stereoscopic image are shifted by the number of pixels set in S108 or S110. Thereafter, the image generated by this shifting process is recorded, and the process ends.
- information such as a distance histogram may be displayed on the monitor 11, and the parallax adjustment value to be set and a stereoscopic image with the parallax adjustment value are set in advance. It may be displayed on the monitor 11.
- FIG. 7 is a flowchart showing processing for setting a parallax adjustment value according to the second embodiment. Since S200 to S210 in the figure are the same as S100 to S110 in the flowchart shown in FIG. 3, the description thereof is omitted.
- an appropriate parallax adjustment value according to the shooting scene can be set, and in addition, the parallax adjustment value according to the user's preference can be set.
- Setting can also be performed, and a more appropriate parallax adjustment value can be set.
- FIG. 8 is a flowchart illustrating processing for setting a parallax adjustment value according to the modification.
- the processes other than S215-1 and S215-2 are the same as those of the flowchart of FIG.
- the processing shown in the flowchart of FIG. 8 is that the recommended parallax adjustment value in the distance distribution pattern can be updated (overwritten) with the user setting value based on the user's judgment. Is different. Specifically, after setting the parallax adjustment value up to S214, it is determined in S215-1 whether or not to update the value of the recommended parallax adjustment value in the distance distribution pattern. This determination can be made based on a user instruction input to the operation unit 10. If the determination is affirmative (YES in S215-1), the process proceeds to S215-2 and the value of the recommended parallax adjustment value for the corresponding distance distribution pattern (distance distribution pattern determined to be similar to the created distance histogram) is updated. If the determination is negative (NO in S215-1), the process proceeds to S216 without performing the process of S215-2.
- the user may or may not find the recommended parallax adjustment value appropriate, but even if he / she thinks the recommended parallax adjustment value is appropriate in a certain shooting situation, he / she feels that Therefore, the same recommended parallax adjustment value may not be appropriate.
- the reverse case is also possible. Therefore, it may not be appropriate to uniformly update (overwrite) the recommended parallax adjustment value when the parallax adjustment value is manually set. However, the user is asked whether or not to update the recommended parallax adjustment value as in the above modification. By confirming, it is possible to deal with such a situation, and it is possible to set an appropriate parallax adjustment value in consideration of the shooting scene and user preference.
- information such as distance histogram / BR> may be displayed on the monitor 11 as in the case of the first embodiment, or recommended parallax adjustment may be performed.
- the user may confirm the value and the parallax adjustment value set by the user or the stereoscopic image with the parallax adjustment value in advance to be confirmed by the user.
- the second embodiment described above and its modifications can also be executed by a camera-equipped mobile phone, a personal computer, or the like, as in the first embodiment.
- FIG. 9 is a flowchart showing the parallax adjustment value setting process according to the third embodiment.
- the processing from S300 to S314 is the same as S200 to S214 in the flowcharts of FIGS. 7 and 8 according to the second embodiment and its modifications, and the description thereof is omitted.
- the process performed in S318 is to set the parallax adjustment value in consideration of the setting history of the parallax adjustment value. For example, an aspect using the latest setting value, an aspect using a value with a high setting frequency, and past setting Various methods such as an aspect using an average of values, an aspect using weighted average of past setting values, and an aspect of predicting the current setting value from past setting values can be used. Moreover, you may make it make a user select which of these several methods is used. Then, when the recommended parallax adjustment value of the corresponding distance pattern is updated with the parallax adjustment value calculated using any of these methods (S318), the process proceeds to S320, and the setting history of the parallax adjustment value is updated. Note that the recommended setting value and setting history calculated in this way may be cleared according to a user instruction so as to return to the initial setting.
- an appropriate parallax adjustment value considering the shooting scene is set by learning the parallax adjustment value setting value (updating the setting history and setting the parallax adjustment value based on the setting history).
- the parallax adjustment value having a high degree of matching with the user's preference can be set based on the tendency of the parallax adjustment value setting as the use continues.
- information such as a distance histogram may be displayed on the monitor 11 as in the first and second embodiments, and the recommended parallax adjustment value and the user
- the set parallax adjustment value and the stereoscopic image with the parallax adjustment value may be displayed in advance to allow the user to confirm.
- the third embodiment described above can also be executed by a camera-equipped mobile phone, a personal computer, or the like, as in the first and second embodiments.
- the parallax adjustment value setting according to the present invention can also be used when a plurality of users use the stereoscopic camera 2.
- a plurality of tables in which recommended parallax adjustment values are set as shown in the example of FIG. 6 may be prepared corresponding to the user and used by switching for each user. You may make it hold
- a plurality of such recommended parallax adjustment value tables and parallax adjustment value setting history data can be stored in the flash ROM 50.
- the user is identified by, for example, allowing the user to input a user number or ID via the operation unit 10 or displaying the user number on the monitor 11 to select it, and the CPU 40 determines this. It can be carried out.
- the recommended parallax adjustment value may be changed according to the zoom position (for example, 10 positions) in order to cope with the difference in the appropriate parallax adjustment value depending on the shooting scene. .
- the subject distance histogram is compared with the distance distribution pattern, but a parallax histogram is created from the acquired stereoscopic image and compared with the parallax distribution pattern. It may be determined whether or not it is a pattern.
- the parallax adjustment value setting processing according to the present invention is not limited to a digital camera such as a stereoscopic camera. It is also possible to use an electronic device such as a camera-equipped mobile phone, personal computer, or digital television.
- 1a first imaging optical system
- 1b second imaging optical system
- 2 stereoscopic camera
- 10 operation unit
- 11 monitor
- 40 CPU
- 49 memory card
- 50 flash ROM
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本発明の一の実施形態に係る立体画像処理装置では、立体画像から被写体までの距離分布のヒストグラムを作成し、距離分布のパターンと比較する。ヒストグラムが「立体撮影に適した距離分布のパターン」に類似していると判断されたときは、当該距離分布のパターンに対して設定されている推奨視差調整値を視差調整値として設定する。これに加え、ユーザが視差調整値を手動で設定する態様や、視差量を学習する態様も可能である。なお作成した距離ヒストグラムが「立体撮影に適したパターンに類似していない」と判断されたときは、合焦被写体の視差がゼロになるように視差調整値を設定してもよい。
Description
本発明は、立体画像の視差調整を行う立体画像処理装置、立体撮像装置、立体画像再生装置、立体画像処理方法、及び立体画像処理プログラムに関する。
立体画像の撮影や表示が可能なデジタルカメラ等の装置では、立体画像の撮影・表示に際して視差を調整することが行われている。例えば特許文献1では、左右の合焦位置/露出レベルなどの撮像条件がずれないようにして、良好な立体感が得られるようにすることが記載されている。また立体画像の撮影・表示に際し、適正な視差量がユーザによって異なることを考慮し、ユーザ毎に視差量を設定できるようにすることも行われている。例えば特許文献2では、各ユーザの視差量を保持する視差量保持手段を有し、各ユーザが自身の視差量を選択して撮影・表示を行うようになっている。また特許文献3では、利用者ごとの視差量データを格納しておき、利用者への質問に対する回答から視差量を特定することが記載されている。
しかしながら、特許文献1-3に記載されるような従来の技術では撮影シーンに応じて視差量を調整することは困難である。またユーザが視差量を設定する場合であっても、ユーザ自身の判断だけでは適切な視差量を設定することが困難な場合や、撮影の度に異なる視差量を設定することを希望するような場合もあるが、従来の技術ではこのような状況に対応することは困難であった。
本発明はこのような事情に基づいてなされたもので、撮影シーンやユーザの好みを考慮した適切な視差調整値を設定できる立体画像処理装置、立体撮像装置、立体画像再生装置、立体画像処理方法、及び立体画像処理プログラムを提供することを目的とする。
上記目的を達成するために、本発明の立体画像処理装置は、被写体の立体画像を取得する立体画像取得手段と、取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出手段と、算出した距離分布を、予め記憶された距離分布の複数のパターンと照合する距離分布照合手段と、照合結果に基づいて、取得した立体画像に対する視差調整値を設定する視差調整値設定手段と、取得した立体画像に設定した視差調整値を適用した画像を記録する記録手段と、を備える立体画像処理装置であって、距離分布照合手段は、算出した距離分布における主要被写体までの距離が複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、視差調整値設定手段は、照合の結果、算出した距離分布が複数のパターンのいずれかに類似すると判断されるときは、取得した立体画像に対し、類似すると判断されたパターンに応じた視差調整値を設定する。
立体画像の撮影及び表示において適切な視差調整値は撮影や表示の条件により異なるが、被写体の数や被写体までの距離分布によっても異なる。そこで本発明の立体画像処理装置では、取得した立体画像から算出した被写体までの距離分布を複数の所定のパターンと比較し、類似すると判断されたパターンに応じた視差調整値を設定するようにしており、これにより撮影シーンに応じた適切な視差調整値を設定することができる。このような構成は、ユーザ自身の判断だけでは適切な視差調整値が設定しづらい場合等に有効である。なお上記「複数のパターン」は、被写体までの距離の分布が立体画像の撮影に適しているか否かを考慮して設定することができる。また距離分布の各パターンに対し、視差調整値の推奨値をデフォルト設定値(既定値)として設定しておくようにしてもよい。また「距離に相当する値」としては例えば視差を挙げることができる。
本発明の立体画像処理装置において、ユーザによる視差調整値の指示入力を受け付ける視差調整値入力手段をさらに備え、視差調整値設定手段は、受け付けた視差調整値を、類似すると判断されたパターンに応じた視差調整値として設定する、ようにしてもよい。上述のように、本発明では被写体までの距離の分布を考慮して視差調整値の設定を行うことで撮影シーンに応じた視差調整値を設定するようにしているが、本態様のようにユーザの好みに応じた視差量の設定をも可能にすることで、より適切な視差調整値を設定することができる。
本発明の立体画像処理装置において、視差調整値設定手段は、視差調整値入力手段が視差調整値の入力を受け付けると、受け付けた視差調整値と視差調整値の設定履歴とに基づいて新たな視差調整値を算出し、類似すると判断されたパターンに応じた視差調整値として設定するとともに、視差調整値の設定履歴を更新する、ようにしてもよい。このような構成により、距離分布のパターンに応じた視差調整値を考慮しつつユーザによる視差調整値設定の傾向を反映した適切な視差調整値の設定が可能になる。
本発明の立体画像処理装置において、複数のユーザを識別するユーザ識別手段をさらに備え、視差調整値設定手段は、識別したユーザが複数のユーザのいずれであるかに応じて視差調整値を設定する、ようにしてもよい。このような構成により、各ユーザの好みの違いに対応した視差調整値の設定が可能になる。
本発明の立体画像処理装置において、視差量設定手段は、照合の結果、算出した距離分布が複数のパターンのいずれにも類似しないと判断されるときは、取得した立体画像に対し、合焦被写体が視差ゼロになるように視差調整値を設定する、ようにしてもよい。取得した立体画像における被写体までの距離分布や距離分布のパターンの設定状況によっては両者が類似しないことも考えられるが、本態様ではそのような場合にも視差調整値を設定して立体画像を記録することができる。
本発明の立体画像処理装置において、距離分布算出手段が算出する距離分布は被写体までの距離のヒストグラムであるようにしてもよい。なおこのヒストグラムの比較対象である「距離分布のパターン」はヒストグラムでもよいし、他の形式でもよい。また算出したヒストグラム及び「距離分布のパターン」は、他の形式に変換した上で比較してもよい。また本発明の立体画像処理装置において、距離分布算出手段が算出する距離分布は被写体の視差のヒストグラムであるようにしてもよい。
本発明の立体画像処理装置において、視差調整値は所定の距離における被写体の視差を調整する値であってよい。また視差調整値は主要被写体の視差を調整する値であってもよい。
本発明の立体画像処理装置において、取得した立体画像に設定した視差調整値を適用した画像を表示する立体画像表示手段をさらに備える、ようにしてもよい。
上記目的を達するために、本発明の立体撮像装置は、被写体の立体画像を取得する立体画像取得手段と、取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出手段と、算出した距離分布を、予め記憶された距離分布の複数のパターンと照合する距離分布照合手段と、照合結果に基づいて、取得した立体画像に対する視差調整値を設定する視差調整値設定手段と、取得した立体画像に設定した視差調整値を適用した画像を記録する記録手段と、を備える立体撮像装置であって、距離分布照合手段は、算出した距離分布における主要被写体までの距離が複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、視差調整値設定手段は、照合の結果、算出した距離の分布が複数のパターンのいずれかに類似すると判断されるときは、取得した立体画像に対し、類似すると判断されたパターンに応じた視差調整値を設定する。
上記目的を達するために、本発明の立体画像再生装置は、被写体の立体画像を取得する立体画像取得手段と、取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出手段と、算出した距離分布を、予め記憶された距離分布の複数のパターンと照合する距離分布照合手段と、照合結果に基づいて、取得した立体画像に対する視差調整値を設定する視差調整値設定手段と、取得した立体画像に設定した視差調整値を適用した画像を記録する記録手段と、取得した立体画像に設定した視差調整値を適用した画像を表示する立体画像表示手段と、を備える立体画像再生装置であって、距離分布照合手段は、算出した距離分布における主要被写体までの距離が複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、視差調整値設定手段は、照合の結果、算出した距離分布が複数のパターンのいずれかに類似すると判断されるときは、取得した立体画像に対し、類似すると判断されたパターンに応じた視差調整値を設定する。
上記目的を達するために、本発明の立体画像処理方法は、被写体の立体画像を取得する立体画像取得ステップと、取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出ステップと、算出した距離分布を、予め記憶された距離の分布の複数のパターンと照合する距離分布照合ステップと、照合結果に基づいて、取得した立体画像に対する視差調整値を設定する視差調整値設定ステップと、取得した立体画像に設定した視差調整値を適用して記録する記録ステップと、を含む立体画像処理方法であって、距離分布照合ステップでは、算出した距離分布における主要被写体までの距離が複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、視差調整値設定ステップでは、照合の結果、算出した距離分布が複数のパターンのいずれかに類似すると判断されるときは、取得した立体画像に対し、類似すると判断されたパターンに応じた視差調整値を設定する。
本発明の立体画像処理方法において、取得した立体画像に対する視差調整値のユーザによる指示入力を受け付ける視差調整値入力ステップをさらに含み、視差調整値設定ステップでは、視差調整値入力手段が受け付けた視差調整値を、類似すると判断されたパターンに応じた視差調整値として設定する、ようにしてもよい。
本発明の立体画像処理方法において、視差調整値設定ステップでは、視差調整値入力手段が視差調整値の入力を受け付けると、受け付けた視差調整値と視差調整値の設定履歴とに基づいて新たな視差調整値を算出し、類似すると判断されたパターンに応じた視差調整値として設定するとともに、視差調整値の設定履歴を更新する、ようにしてもよい。
上記目的を達するために、本発明の立体画像処理プログラムは、上記態様のいずれかに係る立体画像処理方法をコンピュータに実行させる。このような立体画像処理プログラムのコンピュータ読み取り可能なコードを記録した記録媒体も、本発明の一態様に含まれる。
上述のように本発明に係る立体画像処理装置、立体撮像装置、立体画像再生装置、立体画像処理方法、及び立体画像処理プログラムによれば、撮影シーンやユーザの好みを考慮した適切な視差調整値を設定することができる。
以下、添付図面に従って本発明に係る立体画像処理装置、立体撮像装置、立体画像再生装置、立体画像処理方法、及び立体画像処理プログラムを実施するための形態について詳細に説明する。
<立体カメラの構成>
図1は本発明に係る立体カメラ2の前面斜視図を示す。図1において、立体カメラ2の前面には、第1撮影光学系1aを保持する第1鏡筒4a、第2撮影光学系1bを保持する第2鏡筒4bが組み込まれているほか、フラッシュ5などが露呈している。また立体カメラ2の上面には、シャッタレリーズ操作に用いられるシャッタボタン6が設けられている。
図1は本発明に係る立体カメラ2の前面斜視図を示す。図1において、立体カメラ2の前面には、第1撮影光学系1aを保持する第1鏡筒4a、第2撮影光学系1bを保持する第2鏡筒4bが組み込まれているほか、フラッシュ5などが露呈している。また立体カメラ2の上面には、シャッタレリーズ操作に用いられるシャッタボタン6が設けられている。
図示は省略するが、立体カメラ2の背面には、ズームボタン、メニューボタン、カーソルボタン等からなる操作部10と、モニター11とが設けられている。操作部10の適宜操作により、電源のオン/オフ、各種モード(撮影モード、再生モード等)の切り替え、ズーミング、視差量設定のための操作などが行われる。モニター11は、パララックスバリア方式(或いはレンチキュラー方式)の3Dモニタであり、画像撮影時には電子ビューファインダとして、画像再生時には画像再生モニタとして機能するほか、視差調整値設定のための情報を表示するモニタとしても機能する。
図2は、立体カメラ2の電気的構成を示す。第1撮影光学系1aは、レンズ光軸L1に沿って配列された、第1変倍レンズ21、第1フォーカスレンズ22、第1絞り23によって構成されている。第1変倍レンズ21は、直流モータおよびドライバで構成された第1変倍レンズ制御部24によって駆動される。第1フォーカスレンズ22は、直流モータおよびドライバで構成された第1フォーカスレンズ制御部25によって駆動される。第1絞り23は直流モータおよびドライバで構成された第1絞り制御部26によって駆動される。制御部24~26の動作はメインCPU40(以下単にCPU40で表す)によって制御される。
第1変倍レンズ制御部24は、操作部10のズームボタン(ただしボタンでなくリング状操作部材も可)へのテレまたはワイドのズーム方向情報の入力操作に応じて、第1変倍レンズ21をホームポジションを起点にレンズ光軸L1に沿ってテレ側(繰り出し側)/ワイド側(繰り込み側)に移動させ、焦点距離(撮影倍率)を変化させる。第1変倍レンズ21をテレ側に移動させると、長焦点となり撮影範囲は狭くなる。第1変倍レンズ21をワイド側に移動させると、短焦点となり撮影範囲は広くなる。
フォーカスレンズ制御部25は、第1フォーカスレンズ22をレンズ光軸L1に沿って移動させ、ピント調整を行う。第1フォーカスレンズ22は、第1変倍レンズ21の移動に伴って、ピントがズレないように自動的に位置が調整されるようになっている。操作部10からは、段階的なズーム倍率(ズーム段)Z1、Z2・・・、Znが入力可能であるとする。その段階の数nは任意であるが、Z1はワイド端、Znはテレ端に対応する。
CPU40には、ズームボタンから設定された目標ズーム方向が出力される。CPU40は、当該目標ズーム方向に従い、目標ズーム位置を設定する。目標ズーム方向がテレ方向であれば現在の第1変倍レンズ21の位置からテレ方向側にかけて最も近いズーム段を目標ズーム位置とし、目標ズーム方向がワイド方向であれば現在の第1変倍レンズ21からワイド方向側にかけて最も近いズーム段を目標ズーム位置とする。CPU40は、目標ズーム位置を第1変倍レンズ21の目標停止位置までのパルス数に換算し、第1変倍レンズ制御部24にそのパルス数に応じた駆動を行わせる。なお、パルス数0は、ホームポジションに対応する。
第1イメージセンサ28は、第1変倍レンズ21及び第1フォーカスレンズ22によって結像された被写体光を受光し、受光量に応じた光電荷を受光素子に蓄積する。第1イメージセンサ28は、タイミングジェネレータ20(TG)から定期的に入力されるタイミング信号(クロックパルス)により光電荷蓄積・転送動作が制御され、撮影モード時には、1画面分の画像信号を所定周期ごとに取得し、順次、第1アナログ信号処理部27に入力する。なお、第1イメージセンサ28として、CCD型やMOS型の固体撮像装置が用いられる。
第1アナログ信号処理部27は、第1イメージセンサ28から入力された1画面分の撮像信号を受け、各受光素子の蓄積電荷量に正確に対応したR,G,Bの画像データを増幅して第1A/D変換器29に入力する。第1A/D変換器29は、入力された画像データをアナログからデジタルに変換する。第1イメージセンサ28の撮像信号は、第1アナログ信号処理部27、第1A/D変換器29を介して、第1画像データ(右眼用画像データ)となる。
第2撮影光学系1bは、第1撮影光学系1aと同一の構成であり、第2変倍レンズ制御部34によって駆動される第2変倍レンズ31、第2フォーカスレンズ制御部36によって駆動される第2フォーカスレンズ32、第2絞り制御部37によって駆動される第2絞り38によって構成されている。各制御部34,36,37の動作はCPU40によって制御される。
なお、第2撮影光学系1bの各部材は、第1撮影光学系1aの各部材と同質のものが用いられている。また、第1撮影光学系1aと第2撮影光学系1bとは、基本的に同期が取られており、それぞれ連動して撮像動作を行うが、制御速度向上などの目的でそれぞれの撮影光学系を個別に動かしてもよい。左右のどちらの光学系が第1撮影光学系1aあるいは第2撮影光学系1bになってもよく双方は技術的に入れ換え可能である。
第2アナログ信号処理部35、第2A/D変換器39は、前述の第1アナログ信号処理部、A/D変換器29とそれぞれ同一の構成である。第2イメージセンサ33の撮像信号は、第2アナログ信号処理部35、第2A/D変換器39を介して、第2画像データ(左眼用画像データ)となる。
第1・第2A/D変換器29,39から出力された第1及び第2画像データは、それぞれ画像入力コントローラ39a・39bを介してデジタル信号処理部41,42に入力される。デジタル信号処理部41,42は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第1・2画像データの各々に施す。デジタル信号処理部41で処理されて所定周期ごとに出力された第1画像データは、VRAM43に入力される。デジタル信号処理部42で処理されて所定周期ごとに出力された第2画像データは、VRAM43に入力される。
VRAM43は、第1及び第2画像データを一時的に格納する作業用メモリである。なお、VRAM43にすでに第1及び第2画像データが記憶された状態で次の周期の第1及び第2画像データがVRAM43に入力された場合、すでに記憶された第1及び第2画像データは新しく入力された第1及び第2画像データで上書きされる。VRAM43で所定周期ごとに繰り返し上書き更新される第1及び第2画像データのことをスルー画像と呼ぶ。
3D画像生成部45は、VRAM43に格納された第1及び第2画像データを、モニター11が立体表示を行うための立体画像データに合成する。表示制御部56は、撮影モード時においてモニター11が電子ビューファインダとして使用される際に、3D画像生成部45によって合成された立体画像データをモニター11にスルー画像として表示させる。
撮影画像の記録について以下説明する。シャッタボタン6が押されたタイミングで第1撮影光学系1a、第2撮影光学系1bから取り込まれた画像は、それぞれアナログ信号処理27、35で処理された後、A/D29、39でデジタル信号に変換され、それぞれ画像入力コントローラ39a・39bを介してデジタル信号処理部41,42に入力される。デジタル信号処理部41,42は、階調変換、ホワイトバランス補正、γ補正処理などの各種画像処理を第1・2画像データの各々に施す。デジタル信号処理部41、42で処理されて出力された第1・2画像データは、SDRAM52に記録される。圧縮伸張処理部47は、記憶された第1及び第2画像データに対して、JPEG方式等の圧縮形式により圧縮処理を施す。SDRAM52は、この圧縮処理に必要な一時的記憶領域として用いられる。メディア制御部48は、圧縮伸張処理部47によって圧縮処理された各画像データをメモリカード49に記録させる。
このようにしてメモリカード49に記録された第1及び第2画像データをモニター11に再生表示させる場合、メモリカード49に記録された各画像データは、メディア制御部48によって読み出される。圧縮伸張処理部47によって伸張処理が行われた各画像データは、3D画像生成部45によって立体画像データに変換された後、表示制御部46を介してモニター11に再生表示される。なおその際、後述する方法で設定された所定の視差量を用いる。
モニター11の詳細な構造は図示しないが、モニター11は、その表面にパララックスバリア表示層を備えている。なおモニター11の方式はパララックスバリア方式に限るものではなく、同様の機能が実現できれば他の方式のもの、例えばレンチキュラー方式や時分割方式、偏光フィルタ方式でもよい。またモニター11をタッチパネル型にし、ユーザがモニター11を介して各種操作ができるようにしてもよい。
CPU40は、立体カメラ2の全体の動作を統括的に制御する。CPU40には、フラッシュ5の発光を制御するフラッシュ制御部72、操作部10が接続されている。また、CPU40にはフラッシュROM50が接続されている。フラッシュROM50は、電気的にデータを書き替えることが可能な不揮発性メモリであるが、空き容量が存在する限りいかなるデータも記憶できる。
ROM51は、CPU40が各種処理を実行するための制御用プログラム(後述する視差調整値設定処理を行うためのプログラムを含む)を格納している。時計部70は、現在時刻をカウントしてこれをメインCPU40に出力する。姿勢検出センサー71は、CPU40から指示されたタイミング、例えばシャッタボタンが半押しされた時点で立体カメラ2が横置きか縦置かの撮影姿勢を検出し、その検出結果をCPU40に出力する。電源制御部80は、操作部10に含まれる電源スイッチのオンまたはオフ操作に応じてCPU40から発せられた電源オン信号またはオフ信号を検知すると、バッテリ81から立体カメラ2の各ブロックに供給される電源をオンまたはオフにする制御を行う。
AF検出部44は、VRAM43に格納された第1画像データまたは第2画像データからAF評価値を算出する。AF評価値は、第1画像データまたは第2画像データのうちCPU40から指定された領域(例えば中央部)について輝度値の高周波成分を積算することにより算出され、画像の鮮鋭度を表す。AF評価値はAFが合焦点に近づくほど大きくなり、合焦時に最大となる。
AE/AWB検出部73は、VRAM43に格納された第1画像データまたは第2画像データに基づいて被写体輝度を検出(被写体の明るさを測光)し、検出した被写体輝度を測光値とする。またAE/AWB検出部73は、VRAM43に格納された第1画像データまたは第2画像データに基づいて、WB(ホワイトバランス)値を検出する。露出値の算出の方式は任意であり、スポット測光、重点平均測光、平均測光のいずれでもよい。求められた測光値、WB値、及びAF評価値はCPU40に通知され、第1撮影光学系1aおよび第2撮影光学系1bから得られた画像信号のAE、AWB、AFの制御に利用される。
CPU40は、測光値、絞り値、感度、およびシャッタ秒時における相互間の対応関係を定義したプログラム線図をROM51からSDRAM52に読み出して参照し、AE/AWB検出部73で検出された測光値に対応する絞り値および感度をそれぞれ絞り制御部26・37およびイメージセンサ24・33に設定して露出制御を行う。
なお上述の説明では、第1画像データまたは第2画像データの一方に基づいてAE・AF評価値等を求め、これにより第1撮影光学系1aおよび第2撮影光学系1bでAE,AF,WB等の制御を共通に行う場合について記載したが、第1画像データ・第2画像データのそれぞれについてAE・AF評価値等を求め、これらに基づいて第1撮影光学系1aおよび第2撮影光学系1bを個別に制御するようにしてもよい。
また上述の説明では、立体カメラ2は第1撮影光学系1aおよび第2撮影光学系1bを有するいわゆる「複眼立体撮像装置」であるが、以下で説明する視差量の設定処理はこのような複眼式のカメラに限定されるものではなく、単一の光学系を用いて立体画像を取得する「単眼立体撮像装置」にも適用可能である。
[本発明における視差調整値設定処理]
<第1の実施形態>
次に、本発明における視差調整値の設定処理を説明する。図3は本発明に係る視差調整値設定処理の第1の実施形態を示すフローチャートである。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、以下の処理は立体カメラ2と同等の構成を有するカメラ付携帯電話等の情報端末やパーソナルコンピュータ(以下、PCという)、デジタルテレビなどでも実行することが可能であり、この場合本発明に係る視差調整値設定を行うプログラムは、当該プログラムのコンピュータ読み取り可能なコードを、ROMの他CD・DVD・BD等の光磁気記録媒体やHDD(hard disk drive)・SSD(solid state drive)等の磁気記録装置、メモリカードやUSBメモリ等の記録媒体に格納して用いることができる。
<第1の実施形態>
次に、本発明における視差調整値の設定処理を説明する。図3は本発明に係る視差調整値設定処理の第1の実施形態を示すフローチャートである。この処理は、CPU40が実行を制御する。この処理をCPU40に実行させるためのプログラムはROM51に記憶されている。なお、以下の処理は立体カメラ2と同等の構成を有するカメラ付携帯電話等の情報端末やパーソナルコンピュータ(以下、PCという)、デジタルテレビなどでも実行することが可能であり、この場合本発明に係る視差調整値設定を行うプログラムは、当該プログラムのコンピュータ読み取り可能なコードを、ROMの他CD・DVD・BD等の光磁気記録媒体やHDD(hard disk drive)・SSD(solid state drive)等の磁気記録装置、メモリカードやUSBメモリ等の記録媒体に格納して用いることができる。
図3に示す処理が開始されると、まずS100で立体画像を取得する。この立体画像は立体カメラ2を操作して被写体を撮影することで取得できるが、既に撮影された画像をメモリカード49を介して取得するようにしてもよい。
次に、取得した立体画像から被写体の距離ヒストグラムを作成する(S102)。この距離ヒストグラムは、立体画像を構成する左右の視点画像を複数の領域(例えば8×8、16×16 等)に分割してそれぞれの領域で被写体までの距離を算出し、被写体が所定の距離範囲にある領域数をカウントすることで作成できる。なお被写体までの距離は、例えば異なるレンズ位置で取得された複数の撮像信号のコントラストを比較することにより算出することができるが、これに限定されず種々の方法を用いることができる。
距離ヒストグラムの作成ではさらに、主要被写体がどの距離範囲に存在するかを検出する。主要被写体であるか否かは、画像に占める面積の比率(存在する領域数の多さ)や、人物の顔であるか等の基準により判断することができる。このようにして作成されたヒストグラムの例を図4A,Bに示す。図4Aの例では距離1.2m~2.5mの範囲に主要被写体が存在し、距離5m~10mの範囲に他の被写体が存在している。また図4Bの例では距離2.5m~3mの範囲に主要被写体が存在し、その他の距離範囲に主要被写体以外の被写体が存在している。
次に、上述のようにして作成した距離ヒストグラムを、あらかじめ作成され記録されている距離分布のパターンと比較する(S104)。比較のイメージを図5A~Cに示す。比較の際は、まず図5Aの例のようなヒストグラムの各距離範囲について、エリア数が所定のしきい値(例えば5とできるが、エリアの分割数等に応じて異なる値を設定してよい)を超えた場合に「被写体が存在する」と判断し、各距離範囲について「(被写体/主要被写体が)存在する」「存在しない」のどちらかに分類して、図5Bのようなパターンを作成する。そして、同様の形式であらかじめ作成しておいた図5Cのようなパターンと比較する。
図5Cのようなパターンは、主要被写体及びそれ以外の被写体が存在する距離範囲によって複数設定することができる。この距離分布のパターンの設定例を図6の表に示す。図6の例では、距離範囲を近景(1.2m~2.5m)、中景(2.5m~5m)、遠景(5m~)の3領域に分け、主要被写体及びそれ以外の被写体の存在する距離範囲に基づいて9つのパターンを設定している。図6の例ではパターン1,2,6,9は適度な視差量になる「3D(立体)撮影に適したパターン」であり、網掛けしたパターン3~5、7は視差が大きくなりすぎユーザが見づらいか、逆に視差が小さくなりすぎ立体的に感じられないパターンである。上述した図4Aは3D撮影に適していないパターン4の例であり、図4Bは3D撮影に適したパターン2の例である。また図5Cはパターン2の例である。
上述した距離分布の比較の際には、取得した立体画像における主要被写体までの距離が、距離分布のパターンにおいて定められている主要被写体の距離範囲に属するか否かを考慮して比較する。例えば図5Bの例では主要被写体が2.5m~3mの範囲に存在しており、図5Cに示すパターン(パターン2)において定められている主要被写体の距離範囲(2.5m~5m)に属している。
なお距離分布のパターンにおいて、距離範囲をいくつの領域に分けるか、また分ける場合に各領域の距離範囲をどのように設定するかについては、図6と異なる態様にしてもよい。
S104での比較の結果、取得した立体画像の距離ヒストグラムが立体撮影に適した距離パターンのいずれかと類似していると判断されると(S106でYES)、S108へ進んで類似した距離パターンの推奨視差調整値を視差調整値として設定してS112へ進み、距離ヒストグラムが立体撮影に適した距離パターンのいずれとも類似していない場合(S106でNO)は、S110へ進んで合焦被写体が視差ゼロ(クロスポイント)になるように視差調整値を設定する。なおS106において類似するか否かの条件は立体カメラ2の特性や撮影シーンに応じて適宜設定することができ、「類似」には同一の場合も含めてよい。図6の例では、立体撮影に適した距離パターン(パターン1,2,6,8,9)に対する推奨視差調整値をピクセル(画素)単位で示している。なお視差調整値としては、所定の距離(例えば立体カメラ2から2m)の物体の視差を調整する値を設定してもよいし、主要被写体の視差を調整する値を設定してもよい。
なおS110において合焦被写体が視差ゼロになるようにするのは、合焦している被写体は人物の顔等の主要被写体であることが多いことを考慮したものであるが、立体撮影に適した距離パターンとの類似性がない場合の視差調整値設定は必ずしもこれに限定されるものではなく、画像の中央が視差ゼロ(クロスポイント)になるような視差調整値や固定の視差調整値を用いるようにしてもよいし、画像中でユーザが指定した点が視差ゼロになるようにしてもよい。なお本発明において「クロスポイント」とは立体画像中で視差がゼロになる点を意味する。
S110までの処理で視差調整値が設定されると、S112において、S100で取得した立体画像に当該設定した視差調整値を適用する。具体的には、立体画像を構成する左右の視点画像を、S108またはS110で設定したピクセル数分ずらす。その後、このずらし処理により生成された画像を記録し、処理を終了する。第1の実施形態では、このような視差調整値設定処理を行うことにより撮影シーンに応じた適切な視差調整値を設定することができる。なお上述した視差調整値設定処理を行うのに際して、距離ヒストグラム等の情報をモニター11に表示するようにしてもよいし、設定しようとしている視差調整値やその視差調整値での立体画像を事前にモニター11に表示するようにしてもよい。
<第2の実施形態>
次に、本発明に係る視差調整値設定の他の態様について説明する。上述した第1の実施形態では、取得した立体画像から作成した距離ヒストグラムと所定の距離分布パターンとの類似性に基づいて視差調整値を設定していたが、第2の実施形態ではこれに加えユーザによる視差調整値の手動設定を可能にしている。図7は第2の実施形態に係る視差調整値設定の処理を示すフローチャートである。図中S200~S210までは図3に示すフローチャートのS100~S110と同様なので、その説明を省略する。
次に、本発明に係る視差調整値設定の他の態様について説明する。上述した第1の実施形態では、取得した立体画像から作成した距離ヒストグラムと所定の距離分布パターンとの類似性に基づいて視差調整値を設定していたが、第2の実施形態ではこれに加えユーザによる視差調整値の手動設定を可能にしている。図7は第2の実施形態に係る視差調整値設定の処理を示すフローチャートである。図中S200~S210までは図3に示すフローチャートのS100~S110と同様なので、その説明を省略する。
図7のフローチャートでは、S210までの処理により距離ヒストグラムを図6の例に示すような距離パターンと比較して求めた視差調整値をいったん設定した後、視差調整値を手動で設定するか否かを判断する(S212)。この判断は、操作部10に対するユーザの指示入力に基づいて行うことができる。判断が肯定されると(S212でYES)S214へ進んでユーザが操作部10を介して入力した視差調整値を視差調整値として設定してS216へ進み、判断が否定されると(S212でNO)S214の処理を行わずにS216へ進む。S216では図3のS112と同様に、S200で取得した立体画像に設定した視差調整値を適用した後に、生成された画像を記録し処理を終了する。
第2の実施形態ではこのような視差調整値設定処理を行うことにより、撮影シーンに応じた適切な視差調整値を設定することができるのに加えて、ユーザの好みに応じた視差調整値の設定をも行うことができ、より適切な視差調整値を設定することができる。
次に、上述した第2の実施形態の変形例について説明する。図8は、当該変形例に係る視差調整値設定の処理を示すフローチャートである。図8のフローチャートのうちS215-1及びS215-2以外の処理は図7のフローチャートと同じであるので、その説明を省略する。
図8のフローチャートで行う処理は、ユーザの判断に基づいて、距離分布のパターンにおける推奨視差調整値の値をユーザ設定値で更新(上書き)することを可能にしている点が、図7のフローチャートと異なっている。具体的には、S214までで視差調整値を設定した後、S215-1で距離分布のパターンにおける推奨視差調整値の値を更新するか否かを判断する。この判断は、操作部10に対するユーザの指示入力に基づいて行うことができる。判断が肯定されると(S215-1でYES)S215-2へ進んで該当する距離分布のパターン(作成した距離ヒストグラムと類似すると判断された距離分布のパターン)に対する推奨視差調整値の値を更新(上書き)してS216へ進み、判断が否定されると(S215-1でNO)S215-2の処理を行わずにS216へ進む。
ユーザは推奨視差調整値が適切と思う場合とそうでない場合とがありうるが、ある撮影状況で推奨視差調整値が適切だと思ったとしても、次に同じ撮影状況になった時にはその時の気分により同じ推奨視差調整値が適切でないと思うことがありうる。また、その逆のケースもありうる。したがって視差調整値を手動設定した場合に推奨視差調整値を一律に更新(上書き)することが適切でないこともあり得るが、上記変形例のように推奨視差調整値を更新するか否かユーザに確認させることでそのような状況に対処することができ、撮影シーンやユーザの好みを考慮した適切な視差調整値を設定することができる。
なお、上述した第2の実施形態及びその変形例についても、第1の実施形態の場合と同様に距離ヒストグラ・BR> 等の情報をモニター11に表示するようにしてもよいし、推奨視差調整値及びユーザが設定した視差調整値やその視差調整値での立体画像を事前に表示してユーザに確認させるようにしてもよい。また、上述した第2の実施形態及びその変形例についても、第1の実施形態の場合と同様にカメラ付携帯電話やパーソナルコンピュータなどで実行することが可能である。
<第3の実施形態>
上述した第2の実施形態では、各距離分布のパターンの推奨視差調整値をユーザの判断に基づいて更新(上書き)する場合について説明した。この更新処理ではユーザが設定した視差調整値がそのまま各距離分布のパターンの推奨視差調整値となるが、本第3の実施形態では、ユーザが設定した視差調整値を学習し、設定履歴を考慮して推奨視差調整値を更新する場合について説明する。
上述した第2の実施形態では、各距離分布のパターンの推奨視差調整値をユーザの判断に基づいて更新(上書き)する場合について説明した。この更新処理ではユーザが設定した視差調整値がそのまま各距離分布のパターンの推奨視差調整値となるが、本第3の実施形態では、ユーザが設定した視差調整値を学習し、設定履歴を考慮して推奨視差調整値を更新する場合について説明する。
図9は第3の実施形態に係る視差調整値設定処理を示すフローチャートである。このフローチャート中、S300~S314までの処理は第2の実施形態及びその変形例に係る図7,8のフローチャートのS200~S214と同じであるので、その説明を省略する。
図9のフローチャートでは、S314までの処理で立体画像に適用する量視差調整値を設定した後、S316において、該当する距離分布のパターンに対する推奨視差調整値を更新するか否か判断する。この判断は、操作部10に対するユーザの指示入力に基づいて行うことができる。判断が肯定されると(S316でYES)S318へ進んで距離パターンの推奨視差調整値を学習結果に基づいて更新した後S220へ進み、判断が否定されると(S316でNO)距離パターンの推奨視差調整値を更新せずS320へ進む。
S318で行う処理は、具体的には視差調整値の設定履歴を考慮して視差調整値を設定するもので、例えば最新の設定値を用いる態様、設定頻度が高い値を用いる態様、過去の設定値の平均を用いる態様、過去の設定値を重みづけ平均して用いる態様、過去の設定値から今回の設定値を予測する態様など様々な手法を用いることができる。またこのような複数の手法のうちいずれを用いるかをユーザに選択させるようにしてもよい。そしてこのような方法のいずれかを用いて算出された視差調整値により該当する距離パターンの推奨視差調整値を更新すると(S318)、S320へ進んで視差調整値の設定履歴を更新する。なおこのようにして算出された推奨設定値や設定履歴をユーザの指示によりクリアして初期設定に戻せるようにしてもよい。
このように第3の形態では、視差調整値設定値を学習(設定履歴を更新し、その設定履歴に基づいて視差調整値を設定)することで撮影シーンを考慮した適切な視差調整値を設定することができるのに加え、使用を続けていくうちに、視差調整値設定の傾向に基づきユーザの好みとの適合度合いが高い視差調整値を設定することができる。
なお、上述した第3の実施形態についても、第1及び第2の実施形態の場合と同様に距離ヒストグラム等の情報をモニター11に表示するようにしてもよいし、推奨視差調整値及びユーザが設定した視差調整値やその視差調整値での立体画像を事前に表示してユーザに確認させるようにしてもよい。また、上述した第3の実施形態についても、第1及び第2の実施形態の場合と同様にカメラ付携帯電話やパーソナルコンピュータなどで実行することが可能である。
上述した第1~第3の実施形態ではユーザの数には特に言及していないが、本発明に係る視差調整値設定は複数のユーザが立体カメラ2を使用する場合にも用いることができる。例えば、図6の例に示すような推奨視差調整値が設定されたテーブルをユーザに対応させて複数用意してユーザ毎に切り替えて使用するようにしてもよいし、視差調整値の設定履歴をユーザ毎に保持するようにしてもよい。このような複数の推奨視差調整値のテーブルや視差調整値の設定履歴のデータは、フラッシュROM50に記憶しておくことができる。なおこの際ユーザの識別は、例えばユーザに対し操作部10を介してユーザ番号やIDを入力させたり、モニター11にユーザ番号を表示して選択させたりして、CPU40がこれを判別することにより行うことができる。
また第1~第3の実施形態において、撮影シーンによって適正視差調整値が異なることに対応するため、ズームポジションに応じて(例えば、10カ所位)推奨視差調整値を変化させるようにしてもよい。
また第1~第3の実施形態では被写体距離のヒストグラムを距離分布のパターンと比較しているが、取得した立体画像から視差のヒストグラムを作成し視差分布のパターンと比較して「立体撮影に適したパターンか否か」を判断するようにしてもよい。
なお上記第1~第3の実施形態は立体カメラ2で視差調整値の設定を行う場合について説明しているが、本発明に係る視差調整値の設定処理は立体カメラ等のデジタルカメラに限らず、カメラ付携帯電話やパーソナルコンピュータ、デジタルテレビ等の電子機器で行うことも可能である。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1a:第1撮影光学系、1b:第2撮影光学系、2:立体カメラ、10:操作部、11:モニター、40:CPU、49:メモリカード、50:フラッシュROM
Claims (15)
- 被写体の立体画像を取得する立体画像取得手段と、
前記取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出手段と、
前記算出した距離分布を、予め記憶された距離分布の複数のパターンと照合する距離分布照合手段と、
前記照合結果に基づいて、前記取得した立体画像に対する視差調整値を設定する視差調整値設定手段と、
前記取得した立体画像に前記設定した視差調整値を適用した画像を記録する記録手段と、
を備える立体画像処理装置であって、
前記距離分布照合手段は、前記算出した距離分布における主要被写体までの距離が前記複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、
前記視差調整値設定手段は、前記照合の結果、前記算出した距離分布が前記複数のパターンのいずれかに類似すると判断されるときは、前記取得した立体画像に対し、前記類似すると判断されたパターンに応じた視差調整値を設定する、
立体画像処理装置。 - ユーザによる視差調整値の指示入力を受け付ける視差調整値入力手段をさらに備え、
前記視差調整値設定手段は、前記受け付けた視差調整値を、前記類似すると判断されたパターンに応じた視差調整値として設定する、
請求項1に記載の立体画像処理装置。 - 前記視差調整値設定手段は、前記視差調整値入力手段が視差調整値の入力を受け付けると、
当該受け付けた視差調整値と視差調整値の設定履歴とに基づいて新たな視差調整値を算出し、前記類似すると判断されたパターンに応じた視差調整値として設定するとともに、前記視差調整値の設定履歴を更新する、
請求項2に記載の立体画像処理装置。 - 複数のユーザを識別するユーザ識別手段をさらに備え、
前記視差調整値設定手段は、前記識別したユーザが前記複数のユーザのいずれであるかに応じて視差調整値を設定する、
請求項1ないし3のいずれかに記載の立体画像処理装置。 - 前記視差調整値設定手段は、前記照合の結果、前記算出した距離分布が前記複数のパターンのいずれにも類似しないと判断されるときは、前記取得した立体画像に対し、合焦被写体が視差ゼロになるように視差調整値を設定する、
請求項1ないし4のいずれかに記載の立体画像処理装置。 - 前記距離分布算出手段が算出する距離分布は被写体までの距離のヒストグラムである、請求項1ないし5のいずれかに記載の立体画像処理装置。
- 前記距離分布算出手段が算出する距離分布は被写体の視差のヒストグラムである、請求項1ないし5のいずれかに記載の立体画像処理装置。
- 前記視差調整値は所定の距離における被写体の視差を調整する値である、請求項1ないし7のいずれかに記載の立体画像処理装置。
- 前記視差調整値は主要被写体の視差を調整する値である、請求項1ないし7のいずれかに記載の立体画像処理装置。
- 前記取得した立体画像に前記設定した視差調整値を適用した画像を表示する立体画像表示手段をさらに備える、請求項1ないし9のいずれかに記載の立体画像処理装置。
- 被写体の立体画像を取得する立体画像取得手段と、
前記取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出手段と、
前記算出した距離分布を、予め記憶された距離分布の複数のパターンと照合する距離分布照合手段と、
前記照合結果に基づいて、前記取得した立体画像に対する視差調整値を設定する視差調整値設定手段と、
前記取得した立体画像に前記設定した視差調整値を適用した画像を記録する記録手段と、
を備える立体撮像装置であって、
前記距離分布照合手段は、前記算出した距離分布における主要被写体までの距離が前記複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、
前記視差調整値設定手段は、前記照合の結果、前記算出した距離の分布が前記複数のパターンのいずれかに類似すると判断されるときは、前記取得した立体画像に対し、前記類似すると判断されたパターンに応じた視差調整値を設定する、
立体撮像装置。 - 被写体の立体画像を取得する立体画像取得手段と、
前記取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出手段と、
前記算出した距離分布を、予め記憶された距離分布の複数のパターンと照合する距離分布照合手段と、
前記照合結果に基づいて、前記取得した立体画像に対する視差調整値を設定する視差調整値設定手段と、
前記取得した立体画像に前記設定した視差調整値を適用した画像を記録する記録手段と、
前記取得した立体画像に前記設定した視差調整値を適用した画像を表示する立体画像表示手段と、
を備える立体画像再生装置であって、
前記距離分布照合手段は、前記算出した距離分布における主要被写体までの距離が前記複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、
前記視差調整値設定手段は、前記照合の結果、前記算出した距離分布が前記複数のパターンのいずれかに類似すると判断されるときは、前記取得した立体画像に対し、前記類似すると判断されたパターンに応じた視差調整値を設定する、
立体画像再生装置。 - 被写体の立体画像を取得する立体画像取得ステップと、
前記取得した立体画像から、1つ以上の被写体までの距離もしくは距離に相当する値の分布を距離分布として算出する距離分布算出ステップと、
前記算出した距離分布を、予め記憶された距離の分布の複数のパターンと照合する距離分布照合ステップと、
前記照合結果に基づいて、前記取得した立体画像に対する視差調整値を設定する視差調整値設定ステップと、
前記取得した立体画像に前記設定した視差調整値を適用して記録する記録ステップと、
を含む立体画像処理方法であって、
前記距離分布照合ステップでは、前記算出した距離分布における主要被写体までの距離が前記複数のパターンにおける主要被写体までの距離範囲に属するか否かを考慮して照合を行い、
前記視差調整値設定ステップでは、前記照合の結果、前記算出した距離分布が前記複数のパターンのいずれかに類似すると判断されるときは、前記取得した立体画像に対し、前記類似すると判断されたパターンに応じた視差調整値を設定する、
立体画像処理方法。 - 請求項13に記載の立体画像処理方法をコンピュータに実行させる立体画像処理プログラム。
- 請求項14に記載の立体画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-215058 | 2011-09-29 | ||
JP2011215058 | 2011-09-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013047641A1 true WO2013047641A1 (ja) | 2013-04-04 |
Family
ID=47995669
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/074843 WO2013047641A1 (ja) | 2011-09-29 | 2012-09-27 | 立体画像処理装置及び立体画像処理方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2013047641A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015102856A (ja) * | 2013-11-28 | 2015-06-04 | 株式会社ニコン | 画像処理装置、電子カメラ及び画像処理プログラム |
JP2018197873A (ja) * | 2018-08-02 | 2018-12-13 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
WO2022085310A1 (ja) * | 2020-10-20 | 2022-04-28 | ソニーセミコンダクタソリューションズ株式会社 | 距離測定装置及び距離測定方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128195A (ja) * | 1999-10-29 | 2001-05-11 | Atr Ningen Joho Tsushin Kenkyusho:Kk | 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体 |
JP2004289527A (ja) * | 2003-03-24 | 2004-10-14 | Sanyo Electric Co Ltd | 立体画像表示装置 |
WO2011108277A1 (ja) * | 2010-03-05 | 2011-09-09 | パナソニック株式会社 | 立体撮像装置および立体撮像方法 |
-
2012
- 2012-09-27 WO PCT/JP2012/074843 patent/WO2013047641A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001128195A (ja) * | 1999-10-29 | 2001-05-11 | Atr Ningen Joho Tsushin Kenkyusho:Kk | 立体画像補正装置、立体画像表示装置および立体画像補正処理プログラムを記録した記録媒体 |
JP2004289527A (ja) * | 2003-03-24 | 2004-10-14 | Sanyo Electric Co Ltd | 立体画像表示装置 |
WO2011108277A1 (ja) * | 2010-03-05 | 2011-09-09 | パナソニック株式会社 | 立体撮像装置および立体撮像方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015102856A (ja) * | 2013-11-28 | 2015-06-04 | 株式会社ニコン | 画像処理装置、電子カメラ及び画像処理プログラム |
JP2018197873A (ja) * | 2018-08-02 | 2018-12-13 | 株式会社ニコン | 画像処理装置及び画像処理プログラム |
WO2022085310A1 (ja) * | 2020-10-20 | 2022-04-28 | ソニーセミコンダクタソリューションズ株式会社 | 距離測定装置及び距離測定方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8599245B2 (en) | Image processing apparatus, camera, and image processing method | |
US7668451B2 (en) | System for and method of taking image | |
US8854528B2 (en) | Imaging apparatus | |
EP2590421A1 (en) | Single-lens stereoscopic image capture device | |
JP5449550B2 (ja) | 立体画像表示装置、立体画像表示方法、立体画像表示プログラムおよび記録媒体 | |
JP4533735B2 (ja) | 立体画像撮影装置 | |
JP5336285B2 (ja) | 立体画像表示装置、方法およびプログラムならびに撮像装置 | |
JP5231771B2 (ja) | 立体画像撮影装置 | |
US9838667B2 (en) | Image pickup apparatus, image pickup method, and non-transitory computer-readable medium | |
JP4645413B2 (ja) | 撮像装置 | |
US20130107014A1 (en) | Image processing device, method, and recording medium thereof | |
JP5449551B2 (ja) | 画像出力装置、方法およびプログラム | |
US20130155204A1 (en) | Imaging apparatus and movement controlling method thereof | |
WO2013047641A1 (ja) | 立体画像処理装置及び立体画像処理方法 | |
US20070195190A1 (en) | Apparatus and method for determining in-focus position | |
JP2020107956A (ja) | 撮像装置、撮像方法およびプログラム | |
US9094671B2 (en) | Image processing device, method, and recording medium therefor | |
JP2008263478A (ja) | 撮像装置 | |
JP5580486B2 (ja) | 画像出力装置、方法およびプログラム | |
JP5366693B2 (ja) | 撮像装置、撮像装置の制御方法、及びコンピュータプログラム | |
WO2013005477A1 (ja) | 撮像装置、立体画像撮像方法及びプログラム | |
JP2017192114A (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP2014138378A (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP4756005B2 (ja) | 撮像装置及び撮像方法 | |
JP4823964B2 (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12837010 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12837010 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |