WO2012060182A1 - 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 - Google Patents
画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 Download PDFInfo
- Publication number
- WO2012060182A1 WO2012060182A1 PCT/JP2011/073256 JP2011073256W WO2012060182A1 WO 2012060182 A1 WO2012060182 A1 WO 2012060182A1 JP 2011073256 W JP2011073256 W JP 2011073256W WO 2012060182 A1 WO2012060182 A1 WO 2012060182A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- parallax
- display device
- image data
- parallax amount
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
- G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
- G03B35/24—Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Definitions
- the present invention relates to an image processing device, an image processing program, an image processing method, and a storage medium, and in particular, an image processing device that outputs image data for stereoscopic display to a display device, an image processing program, an image processing method, and The present invention relates to a storage medium.
- the user's appropriate parallax acquired by the first display device is read into the second display device, and the second display device adjusts the parallax of the parallax image according to the read appropriate parallax.
- a stereoscopic image processing method for outputting an adjusted parallax image from this display device Japanese Patent Laid-Open No. 2004-7396.
- a stereoscopic image that generates a right-eye stereoscopic image and a left-eye stereoscopic image obtained by converting an image for the right eye and an image for the left eye based on the size of the display screen and the viewing distance.
- a generation apparatus is known (Japanese Patent Laid-Open No. 2006-333400).
- display screen information (data) indicating the size of the display screen for displaying the right-eye stereoscopic image and the left-eye stereoscopic image, the position of the observer, and the position of the display screen Based on the position of the right eye and left eye of the observer, the area of the display screen, and the display area of the image for the right eye and the image for the left eye that are set in advance corresponding to the position of the observer In the virtual space, the virtual right eye position, the virtual left eye position, the virtual display screen area, and the virtual standard display area are set.
- the present invention has been made in consideration of the above problems, and an object thereof is to provide an image processing apparatus and a program capable of automatically calculating an appropriate amount of parallax for each of a plurality of types of display devices. .
- One embodiment of the present invention is an image processing device, which is a size acquisition unit that acquires a first display size of a display device to be stereoscopically displayed, and an image for stereoscopic display in each of a plurality of types of display devices.
- Storage means for storing each of the parallax amounts adjusted by the user when the data is stereoscopically displayed and each of the second display sizes of the display device, the parallax amount stored in the storage means, and the Based on the relationship with the second display size, the parallax amount calculating means for calculating the parallax amount for the first display size acquired by the size acquiring means, the parallax amount calculated by the parallax amount calculating means, Output means for outputting image data for stereoscopic display to the output target display device.
- a second aspect of the present invention is an image processing program, wherein each of the parallax amounts adjusted by a user when stereoscopic display image data is stereoscopically displayed on each of a plurality of types of display devices, and
- the parallax amount calculating means for calculating the parallax amount for the first display size acquired by the size acquiring means, and the parallax calculated by the parallax amount calculating means
- the amount and the image data for stereoscopic display are made to function as output means for outputting to the display device to be output.
- a third aspect of the present invention is an image processing method, wherein each of the parallax amounts adjusted by the user when stereoscopic display image data is stereoscopically displayed on each of a plurality of types of display devices, and Each of the second display sizes of the display device is stored in advance, the first display size of the output target display device for stereoscopic display is acquired, and the relationship between the stored parallax amount and the second display size And calculating the parallax amount for the acquired first display size and outputting the calculated parallax amount and the image data for stereoscopic display to the display device to be output. .
- a continuous storage medium storing a program for causing a computer to execute image processing, wherein the image processing is performed when stereoscopic display image data is stereoscopic in each of a plurality of types of display devices.
- Each of the parallax amounts adjusted by the user when visually displayed and each of the second display sizes of the display device are stored in advance, and the first display size of the output target display device for stereoscopic display is acquired.
- the amount of parallax for the acquired first display size is calculated, and the calculated amount of parallax and the stereoscopic display are displayed. Output to the display device to be output.
- the first display size of the output target display device for stereoscopic display is acquired by the size acquisition means.
- the parallax amount calculating unit calculates the parallax amount for the first display size acquired by the size acquiring unit based on the relationship between the parallax amount stored in the storage unit and the second display size. Then, the output unit outputs the parallax amount calculated by the parallax amount calculating unit and the image data for stereoscopic display to a display device to be output.
- the amount of parallax with respect to the display size of the display device to be output based on the relationship between the amount of parallax adjusted by the user and the display size, appropriate parallax is obtained for each of the plurality of types of display devices.
- the amount can be calculated automatically.
- the image processing apparatus includes a type acquisition unit that acquires the type of the display device to be output, and the parallax amount calculation according to a viewing distance that is predetermined for the type acquired by the type acquisition unit.
- Correction means for correcting the amount of parallax calculated by the means, and the output means outputs the amount of parallax corrected by the correction means and the image data for stereoscopic display to the display device to be output. Can be output. Accordingly, it is possible to correct the parallax amount more appropriately according to the viewing distance determined for the type of the display device.
- the image processing apparatus further includes a reception unit that receives user information indicating a user, and the storage unit stores each of the parallax amounts adjusted by the user and each of the second display sizes of the display device. Based on the relationship between the parallax amount stored in the storage unit and the second display size corresponding to the user information received by the receiving unit, The amount of parallax with respect to the first display size acquired by the size acquisition unit can be calculated. Thereby, an appropriate amount of parallax can be calculated for each user.
- the image processing apparatus including the receiving unit includes a type acquiring unit that acquires the type of the display device to be output, the type acquired by the type acquiring unit, and the user information received by the receiving unit.
- a correction unit that corrects the parallax amount calculated by the parallax amount calculation unit according to a predetermined viewing distance
- the output unit includes the parallax amount corrected by the correction unit, and the stereoscopic view.
- the image data for display can be output to the output target display device. Thereby, it can correct
- the image processing apparatus includes a display unit that performs stereoscopic display, a measurement unit that measures a viewing distance from the display unit to a user, and a viewing distance that is predetermined according to a first display size of the display unit. And a correction unit that compares the viewing distance measured by the measurement unit and corrects the parallax amount calculated by the parallax amount calculation unit according to the comparison result, and the output unit includes the correction unit.
- the parallax amount corrected in accordance with the above and the image data for stereoscopic display can be output to the output target display device. Thereby, it is possible to correct the parallax amount more appropriately according to the viewing distance to the user.
- the image processing apparatus further includes a parallax range acquiring unit that acquires a parallax range of a subject from the image data for stereoscopic display, and the parallax amount calculating unit includes a first stereoscopic unit in which the parallax amount is adjusted.
- the parallax range acquired from the first stereoscopic display image data and the second stereoscopic display Based on the parallax range acquired from the display image data and the parallax amount of the first stereoscopic display image data, a parallax amount of the second stereoscopic display image data is calculated.
- the output unit may output the parallax amount corrected by the calculation unit and the image data for the second stereoscopic display to the output target display device. Accordingly, it is possible to calculate an appropriate amount of parallax for stereoscopic display image data different from the stereoscopic display image data in which the parallax amount is adjusted.
- the image data for stereoscopic display of this aspect includes a distance to the subject, and the image processing apparatus further includes subject distance acquisition means for acquiring the distance to the subject from the image data for stereoscopic display.
- the parallax amount calculation means outputs second stereoscopic display image data different from the first stereoscopic display image data in which the parallax amount is adjusted, the first stereoscopic display image is output.
- the distance to the subject acquired from the data, the distance to the subject acquired from the second stereoscopic display image data, and the parallax amount of the first stereoscopic display image data Based on this, the parallax amount of the image data for the second stereoscopic display is calculated, and the output means calculates the parallax amount corrected by the calculation means and the image data for the second stereoscopic display. Output to the target display device. It can be adapted to. Accordingly, it is possible to calculate an appropriate amount of parallax for stereoscopic display image data different from the stereoscopic display image data in which the parallax amount is adjusted.
- the image processing apparatus can further include display means for stereoscopic display.
- the image processing apparatus further includes photographing means for photographing a plurality of images from a plurality of different viewpoints, and the output means is photographed from the plurality of viewpoints by the photographing means as the image data for stereoscopic display.
- a plurality of images can be output.
- a plurality of types of display can be obtained by calculating the amount of parallax with respect to the display size of the display device to be output based on the relationship between the amount of parallax adjusted by the user and the display size.
- An appropriate amount of parallax can be automatically calculated for each of the devices.
- FIG. 1 is a front perspective view of the compound-eye digital camera 1 according to the first embodiment
- FIG. 2 is a rear perspective view.
- a release button 2 As shown in FIG. 1, a release button 2, a power button 3, and a zoom lever 4 are provided on the upper part of the compound-eye digital camera 1. Further, on the front surface of the compound-eye digital camera 1, a flash 5 and lenses of the two photographing units 21A and 21B are disposed.
- a liquid crystal monitor 7 for performing various displays and various operation buttons 8 are disposed on the back of the compound-eye digital camera 1.
- the compound-eye digital camera 1 can be connected to a plurality of types of display devices such as a television capable of three-dimensional display via a cable. Are output to a plurality of types of display devices.
- FIG. 4 is a schematic block diagram showing the internal configuration of the compound-eye digital camera 1.
- the compound-eye digital camera 1 includes two photographing units 21A and 21B, a photographing control unit 22, an image processing unit 23, a compression / decompression processing unit 24, a frame memory 25, a media control unit 26, and an internal memory 27.
- a display control unit 28 an input unit 36, a CPU 37, and a data communication unit 38.
- the photographing units 21A and 21B are arranged so as to have a predetermined baseline length with a convergence angle at which the subject is viewed. Information on the angle of convergence and the baseline length is stored in the internal memory 27.
- the imaging control unit 22 includes an AF processing unit and an AE processing unit (not shown).
- the AF processing unit determines the focusing area and the focal position of the lens based on the pre-images acquired by the imaging units 21A and 21B by half-pressing the release button 2, and outputs them to the imaging units 21A and 21B. .
- the AF processing unit determines the focal position of the lens with the subject area as the focusing area.
- the AE processing unit determines the aperture value and the shutter speed based on the pre-image, and outputs them to the photographing units 21A and 21B.
- the photographing control unit 22 instructs the photographing unit 21A to obtain a main image of the left image and the photographing unit 21B to acquire the main image of the right image in the compound eye mode. .
- the shooting control unit 22 displays a real-time image having a smaller number of pixels than the main image for confirming the shooting range at a predetermined time interval (for example, 1/30 second interval). An instruction to sequentially acquire is given to the imaging units 21A and 21B.
- the image processing unit 23 performs image processing such as white balance adjustment, gradation correction, sharpness correction, and color correction on the digital image data of the left image and the right image acquired from the photographing units 21A and 21B. Apply.
- the compression / decompression processing unit 24 performs compression processing on the image data representing the left image and the right image processed by the image processing unit 23 in, for example, a compression format such as JPEG, so that an image file for stereoscopic viewing is obtained. Is generated.
- the stereoscopic image file includes image data of the left image and the right image, and includes supplementary information such as a baseline length, a convergence angle, and a shooting date and time, and viewpoint information indicating a viewpoint position based on the Exif format or the like. Stored. Further, the distance information to the subject calculated from the focal position of the lens is stored in the stereoscopic image file.
- the frame memory 25 is a work memory used when performing various processes including the processes performed by the above-described image processing unit 23 on the image data representing the left image and the right image acquired by the imaging units 21A and 21B. .
- the media control unit 26 accesses the recording medium 29 and controls writing and reading of image files and the like.
- the internal memory 27 stores the display size width of the liquid crystal monitor 7, various constants set in the compound-eye digital camera 1, a program executed by the CPU 37, and the like.
- the display control unit 28 displays the stereoscopic image generated from the left image and the right image stored in the frame memory 25 at the time of shooting on the liquid crystal monitor 7, or displays the left image and the right recorded on the recording medium 29. An image or a stereoscopic image is displayed on the liquid crystal monitor 7. In addition, the display control unit 28 causes the liquid crystal monitor 7 to display a real-time image.
- the recording medium 29 is composed of a memory card, for example.
- the recording medium 29 is an example of a storage unit.
- FIG. 5 is an exploded perspective view showing the configuration of the liquid crystal monitor 7.
- the liquid crystal monitor 7 is configured by stacking a backlight unit 40 that emits light and a liquid crystal panel 41 for performing various displays and attaching a lenticular sheet 42 to the surface of the liquid crystal panel 41. Yes.
- FIG. 6 is a diagram showing the configuration of the lenticular sheet.
- the lenticular sheet 42 is configured by arranging a plurality of cylindrical lenses 43 in parallel in a direction along the base line.
- the data communication unit 38 performs data communication with the other display device when the compound-eye digital camera 1 is connected to the other display device via a cable.
- the compound-eye digital camera 1 includes a three-dimensional processing unit 30, a user authentication unit 31, a parallax adjustment unit 32, a size acquisition unit 33, and a parallax calculation unit 34.
- the three-dimensional processing unit 30 performs a three-dimensional process on the left image and the right image to generate a stereoscopic image in order to stereoscopically display the left image and the right image on the liquid crystal monitor 7.
- FIG. 7 is a diagram for explaining the three-dimensional processing for the left image G1 and the right image G2.
- the three-dimensional processing unit 30 cuts each of the left image G1 and the right image G2 into a strip shape in a direction perpendicular to the base line, and the position corresponds to each of the cylindrical lenses 43 in the lenticular sheet 42.
- a stereoscopic image GR is generated by performing a three-dimensional process so that the left image G1 and the right image G2 cut into strips are alternately arranged.
- the image pairs of the left image G1 and the right image G2 that constitute the stereoscopic image GR are each arranged corresponding to one cylindrical lens.
- the user authentication unit 31 accepts a user ID input by the user operating the input unit 36, and performs user authentication by comparing it with a list of user IDs registered in advance.
- the user authentication unit 31 is an example of a reception unit.
- the parallax adjustment unit 32 adjusts the parallax between the left image G1 and the right image G2 according to the operation of the input unit 36 by the user.
- the parallax refers to the amount of deviation of the pixel position of the subject included in both the left image G1 and the right image G2 in the horizontal direction of the left image G1 and the right image G2, that is, the direction along the base line.
- the parallax adjustment unit 32 adjusts the parallax of the left image and the right image for the stereoscopic image file recorded in advance on the recording medium 29, and stores the adjustment result in the stereoscopic image file. Further, the parallax adjustment unit 32 stores the display size of the liquid crystal monitor 7 (for example, the horizontal width of the display screen) in a stereoscopic image file corresponding to the adjustment result.
- the parallax adjustment unit 32 outputs an image file for stereoscopic viewing to another display device via the data communication unit 38, and when the stereoscopic display is performed on the other display device, the input unit 36 by the user. According to the operation, the parallax between the left image and the right image in the stereoscopic display of the display device can be adjusted. At this time, the parallax adjustment unit 32 stores the adjustment result in an image file for stereoscopic viewing. Also, the parallax adjustment unit 32 stores the display size (for example, the horizontal width of the display screen) of the display device acquired by the size acquisition unit 33 described later in a stereoscopic image file corresponding to the adjustment result.
- the display size for example, the horizontal width of the display screen
- the size acquisition unit 33 outputs an image file for stereoscopic viewing to another display device via the data communication unit 38, and performs stereoscopic display on the other display device via the data communication unit 38.
- the display size (for example, the horizontal width of the display screen) is acquired from the display device.
- the parallax calculation unit 34 sets the display size of the display device based on the parallax adjustment result stored in the stereoscopic image file. In response, the parallax between the left image and the right image is calculated.
- the parallax calculation unit 34 follows a linear function representing the relationship between the display size and the parallax based on the two parallax adjustment results. Then, the parallax between the left image and the right image according to the display size of the other display device acquired by the size acquisition unit 33 is calculated.
- the width of the display size of the liquid crystal monitor 7 is W1 cm
- the result of manual adjustment of parallax by the user is L1 cm
- the width of the display size of other display devices is W2 cm
- the result of manual adjustment of parallax by the user is L2 cm.
- A (NR ⁇ PQ) / (NP′ ⁇ P 2 )
- B (P′Q ⁇ PR) / (NP ⁇ P 2 )
- P W1 + W2 + ... + WN
- P ' W1 2 + W2 2 + ... WN 2
- Q L1 + L2 + ... + LN
- R W1 ⁇ L1 + W2 ⁇ L2 + ... WN ⁇ LN
- N is the number of data It is.
- the left image and right image according to the display size W of the other display apparatus acquired by the size acquisition part 33 The parallax x is calculated.
- the compound-eye digital camera 1 when the user operates the input unit 36 to input a user ID, the compound-eye digital camera 1 performs user authentication. Further, the compound-eye digital camera 1 performs a three-dimensional process on the left image and the right image of a specific stereoscopic image file recorded in advance on the recording medium 29 to generate a stereoscopic image, and the liquid crystal monitor 7. The left image and the right image are stereoscopically displayed. Then, when the user operates the input unit 36 to adjust the parallax between the left image and the right image, the parallax adjustment result and the display size width of the liquid crystal monitor 7 in the compound-eye digital camera 1 become the user ID. Correspondingly, it is stored in a specific stereoscopic image file.
- the compound-eye digital camera 1 is connected to another display device (for example, a television capable of three-dimensional display) via a cable and recorded in advance on a recording medium 29.
- the specific stereoscopic image file is output to the display device.
- the left image and the right image of a specific stereoscopic image file are stereoscopically displayed.
- the parallax adjustment result and the display size width of the display device in the compound-eye digital camera 1 Are stored in a specific stereoscopic image file corresponding to the user ID.
- step 100 the width of the display size is acquired from the display device connected to the compound-eye digital camera 1.
- step 102 a user ID for which user authentication has been performed is acquired, and in step 104, parallax adjustment stored in correspondence with the acquired user ID from a specific stereoscopic image file stored in the recording medium 29 is performed. A plurality of combinations of the result and the display size width of the display device are read.
- step 106 it is determined whether or not the number of data acquired in step 104 (the number of combinations of the parallax adjustment result and the display size width of the display device) is three or more.
- the number of acquired data is two
- step 108 based on the two combinations of the parallax adjustment result acquired in step 104 and the display size width of the display device, the display size and the parallax are obtained.
- step 110 three or more of the parallax adjustment result acquired in step 104 and the display size width of the display device Based on these combinations, principal component analysis is performed to derive a linear function representing the relationship between display size and parallax.
- step 112 the parallax amount corresponding to the width of the display size acquired in step 100 is calculated according to the linear function derived in step 108 or 110.
- step 114 the parallax amount calculated in step 112 is output to the display device connected to the compound-eye digital camera 1 together with the specific stereoscopic image file, and the parallax adjustment processing routine ends.
- the left image and the right image of the specific stereoscopic image file are stereoscopically displayed with the calculated amount of parallax.
- the display size of the display device to be output is based on the relationship between the parallax amount manually adjusted by the user and the width of the display size.
- the amount of parallax relative to the width an appropriate amount of parallax can be automatically calculated for each of a plurality of types of display devices.
- the accuracy of the calculated parallax amount can be improved.
- the second embodiment is different from the first embodiment in that the calculated amount of parallax is corrected according to the type of display device.
- the size acquisition unit 33 outputs an image file for stereoscopic viewing to another display device via the data communication unit 38, and the stereoscopic display is performed on the other display device.
- the display size width is acquired from the display device via the data communication unit 38, and the display device type (TV, photo frame, liquid crystal of a digital camera, etc.) is acquired.
- the size acquisition unit 33 is an example of a size acquisition unit and a type acquisition unit.
- the parallax calculation unit 34 sets the display size of the display device based on the parallax adjustment result stored in the stereoscopic image file. In response, the parallax between the left image and the right image is calculated. In addition, the parallax calculation unit 34 corrects the calculated parallax amount according to the tendency of the viewing distance determined in advance for the type of the display device. For example, in the case of a photo frame, even if the width of the display size is the same, the user often looks close (the viewing distance with respect to the width of the display size tends to be short), so the parallax amount is corrected to be small To do. Also, in the case of a television, even if the width of the display size is the same, the user often looks far away (the viewing distance tends to be far from the width of the display size), so correction is made to increase the amount of parallax. .
- step 200 the width of the display size and the type of display device are acquired from the display device connected to the compound-eye digital camera 1.
- step 102 a user ID for which user authentication has been performed is acquired, and in step 104, parallax adjustment stored in correspondence with the acquired user ID from a specific stereoscopic image file stored in the recording medium 29 is performed. A plurality of combinations of the result and the display size width of the display device are read.
- step 106 it is determined whether or not the number of data acquired in step 104 is three or more. If the acquired number of data is two, in step 108, the slope and intercept of the linear function representing the relationship between the display size and the parallax are obtained. On the other hand, if the number of acquired data is 3 or more in step 106, a principal component analysis is performed in step 110 to derive a linear function representing the relationship between display size and parallax.
- step 112 the amount of parallax corresponding to the width of the display size acquired in step 100 is calculated according to the linear function derived above.
- step 202 the parallax amount calculated in step 112 is corrected according to the type of display device acquired in step 200.
- step 114 together with the specific stereoscopic image file, the parallax amount corrected in step 202 is output to the display device connected to the compound-eye digital camera 1, and the parallax adjustment processing routine ends.
- the desired parallax can be realized without being affected by the variation in viewing distance (the tendency of viewing distance) caused by the difference in the types of display devices. can do.
- the third embodiment is different from the first embodiment in that the calculated amount of parallax is corrected according to the tendency of the viewing distance for each user.
- the size acquisition unit 33 outputs an image file for stereoscopic viewing to another display device via the data communication unit 38, and the stereoscopic display is performed on the other display device.
- the width of the display size is acquired from the display device via the data communication unit 38, and the type of the display device (television, photo frame, camera liquid crystal) is acquired.
- the parallax calculation unit 34 displays the display size of the display device based on the parallax adjustment result stored in the stereoscopic image file.
- the parallax between the left image and the right image is calculated according to the above.
- the parallax calculation unit 34 corrects the calculated parallax amount according to the tendency of the viewing distance in the type of the display device set in advance corresponding to the user ID. For example, when the tendency that the viewing distance of the television is very short is set corresponding to the user ID of Mr. A, the parallax amount is corrected to be small.
- the tendency of the viewing distance with respect to the type of display device for each user ID is manually set by the user operating the input unit 36. Further, the set tendency of the viewing distance with respect to the type of the display device for each user ID is stored in the recording medium 29.
- a parallax adjustment processing routine in the compound-eye digital camera of the third embodiment will be described with reference to FIG.
- symbol is attached
- step 200 the width of the display size and the type of display device are acquired from the display device connected to the compound-eye digital camera 1.
- step 102 the user ID that has been authenticated by the user is acquired.
- step 104 the parallax adjustment stored in the specific stereoscopic image file stored in the recording medium 29 corresponding to the acquired user ID is stored. A plurality of combinations of the result and the display size width of the display device are read.
- step 106 it is determined whether or not the number of data acquired in step 104 is three or more. If the acquired number of data is two, in step 108, the slope and intercept of the linear function representing the relationship between the display size and the parallax are obtained. On the other hand, if the number of acquired data is 3 or more in step 106, a principal component analysis is performed in step 110 to derive a linear function representing the relationship between display size and parallax.
- step 112 the amount of parallax corresponding to the width of the display size acquired in step 100 is calculated according to the linear function derived above.
- step 300 the viewing distance tendency stored in correspondence with the acquired user ID and display device type is read from the recording medium 29.
- step 302 the parallax amount calculated in step 112 is corrected in accordance with the tendency of the viewing distance read in step 300.
- step 114 together with the specific stereoscopic image file, the parallax amount corrected in step 302 is output to the display device connected to the compound-eye digital camera 1, and the parallax adjustment processing routine ends.
- the compound-eye digital camera of the third embodiment it is possible to achieve a desired parallax for the user without being affected by individual variations in viewing distance.
- the technique for correcting the parallax amount described in the third embodiment may be applied to the second embodiment.
- the parallax amount adjusted for the specific stereoscopic image file when outputting an image file different from a specific stereoscopic image file whose parallax has been adjusted, the parallax amount adjusted for the specific stereoscopic image file, The point that the amount of parallax is calculated based on the distance is different from the first embodiment.
- the parallax calculation unit 34 sends an image file different from the specific stereoscopic image file adjusted for parallax to the other display device via the data communication unit 38.
- the parallax adjustment result and distance information to the subject stored in the specific stereoscopic image file and the output target image file are stored.
- the parallax between the left image and the right image with respect to the image file to be output is calculated based on the distance information to the subject.
- the parallax amount calculated for a specific stereoscopic image file is multiplied by ⁇ calculated according to the following equation to calculate the parallax amount of the left image and the right image for the image file to be output.
- ⁇ (distance information to the subject of the output image file) / (distance information to the subject of the specific stereoscopic image file)
- the user operates the input unit 36 to adjust the parallax between the left image and the right image.
- Each combination of the adjustment result and the display size width is stored in a specific stereoscopic image file corresponding to the user ID.
- the parallax adjustment processing shown in FIG. 10 is performed by the CPU 37 of the compound-eye digital camera 1.
- the routine is executed.
- the CPU 37 of the compound-eye digital camera 1 causes the CPU 37 of the compound-eye digital camera 1 to output the image file.
- the output processing routine shown in FIG. 13 is executed.
- step 400 it is determined whether or not the output stereoscopic image file is the same as the specific stereoscopic image file subjected to parallax adjustment.
- the output stereoscopic image file is the same as the specific stereoscopic image file that has undergone parallax adjustment, in step 402, the parallax amount calculated by the parallax adjustment processing routine described above, The specific stereoscopic image file is output to the display device connected to the compound-eye digital camera 1, and the output processing routine is terminated.
- the output target stereoscopic image file is determined in step 404. And the distance to the subject stored in a specific stereoscopic image file are acquired.
- step 406 the amount of parallax is calculated based on the distance to the subject acquired in step 404 and the amount of parallax calculated in the parallax adjustment processing routine.
- step 408 the parallax amount calculated in step 406 is output to the display device connected to the compound-eye digital camera 1 together with the stereoscopic image file to be output, and the output processing routine is terminated.
- the left image and the right image of the stereoscopic image file to be output are stereoscopically displayed with the calculated amount of parallax.
- the compound-eye digital camera of the fourth embodiment it is possible to realize a parallax desirable for the user regardless of the distance to the subject of the stereoscopic image file.
- the technique for calculating the parallax amount of an image file different from the parallax-adjusted image file described in the fourth embodiment is applied to the second embodiment or the third embodiment described above. You may apply.
- the parallax amount adjusted for the specific stereoscopic image file and the parallax of the subject is different from the first embodiment.
- an image file different from the specific stereoscopic image file whose parallax is adjusted is displayed on the other display device by the parallax calculation unit 34 via the data communication unit 38.
- the parallax of the left image and the right image with respect to the output target image file are calculated on the basis of the parallax range of the subject obtained for the output target image file.
- the parallax range of the subject is a1 [m] to a2 [m], and as shown in FIG.
- the parallax amount calculated for a specific stereoscopic image file is calculated according to the following equation: The parallax amount of the left image and the right image with respect to the output image file is calculated.
- ISA (b1 + b2) / (a1 + a2)
- the parallax range of the subject is obtained as follows.
- a subject having a certain edge component high frequency component
- a subject having a certain parallax, or a subject satisfying both conditions is extracted.
- the subject closest to the compound-eye digital camera and the subject farthest from the extracted subject are identified, and the distance on the optical axis between the two subjects is set as the parallax range.
- subjects that are too close to the compound-eye digital camera for example, 0.5 m or less are excluded from subjects for determining the parallax range.
- the user operates the input unit 36 to adjust the parallax between the left image and the right image.
- Each combination of the adjustment result and the display size width is stored in a specific stereoscopic image file corresponding to the user ID.
- the parallax adjustment processing shown in FIG. 10 is performed by the CPU 37 of the compound-eye digital camera 1.
- the routine is executed.
- the CPU 37 of the compound-eye digital camera 1 causes the CPU 37 of the compound-eye digital camera 1 to output the image file.
- the output processing routine shown in FIG. 15 is executed.
- step 400 it is determined whether or not the output stereoscopic image file is the same as the specific stereoscopic image file subjected to parallax adjustment.
- the output stereoscopic image file is the same as the specific stereoscopic image file that has undergone parallax adjustment, in step 402, the parallax amount calculated by the parallax adjustment processing routine described above, The specific stereoscopic image file is output to the display device connected to the compound-eye digital camera 1, and the output processing routine is terminated.
- the specific stereoscopic image file is determined in step 500.
- the parallax range of the subject is obtained, and the parallax range of the subject is obtained for the stereoscopic image file to be output.
- step 502 the parallax amount is calculated based on the parallax range of the subject obtained in step 500 and the parallax amount calculated in the parallax adjustment processing routine.
- step 408 the parallax amount calculated in step 406 is output to the display device connected to the compound-eye digital camera 1 together with the stereoscopic image file to be output, and the output processing routine is terminated.
- the left image and the right image of the stereoscopic image file to be output are stereoscopically displayed with the calculated amount of parallax.
- the desired parallax can be realized regardless of the parallax range of the subject of the stereoscopic image file.
- the technique for calculating the parallax amount of an image file different from the parallax-adjusted image file described in the fifth embodiment is the second or third embodiment described above. You may apply.
- the present invention is not limited to this and other stereoscopic display is possible.
- the present invention may be applied to the display device.
- the sixth embodiment is different from the first embodiment in that parallax adjustment and parallax amount calculation are performed in each display device capable of stereoscopic display.
- a plurality of types of display devices capable of stereoscopic display including the compound-eye digital camera 1, as shown in FIG. 16, display images for stereoscopic display via a portable recording medium 29. Sending and receiving files.
- each display device 600 and 602 other than the compound-eye digital camera 1 includes a liquid crystal monitor 607, a media control unit 626, an internal memory 627, a display control unit 628, an input unit 636, a CPU 637, and a distance measurement unit 638. including.
- the media control unit 626 accesses the recording medium 29 and controls writing and reading of image files and the like.
- the internal memory 627 stores a display size width of the display device, various constants set in the display device, a program executed by the CPU 637, and the like.
- the display control unit 628 causes the liquid crystal monitor 607 to display the left image, the right image, or the stereoscopic image recorded on the recording medium 29.
- the liquid crystal monitor 607 has a configuration corresponding to a stereoscopic display method (for example, a method using a lenticular sheet or a method using shutter glasses) employed in the display device.
- a stereoscopic display method for example, a method using a lenticular sheet or a method using shutter glasses
- the distance measuring unit 638 includes a distance measuring sensor and measures the viewing distance to the user.
- Each display device other than the compound-eye digital camera 1 includes a three-dimensional processing unit 630, a user authentication unit 631, a parallax adjustment unit 632, a size acquisition unit 633, and a parallax calculation unit 634.
- the three-dimensional processing unit 630 performs three-dimensional processing on the left image and the right image in order to perform stereoscopic display of the left image and the right image on the liquid crystal monitor 607, and displays the stereoscopic display employed in the display device. A stereoscopic image corresponding to the method is generated.
- the user authentication unit 631 accepts a user ID input by the user operating the input unit 636, and performs user authentication by collating with a list of user IDs registered in advance.
- the parallax adjustment unit 632 adjusts the parallax between the left image and the right image according to the operation of the input unit 636 by the user.
- the parallax adjustment unit 632 adjusts the parallax of the left image and the right image for the stereoscopic image file recorded in advance on the recording medium 29, and the adjustment result is displayed for the stereoscopic vision recorded on the recording medium 29.
- the parallax adjustment unit 632 stores the display size of the liquid crystal monitor 607 (for example, the horizontal width of the display screen) in a stereoscopic image file corresponding to the adjustment result.
- the size acquisition unit 632 acquires a display size (for example, the horizontal width of the display screen) obtained in advance for the display device from the internal memory 627.
- the parallax calculation unit 634 stores the parallax adjustment result and the display size for other display devices stored in the stereoscopic image file.
- the parallax between the left image and the right image is calculated according to the display size width of the display device. Note that the method for calculating the amount of parallax is the same as that in the first embodiment, and thus description thereof is omitted.
- the compound-eye digital camera 1 when the user operates the input unit 36 and inputs a user ID, the compound-eye digital camera 1 performs user authentication. Further, the compound-eye digital camera 1 performs a three-dimensional process on the left image and the right image of a specific stereoscopic image file recorded in advance on the recording medium 29 to generate a stereoscopic image, and the liquid crystal monitor 7. The left image and the right image are stereoscopically displayed. Then, when the user operates the input unit 36 to adjust the parallax between the left image and the right image, the parallax adjustment result and the display size width of the liquid crystal monitor 7 in the compound-eye digital camera 1 become the user ID. Correspondingly, it is stored in a specific stereoscopic image file.
- the recording medium 29 is mounted on another display device 600 (for example, a television capable of three-dimensional display) and the user operates the input unit 536 to input a user ID in the display device 600
- the display device 600 performs user authentication. Further, the display device 600 stereoscopically displays the left image and the right image of a specific stereoscopic image file recorded in advance on the recording medium 29.
- the display device 600 displays the parallax adjustment result and the width of the display size of the display device 600. Are stored in a specific stereoscopic image file corresponding to the user ID.
- the recording medium 29 is attached to another display device 602 and the user operates the input unit 636 to input the user ID in the display device 602, the display device 602 performs user authentication. Then, the parallax adjustment processing routine shown in FIG. 18 is executed by the CPU 637 of the display device 602. In addition, about the process similar to 1st Embodiment, the same code
- step 650 the distance measurement unit 638 measures the viewing distance to the user.
- step 652 the display size width obtained in advance for the display device 602 is acquired.
- step 102 a user ID for which user authentication has been performed is acquired, and in step 104, parallax adjustment stored in correspondence with the acquired user ID from a specific stereoscopic image file stored in the recording medium 29 is performed. A plurality of combinations of the result and the display size width of the display device are read.
- step 106 it is determined whether or not the number of data acquired in step 104 is three or more. If the acquired number of data is two, in step 108, the slope and intercept of the linear function representing the relationship between the display size and the parallax are obtained. On the other hand, if the number of acquired data is 3 or more in step 106, a principal component analysis is performed in step 110 to derive a linear function representing the relationship between display size and parallax.
- the parallax amount corresponding to the width of the display size acquired in step 100 is calculated according to the linear function derived in step 108 or 110.
- step 654 it is determined whether or not the viewing distance measured in step 650 is out of the standard range of the viewing distance determined in accordance with the width of the display size acquired in step 652. If it is within the standard range of the predetermined viewing distance corresponding to the width of the display size, in step 658, the liquid crystal monitor 607 of the display device 602 is identified based on the parallax amount calculated in step 112. The left image and the right image of the stereoscopic image file are stereoscopically displayed, and the parallax adjustment processing routine is terminated.
- step 654 if it is determined in step 654 that the viewing distance measured in step 650 is outside the standard range of the viewing distance determined in advance according to the width of the display size, measurement is performed in step 656.
- the parallax amount calculated in step 112 is corrected according to whether the viewing distance is longer or shorter than the standard range. For example, when the measured viewing distance is longer than the standard range, the calculated amount of parallax is corrected so as to increase. On the other hand, when the measured viewing distance is shorter than the standard range, the calculated distance is calculated. Correction is performed so that the amount of parallax is reduced.
- step 658 based on the parallax amount corrected in step 656, the left image and the right image of the specific stereoscopic image file are stereoscopically displayed on the liquid crystal monitor 607 of the display device 602, and the parallax is displayed.
- the adjustment processing routine is terminated.
- the parallax with respect to the display size of the display device to be output based on the relationship between the display size and the parallax amount manually adjusted for the other display devices by the user.
- the amount By calculating the amount, an appropriate amount of parallax can be automatically calculated in each of a plurality of types of display devices.
- the technique for adjusting the parallax and calculating the parallax amount in each display device described in the sixth embodiment is applied to the second to fifth embodiments described above. Also good.
- the technique for measuring the viewing distance described in the sixth embodiment may be applied to the first to fifth embodiments described above.
- the distance to the subject may be measured by stereo matching of images obtained from the imaging units 21A and 21B.
- parallax adjustment processing routines of the first to sixth embodiments may be programmed and executed by the CPU.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
記録メディアに記憶された立体視用の画像ファイルに、複数種類の表示装置の各々においてユーザによって調整された視差量の各々と表示装置の表示サイズの各々とを格納する。サイズ取得部によって、立体視表示する出力対象の表示装置の表示サイズを取得する。視差量算出部によって、記憶された視差量と表示サイズとの関係に基づいて、サイズ取得部によって取得された表示サイズに対する視差量を算出する。
Description
本願は2010年11月5日出願の日本出願第2010-249011号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
本発明は、画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に係り、特に、表示装置に立体視表示用の画像データを出力する画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に関する。
本発明は、画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に係り、特に、表示装置に立体視表示用の画像データを出力する画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体に関する。
従来より、第1の表示装置にて取得されたユーザの適正視差を第2の表示装置に読み込み、第2の表示装置にて、読み込んだ適正視差にしたがって視差画像の視差を調整し、第2の表示装置から調整後の視差画像を出力する立体画像処理方法が知られている(特開2004-7396号公報)。
また、右眼用の画像と左眼用の画像とを、表示画面の大きさと視距離とに基づいて変換した、右眼用立体視画像と左眼用立体視画像とを生成する立体視画像生成装置が知られている(特開2006-333400号公報)。この立体視画像生成装置では、右眼用立体視画像と左眼用立体視画像とを表示する表示画面の大きさと、観察者の位置と、表示画面の位置とを示す表示画面情報(データ)に基づいて、観察者の右眼及び左眼の位置と、表示画面の領域と、観察者の位置に対応して予め設定された右眼用の画像及び左眼用の画像の表示領域とを、仮想空間上において、仮想右眼位置と、仮想左眼位置と、仮想表示画面領域と、仮想標準表示領域として設定している。
しかしながら、上記の特開2004-7396号公報に記載の技術では、1つの表示装置での視差の手動調整結果を、他の表示装置にて調整して適用しているため、表示装置のサイズの違いが大きい場合には、視差の誤差が大きくなりやすい。
また、上記の特開2006-333400号公報に記載の技術では、立体感の個人差にも対応するためには、逐一視差調整をしなければならない。
本発明は、上記問題を考慮してなされたもので、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる画像処理装置及びプログラムを提供することを目的とする。
本発明の一態様は、画像処理装置であって、立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段と、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段と、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段と、前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段と、を含んで構成されている。
本発明の第二の態様は、画像処理プログラムであって、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段を含むコンピュータを、立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段、及び前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段として機能させる。
本発明の第三の態様は、画像処理方法であって、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、立体視表示する出力対象の表示装置の第1表示サイズを取得し、前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力することを含む。
本発明の第四の態様は、コンピュータに画像処理を実行させるプログラムを記憶した持続的記憶媒体であって、前記画像処理が、複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、立体視表示する出力対象の表示装置の第1表示サイズを取得し、前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力することを含む。
本発明の一態様によれば、サイズ取得手段によって、立体視表示する出力対象の表示装置の第1表示サイズを取得する。視差量算出手段によって、記憶手段に記憶された視差量と第2表示サイズとの関係に基づいて、サイズ取得手段によって取得された第1表示サイズに対する視差量を算出する。そして、出力手段によって、視差量算出手段によって算出された視差量と、立体視表示用の画像データとを出力対象の表示装置に出力する。
このように、ユーザによって調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
本態様の画像処理装置は、前記出力対象の表示装置の種類を取得する種類取得手段と、前記種類取得手段によって取得した前記種類に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、表示装置の種類について定められた視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、ユーザを示すユーザ情報を受け付ける受付手段を更に含み、前記記憶手段は、前記ユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを前記ユーザ情報毎に記憶し、前記視差量算出手段は、前記受付手段によって受け付けたユーザ情報に対応する、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出するようにすることができる。これによって、ユーザ毎に、適切な視差量を算出することができる。
また、受付手段を含む態様の画像処理装置は、前記出力対象の表示装置の種類を取得する種類取得手段と、前記種類取得手段によって取得した前記種類及び前記受付手段によって受け付けたユーザ情報に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、ユーザ毎に、表示装置の種類について定められた視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、立体視表示する表示手段と、前記表示手段からユーザまでの視距離を計測する計測手段と、前記表示手段の第1表示サイズに応じて予め定められた視距離と、前記計測手段によって計測された視距離とを比較し、比較結果に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、ユーザまでの視距離に応じて、より適切な視差量に補正することができる。
本態様の画像処理装置は、前記立体視表示用の画像データから、被写体の視差レンジを取得する視差レンジ取得手段を更に含み、前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記視差レンジと、前記第2の立体視表示用の画像データから取得された前記視差レンジと、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、視差量が調整された立体視表示用の画像データとは異なる立体視表示用の画像データについても、適切な視差量を算出することができる。
本態様の立体視表示用の画像データは、被写体までの距離を含み、画像処理装置は、前記立体視表示用の画像データから、被写体までの距離を取得する被写体距離取得手段を更に含み、前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記被写体までの距離と、前記第2の立体視表示用の画像データから取得された前記被写体までの距離と、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力するようにすることができる。これによって、視差量が調整された立体視表示用の画像データとは異なる立体視表示用の画像データについても、適切な視差量を算出することができる。
本態様の画像処理装置は、立体視表示する表示手段を更に含むようにすることができる。
本態様の画像処理装置は、異なる複数の視点から複数の画像を撮影する撮影手段を更に含み、前記出力手段は、前記立体視表示用の画像データとして、前記撮影手段によって複数の視点から撮影された複数の画像を出力するようにすることができる。
以上説明したように、本発明によれば、ユーザによって調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の画像処理装置を、複眼デジタルカメラに適用した場合について説明する。
図1は、第1の実施の形態の複眼デジタルカメラ1の正面側斜視図、図2は背面側斜視図である。図1に示すように、複眼デジタルカメラ1の上部には、レリーズボタン2、電源ボタン3、及びズームレバー4が備えられている。また、複眼デジタルカメラ1の正面には、フラッシュ5及び2つの撮影部21A、21Bのレンズが配設されている。また、複眼デジタルカメラ1の背面には、各種表示を行う液晶モニタ7、及び各種操作ボタン8が配設されている。
図3A及び3Bに示すように、複眼デジタルカメラ1は、3次元表示が可能なテレビなどの複数種類の表示装置にケーブルを介して接続することが可能であり、複眼デジタルカメラ1から、画像データが、複数種類の表示装置に出力される。
図4は、複眼デジタルカメラ1の内部構成を示す概略ブロック図である。図4に示すように、複眼デジタルカメラ1は、2つの撮影部21A、21B、撮影制御部22、画像処理部23、圧縮/伸長処理部24、フレームメモリ25、メディア制御部26、内部メモリ27、表示制御部28、入力部36、CPU37、及びデータ通信部38を備えている。なお、撮影部21A、21Bは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ27に記憶されている。
撮影制御部22は、不図示のAF処理部及びAE処理部からなる。AF処理部はレリーズボタン2の半押し操作により撮影部21A、21Bが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部21A、21Bに出力する。AF処理部は、被写体領域を合焦領域として、レンズの焦点位置を決定する。AE処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部21A、21Bに出力する。
また、撮影制御部22は、レリーズボタン2の全押し操作により、複眼モードでは、撮影部21Aに対して左画像、撮影部21Bに対して右画像の本画像を取得させる本撮影の指示を行う。なお、レリーズボタン2が操作される前は、撮影制御部22は、撮影範囲を確認させるための本画像よりも画素数が少ないリアルタイム画像を、所定時間間隔(例えば1/30秒間隔)にて順次取得させる指示を撮影部21A、21Bに対して行う。
画像処理部23は、撮影部21A、21Bより取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
圧縮/伸長処理部24は、画像処理部23によって処理が施された左画像及び右画像を表す画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Exifフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報が格納される。更に、レンズの焦点位置から算出される被写体までの距離情報が、立体視用の画像ファイルに格納される。
フレームメモリ25は、撮影部21A、21Bが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部23が行う処理を含む各種処理を行う際に使用する作業用メモリである。
メディア制御部26は、記録メディア29にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
内部メモリ27は、液晶モニタ7の表示サイズの幅、複眼デジタルカメラ1において設定される各種定数、及びCPU37が実行するプログラム等を記憶する。
表示制御部28は、撮影時においてフレームメモリ25に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ7に表示させたり、記録メディア29に記録されている左画像及び右画像、または立体視用画像を液晶モニタ7に表示させたりする。また、表示制御部28は、リアルタイム画像を液晶モニタ7に表示させる。
記録メディア29は、例えばメモリカードで構成されている。また、記録メディア29は、記憶手段の一例である。
図5は、液晶モニタ7の構成を示す分解斜視図である。図5に示すように、液晶モニタ7は、LEDにより発光するバックライトユニット40及び各種表示を行うための液晶パネル41を積層し、液晶パネル41の表面にレンチキュラーシート42を取り付けることにより構成されている。
図6は、レンチキュラーシートの構成を示す図である。図6に示すようにレンチキュラーシート42は、複数のシリンドリカルレンズ43を基線に沿った方向に並列に並べることにより構成されている。
データ通信部38は、複眼デジタルカメラ1が他の表示装置とケーブルを介して接続されているときに、当該他の表示装置との間でデータ通信を行う。
また、複眼デジタルカメラ1は、3次元処理部30、ユーザ認証部31、視差調整部32、サイズ取得部33、及び視差算出部34を備える。
3次元処理部30は、左画像及び右画像を液晶モニタ7に立体視表示を行うために、左画像及び右画像に3次元処理を行って立体視用画像を生成する。
図7は、左画像G1及び右画像G2に対する3次元処理を説明するための図である。図7に示すように3次元処理部30は、左画像G1及び右画像G2の各々を基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート42におけるシリンドリカルレンズ43のそれぞれに、位置が対応する短冊状に切り取った左画像G1及び右画像G2が交互に配置されるように3次元処理を行って、立体視用画像GRを生成する。立体視用画像GRを構成する左画像G1及び右画像G2の画像対は、各々1つのシリンドリカルレンズに対応して配置される。
ユーザ認証部31は、ユーザが入力部36を操作することによって入力したユーザIDを受け付けて、予め登録されたユーザIDのリストと照合して、ユーザ認証を行う。なお、ユーザ認証部31が、受付手段の一例である。
視差調整部32は、ユーザによる入力部36の操作に従い、左画像G1及び右画像G2の視差を調整する。ここで、視差とは、左画像G1及び右画像G2の双方に含まれる被写体の、左画像G1及び右画像G2の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。ユーザが視差を手動で調整することにより、立体視用画像GRに含まれる被写体の立体感を適切なものとすることができる。
視差調整部32は、記録メディア29に予め記録されている立体視用の画像ファイルについて、左画像及び右画像の視差を調整し、調整結果を、立体視用の画像ファイルに格納する。また、視差調整部32は、調整結果に対応して、液晶モニタ7の表示サイズ(例えば、表示画面の横幅)を、立体視用の画像ファイルに格納する。
また、視差調整部32は、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、他の表示装置において立体視表示しているときに、ユーザによる入力部36の操作に従い、当該表示装置の立体視表示における左画像及び右画像の視差を調整することができる。このとき、視差調整部32は、調整結果を、立体視用の画像ファイルに格納する。また、視差調整部32は、調整結果に対応して、後述するサイズ取得部33で取得した当該表示装置の表示サイズ(例えば、表示画面の横幅)を、立体視用の画像ファイルに格納する。
サイズ取得部33は、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、他の表示装置において立体視表示するときに、データ通信部38を介して、当該表示装置から、表示サイズ(例えば、表示画面の横幅)を取得する。
視差算出部34は、サイズ取得部33によって他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
視差算出部34は、立体視用の画像ファイルに、視差の調整結果が2つ格納されている場合には、2つの視差の調整結果に基づく表示サイズと視差との関係を表わす1次関数に従って、サイズ取得部33によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
例えば、液晶モニタ7の表示サイズの幅がW1cmであり、ユーザによる視差の手動調整結果がL1cmであり、他の表示装置の表示サイズの幅がW2cmであり、ユーザによる視差の手動調整結果がL2cmである場合には、図8に示すように、表示サイズと視差との関係を表わす1次関数x=AW+Bの傾きA、切片Bを、以下の式に従って求める。
A=(L2-L1)/(W2-W1)
B=(L1・W2-L2・W1)/(W2-W1)
そして、上記のように求められた1次関数に基づいて、サイズ取得部33によって取得した他の表示装置の表示サイズW3に応じた、左画像及び右画像の視差xを算出する。すなわち、視差xは以下の式で表される。
x=(L2-L1)/(W2-W1)・(W3-W1)+L1
また、視差算出部34は、立体視用の画像ファイルに、視差の調整結果が3つ以上格納されている場合には、3つ以上の視差の調整結果に基づく表示サイズと視差との関係を表わす1次関数に従って、サイズ取得部33によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
A=(L2-L1)/(W2-W1)
B=(L1・W2-L2・W1)/(W2-W1)
そして、上記のように求められた1次関数に基づいて、サイズ取得部33によって取得した他の表示装置の表示サイズW3に応じた、左画像及び右画像の視差xを算出する。すなわち、視差xは以下の式で表される。
x=(L2-L1)/(W2-W1)・(W3-W1)+L1
また、視差算出部34は、立体視用の画像ファイルに、視差の調整結果が3つ以上格納されている場合には、3つ以上の視差の調整結果に基づく表示サイズと視差との関係を表わす1次関数に従って、サイズ取得部33によって取得した他の表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。
例えば、3組以上の表示サイズと視差の調整結果とを、図9に示すようにプロットし、主成分分析により、主成分を表わす直線(表示サイズと視差との関係を表わす1次関数x=AW+Bの傾きA、切片B)を求める。
ここで、傾きA、切片Bは、以下の式で表される。
A=(NR-PQ)/(NP’-P2)
B=(P’Q-PR)/(NP-P2)
ただし、P=W1+W2+・・・+WN、P’=W12+W22+・・・WN2、Q=L1+L2+・・・+LN、R=W1・L1+W2・L2+・・・WN・LN、Nはデータ数である。
A=(NR-PQ)/(NP’-P2)
B=(P’Q-PR)/(NP-P2)
ただし、P=W1+W2+・・・+WN、P’=W12+W22+・・・WN2、Q=L1+L2+・・・+LN、R=W1・L1+W2・L2+・・・WN・LN、Nはデータ数である。
そして、上記のように主成分分析により求められた傾き及び切片を適用した1次関数に基づいて、サイズ取得部33によって取得した他の表示装置の表示サイズWに応じた、左画像及び右画像の視差xを算出する。
次に、第1の実施の形態の複眼デジタルカメラ1の作用について説明する。まず、ユーザが入力部36を操作してユーザIDを入力すると、複眼デジタルカメラ1が、ユーザ認証を行う。また、複眼デジタルカメラ1は、記録メディア29に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像に、3次元処理を行って立体視用画像を生成し、液晶モニタ7に、左画像及び右画像を立体視表示する。そして、ユーザが、入力部36を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ1において、視差の調整結果と、液晶モニタ7の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(A)に示すように、複眼デジタルカメラ1が、他の表示装置(例えば、3次元表示が可能なテレビ)にケーブルを介して接続され、記録メディア29に予め記録されている特定の立体視用の画像ファイルが、当該表示装置に出力される。当該表示装置では、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示する。そして、ユーザが、複眼デジタルカメラ1の入力部36を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ1において、視差の調整結果と、当該表示装置の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(B)に示すように、複眼デジタルカメラ1が、更に別の表示装置にケーブルを介して接続されると、複眼デジタルカメラ1のCPU37によって、図10に示す視差調整処理ルーチンが実行される。
まず、ステップ100において、複眼デジタルカメラ1に接続された当該表示装置から、表示サイズの幅を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルから、取得したユーザIDに対応して格納された、視差の調整結果と、表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数(視差の調整結果と、表示装置の表示サイズの幅との組み合わせの数)が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、上記ステップ104で取得した視差の調整結果と、表示装置の表示サイズの幅との2つの組み合わせに基づいて、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、上記ステップ104で取得した視差の調整結果と、表示装置の表示サイズの幅との3つ以上の組み合わせに基づいて、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記ステップ108又は110で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ114において、特定の立体視用の画像ファイルと共に、上記ステップ112で算出した視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
当該表示装置では、算出された視差量で、特定の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第1の実施の形態の複眼デジタルカメラによれば、ユーザによって手動で調整された視差量と表示サイズの幅との関係に基づいて、出力対象の表示装置の表示サイズの幅に対する視差量を算出することにより、複数種類の表示装置の各々について、適切な視差量を自動的に算出することができる。
また、立体視用の画像ファイルの出力先となる表示装置が変わるたびにユーザの望む視差量を逐一調整する手間を省くことができる。
また、ユーザが手動で視差量を調整した調整結果の数が多いほど、算出される視差量の精度を向上することができる。
また、幅が異なる立体視表示可能な複数の表示装置の表示サイズの幅と、それぞれについてユーザが手動で調整した視差とを利用することで、手動視差調整を行っていない未知の立体視表示可能な表示装置に対して、適切な視差量を算出することができる。いかなる表示装置であっても、表示サイズの幅さえわかれば、ユーザ個人の好みを反映した視差を自動的に設定できる。
次に、第2の実施の形態について説明する。第2の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第2の実施の形態では、表示装置の種類に応じて、算出した視差量を補正している点が、第1の実施の形態と異なっている。
第2の実施の形態に係る複眼デジタルカメラでは、サイズ取得部33によって、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、データ通信部38を介して、当該表示装置から、表示サイズの幅を取得すると共に、表示装置の種類(テレビ、フォトフレーム、デジタルカメラの液晶など)を取得する。なお、サイズ取得部33は、サイズ取得手段及び種類取得手段の一例である。
視差算出部34は、サイズ取得部33によって他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。また、視差算出部34は、算出した視差量を、当該表示装置の種類に対して予め定められた視距離の傾向に応じて補正する。例えば、フォトフレームであれば、同じ表示サイズの幅であっても、ユーザは近くで見ることが多い(表示サイズの幅に対する視距離が短い傾向である)ため、視差量を小さくするように補正する。また、テレビであれば、同じ表示サイズの幅であっても、ユーザは遠くで見ることが多い(表示サイズの幅に対する視距離が遠い傾向である)ため、視差量を大きくするように補正する。
次に、第2の実施の形態に係る視差調整処理ルーチンについて図11を用いて説明する。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ200において、複眼デジタルカメラ1に接続された当該表示装置から、表示サイズの幅及び表示装置の種類を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルから、取得したユーザIDに対応して格納された、視差の調整結果と表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ202において、上記ステップ200で取得した表示装置の種類に応じて、上記ステップ112で算出した視差量を補正する。
次のステップ114において、特定の立体視用の画像ファイルと共に、上記ステップ202で補正した視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
以上説明したように、第2の実施の形態の複眼デジタルカメラによれば、表示装置の種類の相違からくる視距離のばらつき(視距離の傾向)に影響されずに、ユーザにとって望ましい視差を実現することができる。
次に、第3の実施の形態について説明する。第3の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第3の実施の形態では、ユーザ毎の視距離の傾向に応じて、算出された視差量を補正している点が、第1の実施の形態と異なっている。
第3の実施の形態に係る複眼デジタルカメラでは、サイズ取得部33によって、データ通信部38を介して他の表示装置に立体視用の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、データ通信部38を介して、当該表示装置から、表示サイズの幅を取得すると共に、表示装置の種類(テレビ、フォトフレーム、カメラの液晶)を取得する。
視差算出部34は、サイズ取得部33によって当該他の表示装置の表示サイズを取得したときに、立体視用の画像ファイルに格納されている視差の調整結果に基づいて、当該表示装置の表示サイズに応じた、左画像及び右画像の視差を算出する。また、視差算出部34は、ユーザIDに対応して予め設定された、当該表示装置の種類における視距離の傾向に応じて、算出した視差量を補正する。例えば、AさんのユーザIDに対応して、テレビの視距離が極めて短い、という傾向が設定されている場合には、視差量を小さくするように補正する。
なお、ユーザID毎の、表示装置の種類に対する視距離の傾向は、ユーザが入力部36を操作することにより、手動で設定される。また、設定された、ユーザID毎の、表示装置の種類に対する視距離の傾向は、記録メディア29に記憶される。
図12を参照して、第3の実施の形態の複眼デジタルカメラにおける視差調整処理ルーチンについて説明する。なお、第1の実施の形態の視差調整処理ルーチンと同一の処理については、同一の符号を付して詳細な説明を省略する。
まず、ステップ200において、複眼デジタルカメラ1に接続された当該表示装置から、表示サイズの幅及び表示装置の種類を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルに、取得したユーザIDに対応して格納された、視差の調整結果と表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。そして、ステップ300において、記録メディア29から、取得したユーザID及び表示装置の種類に対応して記憶された、視距離の傾向を読み込む。
ステップ302では、上記ステップ300で読み込んだ視距離の傾向に応じて、上記ステップ112で算出した視差量を補正する。
次のステップ114において、特定の立体視用の画像ファイルと共に、上記ステップ302で補正した視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、視差調整処理ルーチンを終了する。
以上説明したように、第3の実施の形態の複眼デジタルカメラによれば、視距離の個人のばらつきに影響されずに、ユーザにとって望ましい視差を実現することができる。
なお、上記の第3の実施の形態で説明した視差量を補正する技術を、上記第2の実施の形態に適用してもよい。
次に、第4の実施の形態について説明する。第4の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第4の実施の形態では、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力する場合に、特定の立体視用の画像ファイルについて調整された視差量と、被写体までの距離とに基づいて、視差量を算出している点が、第1の実施の形態と異なっている。
第4の実施の形態に係る複眼デジタルカメラでは、視差算出部34によって、データ通信部38を介して他の表示装置に、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、特定の立体視用の画像ファイルに格納されている視差の調整結果及び被写体までの距離情報と、出力対象の画像ファイルに格納されている被写体までの距離情報とに基づいて、出力対象の画像ファイルに対する、左画像及び右画像の視差を算出する。
例えば、特定の立体視用の画像ファイルについて算出された視差量を、以下の式に従って算出されるγ倍して、出力対象の画像ファイルに対する、左画像及び右画像の視差量を算出する。
γ=(出力対象の画像ファイルの被写体までの距離情報)/(特定の立体視用の画像ファイルの被写体までの距離情報)
次に、第4の実施の形態の複眼デジタルカメラ1の作用について説明する。
γ=(出力対象の画像ファイルの被写体までの距離情報)/(特定の立体視用の画像ファイルの被写体までの距離情報)
次に、第4の実施の形態の複眼デジタルカメラ1の作用について説明する。
まず、複眼デジタルカメラ1の液晶モニタ7と、他の表示装置との各々について、ユーザが入力部36を操作して、左画像及び右画像の視差を調整し、複眼デジタルカメラ1において、視差の調整結果と表示サイズの幅との各組み合わせが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(B)に示すように、複眼デジタルカメラ1が、他の表示装置にケーブルを介して接続されると、複眼デジタルカメラ1のCPU37によって、上記図10に示す視差調整処理ルーチンが実行される。
また、複眼デジタルカメラ1から当該他の表示装置に別の立体視用の画像ファイルを出力するように、複眼デジタルカメラ1の入力部36がユーザにより操作されると、複眼デジタルカメラ1のCPU37によって、図13に示す出力処理ルーチンが実行される。
まず、ステップ400において、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一であるか否かを判定する。出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一である場合には、ステップ402において、上記の視差調整処理ルーチンで算出された視差量と、特定の立体視用の画像ファイルとを、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
一方、上記ステップ400で、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと異なる場合には、ステップ404において、出力対象の立体視用の画像ファイルに格納されている被写体までの距離と、特定の立体視用の画像ファイルに格納されている被写体までの距離とを取得する。
そして、ステップ406において、上記ステップ404で取得した被写体までの距離と、上記の視差調整処理ルーチンで算出された視差量とに基づいて、視差量を算出する。次のステップ408では、出力対象の立体視用の画像ファイルと共に、上記ステップ406で算出された視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
当該表示装置では、算出された視差量で、出力対象の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第4の実施の形態の複眼デジタルカメラによれば、立体視用の画像ファイルの被写体までの距離に関わらず、ユーザにとって望ましい視差を実現することができる。
なお、上記の第4の実施の形態で説明した、視差調整した画像ファイルとは別の画像ファイルの視差量を算出する技術を、上述した第2の実施の形態又は第3の実施の形態に適用してもよい。
次に、第5の実施の形態について説明する。第5の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して、説明を省略する。
第5の実施の形態では、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力する場合に、特定の立体視用の画像ファイルについて調整された視差量と、被写体の視差レンジとに基づいて、視差量を算出している点が、第1の実施の形態と異なっている。
第5の実施の形態に係る複眼デジタルカメラでは、視差算出部34によって、データ通信部38を介して他の表示装置に、視差調整した特定の立体視用の画像ファイルとは別の画像ファイルを出力して、当該他の表示装置において立体視表示するときに、特定の立体視用の画像ファイルに格納されている視差の調整結果及び特定の立体視用の画像ファイルについて求められる被写体の視差レンジと、出力対象の画像ファイルについて求められる被写体の視差レンジとに基づいて、出力対象の画像ファイルに対する、左画像及び右画像の視差を算出する。
例えば、図14(A)に示すように、特定の立体視用の画像ファイルについて、被写体の視差レンジが、a1[m]~a2[m]であり、図14(B)に示すように、出力対象の画像ファイルについて、被写体の視差レンジが、b1[m]~b2[m]である場合には、特定の立体視用の画像ファイルについて算出された視差量を、以下の式に従って算出されるк倍して、出力対象の画像ファイルに対する、左画像及び右画像の視差量を算出する。
к=(b1+b2)/(a1+a2)
なお、被写体の視差レンジは、以下のように求められる。まず、画像中の複数の被写体の中で、例えばある一定以上のエッジ成分(高周波成分)を有する被写体、もしくはある一定以上の視差を有する被写体、もしくはその両方の条件を満たす被写体を抽出する。そして、抽出した被写体の中から、複眼デジタルカメラとの距離が最も近い被写体と最も遠い被写体とを特定し、その2つの被写体の光軸上の距離を視差レンジとする。この際、近接撮影以外の場合においては、複眼デジタルカメラからの距離が近すぎる被写体(例えば0.5m以下)を、視差レンジを決定する際の被写体から除外する。
к=(b1+b2)/(a1+a2)
なお、被写体の視差レンジは、以下のように求められる。まず、画像中の複数の被写体の中で、例えばある一定以上のエッジ成分(高周波成分)を有する被写体、もしくはある一定以上の視差を有する被写体、もしくはその両方の条件を満たす被写体を抽出する。そして、抽出した被写体の中から、複眼デジタルカメラとの距離が最も近い被写体と最も遠い被写体とを特定し、その2つの被写体の光軸上の距離を視差レンジとする。この際、近接撮影以外の場合においては、複眼デジタルカメラからの距離が近すぎる被写体(例えば0.5m以下)を、視差レンジを決定する際の被写体から除外する。
次に、第5の実施の形態の複眼デジタルカメラ1の作用について説明する。
まず、複眼デジタルカメラ1の液晶モニタ7と、他の表示装置との各々について、ユーザが入力部36を操作して、左画像及び右画像の視差を調整し、複眼デジタルカメラ1において、視差の調整結果と表示サイズの幅との各組み合わせが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、上記図3(B)に示すように、複眼デジタルカメラ1が、他の表示装置にケーブルを介して接続されると、複眼デジタルカメラ1のCPU37によって、上記図10に示す視差調整処理ルーチンが実行される。
また、複眼デジタルカメラ1から当該他の表示装置に別の立体視用の画像ファイルを出力するように、複眼デジタルカメラ1の入力部36がユーザにより操作されると、複眼デジタルカメラ1のCPU37によって、図15に示す出力処理ルーチンが実行される。
まず、ステップ400において、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一であるか否かを判定する。出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと同一である場合には、ステップ402において、上記の視差調整処理ルーチンで算出された視差量と、特定の立体視用の画像ファイルとを、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
一方、上記ステップ400で、出力対象の立体視用の画像ファイルが、視差調整を行った特定の立体視用の画像ファイルと異なる場合には、ステップ500において、特定の立体視用の画像ファイルについて、被写体の視差レンジを求めると共に、出力対象の立体視用の画像ファイルについて、被写体の視差レンジを求める。
そして、ステップ502において、上記ステップ500で求めた被写体の視差レンジと、上記の視差調整処理ルーチンで算出された視差量とに基づいて、視差量を算出する。次のステップ408では、出力対象の立体視用の画像ファイルと共に、上記ステップ406で算出された視差量を、複眼デジタルカメラ1に接続された当該表示装置に出力し、出力処理ルーチンを終了する。
当該表示装置では、算出された視差量で、出力対象の立体視用の画像ファイルの左画像及び右画像が立体視表示される。
以上説明したように、第5の実施の形態の複眼デジタルカメラによれば、立体視用の画像ファイルの被写体の視差レンジに関わらず、ユーザにとって望ましい視差を実現することができる。
なお、上記の第5の実施の形態で説明した、視差調整した画像ファイルとは別の画像ファイルの視差量を算出する技術を、上述した第2の実施の形態又は第3の実施の形態に適用してもよい。
また、上記第1の実施の形態~第5の実施の形態では、複眼デジタルカメラに本発明を適用した場合を例に説明したが、これに限定されるものではなく、立体視表示可能な他の表示装置に、本発明を適用してもよい。
次に、第6の実施の形態について説明する。本実施の形態では、本発明の画像処理装置を、複眼デジタルカメラを含む複数種類の表示装置の各々に適用した場合について説明する。なお、第6の実施の形態の複眼デジタルカメラの構成は、第1の実施の形態の複眼デジタルカメラ1と同一であるため、同一符号を付して説明を省略する。
第6の実施の形態では、立体視表示可能な各表示装置において、視差の調整及び視差量の算出を行っている点が、第1の実施の形態と異なっている。
第6の実施の形態では、図16に示すような、複眼デジタルカメラ1を含む、立体視表示可能な複数種類の表示装置が、可搬性の記録メディア29を介して、立体視表示用の画像ファイルの授受を行っている。
複眼デジタルカメラ1以外の各表示装置600、602は、図17に示すように、液晶モニタ607、メディア制御部626、内部メモリ627、表示制御部628、入力部636、CPU637、及び距離計測部638を含む。
メディア制御部626は、記録メディア29にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
内部メモリ627は、当該表示装置の表示サイズの幅、表示装置において設定される各種定数、及びCPU637が実行するプログラム等を記憶する。
表示制御部628は、記録メディア29に記録されている左画像及び右画像、または立体視用画像を液晶モニタ607に表示させたりする。
液晶モニタ607は、当該表示装置で採用している立体視表示の方式(例えば、レンチキュラーシートを用いた方式や、シャッターメガネを用いた方式など)に対応した構成となっている。
距離計測部638は、距離計測センサを備え、ユーザまでの視距離を計測する。
また、複眼デジタルカメラ1以外の各表示装置は、3次元処理部630、ユーザ認証部631、視差調整部632、サイズ取得部633、及び視差算出部634を含む。
3次元処理部630は、左画像及び右画像を液晶モニタ607に立体視表示を行うために、左画像及び右画像に3次元処理を行って、当該表示装置で採用している立体視表示の方式に対応した、立体視用画像を生成する。
ユーザ認証部631は、ユーザが入力部636を操作することによって入力したユーザIDを受け付けて、予め登録されたユーザIDのリストと照合して、ユーザ認証を行う。
視差調整部632は、ユーザによる入力部636の操作に従い、左画像及び右画像の視差を調整する。ユーザが視差を手動で調整することにより、立体視用画像に含まれる被写体の立体感を適切なものとすることができる。視差調整部632は、記録メディア29に予め記録されている立体視用の画像ファイルについて、左画像及び右画像の視差を調整し、調整結果を、記録メディア29に記録されている立体視用の画像ファイルに格納する。また、視差調整部632は、調整結果に対応して、液晶モニタ607の表示サイズ(例えば、表示画面の横幅)を、立体視用の画像ファイルに格納する。
サイズ取得部632は、内部メモリ627から、当該表示装置について予め求められた表示サイズ(例えば、表示画面の横幅)を取得する。
視差算出部634は、サイズ取得部632によって当該表示装置の表示サイズの幅を取得したときに、立体視用の画像ファイルに格納されている、他の表示装置についての視差の調整結果及び表示サイズの幅に基づいて、当該表示装置の表示サイズの幅に応じた、左画像及び右画像の視差を算出する。なお、視差量の算出方法は、第1の実施の形態と同様であるため、説明を省略する。
次に、第6の実施の形態における作用について説明する。まず、記録メディア29が装着された複眼デジタルカメラ1において、ユーザが入力部36を操作してユーザIDを入力すると、複眼デジタルカメラ1が、ユーザ認証を行う。また、複眼デジタルカメラ1は、記録メディア29に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像に、3次元処理を行って立体視用画像を生成し、液晶モニタ7に、左画像及び右画像を立体視表示する。そして、ユーザが、入力部36を操作して、左画像及び右画像の視差を調整すると、複眼デジタルカメラ1において、視差の調整結果と、液晶モニタ7の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、他の表示装置600(例えば、3次元表示が可能なテレビ)に、記録メディア29が装着され、当該表示装置600において、ユーザが入力部536を操作してユーザIDを入力すると、当該表示装置600が、ユーザ認証を行う。また、当該表示装置600では、記録メディア29に予め記録されている特定の立体視用の画像ファイルの左画像及び右画像を立体視表示する。そして、ユーザが、当該表示装置600の入力部636を操作して、左画像及び右画像の視差を調整すると、当該表示装置600において、視差の調整結果と、当該表示装置600の表示サイズの幅とが、ユーザIDに対応して特定の立体視用の画像ファイルに格納される。
次に、更に他の表示装置602に、記録メディア29が装着され、当該表示装置602において、ユーザが入力部636を操作してユーザIDを入力すると、当該表示装置602が、ユーザ認証を行う。そして、当該表示装置602のCPU637によって、図18に示す視差調整処理ルーチンが実行される。なお、第1の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
まず、ステップ650において、距離計測部638によって、ユーザまでの視距離を計測する。そして、ステップ652において、当該表示装置602について予め求められた表示サイズの幅を取得する。ステップ102では、ユーザ認証されたユーザIDを取得し、ステップ104において、記録メディア29に記憶された特定の立体視用の画像ファイルから、取得したユーザIDに対応して格納された、視差の調整結果と、表示装置の表示サイズの幅との複数の組み合わせを読み込む。
そして、ステップ106において、上記ステップ104で取得したデータ数が、3つ以上であるか否かを判定する。取得したデータ数が2つであった場合には、ステップ108において、表示サイズと視差との関係を表わす1次関数の傾き及び切片を求める。一方、上記ステップ106で、取得したデータ数が3つ以上であった場合には、ステップ110において、主成分分析を行い、表示サイズと視差との関係を表わす1次関数を導出する。
次のステップ112では、上記ステップ108又は110で導出した1次関数に従って、上記ステップ100で取得した表示サイズの幅に対応する視差量を算出する。
そして、ステップ654において、上記ステップ650で計測された視距離が、上記ステップ652で取得した表示サイズの幅に応じた予め定められた視距離の標準範囲外であるか否かを判定する。表示サイズの幅に応じた予め定められた視距離の標準範囲内である場合には、ステップ658において、上記ステップ112で算出した視差量に基づいて、当該表示装置602の液晶モニタ607に、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示して、視差調整処理ルーチンを終了する。
一方、上記ステップ654で、上記ステップ650で計測された視距離が、表示サイズの幅に応じて予め定められた視距離の標準範囲外であると判定された場合には、ステップ656において、計測された視距離が、上記標準範囲より長いか短いかに応じて、上記ステップ112で算出した視差量を補正する。例えば、計測された視距離が、上記標準範囲より長い場合には、算出した視差量が大きくなるように補正し、一方、計測された視距離が、上記標準範囲より短い場合には、算出した視差量が小さくなるように補正する。
そして、ステップ658において、上記ステップ656で補正した視差量に基づいて、当該表示装置602の液晶モニタ607に、特定の立体視用の画像ファイルの左画像及び右画像を立体視表示して、視差調整処理ルーチンを終了する。
以上説明したように、第6の実施の形態によれば、他の表示装置についてユーザによって手動で調整された視差量と表示サイズとの関係に基づいて、出力対象の表示装置の表示サイズに対する視差量を算出することにより、複数種類の表示装置の各々において、適切な視差量を自動的に算出することができる。
なお、上記の第6の実施の形態で説明した、各表示装置において視差の調整及び視差量の算出を行う技術を、上述した第2の実施の形態~第5の実施の形態に適用してもよい。
また、上記の第6の実施の形態で説明した、視距離を計測する技術を、上述した第1の実施の形態~第5の実施の形態に適用してもよい。
また、上記の第1の実施の形態~第6の実施の形態では、AF処理部により決定された合焦位置から、被写体までの距離を計測する場合を例に説明したが、これに限定されるものではなく、撮影部21A、21Bから得られる画像のステレオマッチングにより、被写体までの距離を計測するようにしてもよい。
また、上記第1~第6の実施の形態の視差調整処理ルーチンをプログラム化して、そのプログラムをCPUにより実行するようにしてもよい。
Claims (12)
- 立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段と、
複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段と、
前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段と、
前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段と、
を含む画像処理装置。 - 前記出力対象の表示装置の種類を取得する種類取得手段と、
前記種類取得手段によって取得した前記種類に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段と、を更に含み、
前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する請求項1記載の画像処理装置。 - ユーザを示すユーザ情報を受け付ける受付手段を更に含み、
前記記憶手段は、前記ユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを前記ユーザ情報毎に記憶し、
前記視差量算出手段は、前記受付手段によって受け付けたユーザ情報に対応する、前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する、請求項1又は2記載の画像処理装置。 - 前記出力対象の表示装置の種類を取得する種類取得手段と、
前記種類取得手段によって取得した前記種類及び前記受付手段によって受け付けたユーザ情報に対して予め定められた視距離に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段と、を更に含み、
前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項3記載の画像処理装置。 - 立体視表示する表示手段と、
前記表示手段からユーザまでの視距離を計測する計測手段と、
前記表示手段の第1表示サイズに応じて予め定められた視距離と、前記計測手段によって計測された視距離とを比較し、比較結果に応じて、前記視差量算出手段によって算出された視差量を補正する補正手段とを更に含み、
前記出力手段は、前記補正手段によって補正された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項1~請求項4の何れか1項記載の画像処理装置。 - 前記立体視表示用の画像データから、被写体の視差レンジを取得する視差レンジ取得手段を更に含み、
前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記視差レンジと、前記第2の立体視表示用の画像データから取得された前記視差レンジと、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、
前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項1~請求項5の何れか1項記載の画像処理装置。 - 前記立体視表示用の画像データは、被写体までの距離を含み、
前記立体視表示用の画像データから、被写体までの距離を取得する被写体距離取得手段を更に含み、
前記視差量算出手段は、視差量が調整された第1の立体視表示用の画像データとは異なる第2の立体視表示用の画像データを出力する場合、前記第1の立体視表示用の画像データから取得された前記被写体までの距離と、前記第2の立体視表示用の画像データから取得された前記被写体までの距離と、前記第1の立体視表示用の画像データの視差量とに基づいて、前記第2の立体視表示用の画像データの視差量を算出し、
前記出力手段は、前記算出手段によって補正された視差量と、前記第2の立体視表示用の画像データとを前記出力対象の表示装置に出力する、請求項1~請求項5の何れか1項記載の画像処理装置。 - 立体視表示する表示手段を更に含む、請求項1~請求項7の何れか1項記載の画像処理装置。
- 異なる複数の視点から複数の画像を撮影する撮影手段を更に含み、
前記出力手段は、前記立体視表示用の画像データとして、前記撮影手段によって複数の視点から撮影された複数の画像を出力する、請求項1~請求項8の何れか1項記載の画像処理装置。 - 複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを記憶する記憶手段を含むコンピュータを、
立体視表示する出力対象の表示装置の第1表示サイズを取得するサイズ取得手段、
前記記憶手段に記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記サイズ取得手段によって取得された前記第1表示サイズに対する視差量を算出する視差量算出手段、及び
前記視差量算出手段によって算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力する出力手段
として機能させるためのプログラム。 - 複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、
立体視表示する出力対象の表示装置の第1表示サイズを取得し、
前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、
前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力すること
を含む、画像処理方法。 - コンピュータに画像処理を実行させるプログラムを記憶した持続的記憶媒体であって、前記画像処理が、
複数種類の表示装置の各々において立体視表示用の画像データが立体視表示されているときにユーザによって調整された視差量の各々と前記表示装置の第2表示サイズの各々とを予め記憶し、
立体視表示する出力対象の表示装置の第1表示サイズを取得し、
前記記憶された前記視差量と前記第2表示サイズとの関係に基づいて、前記取得された前記第1表示サイズに対する視差量を算出し、
前記算出された視差量と、前記立体視表示用の画像データとを前記出力対象の表示装置に出力すること
を含む、持続的記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012541792A JP5306544B2 (ja) | 2010-11-05 | 2011-10-07 | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 |
CN201180052327.8A CN103202027B (zh) | 2010-11-05 | 2011-10-07 | 图像处理装置、图像处理程序、图像处理方法及存储介质 |
US13/873,753 US9143764B2 (en) | 2010-11-05 | 2013-04-30 | Image processing device, image processing method and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010249011 | 2010-11-05 | ||
JP2010-249011 | 2010-11-05 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/873,753 Continuation US9143764B2 (en) | 2010-11-05 | 2013-04-30 | Image processing device, image processing method and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012060182A1 true WO2012060182A1 (ja) | 2012-05-10 |
Family
ID=46024302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/073256 WO2012060182A1 (ja) | 2010-11-05 | 2011-10-07 | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9143764B2 (ja) |
JP (1) | JP5306544B2 (ja) |
CN (1) | CN103202027B (ja) |
WO (1) | WO2012060182A1 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013247518A (ja) * | 2012-05-25 | 2013-12-09 | Sharp Corp | 空間情報算出システム |
CN103686122A (zh) * | 2012-08-31 | 2014-03-26 | 株式会社东芝 | 影像处理装置及影像处理方法 |
CN104038751A (zh) * | 2013-03-07 | 2014-09-10 | 联发科技股份有限公司 | 自动收敛***和方法 |
WO2015019656A1 (ja) * | 2013-08-06 | 2015-02-12 | 株式会社ソニー・コンピュータエンタテインメント | 3次元画像生成装置、3次元画像生成方法、プログラム及び情報記憶媒体 |
US20150116529A1 (en) * | 2013-10-28 | 2015-04-30 | Htc Corporation | Automatic effect method for photography and electronic apparatus |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5869184B2 (ja) * | 2013-10-02 | 2016-02-24 | オリンパス株式会社 | 3次元画像システム |
JP2015095779A (ja) * | 2013-11-12 | 2015-05-18 | ソニー株式会社 | 画像処理装置、画像処理方法及び電子機器 |
CN104869384B (zh) * | 2014-02-25 | 2017-04-12 | 华晶科技股份有限公司 | 电子装置及其校正方法 |
EP3145169A4 (en) * | 2014-05-16 | 2017-10-11 | Sony Corporation | Attachment device and image pickup unit |
JP6962372B2 (ja) * | 2017-08-25 | 2021-11-05 | 株式会社ソシオネクスト | 補正装置、補正プログラム及び記録媒体 |
JP6837031B2 (ja) * | 2018-05-22 | 2021-03-03 | Eizo株式会社 | 立体画像表示装置、立体画像表示方法及びプログラム |
CN111694183A (zh) | 2019-03-11 | 2020-09-22 | 京东方科技集团股份有限公司 | 显示装置及其显示方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005073012A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法 |
JP2010045584A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
WO2010146847A1 (ja) * | 2009-06-17 | 2010-12-23 | パナソニック株式会社 | 3d映像を再生するための情報記録媒体、及び再生装置 |
JP2011193348A (ja) * | 2010-03-16 | 2011-09-29 | Fujifilm Corp | 立体画像表示装置の視差量決定装置およびその動作制御方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6005607A (en) * | 1995-06-29 | 1999-12-21 | Matsushita Electric Industrial Co., Ltd. | Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus |
DE60237113D1 (de) * | 2002-01-07 | 2010-09-02 | Koninkl Philips Electronics Nv | Verfahren und einheit zur skalierung eines drei-dimensionellen modells und anzeigevorrichtung |
JP3857988B2 (ja) * | 2002-03-27 | 2006-12-13 | 三洋電機株式会社 | 立体画像処理方法および装置 |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
US7388583B2 (en) * | 2003-07-11 | 2008-06-17 | Koninklijke Philips Electronics N.V. | Method of and scaling unit for scaling a three-dimensional model |
US7643025B2 (en) * | 2003-09-30 | 2010-01-05 | Eric Belk Lange | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates |
JP4578294B2 (ja) * | 2005-03-18 | 2010-11-10 | 株式会社エヌ・ティ・ティ・データ三洋システム | 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム |
JP4634863B2 (ja) * | 2005-05-30 | 2011-02-16 | 日本放送協会 | 立体視画像生成装置及び立体視画像生成プログラム |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
CN101453662B (zh) * | 2007-12-03 | 2012-04-04 | 华为技术有限公司 | 立体视频通信终端、***及方法 |
JP4657313B2 (ja) * | 2008-03-05 | 2011-03-23 | 富士フイルム株式会社 | 立体画像表示装置および方法並びにプログラム |
JP4625515B2 (ja) * | 2008-09-24 | 2011-02-02 | 富士フイルム株式会社 | 3次元撮影装置および方法並びにプログラム |
WO2010040146A1 (en) * | 2008-10-03 | 2010-04-08 | Real D | Optimal depth mapping |
JP4737573B2 (ja) * | 2009-02-05 | 2011-08-03 | 富士フイルム株式会社 | 3次元画像出力装置及び方法 |
JP5430266B2 (ja) * | 2009-07-21 | 2014-02-26 | 富士フイルム株式会社 | 画像表示装置および方法並びにプログラム |
US8629899B2 (en) * | 2009-08-06 | 2014-01-14 | Qualcomm Incorporated | Transforming video data in accordance with human visual system feedback metrics |
US8878912B2 (en) * | 2009-08-06 | 2014-11-04 | Qualcomm Incorporated | Encapsulating three-dimensional video data in accordance with transport protocols |
US20110080466A1 (en) * | 2009-10-07 | 2011-04-07 | Spatial View Inc. | Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images |
US8711204B2 (en) * | 2009-11-11 | 2014-04-29 | Disney Enterprises, Inc. | Stereoscopic editing for video production, post-production and display adaptation |
US8565516B2 (en) * | 2010-02-05 | 2013-10-22 | Sony Corporation | Image processing apparatus, image processing method, and program |
US8831336B2 (en) * | 2011-11-11 | 2014-09-09 | Texas Instruments Incorporated | Method, system and computer program product for detecting an object in response to depth information |
-
2011
- 2011-10-07 JP JP2012541792A patent/JP5306544B2/ja not_active Expired - Fee Related
- 2011-10-07 WO PCT/JP2011/073256 patent/WO2012060182A1/ja active Application Filing
- 2011-10-07 CN CN201180052327.8A patent/CN103202027B/zh not_active Expired - Fee Related
-
2013
- 2013-04-30 US US13/873,753 patent/US9143764B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005073012A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法 |
JP2010045584A (ja) * | 2008-08-12 | 2010-02-25 | Sony Corp | 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体 |
WO2010146847A1 (ja) * | 2009-06-17 | 2010-12-23 | パナソニック株式会社 | 3d映像を再生するための情報記録媒体、及び再生装置 |
JP2011193348A (ja) * | 2010-03-16 | 2011-09-29 | Fujifilm Corp | 立体画像表示装置の視差量決定装置およびその動作制御方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013247518A (ja) * | 2012-05-25 | 2013-12-09 | Sharp Corp | 空間情報算出システム |
CN103686122A (zh) * | 2012-08-31 | 2014-03-26 | 株式会社东芝 | 影像处理装置及影像处理方法 |
CN104038751A (zh) * | 2013-03-07 | 2014-09-10 | 联发科技股份有限公司 | 自动收敛***和方法 |
US9317958B2 (en) | 2013-03-07 | 2016-04-19 | Mediatek Inc. | Auto-convergence system with active learning and related method and machine-readable medium thereof |
CN104038751B (zh) * | 2013-03-07 | 2017-01-11 | 联发科技股份有限公司 | 自动收敛***和方法 |
WO2015019656A1 (ja) * | 2013-08-06 | 2015-02-12 | 株式会社ソニー・コンピュータエンタテインメント | 3次元画像生成装置、3次元画像生成方法、プログラム及び情報記憶媒体 |
JPWO2015019656A1 (ja) * | 2013-08-06 | 2017-03-02 | 株式会社ソニー・インタラクティブエンタテインメント | 3次元画像生成装置、3次元画像生成方法、プログラム及び情報記憶媒体 |
US10484661B2 (en) | 2013-08-06 | 2019-11-19 | Sony Interactive Entertainment Inc. | Three-dimensional image generating device, three-dimensional image generating method, program, and information storage medium |
US20150116529A1 (en) * | 2013-10-28 | 2015-04-30 | Htc Corporation | Automatic effect method for photography and electronic apparatus |
Also Published As
Publication number | Publication date |
---|---|
US9143764B2 (en) | 2015-09-22 |
JPWO2012060182A1 (ja) | 2014-05-12 |
JP5306544B2 (ja) | 2013-10-02 |
CN103202027A (zh) | 2013-07-10 |
CN103202027B (zh) | 2016-01-20 |
US20130235167A1 (en) | 2013-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5306544B2 (ja) | 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体 | |
US8208008B2 (en) | Apparatus, method, and program for displaying stereoscopic images | |
US8130259B2 (en) | Three-dimensional display device and method as well as program | |
US20100194902A1 (en) | Method for high dynamic range imaging | |
JP5295426B2 (ja) | 複眼撮像装置、その視差調整方法及びプログラム | |
US8675042B2 (en) | Image processing apparatus, multi-eye digital camera, and program | |
US20130113793A1 (en) | Image processing device, image processing method, and image processing program | |
US8648953B2 (en) | Image display apparatus and method, as well as program | |
JP5539514B2 (ja) | 撮影装置、プログラム、及び撮影方法 | |
JP5420076B2 (ja) | 再生装置、複眼撮像装置、再生方法及びプログラム | |
JP4895312B2 (ja) | 3次元表示装置および方法並びにプログラム | |
US9369699B2 (en) | Stereoscopic image display device, stereoscopic imaging device, and methods | |
JP5191864B2 (ja) | 3次元表示装置および方法並びにプログラム | |
US8711208B2 (en) | Imaging device, method and computer readable medium | |
TW201413368A (zh) | 依據物距值及兩眼間距值對焦之立體取像裝置及其方法、程式產品、紀錄媒體與取像對位方法 | |
JP2010102137A (ja) | 3次元撮影装置および方法並びにプログラム | |
US20130120374A1 (en) | Image processing device, image processing method, and image processing program | |
JP5409481B2 (ja) | 複眼撮影装置及びプログラム | |
JP6063662B2 (ja) | 撮像装置及び撮像方法 | |
JP2012220603A (ja) | 3d映像信号撮影装置 | |
JP2011223175A (ja) | 撮像装置、撮像装置の画像処理方法及びプログラム並びに撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11837834 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2012541792 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11837834 Country of ref document: EP Kind code of ref document: A1 |