WO2011148746A1 - 立体撮像装置および顔検出装置ならびにそれらの動作制御方法 - Google Patents
立体撮像装置および顔検出装置ならびにそれらの動作制御方法 Download PDFInfo
- Publication number
- WO2011148746A1 WO2011148746A1 PCT/JP2011/059889 JP2011059889W WO2011148746A1 WO 2011148746 A1 WO2011148746 A1 WO 2011148746A1 JP 2011059889 W JP2011059889 W JP 2011059889W WO 2011148746 A1 WO2011148746 A1 WO 2011148746A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- eye
- face
- distance
- eye image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Definitions
- the present invention relates to a stereoscopic imaging device, a face detection device, and an operation control method thereof.
- a left-eye image and a right-eye image are captured and controlled so that each image is focused, but only one image is controlled to be focused ( JP, 2007-110500, A), the other picture does not necessarily focus.
- JP, 2007-110500, A the other picture does not necessarily focus.
- Japanese Patent Laid-Open No. 2010-28219 it is not considered that the subject is detected in only one image .
- An object of the present invention is to accurately detect a face image from both the left-eye image and the right-eye image constituting the stereoscopic image.
- a stereoscopic imaging apparatus includes a left-eye image imaging apparatus that captures a left-eye image that forms a stereoscopic image, a right-eye image imaging apparatus that captures a right-eye image that configures a stereoscopic image, and the left-eye image imaging apparatus described above.
- a face image detecting device for detecting a face image in each of a left eye image picked up by the right eye image and a right eye image picked up by the right eye image pick-up device; The other image in which the face image is not detected by the face image detection device among the left-eye image and the right-eye image in response to the detection of the face image from only one of the image and the right-eye image.
- Image detection apparatus for detecting an object image included in the face image detected by the face image detection apparatus from a stereoscopic imaging apparatus Of the target images detected by the first distance calculation device (first distance calculation means) for calculating the distance to the face to be represented and the target image detection device, the first distance calculation device calculates the distance.
- a face image determination device (face image determination means) that determines a target image representing a target having a distance as the face image of the other image.
- the first invention also provides an operation control method suitable for the stereoscopic imaging apparatus. That is, in this method, the left-eye image capturing device captures the left-eye image that forms the stereoscopic image, the right-eye image capturing device captures the right-eye image that configures the stereoscopic image, and the face image detection device A face image is detected in each of a left-eye image captured by the left-eye image capturing device and a right-eye image captured by the right-eye image capturing device, and an object image detecting device is provided in the face image detecting device.
- the distance calculation device calculates the distance from the stereoscopic imaging device to the face represented by the face image detected by the face image detection device.
- the face image determination device converts the object image representing the object having the distance calculated by the first distance calculation device among the object images detected by the object image detection device to the other image. It is determined as a face image.
- a face image is detected in each of the left-eye image and the right-eye image, and when a face image is detected from only one image, the face image is not detected.
- An object image that is an image of the included object is detected.
- the distance to the face represented by the detected face image is calculated, and the object represented by the detected object image from the other image is represented by the object having the same distance as the calculated distance to the face.
- the target object image is determined as the face image. Even when a face image cannot be detected from the other image, the face image can be found relatively accurately.
- a second distance calculation device (second distance calculation means) for calculating the distance, and the distance calculated by the second distance calculation device and the positions of the left-eye focus lens and the right-eye focus lens Based on this, the movement directions of the left-eye focus lens and the right-eye focus lens are determined, and the left-eye lens is moved in the determined direction.
- Carcass lens and the focusing control device (focus control unit) for focusing control while moving through the right eye focus lens may further comprise a.
- a stereoscopic imaging device includes a left-eye image imaging device that captures a left-eye image that constitutes a stereoscopic image, a right-eye image imaging device that captures a right-eye image that constitutes a stereoscopic image, and the left-eye image imaging device described above.
- a face image detecting device for detecting a face image in each of a left eye image picked up by the right eye image and a right eye image picked up by the right eye image pick-up device;
- a target image detection device that detects a target image included in each of the left-eye image and the right-eye image in response to detection of a face image from only one of the image and the right-eye image ( Target image detection means), a first distance calculation device for calculating the distance from the stereoscopic imaging device to the face represented by the face image detected by the face image detection device
- a first distance calculating means for calculating the distance from the stereoscopic imaging device to the face represented by the face image detected by the face image detection device
- a first distance calculating means for calculating the object image detected by the object image detecting device, wherein the face image of the left eye image and the right eye image is not detected by the face image detecting device;
- a target image representing a target having a distance calculated by the first distance calculation device among target images included in the first image is determined as a
- a face image candidate determining device (first face image candidate determining means), wherein at least two face images are identified from one of the target images detected by the target image detecting device in the one image;
- a distance calculation device (distance calculation means) for calculating a distance to a point, which corresponds to the one of the object images detected by the object image detection device in the other image.
- the object represented by the object image at a distance from the other object image to at least two points calculated by the distance calculation device is at a distance from the one object image to the at least two points.
- a second face image candidate area determining device (second face image candidate area determining means) for determining a second face image candidate area of the other image by matching with the object represented by the object image; And a common area between the first face image candidate area determined by the first face image candidate determination apparatus and the second face image candidate area determined by the second face image candidate area determination apparatus, A face image determining device (face image determining means) for determining a face image area of the other image is provided.
- the second invention also provides an operation control method suitable for the stereoscopic imaging apparatus.
- the left-eye image capturing device captures the left-eye image that forms the stereoscopic image
- the right-eye image capturing device captures the right-eye image that configures the stereoscopic image
- the face image detection device A face image is detected in each of the left-eye image captured by the left-eye image capturing device and the right-eye image captured by the right-eye image capturing device
- the target image detecting device is the above-described face image detecting device.
- an object image included in each of the left-eye image and the right-eye image is detected, and a first image is detected.
- the distance calculation device calculates a distance from the stereoscopic imaging device to the face represented by the face image detected by the face image detection means, and the first face image candidate determination device determines the target Among the target images detected by the image detection device, the target images included in the other image in which the face image is not detected by the face image detection device among the left-eye image and the right-eye image, The object image representing the object having the distance calculated by the first distance calculation device is determined as the first face image candidate of the other image, and the second distance calculation device , Calculating a distance from one of the target images detected by the target image detecting device to at least two points for specifying the face image, and the second face image candidate region determining device is configured to Less than the target image detected by the target image detection device, calculated from the other target image corresponding to the first target image, by the distance calculation device.
- the object represented by the object image located at a distance of up to two points matches the object represented by the object image located at a distance from the one object image to the at least two points.
- the second face image candidate region of another image is determined, and the face image determination device determines the first face image candidate region and the second face image candidate region determined by the first face image candidate determination device.
- the common area with the second face image candidate area determined by the determination device is determined as the face image area of the other image.
- the face image area determined as in the first invention is determined as the first face image candidate area. Further, in one image from which a face image is detected, a distance from one of the detected object images to at least two points that specify the face image is calculated.
- the object image located at a distance of at least two points calculated from the other object image corresponding to the one of the detected object images.
- the object represented by is matched with the object represented by the image of the object at a distance of at least two points from the image of the one object, so that the second face image candidate region of the other image Is determined.
- a common area between the first face image candidate area and the second face image area is determined as a face image area of another image. According to the second invention, even when a face image is not detected, the distance from one object image to the face image in one image in which the face image is detected is used to determine a face image candidate in another image. A second face image candidate region is determined.
- the left-eye image pickup device provided in front of the left-eye image pickup device and movable in the optical axis direction of the left-eye image pickup device, and provided in front of the right-eye image pickup device.
- a second distance calculating device (second device) that calculates a distance from the right-eye focus lens and stereoscopic imaging device that are movable in the optical axis direction to the face represented by the face image region determined by the face image determining device. Based on the distance calculated by the second distance calculation device and the positions of the left-eye focus lens and the right-eye focus lens, and the left-eye focus lens and the right-eye focus lens.
- a face detection device for detecting a face image in each of a left eye image and a right eye image constituting a stereoscopic image, and the face image detection device including the left eye.
- Target image detection device that detects a target image included in each of the left-eye image and the right-eye image in response to detection of a face image from only one of the image for the right-eye and the image for the right-eye (Target image detection means)
- Distance calculation for calculating a distance from one of the target images detected by the target image detection device to at least two points that identify the face image in the one image
- the one object image among the object images detected by the object image detection device The object represented by the object image at a distance from the corresponding other object image to at least two points calculated by the distance calculation device is the distance from the one object image to the at least two points.
- a face image determining device (face image determining means) that determines a face image of the other image by matching with the object represented by the object image in the image.
- the third invention also provides an operation control method suitable for the face detection apparatus. That is, in this method, the face image detection device detects a face image in each of the left-eye image and the right-eye image constituting the stereoscopic image, and the target image detection device uses the left-eye image in the face image detection device.
- a distance calculation device includes: In the one image, a distance from one of the object images detected by the object image detection device to at least two points that specify the face image is calculated, and the face image determination device The distance calculation device calculates the distance from another object image corresponding to the one object image among the object images detected by the object image detection device.
- the object represented by the object image located at a distance of at least two points calculated matches the object represented by the object image located at a distance from the one object image to the at least two points.
- the face image of the other image is determined.
- the third invention in one image from which a face image is detected, at least two of specifying the face image from one of the detected object images The distance to the point is calculated.
- the object image located at a distance of at least two points calculated from the other object image corresponding to the one of the detected object images.
- the object represented by is matched with the object represented by the image of the object at a distance of at least two points from the image of the one object, so that the face image of the other image is determined.
- the face image determination device for example, in the other image, from another object image corresponding to the one object image among the object images detected by the object image detection device, by the distance calculation device.
- the object represented by the calculated object image at the distance to at least two points does not match the object represented by the object image at the distance from the one object image to the at least two points.
- the object image in the vicinity of the distance from the image of the one object to the at least two points is determined as the face image of the other image.
- the face image detection device will detect a face image in each of the left-eye image and the right-eye image captured by each of the left-eye image capturing device and the right-eye image capturing device.
- a left-eye focus lens provided in front of the left-eye image pickup device and movable in the optical axis direction of the left-eye image pickup device, provided in front of the right-eye image pickup device, and the right-eye image pickup device.
- a second distance calculating device (second device) that calculates the distance from the focus lens for the right eye, which is movable in the optical axis direction of the imaging device, and the face detection device to the face represented by the face image determined by the face image determining device. Based on the distance calculated by the second distance calculation device and the positions of the left-eye focus lens and the right-eye focus lens, and the left-eye focus lens and the right-eye focus lens. The moving direction of each of the right-eye focus lens is determined, and the left-eye focus lens and the right-eye focus lens are determined in the determined direction.
- Focus control device for focusing control while moving the's comprises (focus control unit).
- FIG. 1 is a block diagram showing an electrical configuration of a stereoscopic imaging digital camera.
- FIG. 2a shows an example of an image for the left eye
- FIG. 2b shows an example of an image for the right eye.
- FIG. 3 is a flowchart showing a part of the processing procedure of the stereoscopic imaging digital camera.
- FIG. 4 is a flowchart showing a part of the processing procedure of the stereoscopic imaging digital camera.
- FIG. 5 is an example of the left-eye image divided into regions.
- FIG. 6 is an example of the object image of the left eye image.
- FIG. 7a shows an example of an object image of a left eye image
- FIG. 7b shows an example of an object image of a right eye image.
- FIG. 8a shows an example of an object image of a left eye image
- FIG. 8b shows an example of an object image of a right eye image
- FIG. 9 is an example of the object image of the right eye image
- FIG. 10 shows the focus lens position.
- FIG. 11 shows the positional relationship between the stereoscopic imaging digital camera and the face.
- FIG. 12 is a flowchart showing a part of the processing procedure of the stereoscopic imaging digital camera.
- FIG. 13a shows an example of an object image of a left eye image
- FIG. 13b shows an example of an object image of a right eye image.
- FIG. 14 shows an example of the object image of the right eye image.
- FIG. 15 shows an example of the object image of the right eye image.
- FIG. 13a shows an example of an object image of a left eye image
- FIG. 13b shows an example of an object image of a right eye image
- FIG. 14 shows an example of the object image of the right eye image
- FIG. 15 shows an example
- FIG. 16 is a flowchart showing a part of the processing procedure of the stereoscopic imaging digital camera.
- FIG. 17 is a flowchart showing a part of the processing procedure of the stereoscopic imaging digital camera.
- FIG. 18 shows an example of the object image of the right eye image.
- FIG. 1 is a block diagram showing an electrical configuration of a stereoscopic imaging digital camera.
- the overall operation of the stereoscopic imaging digital camera is controlled by the CPU 1.
- the stereoscopic imaging digital camera is provided with a shutter release button 2, and a signal indicating that the shutter release button 2 is pressed is input to the CPU 1.
- the stereoscopic imaging digital camera also includes a memory 40 that stores predetermined data.
- the stereoscopic imaging digital camera includes a left-eye image capturing device 10 and a right-eye image capturing device 20 having a substantially common imaging range. The subject is imaged by the left-eye image capturing device 10 and the right-eye image capturing device 20.
- the left-eye image capturing device 10 outputs image data representing a left-eye image constituting a stereoscopic image by capturing a subject.
- the left-eye image pickup device 10 includes a first CCD 13.
- a zoom lens 11 and a focus lens 12 are provided in front of the first CCD 13. These zoom lens 11 and focus lens 12 are positioned by motor drivers 14 and 15, respectively.
- the left-eye video signal output from the first CCD 13 is converted into digital left-eye image data by the analog / digital converter 16.
- the left-eye image data is input from the image input controller 17 to the image signal processing circuit 35.
- the image signal processing circuit 35 predetermined signal processing is performed on the image data for the left eye.
- the left-eye image data output from the image signal processing circuit 35 is input to the AE / AF detection circuit 39.
- the AE / AF detection circuit 39 calculates an AF evaluation value for determining the exposure amount of the left-eye image pickup device 10 and the focus position of the focus lens 12 based on the input left-eye image data.
- the shutter speed (electronic shutter) of the first CCD 13 is determined based on the calculated exposure amount. Further, the lens position of the focus lens 12 is determined based on the calculated AF evaluation value.
- the right-eye image capturing device 30 outputs image data representing a right-eye image constituting a stereoscopic image by capturing a subject.
- the right-eye image capturing device 30 includes a second CCD 23.
- a zoom lens 21 and a focus lens 22 are provided in front of the second CCD 23. These zoom lens 21 and focus lens 22 are positioned by motor drivers 24 and 25, respectively.
- a right-eye video signal representing the right-eye image is output from the second CCD 23.
- the right-eye video signal output from the second CCD 23 is converted into digital right-eye image data by the analog / digital converter 26.
- the right-eye image data is input from the image input controller 27 to the image signal processing circuit 35. In the image signal processing circuit 35, predetermined signal processing is performed on the right-eye image data in the same manner as the left-eye image data.
- the right-eye image data output from the image signal processing circuit 35 is also input to the AE / AF detection circuit 39, and the exposure amount of the right-eye image capturing device 20 based on the input right-eye image data in the AE / AF detection circuit 39. Then, an AF evaluation value for determining the focus position of the focus lens 22 is calculated. Based on the calculated exposure amount, the shutter speed (electronic shutter) of the second CCD 23 is determined. Further, the lens position of the focus lens 22 is determined based on the calculated AF evaluation value.
- the left-eye image data and the right-eye image data obtained as described above are also input to the face detection circuit 38. In the face detection circuit 38, a face image is detected from each of the left eye image and the right eye image.
- the 2D / 3D display device 32 When a stereoscopic image is displayed on the 2D / 3D display device 32, the 2D / 3D display device 32 is switched to 3D display by the 2D / 3D display switching circuit 31.
- the left-eye image data and right-eye image data are input to the 3D image generation circuit 33, and image data representing a stereoscopic image in which the image is displayed stereoscopically is generated.
- the generated image data representing the stereoscopic image is provided to the 2D / 3D display device 32 via the 2D / 3D display switching circuit 31, whereby the stereoscopic image is displayed.
- the 2D / 3D display device 32 When a planar image is displayed on the 2D / display device 32, the 2D / 3D display device 32 is switched to 2D display by the 2D / 3D display switching circuit 31. In the case of planar image display, one of the left-eye image data and the right-eye image data is supplied to the 2D / 3D display device 32 via the 2D / 3D display switching circuit 31. A planar image is displayed on the display screen of the 2D / 3D display device 32. When the shutter release button 2 is pressed, the left-eye image data and right-eye image data obtained as described above are recorded on the memory card 42 under the control of the media controller 41.
- the stereoscopic imaging digital camera can detect not only a face image but also an image of a predetermined object (sky, water, tree, soil, building, etc.) from the image. .
- an object detection circuit 37 is provided in the stereoscopic imaging digital camera.
- a distance calculation circuit 36 for calculating the distance from the image of the object detected in the image to the face image is also provided in the stereoscopic imaging digital camera.
- FIG. 2a is an example of a left eye image
- FIG. 2b is an example of a right eye image.
- the left-eye image 70L shown in FIG. 2a is obtained when the subject is imaged by the left-eye image pickup device 10, and the right-eye image shown in FIG.
- the left-eye image 70L has an empty image 71L at the top and a soil image 73L at the bottom.
- the right-eye image 70R has an empty image 71R at the top and a soil image 73R at the bottom.
- FIG. 3 and FIG. 4 are flowcharts showing the processing procedure of the stereoscopic imaging digital camera, and mainly show the face image detection processing procedure.
- face image detection processing is performed on each of the left-eye image 70L and the right-eye image 70R (step 51).
- resizing is performed so that the resolutions of the left-eye image 70L and the right-eye image 70R are different from each other, and a plurality of left-eye images and right-eye images are generated.
- a region that matches a plurality of face images represented by a plurality of face image data stored in advance is detected as a face image.
- the area obtained by enlarging or reducing the detected face image to the size before resizing is the face image area in the image having the largest number of detected face images. It is said.
- step 53 If no face image is detected in both the left-eye image 70L and the right-eye image 70R (NO in step 52), the face image is detected only in one of the left-eye image 70L and the right-eye image 70R. It is confirmed whether or not (step 53).
- object detection processing object image detection processing
- object image detection processing is performed on each of the left-eye image 70L and the right-eye image 70R (Ste 54).
- object detection an image is divided into a plurality of regions.
- FIG. 5 is an example of the left-eye image 70L divided into a plurality of regions.
- the right-eye image 70R is divided into a plurality of regions.
- FIG. 6 is an object image showing a result of object detection of the left-eye image 70L.
- object detection process it is detected that there is an empty image 81L above the object image 80L and a soil image 83L below. Further, it is detected that there is a building image 82L at the center of the object image 80L and another image 84L at the lower right.
- FIG. 7a shows an object image 80L of the left-eye image 70L
- FIG. 7b shows an object image 80R of the right-eye image 70R.
- a face image is detected from the left-eye image 70L and no face image is detected from the right-eye image 70R.
- an empty image 81L, a soil image 83L, a building image 82L, and other images 84L are detected in the object image 80L of the left-eye image 70L.
- a face image is detected from the left-eye image 70L
- the portion corresponding to the face image of the other image 84L is surrounded by a face frame 85L.
- an empty image 81L at the top, a soil image 83L at the bottom, a building image 82L at the center, and another image 84L at the bottom right. are detected respectively. Since no face image is detected from the right-eye image 70R, the portion corresponding to the face image of the other image 84R is not surrounded by a face frame.
- the image of the detected object area (the sky image 81L, the building image 82L, the soil image 83L, and the other images 84L).
- the AF evaluation value of the detected face image (image surrounded by the face frame 85L) are calculated (step 55).
- the AF evaluation value of the building image 82L and the AF evaluation values of the other images 84L are calculated.
- the object image 80R of the right-eye image 70R from which the face image is detected the AF evaluation of the detected object region images (the sky image 81R, the building image 82R, the soil image 83R, and the other images 84R).
- Each value is calculated (step 55).
- the AF evaluation value of the building image 82R and the AF evaluation value of the other image 84R are calculated.
- the AF evaluation value is a high-frequency component of image data obtained by imaging while moving the focus lens 12 or 22 from the home position. Using the amount of movement from the home position of the focus lens 12 or 22 (the number of drive pulses of the motor driver 15 or 25) that gives the maximum value of such an AF evaluation value, from the stereoscopic imaging digital camera within the object area The distance to the object represented by the image or the face of the detected face image is calculated (step 56). For example, as shown in FIG.
- the distance to the building represented by the building image 82L is Xm
- the distance to the person represented by the other image 84L is Ym
- the distance to the person represented by the other image 84R is Ym
- the face image is included in the other image 84R of the object image 80R of the right-eye image 70R that is the same distance as the distance Ym to the face represented by the face image of the object image 80L of the left-eye image 70L.
- a face image is specified from the other image 84R of the object image 80R of the right-eye image 70R (step 57).
- FIG. 9 shows an object image 80R of the right-eye image 70R.
- the specified face image is surrounded by the face frame 85R. Since the face image is specified in both the left-eye image 70L and the right-eye image 70R, the AF area is set so that the face image of the left-eye image 70L and the face image of the right-eye image 70R are in focus. It is set (step 58). Even when face images are detected in both the left-eye image 70L and the right-eye image 70R (YES in step 52), the face images detected in both images 70L and 70R are set in the AF area (step). 58). Then, the distance from the stereoscopic imaging digital camera to the face is calculated (step 59).
- This distance is the length L of a perpendicular line drawn vertically from the face Fa to the stereoscopic imaging digital camera Ca.
- the distance from the left-eye image pickup device 10 to the face Fa is Xm as described above, and the straight line L1 from the left-eye image pickup device 10 to the face and the left-eye image pickup device 10 of the stereoscopic image pickup digital camera Ca and the right-eye use.
- the angle formed by the straight line L2 with the image pickup device 30 is ⁇
- the movement direction (search direction) of each of the focus lenses 12 and 22 is determined from the calculated distance to the face and the current position of each of the focus lenses 12 and 22 (step 60).
- FIG. 11 shows the lens position of the focus lens 12 or 22. It is assumed that the current lens position of the focus lens 12 or 22 is at the position P1. Since it can be understood from the calculated distance to the face that the lenses 12 and 22 need to move to the position P2 (face image in-focus position), the focus / focus position is changed so as to move from the current position P1 to the position P2.
- the lenses 12 and 22 move. While each of the focus lenses 12 and 22 moves in the determined direction, the focus lenses 12 and 22 are positioned at the same position where the AF evaluation value is maximized (execution of AF) (step 61).
- FIG. 12 is a part of a flowchart showing a processing procedure of the stereoscopic imaging digital camera, and corresponds to FIG. In FIG. 11, the same processes as those shown in FIG.
- a face image is specified from an image in which a face image is not detected among a left-eye image and a right-eye image by using a distance between an image representing an object and a detected face image. is there.
- a face image is detected only from the left-eye image 70L and no face image is detected from the right-eye image 70R.
- Object detection is performed in each of the left-eye image 70L and the right-eye image 70R (step 54), and as shown in FIGS. 13a and 13b, the object image 80L of the left-eye image 70L and the object image of the right-eye image 70R. 80R is obtained.
- the sky image 81L, the soil image 83L, the building image 82L, and the other image 84L are detected.
- an empty image 81R, a soil image 83R, a building image 82R, and other images 84R are detected.
- the face image detected from the detected object image one object image; the building image 82R may be another image.
- the distance to the end point and the center point of the face frame 85L that identifies the image is calculated (step 91).
- Each distance to the position (x13, y13) is calculated.
- the distance from the building image 82R (or other object image) to any two points on the face frame 85R may be calculated.
- the upper left position (x11, y11) of the face frame 85L, the lower left position (x11, y12) of the face frame 85L, and the position (x13, y13) of the center point of the face frame 85L ) are ⁇ m, ⁇ m, and ⁇ m.
- the end point and the center point of the face image are specified using the distribution (object distribution) of the object image detected in the right-eye image 70R in which no face image is detected and the distance calculated as described above ( Step 92). As shown in FIG.
- Step 94 The identified face image is surrounded by a face frame 85R as shown in FIG. As shown in FIGS.
- step 14 and 15 the image of each object of the end point and the center point of the face image specified in the right-eye image 70R, and the end point of the face image determined in the left-eye image 70L If the image of each object does not match the center point (NO in step 93), the face frame 85R displayed at the calculated distance is in the vicinity of the calculated distance, and the left eye image 70L The object image 80L and the object image 80R of the right-eye image 70R are shifted to an image of an object that exists in common (step 95), and a face image is specified (step 94). The identified face image is surrounded by a face frame 85R as shown in FIG. The subsequent processing is the same as the processing shown in FIG. 16 to 18 show another embodiment.
- FIGS. 3 and 4 are flowcharts showing the processing procedure of the stereoscopic imaging digital camera.
- FIG. 18 shows an object image 80R of the right-eye image 80R.
- object detection is performed, and the distance Xm from the stereoscopic imaging digital camera to the building represented by the building image 82L in the object image 80L of the left-eye image 70L.
- the distance Ym to the face represented by the detected face image is calculated (step 56).
- the distances ⁇ m, ⁇ m and ⁇ m from the building image 82L to the end points and the center point of the face frame 85L are calculated (step 91).
- the right-eye image 70L (object image). 80L) first face image candidate region 111 is identified (step 101) (see FIG. 18).
- the second face image candidate region 112 of the right-eye image 70L (object image 80L). Is identified (step 102) (see FIG. 18).
- the common area 113 between the first face image candidate area 111 and the second face image candidate area 112 obtained in this way is specified as a face image (step 103).
- the detection and identification of the face image is performed using the left-eye image obtained by imaging with the left-eye image imaging device 10 and the right-eye image obtained by imaging with the right-eye image imaging device 20.
- detection and identification of a face image is performed using the left-eye image represented by the left-eye image data recorded on the memory card 42 and the right-eye image represented by the right-eye image data. You may be made to be.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
第1の発明による立体撮像装置は,立体画像を構成する左目用画像を撮像する左目用画像撮像装置,立体画像を構成する右目用画像を撮像する右目用画像撮像装置,上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出する顔画像検出装置(顔画像検出手段),上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像を検出する対象画像検出装置(対象物画像検出手段),立体撮像装置から上記顔画像検出装置によって検出された顔画像が表す顔までの距離を算出する第1の距離算出装置(第1の距離算出手段),ならびに上記対象物画像検出装置によって検出された対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の顔画像と決定する顔画像決定装置(顔画像決定手段)を備えていることを特徴とする。
第1の発明は,上記立体撮像装置に適した動作制御方法も提供している。すなわち,この方法は,左目用画像撮像装置が,立体画像を構成する左目用画像を撮像し,右目用画像撮像装置が,立体画像を構成する右目用画像を撮像し,顔画像検出装置が,上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出し,対象物画像検出装置が,上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像を検出し,距離算出装置が,立体撮像装置から上記顔画像検出装置によって検出された顔画像が表す顔までの距離を算出し,顔画像決定装置が,上記対象物画像検出装置によって検出された対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の顔画像と決定するものである。
第1の発明によると,左目用画像と右目用画像とのそれぞれの画像において顔画像が検出され,一方の画像のみから顔画像が検出されると,顔画像が検出されなかった他方の画像に含まれる対象物の画像である対象物画像が検出される。また,検出された顔画像が表す顔までの距離が算出され,他方の画像から検出された対象物画像が表す対象物のうち,算出された顔までの距離と同じ距離の対象物によって表される対象物画像が顔画像と決定される。他方の画像から顔画像が検出できなかった場合でも,顔画像を比較的正確に見つけることができる。
上記左目用画像撮像装置に含まれる固体電子撮像素子の前方に設けられ,上記左目用画像撮像装置の光軸方向に移動自在な左目用フォーカス・レンズ,上記右目用画像撮像装置に含まれる固体電子撮像素子の前方に設けられ,上記右目用画像撮像装置の光軸方向に移動自在な右目用フォーカス・レンズ,立体撮像装置から,上記顔画像決定装置により決定された顔画像が表す顔までの距離を算出する第2の距離算出装置(第2の距離算出手段),ならびに上記第2の距離算出装置によって算出された距離と上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの位置とにもとづいて,上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの移動方向を決定し,決定した方向に上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズを移動させながら合焦制御する合焦制御装置(合焦制御手段)をさらに備えてもよい。
第2の発明による立体撮像装置は,立体画像を構成する左目用画像を撮像する左目用画像撮像装置,立体画像を構成する右目用画像を撮像する右目用画像撮像装置,上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出する顔画像検出装置(顔画像検出手段),上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出する対象画像検出装置(対象画像検出手段),立体撮像装置から上記顔画像検出装置によって検出された顔画像が表す顔までの距離を算出する第1の距離算出装置(第1の距離算出手段),上記対象物画像検出装置によって検出された対象物画像であって,上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の第1の顔画像候補と決定する第1の顔画像候補決定装置(第1の顔画像候補決定手段),上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出する距離算出装置(距離算出手段),上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の第2の顔画像候補領域と決定する第2の顔画像候補領域決定装置(第2の顔画像候補領域決定手段),ならびに上記第1の顔画像候補決定装置によって決定された第1の顔画像候補領域と上記第2の顔画像候補領域決定装置によって決定された第2の顔画像候補領域との共通の領域を,上記他の画像の顔画像の領域と決定する顔画像決定装置(顔画像決定手段)を備えていることを特徴とする。
第2の発明は,上記立体撮像装置に適した動作制御方法も提供している。すなわち,この方法は,左目用画像撮像装置が,立体画像を構成する左目用画像を撮像し,右目用画像撮像装置が,立体画像を構成する右目用画像を撮像し,顔画像検出装置が,上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出し,対象画像検出装置が,上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出し,第1の距離算出装置が,立体撮像装置から上記顔画像検出手段によって検出された顔画像が表す顔までの距離を算出し,第1の顔画像候補決定装置が,上記対象物画像検出装置によって検出された対象物画像であって,上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の第1の顔画像候補と決定し,第2の距離算出装置が,上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出し,第2の顔画像候補領域決定装置が,上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の第2の顔画像候補領域と決定し,顔画像決定装置が,上記第1の顔画像候補決定装置によって決定された第1の顔画像候補領域と上記第2の顔画像候補領域決定装置によって決定された第2の顔画像候補領域との共通の領域を,上記他の画像の顔画像の領域と決定するものである。
第2の発明によると,第1の発明のようにして決定される顔画像の領域が第1の顔画像候補領域と決定される。また,顔画像が検出された一方の画像において,検出された対象物画像のうちの一の対象物画像から顔画像を特定する少なくとも2点までの距離が算出される。顔画像が検出されなかった他方の画像において,検出された対象物画像のうちの一の対象物画像に対応する他の対象物画像から,算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,一の対象物の画像から少なくとも2点までの距離にある対象物の画像によって表される対象物に一致したことにより,他の画像の第2の顔画像候補領域と決定される。第1の顔画像候補領域と第2の顔画像領域との共通の領域が他の画像の顔画像の領域と決定される。
第2の発明によると,顔画像が検出されない場合でも顔画像が検出された一方の画像での一の対象物画像から顔画像までの距離を利用して,他の画像において顔画像の候補となる第2の顔画像候補領域が決定される。決定された第1の顔画像候補領域と第2の顔画像候補領域との共通の領域が顔画像領域と決定されるので,比較的正確に顔画像の領域を決定できる。
上記左目用画像撮像装置の前方に設けられ,上記左目用画像撮像装置の光軸方向に移動自在な左目用フォーカス・レンズ,上記右目用画像撮像装置の前方に設けられ,上記右目用画像撮像装置の光軸方向に移動自在な右目用フォーカス・レンズ,立体撮像装置から,上記顔画像決定装置により決定された顔画像の領域が表す顔までの距離を算出する第2の距離算出装置(第2の距離算出手段),ならびに上記第2の距離算出装置によって算出された距離と上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの位置とにもとづいて,上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの移動方向を決定し,決定した方向に上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズを移動させながら合焦制御する合焦制御装置(合焦制御手段)をさらに備えてもよい。
第3の発明による顔検出装置は,立体画像を構成する左目用画像および右目用画像のそれぞれにおいて顔画像を検出する顔画像検出装置(顔画像検出手段),上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出する対象画像検出装置(対象画像検出手段),上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出する距離算出装置(距離算出手段),ならびに上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の顔画像と決定する顔画像決定装置(顔画像決定手段)を備えていることを特徴とする。
第3の発明は,上記顔検出装置に適した動作制御方法も提供している。すなわち,この方法は,顔画像検出装置が,立体画像を構成する左目用画像および右目用画像のそれぞれにおいて顔画像を検出し,対象画像検出装置が,上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出し,距離算出装置が,上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出し,顔画像決定装置が,上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の顔画像と決定するものである。
第3の発明によると,上述の第2の発明と同様に,顔画像が検出された一方の画像において,検出された対象物画像のうちの一の対象物画像から顔画像を特定する少なくとも2点までの距離が算出される。顔画像が検出されなかった他方の画像において,検出された対象物画像のうちの一の対象物画像に対応する他の対象物画像から,算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,一の対象物の画像から少なくとも2点までの距離にある対象物の画像によって表される対象物に一致したことにより,他の画像の顔画像と決定される。
上記顔画像決定装置は,たとえば,上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致しないことにより上記一の対象物の画像から上記少なくとも2点までの距離の近傍にある対象物画像を上記他の画像の顔画像と決定するものである。
立体画像を構成する左目用画像を撮像する左目用画像撮像装置,および立体画像を構成する右目用画像を撮像する右目用画像撮像装置をさらに備えてもよい。この場合,上記顔画像検出装置は,上記左目用画像撮像装置および上記右目用画像撮像装置のそれぞれにおいて撮像された左目用画像および右目用画像のそれぞれにおいて顔画像を検出するものとなろう。さらに,上記左目用画像撮像装置の前方に設けられ,上記左目用画像撮像装置の光軸方向に移動自在な左目用フォーカス・レンズ,上記右目用画像撮像装置の前方に設けられ,上記右目用画像撮像装置の光軸方向に移動自在な右目用フォーカス・レンズ,顔検出装置から,上記顔画像決定装置により決定された顔画像が表す顔までの距離を算出する第2の距離算出装置(第2の距離算出手段),ならびに上記第2の距離算出装置によって算出された距離と上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの位置とにもとづいて,上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの移動方向を決定し,決定した方向に上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズを移動させながら合焦制御する合焦制御装置(合焦制御手段)を備える。
第2a図は左目用画像の一例を,第2b図は右目用画像の一例を示している。
第3図は立体撮像ディジタル・カメラの処理手順の一部を示すフローチャートである。
第4図は立体撮像ディジタル・カメラの処理手順の一部を示すフローチャートである。
第5図は領域分割された左目用画像の一例である。
第6図は左目用画像のオブジェクト画像の一例である。
第7a図は左目用画像のオブジェクト画像を,第7b図は右目用画像のオブジェクト画像の一例を示している。
第8a図は左目用画像のオブジェクト画像を,第8b図は右目用画像のオブジェクト画像の一例を示している。
第9図は右目用画像のオブジェクト画像の一例である。
第10図はフォーカス・レンズ位置を示している。
第11図は立体撮像ディジタル・カメラと顔との位置関係を示している。
第12図は立体撮像ディジタル・カメラの処理手順の一部を示すフローチャートである。
第13a図は左目用画像のオブジェクト画像を,第13b図は右目用画像のオブジェクト画像の一例を示している。
第14図は右目用画像のオブジェクト画像の一例である。
第15図は右目用画像のオブジェクト画像の一例である。
第16図は立体撮像ディジタル・カメラの処理手順の一部を示すフローチャートである。
第17図は立体撮像ディジタル・カメラの処理手順の一部を示すフローチャートである。
第18図は右目用画像のオブジェクト画像の一例である。
立体撮像ディジタル・カメラの全体の動作は,CPU1によって統括される。立体撮像ディジタル・カメラには,シャッタ・レリーズ・ボタン2が設けられており,シャッタ・レリーズ・ボタン2の押し下げを示す信号は,CPU1に入力する。また,立体撮像ディジタル・カメラには,所定のデータを記憶するメモリ40も含まれている。
立体撮像ディジタル・カメラには,ほぼ共通の撮像範囲を有する左目用画像撮像装置10と右目用画像撮像装置20とが含まれている。これらの左目用画像撮像装置10と右目用画像撮像装置20とによって被写体が撮像される。
左目用画像撮像装置10は,被写体を撮像することにより,立体画像を構成する左目用画像を表す画像データを出力するものである。左目用画像撮像装置10には,第1のCCD13が含まれている。第1のCCD13の前方には,ズーム・レンズ11およびフォーカス・レンズ12が設けられている。これらのズーム・レンズ11およびフォーカス・レンズ12は,それぞれモータ・ドライバ14および15によって位置決めされる。撮像モードとなり,第1のCCD13の受光面に左目用画像が結像すると,左目用画像を表す左目用映像信号が第1のCCD13から出力される。
第1のCCD13から出力された左目用映像信号は,アナログ/ディジタル変換装置16においてディジタルの左目用画像データに変換される。左目用画像データは,画像入力コントローラ17から画像信号処理回路35に入力する。画像信号処理回路35において,左目用画像データに対して所定の信号処理が行われる。画像信号処理回路35から出力された左目用画像データはAE/AF検出回路39に入力する。AE/AF検出回路39において,入力した左目用画像データにもとづいて左目用画像撮像装置10の露出量およびフォーカス・レンズ12の合焦位置を決定するためのAF評価値が算出される。算出された露出量にもとづいて第1のCCD13のシャッタ速度(電子シャッタ)が決定される。また,算出されたAF評価値にもとづいてフォーカス・レンズ12のレンズ位置が決定される。
右目用画像撮像装置30は,被写体を撮像することにより,立体画像を構成する右目用画像を表す画像データを出力するものである。右目用画像撮像装置30には,第2のCCD23が含まれている。第2のCCD23の前方には,ズーム・レンズ21およびフォーカス・レンズ22が設けられている。これらのズーム・レンズ21およびフォーカス・レンズ22は,それぞれモータ・ドライバ24および25によって位置決めされる。撮像モードとなり,第2のCCD23の受光面に右目用画像が結像すると,右目用画像を表す右目用映像信号が第2のCCD23から出力される。
第2のCCD23から出力された右目用映像信号は,アナログ/ディジタル変換装置26においてディジタルの右目用画像データに変換される。右目用画像データは,画像入力コントローラ27から画像信号処理回路35に入力する。画像信号処理回路35において,左目用画像データと同様に右目用画像データに対して所定の信号処理が行われる。画像信号処理回路35から出力された右目用画像データもAE/AF検出回路39に入力し,AE/AF検出回路39において,入力した右目用画像データにもとづいて右目用画像撮像装置20の露出量およびフォーカス・レンズ22の合焦位置を決定するためのAF評価値が算出される。算出された露出量にもとづいて第2のCCD23のシャッタ速度(電子シャッタ)が決定される。また,算出されたAF評価値にもとづいてフォーカス・レンズ22のレンズ位置が決定される。
上述のようにして得られた左目用画像データおよび右目用画像データは,顔検出回路38にも入力する。顔検出回路38において,左目用画像および右目用画像のそれぞれの画像から顔画像が検出される。
2D/3D表示装置32に立体画像が表示される場合には,2D/3D表示装置32が2D/3D表示切替回路31によって3D表示に切り替えられる。立体画像表示の場合には,左目用画像データおよび右目用画像データは,3D画像生成回路33に入力し,立体的に画像が表示される立体画像を表す画像データが生成される。生成された立体画像を表す画像データは,2D/3D表示切替回路31を介して2D/3D表示装置32に与えられることにより,立体画像が表示される。
2D/表示装置32に平面的な画像が表示される場合には,2D/3D表示装置32が2D/3D表示切替回路31によって2D表示に切り替えられる。平面画像表示の場合には,左目用画像データおよび右目用画像データのうち,いずれか一方の画像データが2D/3D表示切替回路31を介して2D/3D表示装置32に与えられる。2D/3D表示装置32の表示画面に平面画像が表示される。
シャッタ・レリーズ・ボタン2が押されると,上述のようにして得られた左目用画像データおよび右目用画像データがメディア・コントローラ41の制御のもとにメモリ・カード42に記録される。
さらに,この実施例による立体撮像ディジタル・カメラでは,顔画像を検出するだけでなく,画像の中から所定の対象物(空,水,木,土,建物など)の画像を検出することもできる。対象物の画像を検出するために立体撮像ディジタル・カメラには,オブジェクト検出回路37が設けられている。さらに,画像の中で検出された対象物の画像から顔画像までの距離を算出する距離算出回路36も立体撮像ディジタル・カメラに設けられている。
第2a図は左目用画像の一例であり,第2b図は右目用画像の一例である。
左目用画像撮像装置10によって被写体が撮像されたことにより,第2a図に示す左目用画像70Lが得られ,右目用画像撮像装置20によって被写体が撮像されたことにより,第2b図に示す右目用画像70Rが得られたものとする。
第2a図に示すように左目用画像70Lには,上部に空の画像71Lがあり,下部に土の画像73Lがある。左目用画像70Lのほぼ中心部に家の画像72Lがあり,右下に人物像74Lがある。
同様に第2b図に示すように右目用画像70Rには,上部に空の画像71Rがあり,下部に土の画像73Rがある。左目用画像70Rのほぼ中心部に家の画像72Rがあり,右下に人物像74Rがある。
左目用撮像装置10と右目用撮像装置20とは水平方向にずれているために,左目用画像70Lと右目用画像70Rとの間には視差ずれがある。たとえば,左目用画像70Lの人物像74Lに比べて右目用画像70Rの人物像74Rは右側にずれており,一部欠落している。
第3図および第4図は,立体撮像ディジタル・カメラの処理手順を示すフローチャートであり,主として顔画像検出処理手順を示している。
撮像により左目用画像70Lと右目用画像70Rとが得られると,左目用画像70Lと右目用画像70Rとのそれぞれの画像において顔画像の検出処理が実施される(ステップ51)。顔画像の検出処理においては,左目用画像70Lと右目用画像70Rのそれぞれの画像において解像度が異なるようにリサイズ処理が行われて複数の左目用画像および右目用画像が生成される。複数の左目用画像および右目用画像のそれぞれにおいて,あらかじめ記憶されている複数の顔画像データによって表される複数の顔画像にマッチングする領域が顔画像として検出される。抽出された顔画像が複数の場合には,検出された顔画像が一番多い画像において,その検出された顔画像をリサイズ前の大きさに拡大または縮小して得られる領域が顔画像の領域とされる。
左目用画像70Lと右目用画像70Rとの両方の画像でいずれも顔画像が検出されないと(ステップ52でNO),左目用画像70Lまたは右目用画像70Rの一方の画像でのみ顔画像が検出されたかどうかが確認される(ステップ53)。
一方の画像でのみ顔画像が検出されると(ステップ53でYES),左目用画像70Lおよび右目用画像70Rのそれぞれの画像に対してオブジェクト検出処理(対象物画像検出処理)が実施される(ステップ54)。
オブジェクト検出では,画像が複数の領域に分割される。
第5図は,複数の領域に分割された左目用画像70Lの一例である。右目用画像70Rも同様に複数の領域に分割される。
左目用画像70Lが複数の領域75に分割されると,その領域75の測光値,周波数,画像内の位置などの特徴量が算出される。算出された特徴量とあらかじめ記憶されているオブジェクト(対象物)の特徴量とが比較され,一致した場合にあらかじめ記憶されているオブジェクトと決定される。右目用画像70Rについても同様である。
第6図は,左目用画像70Lのオブジェクト検出の結果を示すオブジェクト画像である。
オブジェクト検出処理により,オブジェクト画像80Lの上部に空の画像81Lがあり,下部に土の画像83Lがあることが検出される。さらに,オブジェクト画像80Lの中央部に建物の画像82Lがあり,右下にその他の画像84Lがあることが検出される。右目用画像70Rについてもオブジェクト検出処理が行われることにより,あらかじめ記憶されている対象物の画像が検出される。
第7a図は左目用画像70Lのオブジェクト画像80Lであり,第7b図は右目用画像70Rのオブジェクト画像80Rである。
この実施例では,左目用画像70Lから顔画像が検出され,右目用画像70Rからは顔画像は検出されなかったものとする。
第7a図を参照して,左目用画像70Lのオブジェクト画像80Lには上述のように空の画像81L,土の画像83L,建物の画像82Lおよびその他の画像84Lが検出される。また,左目用画像70Lから顔画像が検出されているから,その他の画像84Lの顔画像に相当する部分の周りは顔枠85Lで囲まれている。
第7b図を参照して,右目用画像70Rのオブジェクト画像80Rにおいても上部に空の画像81Lが,下部に土の画像83Lが,中央部に建物の画像82Lが,右下にその他の画像84Lがそれぞれ検出される。右目用画像70Rからは顔画像が検出されないので,その他の画像84Rの顔画像に相当する部分の周りは顔枠で囲まれていない。
第3図に戻って,顔画像が検出された左目用画像70Lのオブジェクト画像80Lにおいて,検出されたオブジェクト領域の画像(空の画像81L,建物の画像82L,土の画像83L,その他の画像84L)のAF評価値と検出された顔画像(顔枠85Lで囲まれている画像)のAF評価値がそれぞれ算出される(ステップ55)。この実施例では,建物の画像82LのAF評価値とその他の画像84LのAF評価値とが算出されるものとする。同様に,顔画像が検出された右目用画像70Rのオブジェクト画像80Rにおいて,検出されたオブジェクト領域の画像(空の画像81R,建物の画像82R,土の画像83R,その他の画像84R)のAF評価値がそれぞれ算出される(ステップ55)。この実施例では,建物の画像82RのAF評価値とその他の画像84RのAF評価値とが算出される。
AF評価値は,フォーカス・レンズ12または22をホーム・ポジションから移動させながら撮像することにより得られる画像データの高周波数成分である。そのようなAF評価値の最大値を与えるフォーカス・レンズ12または22のホーム・ポジションからの移動量(モータ・ドライバ15または25の駆動パルス数)を用いて,立体撮像ディジタル・カメラからオブジェクト領域内の画像によって表される対象物または検出された顔画像の顔までの距離が算出される(ステップ56)。たとえば,第8a図に示すように,建物の画像82Lによって表される建物までの距離がXm,その他の画像84Lによって表される人物までの距離がYm,第8b図に示すように,建物の画像82Rによって表される建物までの距離がXm,その他の画像84Rによって表される人物までの距離がYmであったものとする。すると,左目用画像70Lのオブジェクト画像80Lの顔画像が表す顔までの距離Ymと同じ距離にある,右目用画像70Rのオブジェクト画像80Rのその他の画像84Rに顔画像が含まれていると考えられて,右目用画像70Rのオブジェクト画像80Rのその他の画像84Rから顔画像が特定される(ステップ57)。
第9図は,右目用画像70Rのオブジェクト画像80Rである。上述のように,顔画像が特定されると,その特定された顔画像が顔枠85Rで囲まれる。
左目用画像70Lおよび右目用画像70Rのいずれにおいても顔画像が特定されたこととなるから,左目用画像70Lの顔画像および右目用画像70Rの顔画像がそれぞれ合焦するように,AFエリアが設定される(ステップ58)。左目用画像70Lおよび右目用画像70Rの両方の画像において顔画像が検出された場合も(ステップ52でYES),両方の画像70Lおよび70Rで検出された顔画像がAFエリアに設定される(ステップ58)。すると,立体撮像ディジタル・カメラから顔までの距離が算出される(ステップ59)。
第10図は,この距離の算出のやり方を説明するものである。
この距離は,顔Faから立体撮像ディジタル・カメラCaに鉛直に降ろした垂線の長さLである。左目用画像撮像装置10から顔Faまでの距離は上述のようにXmであり,左目用画像撮像装置10から顔までの直線L1と立体撮像ディジタル・カメラCaの左目用画像撮像装置10と右目用画像撮像装置30との直線L2とのなす角をθとすると,距離L=Xmsinθで求められる。角度θは,上述のように顔画像が検出されているから,左目用画像撮像装置10の画角(設計値である)を参照して算出できるのはいうまでもない。
算出された顔までの距離と現在のフォーカス・レンズ12および22のそれぞれの位置とからフォーカス・レンズ12および22のそれぞれのレンズの移動方向(サーチ方向)が決定される(ステップ60)。
第11図は,フォーカス・レンズ12または22のレンズ位置を示している。
フォーカス・レンズ12または22の現在のレンズ位置が位置P1にあるものとする。算出された顔までの距離から,それらのレンズ12および22が位置P2(顔画像合焦位置)に移動すればよいことがわかるから,現在の位置P1から,位置P2に移動するようにフォーカス・レンズ12および22が移動する。
フォーカス・レンズ12および22のそれぞれが決定された方向に移動しながら,AF評価値が最大となる同じ位置にフォーカス・レンズ12および22が位置決めされる(AFの実施)(ステップ61)。
左目用画像70Lおよび右目用画像70Rのいずれの画像においても顔画像が検出されなかった場合には(ステップ53でNO),左目用画像70Lおよび右目用画像70Rのそれぞれの画像において上述したオブジェクト検出処理が実施される(ステップ62)。すると,画像70Lおよび70Rの両方の画像で共通に検出された対象物の画像であり,かつ画像に占める割合が最大の対象物の画像がAFエリアに設定される(ステップ63)。設定されたAFエリア内の画像が合焦するようにフォーカス・レンズ12および22が位置決めされる(ステップ61)。
第12図から第15図は,他の実施例を示している。
第12図は,立体撮像ディジタル・カメラの処理手順を示すフローチャートの一部であり,第3図に対応する。第11図において,第3図に示す処理と同一の処理については同一符号を付して説明を省略する。この実施例は,対象物を表す画像と検出された顔画像との距離を利用して,左目用画像と右目用画像とのうち顔画像が検出されなかった画像から顔画像を特定するものである。
上述したのと同様に,左目用画像70Lからのみ顔画像が検出され,右目用画像70Rからは顔画像が検出されなかったものとする。左目用画像70Lおよび右目用画像70Rのそれぞれにおいてオブジェクト検出が実施され(ステップ54),第13a図および第13b図に示すように,左目用画像70Lのオブジェクト画像80Lおよび右目用画像70Rのオブジェクト画像80Rが得られる。
第13a図に示すオブジェクト画像80Lでは,空の画像81L,土の画像83L,建物の画像82L,その他の画像84Lがそれぞれ検出される。第13b図に示すオブジェクト画像80Rでは,空の画像81R,土の画像83R,建物の画像82R,その他の画像84Rがそれぞれ検出される。
顔画像が検出された左目用画像70Lのオブジェクト画像80Lにおいて,検出された対象物の画像(一の対象物画像。建物の画像82Rとするが,その他の画像でもよい)から検出された顔画像を特定する顔枠85Lの端点およびその中心点までの距離が算出される(ステップ91)。この実施例では,建物の画像82Rの中心(x1,y1)から顔枠85Lの左上の位置(x11,y11),顔枠85Lの左下の位置(x11,y12)および顔枠85Lの中心点の位置(x13,y13)までのそれぞれの距離が算出される。建物の画像82R(または他の対象物の画像)から顔枠85Rの任意の2点までの距離を算出すればよい。建物の画像82Rの中心(x1,y1)から顔枠85Lの左上の位置(x11,y11),顔枠85Lの左下の位置(x11,y12)および顔枠85Lの中心点の位置(x13,y13)までのそれぞれの距離がαm,βmおよびγmであったものとする。
顔画像が検出されなかった右目用画像70Rにおいて検出された対象物画像の分布(オブジェクト分布)と上記のように算出された距離とを用いて顔画像の端点と中心点とが特定される(ステップ92)。第13b図に示すように,右目用画像70Rにおいて特定された顔画像の端点と中心点とのそれぞれの対象物の画像と,左目用画像70Lにおいて決定された顔画像の端点と中心点とのそれぞれの対象物の画像とが一致すれば(ステップ93でYES),右目用画像70Rにおいて特定された顔画像の端点と中心点とのそれぞれの対象物の画像が顔画像であるとして特定される(ステップ94)。特定された顔画像が第9図に示すように顔枠85Rで囲まれる。
第14図,第15図に示すように,右目用画像70Rにおいて特定された顔画像の端点と中心点とのそれぞれの対象物の画像と,左目用画像70Lにおいて決定された顔画像の端点と中心点とのそれぞれの対象物の画像とが一致しなければ(ステップ93でNO),その算出された距離に表示される顔枠85Rが,算出された距離近傍にあり,左目用画像70Lのオブジェクト画像80Lと右目用画像70Rのオブジェクト画像80Rとに共通に存在する対象物の画像にシフトされて(ステップ95),顔画像が特定される(ステップ94)。特定された顔画像が第9図に示すように顔枠85Rで囲まれる。
その後の処理は,第4図に示す処理と同様である。
第16図から第18図は,他の実施例を示している。この実施例は,上述した2つの実施例を合わせたものと考えることができる。
第16図および第17図は,立体撮像ディジタル・カメラの処理手順を示すフローチャートである。これらの図において,第3図,第4図または第5図に示す処理と同一の処理については同一符号を付して説明を省略する。第18図は,右目用画像80Rのオブジェクト画像80Rである。
この実施例も左目用画像70Lにおいて顔画像が検出され,右目用画像70Rでは顔画像が検出されなかったものとする。
第3図および第4図を参照して説明したように,オブジェクト検出が行われ,左目用画像70Lのオブジェクト画像80Lにおいて立体撮像ディジタル・カメラから建物の画像82Lによって表される建物までの距離Xmおよび検出された顔画像によって表される顔までの距離Ymが算出される(ステップ56)。
つづいて,第12図を参照して説明したように,建物の画像82Lから顔枠85Lの端点および中心点までの距離αm,βmおよびγmが算出される(ステップ91)。
上述のように,立体撮像ディジタル・カメラから建物の画像82Lによって表される建物までの距離Xmおよび検出された顔画像によって表される顔までの距離Ymにもとづいて,右目用画像70L(オブジェクト画像80L)の第1の顔画像候補領域111が特定される(ステップ101)(第18図参照)。さらに,上述のように,建物の画像82Lから顔枠85Lの端点および中心点までの距離αm,βmおよびγmにもとづいて,右目用画像70L(オブジェクト画像80L)の第2の顔画像候補領域112が特定される(ステップ102)(第18図参照)。
このようにして得られた第1の顔画像候補領域111と第2の顔画像候補領域112との共通領域113が顔画像と特定される(ステップ103)。その後の処理は,上述したのと同様である。
上述の実施例においては,左目用画像撮像装置10における撮像により得られた左目用画像と右目用画像撮像装置20における撮像により得られた右目用画像とを利用して顔画像の検出および特定が行われているが,メモリ・カード42に記録されている左目用画像データによって表される左目用画像および右目用画像データによって表される右目用画像を利用して顔画像の検出および特定が行われるようにしてもよい。
Claims (10)
- 立体画像を構成する左目用画像を撮像する左目用画像撮像装置,
立体画像を構成する右目用画像を撮像する右目用画像撮像装置,
上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出する顔画像検出装置,
上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像を検出する対象物画像検出装置,
立体撮像装置から上記顔画像検出装置によって検出された顔画像が表す顔までの距離を算出する第1の距離算出装置,ならびに
上記対象物画像検出装置によって検出された対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の顔画像と決定する顔画像決定装置,
を備えた立体撮像装置。 - 上記左目用画像撮像装置に含まれる固体電子撮像素子の前方に設けられ,上記左目用画像撮像装置の光軸方向に移動自在な左目用フォーカス・レンズ,
上記右目用画像撮像装置に含まれる固体電子撮像素子の前方に設けられ,上記右目用画像撮像装置の光軸方向に移動自在な右目用フォーカス・レンズ,
立体撮像装置から,上記顔画像決定装置により決定された顔画像が表す顔までの距離を算出する第2の距離算出装置,ならびに
上記第2の距離算出装置によって算出された距離と上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの位置とにもとづいて,上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの移動方向を決定し,決定した方向に上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズを移動させながら合焦制御する合焦制御装置,
をさらに備えた請求の範囲第1項に記載の立体撮像装置。 - 立体画像を構成する左目用画像を撮像する左目用画像撮像装置,
立体画像を構成する右目用画像を撮像する右目用画像撮像装置,
上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出する顔画像検出装置,
上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出する対象画像検出装置,
立体撮像装置から上記顔画像検出装置によって検出された顔画像が表す顔までの距離を算出する第1の距離算出装置,ならびに
上記対象物画像検出装置によって検出された対象物画像であって,上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の第1の顔画像候補と決定する第1の顔画像候補決定装置,
上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出する距離算出装置,
上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の第2の顔画像候補領域と決定する第2の顔画像候補領域決定装置,ならびに
上記第1の顔画像候補決定装置によって決定された第1の顔画像候補領域と上記第2の顔画像候補領域決定装置によって決定された第2の顔画像候補領域との共通の領域を,上記他の画像の顔画像の領域と決定する顔画像決定装置,
を備えた立体撮像装置。 - 上記左目用画像撮像装置の前方に設けられ,上記左目用画像撮像装置の光軸方向に移動自在な左目用フォーカス・レンズ,
上記右目用画像撮像装置の前方に設けられ,上記右目用画像撮像装置の光軸方向に移動自在な右目用フォーカス・レンズ,
立体撮像装置から,上記顔画像決定装置により決定された顔画像の領域が表す顔までの距離を算出する第2の距離算出装置,ならびに
上記第2の距離算出装置によって算出された距離と上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの位置とにもとづいて,上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの移動方向を決定し,決定した方向に上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズを移動させながら合焦制御する合焦制御装置,
をさらに備えた請求の範囲第3項に記載の立体撮像装置。 - 立体画像を構成する左目用画像および右目用画像のそれぞれにおいて顔画像を検出する顔画像検出装置,
上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出する対象画像検出装置,
上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出する距離算出装置,ならびに
上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の顔画像と決定する顔画像決定装置,
を備えた顔検出装置。 - 上記顔画像決定装置は,
上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致しないことにより上記一の対象物の画像から上記少なくとも2点までの距離の近傍にある対象物画像を上記他の画像の顔画像と決定するものである,
請求の範囲第5項に記載の顔検出装置。 - 立体画像を構成する左目用画像を撮像する左目用画像撮像装置,および
立体画像を構成する右目用画像を撮像する右目用画像撮像装置をさらに備え,
上記顔画像検出装置は,上記左目用画像撮像装置および上記右目用画像撮像装置のそれぞれにおいて撮像された左目用画像および右目用画像のそれぞれにおいて顔画像を検出するものであり,
上記左目用画像撮像装置の前方に設けられ,上記左目用画像撮像装置の光軸方向に移動自在な左目用フォーカス・レンズ,
上記右目用画像撮像装置の前方に設けられ,上記右目用画像撮像装置の光軸方向に移動自在な右目用フォーカス・レンズ,
顔検出装置から,上記顔画像決定装置により決定された顔画像が表す顔までの距離を算出する第2の距離算出装置,ならびに
上記第2の距離算出装置によって算出された距離と上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの位置とにもとづいて,上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズのそれぞれの移動方向を決定し,決定した方向に上記左目用フォーカス・レンズおよび上記右目用フォーカス・レンズを移動させながら合焦制御する合焦制御装置,
をさらに備えた請求の範囲第5項または第6項に記載の顔検出装置。 - 左目用画像撮像装置が,立体画像を構成する左目用画像を撮像し,
右目用画像撮像装置が,立体画像を構成する右目用画像を撮像し,
顔画像検出装置が,上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出し,
対象物画像検出装置が,上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像を検出し,
距離算出装置が,立体撮像装置から上記顔画像検出装置によって検出された顔画像が表す顔までの距離を算出し,
顔画像決定装置が,上記対象物画像検出装置によって検出された対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の顔画像と決定する,
立体撮像装置の動作制御方法。 - 左目用画像撮像装置が,立体画像を構成する左目用画像を撮像し,
右目用画像撮像装置が,立体画像を構成する右目用画像を撮像し,
顔画像検出装置が,上記左目用画像撮像装置において撮像された左目用画像および上記右目用画像撮像装置において撮像された右目用画像のそれぞれにおいて顔画像を検出し,
対象画像検出装置が,上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出し,
第1の距離算出装置が,立体撮像装置から上記顔画像検出装置によって検出された顔画像が表す顔までの距離を算出し,
第1の顔画像候補決定装置が,上記対象物画像検出装置によって検出された対象物画像であって,上記左目用画像および上記右目用画像のうち上記顔画像検出装置によって顔画像が検出されなかった他方の画像に含まれる対象物画像のうち,上記第1の距離算出装置によって算出された距離をもつ対象物を表す対象物画像を上記他方の画像の第1の顔画像候補と決定し,
第2の距離算出装置が,上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出し,
第2の顔画像候補領域決定装置が,上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の第2の顔画像候補領域と決定し,
顔画像決定装置が,上記第1の顔画像候補決定装置によって決定された第1の顔画像候補領域と上記第2の顔画像候補領域決定装置によって決定された第2の顔画像候補領域との共通の領域を,上記他の画像の顔画像の領域と決定する,
立体撮像装置の動作制御方法。 - 顔画像検出装置が,立体画像を構成する左目用画像および右目用画像のそれぞれにおいて顔画像を検出し,
対象画像検出装置が,上記顔画像検出装置において,上記左目用画像および上記右目用画像のうち一方の画像のみから顔画像が検出されたことに応じて上記左目用画像および上記右目用画像のそれぞれにおいて画像に含まれる対象物画像を検出し,
距離算出装置が,上記一方の画像において,上記対象画像検出装置によって検出された対象物画像のうち一の対象物画像から上記顔画像を特定する少なくとも2点までの距離を算出し,
顔画像決定装置が,上記他方の画像において,上記対象画像検出装置によって検出された対象物画像のうち上記一の対象物画像に対応する他の対象物画像から,上記距離算出装置によって算出された少なくとも2点までの距離にある対象物画像によって表される対象物が,上記一の対象物画像から上記少なくとも2点までの距離にある対象物画像によって表される対象物に一致したことにより上記他の画像の顔画像と決定する,
顔検出装置の動作制御方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012517201A JPWO2011148746A1 (ja) | 2010-05-24 | 2011-04-15 | 立体撮像装置および顔検出装置ならびにそれらの動作制御方法 |
CN201180025678XA CN102907081A (zh) | 2010-05-24 | 2011-04-15 | 立体成像设备、面部检测设备和控制其操作的方法 |
US13/683,832 US20130076868A1 (en) | 2010-05-24 | 2012-11-21 | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-117890 | 2010-05-24 | ||
JP2010117890 | 2010-05-24 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US13/683,832 Continuation US20130076868A1 (en) | 2010-05-24 | 2012-11-21 | Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011148746A1 true WO2011148746A1 (ja) | 2011-12-01 |
Family
ID=45003738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2011/059889 WO2011148746A1 (ja) | 2010-05-24 | 2011-04-15 | 立体撮像装置および顔検出装置ならびにそれらの動作制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130076868A1 (ja) |
JP (1) | JPWO2011148746A1 (ja) |
CN (1) | CN102907081A (ja) |
WO (1) | WO2011148746A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10027883B1 (en) | 2014-06-18 | 2018-07-17 | Amazon Technologies, Inc. | Primary user selection for head tracking |
US9298974B1 (en) * | 2014-06-18 | 2016-03-29 | Amazon Technologies, Inc. | Object identification through stereo association |
US9729865B1 (en) | 2014-06-18 | 2017-08-08 | Amazon Technologies, Inc. | Object detection and tracking |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001069402A (ja) * | 1999-08-30 | 2001-03-16 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JP2008042227A (ja) * | 2006-08-01 | 2008-02-21 | Hitachi Ltd | 撮像装置 |
JP2010068182A (ja) * | 2008-09-10 | 2010-03-25 | Fujifilm Corp | 3次元撮影装置および方法並びにプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757422B1 (en) * | 1998-11-12 | 2004-06-29 | Canon Kabushiki Kaisha | Viewpoint position detection apparatus and method, and stereoscopic image display system |
JP3704706B2 (ja) * | 2002-03-13 | 2005-10-12 | オムロン株式会社 | 三次元監視装置 |
US20040037450A1 (en) * | 2002-08-22 | 2004-02-26 | Bradski Gary R. | Method, apparatus and system for using computer vision to identify facial characteristics |
US7280678B2 (en) * | 2003-02-28 | 2007-10-09 | Avago Technologies General Ip Pte Ltd | Apparatus and method for detecting pupils |
FR2895897B1 (fr) * | 2006-01-12 | 2008-10-17 | Commissariat Energie Atomique | Procede et dispositif de reconstruction d'image de tomographie optique de fluorescence par double mesure |
JP5409189B2 (ja) * | 2008-08-29 | 2014-02-05 | キヤノン株式会社 | 撮像装置及びその制御方法 |
JP5423222B2 (ja) * | 2009-08-07 | 2014-02-19 | ソニー株式会社 | 位置検出装置および位置検出方法 |
-
2011
- 2011-04-15 WO PCT/JP2011/059889 patent/WO2011148746A1/ja active Application Filing
- 2011-04-15 CN CN201180025678XA patent/CN102907081A/zh active Pending
- 2011-04-15 JP JP2012517201A patent/JPWO2011148746A1/ja not_active Withdrawn
-
2012
- 2012-11-21 US US13/683,832 patent/US20130076868A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001069402A (ja) * | 1999-08-30 | 2001-03-16 | Fuji Heavy Ind Ltd | ステレオカメラの調整装置 |
JP2008042227A (ja) * | 2006-08-01 | 2008-02-21 | Hitachi Ltd | 撮像装置 |
JP2010068182A (ja) * | 2008-09-10 | 2010-03-25 | Fujifilm Corp | 3次元撮影装置および方法並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN102907081A (zh) | 2013-01-30 |
US20130076868A1 (en) | 2013-03-28 |
JPWO2011148746A1 (ja) | 2013-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5178553B2 (ja) | 撮像装置 | |
KR102032882B1 (ko) | 자동 포커싱 방법, 장치 및 전자 장치 | |
US8654195B2 (en) | Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus | |
JP5750551B2 (ja) | 複数被写体の距離計測装置及び方法 | |
JPWO2012108099A1 (ja) | 撮像装置および撮像方法 | |
JP5530322B2 (ja) | 表示装置および表示方法 | |
JP2011087128A (ja) | 複眼カメラ及び被写体判別方法 | |
JPWO2012002157A1 (ja) | 立体視用画像撮影装置およびその制御方法 | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
JP3988574B2 (ja) | 画像処理装置 | |
WO2011148746A1 (ja) | 立体撮像装置および顔検出装置ならびにそれらの動作制御方法 | |
JP5546690B2 (ja) | 画像処理装置、画像処理方法、プログラム、記録媒体及び撮像装置 | |
JP2007166442A (ja) | 撮像装置 | |
WO2011152168A1 (ja) | 立体撮像ディジタル・カメラおよびその動作制御方法 | |
KR101599434B1 (ko) | 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법 | |
JP2011091463A (ja) | 3d撮像装置およびその動作制御方法 | |
JP2016036081A (ja) | 画像処理装置、方法及びプログラム並びに記録媒体 | |
JP2016099322A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6292785B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2014155126A (ja) | 表示装置、表示方法およびプログラム | |
JP2011239006A (ja) | 複眼撮像ディジタル・カメラおよびその動作制御方法 | |
JP2014134723A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20130064955A (ko) | 가변 포커스 촬상 기법을 이용한 입체 영상용 카메라 및 그 촬상 방법 | |
JP2011243025A (ja) | 対象画像の追尾装置およびその動作制御方法 | |
JP2010010732A (ja) | 撮像装置、及びフォーカス位置表示方法、フォーカス位置表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201180025678.X Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11786446 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2012517201 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11786446 Country of ref document: EP Kind code of ref document: A1 |