WO2020012756A1 - ステレオ撮像装置 - Google Patents
ステレオ撮像装置 Download PDFInfo
- Publication number
- WO2020012756A1 WO2020012756A1 PCT/JP2019/017298 JP2019017298W WO2020012756A1 WO 2020012756 A1 WO2020012756 A1 WO 2020012756A1 JP 2019017298 W JP2019017298 W JP 2019017298W WO 2020012756 A1 WO2020012756 A1 WO 2020012756A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- detection
- image
- distortion
- cutout
- unit
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 81
- 238000001514 detection method Methods 0.000 claims abstract description 330
- 238000000034 method Methods 0.000 claims description 31
- 230000009467 reduction Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 25
- 238000000605 extraction Methods 0.000 description 9
- 238000011946 reduction process Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Definitions
- the present invention relates to a stereo imaging device.
- a stereo camera having a pair of cameras as a vehicle-mounted camera or a surveillance camera, for example, based on a difference in position (parallax) between corresponding points on each image corresponding to the same target point on a subject
- the image recognition is performed by detecting the distance from a point to a point on a subject corresponding to each point on the image (for example, Patent Document 1).
- image recognition using a stereo camera since image recognition can be performed using distance information, it is possible to easily and accurately identify a target object (for example, a person, an animal, a vehicle, or the like).
- the number of pixels becomes very large particularly when a wide range is to be photographed.
- the amount of calculation becomes enormous, and when processing a moving image such as an image of a vehicle-mounted camera or a surveillance camera, it takes a long time to process one frame. It will take. Therefore, depending on the operation speed of the integrated circuit that performs the operation processing, there is a problem that the operation processing time of one frame becomes too long, and the processing cannot be performed in time when a real-time response is required.
- the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a stereo imaging device capable of detecting a detection target with high accuracy while photographing a wide area.
- a stereo imaging device includes a lens having a low distortion region in which distortion is smaller than a predetermined amount and a high distortion region in which distortion is larger than the low distortion region; Imaging means including an imaging sensor; In the image captured by the pair of the imaging units, when the detection target is located in the region captured through the low distortion region, the detection target is included in the region captured through the low distortion region of the image.
- Clipping means for outputting a clipped image obtained by clipping a range to be clipped
- Detecting means for detecting a detection target based on the cut-out image.
- the detection unit is configured to output an image obtained by cutting out a range that includes a detection target in an area captured through a low distortion area having a small distortion in an image captured by the imaging unit.
- the detection of the detection target is performed based on the detection. That is, the detection unit detects the detection target based on the image with small distortion. Therefore, detection of the detection target can be performed with high accuracy.
- the image used by the detection means for detection is an image cut out by the cutout means
- the display range is narrower than that of the image shot by the imaging means. Therefore, the data amount of the image can be reduced without lowering the resolution more than necessary.
- the image is compressed by thinning out the pixels (by performing decimation) and increasing the resolution of the image.
- the amount of image data can be reduced without lowering the resolution by the cutout.
- the cutout reduces the image data amount without unnecessarily lowering the resolution, so that high-precision detection can be performed while maintaining the processing speed of the detection unit at high speed.
- the resolution of the cut-out image may be reduced by thinning out the pixels before the detection by the detection unit. Also in this case, the number of pixels to be thinned out can be reduced as compared with the case where the pixels are thinned out for the image before clipping, so that a decrease in resolution can be suppressed.
- high-precision detection can be performed by performing detection using a low-distortion region while enabling imaging of a wide range through a high-distortion region.
- the amount of distortion in the low distortion region is 5% or less.
- detection by the detection means can be performed with particularly high accuracy.
- the image processing apparatus further includes a distortion correction unit configured to remove image distortion based on the lens distortion, It is preferable that the distortion correction unit removes distortion before the detection unit performs detection based on the image clipped by the clipping unit.
- the cutout unit may not cut out an image including the detection target with respect to a detection target in an area photographed through the high distortion area.
- the extraction of the image including the detection target and the detection of the detection target based on the extracted image are not performed. Therefore, it is possible to reduce the processing in the detecting means and reduce the load on the detecting means. In addition, since unnecessary detection can be omitted, the number of times of detection of the detection target in the low distortion region can be increased, and the detection accuracy can be improved.
- a reduction unit configured to reduce a data amount of an image captured by the pair of imaging units
- the detection unit is, after performing a first detection of detecting a detection target based on the reduced image reduced by the reduction unit, is cut out by the cutout unit so that a display range is narrower than the reduced image.
- the second detection for detecting the detection target may be performed based on the second cutout image, and the result of the first detection may be corrected with the result of the second detection.
- the image cut out by the cut-out means has a narrower display range than the reduced image, so that an image having the same data amount as the reduced image and a higher resolution can be obtained. Therefore, for example, after performing rough detection based on a reduced image having a relatively low resolution but a wide display range, it is necessary to perform high-precision detection with a high-resolution image on a part of the range where the coarse detection is performed. Can be. Therefore, for example, it is possible to perform a high-precision detection by cutting out a detection target in a low-distortion region after performing a rough but wide detection on the entire range captured by the imaging unit.
- the correction of the detection result includes not only correcting the detection result but also adding new information obtained by the second detection to the first detection result.
- the detection unit is cut out by the cutout unit so that a display range is at least partially different from a display range of the second cutout image.
- the third detection for detecting the detection target may be performed based on the third cutout image, and the result of the previous detection may be corrected with the result of the third detection.
- the display range of the second cutout image and the display range of the third cutout image are at least partially different, so that the detection range in the second detection and the detection range in the third detection are at least partially different.
- the range is divided into a second cutout image and a third cutout image, and detection is performed for each of them, thereby performing high-precision detection for the range. be able to.
- the result of the first detection or the result of the second detection is corrected based on the result of the third detection, a more accurate or precise detection result can be obtained.
- the display range is smaller than the display range of the second cutout image and the second cutout image.
- the fourth detection for detecting the detection target may be performed based on the fourth clipped image clipped by the clipping unit, and the result of the previous detection may be corrected with the result of the fourth detection. .
- the fourth clipped image has a display range within the display range of the second clipped image and smaller than the display range of the second clipped image. That is, the display range is gradually reduced from the reduced image to the second cutout image and the fourth cutout image. Therefore, it is possible to gradually increase the detection accuracy in a necessary range while gradually narrowing the detection range. Therefore, it is possible to detect the feature point in more detail after first coarsely recognizing the entire detection target.
- the stereoscopic imaging device of the present invention it is possible to detect a detection target with high accuracy while photographing a wide area.
- FIG. 1 is a block diagram illustrating a stereo imaging device according to an embodiment of the present invention.
- FIG. 3 is a diagram illustrating distortion characteristics of a lens of the stereo imaging device. 3 is a flowchart showing processing of the stereo imaging device. It is a figure which shows the example of the installation location of a stereo camera similarly.
- FIG. 3 is a diagram for explaining an example of a detection sequence in the stereo imaging device.
- FIG. 3 is a diagram for explaining a detection frame rate in the stereo imaging device.
- the stereo imaging device uses a stereo camera as a camera mainly for monitoring, such as a monitoring camera or a vehicle-mounted camera, and detects an object and a distance to the object.
- a stereo imaging device 1 includes a pair of imaging units 5 each having a lens 3 and an imaging unit 4, and a pair of imaging units 4.
- a pair of distortion correction means 6 for correcting distortion based on the lens 3
- a pair of image size conversion means 7 for converting the size of an image output from each of the pair of distortion correction means 6, and a pair of image size conversion means 7
- a detection unit 8 that measures the distance of an object included in the image and recognizes the object from the output image
- a control unit 9 that controls the imaging unit 5 and the image size conversion unit 7 are provided.
- various means include, for example, various electronic circuits (processors (CPU, DSP, etc.), ICs, or information storage media such as ROM, RAM, etc.) and predetermined programs stored in ROM, etc. It is realized by software or the like. Further, only one distortion correction unit 6 and one image size conversion unit 7 may be provided, and a pair of images output from the pair of imaging units 5 are processed by one circuit. Is also good.
- processors CPU, DSP, etc.
- ICs integrated circuits
- information storage media such as ROM, RAM, etc.
- predetermined programs stored in ROM etc. It is realized by software or the like.
- only one distortion correction unit 6 and one image size conversion unit 7 may be provided, and a pair of images output from the pair of imaging units 5 are processed by one circuit. Is also good.
- the pair of imaging means 5 constitute the stereo camera 10. Further, the imaging unit 5 outputs an image formed by the lens 3 on the imaging sensor of the imaging unit 4 as an image (moving image data). Further, the pair of imaging means 5 outputs a synchronized pair of images. Note that the other units shown in FIG. 1 may be included in the stereo camera 10, and some or all of the units are realized by one or more other devices connected via various wirings or networks. May be used.
- the lens 3 is a wide-angle lens for both perspective use and has a so-called barrel-shaped distortion characteristic.
- FIG. 2 shows the distortion characteristics of the lens 3. As shown in FIG. 2, an image is compressed in the peripheral portion of the lens 3. Specifically, the distortion is almost 0 inside the circle A indicated by the two-dot chain line, and the distortion is large outside the circle A.
- an area where the distortion is almost 0 inside the circle A is referred to as a distortion zero area (low distortion area), and an area outside the circle A is referred to as an angle-of-view securing area (high distortion area).
- the outer periphery of the angle-of-view securing area is a portion indicated by a square B.
- a portion photographed through the inside of the circle A is also called a distortion zero area, and a portion photographed through the outside of the circle A (high distortion region) is also referred to. It is referred to as a view angle securing area.
- the amount of distortion (optical distortion) in the distortion zero area is 5% or less. Further, the amount of the strain is more preferably 3% or less, and further preferably 1% or less.
- the amount of distortion in the angle-of-view securing area is larger than the amount of distortion in the distortion-free area. That is, the distortion-free area is a portion where distortion is reduced in order to perform distance detection and object detection with high accuracy, and the angle-of-view securing area is a portion where the angle of view (imaging range) is widened (the detection range is increased). Part to make it wider).
- the imaging unit 5 Since the image is taken by the imaging unit 5 using the lens 3 having such characteristics, the imaging unit 5 outputs an image that is distorted in a state in which the peripheral edge is contracted in accordance with the distortion characteristic of the lens 3. More specifically, the imaging unit 5 outputs an image in which the distortion at the center portion taken through the distortion zero area of the lens 3 is small and the peripheral portion taken through the area for securing the angle of view has large distortion.
- the output image from the imaging unit 5 is input to the distortion correction unit 6.
- the distortion correction unit 6 performs a process of removing distortion due to the lens 3 of the output image from the imaging unit 5.
- the distortion can be removed by a known method, for example, by using a known electronic circuit for image conversion for distortion removal. Further, the removal of the distortion may be performed at another position. For example, it may be performed after the image size is converted by the image size conversion means 7. Further, for example, when the imaging unit 5 performs a clipping process described later, distortion may be removed from the clipped image. The removal of the distortion does not need to completely eliminate the distortion, as long as the distortion is reduced as compared to the original image.
- the image size conversion unit 7 performs a process of converting the size of the image into a size that can be processed by the detection unit 8.
- the maximum image size that can be processed by the detection means 8 is VGA (640 pixels ⁇ 480 pixels.
- pixels are omitted and described as 640 ⁇ 480 or the like. .
- the image size conversion means 7 performs a process of reducing the size of the image so that the image size becomes VGA or less.
- the image size conversion means 7 performs processing for reducing the data amount of the image.
- the image size conversion means 7 performs an image reduction process and an extraction process.
- the number of pixels is reduced to reduce the image area.
- the number of pixels of the image sensor is 3200 ⁇ 2400
- the size in the horizontal direction and the size in the vertical direction are decimated (decimated) to 1 / to obtain 640 ⁇ 480.
- the image is reduced without changing the display range of the image. That is, the reduction process is a process of reducing the image size without changing the display range of the image (with the range surrounded by the square B shown in FIGS. 2 and 5).
- An image reduced by the reduction process while maintaining the display range of the image is referred to as a reduced image.
- the image size is reduced by cutting the image into small pieces instead of reducing it.
- a partial range of the image of the entire screen captured by the imaging unit 5 for example, a range surrounded by squares C and D shown in FIG. 2 or a range surrounded by squares E and F shown in FIG. 5 Cut out).
- a 1200 ⁇ 1200 range at the center included in the distortion zero area is cut out.
- the cut-out image of 1200 ⁇ 1200 is subjected to a reduction process to obtain a 640 ⁇ 480 image.
- the image cut out by the cut-out processing is 640 ⁇ 480 or less
- the image may be outputted to the subsequent stage (detection means 8) without performing the reduction processing.
- the cutout process is a process of cutting out a part of the display range of the original image to reduce the image size.
- the display range of the image is reduced and the analysis range is reduced, but the resolution is as high as that before clipping, and the detection accuracy of the detection means 8 can be increased.
- the image clipped by the clipping process is called a clipped image.
- the position where the image is cut out is arbitrary. For example, it is possible to cut out a characteristic portion of the image that has been image-recognized one or several frames before, for example, a range including a detection target such as a person.
- the image size conversion means 7 has a function as a reduction means for performing image reduction processing and a function as a cutout means for performing image cutout processing.
- the image reduction process and the cutout process may be performed by the imaging unit 5, for example. That is, for example, an image sensor that can perform image decimation is known as an image sensor, but image reduction processing may be performed using such an image sensor.
- the imaging unit 5 may output a cut-out image of a part to be detected as the cut-out unit.
- the detection unit 8 performs a parallax detection process of obtaining parallax between two images captured by each of the pair of imaging units 5 and input through the distortion correction unit 6 and the image size conversion unit 7.
- the detecting unit 8 performs a distance detection process of detecting (measuring) the distance to an object (subject) using the parallax obtained by the parallax detection process.
- the detecting unit 8 performs an object detection process (object recognition process) for detecting (recognizing) an object based on the distance information measured by the distance detection process.
- the process of obtaining parallax from a plurality of images, the process of measuring a distance using the parallax, and the process of recognizing an object can be performed by a known method and a known circuit.
- the object detection process may be, for example, a process of recognizing and detecting a person when a specific object such as a person appears in an image (stereo camera 10).
- control unit 9 controls image capturing by the image capturing unit 5, image reduction processing or cutout processing by the image size conversion unit 7, and the like. Specifically, when the detection is performed by the detection unit 8, the detection result is sent to the control unit 9. Then, the control unit 9 determines a process to be performed as a reduction process or a cutout process based on the detection result. For example, when a person is detected by the detection unit 8, the control unit 9 determines to cut out a range including the person. Then, the image size conversion unit 7 cuts out the range including the person based on the determination, reduces the cut-out image as necessary, and outputs the image to the detection unit 8. Then, the detection means 8 performs detection based on the output image.
- control unit 9 may control the distortion correction unit 6. Then, the method of removing distortion may be changed based on the detection result of the detection means 8. For example, in a configuration in which the distortion correction unit 6 removes distortion after the image extraction processing, the calculation method regarding distortion removal may be changed according to the image to be extracted.
- FIG. 1 is merely an example, and the arrangement and configuration of each component may be different.
- the stereo imaging device 1 determines whether to perform detection of a detection target (step S1). Specifically, the control unit 9 checks whether or not the detection flag stored in the storage unit (not shown) is in the ON state. If the detection flag is in the ON state, the control unit 9 detects the detection target. Various controls are performed.
- the stereo imaging device 1 first performs detection at the maximum angle of view. That is, first, it is detected whether or not the detection target is included in the image of the entire area captured by the pair of imaging units 5.
- the detection of the detection target at the maximum angle of view is referred to as full screen detection. For example, if the number of pixels of the imaging sensor is 3200 ⁇ 2400, the imaging unit 5 outputs a 3200 ⁇ 2400 image. Next, the distortion of the image output from the imaging unit 5 is removed by the distortion correction unit 6.
- the image from which the distortion has been removed is reduced by the image size conversion means 7 to an image of 640 ⁇ 480 while maintaining the display range of the image by reduction processing.
- the detecting unit 8 determines whether or not the detection target is included in the reduced image. More specifically, it is determined whether or not there is a detection target in the distortion zero area of the reduced image. In the stereo imaging device 1 according to the present embodiment, the detection unit 8 determines whether or not there is a detection target outside the distortion zero area (in the view angle securing area). May not be detected.
- the detection unit 8 determines whether the detection target is included in the first cutout area (the area of “cutout 1”). A determination is made (steps S4 to S6).
- the cutout areas are areas cut out by the cutout processing, and are set according to a predetermined rule.
- the cutout area includes at least a part of the distortion zero area at least in a part thereof. Note that the cutout region may not include any portion outside the distortion area.
- each cutout area may be set so as to be within a previous cutout area and to have a narrower range than the previous cutout area (that is, as the cutout area gradually narrows). May be set so that at least a part does not overlap with the previous cutout area.
- each of the cutout areas “cutout 1” to “cutout N” may always have a fixed cutout position and size, and the cutout position and size based on the result of full screen detection or the result of detection of the previous cutout area. May change.
- it is preferable that at least one of the cutout areas “cutout 1” to “cutout N” includes at least a part of the detection target detected in step S3.
- step S6 it is determined whether or not there is a detection target in the area of “cutout i” (1 ⁇ i ⁇ N) (step S6).
- a cutout area may be set as needed so as to include the range in which the detection target is detected, and the next detection may be performed by cutting out the cutout area.
- the image size conversion unit 7 creates an image obtained by cutting out the “cutout 1” area by the cutout processing. Then, the detecting means 8 detects a detection target based on the cut-out image (Step S7). Note that detection of a detection target based on the extracted image is referred to as extraction detection.
- the detection unit 8 determines whether or not the detection target is included in each of the cutout regions (step S1). S6) If the detection target is present in the area of “cut out i” (YES in step S6), the image size conversion unit 7 creates an image in which the area of “cut out i” is cut out by the cut out processing, and performs detection. The means 8 detects a detection target based on the extracted image (step S7).
- the detection unit 8 corrects the detection result by reflecting the result of the cutout detection on the result of the full screen detection, and outputs the reflection result as a final detection result (step S9). For example, when a person is detected in the full screen detection and the height of the person is detected to be 170 cm, but in the cutout detection, the detected person is detected to be 172 cm, the detection unit 8 determines the final It outputs that a person with a height of 172 cm has been detected as an important detection result.
- the result of the cutout detection may be reflected, for example, every time the detection of each cutout area is performed.
- targets to be detected in full-screen detection and cutout detection may be the same or different.
- full screen detection it is detected whether or not a person is imaged, and in cutout detection, a part of the person (for example, face, limbs, etc.) or an attribute of the person (for example, sex, age, body shape, criminal Or the like) may be detected.
- an object for example, a knife, a handgun, a bag, a mobile phone, etc.
- the detection target of cutout detection may be changed according to the result of full screen detection. Therefore, for example, in the above-described correction of the detection result, in the full-screen detection, only the presence or absence of a person may be detected, and the height may be detected by the cutout detection and added to the result of the full-screen detection.
- the stereo camera 10 is installed at the entrance of a building as shown in FIG.
- the detection target of the stereo imaging device 1 is a person.
- the image captured by the stereo camera 10 is in the state shown in FIG. 5 will be described.
- the image shown in FIG. 5 is an image output from one of the pair of imaging units 5, but a similar image is also output from the other imaging unit 5.
- full-screen detection is performed using an image having a maximum angle of view (an image having 3200 ⁇ 2400 pixels) that can be captured by the pair of imaging units 5.
- the detecting means 8 detects a person who is in the distortion zero area (inside the circle A). In FIG. 5, persons 30a to 30d are detected.
- the image size conversion means 7 cuts out a range within the zero distortion area and including the detected person in the image captured by the stereo camera 10, The clipping detection is performed using the clipped image. That is, by extracting a part of the image, the detection target is detected using an image having a higher pixel density.
- a range including the people 30a and 30b who are close is cut out as the “cutout 1” region to perform detection, and then a range including the people 30c and 30d that are farther away is included.
- a range surrounded by a square F is cut out as a “cutout 2” area and detection is performed.
- the area of “cutout 2” including the distant people 30c and 30d has a smaller range and a higher pixel density than the area of “cutout 1” including the near people 30a and 30b.
- the region of “cutout 1” has 1200 ⁇ 1200 pixels
- the region of “cutout 2” has 640 ⁇ 480 pixels.
- the area of “cutout 1” includes the area of “cutout 2”, and the area of “cutout 1” also includes the persons 30c and 30d.
- the size of the “cutout 2” area in the horizontal and vertical directions is 1 / of the entire screen.
- the maximum cropping magnification in the horizontal direction (the magnification of the smallest cropped image in the cropping process for the entire screen) is 1 / P
- the maximum cropping magnification in the vertical direction is 1 / Q
- the maximum number of pixels that can be processed by the detection means 8 Is W ⁇ H
- the number of pixels of the image sensor is preferably (W ⁇ P) in the horizontal direction and (H ⁇ Q) or more in the vertical direction. According to such a configuration, detection can be performed without performing pixel interpolation processing.
- the stereo camera 10 When the stereo camera 10 according to the present embodiment is used as a surveillance camera in this way, for example, as shown in FIG. 5, a person or object that enters a site to be monitored, such as a gate or a door, is used. It is desirable to install the stereo camera 10 so that the location where the camera basically passes is included in the distortion zero area. According to such a configuration, when an intruder enters the premises, it is possible to perform a detailed analysis in advance by full-screen detection and cutout detection. Then, since it is only necessary to track the intruder, the detection accuracy may be low to some extent, and sufficient detection can be performed for the intruder who has moved to the angle-of-view securing area. Further, in some cases, the intruder who has moved to the angle-of-view securing area may not be detected by the detection unit 8 but may only capture a video.
- the detection frame rate will be described with reference to FIG. If one full screen detection and N cutout detections are combined to form a set of detections and one detection result is obtained, the set of detections is formed from 1 + N frames. . There is no restriction on the number of cutout detections. However, detection of a running person usually requires detection at a frame rate of 10 fps or more. Therefore, when the result of one full screen detection is corrected by the result of N cutout detections and the final detection result is output as in the above-described flow, this set of detections is performed at a frame rate of 10 fps or more. Need to do at a rate.
- the cutout detection is performed with respect to one full screen detection. Can be performed twice. If the frame rate of the operation of the image sensor and the detection circuit is 60 fps, five cutout detections can be performed for one full screen detection.
- the frame rate of the image sensor and the frame rate of the detection circuit are the same here, for example, the frame rate of the detection circuit is set to (M + 1) times the frame rate of the image sensor, and 1 For one image, one full screen detection and M cutout detections may be performed.
- the number of cutout detections performed for one full screen detection need not always be constant. For example, it may change according to the number of detection targets included in the distortion zero area. Further, for example, when the number of detection targets included in the distortion zero area is S, cutout detection is performed once (or an integral multiple of S) for each of the S detection targets. Is also good.
- the detection performed by the detection means 8 may be performed up to the detection of the distance, and may not be performed until the recognition of the object. That is, in the above-described example, the detecting means 8 is for detecting a person. However, a distance from a predetermined point to an object such as an object to be detected in an image is calculated. May be output as the detection result in the above.
- the predetermined point is a point serving as a reference in detecting a distance, which is basically the position of the stereo camera 10, but a reference is set at another position, and a subject (each representing the subject) is set from this reference point. (Pixel).
- the result of the distance detection is output as a distance image.
- each point on the image (for example, each pixel region composed of one or more pixels) is represented by a distance from the predetermined point, and for example, a color corresponding to the distance value
- the distance image is represented by the change in the shading of.
- the color change may be, for example, a black and white gradation or a gradation of another color.
- each point on the image is represented by a numerical value indicating a distance from the predetermined point. May be used as a distance image.
- the image size conversion unit 7 determines whether an image to be detected exists in an area captured through the distortion zero area of the lens 3 in the image captured by the imaging unit 5. And outputs a cut-out image obtained by cutting out a range including the detection target within an area photographed through the distortion zero area. Then, the detection unit 8 detects a detection target based on the cut-out image. That is, the detection unit 8 detects a detection target based on an image with small distortion. Therefore, detection of the detection target can be performed with high accuracy. Further, since the image used for detection by the detection means 8 is an image cut out by the image size conversion means 7, the display range is narrower than that of the image taken by the imaging means 5.
- high-precision detection can be performed while maintaining the processing speed in the detection unit 8 at high speed.
- high-precision detection can be performed by performing detection using the distortion zero area while enabling shooting of a wide range through the angle-of-view securing area.
- the image size conversion means 7 may not cut out an image including the detection target with respect to the detection target within an area photographed through the angle-of-view securing area. According to such a configuration, for the detection target in the angle-of-view securing area, the extraction of the image including the detection target and the detection of the detection target based on the extracted image are not performed. Therefore, the processing in the detecting means 8 can be reduced, and the load on the detecting means 8 can be reduced. Further, by not performing cutout detection on the detection target in the view angle securing area, the number of cutout detections on the detection target in the distortion zero area can be increased, and the detection accuracy can be improved.
- the detection target is present over the distortion-free area and the angle-of-view securing area, the detection target is present in the distortion-free area or the field-of-view securing area according to a predetermined rule. What is necessary is just to judge. For example, if the area is slightly applied to one area, it may be determined that the area exists in the one area. In addition, when the detection target is included in one area or more than a predetermined area, it may be determined that the detection target exists in the one area.
- the detecting means 8 sets the image so that the display range becomes narrower than the reduced image. It is possible to perform cutout detection based on the cutout image cut out by the size conversion means 7 and correct the detection result based on the reduced image with the cutout detection result. Therefore, for example, it is possible to perform a high-precision detection of a detection target in a distortion zero area by a cutout detection after performing a coarse but wide detection by the full screen detection. In addition, since the result of full screen detection can be corrected with the result of clipping detection, more accurate or precise detection results can be obtained. That is, it is possible to achieve both wide-range detection and high-precision detection in this way.
- the image size conversion unit 7 at least partially differs in the display range from the region of “Cutout1”.
- the region of “Cutout 2” may be cut out, and the detection unit 8 may detect the region of “Cutout 2”.
- the detection ranges in both detections are partially different. Therefore, highly accurate detection can be performed over a wide range in the distortion zero area.
- the result of the detection of the “Cutout 2” area can correct the result of the detection of the “Cutout 1” area or the result of the full-screen detection, so that a more accurate or precise detection result can be obtained. .
- the image size conversion unit 7 sets the “cutout 1” area within the display range of the “cutout 1”.
- the region of “Cutout 2” may be cut out so that the display range becomes narrower than the region of “1”, and the detection unit 8 may detect the region of “Cutout 2”.
- the area of “cutout 2” has a smaller display range than the area of “cutout 1” within the display range of the area of “cutout 1”.
- the detection range is gradually narrowed, such as full-screen detection, extraction detection for the “extraction 1” area, and extraction detection for the “extraction 2” area, and the detection accuracy is increased for the necessary range. Can be gradually increased. Therefore, it is possible to detect the feature point in more detail after first coarsely recognizing the entire detection target.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Cameras In General (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Geometry (AREA)
Abstract
広範囲を撮影しつつ、検知対象の検知を高精度で行うことができるステレオ撮像装置を提供する ステレオ撮像装置1は、歪が所定量よりも小さい部分である低歪領域と歪が低歪領域よりも大きい部分である高歪領域とを有するレンズ3および撮像センサを備える撮像手段5と、一対の撮像手段5で撮影された画像において、低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段7と、切り出し画像に基づいて検知対象の検知を行う検知手段8と、を備える。
Description
本発明は、ステレオ撮像装置に関する。
近年の画像認識技術の向上に伴って、車載カメラの映像の画像認識を利用した自動車運転時の危険回避および自動運転や、監視カメラの映像の画像認識による既知の犯罪者の検出等が可能となっている。また、車載カメラや監視カメラとして一対のカメラを有するステレオカメラを用いて、例えば、被写体上の同じ対象点に対応する各画像上の対応点同士の位置の違い(視差)に基づいて、ステレオカメラから画像上の各点に対応する被写体上の点までの距離を検知して、画像認識を行うことが行なわれている(例えば、特許文献1)。ステレオカメラを用いた画像認識においては、距離情報を用いて画像認識が行なえるため、対象物(例えば、人、動物、車両等)の識別を容易かつ高精度に行うことが可能となる。
ところで、車載カメラや監視カメラにおいては、広範囲を撮影しつつ物体の検知をできるものが求められている。しかし、広範囲の画像を撮影するために広角のレンズを使用すると、画像は周辺部が圧縮されたものとなってしまう。すなわち、広角のレンズを使用した場合、周辺部の歪が大きい画像が得られることとなる。そして、このような歪の大きい画像を用いて検知対象を検知しようとすると、検知精度が低くなってしまうという問題があった。
また、検知精度を考慮した場合には、高解像度のイメージセンサを用いることが好ましいが、特に広範囲を撮影しようとした場合画素数がとても多くなってしまう。そして、画素数が多い画像を用いて検知に関する演算処理を行うと、計算量が膨大な量となり、車載カメラや監視カメラの映像のような動画を処理する場合に1フレームの処理に長い時間がかかってしまう。このため、演算処理を行う集積回路の演算速度によっては、1フレームの演算処理時間が長くなり過ぎて、リアルタイムでの対応が要求される場合に処理が間に合わなくなってしまうという問題があった。
本発明は、前記事情に鑑みてなされたもので、広範囲を撮影しつつ、検知対象の検知を高精度で行うことができるステレオ撮像装置を提供することを目的とする。
前記目的を達成するために、本発明のステレオ撮像装置は、歪が所定量よりも小さい部分である低歪領域と歪が前記低歪領域よりも大きい部分である高歪領域とを有するレンズおよび撮像センサを備える撮像手段と、
一対の前記撮像手段で撮影された画像において、前記低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の前記低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段と、
前記切り出し画像に基づいて検知対象の検知を行う検知手段と、を備えることを特徴とする。
一対の前記撮像手段で撮影された画像において、前記低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の前記低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段と、
前記切り出し画像に基づいて検知対象の検知を行う検知手段と、を備えることを特徴とする。
このような構成によれば、検知手段は、撮像手段により撮影された画像のうち、歪が小さい低歪領域を通して撮影された領域内であって、検知対象が含まれる範囲が切り出された画像に基づいて検知対象の検知を行う。すなわち、検知手段は歪の小さい画像に基づいて検知対象の検知を行う。したがって、検知対象の検知を高精度で行うことができる。
また、検知手段が検知に用いる画像は、切り出し手段により切り出された画像のため、撮像手段により撮影された画像に比べて表示範囲が狭くなる。したがって、解像度を必要以上に低下させることなく、画像のデータ量を低減することができる。すなわち、表示範囲を狭くせずに、画像のデータ量を小さくしようとした場合(画素数を少なくしようとした場合)、画素を間引いて(デシメーションをして)画像を圧縮し、画像の解像度を下げる必要があるが、本発明においては、検知において必要な部分のみを切り出すため、当該切り出しにより解像度を低下させることなく画像のデータ量を小さくすることができる。そして、当該切り出しにより解像度を必要以上に低下させることなく、画像のデータ量が低減されるため、検知手段における処理速度を高速に保ちつつ、高精度の検知を行うことが可能となる。
なお、切り出した画像についても、検知手段による検知を行う前に画素を間引いて画像の解像度を下げることとしてもよい。この場合においても、切り出す前の画像について画素を間引く場合に比べて、間引く画素数を低減することができるので、解像度の低下を抑えることができる。
なお、切り出した画像についても、検知手段による検知を行う前に画素を間引いて画像の解像度を下げることとしてもよい。この場合においても、切り出す前の画像について画素を間引く場合に比べて、間引く画素数を低減することができるので、解像度の低下を抑えることができる。
このように、本発明によれば、高歪領域を通して広い範囲の撮影を可能としつつ、低歪領域を利用した検知を行うことにより、高精度の検知が可能となる。
本発明の前記構成において、前記低歪領域の歪の量が、5%以下であることが好ましい。
このような構成によれば、検知手段における検知を特に高精度で行うことができる。
また、本発明の前記構成において、前記レンズの歪に基づく画像の歪を除去する歪補正手段を備え、
前記歪補正手段は、前記検知手段が前記切り出し手段により切り出された画像に基づく検知を行うよりも前に歪の除去をすることが好ましい。
前記歪補正手段は、前記検知手段が前記切り出し手段により切り出された画像に基づく検知を行うよりも前に歪の除去をすることが好ましい。
このような構成によれば、撮像手段により撮影され、切り出し手段により切り出される前または後の画像について、レンズの歪に基づく画像の歪が除去される。したがって、検知手段における検知精度を向上させることができる。
また、本発明の前記構成において、前記切り出し手段は、前記高歪領域を通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないこととしてもよい。
このような構成によれば、高歪領域にある検知対象に対しては、当該検知対象を含む画像の切り出しおよび切り出した画像に基づく検知対象の検知が行なわれない。したがって、検知手段における処理を減らすことができ、検知手段にかかる負荷を低減させることができる。また、余分な検知を省くことができるので、低歪領域にある検知対象についての検知の回数を増やすことができ、検知精度を向上させることができる。
また、本発明の前記構成において、
前記一対の撮像手段で撮影された画像のデータ量を小さくする縮小手段を備え、
前記検知手段は、前記縮小手段により縮小された縮小画像に基づいて検知対象の検知をする第一の検知を行った後に、前記縮小画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第二の切り出し画像に基づいて検知対象の検知をする第二の検知を行い、前記第一の検知の結果を前記第二の検知の結果で補正することとしてもよい。
前記一対の撮像手段で撮影された画像のデータ量を小さくする縮小手段を備え、
前記検知手段は、前記縮小手段により縮小された縮小画像に基づいて検知対象の検知をする第一の検知を行った後に、前記縮小画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第二の切り出し画像に基づいて検知対象の検知をする第二の検知を行い、前記第一の検知の結果を前記第二の検知の結果で補正することとしてもよい。
このような構成によれば、切り出し手段により切り出される画像は、縮小画像よりも表示範囲が狭いので、縮小画像と同じデータ量で解像度の高い画像とすることができる。よって、例えば、解像度が比較的低いが表示範囲の広い縮小画像に基づいて、粗い検知をした後に、この粗い検知を行った範囲の一部について、解像度の高い画像で高精度な検知を行うことができる。したがって、例えば、撮像手段で撮影された範囲全体について、粗いが広範な検知をした後に、低歪領域にある検知対象について切り出して高精度な検知をしたりすることができる。また、粗い検知の結果が高精度な検知の結果で補正されるので、より正確あるいは精密な検知結果を得ることができる。すなわち、このように広範な検知と高精度な検知とを両立させることができる。
なお、ここで検知結果の補正とは、検知の結果を修正することのみならず、第一の検知の結果に、第二の検知により得られた新たな情報を加えること等を含む。
なお、ここで検知結果の補正とは、検知の結果を修正することのみならず、第一の検知の結果に、第二の検知により得られた新たな情報を加えること等を含む。
また、本発明の前記構成において、前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲とは表示範囲が少なくとも一部異なるように前記切り出し手段により切り出された第三の切り出し画像に基づいて検知対象の検知をする第三の検知を行い、前の検知の結果を前記第三の検知の結果で補正することとしてもよい。
このような構成によれば、第二の切り出し画像と第三の切り出し画像との表示範囲が少なくとも一部異なるので、第二の検知における検知範囲と第三の検知における検知範囲が少なくとも一部異なるようになる。すなわち、ある程度広い範囲を高精度に検知したい場合に、当該範囲を第二の切り出し画像と第三の切り出し画像とに分けて、それぞれについて検知を行うことで、当該範囲について高精度の検知を行うことができる。また、第三の検知の結果により、第一の検知の結果あるいは第二の検知の結果等が補正されるので、より正確あるいは精密な検知結果を得ることができる。
また、本発明の前記構成において、前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲内で、かつ前記第二の切り出し画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第四の切り出し画像に基づいて検知対象の検知をする第四の検知を行い、前の検知の結果を前記第四の検知の結果で補正することとしてもよい。
このような構成によれば、第四の切り出し画像は、第二の切り出し画像の表示範囲内で、かつ第二の切り出し画像よりも表示範囲が狭いものとなる。すなわち、縮小画像から、第二の切り出し画像、第四の切り出し画像と、徐々に表示範囲を狭めていくこととなる。よって、検知範囲を徐々に狭めていきつつ、必要な範囲について検知精度を徐々に高めていくことができる。したがって、検知対象についてまず全体を粗く認識したうえで、特徴点についてより詳細に検知していくこと等が可能となる。
本発明のステレオ撮像装置によれば、広範囲を撮影しつつ、検知対象の検知を高精度で行うことができる。
以下、本発明の実施の形態について説明する。
本実施の形態のステレオ撮像装置は、例えば、監視カメラや車載カメラ等の主に監視に係るカメラとしてステレオカメラを用いたものであり、物体の検知および物体との距離の検知を行う。
本実施の形態のステレオ撮像装置は、例えば、監視カメラや車載カメラ等の主に監視に係るカメラとしてステレオカメラを用いたものであり、物体の検知および物体との距離の検知を行う。
本実施の形態のステレオ撮像装置1は、図1に示すように、レンズ3と撮像部4とを有する一対の撮像手段5と、一対の撮像手段5それぞれの撮像部4から出力された画像のレンズ3に基づく歪を補正する一対の歪補正手段6と、一対の歪補正手段6それぞれから出力された画像のサイズを変換する一対の画像サイズ変換手段7と、一対の画像サイズ変換手段7から出力された画像から、当該画像に含まれる物体の距離の測定や物体の認識を行う検知手段8と、撮像手段5および画像サイズ変換手段7を制御する制御手段9と、を備えている。
なお、これらの各種手段は、例えば、各種の電子回路(プロセッサ(CPU、DSP等)、IC、あるいはROMやRAM等の情報記憶媒体等)や、ROM等に記憶されている所定のプログラムからなるソフトウェア等により実現される。また、歪補正手段6や画像サイズ変換手段7は、それぞれ1つしか設けられていなくてもよく、一対の撮像手段5から出力される一対の画像を1つの回路で処理するようになっていてもよい。
なお、これらの各種手段は、例えば、各種の電子回路(プロセッサ(CPU、DSP等)、IC、あるいはROMやRAM等の情報記憶媒体等)や、ROM等に記憶されている所定のプログラムからなるソフトウェア等により実現される。また、歪補正手段6や画像サイズ変換手段7は、それぞれ1つしか設けられていなくてもよく、一対の撮像手段5から出力される一対の画像を1つの回路で処理するようになっていてもよい。
一対の撮像手段5は、ステレオカメラ10を構成するものである。また、撮像手段5は、レンズ3により、撮像部4の有する撮像センサに結ばれた像を画像(動画データ)として出力する。また、一対の撮像手段5は、同期した一対の画像を出力する。なお、図1に示す他の手段もステレオカメラ10に含まれるものとしてもよく、一部またはすべての手段が、各種配線あるいはネットワークを介して接続される1つまたは複数の他の機器により実現されるものであってもよい。
レンズ3は、遠近両用の広角レンズとなっており、いわゆる樽型のディストーション特性を持っている。レンズ3のディストーション特性を、図2に示す。図2に示すように、レンズ3の周辺部においては、像が圧縮されるようになっている。具体的には、二点鎖線で示す円Aの内側においては、歪がほぼ0になっており、円Aの外側においては歪が大きくなっている。以下では、円Aの内側の、歪がほぼ0の領域をディストーションゼロエリア(低歪領域)と呼び、円Aの外側の領域を画角確保エリア(高歪領域)と呼ぶこととする。なお、画角確保エリアの外周は四角Bで示す部分である。また、撮像手段5により撮影された画像について、円Aの内側(低歪領域)を通して撮影された部分についてもディストーションゼロエリアと呼び、円Aの外側(高歪領域)を通して撮影された部分についても画角確保エリアと呼ぶこととする。
ディストーションゼロエリアにおける歪の量(光学ディストーション)は、5%以下となっている。また、当該歪の量は、より好ましくは3%以下、さらに好ましくは1%以下である。また、画角確保エリアにおける歪の量は、ディストーションゼロエリアにおける歪の量よりも大きくなっている。すなわち、ディストーションゼロエリアは、高精度の距離検知および物体検知を行うために歪が小さくされた部分であり、画角確保エリアは、画角(撮影範囲)を広くするための部分(検知範囲を広くするための部分)となっている。
撮像手段5においては、このような特性のレンズ3を用いて画像が撮影されるため、撮像手段5からは、レンズ3のディストーション特性に従って周縁部が縮んだ状態に歪んだ画像が出力される。具体的には、撮像手段5からは、レンズ3のディストーションゼロエリアを通して撮影された中心部の歪が小さく、画角確保エリアを通して撮影された周縁部の歪が大きい画像が出力される。
撮像手段5からの出力画像は、歪補正手段6に入力される。歪補正手段6は、撮像手段5からの出力画像の、レンズ3による歪を除去する処理を行う。なお、歪の除去は、周知の方法で行うことができ、例えば、歪除去の画像変換用の既知の電子回路を用いて行うことができる。また、歪の除去は、他の位置において行ってもよい。例えば、画像サイズ変換手段7により画像サイズが変換された後に行ってもよい。また、例えば、撮像手段5が後述する切り出し処理を行う場合等に、切り出された画像に対して歪の除去を行うこととしてもよい。
なお、歪の除去とは、歪を完全に無くすものでなくてもよく、元の画像よりも歪が低減されていればよい。
なお、歪の除去とは、歪を完全に無くすものでなくてもよく、元の画像よりも歪が低減されていればよい。
次に、歪補正手段6で歪が除去された画像が、画像サイズ変換手段7に入力される。画像サイズ変換手段7は、画像のサイズを検知手段8で処理できるサイズに変換する処理を行う。本実施の形態のステレオ撮像装置1においては、検知手段8で処理できる最大の画像サイズがVGA(640画素×480画素。以下では、「画素」を省略して640×480等のように表記する。)となっており、画像サイズ変換手段7は、画像サイズがVGA以下となるように、画像のサイズを小さくする処理を行う。換言すると、画像サイズ変換手段7は、画像のデータ量を少なくする処理を行う。具体的には、画像サイズ変換手段7は、画像の縮小処理および切り出し処理を行う。
画像の縮小処理においては、画素数を削減して、画像面積を縮小する。具体的には、例えば、撮像センサの画素数が3200×2400の場合、水平方向のサイズと垂直方向のサイズとを1/5にデシメーション(間引き)して、640×480とする。これにより、画像の表示範囲は変わらないまま、画像が縮小される。すなわち、縮小処理は、画像の表示範囲は変えないで(図2や図5に示す四角Bで囲う範囲のままで)画像サイズを小さくする処理である。縮小処理により、画像の表示範囲を保ったまま縮小された画像を縮小画像と呼ぶ。
また、画像の切り出し処理においては、画像を縮小するのではなく、小さく切り出すことにより画像サイズを小さくする。具体的には、撮像手段5において撮影された全画面の画像のうちの一部の範囲(例えば、図2に示す四角C,Dで囲う範囲や、図5に示す四角E,Fで囲う範囲)を切り出す。例えば、3200×2400の画像のうち、ディストーションゼロエリアに含まれる中心部の1200×1200の範囲を切り出す。また、この切り出した1200×1200の画像に対して縮小処理を行い640×480の画像とする。また、切り出し処理により切り出した画像が640×480以下となる場合には、縮小処理を行わずに、後段(検知手段8)に出力するものとしてもよい。このように、切り出し処理は、元の画像の表示範囲の一部を切り出すことにより画像サイズを小さくする処理である。これにより、画像の表示範囲は小さくなり解析範囲が小さくなるが、解像度は切り出し前と同様の高解像度となり、検知手段8における検知の精度を高めることができる。切り出し処理により切り出された画像を切り出し画像と呼ぶ。
なお、切り出す位置は任意であり、例えば、既に画像認識された一つまたは数フレーム前の画像の特徴部分、例えば、人などの検知対象が含まれている範囲を切り出すこととしてもよい。
なお、切り出す位置は任意であり、例えば、既に画像認識された一つまたは数フレーム前の画像の特徴部分、例えば、人などの検知対象が含まれている範囲を切り出すこととしてもよい。
以上のように、画像サイズ変換手段7は、画像の縮小処理を行う縮小手段としての機能と、画像の切り出し処理を行う切り出し手段としての機能とを有する。なお、画像の縮小処理や切り出し処理は、例えば、撮像手段5が行なってもよい。すなわち、例えば、撮像センサとして、画像のデシメーションを行うことができるもの知られているが、このような撮像センサを用いて画像の縮小処理を行うこととしてもよい。また、切り出した画像での検知を行う際に、撮像手段5が切り出し手段として当該検知を行う部分を切り出した画像を出力するものとしてもよい。
次に、画像サイズ変換手段7でサイズが変換された画像が、検知手段8に入力される。検知手段8は、一対の撮像手段5のそれぞれで撮影され、歪補正手段6および画像サイズ変換手段7を介して入力された二つの画像の視差を求める視差検知処理を行う。また、検知手段8は、視差検知処理により求められた視差を用いて、物体(被写体)との距離を検知(測定)する距離検知処理を行う。また、検知手段8は、距離検知処理により測定された距離情報に基づいて、物体を検知(認識)する物体検知処理(物体認識処理)を行う。
ここで、複数の画像から視差を求める処理や、当該視差を用いて距離を測定する処理や、物体を認識する処理については、既知の方法および既知の回路等で行うことができる。また、物体検知処理は、例えば、画像中(ステレオカメラ10)に人などの特定の物体が写っている場合に、人であると認識して検知するものでもよく、この検知した人の顔をステレオ撮像装置1の記憶手段(図示せず)に記憶されている顔と照合して特定の人物であることを検知するものでもよく、車のナンバープレートの番号を認識して照合したりするものであってもよい。すなわち、検知対象はステレオ撮像装置1の適用先に応じて適宜選択すればよく、検知手段8は、設定された検知対象との距離の検知や物体の認識を行う。
ここで、複数の画像から視差を求める処理や、当該視差を用いて距離を測定する処理や、物体を認識する処理については、既知の方法および既知の回路等で行うことができる。また、物体検知処理は、例えば、画像中(ステレオカメラ10)に人などの特定の物体が写っている場合に、人であると認識して検知するものでもよく、この検知した人の顔をステレオ撮像装置1の記憶手段(図示せず)に記憶されている顔と照合して特定の人物であることを検知するものでもよく、車のナンバープレートの番号を認識して照合したりするものであってもよい。すなわち、検知対象はステレオ撮像装置1の適用先に応じて適宜選択すればよく、検知手段8は、設定された検知対象との距離の検知や物体の認識を行う。
また、制御手段9は、撮像手段5による撮像や、画像サイズ変換手段7による画像の縮小処理あるいは切り出し処理等を制御する。具体的には、検知手段8による検知が行なわれると、この検知結果が制御手段9に送られる。そして、制御手段9は、この検知結果に基づいて縮小処理や切り出し処理として行う処理を決定する。例えば、検知手段8により人が検知された場合に、制御手段9は、当該人が含まれる範囲を切り出すことを決定する。そして、画像サイズ変換手段7は、当該決定に基づいて当該人が含まれる範囲を切り出すとともに、必要に応じて切り出した画像を縮小して、検知手段8に出力する。そして、この出力された画像に基づいて、検知手段8が検知を行う。
なお、制御手段9は、歪補正手段6を制御するものであってもよい。そして、検知手段8の検知結果に基づいて歪の除去方法を変更してもよい。例えば、画像の切り出し処理後に歪補正手段6が歪の除去をする構成において、切り出される画像に応じて歪の除去に関する演算方法を変更することとしてもよい。
なお、制御手段9は、歪補正手段6を制御するものであってもよい。そして、検知手段8の検知結果に基づいて歪の除去方法を変更してもよい。例えば、画像の切り出し処理後に歪補正手段6が歪の除去をする構成において、切り出される画像に応じて歪の除去に関する演算方法を変更することとしてもよい。
以上のように、図1に示す構成はあくまで一例であり、各構成要素の配置や構成は異なるものであってもよい。
次に、ステレオ撮像装置1で行う処理について、図3のフローチャートを参照しながら説明する。
まず、ステレオ撮像装置1は、検知対象の検知を行うか否かを判定する(ステップS1)。具体的には、制御手段9は、記憶手段(図示せず)に記憶された検知フラグがON状態か否かを確認し、検知フラグがON状態の場合には、検知対象の検知を行うように各種制御を行う。
まず、ステレオ撮像装置1は、検知対象の検知を行うか否かを判定する(ステップS1)。具体的には、制御手段9は、記憶手段(図示せず)に記憶された検知フラグがON状態か否かを確認し、検知フラグがON状態の場合には、検知対象の検知を行うように各種制御を行う。
検知フラグがON状態であり、検知対象の検知を行う場合(ステップS1でYES)、ステレオ撮像装置1は、まず、最大画角での検知を行う。すなわち、まず、一対の撮像手段5で撮影される領域全体の画像について、検知対象が写っているか否かを検出する。なお、この最大画角での検知対象の検知(撮影領域全体の画像についての検知)を全画面検知と呼ぶこととする。
例えば、撮像センサの画素数が3200×2400であるとすると、撮像手段5は、3200×2400の画像を出力する。次に、撮像手段5から出力されたこの画像の歪を、歪補正手段6が除去する。次に、歪が除去された画像を、画像サイズ変換手段7が縮小処理により、画像の表示範囲は維持したまま640×480の画像に縮小する。そして、この縮小された縮小画像に検知対象が写っているか否かを、検知手段8が判定する。より具体的には、縮小画像のディストーションゼロエリア内に検知対象があるか否かを判定する。なお、本実施の形態のステレオ撮像装置1においては、検知手段8は、ディストーションゼロエリア外(画角確保エリア内)に検知対象があるか否かも判定するが、ディストーションゼロエリア外の検知対象については、検知しないこととしてもよい。
例えば、撮像センサの画素数が3200×2400であるとすると、撮像手段5は、3200×2400の画像を出力する。次に、撮像手段5から出力されたこの画像の歪を、歪補正手段6が除去する。次に、歪が除去された画像を、画像サイズ変換手段7が縮小処理により、画像の表示範囲は維持したまま640×480の画像に縮小する。そして、この縮小された縮小画像に検知対象が写っているか否かを、検知手段8が判定する。より具体的には、縮小画像のディストーションゼロエリア内に検知対象があるか否かを判定する。なお、本実施の形態のステレオ撮像装置1においては、検知手段8は、ディストーションゼロエリア外(画角確保エリア内)に検知対象があるか否かも判定するが、ディストーションゼロエリア外の検知対象については、検知しないこととしてもよい。
次いで、検知手段8は、ディストーションゼロエリア内に検知対象があると判定した場合(ステップS3でYES)、最初の切り出し領域(「切り出し1」の領域)内に検知対象が写っているか否かを判定する(ステップS4~S6)。
ここで、切り出し領域(「切り出し1」~「切り出しN」の各領域)は、切り出し処理により切り出される領域であり、所定の規則に従って設定される。また、切り出し領域は、少なくともその一部にディストーションゼロエリアの少なくとも一部を含む。なお、切り出し領域は、ディストーションエリア外の部分を一切含まないようにしてもよい。各切り出し領域は、例えば、前の切り出し領域内であって、前の切り出し領域よりも狭い範囲となるように設定されるようになってもよく(すなわち、切り出し領域が徐々に狭まっていくようになっていてもよく)、前の切り出し領域とは少なくとも一部が重複しないように設定されるようになっていてもよい。また、「切り出し1」~「切り出しN」の各切り出し領域は、常に切り出す位置および大きさが一定であってもよく、全画面検知の結果や以前の切り出し領域に対する検知の結果によって切り出す位置や大きさが変化するようになっていてもよい。ただし、「切り出し1」~「切り出しN」の各切り出し領域のうち、少なくとも1つは、ステップS3で検出された検出対象の少なくとも一部を含むようになっていることが好ましい。また、このフローにおいては、「切り出しi」(1≦i≦N)の領域に検知対象があるか否かを判定しているが(ステップS6)、全画面検知あるいは以前の切り出し領域に対する検知において検知対象が検知された範囲を含むように切り出し領域を随時設定し、当該切り出し領域を切り出して次の検知を行うようにしてもよい。
ここで、切り出し領域(「切り出し1」~「切り出しN」の各領域)は、切り出し処理により切り出される領域であり、所定の規則に従って設定される。また、切り出し領域は、少なくともその一部にディストーションゼロエリアの少なくとも一部を含む。なお、切り出し領域は、ディストーションエリア外の部分を一切含まないようにしてもよい。各切り出し領域は、例えば、前の切り出し領域内であって、前の切り出し領域よりも狭い範囲となるように設定されるようになってもよく(すなわち、切り出し領域が徐々に狭まっていくようになっていてもよく)、前の切り出し領域とは少なくとも一部が重複しないように設定されるようになっていてもよい。また、「切り出し1」~「切り出しN」の各切り出し領域は、常に切り出す位置および大きさが一定であってもよく、全画面検知の結果や以前の切り出し領域に対する検知の結果によって切り出す位置や大きさが変化するようになっていてもよい。ただし、「切り出し1」~「切り出しN」の各切り出し領域のうち、少なくとも1つは、ステップS3で検出された検出対象の少なくとも一部を含むようになっていることが好ましい。また、このフローにおいては、「切り出しi」(1≦i≦N)の領域に検知対象があるか否かを判定しているが(ステップS6)、全画面検知あるいは以前の切り出し領域に対する検知において検知対象が検知された範囲を含むように切り出し領域を随時設定し、当該切り出し領域を切り出して次の検知を行うようにしてもよい。
「切り出し1」の領域に検知対象が写っている場合(ステップS6でYES)、画像サイズ変換手段7は、切り出し処理により、「切り出し1」の領域を切り出した画像を作成する。そして、検知手段8は、この切り出した画像に基づいて検知対象の検知を行う(ステップS7)。なお、この切り出した画像に基づく検知対象の検知を切り出し検知と呼ぶこととする。
また、「切り出し2」~「切り出しN」までの各領域についても、「切り出し1」の領域と同様に、検知手段8が各切り出し領域内に検知対象が写っているか否かを判定し(ステップS6)、「切り出しi」の領域に検知対象が写っている場合(ステップS6でYES)、画像サイズ変換手段7が、切り出し処理により、「切り出しi」の領域を切り出した画像を作成し、検知手段8が、この切り出した画像に基づいて検知対象の検出を行う(ステップS7)。
切り出し検知が終わると、検知手段8は、切り出し検知の結果を全画面検知の結果に反映させて検知結果を補正し、この反映結果を最終的な検知結果として出力する(ステップS9)。例えば、全画面検知において人を検知するとともに、この人の身長を170cmであると検知したが、切り出し検知において当該検知された人が172cmであると検知された場合、検知手段8は、最終的な検知結果として、身長が172cmの人が検知されたことを出力する。
なお、切り出し検知の結果の反映は、例えば、各切り出し領域についての検知を行う度に行うこととしてもよい。また、全画面検知および各切り出し検知において検知する対象は、同じであってもよく、異なっていてもよい。例えば、全画面検知において、人が写っているか否かを検知し、切り出し検知において当該人の一部(例えば、顔、手足等)あるいは人の属性(例えば、性別、年齢、体形、犯罪者か否か等)を検知する等としてもよい。また、例えば、最初の切り出し検知において、人が写っているか否かを検知し、次の切り出し検知において当該人の持っている物(例えば、刃物や拳銃、かばん、携帯電話等)を検知する等としてもよい。また、全画面検知の結果に応じて切り出し検知の検知対象が変化するようになっていてもよい。したがって、例えば、上述の検知結果の補正において、全画面検知では、人が写っているか否かのみを検知し、切り出し検知で身長を検知して全画面検知の結果に書き加えることとしてもよい。
なお、切り出し検知の結果の反映は、例えば、各切り出し領域についての検知を行う度に行うこととしてもよい。また、全画面検知および各切り出し検知において検知する対象は、同じであってもよく、異なっていてもよい。例えば、全画面検知において、人が写っているか否かを検知し、切り出し検知において当該人の一部(例えば、顔、手足等)あるいは人の属性(例えば、性別、年齢、体形、犯罪者か否か等)を検知する等としてもよい。また、例えば、最初の切り出し検知において、人が写っているか否かを検知し、次の切り出し検知において当該人の持っている物(例えば、刃物や拳銃、かばん、携帯電話等)を検知する等としてもよい。また、全画面検知の結果に応じて切り出し検知の検知対象が変化するようになっていてもよい。したがって、例えば、上述の検知結果の補正において、全画面検知では、人が写っているか否かのみを検知し、切り出し検知で身長を検知して全画面検知の結果に書き加えることとしてもよい。
なお、上述のフローはあくまで一例であり、各処理の順序や構成は異なるものであってもよい。
次に検知シーケンスの一例について、図4、図5を参照しながら説明する。ステレオカメラ10は、図4に示すように、ビルのエントランスに設置するものとする。また、ステレオ撮像装置1の検知対象は、人とする。ここでは、ステレオカメラ10により撮影される画像が図5に示す状態の場合について説明する。なお、図5に示す画像は、一対の撮像手段5のうちの一方から出力される画像であるが、他方の撮像手段5からも同様の画像が出力される。
まず、一対の撮像手段5で撮影できる最大画角の画像(画素数3200×2400の画像)を用いて、全画面検知を行う。そして、検知手段8は、ディストーションゼロエリア内に人が写っている場合に、ディストーションゼロエリア内(円Aの内側)にいる人を検知する。図5においては、人30a~30dが検知される。
次に、ディストーションゼロエリア内の人を検知した場合、画像サイズ変換手段7は、ステレオカメラ10により撮影された画像のうち、ディストーションゼロエリア内でかつ、検知された人が含まれる範囲を切り出し、この切り出された画像を用いて切り出し検知を行う。すなわち、画像の一部を切り出すことで、より画素密度が高い画像を用いて検知対象の検知を行う。この際に、まず近くにいる人30a,30bが含まれる範囲(四角Eで囲う範囲)を「切り出し1」領域として切り出して検出を行い、次いで、より遠方にいる人30c,30dが含まれる範囲(四角Fで囲う範囲)を「切り出し2」領域として切り出して検出を行う。このとき、遠方にいる人30c,30dが含まれる「切り出し2」の領域は、近方にいる人30a,30bが含まれる「切り出し1」の領域よりも範囲を小さくし、画素密度が高くなるようにする。ここでは、「切り出し1」の領域は、画素数1200×1200、「切り出し2」の領域は画素数640×480とする。また、ここでは、「切り出し1」の領域に「切り出し2」の領域が含まれ、「切り出し1」の領域にも人30c,30dが含まれるようになっている。
次に、ディストーションゼロエリア内の人を検知した場合、画像サイズ変換手段7は、ステレオカメラ10により撮影された画像のうち、ディストーションゼロエリア内でかつ、検知された人が含まれる範囲を切り出し、この切り出された画像を用いて切り出し検知を行う。すなわち、画像の一部を切り出すことで、より画素密度が高い画像を用いて検知対象の検知を行う。この際に、まず近くにいる人30a,30bが含まれる範囲(四角Eで囲う範囲)を「切り出し1」領域として切り出して検出を行い、次いで、より遠方にいる人30c,30dが含まれる範囲(四角Fで囲う範囲)を「切り出し2」領域として切り出して検出を行う。このとき、遠方にいる人30c,30dが含まれる「切り出し2」の領域は、近方にいる人30a,30bが含まれる「切り出し1」の領域よりも範囲を小さくし、画素密度が高くなるようにする。ここでは、「切り出し1」の領域は、画素数1200×1200、「切り出し2」の領域は画素数640×480とする。また、ここでは、「切り出し1」の領域に「切り出し2」の領域が含まれ、「切り出し1」の領域にも人30c,30dが含まれるようになっている。
このケースにおいて、「切り出し2」の領域は、水平方向と垂直方向のサイズが全画面の1/5となっている。しかし、撮像センサの画素数が(640×5)×(480×5)=7.68M以上であるため、「切り出し2」の領域については、画素の内挿処理(いわゆるズーム処理)をすることなく検知をすることができる。このため、「切り出し2」の領域についての検知は、全画面検知の5倍の精度で行うことができる。すなわち、水平方向の最大切り出し倍率(切り出し処理において最も小さく切り出される画像の、全画面に対する倍率)を1/P、垂直方向の最大切り出し倍率を1/Qとし、検知手段8で処理できる最大画素数をW×Hとすると、撮像センサの画素数は、水平方向が(W×P)、垂直方向が(H×Q)以上であることが好ましい。このような構成によれば、画素の内挿処理をすることなく検知をすることができる。
なお、このように本実施の形態のステレオカメラ10を監視カメラとして使用する場合、図5に示す例のように、例えば、門や扉等の、監視をしたい敷地内に侵入する人や物等が基本的に通過する場所が、ディストーションゼロエリア内に含まれるようにステレオカメラ10を設置することが望ましい。このような構成によれば、当該敷地内への侵入者が侵入してくる際に、全画面検知および切り出し検知により予め詳しく解析することができる。そうすると、その後は、当該侵入者を追跡するだけでよいので、検知精度がある程度低くてもよく、画角確保エリアに移動した当該侵入者に対しても十分な検知を行うことができる。また、場合によって、画角確保エリアに移動した当該侵入者については検知手段8による検知は行わず、映像の撮影のみをするようにしてもよい。
次に、検知のフレームレートについて図6を参照しながら説明する。
1回の全画面検知とN回の切り出し検知とを合わせて一組の検知とし、一つの検知結果が得られるとすると、当該一組の検知は、1+N個のフレームから形成されることとなる。切り出し検出の回数について制約はないが、通常、走っている人の検知を行うためには、10fps以上のフレームレートでの検知が必要となる。よって、上述のフローのように、1回の全画面検知の結果をN回の切り出し検知の結果で補正して最終的な検知結果を出力する場合、この一組の検知は、10fps以上のフレームレートで行う必要がある。したがって、例えば、撮像センサの撮像のフレームレートが30fpsであり、検知手段8を構成する検知回路の最大動作でのフレームレートが30fpsであるとすると、切り出し検出は、1回の全画面検出に対して2回行うことができる。また、撮像センサおよび検知回路の動作のフレームレートが60fpsであれば、1回の全画面検出に対して、5回の切り出し検出を行うことができる。
なお、ここでは、撮像センサのフレームレートと検知回路のフレームレートとを同一にしたが、例えば、検知回路のフレームレートを撮像センサのフレームレートの(M+1)倍とし、撮像センサにより撮影された1つの画像に対し、1回の全画面検知とM回の切り出し検知を行うようにしてもよい。
1回の全画面検知とN回の切り出し検知とを合わせて一組の検知とし、一つの検知結果が得られるとすると、当該一組の検知は、1+N個のフレームから形成されることとなる。切り出し検出の回数について制約はないが、通常、走っている人の検知を行うためには、10fps以上のフレームレートでの検知が必要となる。よって、上述のフローのように、1回の全画面検知の結果をN回の切り出し検知の結果で補正して最終的な検知結果を出力する場合、この一組の検知は、10fps以上のフレームレートで行う必要がある。したがって、例えば、撮像センサの撮像のフレームレートが30fpsであり、検知手段8を構成する検知回路の最大動作でのフレームレートが30fpsであるとすると、切り出し検出は、1回の全画面検出に対して2回行うことができる。また、撮像センサおよび検知回路の動作のフレームレートが60fpsであれば、1回の全画面検出に対して、5回の切り出し検出を行うことができる。
なお、ここでは、撮像センサのフレームレートと検知回路のフレームレートとを同一にしたが、例えば、検知回路のフレームレートを撮像センサのフレームレートの(M+1)倍とし、撮像センサにより撮影された1つの画像に対し、1回の全画面検知とM回の切り出し検知を行うようにしてもよい。
なお、1回の全画面検知に対して行う切り出し検知の回数は、必ずしも一定である必要はない。例えば、ディストーションゼロエリア内に含まれる検知対象の数に応じて変化するものであってもよい。また、例えば、ディストーションゼロエリア内に含まれている検知対象がS個の場合に、このS個の検知対象それぞれに対して1回(あるいはSの整数倍の回数)ずつ切り出し検知を行うこととしてもよい。
なお、検知手段8が行なう検知は、距離の検知までとし、物体の認識までは行わないようになっていてもよい。すなわち、上述の例においては、検知手段8は、人を検知したりするものとなっていたが、所定の点から、検知対象等の画像に写る被写体までの距離を求め、これを検知手段8での検知結果として出力するものであってもよい。ここで所定の点とは、距離の検知において基準となる点であり、基本的にはステレオカメラ10の位置であるが、他の位置に基準を置き、この基準点から被写体(被写体を表す各画素)までの距離を求めることとしてもよい。また、距離の検知の結果は、距離画像として出力される。距離画像は、画像上の各点(例えば、1つあるいは複数の画素からなる各画素領域)が、前記所定の点からの距離で表されるものであり、例えば、距離の値に応じた色の濃淡の変化で距離画像が表される。色の変化は、例えば、白黒のグラデーションや、他の色のグラデーションであってもよい。なお、検知手段8あるいはその他の機器において、距離画像から機械的に物体の検知等の画像認識をする場合には、画像上の各点を前記所定の点からの距離を示す数値で表したものを距離画像としても良い。
このように、本実施の形態によれば、画像サイズ変換手段7は、撮像手段5で撮影された画像において、レンズ3のディストーションゼロエリアを通して撮影された領域内に検知対象がある場合に、画像のディストーションゼロエリアを通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する。そして、検知手段8は、当該切り出し画像に基づいて検知対象の検知を行う。すなわち、検知手段8は歪の小さい画像に基づいて検知対象の検知を行う。したがって、検知対象の検知を高精度で行うことができる。また、検知手段8が検知に用いる画像は、画像サイズ変換手段7により切り出された画像のため、撮像手段5により撮影された画像に比べて表示範囲が狭くなる。したがって、解像度を必要以上に低下させることなく、画像のデータ量を低減することができる。よって、検知手段8における処理速度を高速に保ちつつ、高精度の検知を行うことができる。
このように、本実施の形態によれば、画角確保エリアを通して広い範囲の撮影を可能としつつ、ディストーションゼロエリアを利用した検知を行うことにより、高精度の検知が可能となる。
このように、本実施の形態によれば、画角確保エリアを通して広い範囲の撮影を可能としつつ、ディストーションゼロエリアを利用した検知を行うことにより、高精度の検知が可能となる。
なお、本実施の形態において、画像サイズ変換手段7は、画角確保エリアを通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないこととしてもよい。このような構成によれば、画角確保エリアにある検知対象に対しては、当該検知対象を含む画像の切り出しおよび切り出した画像に基づく検知対象の検知が行なわれない。したがって、検知手段8における処理を減らすことができ、検知手段8にかかる負荷を低減させることができる。また、画角確保エリアにある検知対象についての切り出し検知を行わないことにより、ディストーションゼロエリアにある検知対象についての切り出し検知の回数を増やすことができ、検知精度を向上させることができる。
なお、検知対象がディストーションゼロエリアと画角確保エリアとにまたがって存在している場合には、予め定めた規則に従って、検知対象がディストーションゼロエリアに存在しているか画角確保エリアに存在しているかを判断すればよい。例えば、一方のエリアに少しでもかかっていれば、当該一方のエリアに存在していると判断してもよい。また、一方のエリアに検知対象が所定の面積以上含まれている場合に、当該一方のエリアに存在していると判断してもよい。
なお、検知対象がディストーションゼロエリアと画角確保エリアとにまたがって存在している場合には、予め定めた規則に従って、検知対象がディストーションゼロエリアに存在しているか画角確保エリアに存在しているかを判断すればよい。例えば、一方のエリアに少しでもかかっていれば、当該一方のエリアに存在していると判断してもよい。また、一方のエリアに検知対象が所定の面積以上含まれている場合に、当該一方のエリアに存在していると判断してもよい。
また、本実施の形態によれば、検知手段8は、画像サイズ変換手段7により縮小された縮小画像に基づいて検知対象の検知を行った後に、縮小画像よりも表示範囲が狭くなるように画像サイズ変換手段7により切り出された切り出し画像に基づいて切り出し検知を行い、当該縮小画像に基づく検知の結果を切り出し検知の結果で補正することができる。したがって、例えば、全画面検知により、粗いが広範な検知をした後に、切り出し検知によりディストーションゼロエリアにある検知対象について高精度な検知をしたりすることができる。また、全画面検知の結果を切り出し検知の結果で補正することができるので、より正確あるいは精密な検知結果を得ることができる。すなわち、このように広範な検知と高精度な検知とを両立させることができる。
また、上述のように、検知手段8が、例えば、「切り出し1」の領域について切り出し検知を行った後に、画像サイズ変換手段7が「切り出し1」の領域とは表示範囲が少なくとも一部異なる「切り出し2」の領域を切り出し、検知手段8が当該「切り出し2」の領域について検知を行ってもよい。このような構成によれば、「切り出し1」の領域と「切り出し2」の領域との表示範囲が少なくとも一部異なるので、両検知における検知範囲が一部異なるようになる。したがって、ディストーションゼロエリア内において広い範囲にわたり高精度の検知を行うことができる。また、「切り出し2」の領域についての検知の結果によって、「切り出し1」の領域についての検知あるいは全画面検知の結果を補正することができるので、より正確あるいは精密な検知結果を得ることができる。
また、上述のように、検知手段8が、例えば、「切り出し1」の領域について切り出し検知を行った後に、画像サイズ変換手段7が、「切り出し1」の領域の表示範囲内で、かつ「切り出し1」の領域よりも表示範囲が狭くなるように「切り出し2」の領域を切り出し、検知手段8が当該「切り出し2」の領域について検知を行ってもよい。このような構成によれば、「切り出し2」の領域は、「切り出し1」の領域の表示範囲内で、かつ「切り出し1」の領域よりも表示範囲が狭いものとなる。したがって、例えば、全画面検知、「切り出し1」の領域についての切り出し検知、「切り出し2」の領域についての切り出し検知というように、検知範囲を徐々に狭めていきつつ、必要な範囲について検知精度を徐々に高めていくことができる。したがって、検知対象についてまず全体を粗く認識したうえで、特徴点についてより詳細に検知していくこと等が可能となる。
1 ステレオ撮像装置
3 レンズ
4 撮像部(撮像センサ)
5 撮像手段
6 歪補正手段
7 画像サイズ変換手段(切り出し手段、縮小手段)
8 検知手段
3 レンズ
4 撮像部(撮像センサ)
5 撮像手段
6 歪補正手段
7 画像サイズ変換手段(切り出し手段、縮小手段)
8 検知手段
Claims (7)
- 歪が所定量よりも小さい部分である低歪領域と歪が前記低歪領域よりも大きい部分である高歪領域とを有するレンズおよび撮像センサを備える撮像手段と、
一対の前記撮像手段で撮影された画像において、前記低歪領域を通して撮影された領域内に検知対象がある場合に、当該画像の前記低歪領域を通して撮影された領域内であって検知対象が含まれる範囲を切り出した切り出し画像を出力する切り出し手段と、
前記切り出し画像に基づいて検知対象の検知を行う検知手段と、を備えることを特徴とするステレオ撮像装置。 - 前記低歪領域の歪の量が、5%以下であることを特徴とする請求項1に記載のステレオ撮像装置。
- 前記レンズの歪に基づく画像の歪を除去する歪補正手段を備え、
前記歪補正手段は、前記検知手段が前記切り出し手段により切り出された画像に基づく検知を行うよりも前に歪の除去をすることを特徴とする請求項1または2に記載のステレオ撮像装置。 - 前記切り出し手段は、前記高歪領域を通して撮影された領域内にある検知対象に対しては、当該検知対象を含む画像の切り出しを行わないことを特徴とする請求項1~3のいずれか1項に記載のステレオ撮像装置。
- 前記一対の撮像手段で撮影された画像のデータ量を小さくする縮小手段を備え、
前記検知手段は、前記縮小手段により縮小された縮小画像に基づいて検知対象の検知をする第一の検知を行った後に、前記縮小画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第二の切り出し画像に基づいて検知対象の検知をする第二の検知を行い、前記第一の検知の結果を前記第二の検知の結果で補正することを特徴とする請求項1~4のいずれか1項に記載のステレオ撮像装置。 - 前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲とは表示範囲が少なくとも一部異なるように前記切り出し手段により切り出された第三の切り出し画像に基づいて検知対象の検知をする第三の検知を行い、前の検知の結果を前記第三の検知の結果で補正することを特徴とする請求項5に記載のステレオ撮像装置。
- 前記検知手段は、前記第二の検知を行った後に、前記第二の切り出し画像の表示範囲内で、かつ前記第二の切り出し画像よりも表示範囲が狭くなるように前記切り出し手段により切り出された第四の切り出し画像に基づいて検知対象の検知をする第四の検知を行い、前の検知の結果を前記第四の検知の結果で補正することを特徴とする請求項5または6に記載のステレオ撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/055,333 US20210110188A1 (en) | 2018-07-13 | 2019-04-23 | Stereo imaging device |
CN201980030882.7A CN112106345B (zh) | 2018-07-13 | 2019-04-23 | 立体摄像装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018133680A JP7140580B2 (ja) | 2018-07-13 | 2018-07-13 | ステレオ撮像装置 |
JP2018-133680 | 2018-07-13 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020012756A1 true WO2020012756A1 (ja) | 2020-01-16 |
Family
ID=69141951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/017298 WO2020012756A1 (ja) | 2018-07-13 | 2019-04-23 | ステレオ撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210110188A1 (ja) |
JP (1) | JP7140580B2 (ja) |
CN (1) | CN112106345B (ja) |
WO (1) | WO2020012756A1 (ja) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7208356B2 (ja) * | 2018-09-26 | 2023-01-18 | コーヒレント・ロジックス・インコーポレーテッド | 任意の世界ビューの生成 |
EP3951744A4 (en) * | 2019-03-26 | 2022-05-25 | Sony Semiconductor Solutions Corporation | IMAGE PROCESSING DEVICE, VEHICLE CONTROL DEVICE, METHOD AND PROGRAM |
JP7476151B2 (ja) * | 2021-09-24 | 2024-04-30 | キヤノン株式会社 | 画像処理システム、画像処理方法、およびコンピュータプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158829A (ja) * | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | 画像処理装置、画像処理方法およびプログラム |
WO2010032298A1 (ja) * | 2008-09-17 | 2010-03-25 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2012063350A (ja) * | 2010-08-20 | 2012-03-29 | Panasonic Corp | 測位処理装置、測位処理方法、画像処理装置および画像処理方法 |
WO2017010316A1 (ja) * | 2015-07-16 | 2017-01-19 | ソニー株式会社 | 撮像装置、および情報処理システム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7098949B2 (en) * | 2002-07-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Apparatus and method for improved-resolution digital zoom in a portable electronic imaging device |
JP4670721B2 (ja) * | 2006-04-24 | 2011-04-13 | オムロン株式会社 | ナンバープレート番号認識装置 |
JP4539729B2 (ja) * | 2008-02-15 | 2010-09-08 | ソニー株式会社 | 画像処理装置、カメラ装置、画像処理方法、およびプログラム |
JP4897940B2 (ja) * | 2010-03-31 | 2012-03-14 | 富士フイルム株式会社 | 立体撮像装置 |
JP5569329B2 (ja) * | 2010-10-15 | 2014-08-13 | 大日本印刷株式会社 | 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等 |
KR101776620B1 (ko) * | 2014-06-17 | 2017-09-11 | 주식회사 유진로봇 | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 |
CN109416887B (zh) * | 2016-08-24 | 2021-09-21 | 日立安斯泰莫株式会社 | 识别控制对象车辆报知装置 |
JP6819514B2 (ja) * | 2017-08-28 | 2021-01-27 | トヨタ自動車株式会社 | 画像処理装置及び撮像装置 |
JP7135339B2 (ja) * | 2018-02-28 | 2022-09-13 | 株式会社デンソー | 車両に搭載される撮像システム、対象物識別装置、および対象物識別方法 |
-
2018
- 2018-07-13 JP JP2018133680A patent/JP7140580B2/ja active Active
-
2019
- 2019-04-23 WO PCT/JP2019/017298 patent/WO2020012756A1/ja active Application Filing
- 2019-04-23 US US17/055,333 patent/US20210110188A1/en active Pending
- 2019-04-23 CN CN201980030882.7A patent/CN112106345B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007158829A (ja) * | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | 画像処理装置、画像処理方法およびプログラム |
WO2010032298A1 (ja) * | 2008-09-17 | 2010-03-25 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2012063350A (ja) * | 2010-08-20 | 2012-03-29 | Panasonic Corp | 測位処理装置、測位処理方法、画像処理装置および画像処理方法 |
WO2017010316A1 (ja) * | 2015-07-16 | 2017-01-19 | ソニー株式会社 | 撮像装置、および情報処理システム |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
Also Published As
Publication number | Publication date |
---|---|
JP7140580B2 (ja) | 2022-09-21 |
CN112106345A (zh) | 2020-12-18 |
US20210110188A1 (en) | 2021-04-15 |
CN112106345B (zh) | 2022-02-11 |
JP2020014067A (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020012756A1 (ja) | ステレオ撮像装置 | |
KR100792283B1 (ko) | 이동물체 자동 추적장치 및 방법 | |
US11516382B2 (en) | System and method for intelligent camera control | |
US8983131B2 (en) | Video analysis | |
CN110661977B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
EP3016383B1 (en) | Method, device, and system for pre-processing a video stream for subsequent motion detection processing | |
CN109559353B (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
EP3199914B1 (en) | Imaging device | |
US10937124B2 (en) | Information processing device, system, information processing method, and storage medium | |
KR101324250B1 (ko) | 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라 | |
EP3661186A1 (en) | Control apparatus, imaging apparatus, and program | |
RU2419150C1 (ru) | Способ обработки последовательности изображений для обнаружения и слежения за воздушными объектами | |
JP4668863B2 (ja) | 撮像装置 | |
US10963997B2 (en) | Method for reducing intensity variations in a video image stream depicting a scene | |
JP2011071925A (ja) | 移動体追尾装置および方法 | |
JP2018201146A (ja) | 画像補正装置、画像補正方法、注目点認識装置、注目点認識方法及び異常検知システム | |
CN109313808B (zh) | 图像处理*** | |
KR102450466B1 (ko) | 영상 내의 카메라 움직임 제거 시스템 및 방법 | |
EP3605450B1 (en) | Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program | |
Vuong et al. | Initial direction and speed decision system for auto focus based on blur detection | |
EP3722991B1 (en) | Method, system, and device for detecting an object in a distorted image | |
KR101864765B1 (ko) | 어안렌즈 왜곡 보정을 이용한 차량 검출 장치 및 방법 | |
US10510233B2 (en) | Reducing and eliminating the effects of bright lights in a field-of-view of a camera | |
JP2020013330A (ja) | 画像処理装置 | |
US11669992B2 (en) | Data processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19834521 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19834521 Country of ref document: EP Kind code of ref document: A1 |