WO2021124657A1 - カメラシステム - Google Patents
カメラシステム Download PDFInfo
- Publication number
- WO2021124657A1 WO2021124657A1 PCT/JP2020/038395 JP2020038395W WO2021124657A1 WO 2021124657 A1 WO2021124657 A1 WO 2021124657A1 JP 2020038395 W JP2020038395 W JP 2020038395W WO 2021124657 A1 WO2021124657 A1 WO 2021124657A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distance
- image
- unit
- road surface
- camera system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Definitions
- the present invention relates to a camera system.
- Patent Documents 1 and 2 Various techniques for detecting moving objects in an image based on an image captured by a camera are known. Examples of such techniques are described in Patent Documents 1 and 2.
- the background subtraction method and the background subtraction method are used to pay attention to the distance in the image as a factor for properly using the background subtraction method and the background subtraction method in order to detect a short-distance object captured in the image.
- the saliency calculation method is used to detect a long-distance object that has little change in pixel value and is difficult to detect by the background subtraction method. It should be noted that the object cannot be imaged in the image (walking). Areas above the vanishing point of the image (where no one can appear) are excluded in advance from the area for object detection. "
- Patent Document 2 "By referring to the distance information (distance map) estimated from the parallax image and setting the template image and the search image to the optimum size, the probability of determining the correct subject area is improved. The determined information of one subject area becomes the output of the subject tracking unit 161. "
- the saliency calculation method is used by focusing on a distant region or a region below the vanishing point, but considering that the optical axis of the camera moves up and down due to the vertical movement of the vehicle, the region The processing load is high due to insufficient narrowing down.
- the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing system and a camera system that can appropriately detect an object even if the optical axis of the camera changes up and down. ..
- An example of the camera system according to the present invention is About the distance acquisition area
- the distance acquisition unit that acquires the distance
- a camera that acquires an image for an image acquisition area that at least partially overlaps the distance acquisition area.
- a template matching detection unit that detects an object by performing template matching processing on the image using a template.
- a road surface estimation unit that estimates the position of the road surface based on the distance calculated by the distance acquisition unit, and a road surface estimation unit. It is provided with a search line calculation unit that calculates a search line in the image based on the position of the road surface.
- the search line is a line along a position where the distance becomes a predetermined value on the road surface in the image.
- the template matching process is performed along the search line. It is characterized by that.
- This specification includes the disclosure of Japanese Patent Application No. 2019-227407, which is the basis of the priority of the present application.
- the image processing system and the camera system according to the present invention it is possible to detect a specific object with a low processing load even in an in-vehicle system in which the direction of the camera changes up and down.
- FIG. 1 The block diagram which shows the example of the structure of the camera system which concerns on Example 1 of this invention.
- FIG. The figure which shows the specific example of the image taken by the stereo camera of FIG. The figure which shows the example of the search processing by the monocular distance detection part of FIG.
- FIG. Block diagram showing an example of the configuration of the camera system according to the second embodiment The figure which shows the example of the angle of view of the image pickup part which concerns on Example 2.
- FIG. Block diagram showing an example of the configuration of the camera system according to the third embodiment The figure which shows the example of the angle of view of the distance measuring sensor part and the image pickup part which concerns on Example 3.
- FIG. 3 The figure which shows the example of the angle of view of the distance measuring sensor part and the image pickup part which concerns on Example 3.
- FIG. 3 The figure which shows the example of the angle of view of the distance
- the image processing system detects a target object in an image (for example, a shutter image captured by a camera), and detects, for example, a moving object, a three-dimensional object, or a specific object. can do.
- This "moving body” refers to a moving object with respect to the background.
- the "background” is not limited to the area consisting of pixels that do not change in the image.
- the road surface is an example of the background
- a pedestrian or a vehicle that moves with respect to the road surface is an example of a moving body.
- a moving person or animal, a moving object, or the like in the camera image is an example of a moving body.
- Three-dimensional object means, for example, an object having a height with respect to the road surface, and refers to a vehicle, a pedestrian, a motorcycle, a utility pole, or the like.
- the "specific object” means, for example, a specific object that is intentionally desired to be detected, for example, a vehicle, a pedestrian, a two-wheeled vehicle, or the like. The specific object can be detected based on whether or not a template, a pattern, a machine learning dictionary, or the like is prepared in advance and the degree of similarity with the template, the pattern, or the machine learning dictionary is high.
- FIG. 1 is a block diagram showing an example of the configuration of the camera system according to this embodiment.
- the camera system includes a plurality of imaging units 101, a stereo matching unit 102, a road surface estimation unit 103, a size calculation unit 104, a search line calculation unit 105, a template search method determination unit 106, and a monocular distance detection unit 107.
- a monocular bird's-eye view difference detection unit 108 is provided.
- the imaging unit 101 includes an imaging sensor and is configured as, for example, a known camera.
- a lens is attached to the image sensor to image the outside world of the device.
- the image pickup sensor is, for example, an image pickup sensor provided with CMOS (Complementary Metal Oxide Sensor), which converts light into an electric signal.
- CMOS Complementary Metal Oxide Sensor
- the information converted into an electric signal by the image sensor of the image pickup unit 101 is further converted into image data representing an image in the image pickup unit 101.
- the image data includes the brightness value of the pixel.
- the luminance value can be expressed as, for example, a digital value, and is expressed as a luminance value for each color or a monochrome luminance value.
- RGB Red Green Blue
- RC Red Clear
- the imaging unit 101 transmits the image data to the stereo matching unit 102, the monocular distance detection unit 107, and the monocular bird's-eye view difference detection unit 108.
- the imaging unit 101 has a function of changing the exposure conditions of the imaging sensor.
- the image sensor is equipped with an electronic shutter such as a global shutter or a rolling shutter, and the exposure time can be set to an arbitrary time for shooting.
- the exposure time is the time from resetting the accumulated electric charge of the photodiode to taking out the electric charge to read out the information related to the brightness value. Point to.
- the exposure time is lengthened, a large amount of electric charge is accumulated, so the read luminance value becomes high.
- the exposure time is shortened, the stored charge is reduced, so that the read-out brightness is lowered. Therefore, the brightness of the image obtained from the image sensor changes in correlation with the exposure time.
- the imaging unit 101 converts the amount of electric charge taken out from the photodiode into a voltage, performs A / D (Analog Digital) conversion, and acquires a digital value.
- the imaging unit 101 includes an amplifier used for A / D conversion, and may be configured so that the gain of the amplifier can be changed as part of the exposure conditions. In that case, the read luminance value changes according to the gain setting of the amplifier. The higher the gain, the higher the luminance value, and the lower the gain, the lower the luminance value.
- the luminance value of a dark object becomes 0 or the luminance value of an object having a low contrast ratio becomes 0. It may become uniform, and it may not be possible to distinguish the contour and shading. This problem is remarkable when the brightness value is expressed as a digital value, but the same problem may occur when the brightness value is expressed as an analog value.
- the brightness value of the bright object becomes the maximum value, and the outline of the object and the shading of the object may not be discriminated. Therefore, it is preferable to set the exposure conditions according to the brightness of the object to be photographed.
- the imaging unit 101 can shoot a moving image by repeatedly releasing the electronic shutter in time series and acquiring image data for each shutter.
- the number of times the electronic shutter is released per unit time and image data is output is called the frame rate, and the frame rate per second is expressed in the unit of FPS (Frame Per Second).
- the stereo matching unit 102 receives data including image data from a plurality of imaging units 101 and processes the data to calculate the parallax between the image data.
- the parallax is the parallax of the image data from the image pickup unit 101 other than the reference image pickup unit 101 with respect to the image data from the reference image pickup unit 101.
- the parallax refers to a difference in the image coordinates of the same object caused by a difference in the positions of a plurality of imaging units.
- the parallax is large for short distances and small for long distances, and the distance can be calculated from the parallax.
- FIG. 2 shows a specific example of the viewing angle of view of the image processing system of FIG. This is an example in which the two imaging units 101 are attached to the front of the car.
- the camera system of this embodiment is attached to the vehicle 201.
- the camera system includes a stereo camera 202 including two imaging units 101.
- the imaging unit 101 that captures the right field of view is shown as the imaging unit 203 in FIG.
- the imaging unit 101 that captures the left field of view is shown as the imaging unit 204 in FIG.
- the imaging units 203 and 204 have overlapping visual fields in the front central visual field of the vehicle 201.
- the imaging unit 203 has a field of view 205.
- the imaging unit 204 has a field of view 206.
- the image pickup unit 203 has a right field of view on the right side of the vehicle 201, which is outside the field of view 206 of the image pickup unit 204.
- the imaging unit 204 has a left field of view on the left side of the vehicle 201, which is outside the field of view 205 of the imaging unit 204.
- FIG. 3 shows a specific example of an image captured by the stereo camera 202 of FIG.
- FIG. 3A shows an image 301 acquired by the imaging unit 203
- FIG. 3B shows an image 302 acquired by the imaging unit 204
- FIG. 3C shows a composite image 303 of these two images. Is shown.
- Image 301 is an image of the image pickup unit 203 facing to the right, and the vicinity of the center in front and the right side are imaged.
- the image 302 is an image of the image pickup unit 204 facing to the left, and the vicinity of the center in front and the left side are imaged.
- the composite image 303 is a composite image of the left and right imaging units, which is a composite of images captured by the imaging unit 203 and the imaging unit 204, respectively.
- the composite image 303 includes a region 304, a region 305, and a region 306.
- the region 304 is a portion of the image 302 that corresponds to a visual field region that is not shown in the image 301, and is a left monocular visual field.
- the region 305 is a portion of the image 301 that corresponds to a visual field region that is not shown in the image 302, and is a right monocular visual field.
- Areas 304 and 305 are monocular areas captured by one camera.
- the area 306 is a portion reflected in both the images 301 and 302, and is a stereo visual field (distance acquisition area).
- the imaging units 203 and 204 acquire images in a region (image acquisition region) that at least partially overlaps the stereo visual field (distance acquisition region).
- the stereo matching unit 102 may correct the distortion of the image data. For example, using a central projection model or a perspective projection model, distortion of image data is corrected so that objects having the same height and the same depth distance are arranged horizontally in the image.
- the image data (reference image data) of one imaging unit 101 is used as a reference. The parallax is obtained by comparing this with the image data (comparative image data) of the other imaging unit 101.
- the stereo matching unit 102 functions as a distance acquisition unit, and acquires the distance of an object (for example, a road surface) appearing in the visual field of view in the stereo visual field.
- the stereo matching unit 102 includes a plurality of cameras (imaging units 203 and 204), and calculates the distance by performing stereo matching. With such a configuration, an expensive distance measuring means becomes unnecessary, and the cost can be reduced.
- distance refers to the distance between the road surface and a reference point specified for the camera system.
- the starting point of the distance may be the midpoint between the imaging unit 203 and the imaging unit 204, may be a specific part of the vehicle 201 (for example, the center of the front end of the vehicle), or the like. It may be the position of the device (distance measuring device, etc.). Further, the distance can be measured by a known method based on, for example, the calculated parallax.
- specific objects are detected in the areas 304 and 305.
- specific objects are detected in the areas 304, 305 and 306.
- the central projection model and the perspective projection model were used, but the projection model is not limited to this.
- the projection model is not limited to this.
- the angle of view is wide, in order to suppress the size of the image data, for example, it may be projected onto a cylinder or a spherical surface.
- the matching process is performed, for example, along a search line in which objects of the same distance are lined up on the projection surface.
- the vertical coordinates of the disappearance point of the reference image data and the comparison image data are combined, and for each coordinate of the reference image data, which horizontal coordinate of the same vertical coordinate of the comparison image data is set. Whether or not the same object is projected is inspected by a method such as SSD (Sum of Coordinated Difference) or SAD (Sum of Absolute Difference).
- SSD and SAD are used in the above, other methods may be used.
- matching processing of the same object is performed by combining methods such as FAST (Faires from Accelerated Segment Test) and BRIEF (Binary Robot Independent Elementary Features), which extract corner feature points and inspect whether they are the same feature points. Good.
- the road surface estimation unit 103 estimates the position of the road surface based on the distance calculated by the stereo matching unit 102. In the estimation of the position of the road surface, for example, based on the parallax data received from the stereo matching unit 102, it is estimated that the portion, point or region having a specific parallax corresponding to the road surface is the road surface.
- the road surface estimation unit 103 may have information such as the height of the image pickup unit 101 from the road surface and the mounting angle of the image pickup unit 101 in advance, and obtains the relationship between the coordinates and the distance on the image data in which the road surface is captured. It may be specified that the point that produces the parallax that fits the relationship is the point that represents the road surface.
- the road surface estimation unit 103 of this embodiment uses parallax, a configuration that does not use parallax is also possible.
- the distance measurement result may be used.
- the result of distance measurement by LiDAR (Light Detection and Ringing) or millimeter wave radar may be mapped to the coordinates of the camera image.
- the process of estimating the road surface may be performed after the geometric transformation or before the geometric transformation. If the road surface is specified at a timing that can be used in the search line determination process by the search line calculation unit 105 and the geometric transformation is performed, the search can be performed by template matching processing or the like.
- the size calculation unit 104 calculates the size of the frame (used by the monocular distance detection unit 107) for cutting out an image when executing a template matching process or the like.
- the size calculation unit 104 calculates the size according to the depth distance on the search line having the same depth distance. That is, the size calculation unit 104 functions as a template size determination unit.
- the search line calculation unit 105 calculates the search line used by the monocular distance detection unit 107 in the template matching process based on the points representing the road surfaces having the same depth distance.
- the search line is a line extending along a position having the same depth distance in the image or its area. In this embodiment, it is a line along a position where the distance from the camera system is a predetermined value (including a value within a range in consideration of a predetermined tolerance) on the road surface in the image.
- the template search method determination unit 106 determines the search method for the template matching process (executed by the monocular distance detection unit 107) based on the position of the road surface and the size of the frame determined by the size calculation unit 104.
- the monocular distance detection unit 107 is a template matching detection unit that detects an object (for example, a specific object) by performing template matching processing on the images acquired by the imaging units 203 and 204 using a template.
- the monocular distance detection unit 107 searches for an object that matches the characteristics of a specific object to be detected by template matching processing.
- the template matching process may include a pattern matching process or may include a matching process using a machine learning dictionary.
- a machine learning dictionary can be generated by learning various variations of the specific object in AdaBoost using, for example, Haar Like features.
- the monocular distance detection unit 107 uses a frame of a size determined by the template search method determination unit 106 to cut out a target area for template matching processing from the image data. In this way, the monocular distance detection unit 107 detects the specific object. For example, it is determined whether or not the image of the target area is similar to the image of the specific object, thereby determining whether or not the specific object is reflected in the target area.
- a specific area on the image is cut out, and based on the image of the cut out area and a model (or model image) represented by a template, a pattern, or a machine learning dictionary, these are used.
- Check for similarity In this cropping, it is preferable to align the model to an appropriate size and angle (for example, a size and angle close to the actual image) according to the size and angle of a specific image, for example, by normalization processing or the like. ..
- an appropriate size and angle for example, a size and angle close to the actual image
- the process of aligning the angles can be omitted.
- the positions where the distances from the camera system are the same are arranged horizontally on the road surface. Since vehicles, pedestrians, motorcycles, etc. stand in contact with the road surface, it is considered that their lower ends are aligned horizontally (that is, the Y coordinates match) if they are equidistant from the camera system. Further, in this case, the distance from the camera system to these specific objects is considered to be equal to the distance to the road surface located at the lower end thereof (here, the distance due to the difference in the vertical position on the vertical line). We believe that the difference is negligible, but if it is not, it can be converted or corrected as appropriate).
- the search line becomes a horizontal straight line.
- the positions at the same distance are lined up diagonally instead of horizontally or curved. It may be lined up.
- a line (search line) connecting positions that are the same distance on the road surface is defined as a line represented by a model function having one or more parameters, and the parameters are set by the least squares method or the like. You may specify and specifically determine the search line based on a mathematical formula, a table, or the like.
- the monocular distance detection unit 107 searches for a specific object by template matching or the like along the determined search line. For example, a frame is set with the search line as the lower end, a region within the frame is cut out, and it is confirmed whether or not the specific object is reflected.
- FIG. 4 shows an example of search processing by the monocular distance detection unit 107.
- the composite image 400 is a composite of the images of the left and right imaging units 101, and corresponds to the composite image 303 of FIG.
- the road surface portion 401 appears in the composite image 400.
- the same distance point 402 represents a point where the parallax is equal to each other, that is, a point where the distance is equal.
- the search line calculation unit 105 identifies the search line 403 in the image based on the same distance point 402.
- the calculation of the search line 403 can be performed based on, for example, the position (or distance) of the road surface.
- the search line 403 is, for example, a line along a position on the road surface in the image where the distance is a predetermined value (including a value within a range in consideration of a predetermined tolerance).
- the frame 404 is a frame of an image area to be cut out in order to compare with a specific object by the template matching process of the monocular distance detection unit 107.
- the specific object 405 appears at a position consistent with the search line 403.
- a search line 403 is created on the road surface, a frame 404 of a specific size is placed on the search line 403, and the frame 404 is moved left and right with the lower end of the frame 404 matching the search line 403.
- the template matching process by the monocular distance detection unit 107 is performed along the search line 403.
- the monocular distance detection unit 107 performs template matching processing on images cut out from the frame 404 at different positions while moving the frame 404 left and right, and determines whether or not the images are similar to a specific object.
- the template matching process is performed in the monocular region (for example, regions 304 and 305 in FIG. 3) and not in the stereo visual field (for example, region 306 in FIG. 3).
- the number of template matching processes can be reduced and the processing load can be reduced.
- template matching processing may be performed on the entire or part of the stereo visual field.
- the cropped image is similar to a specific object at any position, it is detected that the specific object appears at that position.
- the detected distance to the specific object is determined to be equal to the distance to the search line 403.
- the search line 403 is set according to the road surface, so that the moving range of the frame is left and right. It is limited to the direction (or the one-dimensional range along the search line 403), and the processing load is low. In this way, even in an in-vehicle system in which the direction of the camera changes up and down, a specific object can be detected with a low processing load.
- a plurality of search lines 403 may be generated.
- individual search lines 403 may be generated for different distances, and the monocular distance detection unit 107 may perform template matching processing for each search line 403. In this way, it is possible to search for a specific object by template matching processing at various distances.
- a plurality of search lines are created within the distance range and the search is performed. By doing so, it is possible to suppress unnecessary searches outside the distance range and shorten the processing time.
- each search line 403 may be set at a constant pixel interval on the image, or may be set at a constant distance interval on the road surface.
- the interval between the search lines 403 can be determined according to the robustness of the template matching process. For example, if the template matching process is robust and a specific object can be detected even if the distance of the search line 403 and the distance to the specific object are significantly different, then between adjacent search lines 403. The interval can be designed to be large. By doing so, the number of search lines 403 can be reduced and the processing time can be shortened.
- the spacing between positions where template matching processing is performed (for example, the spacing in the left-right direction) on one search line 403 can be designed in the same manner. For example, if the template matching process is robust and the specific object can be detected even if the frame 404 and the specific object are largely separated from each other, the interval of the template matching process can be designed to be large. By doing so, the number of times of template matching processing can be reduced and the processing time can be shortened.
- FIG. 5 shows a method for obtaining the dimensions of the frame 404.
- FIG. 5 shows a conceptual position of a specific object 501, a lens 502 of an imaging unit 101, an image sensor 503 (imaging element) of an imaging unit 101, and a road surface 504 as viewed from a horizontal direction orthogonal to the optical axis. Show the relationship.
- f be the focal length 505 of the imaging unit 101.
- Z be a depth distance 506 (distance) between the specific object 501 and the imaging unit 101 (more precisely, the lens 502).
- the height 507 in the image is a value to be obtained.
- h be the height 508 of the specific object 501.
- Formula 509 shows the relationship between these parameters. From Equation 509, the height of the frame 404 in the image can be obtained. In the above, the height is shown, but the width can be obtained as well. In that case, the height h is replaced with the width, and the height 507 in the image is replaced with the width in the image.
- the monocular bird's-eye view difference detection unit 108 receives data including image data from the image pickup unit 101, and detects an object in the image by processing the data. Object detection is performed by the bird's-eye view difference method, which makes it possible to detect an object (for example, a moving object).
- the bird's-eye view difference method is a method of comparing bird's-eye view images at different times for a part of an image (first area).
- the background subtraction of the bird's-eye view image may be acquired, or the time difference of the bird's-eye view image may be acquired.
- the monocular distance detection unit 107 may perform template matching processing on a part of the image (second region).
- This second region may be a region different from the first region, and in particular, a region that does not overlap with the first region may be used.
- the template matching process by the monocular distance detection unit 107 can be partially omitted, and the processing load is reduced.
- the monocular bird's-eye view difference detection unit 108 may be omitted.
- Example 2 of the present invention will be described.
- Example 2 is basically the same as Example 1, but differs in the following points.
- imaging units are installed on all four sides of the vehicle so that the entire surroundings can be detected. Therefore, the horizontal angle of view of the imaging unit is wide.
- FIG. 6 is a block diagram showing an example of the configuration of the camera system according to the second embodiment.
- the camera system according to the second embodiment includes an imaging unit 601 capable of capturing a horizontal angle of view exceeding 180 degrees. Further, the camera system includes a stereo matching unit 602, and the stereo matching unit 602 receives images from a plurality of imaging units 601 and performs stereo matching processing in an area where the plurality of imaging units overlap. As a result, the distance of the road surface is estimated, and template matching processing becomes possible.
- FIG. 7 is a diagram showing an example of the angle of view of the imaging unit 601 when the camera system of the second embodiment is attached to the vehicle.
- the first imaging unit 601 has a horizontal angle of view 701.
- the second imaging unit 601 has a horizontal angle of view 702.
- the third imaging unit 601 has a horizontal angle of view 703.
- the fourth imaging unit 601 has a horizontal angle of view 704.
- the leftmost region of the horizontal angle of view 701 overlaps the frontmost region of the horizontal angle of view 702.
- the rightmost region of the horizontal angle of view 701 overlaps the frontmost region of the horizontal angle of view 703.
- the leftmost region of the horizontal angle of view 704 overlaps the rearmost region of the horizontal angle of view 702.
- the rightmost region of the horizontal angle of view 704 overlaps the rearmost region of the horizontal angle of view 703.
- the camera system of the second embodiment performs stereo matching processing, performs road surface estimation in the region where stereo matching is performed, and connects points having parallax corresponding to the same distance based on the result. Create a search line and perform template matching processing.
- Example 3 of the present invention will be described.
- Example 3 is basically the same as Example 1, but differs in the following points.
- the distance measuring sensor unit is provided, the road surface is estimated based on the distance information of the distance measuring sensor unit, the search line is determined, and the template matching process is performed.
- FIG. 8 is a block diagram showing an example of the configuration of the camera system according to the third embodiment.
- the camera system includes a distance measuring sensor unit 801, and the distance measuring sensor unit 801 can acquire three-dimensional distance information of the surroundings.
- the distance measuring sensor unit 801 is, for example, LiDar (Laser Imaging Detection and Ringing). In this embodiment, the distance measuring sensor unit 801 measures the distance.
- the camera system includes a data integration unit 802, and the data integration unit 802 receives three-dimensional distance information from the distance measuring sensor unit 801 and receives a camera image from the imaging unit 101, and coordinates are converted with respect to the camera image. The distance information is superimposed. In this superposition process, the three-dimensional distance information is converted into camera image coordinates with the three-dimensional position of the imaging unit 101 as the viewpoint and superposed. As a result, the distance of the road surface is estimated, and template matching processing becomes possible.
- FIG. 9 shows an example of the angles of view of the distance measuring sensor unit 801 and the imaging unit 101 when the camera system of the third embodiment is attached to the vehicle.
- the distance measuring sensor unit 801 has an angle of view 901 (distance acquisition region).
- the distance measuring sensor unit 801 is attached to, for example, the front bumper of the vehicle.
- the imaging unit 101 has an angle of view 902.
- the image pickup unit 101 is attached to, for example, the windshield of a vehicle.
- the template matching process is performed outside the angle of view 901 of the distance measuring sensor unit 801. That is, the template matching process is performed only on the portion of the angle of view 902 of the imaging unit 101 that does not overlap with the angle of view 901 of the distance measuring sensor unit 801. In this way, the range in which the template matching process is performed is limited, and the processing load is reduced.
- the camera system may use the distance measuring sensor unit 801 having a viewing angle as shown in FIG.
- the imaging unit 101 has an angle of view of 1001.
- the distance measuring sensor unit 801 has an angle of view of 1002 (distance acquisition region).
- the angle of view 1002 of the distance measuring sensor unit 801 extends to 360 degrees in the entire circumference. Therefore, all the detection of the object can be performed only by the distance measuring sensor unit 801. However, distance information alone may not be sufficient to identify the type of object.
- the distance measuring sensor unit 801 performs the template matching process within the angle of view 1002 in order to identify the type of the object (for example, whether or not the object is a specific object). For example, based on the road surface estimation result of the omnidirectional angle of view using the angle of view 1002 of the distance measuring sensor unit 801, a search line is determined within the angle of view 1001 of the imaging unit 101, and template matching processing is performed along the search line. .. By doing so, it is possible to efficiently identify the type of the object.
- the present invention is not limited to the above-described examples and modifications, and includes various modifications other than these.
- the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the described configurations.
- each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card or an SD card.
- SSD Solid State Drive
- control lines and information lines indicate those that are considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it can be considered that almost all configurations are interconnected.
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
カメラの光軸が上下に変化しても、物体を適切に検知できる画像処理システムおよびカメラシステムを提供する。カメラシステムは、距離取得領域について距離を取得する距離取得部と、距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、路面の位置に基づき、画像における探索線を算出する、探索線算出部とを備える。探索線は、画像中の路面において距離が所定の値となる位置に沿った線であり、テンプレートマッチング処理は、探索線に沿って行われる。
Description
本発明はカメラシステムに関する。
カメラによって撮像された画像等に基づき、画像中で移動する物体を検知するための様々な技術が公知である。このような技術の例は、特許文献1および2に記載される。特許文献1に記載された技術では、「背景差分法と顕著性算出法を使い分ける要因として画像内の距離に注目し、画像内に撮像された近距離の物体を検出するためには背景差分法を用い、また、画素値の変化が少なく背景差分法では検出されにくい遠距離の物体を検出するためには顕著性算出法を用いている。なお、画像内に物体が撮像され得ない(歩行者が出現し得ない)画像の消失点より上の領域については、物体検出を行う領域からあらかじめ除外する。」と記載されている。
また、特許文献2には、「視差画像より推定される距離情報(距離マップ)を参照し、テンプレート画像および探索画像を最適なサイズに設定することで、正しい被写体領域を決定する確率を向上している。決定された1つの被写体領域の情報が被写体追跡部161の出力となる。」ことが記載されている。
C. Yang, H. Hongo, and S. Tanimoto, "A New Approach for In-Vehicle Camera Obstacle Detection by Ground Movement Compensation", 2008 11th International IEEE Conference on Intelligent Transportation Systems, 2008.
車載のカメラシステムの場合、従来の技術では、視差が出ない領域で、且遠方の領域の物体検知をするために、テンプレートマッチング処理や顕著性算出法を用いて検知しようとすると、テンプレートや顕著性を抽出すべき大きさを特定することができず、処理負荷が大きいという課題があった。
たとえば、特許文献1の技術では、遠方の領域や消失点より下の領域に絞って顕著性算出法を用いるとしているが、車両の上下動によりカメラの光軸が上下に動くことを考慮すると領域の絞り込みが不十分で処理負荷が高くなる。
また、特許文献2の技術では、視差の出ていない領域のテンプレートサイズを決定する方法がなく、全領域で視差を出せないと検知が難しい。
本発明は、上記のような課題に鑑みてなされたものであり、カメラの光軸が上下に変化しても、物体を適切に検知できる画像処理システムおよびカメラシステムを提供することを目的とする。
本発明に係るカメラシステムの一例は、
距離取得領域について距離を取得する距離取得部と、
前記距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、
前記画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、
前記距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、
前記路面の位置に基づき、前記画像における探索線を算出する、探索線算出部と
を備え、
前記探索線は、前記画像中の路面において距離が所定の値となる位置に沿った線であり、
前記テンプレートマッチング処理は、前記探索線に沿って行われる、
ことを特徴とする。
本明細書は本願の優先権の基礎となる日本国特許出願番号2019-227407号の開示内容を包含する。
距離取得領域について距離を取得する距離取得部と、
前記距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、
前記画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、
前記距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、
前記路面の位置に基づき、前記画像における探索線を算出する、探索線算出部と
を備え、
前記探索線は、前記画像中の路面において距離が所定の値となる位置に沿った線であり、
前記テンプレートマッチング処理は、前記探索線に沿って行われる、
ことを特徴とする。
本明細書は本願の優先権の基礎となる日本国特許出願番号2019-227407号の開示内容を包含する。
本発明に係る画像処理システムおよびカメラシステムによれば、カメラの向きが上下に変化する車載システムにおいても、低処理負荷で、特定の物体を検知することができる。
以下、この発明の実施例を添付図面に基づいて説明する。
[実施例1]
本発明の実施例1に係る画像処理システムは、画像(たとえばカメラで撮像されたシャッタ画像)中において、対象となる物体検知を行うものであり、たとえば移動体や立体物、特定の物体を検知することができる。この「移動体」とは、背景に対して動いているものを指す。ただし、「背景」とは、画像中で変化しない画素からなる領域に限らない。例えば前方センシングを行う車載カメラの場合には、路面が背景の例であり、路面に対して移動を行う歩行者や車両が移動体の例である。また例えば固定された監視カメラであれば、カメラ画像内で動く人物や動物、動かされる物、等が移動体の例である。
[実施例1]
本発明の実施例1に係る画像処理システムは、画像(たとえばカメラで撮像されたシャッタ画像)中において、対象となる物体検知を行うものであり、たとえば移動体や立体物、特定の物体を検知することができる。この「移動体」とは、背景に対して動いているものを指す。ただし、「背景」とは、画像中で変化しない画素からなる領域に限らない。例えば前方センシングを行う車載カメラの場合には、路面が背景の例であり、路面に対して移動を行う歩行者や車両が移動体の例である。また例えば固定された監視カメラであれば、カメラ画像内で動く人物や動物、動かされる物、等が移動体の例である。
「立体物」は、たとえば、路面に対して高さのある物体を意味し、車両や歩行者、二輪車、電柱などをいう。「特定の物体」は、たとえば、意図的に検知したい特定の物体を意味し、たとえば、車両や歩行者、二輪車などをいう。前記特定の物体は、テンプレートやパターンや機械学習の辞書などを予め用意して、該テンプレートやパターンや機械学習の辞書との類似度が高いか否かに基づいて検知することができる。
図1は、本実施例に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは、複数の撮像部101と、ステレオマッチング部102と、路面推定部103と、サイズ算出部104と、探索線算出部105と、テンプレート探索方法決定部106と、単眼遠方検知部107と、単眼俯瞰差分検知部108とを備える。
撮像部101は撮像センサを含み、たとえば公知のカメラとして構成される。撮像センサにはレンズが取り付けられ、装置の外界を撮像する。撮像センサは、例えばCMOS(Complementary Metal Oxide Semiconductor)を備える撮像センサであり、光を電気信号に変換するものである。
撮像部101の撮像センサで電気信号に変換された情報は、さらに撮像部101内で、画像を表す画像データに変換される。画像データは画素の輝度値を含む。輝度値は、たとえばデジタル値として表現することができ、色毎の輝度値や、モノクロの輝度値として表される。色毎の輝度値としては、たとえばRGB(Red Green Blue)またはRC(Red Clear)が利用可能である。
撮像部101は、画像データを、ステレオマッチング部102と単眼遠方検知部107と単眼俯瞰差分検知部108とに送信する。
撮像部101は、撮像センサの露光条件を変更する機能を備える。たとえば、撮像センサにグローバルシャッタまたはローリングシャッタ等の電子シャッタが備わっており、露光時間を任意の時間に設定して撮影することができる。受光素子として、受光すると電荷が蓄積されるフォトダイオードを用いる場合には、露光時間は、フォトダイオードの蓄積電荷をリセットしてから、輝度値に係る情報を読み出すために電荷を取り出すまでの時間を指す。
露光時間を長くすると電荷が多く蓄積されるので、読み出される輝度値が高くなる。一方で露光時間を短くすると蓄えられる電荷が少なくなるので、読み出される輝度が低くなる。そのため、露光時間に相関して、撮像センサから得られる画像の明るさが変化する。
撮像部101では、フォトダイオードから取り出される電荷量を電圧に変換し、A/D(Analog Digital)変換を行ってデジタル値を取得する。撮像部101はA/D変換に用いる増幅器を備えており、露光条件の一部として増幅器のゲインが変更できるように構成される場合がある。その場合には、増幅器のゲイン設定に応じて読み出される輝度値が変化する。ゲインを高くすれば輝度値は高く、ゲインを低くすれば輝度値は低くなる。
ここで、一般的に、露光条件(上記の例では露光時間およびゲイン)の変化により輝度値が低くなると、暗い対象物の輝度値が0になったり、コントラスト比が低い対象物の輝度値が一様になったりし、輪郭や濃淡等が判別できなくなる場合がある。この問題は輝度値をデジタル値として表現する場合に顕著であるが、アナログ値として表現する場合にも同質の問題が発生し得る。同様に、露光条件の変化により輝度値が高くなると、明るい対象物の輝度値が最大値となり、対象物の輪郭や対象物の濃淡が判別できなくなる場合がある。従って、撮影する対象物の明るさに応じて露光条件を設定すると好適である。
撮像部101は、時系列的に繰り返し電子シャッタを切り、シャッタ毎の画像データを取得することにより動画を撮影することができる。単位時間あたりの電子シャッタを切り画像データを出力する回数をフレームレートと呼び、1秒あたりのフレームレートをFPS(Frame Per Second)の単位で表す。
ステレオマッチング部102は、複数の撮像部101から画像データを含むデータを受信し、これを処理することにより、画像データ間の視差を演算する。視差は、基準となる撮像部101からの画像データに対する、該基準となる撮像部101以外の撮像部101からの画像データの、視差である。前記視差とは、複数の撮像部の位置の違いから生じる、同一物体の写る画像座標の差を示す。視差は、近距離のものは大きく、遠距離のものは小さくなり、視差から距離を算出することが可能である。
撮像部101は、たとえば2つ備わり、それぞれの撮像部の視野は、一部重なり、一部重ならない。図2に、図1の画像処理システムの視野画角の具体例を示す。2つの撮像部101を車の前方向きに取り付ける例である。本実施例のカメラシステムは、車両201に取り付けられる。
カメラシステムは、2つの撮像部101を備えるステレオカメラ202を備える。右視野を撮像する撮像部101を、図2ではとくに撮像部203として示す。左視野を撮像する撮像部101を、図2ではとくに撮像部204として示す。撮像部203および204は、車両201の前方中央視野において、重なった視野を持つ。
撮像部203は、視野205を有する。撮像部204は、視野206を有する。撮像部203は、車両201の右側に、撮像部204の視野206よりも外側となる右視野を持つ。撮像部204は、車両201の左側に、撮像部204の視野205より外側となる左視野を持つ。
図3に、図2のステレオカメラ202で撮像される画像の具体例を示す。図3(a)は撮像部203によって取得される画像301を示し、図3(b)は撮像部204によって取得される画像302を示し、図3(c)はこれら2つの画像の合成画像303を示す。
画像301は右向きの撮像部203の画像であり、前方の中央近傍および右側が撮像されている。画像302は左向きの撮像部204の画像であり、前方の中央近傍および左側が撮像されている。
合成画像303は、撮像部203と撮像部204とがそれぞれ撮像した画像を合成した、左右撮像部合成画像である。合成画像303は、領域304と、領域305と、領域306とを含む。領域304は、画像302の内、画像301には写っていない視野領域に該当する部分であり、左単眼視視野である。領域305は、画像301の内、画像302には写っていない視野領域に該当する部分であり、右単眼視視野である。
領域304および305は、一つのカメラで撮像された単眼領域である。領域306は、画像301および302の両方に写っている部分であり、ステレオ視視野(距離取得領域)である。このように、撮像部203および204は、ステレオ視視野(距離取得領域)と少なくとも一部が重複する領域(画像取得領域)について、画像を取得する。
ステレオマッチング部102は、画像データの歪みを補正してもよい。たとえば、中心射影モデルや透視投影モデルを用い、同一の高さで同一の奥行距離の物体が、画像中で水平に並ぶ様に、画像データの歪を補正する。前記補正された左右双方の画像に対して(たとえば2つの撮像部101それぞれの画像に対して)ステレオマッチング処理を行う際は、1つの撮像部101の画像データ(基準画像データ)を基準として、これともう一方の撮像部101の画像データ(比較画像データ)とを比較することにより、視差を求める。
このように、本実施例では、ステレオマッチング部102が距離取得部として機能し、ステレオ視視野について、視野中に現れる対象物(たとえば路面)の距離を取得する。とくに、本実施例では、ステレオマッチング部102は複数のカメラ(撮像部203および204)を備え、ステレオマッチングを行うことにより距離を算出する。このような構成により、高価な測距手段が不要となり、コストを低減できる。
なお、本明細書において、「距離」の定義および測定方法は当業者が適切に決定可能である。たとえば、「路面の距離」とは、路面と、カメラシステムに対して特定される基準点との間の距離をいう。また、距離の起点(たとえば特定の基準点)は、撮像部203と撮像部204との中点であってもよく、車両201の特定部位(たとえば車両の前端中央)であってもよく、他の装置(測距装置等)の位置であってもよい。また、距離の測定は、たとえば算出された視差に基づいて公知の方法により実施することができる。
本実施例では、領域304および305において特定の物体を検知する。或いは、本実施例では、領域304、305および306において特定の物体を検知する。
尚、前記では中心射影モデルや透視投影モデルを用いたが、投影モデルはこれに限らない。たとえば画角が広い場合は、画像データのサイズを抑制するために、たとえば円筒や球面に射影してもよい。マッチング処理は、たとえば投影面上に同一距離の物体が並ぶ探索線に沿って行われる。
視差を求める際は、前記基準画像データと、前記比較画像データの消失点の垂直座標を合わせて、前記基準画像データの各座標に対して、前記比較画像データの同一垂直座標のどの水平座標が同一物体を映しているのかを、たとえばSSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)といった手法で検査する。
尚、前記ではSSDやSADとしたが、そのほかの手法でもよい。たとえばコーナー特徴点抽出を行い、同一特徴点かを検査する、FAST(Features from Accelerated Segment Test)や、BRIEF(Binary Robust Independent Elementary Features)などの手法を組み合わせて、同一物体のマッチング処理を行ってもよい。
路面推定部103は、ステレオマッチング部102で算出された距離に基づき、路面の位置を推定する。路面の位置の推定では、たとえばステレオマッチング部102から受け取った視差データをもとに、路面に対応する特定の視差を有する部分、点または領域が路面であると推定する。
路面推定部103は、予め撮像部101の路面からの高さや撮像部101の取り付け角度などの情報を有してもよく、路面の写る前記画像データ上の座標と距離との関係を求めて、その関係に適合する視差を生じる点が路面を表す点であると特定してもよい。
本実施例の路面推定部103では、視差を用いるとしたが、視差を用いない構成も可能である。たとえば測距結果を用いてもよく、例えばLiDAR(Light Detection and Ranging)またはミリ波レーダで測距した結果を、カメラ画像の座標とマッピングしたものを用いてもよい。
LiDARを用いる場合は、カメラとLiDARとの設置位置および向きの関係に基づき幾何変換してマッピングを行うことができる。路面推定を行う処理は、前記幾何変換の後に行われてもよく、前記幾何変換の前に行われてもよい。探索線算出部105による探索線の決定処理で用いることができるタイミングで路面を特定しておき、且前記幾何変換を施せば、テンプレートマッチング処理などで探索することが可能である。
サイズ算出部104は、テンプレートマッチング処理などの実行時に画像を切り出す枠(単眼遠方検知部107が用いる)の大きさを算出する。サイズ算出部104では、同一奥行距離の探索線において、該奥行距離に応じてサイズを算出する。すなわち、サイズ算出部104は、テンプレートサイズ決定部として機能する。
探索線算出部105は、同一の奥行距離を有する路面を表す点に基づいて、単眼遠方検知部107がテンプレートマッチング処理において用いる探索線を算出する。探索線は、画像またはその領域において、同一奥行距離となる位置に沿って延びる線である。本実施例では、画像中の路面において、カメラシステムを起点とした距離が所定の値(所定の許容度を考慮した範囲内の値である場合を含む)となる位置に沿った線である。
テンプレート探索方法決定部106は、路面の位置と、サイズ算出部104が決定した枠の大きさとに基づき、テンプレートマッチング処理(単眼遠方検知部107で実行される)の探索方法を決定する。
このようにテンプレートサイズが決定されることにより、テンプレートマッチング処理の精度が向上し、または処理負荷が低減される。
単眼遠方検知部107は、撮像部203および204が取得した画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより、対象物(たとえば特定の物体)を検知するテンプレートマッチング検知部である。
単眼遠方検知部107は、テンプレートマッチング処理により、検知したい特定の物体の特徴に当てはまるものがないかを探す。テンプレートマッチング処理は、パターンマッチング処理を含んでもよく、機械学習の辞書によるマッチング処理を含んでもよい。機械学習の辞書は、たとえばHaar Like特徴量を用いて、Adaboostにて、前記特定の物体の様々なバリエーションを学習させることにより生成することができる。この際に、単眼遠方検知部107は、テンプレート探索方法決定部106が決定した大きさの枠を用い、画像データからテンプレートマッチング処理の対象領域を切り出す。このようにして単眼遠方検知部107は該特定の物体を検出する。たとえば、対象領域の画像が前記特定の物体の画像と類似しているか否かを判定し、これによって、その対象領域に該特定の物体が写っているか否かを判定する。
前記特定の物体の探索処理では、画像上の特定の領域を切り出し、該切り出した領域の画像と、テンプレートやパターンや機械学習の辞書で表現されたモデル(またはモデル画像)とに基づき、これらの類似度を検査する。この前記切り出しでは、前記モデルを、特定の画像の大きさや角度に応じ、たとえば正規化処理等により、適切な大きさおよび角度(たとえば実際の画像に近い大きさおよび角度)に揃えると好適である。ただし、車両や歩行者や二輪車は、路面に対して大きく傾いてカメラに写ることは少ないので、角度は合っていると考えることもでき、その場合には角度を揃える処理は省略可能である。
モデルを前記適切な大きさに合わせるには、前記モデルの実際の大きさと、写っている特定の物体と撮像部101との距離と、撮像部の焦点距離および画素ピッチとが分かっていればよい。
たとえば路面において、カメラシステムからの距離が同一となる位置が水平に並んでいる場合を考える。車両、歩行者、二輪車等は、路面に接して立っているので、これらがカメラシステムから等距離にあれば、これらの下端は水平に揃う(すなわちY座標が一致する)と考えられる。また、この場合には、カメラシステムからこれらの特定の物体までの距離は、その下端に位置する路面までの距離と等しいと考えられる(なお、ここでは、鉛直線上における上下位置の差による距離の差は無視できるものと考えているが、そうでない場合には適宜変換または補正が可能である)。
前記では路面において同一の距離となる位置が水平に並んでいると想定した。このような場合には、探索線は水平の直線となる。しかしながら、路面が斜めである場合、撮像部101が傾いているような場合、画像の周辺に歪みが発生する場合、等では、同一の距離となる位置が、水平ではなく斜めに並んだり、曲線上に並んだりする場合もある。
このような場合には、路面において同一の距離となる位置を結ぶ線(探索線)を、1以上のパラメータを有するモデル関数で表される線として定義しておき、最小二乗法などでパラメータを特定して、数式またはテーブル等に基づき、具体的に探索線を決定してもよい。
このようにして、視差が得られない領域(たとえば領域304および305)についても路面の推定および探索線の決定が可能である。単眼遠方検知部107は、決定された探索線に沿って、テンプレートマッチングなどで特定の物体を探索する。たとえば、探索線を下端として枠を設定し、枠内の領域を切り抜き、該特定の物体が写っていないかを確認する。
図4に、単眼遠方検知部107による探索処理の例を示す。合成画像400は、左右の撮像部101の画像を合成したものであり、図3の合成画像303に対応する。合成画像400には路面部401が現れている。同一距離点402は、視差が互いに等しい点を表し、すなわち距離が等しい点を表す。
探索線算出部105は、画像における探索線403を、同一距離点402に基づいて特定する。探索線403の算出は、たとえば、路面の位置(または距離)に基づいて行うことができる。探索線403は、たとえば画像中の路面において距離が所定の値(所定の許容度を考慮した範囲内の値である場合を含む)となる位置に沿った線である。
枠404は、単眼遠方検知部107のテンプレートマッチング処理により特定の物体と比較するために、切り抜く画像領域の枠である。特定の物体405が、探索線403と整合する位置に現れている。
本実施例では、路面上に探索線403を作成し、探索線403上に特定の大きさの枠404を配置し、枠404の下端が探索線403に一致した状態で枠404を左右に移動させる。このように、単眼遠方検知部107によるテンプレートマッチング処理は、探索線403に沿って行われる。単眼遠方検知部107は、枠404を左右に移動させながら、異なる位置において枠404から切り抜いた画像についてテンプレートマッチング処理を行い、特定の物体と類似しているか否かを判定する。
本実施例では、テンプレートマッチング処理は、単眼領域(たとえば図3の領域304および305)において行われ、ステレオ視視野(たとえば図3の領域306)では行われない。このようにすると、テンプレートマッチング処理の回数を減らし、処理負荷を低減することができる。ただし、変形例として、ステレオ視視野の全体または一部においてテンプレートマッチング処理を行ってもよい。
いずれかの位置において、切り抜いた画像が特定の物体と類似している場合は、その位置に特定の物体が写っていると検知する。検知された特定の物体までの距離は、探索線403までの距離と等しいものと判断される。
ここで、撮像部101の向きが上下に変化する場合を考える。撮像部101の向きが上下に変化すると、路面が画像中で上下するので、所定距離にある路面の画像中での上下位置が一定せず、想定される上下動の範囲内でテンプレートマッチングを行う必要がある。
このため、従来技術では、ある大きさの枠を、上下左右に2次元的に広がる範囲内の各位置に移動させてテンプレートマッチング処理を行う必要があり、処理負荷が高くなる。
これに対し、本発明の実施例1に係る画像処理システムおよびカメラシステムによれば、路面が画像中で上下しても、路面に合わせた探索線403を設定するので、枠の移動範囲は左右方向(または探索線403に沿った1次元範囲)のみに限定され、処理負荷が低くなる。このように、カメラの向きが上下に変化する車載システムにおいても、低処理負荷で、特定の物体を検知することができる。
探索線403は複数生成してもよい。たとえば、異なる距離についてそれぞれ個別の探索線403を生成してもよく、単眼遠方検知部107は、各探索線403についてテンプレートマッチング処理を行ってもよい。このようにすると、様々な距離において、テンプレートマッチング処理により特定の物体を探索することができる。特定の物体を検知したい距離範囲が予め定まっている場合は、該距離範囲内において複数の探索線を作り、探索を行う。そうすることで、距離範囲外の不要な探索を抑制して、処理時間を短くすることができる。
複数の探索線403を設定する場合において、隣接する探索線403間の間隔は任意に設計可能である。たとえば、各探索線403は、画像上で一定の画素間隔をおいて設定されてもよいし、路面上で一定の距離間隔をおいて設定されてもよい。
ここで、ある程度の距離ずれがあってもテンプレートマッチング処理が可能である場合には、テンプレートマッチング処理の頑強度に応じて探索線403間の間隔を決定することができる。たとえば、テンプレートマッチング処理が頑強であり、探索線403の距離と特定の物体との距離とが大きく相違していても特定の物体を検出することができる場合には、隣接する探索線403間の間隔を大きく設計することができる。このようにすることで、探索線403の数を低減し、処理時間を短くすることができる。
一本の探索線403上において、テンプレートマッチング処理を行う位置の間隔(たとえば左右方向の間隔)も、同様に設計可能である。たとえば、テンプレートマッチング処理が頑強であり、枠404と特定の物体とが大きく隔たっていても特定の物体を検出することができる場合には、テンプレートマッチング処理の間隔を大きく設計することができる。このようにすることで、テンプレートマッチング処理の回数を低減し、処理時間を短くすることができる。
図5に枠404の寸法を求める方法について示す。図5は、特定の物体501と、撮像部101のレンズ502と、撮像部101の撮像センサ503(撮像素子)と、路面504とを、光軸と直交する水平方向から見た概念的な位置関係を示す。
撮像部101の焦点距離505をfとする。特定の物体501と撮像部101(より厳密にはレンズ502)との奥行距離506(距離)をZとする。画像中の高さ507(撮像センサ503上に写る特定の物体501の高さ)が求めるべき値である。特定の物体501の高さ508をhとする。
数式509は、これらのパラメータの関係を示す。数式509から、画像における枠404の高さを求めることができる。前記においては、高さについて示したが、同様に幅についても求めることができる。その場合には、高さhを幅に置き換え、画像中の高さ507を画像中の幅に置き換える。
単眼俯瞰差分検知部108は、撮像部101から画像データを含むデータを受信し、これを処理することにより画像中の物体を検知する。物体の検知は俯瞰差分方式で行われ、これによって対象物(たとえば移動体)を検知することが可能である。
俯瞰差分方式は、画像の一部(第1領域)について、異なる時刻の俯瞰画像を比較する方式である。俯瞰差分方式では、俯瞰画像の背景差分を取得してもよいし、俯瞰画像の時間差分を取得してもよい。
このような場合には、単眼遠方検知部107は、画像の一部(第2領域)においてテンプレートマッチング処理を行ってもよい。この第2領域は、第1領域とは異なる領域であってもよく、とくに、第1領域と重ならない領域であってもよい。このようにすると、単眼遠方検知部107によるテンプレートマッチング処理を一部省略することができ、処理負荷が低減される。
なお、単眼俯瞰差分検知部108は省略してもよい。
[実施例2]
本発明の実施例2について説明する。実施例2は実施例1と基本的には同じであるが、以下の点において異なる。実施例2では、車両の四面に撮像部を設置し、全周囲の検知を行える様にする。そのため撮像部の水平画角は広くとる。
本発明の実施例2について説明する。実施例2は実施例1と基本的には同じであるが、以下の点において異なる。実施例2では、車両の四面に撮像部を設置し、全周囲の検知を行える様にする。そのため撮像部の水平画角は広くとる。
図6は、実施例2に係るカメラシステムの構成の例を示すブロック図である。実施例2に係るカメラシステムは、180度を超える水平画角を撮像可能な撮像部601を備える。また、カメラシステムはステレオマッチング部602を備え、ステレオマッチング部602は、複数の撮像部601から画像を受け取り、複数の撮像部が重なる領域においてステレオマッチング処理を行う。これによって路面の距離が推定され、テンプレートマッチング処理が可能となる。
図7は、実施例2のカメラシステムが車両に取り付けられた際の、撮像部601の画角の例を示す図である。第1撮像部601は水平画角701を有する。第2撮像部601は水平画角702を有する。第3撮像部601は水平画角703を有する。第4撮像部601は水平画角704を有する。
水平画角701の左端の領域は、水平画角702の前端の領域と重なる。水平画角701の右端の領域は、水平画角703の前端の領域と重なる。水平画角704の左端の領域は、水平画角702の後端の領域と重なる。水平画角704の右端の領域は、水平画角703の後端の領域と重なる。
複数の画角が重なる領域において、実施例2のカメラシステムは、ステレオマッチング処理を行い、ステレオマッチングを行った領域において路面推定を行い、結果に基づいて同一距離に対応する視差を有する点を結んだ探索線を作成し、テンプレートマッチング処理を行う。
[実施例3]
本発明の実施例3について説明する。実施例3は実施例1と基本的には同じであるが、以下の点において異なる。実施例3では、測距センサ部を設け、測距センサ部の距離情報に基づいて路面推定を行い、探索線を決定してテンプレートマッチング処理を行う。
本発明の実施例3について説明する。実施例3は実施例1と基本的には同じであるが、以下の点において異なる。実施例3では、測距センサ部を設け、測距センサ部の距離情報に基づいて路面推定を行い、探索線を決定してテンプレートマッチング処理を行う。
図8は、実施例3に係るカメラシステムの構成の例を示すブロック図である。カメラシステムは測距センサ部801を備え、測距センサ部801は周囲の三次元の距離情報を取得することができる。測距センサ部801は、例えばLiDar(Laser Imaging Detection and Ranging)である。本実施例では、測距センサ部801が距離の測定を行う。
カメラシステムはデータ統合部802を備え、データ統合部802は、測距センサ部801から三次元距離情報を受信し、撮像部101からカメラ画像を受信して、該カメラ画像に対して座標変換された距離情報を重畳する。この重畳の処理では、三次元距離情報を、撮像部101の三次元位置を視点としたカメラ画像座標に変換して重畳する。これによって路面の距離が推定され、テンプレートマッチング処理が可能となる。
図9に、実施例3のカメラシステムを車両に取り付けた際の、測距センサ部801および撮像部101の画角の例を示す。測距センサ部801は画角901(距離取得領域)を有する。測距センサ部801は、例えば車両のフロントバンパに取り付けられる。撮像部101は画角902を有する。撮像部101は、例えば車両のフロントガラスに取り付けられる。
実施例3のカメラシステムは、テンプレートマッチング処理を、測距センサ部801の画角901の外部において行う。すなわち、撮像部101の画角902のうち、測距センサ部801の画角901と重なっていない部分のみについてテンプレートマッチング処理を行う。このようにするとテンプレートマッチング処理を行う範囲が限定され、処理負荷が低減される。
また、実施例3の変形例として、カメラシステムは、図10に示すような視野角の測距センサ部801を用いてもよい。撮像部101は画角1001を有する。測距センサ部801は画角1002(距離取得領域)を有する。
測距センサ部801の画角1002は全周囲360度に及ぶ。このため、物体の検知は測距センサ部801のみで全て行える。しかしながら、物体の種別を識別するためには距離情報だけでは不十分な場合がある。
本変形例のカメラシステムは、物体の種別(たとえば、その物体が特定の物体であるか否か)を識別するために、テンプレートマッチング処理を、測距センサ部801は画角1002内において行う。たとえば、測距センサ部801の画角1002を利用した全周囲画角の路面推定結果に基づき、撮像部101の画角1001内で探索線を決定し、探索線に沿ってテンプレートマッチング処理を行う。そうすることで、物体の種別の識別を効率的に行うことができる。
なお、本発明は上記した実施例および変形例に限定されるものではなく、これら以外にも様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、本発明は必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
101,203,204,601…撮像部
102…ステレオマッチング部(距離取得部)
103…路面推定部
104…サイズ算出部(テンプレートサイズ決定部)
105…探索線算出部
106…テンプレート探索方法決定部
107…単眼遠方検知部
108…単眼俯瞰差分検知部
201…車両
202…ステレオカメラ
301,302…画像
303,400…合成画像
401…路面部
402…同一距離点
403…探索線
404…枠
405,501…物体
502…レンズ
503…撮像センサ
504…路面
505…焦点距離
506…奥行距離
507,508…高さ
601…撮像部
602…ステレオマッチング部(距離取得部)
801…測距センサ部
802…データ統合部
本明細書で引用した全ての刊行物、特許および特許出願はそのまま引用により本明細書に組み入れられるものとする。
102…ステレオマッチング部(距離取得部)
103…路面推定部
104…サイズ算出部(テンプレートサイズ決定部)
105…探索線算出部
106…テンプレート探索方法決定部
107…単眼遠方検知部
108…単眼俯瞰差分検知部
201…車両
202…ステレオカメラ
301,302…画像
303,400…合成画像
401…路面部
402…同一距離点
403…探索線
404…枠
405,501…物体
502…レンズ
503…撮像センサ
504…路面
505…焦点距離
506…奥行距離
507,508…高さ
601…撮像部
602…ステレオマッチング部(距離取得部)
801…測距センサ部
802…データ統合部
本明細書で引用した全ての刊行物、特許および特許出願はそのまま引用により本明細書に組み入れられるものとする。
Claims (8)
- カメラシステムであって、
前記カメラシステムは、
距離取得領域について距離を取得する距離取得部と、
前記距離取得領域と少なくとも一部が重複する画像取得領域について画像を取得するカメラと、
前記画像について、テンプレートを用いてテンプレートマッチング処理を行うことにより対象物を検知する、テンプレートマッチング検知部と、
前記距離取得部で算出された距離に基づき、路面の位置を推定する路面推定部と、
前記路面の位置に基づき、前記画像における探索線を算出する、探索線算出部と
を備え、
前記探索線は、前記画像中の路面において距離が所定の値となる位置に沿った線であり、
前記テンプレートマッチング処理は、前記探索線に沿って行われる、
ことを特徴とするカメラシステム。 - 請求項1に記載のカメラシステムであって、前記距離取得部は複数のカメラを備え、ステレオマッチングを行うことにより距離を算出することを特徴とする、カメラシステム。
- 請求項2に記載のカメラシステムであって、
前記画像のうち第1領域について、異なる時刻の俯瞰画像を比較する俯瞰差分方式により対象物を検知する、俯瞰差分検知部をさらに備え、
前記テンプレートマッチング検知部は、前記画像のうち、前記第1領域とは異なる第2領域において前記テンプレートマッチング処理を行う、
ことを特徴とするカメラシステム。 - 請求項1に記載のカメラシステムであって、前記路面の位置に基づき前記テンプレートのサイズを決定する、テンプレートサイズ決定部をさらに備えることを特徴とする、カメラシステム。
- 請求項1に記載のカメラシステムであって、前記テンプレートマッチング処理は、一つのカメラで撮像された単眼領域において行われることを特徴とする、カメラシステム。
- 請求項1に記載のカメラシステムであって、前記距離取得部は、距離を測定する測距センサ部を備えることを特徴とする、カメラシステム。
- 請求項6に記載のカメラシステムであって、前記テンプレートマッチング処理を、前記距離取得領域の外部において行うことを特徴とする、カメラシステム。
- 請求項6に記載のカメラシステムであって、物体の種別を識別するために、前記テンプレートマッチング処理を、前記距離取得領域内において行うことを特徴とするカメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202080082086.0A CN114762019A (zh) | 2019-12-17 | 2020-10-09 | 摄像机*** |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-227407 | 2019-12-17 | ||
JP2019227407A JP7293100B2 (ja) | 2019-12-17 | 2019-12-17 | カメラシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021124657A1 true WO2021124657A1 (ja) | 2021-06-24 |
Family
ID=76431396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/038395 WO2021124657A1 (ja) | 2019-12-17 | 2020-10-09 | カメラシステム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7293100B2 (ja) |
CN (1) | CN114762019A (ja) |
WO (1) | WO2021124657A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023090170A1 (ja) * | 2021-11-22 | 2023-05-25 | 日立Astemo株式会社 | 画像処理装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099997A (ja) * | 2000-09-26 | 2002-04-05 | Mitsubishi Motors Corp | 動体物検出装置 |
JP2004120585A (ja) * | 2002-09-27 | 2004-04-15 | Mitsubishi Electric Corp | 車載用走行車線認識装置 |
JP2007064894A (ja) * | 2005-09-01 | 2007-03-15 | Fujitsu Ten Ltd | 物体検出装置、物体検出方法および物体検出プログラム |
WO2011090053A1 (ja) * | 2010-01-21 | 2011-07-28 | クラリオン株式会社 | 障害物検知警報装置 |
WO2016092925A1 (ja) * | 2014-12-09 | 2016-06-16 | クラリオン株式会社 | 接近車両検出装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4171282B2 (ja) * | 2002-10-25 | 2008-10-22 | 富士重工業株式会社 | 地形認識装置および地形認識方法 |
WO2006121088A1 (ja) * | 2005-05-10 | 2006-11-16 | Olympus Corporation | 画像処理装置、画像処理方法および画像処理プログラム |
JP2006318061A (ja) * | 2005-05-10 | 2006-11-24 | Olympus Corp | 画像処理装置、画像処理方法、および画像処理用プログラム |
JP4804202B2 (ja) * | 2006-04-10 | 2011-11-02 | 富士重工業株式会社 | ステレオ式監視装置 |
JP2010020710A (ja) * | 2008-07-14 | 2010-01-28 | Mazda Motor Corp | 路側固定物検出装置 |
JP2013140515A (ja) * | 2012-01-05 | 2013-07-18 | Toyota Central R&D Labs Inc | 立体物検出装置及びプログラム |
JP2013161241A (ja) * | 2012-02-03 | 2013-08-19 | Toyota Motor Corp | 物体認識装置、物体認識方法 |
JP6035774B2 (ja) * | 2012-02-24 | 2016-11-30 | 株式会社リコー | 画像処理装置、画像処理方法、及び車両 |
JP2014021017A (ja) * | 2012-07-20 | 2014-02-03 | Sanyo Electric Co Ltd | 情報取得装置および物体検出装置 |
JP2014052307A (ja) * | 2012-09-07 | 2014-03-20 | Sanyo Electric Co Ltd | 情報取得装置および物体検出装置 |
JP2014067320A (ja) * | 2012-09-27 | 2014-04-17 | Hitachi Automotive Systems Ltd | ステレオカメラ装置 |
JP6550881B2 (ja) * | 2014-07-14 | 2019-07-31 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
CN104881661B (zh) * | 2015-06-23 | 2018-02-13 | 河北工业大学 | 基于结构相似度的车辆检测方法 |
JP6548518B2 (ja) * | 2015-08-26 | 2019-07-24 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
JP6623044B2 (ja) * | 2015-11-25 | 2019-12-18 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
JP2017167970A (ja) * | 2016-03-17 | 2017-09-21 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
CN106228110B (zh) * | 2016-07-07 | 2019-09-20 | 浙江零跑科技有限公司 | 一种基于车载双目相机的障碍物及可行驶区域检测方法 |
CN109631829B (zh) * | 2018-12-17 | 2022-05-27 | 南京理工大学 | 一种自适应快速匹配的双目测距方法 |
-
2019
- 2019-12-17 JP JP2019227407A patent/JP7293100B2/ja active Active
-
2020
- 2020-10-09 WO PCT/JP2020/038395 patent/WO2021124657A1/ja active Application Filing
- 2020-10-09 CN CN202080082086.0A patent/CN114762019A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099997A (ja) * | 2000-09-26 | 2002-04-05 | Mitsubishi Motors Corp | 動体物検出装置 |
JP2004120585A (ja) * | 2002-09-27 | 2004-04-15 | Mitsubishi Electric Corp | 車載用走行車線認識装置 |
JP2007064894A (ja) * | 2005-09-01 | 2007-03-15 | Fujitsu Ten Ltd | 物体検出装置、物体検出方法および物体検出プログラム |
WO2011090053A1 (ja) * | 2010-01-21 | 2011-07-28 | クラリオン株式会社 | 障害物検知警報装置 |
WO2016092925A1 (ja) * | 2014-12-09 | 2016-06-16 | クラリオン株式会社 | 接近車両検出装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023090170A1 (ja) * | 2021-11-22 | 2023-05-25 | 日立Astemo株式会社 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2021096638A (ja) | 2021-06-24 |
CN114762019A (zh) | 2022-07-15 |
JP7293100B2 (ja) | 2023-06-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200364896A1 (en) | Trailer assist system with estimation of 3d location of hitch | |
CN109831660B (zh) | 深度图像获取方法、深度图像获取模组及电子设备 | |
US10909395B2 (en) | Object detection apparatus | |
US11679635B2 (en) | Vehicular trailer hitching assist system with coupler height and location estimation | |
US7899211B2 (en) | Object detecting system and object detecting method | |
US6956469B2 (en) | Method and apparatus for pedestrian detection | |
US8917929B2 (en) | Image processing apparatus, method, program, and recording medium | |
US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
US20130129148A1 (en) | Object detection device, object detection method, and program | |
KR101551026B1 (ko) | 차량 검출 방법 | |
US20200068186A1 (en) | Stereo camera | |
US20150248594A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
US20110187828A1 (en) | Apparatus and method for obtaining 3d location information | |
KR101739394B1 (ko) | 이종 화각의 스테레오 카메라를 이용한 객체 거리 추정 장치 및 그 방법 | |
US20180276844A1 (en) | Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device | |
CN112069862A (zh) | 目标检测方法和装置 | |
US20200193184A1 (en) | Image processing device and image processing method | |
WO2021124657A1 (ja) | カメラシステム | |
JP2001266128A (ja) | 奥行き情報取得方法,装置および奥行き情報取得プログラムを記録した記録媒体 | |
JP6602286B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR102065337B1 (ko) | 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법 | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
KR20170119167A (ko) | 도로 상의 객체를 검출하기 위한 객체 검출 시스템 및 방법 | |
JPH09145368A (ja) | ステレオ画像による物体の移動追跡方法 | |
TW202311781A (zh) | 障礙物偵測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20902126 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20902126 Country of ref document: EP Kind code of ref document: A1 |