WO2017212992A1 - 物体距離検出装置 - Google Patents

物体距離検出装置 Download PDF

Info

Publication number
WO2017212992A1
WO2017212992A1 PCT/JP2017/020197 JP2017020197W WO2017212992A1 WO 2017212992 A1 WO2017212992 A1 WO 2017212992A1 JP 2017020197 W JP2017020197 W JP 2017020197W WO 2017212992 A1 WO2017212992 A1 WO 2017212992A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
distance detection
distance
search range
search
Prior art date
Application number
PCT/JP2017/020197
Other languages
English (en)
French (fr)
Inventor
佐々本　学
野中　進一
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Priority to EP17810171.3A priority Critical patent/EP3470780A4/en
Priority to US16/097,366 priority patent/US11029150B2/en
Priority to CN201780017942.2A priority patent/CN109196304B/zh
Publication of WO2017212992A1 publication Critical patent/WO2017212992A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an object distance detection device.
  • Patent Document 1 proposes a technique for reducing a calculation time and detecting an increase in circuit scale in distance detection using a stereo camera.
  • Patent Document 1 describes that the search range in the upper region is narrower than the disparity search range in the lower region of the screen when there is no nearby object below.
  • Patent Document 1 can reduce the calculation load when there is no object to be detected in the lower area of the screen.
  • an object to be detected exists in the vicinity, and there are many cases where the search range of the upper area of the screen cannot be narrowed, and there is a possibility that the calculation load cannot be reduced efficiently.
  • an object of the present invention is to provide an object distance detection device that can achieve both improvement in object detection accuracy and reduction in calculation load.
  • the present invention provides a plurality of imaging units, an object information acquisition unit that acquires object information including distance information of an object, and a specific image element in a reference image captured by one of the plurality of imaging units.
  • a search condition setting unit for setting a condition for searching for a corresponding image element in a reference image captured by another imaging unit, and performing the search based on the condition set by the search condition setting unit,
  • a stereo distance detection unit that detects the distance of the object based on parallax obtained by the search, and the search condition setting unit sets a search range when performing the search based on detection information of the object To do.
  • the present invention can provide an imaging apparatus capable of achieving both improvement in object detection accuracy and reduction in calculation load.
  • FIG. 1 is a diagram showing a configuration of an embodiment of an imaging apparatus of the present invention.
  • Reference numeral 1 denotes an imaging apparatus according to the present embodiment, which is mounted in front of a vehicle, for example, and is configured as a part of a safety system that assists the driver by recognizing signals, signs, obstacles, and the like.
  • Reference numerals 101 and 102 denote image pickup units, and optical lenses are attached to the image sensor. These image capturing units repeatedly capture one image at a predetermined timing, and output the captured image.
  • the imaging unit 101 and the imaging unit 102 are installed at a predetermined distance from each other to the left and right, and the distance to the subject can be calculated from a shift between images captured by the imaging unit 101 and the imaging unit 102, that is, parallax.
  • the imaging units 101 and 102 may be housed together in a housing separate from other components.
  • the imaging units 101 and 102 may be housed in separate housings and attached to the vehicle.
  • the image signal may be connected by a connection cable (not shown).
  • a transmission method using a differential transmission path of an LVDS (Low Voltage Differential Signaling) method there is a transmission method using a differential transmission path of an LVDS (Low Voltage Differential Signaling) method.
  • LVDS Low Voltage Differential Signaling
  • the image sensors of the imaging unit 101 and the imaging unit 102 as color image sensors, it is possible to acquire color information of the captured image.
  • Reference numeral 103 denotes an image correction unit that takes in images from the imaging units 101 and 102, corrects them with correction values measured in advance so as to match the luminance of the respective images, and further corrects image distortion by the lens and captures images. This is also corrected with a correction value measured in advance so that the horizontal positions of the images of the units 101 and 102 are matched.
  • the correction value is measured in the manufacturing process of the imaging device. For each device before applying the correction value, capture a specific subject, and correct the luminance correction value for each pixel so that the luminance of the acquired image is uniform, and cancel the lens distortion for each pixel so that the image becomes horizontal.
  • a geometric correction value is obtained and stored as a correction table in a nonvolatile memory (not shown) for each device, for example.
  • the object information acquisition unit 104 is an object information acquisition unit that acquires object information including distance information of the object.
  • the object information acquisition unit 104 detects an object from an image acquired by at least one of the plurality of imaging units, and detects the distance of the object. That is, since the object information acquisition unit 104 detects an object by monocular processing, it can be called a monocular distance detection unit.
  • the object information acquisition unit 104 can also be identified as the first distance detection unit from the relationship with the stereo distance detection unit described later.
  • the object information acquisition unit 104 inputs the image of the imaging unit 101 or the imaging unit 102 and detects the region and distance of the object.
  • a method for detecting an object for example, there are the following methods.
  • the object information acquisition unit 104 captures an image of either the image capturing unit 101 or the image capturing unit 102, and detects an assumed traffic signal, road sign, or the like in the captured image.
  • this detection method for example, there is a method of detecting an object such as a traffic signal or a road sign from the similarity between the luminance distribution and edge shape information in the image and the pattern data held as reference data. . Thereby, the object in the image and its position on the screen can be grasped.
  • the object information acquisition unit 104 can roughly detect the distance based on the height and size of the detected object on the screen, for example.
  • the object information acquisition unit 104 outputs the detection result to a processing region setting unit 106 and a search range setting unit 107 described later.
  • the stereo distance detection unit 105 is a stereo distance detection unit as another distance detection unit (that is, a second distance detection unit), and detects an object distance by inputting an image from the image correction unit 103. For example, there are the following methods for detecting the distance.
  • the stereo distance detection unit 105 takes in the image from the image correction unit 103 and calculates the parallax.
  • the image capturing unit 101 and the image capturing unit 102 are installed to be separated from each other at a predetermined distance, the captured image has parallax.
  • a so-called stereo process for calculating the parallax is performed.
  • a parallax calculation method for example, there is a block matching method.
  • the stereo distance detection unit 105 performs distance detection on an area of an image designated by a processing area setting unit 106 described later, for example, among images from the image correction selection unit 103. Specifically, first, an area where the same subject on the image of the imaging unit 102 corresponding to a block area of a predetermined size cut out from a specified image area of the imaging unit 101 is displayed in the horizontal direction by 1 Search by shifting pixel by pixel. At that time, as a search range in the horizontal direction, a search is performed for the search range for the number of pixels specified by the search range setting unit 107 described later. The difference between the positions of the matching block areas in the imaging unit 101 and the imaging unit 102 is parallax.
  • the distance in the real environment of the object shown in the block area can be obtained.
  • a block area is used as an image element whose distance is to be obtained.
  • a position where the sum of luminance differences of pixels in the block region is reduced is set as a parallax.
  • the detected distance can be obtained from the lens focal length of the imaging unit 101, the imaging unit 102, the distance between the imaging unit 101 and the imaging unit 102, the parallax obtained above, and the pixel pitch of the imaging sensor.
  • the method for calculating the distance is not limited to this.
  • the image element that is a target for obtaining the distance is not limited to the above-described block region, and individual pixels constituting the imaging sensor may be employed.
  • Reference numeral 110 denotes a search condition setting unit. An image element corresponding to a specific image element in a reference image captured by one of the plurality of image capturing units by the stereo distance detecting unit 105 is displayed by another image capturing unit. Sets conditions for searching in a reference image to be photographed.
  • the search condition setting unit 110 includes a processing area setting unit 106 and a search range setting unit 107 which will be described later.
  • Reference numeral 106 denotes a processing region setting unit that designates a region of an image whose distance is detected by a stereo distance detection unit 105 (to be described later) based on the result of the object information acquisition unit 104. Specify the position of the image to be recognized.
  • 107 is a search range setting unit that sets a search range for detecting a distance in the stereo distance detection unit 105 based on the result of the object information acquisition unit 104.
  • the stereo distance detection unit 105 performs the above-described distance detection for a specified region in the image from the correction unit 103 and outputs the result to the recognition unit 108 described later. This makes it possible to limit the distance detection area and search range by the distance stereo distance detection unit 105, and avoid an increase in processing load.
  • a recognition unit 108 receives the detection result from the stereo distance detection unit 105 and the region designation from the processing region setting unit 106, recognizes the object on the image, and outputs the recognition result information to the outside of the imaging apparatus 1. .
  • the object is recognized based on the distance information of the area designated by the processing area setting unit 106 obtained by the stereo distance detecting unit 105.
  • the method of recognizing objects is, for example, when distance information indicating almost the same distance exists nearby, group them as one set, and when the size of the group is more than a certain value, the group is regarded as an object . And it detects that it is a vehicle or a pedestrian, for example based on the magnitude
  • the distance of an object ahead of the host vehicle can be obtained with high accuracy, and is used as information for collision avoidance such as deceleration or stop of the host vehicle.
  • the imaging units 101 and 102, the image correction unit 103, and the stereo distance detection unit 105 in the dotted frame 12 are configured by electronic circuits, and other components are software processing by a microcomputer (not shown). Realized.
  • FIG. 2 is a diagram showing an example of a captured image captured by an embodiment of the imaging apparatus of the present invention.
  • reference numeral 1001 indicates a captured image captured by the image capturing unit 101 and corrected by the correcting unit 103
  • reference numeral 1002 indicates a captured image captured by the image capturing unit 102 and corrected by the correcting unit 103.
  • Reference numerals 202, 203, and 204 denote subjects.
  • Reference numerals 201 and 208 denote common imaging areas that are areas that are commonly imaged among the captured image 1001 and the captured image 1002. As described above, there is a shift in the area that is commonly captured between the captured image 1001 and the captured image 1002, and the distance of the subject is calculated based on the shift amount, that is, the parallax.
  • FIG. 3 is a diagram illustrating an example of a captured image and area control captured by an embodiment of the imaging apparatus of the present invention.
  • 201 indicates a region that is imaged in common with the image captured by the imaging unit 102 as described above, among the captured images captured by the imaging unit 101 and corrected by the correction unit 103.
  • the processing areas 205, 206, and 207 are processing areas designated by the processing area setting unit 106 in the captured image 201, and the processing areas 205, 206, and 207 are processing areas where the stereo distance detection unit 105 performs distance detection processing. It is. That is, the processing areas 205, 206, and 207 are detected from the pedestrian 202, the oncoming vehicle 203, and the traffic signal 204 and the rough distance detection process in the object information acquisition unit 104, respectively.
  • 106 a region of a part of the common imaging region in which the region is designated. In this region, the stereo distance detection unit 105 has a distance with respect to image elements in the partial region within the region. It is calculated based on the parallax between.
  • FIG. 4 is a diagram illustrating an example of a relationship between distance and parallax and an example of a search range setting method by the search range setting unit 107 according to an embodiment of the imaging apparatus of the present invention.
  • the parallax is expressed in units of pixels, and indicates a shift amount of an image captured by the image capturing unit 102 from an image captured by the image capturing unit 101 described above. For example, when the pedestrian 202 described above is detected as about 5 m in the object information acquisition unit 104, the parallax at that time is 60 pixels from the same figure. Therefore, the search range setting unit 107 sets a range from 50 pixels to 70 pixels centering on 60 pixels as the search range of the distance of the pedestrian 202 with respect to the processing region 205.
  • the search range is 25 to 40 pixels, and 1 to 10 pixels, respectively. Set each pixel.
  • the processing load can be minimized by expanding the set search range and performing search processing for the widened range. For example, it is assumed that a roadside person poster or the like is erroneously detected as a person and the object information acquisition unit 104 detects a distance different from the actual distance.
  • FIG. 5 is a diagram showing the processing timing of an embodiment of the imaging apparatus of the present invention.
  • (5-1) shows the processing timing of the object information acquisition unit 104
  • (5-2) shows the processing timing of the stereo distance detection unit 105.
  • the object information acquisition unit 104 performs object detection and rough object distance detection processing as described above.
  • the stereo distance detection unit 105 determines the distance for each processing region designated by the search range setting unit 107. Detection is performed. By performing processing from an area including an object close to the host vehicle as the processing order, the subsequent recognition unit 108 can recognize the information more quickly and ensure safety.
  • the distance detection process in the stereo distance detection unit 105 is performed only for the designated necessary processing area with the minimum necessary search range in each processing area. There is no need to search the entire range for the area, and the processing load can be reduced.
  • FIG. 6 is a diagram showing a processing flow of an embodiment of the imaging apparatus of the present invention.
  • S represents a step.
  • Each captured image is subjected to luminance correction, lens distortion correction, and horizontal alignment as described above by the image correction unit 103 (S602).
  • the object information acquisition unit 104 detects the object and its approximate distance (S603).
  • the processing region setting unit 106 outputs region information to be processed from the detected position information of the object to the stereo distance detection unit 105 (S604), and the search range setting unit 107 detects the detected region information. From the distance information of the object, the search range to be searched in the area including the object is determined and output to the stereo distance detection unit 105 (S605).
  • the stereo distance detection unit 105 detects a detailed distance in each search range in each designated region (S406).
  • the recognition unit 108 performs object recognition processing based on the object distance detection result in each processing region, and outputs the recognition result (S607). These processes are repeated for each frame, for example.
  • FIG. 7 is a diagram showing an example of a captured image and a recognition result in an embodiment of the imaging apparatus of the present invention.
  • Reference numeral 701 denotes an image captured by the imaging unit 101 at a certain point in time, and the imaging unit 102 also captures and acquires a substantially similar image.
  • Reference numerals 702, 703, and 704 are object recognition results, and the frame and distance display in the image are not shown in the captured image but are explicitly shown superimposed on the image.
  • the pedestrian 202 detected from the processing area 205 is at a distance of 5.2 m
  • the oncoming vehicle 203 detected from the processing area 206 is at a distance of 53.1 m
  • the traffic signal 204 of the processing area 207 is at a position of 19.7 m. Is detected.
  • an object and its distance are roughly detected from the captured image, and an accurate distance detection process is performed on the area including the object by limiting the search range of the distance based on the result.
  • Overall object recognition is possible without increasing the processing load.
  • FIG. 8 is a diagram showing the configuration of another embodiment of the imaging apparatus of the present invention.
  • the imaging apparatus 1 is mounted on a vehicle such as an automobile, and reference numeral 801 in the figure denotes a vehicle control unit.
  • the output of the recognition unit 108 is input to the vehicle control unit 801.
  • the recognition unit 108 includes a road surface detection unit 1081 that detects a road surface part as a road surface region by separating it from other objects from distance information in the captured image, and outputs the region to the object information acquisition unit 104.
  • the recognition unit 108 includes a travel route prediction unit 1082 that inputs vehicle information such as a vehicle speed and a steering angle, predicts the travel route of the host vehicle, and outputs it to the object information acquisition unit 104.
  • the object information acquisition unit 104 inputs the road surface information detected by the road surface detection unit 1081, processes objects on the road surface with priority, the processing region setting unit 106, the search range setting unit 107, and the stereo distance detection unit 105. Thus, by detecting the accurate distance and recognizing it by the recognizing unit 108, it is possible to quickly recognize the obstacle of the host vehicle and maintain safe traveling. Further, the object information acquisition unit 104 preferentially processes an object on the route to be traveled from the travel route prediction unit 1082, recognizes an obstacle on the travel route of the host vehicle as described above, Safe driving can be realized.
  • the search range setting unit 107 inputs the vehicle speed of the host vehicle. For example, when the speed is high, the search range is set wide, and when the speed is low, the search range setting unit 107 sets the search range narrowly. It can be done reliably.
  • the processing area setting unit 106 sets the processing area 901 that is the entire image as the processing area, and at this time, the search control unit 50 to 70 pixels centering on 60 pixels as described above. Is set as a search range, and the proximity distance of the host vehicle, for example, 2 m to 10 m, is detected, so that the entire screen can be targeted for distance detection in the vicinity of the host vehicle. Can enhance sex.
  • the object information acquisition unit 104 processes a plurality of adjacent objects, for example, collectively, the processing region setting unit 106 sets it as one region, and the search range setting unit 107 detects and collects the object information acquisition unit 104.
  • the search range including the distances of objects within a single region, it is possible to cope with the case where there are many objects.
  • Vehicle control includes lighting of warning lamps for drivers, detection of warning sounds, deceleration by brake braking, stop control, stop control, and tracking of preceding vehicles. These include throttle and brake control, and other steering angle controls for collision avoidance and lane keeping.
  • the vehicle control information is output from the imaging device 1 to another device (not shown) via the in-vehicle network.
  • FIG. 8 illustrates an example in which the vehicle control unit 801 is housed in the same housing as the imaging device 1, but the present invention is not limited to this, and the imaging units 101 and 102 may be separate housings as described above. .
  • FIG. 10 is a diagram showing the configuration of still another embodiment of the imaging apparatus of the present invention.
  • Reference numeral 901 denotes a network imaging unit
  • reference numeral 903 denotes a LAN (Local Area Network)
  • reference numeral 904 denotes a control unit.
  • the network imaging unit 901 is connected to the control unit 904 via the LAN 903.
  • Reference numeral 902 denotes an image compression / interface unit
  • 905 denotes a network interface unit
  • 906 denotes an image expansion unit.
  • the image captured by the image capturing unit 101 and the image capturing unit 102 is subjected to brightness correction, lens distortion correction, and horizontal alignment in the image correction unit 103.
  • the image compression / interface unit 902 compresses the image from the image correction unit 103 and transmits it to the LAN 903.
  • an image compression method there is a method using an in-screen compression method in which compression is performed within one image without using temporal correlation of a plurality of images in order to reduce processing time. Also, the video compression encoding method may be selected and switched.
  • the image compression / interface unit 902 generates compressed encoded data and transmits the data according to a predetermined network protocol.
  • the image correction unit 103 performs processing in the previous stage of the image compression / interface unit 902 so as to correct the lens distortion and then compress the image. You may provide in the back
  • the network interface unit 905 receives the compressed image data via the LAN 903.
  • the compressed image data received by the network interface unit 905 of the control unit 904 is decompressed to the original image by the image decompression unit 906, and the processing area setting unit 106 and the search range setting for the object detected by the object information acquisition unit 104.
  • the unit 107 performs the above-described processing. The subsequent processing is as described above.
  • the amount of processing on the imaging unit side can be reduced, the imaging unit side is lighter, the power consumption is reduced, and the housing is reduced. Therefore, it becomes possible to reduce the dimensional limitation on the vehicle installation.
  • FIG. 11 is a diagram showing the configuration of another embodiment of the present invention.
  • the input information of the object information acquisition unit 104 is obtained from a sensor that is configured by other than the imaging units 101 and 102 and that can obtain distance information.
  • the input information is information obtained from a sensor such as a radar or an infrared sensor (not shown), and the distance of the object in the target range can be obtained.
  • the subsequent operation is as described above.
  • this invention is not limited to an above-described Example, Various modifications are included.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations may be configured such that a part or all of the configuration is configured by hardware, or is realized by executing a program by a processor.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all the control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • DESCRIPTION OF SYMBOLS 1 ... Imaging device, 101-102 ... Imaging part, 103 ... Image correction part, 104 ... Object information acquisition part, 105 ... Stereo distance detection part, 106 ... Processing area setting part, 107 ... Search range setting part, 108 ... Recognition part , 201 ... Common imaging area, 202 to 204 ... Subject, 205 to 207 ... Processing area, 702 to 704 ... Recognition result, 801 ... Vehicle control section, 901 ... Network imaging section, 902 ... Image compression / interface section, 903 ... LAN 904, a control unit, 905, a network interface unit, 906, an image expansion unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる撮像装置を提供することを目的とする。　本発明は、複数の撮像部と、物体の距離情報を含む物体情報を取得する物体情報取得部と、前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、を備え、前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定する。

Description

物体距離検出装置
　本発明は、物体距離検出装置に関する。
　本技術分野の背景技術として、例えば特許文献１には、ステレオカメラによる距離検出における演算時間の低減、および回路規模の増大を抑える手法が提案されている。
　具体的には、特許文献１では、画面下方領域での視差探索範囲に対し、上方領域の探索範囲を、下方に近傍物体がない場合は狭くすることが述べられている。
特開２０１３－１７４４９４号公報
　特許文献１に記載の技術は、画面下方領域に検知対象となる物体がない場合には演算負荷を低減することができる。しかし、通常、検知対象となる物体は、近傍に存在し、画面上方領域の探索範囲を狭くできない場合が多く生じ、演算負荷を効率的に低減することができないおそれがある。
　そこで、本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる物体距離検出装置を提供することを目的とする。
　本発明は、複数の撮像部と、物体の距離情報を含む物体情報を取得する物体情報取得部と、前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、を備え、前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定する。
　本発明は、物体検知精度の向上と演算負荷の低減を両立させることができる撮像装置を提供することができる。
本発明の実施例における撮像装置の構成を示す図である。 本発明の実施例で撮像される撮像画像の一例を示す図である。 本発明の実施例で撮像される撮像画像と領域制御の一例を示す図である。 本発明の実施例で指定される探索範囲の指定方法の一例を示す図である。 本発明の実施例における撮像装置の処理タイミングを示す図である。 本発明の実施例における撮像装置の処理フローを示す図である。 本発明の実施例における撮影画像と認識結果の一例を示す図である。 本発明の実施例における領域制御の他の例を示す図である。 本発明の実施例における撮影画像と認識結果の一例を示す図である。 本発明の別の実施例における撮像装置の構成を示す図である。 本発明のさらに別の実施例における撮像装置の構成を示す図である。
　以下、図面を用いて本発明の実施形態を説明する。
　図１は、本発明の撮像装置の一実施例の構成を示す図である。１は本実施例の撮像装置であり、例えば車両の前方に搭載され、信号や標識、障害物などを認識して運転者を支援する安全システムの一部として構成するものである。
　１０１、１０２は撮像部であり、画像センサに光学レンズが装着されている。これらの撮像部は、所定のタイミングで１枚の画像の撮像を繰り返し、撮像した画像を出力する。
撮像部１０１と撮像部１０２は、所定の距離で左右に離れて設置され、撮像部１０１と撮像部１０２で撮影した画像のずれ、いわゆる視差から、被写体までの距離を算出できる。
　なお、図１では撮像装置１の構成要素が同一の筐体に収められる例を示したが、例えば撮像部１０１、１０２を、他の構成要素とは別の筐体にまとめて収めてもよいし（同図点線枠１１）、撮像部１０１、１０２をそれぞれ別の筐体に収めて車両に取り付けてもよい。その場合、画像信号は図示しない接続ケーブルで接続すればよい。接続ケーブルを用いて画像を伝送する方法としては、ＬＶＤＳ（Ｌｏｗ　Ｖｏｌｔａｇｅ　Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｓｉｇｎａｌｉｎｇ）方式の差動伝送路を用いた伝送方法などがある。
　また、撮像部１０１と撮像部１０２の画像センサをカラー画像センサとすることで、撮像した画像の色情報を取得することが可能になる。
　１０３は画像補正部であり、撮像部１０１、１０２からの画像を取り込み、それぞれの画像の輝度を合わせるように予め計測されている補正値で補正し、さらにレンズによる画像の歪の補正と、撮像部１０１、１０２の画像の水平位置を合わせるようにこれも予め計測されている補正値で補正する。補正値の計測は、撮像装置の製造工程で行われる。補正値適用前の装置毎で、特定の被写体を撮像し、取得した画像の輝度が均一になるような画素毎の輝度補正値、およびレンズ歪を打ち消し、画像が水平になるような画素毎の幾何補正値を求め、それぞれ補正テーブルとして、装置毎に例えば図示しない不揮発性メモリに保存しておく。
　１０４は物体情報取得部であり、物体の距離情報を含む物体情報を取得する。本実施形態では、物体情報取得部１０４は、前記複数の撮像部の少なくとも一つで取得した画像から物体を検出し、前記物体の距離を検出する。即ち、物体情報取得部１０４は、単眼処理により物体を検出することから、単眼距離検出部と呼ぶことができる。また、物体情報取得部１０４は、後述するステレオ距離検出部との関係から、第１の距離検出部と特定することもできる。
　物体情報取得部１０４は、撮像部１０１または撮像部１０２のどちらの画像を入力して物体の領域と距離を検出する。物体を検出する方法としては、例えば次のような方法がある。物体情報取得部１０４は、撮像部１０１または撮像部１０２のどちらかの画像を取り込み、取り込んだ画像の中で、想定している交通信号や道路標識などを検出する。この検出方法としては、例えば、画像の中で輝度分布やエッジの形状情報と、参照データとして保持しているパタンデータとの類似量から交通信号や道路標識などの物体を検出する方法などがある。これにより、画像中の物体とその画面上の位置が把握できる。さらに、物体情報取得部１０４は、例えば検出した物体の画面上の高さと大きさにより、その距離を大まかに検出することができる。物体情報取得部１０４は、この検出結果を後述の処理領域設定部１０６、および探索範囲設定部１０７に出力する。
　１０５はもう一つの距離検出部（即ち、第２の距離検出部）としてのステレオ距離検出部であり、画像補正部１０３からの画像を入力して被写体の距離を検出する。距離を検出する方法として例えば次のような方法がある。ステレオ距離検出部１０５は、画像補正部１０３からの画像を取り込み、視差の算出を行う。前述のように、撮像部１０１と撮像部１０２は所定の距離で左右に離れて設置されているので、撮像した画像は視差を持つ。この視差を算出するいわゆるステレオ処理を行う。視差の算出手法としては、例えば、ブロックマッチング方式がある。ステレオ距離検出部１０５は、例えば画像補正選択部１０３からの画像のうち、後述の処理領域設定部１０６により指定された画像の領域について距離検知を行う。具体的には、まず、撮像部１０１の指定された画像領域上から小さく切出した所定のサイズのブロック領域に対応する、撮像部１０２の画像上の同じ被写体が映っている領域を水平方向に１画素ずつずらしていき探索する。その際、水平方向への探索範囲として、後述の探索範囲設定部１０７により指定された画素数分の探索範囲について探索を行う。そして撮像部１０１と撮像部１０２における一致したブロック領域の位置の差が視差となる。この視差を用いてブロック領域に映っている対象物の実環境での距離を求めることができる。なお、この例は、距離を求める対象となる画像要素として、ブロック領域を採用したものである。一致比較の手法としては、例えば、ブロック領域内の画素の輝度の差分の総和が小さくなった位置を視差とする。なお、検出される距離は、撮像部１０１、撮像部１０２のレンズ焦点距離、撮像部１０１と撮像部１０２の距離、上記で求めた視差、および撮像センサの画素ピッチから求められることは公知である。ただし、距離の算出方法はこれに限定するものではない。また、距離を求める対象となる画像要素として、上述のブロック領域に限られず、撮像センサを構成する個々の画素を採用してもよい。
　１１０は、探索条件設定部であり、ステレオ距離検出部１０５により、前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する。具体的には、探索条件設定部１１０は、後述する処理領域設定部１０６と探索範囲設定部１０７とを備える。
　１０６は、処理領域設定部であり、物体情報取得部１０４の結果に基づいて、後述のステレオ距離検出部１０５において距離を検出する画像の領域を指定し、また、後述の認識部１０８において物体を認識する画像の位置を指定する。
　１０７は、探索範囲設定部であり、物体情報取得部１０４の結果に基づいて、ステレオ距離検出部１０５において距離を検出するための探索範囲を設定する。
　ステレオ距離検出部１０５は、補正部１０３からの画像の内、指定された領域について、前述の距離検出を行い、その結果を後述の認識部１０８に出力する。これにより、距離ステレオ距離検出部１０５による距離検出の領域および探索範囲を限定することが可能となり、処理負荷の増大を回避できる。
　１０８は認識部であり、ステレオ距離検出部１０５からの検出結果と処理領域設定部１０６からの領域指定を受け取り、画像上物体の認識を行い、認識結果の情報を撮像装置１の外部へ出力する。ステレオ距離検出部１０５で求めた、処理領域設定部１０６で指定された領域の距離情報に基づいて物体を認識する。物体を認識する方法は、例えば、ほぼ同一の距離を示す距離情報が近くに存在する場合、それらを一つの集合としてグループ化し、そのグループの大きさが一定以上のときにそのグループを物体とみなす。そして、検出したグループの大きさと形状に基づき、例えば車両や歩行者であることを検出する。物体の大きさや形状は、参照データとしてあらかじめ保持しているパタンデータとの比較から検出する方法がある。この処理方式によれば、自車両から前方の物体たとえば歩行者や車両の距離が精度よく得られるので、自車両の減速や停止などの衝突回避のための情報として用いられる。
　なお、撮像装置１は、例えば点線枠１２内の撮像部１０１、１０２、画像補正部１０３、ステレオ距離検出部１０５は電子回路で構成され、それ以外の構成要素は図示しないマイコンなどによるソフトウェア処理で実現される。
　図２は、本発明の撮像装置の一実施例で撮像される撮像画像の一例を示す図である。同図中、１００１は撮像部１０１で撮像され、補正部１０３で補正された撮像画像を、１００２は、撮像部１０２で撮像され、補正部１０３で補正された撮像画像を示す。２０２、２０３、２０４は被写体である。
　また、２０１、２０８は、撮像画像１００１および撮像画像１００２のうち共通して撮像されている領域である共通撮像領域を示す。前述のように撮像画像１００１と撮像画像１００２の間には、共通して撮像されている領域のずれがあり、このずれ量すなわち視差により、被写体の距離を算出する。
　図３は、本発明の撮像装置の一実施例で撮像される撮像画像と領域制御の一例を示す図である。同図中２０１は、例えば撮像部１０１で撮像され、補正部１０３で補正された撮像画像のうち、前述のように撮像部１０２で撮像された画像と共通して撮像されている領域を示す。
　２０５、２０６および２０７は撮像画像２０１のうち、処理領域設定部１０６で指定された処理領域であり、処理領域２０５、２０６、２０７は、ステレオ距離検出部１０５にて距離検出処理が行われる処理領域である。即ち、処理領域２０５、２０６、２０７は、それぞれ物体情報取得部１０４において歩行者２０２、対向車２０３、交通信号２０４の検出とその粗い距離検出処理が行われた後、その結果から処理領域設定部１０６によって領域を指定した、共通撮像領域のうちの一部分の領域であり、この領域では、ステレオ距離検出部１０５において該領域内で該一部領域内の画像要素についての距離が前記複数の撮影画像間の視差に基づいて算出される。
　図４は、本発明の撮像装置の一実施例の距離と視差の関係、および探索範囲設定部１０７による探索範囲の設定方法の一例を示す図である。視差は画素の単位で表され、前述の撮像部１０１で撮影された画像から撮像部１０２で撮影された画像のずれ量を示す。例えば前述の歩行者２０２が、物体情報取得部１０４において約５ｍと検出された場合、その際の視差としては、同図から６０画素となる。従って、探索範囲設定部１０７は、歩行者２０２の距離の探索範囲として、６０画素を中心に５０画素から７０画素の範囲を処理領域２０５に対して設定する。同様に、交通信号２０４、対向車２０３の領域である処理領域２０７、２０６に対し、それぞれ約２０ｍ、約５０ｍと距離が検出された場合、探索範囲として、２５画素から４０画素、１画素から１０画素をそれぞれ設定する。これにより、各処理領域において、物体情報取得部１０４で検出した距離を中心に、限られた画素数の範囲の視差を探索すればよく、処理負荷が軽減される。また、設定した探索範囲では、距離が検出できなかった場合は、設定した探索範囲を広げて、広げた範囲の探索処理をすることで処理負荷を最小限に抑えることができる。例えば、沿道の人物ポスターなどを人物として誤って検出し、物体情報取得部１０４が実際の距離とは異なる距離と検出してしまう場合などが想定される。
　図５は、本発明の撮像装置の一実施例の処理タイミングを示す図である。同図中、（５－１）は物体情報取得部１０４の処理タイミングを、（５－２）はステレオ距離検出部１０５の処理タイミングを示す。
　（５－１）では、撮像画像２０１について、物体情報取得部１０４にて物体検出と前述のように物体の粗い距離検出処理が行われる。また、（５－２）では、処理領域設定部１０６の指定するそれぞれの処理領域２０５，２０６，２０７について、探索範囲設定部１０７の指定する各処理領域の探索範囲についてステレオ距離検出部１０５において距離検出が行われる。処理の順番として、自車両から近い物体を含む領域から処理をすることで、後続の認識部１０８でより早く認識が可能となり、安全性を確保することができる。
　このように、ステレオ距離検出部１０５における距離検出処理は、指定された必要な処理領域についてのみ、それぞれの処理領域において必要最小限の探索範囲で距離検出処理が行われるので、撮像した画像の全領域について全範囲の距離探索をする必要はなく、処理の負荷が低減できる。
　図６は、本発明の撮像装置の一実施例の処理フローを示す図である。まず、撮像部１０１および１０２により画像を撮影する（Ｓ６０１：Ｓはステップを表す）。撮影したそれぞれの画像は、画像補正部１０３により前述した通り輝度補正、レンズ歪補正や水平位置合わせが行われる（Ｓ６０２）。次に、物体情報取得部１０４により、物体の検出とそのおおよその距離が検出される（Ｓ６０３）。その検出結果のうち、処理領域設定部１０６において、検出した物体の位置情報から、処理すべき領域情報をステレオ距離検出部１０５に出力し（Ｓ６０４）、また、探索範囲設定部１０７において、検出した物体の距離情報から、その物体を含む領域での探索すべき探索範囲を決定しステレオ距離検出部１０５に出力する（Ｓ６０５）。
　次に、得られた検出結果に基づいてステレオ距離検出部１０５により、指定された各領域において、それぞれの探索範囲で詳細な距離を検出する（Ｓ４０６）。
　最後に認識部１０８により、各処理領域の物体の距離検出結果に基づいて、物体の認識処理を行い、認識結果を出力する（Ｓ６０７）。これらの処理を例えば１フレーム毎に繰り返し行う。
　図７は、本発明の撮像装置の一実施例における撮影画像と認識結果の一例を示す図である。７０１はある時点で撮像部１０１により撮像された画像であり、撮像部１０２もほぼ同様の画像を撮影し取得している。また、７０２、７０３、７０４は物体の認識結果であり、画像内の枠と距離表示は撮像した画像にはなく、画像上に重ねて明示的に示したものである。
　前述の処理領域２０５から検出した歩行者２０２が距離５．２ｍと、処理領域２０６から検出した対向車２０３が距離５３．１ｍ、処理領域２０７の交通信号２０４が距離１９．７ｍの位置にあることを検出している。このように撮影した画像全体に亘って精度の高い物体の距離検出を実現できる。
　本実施例によれば、撮影画像から物体とその距離を粗く検出し、その結果に基づいて物体を含む領域に対し、距離の探索範囲を限定して正確な距離検出処理を行うので、撮像画像全体についての物体認識が、処理負荷の増大なく可能になる。
　図８は、本発明の撮像装置の別の実施例の構成を示す図である。撮像装置１は、自動車などの車両に搭載されており、同図中８０１は車両制御部である。認識部１０８の出力が車両制御部８０１に入力されている。また、認識部１０８には、撮影画像中の距離情報から、路面部分を他の物体と分離して路面領域として検出し、その領域を物体情報取得部１０４に出力する路面検出部１０８１を備え、さらに認識部１０８は、図示しないが車両速度や操舵角などの車両情報を入力して、自車両の走行経路を予測し、物体情報取得部１０４に出力する走行経路予測部１０８２を備える。
　物体情報取得部１０４は、路面検出部１０８１により検出された路面情報を入力し、路面上の物体を優先的に処理し、処理領域設定部１０６、探索範囲設定部１０７、およびステレオ距離検出部１０５で正確な距離を検出し認識部１０８にて認識することで、自車両の障害物をいち早く認識でき、安全な走行を維持できる。また、物体情報取得部１０４は、走行経路予測部１０８２から、これから走行していく経路上の物体を優先的に処理し、上記のように自車両の走行経路上の障害物を認識して、安全な走行を実現できる。
　また、探索範囲設定部１０７は自車両の車両速度を入力して、例えば速度が早い場合は探索範囲を広く設定し、遅い場合は狭く設定することで、最小限の処理量で距離検出処理を確実に行うことができる。
　さらに、図９に示すように、例えば処理領域設定部１０６は画像全体である処理領域９０１を処理領域とし、その際、探索制御部は、前述のように６０画素を中心に５０画素から７０画素の範囲を探索範囲に設定し、自車両の例えば２ｍから１０ｍまでといった近傍距離を検出するようにすることで、自車両の近傍については、全画面を距離検出の対象とすることができ、安全性を高めることできる。
　また、物体情報取得部１０４は、近接する複数の物体を例えばまとめて処理し、処理領域設定部１０６はそれを一つの領域とし、また探索範囲設定部１０７は物体情報取得部１０４で検出しまとめた一つの領域内の物体の距離を包括して探索範囲を設定することで、多数の物体が存在する場合にも対応できる。
　図８の車両制御部８０１は、認識部１０８による認識結果を受け、車両の他の図示しない装置に対し制御を行う。車両の制御としては、歩行者の接近や、赤信号や道路標識を検出したことによる、運転者への警告ランプの点灯、警告音の発生、ブレーキ制動による減速、停止制御、先行車追従時のスロットル、ブレーキ制御、その他の衝突回避や車線維持のための舵角制御などである。これらの車両制御情報は撮像装置１から図示しない他の装置に対して、車内ネットワークを介して出力する。
　なお、図８では車両制御部８０１は撮像装置１とは同一筐体に収められる例を示したが、それに限るものではなく、前述のように、撮像部１０１、１０２を別筐体としてもよい。
　図１０は、本発明の撮像装置のさらに別の実施例の構成を示す図である。９０１はネットワーク撮像部、９０３はＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）であり、９０４は制御部である。ネットワーク撮像部９０１は、ＬＡＮ９０３を介して制御部９０４と接続されている。また、９０２は画像圧縮・インタフェース部、９０５はネットワークインタフェース部、９０６は画像伸張部である。
　撮像部１０１、撮像部１０２で撮影した画像は、画像補正部１０３において、輝度補正、レンズ歪補正や水平位置合わせが行われる。次に画像圧縮・インタフェース部９０２は、画像補正部１０３からの画像を圧縮してＬＡＮ９０３に送信する。画像圧縮の方式としては処理時間を少なくするため、複数の画像の時間的相関関係を使わず、一枚の画像内で圧縮を行う画面内圧縮方式を用いる方式がある。また、映像圧縮符号化方式を選択して切り換えてもよい。
　画像圧縮・インタフェース部９０２は、圧縮符号化データを生成し、所定のネットワークプロトコルに従ってデータを送信する。なお、画像補正部１０３は、画像圧縮・インタフェース部９０２の前段で処理することにより、レンズ歪などを補正した後に画像圧縮することで、画像圧縮の高効率化と高画質化が見込まれるが、制御部９０４の画像伸張部９０６の後段に設けてもよい。
　制御部９０４においては、ネットワークインタフェース部９０５において、圧縮画像データの受信を、ＬＡＮ９０３を介して行う。制御部９０４のネットワークインタフェース部９０５で受信した圧縮画像データは、画像伸張部９０６において元の画像に伸張され、物体情報取得部１０４により検出された物体について、処理領域設定部１０６、および探索範囲設定部１０７が前述の処理を行う。これ以降の処理は前述の通りである。
　本実施例によれば、ＬＡＮ９０６を介して画像や撮像タイミング情報をやり取りするので、撮像部側の処理量を減らすことができ、撮像部側の軽量化、低消費電力化、筐体が小さくなることによる、車両設置への寸法制限を低減することが可能になる。
　図１１は、本発明の別の実施例の構成を示す図である。この実施例では、物体情報取得部１０４の入力情報を撮像部１０１、１０２以外で構成された、距離情報が得られるセンサから得るものである。例えば入力情報としては、図示しないがレーダや、赤外線センサなどのセンサから得る情報であり、対象範囲の物体の距離を求めることができる。それ以降の動作は前述の通りである。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１…撮像装置、１０１～１０２…撮像部、１０３…画像補正部、１０４…物体情報取得部、１０５…ステレオ距離検出部、１０６…処理領域設定部、１０７…探索範囲設定部、１０８…認識部、２０１…共通撮像領域、２０２～２０４…被写体、２０５～２０７…処理領域、７０２～７０４…認識結果、８０１…車両制御部、９０１…ネットワーク撮像部、９０２…画像圧縮・インタフェース部、９０３…ＬＡＮ、９０４…制御部、９０５…ネットワークインタフェース部、９０６…画像伸張部。

Claims (11)

  1. 　複数の撮像部と、
    　物体の距離情報を含む物体情報を取得する物体情報取得部と、
    　前記複数の撮像部のうちの一つで撮影された基準画像内の特定の画像要素に対応する画像要素を他の撮像部で撮影される参照画像内で探索する際の条件を設定する探索条件設定部と、
    　前記探索条件設定部で設定された条件に基づいて前記探索を行い、前記探索によって得られる視差に基づいて前記物体の距離を検出するステレオ距離検出部と、を備え、
    　前記探索条件設定部は、前記物体の検出情報に基づいて、前記探索を行う際の探索範囲を設定する、物体距離検出装置。
  2. 　請求項１に記載の物体距離検出装置において、
    　前記物体情報取得部は、前記複数の撮像部の少なくとも一つで取得した画像から物体を検出し、前記物体の距離を検出する、物体距離検出装置。
  3. 　請求項１に記載の物体距離検出装置において、
    　前記探索条件設定部は、
    　前記物体情報取得部で得られた物体を含む処理領域を前記参照画像内で設定する処理領域設定部と、
    　前記探索を行う探索範囲を前記物体情報取得部で検出された物体の距離情報に基づいて設定する探索範囲設定部と、を備える、物体距離検出装置。
  4. 　請求項３に記載の撮像装置において、
    　前記探索範囲設定部は、前記物体情報取得部で取得した距離情報に応じて探索範囲を変化させ設定する、物体距離検出装置。
  5. 　請求項１に記載の物体距離検出装置において、
    　前記物体情報取得部は、前記撮像部で取得した画像から単眼処理により物体を検出する、物体距離検出装置。
  6. 　請求項１に記載の物体距離検出装置において、
    　路面を検出する路面検出手段を備え、
    　前記物体情報取得部は、前記路面検出手段で検出した路面上の物体の距離を取得する、物体距離検出装置。
  7. 　請求項１に記載の物体距離検出装置において、
    　走行経路を予測する走行経路予測手段を備え、
    　前記物体情報取得部は、前記走行経路予測手段で予測した経路上の物体の距離を取得する、物体距離検出装置。
  8. 　請求項１に記載の物体距離検出装置において、
    　前記探索範囲部は、車速に応じて探索範囲を変化させ設定する、物体距離検出装置。
  9. 　請求項３に記載の物体距離検出装置において、
    　前記探索範囲設定部は、近傍距離に相当する探索範囲を前記探索範囲とし、
    　前記処理領域設定部は、全画像領域を処理領域とする、物体距離検出装置。
  10. 　請求項３に記載の物体距離検出装置において、
    　前記処理領域設定部は、前記距離検出部で得られた複数の物体を含む処理領域を設定し、
    　前記探索範囲設定部は、前記距離検出部で検出された複数の物体の距離に基づいて、前記探索範囲を設定する、物体距離検出装置。
  11. 　請求項３に記載の物体距離検出装置において、
    　前記探索範囲設定部は、前記ステレオ距離検出部で前記物体の距離が検出できなかった場合、前記探索範囲を拡大し、
    　前記ステレオ距離検出部において、前記拡大した探索範囲について距離を検出する、物体距離検出装置。
PCT/JP2017/020197 2016-06-08 2017-05-31 物体距離検出装置 WO2017212992A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17810171.3A EP3470780A4 (en) 2016-06-08 2017-05-31 DEVICE FOR DETECTING AN OBJECT DISTANCE
US16/097,366 US11029150B2 (en) 2016-06-08 2017-05-31 Object distance detection device
CN201780017942.2A CN109196304B (zh) 2016-06-08 2017-05-31 物体距离检测装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016113995A JP6723079B2 (ja) 2016-06-08 2016-06-08 物体距離検出装置
JP2016-113995 2016-06-08

Publications (1)

Publication Number Publication Date
WO2017212992A1 true WO2017212992A1 (ja) 2017-12-14

Family

ID=60578699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/020197 WO2017212992A1 (ja) 2016-06-08 2017-05-31 物体距離検出装置

Country Status (5)

Country Link
US (1) US11029150B2 (ja)
EP (1) EP3470780A4 (ja)
JP (1) JP6723079B2 (ja)
CN (1) CN109196304B (ja)
WO (1) WO2017212992A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视***
EP3492338A1 (en) * 2017-11-30 2019-06-05 Mitsubishi Electric R & D Centre Europe B.V. Method for automatic remote control of a moving conveyance
TWI647427B (zh) * 2018-01-10 2019-01-11 緯創資通股份有限公司 物體距離估算方法與電子裝置
JPWO2019215979A1 (ja) * 2018-05-10 2021-05-27 ソニーグループ株式会社 画像処理装置、車載装置、画像処理方法及びプログラム
CN111914817B (zh) * 2020-09-21 2024-04-02 南京航空航天大学 一种基于种子点的道路识别方法及***
DE102021206879A1 (de) * 2021-06-30 2023-01-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Verfahren zur optischen Überwachung und/oder Bestimmung von Eigenschaften an Proben

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092968A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd ステレオマッチング装置、ステレオマッチング方法および無限遠対応点の特定方法
JP2005062910A (ja) * 2002-07-02 2005-03-10 Honda Motor Co Ltd 画像認識装置
JP2008304202A (ja) * 2007-06-05 2008-12-18 Konica Minolta Holdings Inc 距離画像生成方法、距離画像生成装置及びプログラム
JP2008309637A (ja) * 2007-06-14 2008-12-25 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2013174494A (ja) 2012-02-24 2013-09-05 Ricoh Co Ltd 画像処理装置、画像処理方法、及び車両
US8743202B2 (en) * 2004-12-23 2014-06-03 Robert Bosch Gmbh Stereo camera for a motor vehicle
JP2015230703A (ja) * 2014-06-06 2015-12-21 日本電産エレシス株式会社 物体検出装置及び物体検出方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221777B2 (en) 2002-07-02 2007-05-22 Honda Giken Kogyo Kabushiki Kaisha Image analysis device
JP2005331389A (ja) * 2004-05-20 2005-12-02 Toyota Motor Corp 車間距離制御装置
KR100813100B1 (ko) * 2006-06-29 2008-03-17 성균관대학교산학협력단 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
JP2009092551A (ja) * 2007-10-10 2009-04-30 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2012002683A (ja) * 2010-06-17 2012-01-05 Fuji Electric Co Ltd ステレオ画像処理方法およびステレオ画像処理装置
CN101999972B (zh) * 2010-11-24 2013-07-03 上海理工大学 一种基于立体视觉的盲人辅助行走装置及其辅助方法
CN102069770A (zh) * 2010-12-16 2011-05-25 福州名品电子科技有限公司 基于双目立体视觉的汽车主动安全控制***及其控制方法
JP5591730B2 (ja) * 2011-02-10 2014-09-17 富士重工業株式会社 環境認識装置
WO2013069130A1 (ja) * 2011-11-10 2013-05-16 三菱電機株式会社 車両側システム
JP5977047B2 (ja) * 2012-02-29 2016-08-24 株式会社日本自動車部品総合研究所 車両走行制御装置
JP6071257B2 (ja) * 2012-06-07 2017-02-01 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP5982298B2 (ja) * 2013-02-21 2016-08-31 シャープ株式会社 障害物検出装置および障害物検出方法
KR101882931B1 (ko) * 2014-07-10 2018-07-30 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그의 디스패리티 측정 방법
JP6548893B2 (ja) * 2014-11-18 2019-07-24 日立オートモティブシステムズ株式会社 走行路認識装置及びそれを用いた走行支援システム
JP6356586B2 (ja) * 2014-11-28 2018-07-11 株式会社デンソー 車両の走行制御装置
CA3067160A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6623044B2 (ja) * 2015-11-25 2019-12-18 日立オートモティブシステムズ株式会社 ステレオカメラ装置
JP6838340B2 (ja) * 2016-09-30 2021-03-03 アイシン精機株式会社 周辺監視装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001092968A (ja) * 1999-09-22 2001-04-06 Fuji Heavy Ind Ltd ステレオマッチング装置、ステレオマッチング方法および無限遠対応点の特定方法
JP2005062910A (ja) * 2002-07-02 2005-03-10 Honda Motor Co Ltd 画像認識装置
US8743202B2 (en) * 2004-12-23 2014-06-03 Robert Bosch Gmbh Stereo camera for a motor vehicle
JP2008304202A (ja) * 2007-06-05 2008-12-18 Konica Minolta Holdings Inc 距離画像生成方法、距離画像生成装置及びプログラム
JP2008309637A (ja) * 2007-06-14 2008-12-25 Konica Minolta Holdings Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2013174494A (ja) 2012-02-24 2013-09-05 Ricoh Co Ltd 画像処理装置、画像処理方法、及び車両
JP2015230703A (ja) * 2014-06-06 2015-12-21 日本電産エレシス株式会社 物体検出装置及び物体検出方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3470780A4

Also Published As

Publication number Publication date
EP3470780A4 (en) 2020-02-26
CN109196304A (zh) 2019-01-11
EP3470780A1 (en) 2019-04-17
JP2017219427A (ja) 2017-12-14
US11029150B2 (en) 2021-06-08
CN109196304B (zh) 2021-07-30
US20190145768A1 (en) 2019-05-16
JP6723079B2 (ja) 2020-07-15

Similar Documents

Publication Publication Date Title
WO2017212992A1 (ja) 物体距離検出装置
JP6660751B2 (ja) 撮像装置
JP6202367B2 (ja) 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム
JP5663352B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US8160300B2 (en) Pedestrian detecting apparatus
JP6899673B2 (ja) 物体距離検出装置
US20180321030A1 (en) Image processing device
WO2020213386A1 (ja) 物***置検出装置、走行制御システム、および走行制御方法
JP6891082B2 (ja) 物体距離検出装置
JP4797441B2 (ja) 車両用画像処理装置
US20220319186A1 (en) Object Detection Device, Travel Control System, And Travel Control Method
WO2020039837A1 (ja) 画像処理装置
JP2013161187A (ja) 物体認識装置
JP5759709B2 (ja) 画像認識装置
US20200111227A1 (en) Orientation detection apparatus for vehicle, image processing system, vehicle, and orientation detection method for vehicle
CN111133439B (zh) 全景监视***
WO2018073243A1 (en) Vision system and method for a motor vehicle
JP2013161188A (ja) 物体認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17810171

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017810171

Country of ref document: EP

Effective date: 20190108