WO2010032523A1 - 道路境界検出判断装置 - Google Patents
道路境界検出判断装置 Download PDFInfo
- Publication number
- WO2010032523A1 WO2010032523A1 PCT/JP2009/060975 JP2009060975W WO2010032523A1 WO 2010032523 A1 WO2010032523 A1 WO 2010032523A1 JP 2009060975 W JP2009060975 W JP 2009060975W WO 2010032523 A1 WO2010032523 A1 WO 2010032523A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- road
- boundary
- dimensional object
- region
- dimensional
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 47
- 239000007787 solid Substances 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 27
- 239000011159 matrix material Substances 0.000 description 12
- 238000012545 processing Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/10—Path keeping
- B60W30/12—Lane keeping
Definitions
- the present invention detects a road boundary partitioned by a three-dimensional object by a plurality of imaging devices mounted on a vehicle and determines a traveling region of the vehicle, and particularly corresponds to a road boundary because occlusion and captured images are unclear.
- the present invention relates to a road boundary detection / determination device that can cope with a case where detection of a three-dimensional object is difficult.
- ASV advanced safety vehicle
- ASV requires the detection of road boundaries, especially to prevent deviations from the roads of automobiles. Therefore, a method of detecting a road marking such as a lane on a road surface that defines a roadway or a roadway using a camera mounted on an automobile is often used.
- road markings can be expected on highways and roads that have been improved, but roads with narrow widths or roads that are under development often do not have road markings outside the roadway outside line.
- Patent Document 1 calculates the height from the road surface of a three-dimensional object in an imaging region based on stereo images obtained from two cameras, and detects continuous three-dimensional objects such as guardrails and side walls.
- Patent Document 2 discloses a road shoulder detection apparatus and method based on a planar projection stereo method using two cameras.
- planar projection stereo method it is assumed that everything in the image obtained by one camera is present on the road plane, and this is converted into an image viewed from the other camera.
- the portion corresponding to the road plane is not deformed, and only the portion corresponding to the three-dimensional object is deformed.
- a solid object on the road plane can be detected.
- Patent Document 1 In the method described in Patent Document 1 above, it is necessary to perform a corresponding point search between stereo images in order to calculate the height of the three-dimensional object from the road surface, but due to environmental changes such as a decrease in brightness. If the edge of the three-dimensional object or the shading pattern in the image becomes unclear, the accuracy of the corresponding point search generally decreases. In addition, when the height of the three-dimensional object is low or exists far away, the three-dimensional object shown in the image is small, and it is difficult to obtain the height of the three-dimensional object from the road surface. In the technique of Patent Document 1, there is a problem that it is difficult to obtain a road boundary delimited by a three-dimensional object on a road where the height of the three-dimensional object cannot be obtained.
- An object of the present invention is to provide a road boundary detection / judgment device that is resistant to environmental changes and can detect a road boundary partitioned by a distant solid object. .
- a road boundary detection / determination device is an in-vehicle device that detects and determines a three-dimensional object at the boundary of a road on which the host vehicle travels, and includes two or more devices that capture the road region.
- An image acquisition unit having a camera, a distance data acquisition unit that acquires three-dimensional distance information of an imaging region based on an image obtained by the image acquisition unit, and a three-dimensional distance information obtained by the distance data acquisition unit
- the road boundary detection unit Based on the road boundary detection unit that detects the road boundary by detecting the height of the three-dimensional object existing in the road region, and the road boundary detection unit can detect the height of the three-dimensional object corresponding to the road boundary
- the image is converted and the three-dimensional object corresponding to the boundary of the first road area and the second Road area border
- the same boundary determination unit for determining whether or not the three-dimensional object corresponding to the same is the same, and the same boundary determination unit is the same three-dimensional object corresponding to the boundary between the first and second road regions If it is determined, the second road area is reset to the first road area.
- the edge or shading pattern of the three-dimensional object in the image becomes unclear due to the change in the brightness of the environment or the presence of the object in the distance
- occlusion occurs and the three-dimensional distance data of the three-dimensional object is obtained.
- a road boundary delimited by the three-dimensional object can be detected and determined by searching for the three-dimensional object from the image based on the image information of the already-obtained three-dimensional object.
- FIG. 1 is a block diagram of a road boundary detection / judgment device according to a first embodiment.
- FIG. 2 shows the arrangement and coordinate system of the left and right cameras mounted on the vehicle.
- FIG. 3 is an example of an image obtained by capturing the traveling direction with the right camera shown in FIG.
- FIG. 4 shows an image obtained by projecting three-dimensional distance data based on an image captured by a left and right camera mounted on a vehicle onto an XZ plane, and a strip which is an area divided at predetermined intervals in the Z direction.
- FIG. 5 shows an image obtained by projecting three-dimensional distance data based on an image captured by a left and right camera mounted on a vehicle onto a YZ plane, and a strip that is an area divided in the Z direction.
- FIG. 1 is a block diagram of a road boundary detection / judgment device according to a first embodiment.
- FIG. 2 shows the arrangement and coordinate system of the left and right cameras mounted on the vehicle.
- FIG. 3 is an example of an image obtained by
- FIG. 6 shows the distribution of the three-dimensional distance data contained in the strip and the detected road shape.
- FIG. 7 shows a three-dimensional object corresponding to the distribution of the three-dimensional distance data contained in the strip and the detected road boundary.
- FIG. 8 shows the distribution on the XZ plane of the three-dimensional position distance data of a three-dimensional object corresponding to a road boundary.
- FIG. 9 shows an example of the detection status of a three-dimensional object corresponding to a strip number and a left and right road boundary.
- FIG. 10 shows the center of gravity of the three-dimensional position data of the three-dimensional object and the position of the virtual viewpoint on the XZ plane.
- FIG. 11 shows an example of an image acquired from the right camera of the vehicle and a three-dimensional object corresponding to the detected road boundary.
- FIG. 12 is an example of an image obtained by converting a three-dimensional object region 410 corresponding to the left road boundary in FIG. 11 into an image viewed in front.
- FIG. 13 shows a template setting area and a template matching search range.
- FIG. 14 shows a method for obtaining an estimated position (X, Z) of a three-dimensional object.
- FIG. 15 is a part of a flowchart of the operation of the first embodiment.
- FIG. 16 is a part of a flowchart of the operation of the first embodiment.
- FIG. 17 is a part of a flowchart of the operation of the first embodiment.
- FIG. 18 is a part of a flowchart of the operation of the first embodiment.
- FIG. 19 is a part of a flowchart of the operation of the second embodiment.
- FIG. 20 shows a scene deviating from the road boundary.
- FIG. 1 is a block diagram showing the configuration of the road boundary detection / judgment device according to the first embodiment.
- the road boundary detection determination apparatus 1 includes a left camera 100 and a right camera 101, and an image acquisition unit 102 that stores images of the left camera 100 and the right camera 101 captured at the same timing.
- the road boundary detection determination apparatus 1 is further obtained by the distance data acquisition unit 103 and the distance data acquisition unit 103 that acquire three-dimensional distance data of the imaging region of the left and right cameras from the two images stored in the image acquisition unit 102.
- FIG. 2 shows a host vehicle 110 equipped with a left camera 100 and a right camera 101.
- the left camera 100 is installed on the left side and the right camera 101 is installed on the right side with respect to the traveling direction of the host vehicle. Normally, it is installed inside the front window, but it may be installed in the left and right headlight covers, or may be installed in the front grill.
- the length between the optical axes of the left and right cameras 100 and 101 and the height from the road surface are appropriately set according to the type of the host vehicle 110.
- the left and right cameras 100 and 101 are installed so that the viewing angles overlap each other by a predetermined amount.
- the image acquisition unit 102 outputs an imaging timing signal to the left and right cameras 100 and 101 so that images are taken at the same time, and image data with the left and right cameras 100 and 101 is obtained after a predetermined exposure time by an electronic shutter or a mechanical shutter. Obtain and save in memory.
- the distance data acquisition unit 103 calculates the three-dimensional distance data of the area imaged by the left and right cameras 100 and 101 and stores it in the memory. The three-dimensional distance data is calculated by associating a certain point in the three-dimensional space between the left and right images based on the principle of triangulation.
- the accuracy of the three-dimensional distance data can be improved by performing the association with the sub-pixel accuracy.
- the coordinate system of the three-dimensional distance data is set such that the traveling direction is the Z axis 202, the width direction of the host vehicle 110 is the X axis 200, the height direction is the Y axis 201, and the origin is the left and right cameras. The center of the installation position.
- the road boundary detection unit 104 is a unit that determines whether a three-dimensional object corresponding to the road boundary exists based on the three-dimensional distance data calculated by the distance data acquisition unit 103.
- FIG. 3 shows an image captured by the right camera 101. An example of detection of the curb 320 shown in this image will be described below.
- FIGS. 15 to 18 are flowcharts showing the flow of processing of the first embodiment.
- FIG. 4 is an overhead view of the XZ plane as viewed from directly above, and the black dots indicate the positions of the three-dimensional distance data (see S02 in FIG. 15) calculated by the distance data acquisition unit.
- the three-dimensional distance data is distributed within the visual field range of the left and right cameras 100 and 101 and generally has a larger number of data on the near side than on the far side of the host vehicle.
- a region divided at predetermined intervals in the Z-axis direction (this region is hereinafter referred to as a “strip”).
- a road boundary detection process is performed for each strip.
- the length of the strip width may be set as appropriate, but is preferably set to a length corresponding to the width of the host vehicle 110.
- FIG. 5 is a diagram in which the three-dimensional distance data is projected onto the YZ plane.
- the horizontal axis is the Z axis 202 in the depth direction
- the vertical axis is the Y axis 201 in the height direction.
- a black dot indicates the position of the three-dimensional distance data as in FIG.
- Equation 1 is a road model represented by a linear equation
- a and b are parameters.
- the result of fitting the road model of Equation 1 to the data distribution is a straight line 400 shown in FIG.
- a search is made as to whether a three-dimensional shape having a predetermined height or more exists on the left and right sides in the traveling direction.
- a search method for example, as shown in FIG. 7, a straight line 400 is set as the X axis, and a straight line 402 perpendicular to the straight line 400 is newly set as the Y ′ axis. Good.
- the existence of a three-dimensional object corresponding to the road boundary on the left side is confirmed in the shaded area 401 shown in FIG.
- FIG. 8 shows the distribution of the three-dimensional distance data of the three-dimensional object corresponding to the road boundary detected by the above processing, and the distribution 310, 311 of the three-dimensional distance data of the three-dimensional object corresponding to the left and right road boundaries. Is recognized.
- FIG. 8 shows the distribution of the three-dimensional distance data of the three-dimensional object corresponding to the road boundary detected by the above processing, and the distribution 310, 311 of the three-dimensional distance data of the three-dimensional object corresponding to the left and right road boundaries. Is recognized.
- the same boundary determination unit 105 compares the image corresponding to the first road region and the image corresponding to the second road region in the image obtained by the image acquisition unit 102. This is a unit that determines whether the same three-dimensional object as the first road area exists in the second road area. Since this estimation process is performed for each acquired image, it is possible to estimate a road boundary even when a three-dimensional object is hidden by occlusion. Next, the process flow of the same boundary determination unit will be described.
- strips classified into the second road area are searched from the processing result of the road boundary detection unit (see S18 in FIG. 17).
- the image obtained from the left and right cameras 100 and 101 is positioned in front of the corresponding strip (or included in a predetermined number of strips from the corresponding strip).
- Projective transformation is performed on the image of the object seen in front (see S19 in FIG. 17).
- u and v are image positions before conversion
- u ′ and v ′ are image positions after conversion
- ⁇ is an eigenvalue.
- the elements of the projective transformation matrix H are represented by variables h 11 to h 33 .
- the projective transformation matrix H can be calculated by the following equation.
- the matrix A is a 3-by-3 internal parameter matrix composed of the focal length of the lens mounted on the camera, the image center, and the pixel size.
- a matrix R and a vector t are a 3-by-3 rotation matrix and a camera three-dimensional position, respectively, relating to the camera posture with respect to the world coordinate system.
- the matrix A, the matrix R, and the vector t are prepared for the left and right cameras 100 and 101, respectively, and values are known in advance by camera calibration performed before factory shipment. However, the latest value is used when the value is changed by camera calibration after mounting on the vehicle.
- the matrix R ′ and the vector t ′ are arranged so that the three-dimensional object in the first road area located in front of the corresponding strip (or included between the corresponding strip and a predetermined number of strips) is seen in front of the camera.
- the rotation matrix and the three-dimensional position when the posture and the three-dimensional position are virtually moved are shown.
- the orientation of the virtual camera is such that, for example, the camera optical axis is directed to a three-dimensional object that exists in a strip one before the strip classified into the second road region.
- the three-dimensional distance data of the three-dimensional object existing in the strip number W4 is perpendicular to the straight line 334 of the data projected on the XZ plane, and (Equation 1)
- the orientation of the virtual camera may be set so that the optical axis overlaps or is parallel to the straight line 331 that is parallel to the road model.
- the three-dimensional position of the virtual camera is the center of gravity position 332 of the three-dimensional distance data of the three-dimensional object existing in the strip number W4 as the gaze position, and this gaze position 332 is the set camera light.
- the position is set to a position 333 that passes through the axis and is equal to the distance from the camera of the host vehicle to the gaze position.
- the three-dimensional position of the camera may be set at a position 333 equal to the length of the straight line 330.
- the projective transformation matrix H can be calculated by (Equation 4).
- the number of three-dimensional distance data of the three-dimensional object existing in the strip is smaller than the predetermined number, it is preferable to use the three-dimensional distance data of the three-dimensional object included in the immediately preceding strip.
- 11 and 12 show an example of image conversion by projective transformation.
- FIG. 11 is an image acquired from the right camera 101, and the three-dimensional object corresponding to the road boundary detected by the road boundary detection unit 104 is represented by hatched portions 410 and 411 in the image shown in FIG. ing.
- FIG. 11 is an image acquired from the right camera 101, and the three-dimensional object corresponding to the road boundary detected by the road boundary detection unit 104 is represented by hatched portions 410 and 411 in the image shown in FIG. ing.
- FIG. 11 is an image acquired from the right camera 101, and the three-dimensional object
- FIG. 12 shows an image obtained by projective transformation of the three-dimensional object in the region indicated by the hatched portion 410 in FIG. 11 so that the three-dimensional object with the strip number W4 is viewed in front.
- a square whose one side is the vertical width in the image of a three-dimensional object existing in a strip (first road region) immediately before the strip adjacent to the second road region is used. It is good to make it.
- About a template position what is necessary is just to set to the 2nd road area
- the template set in this way is moved in the image area corresponding to the first road area as the search range, and the similarity between the image in the template and the image area corresponding to the first road area is calculated. (Refer to S21 in FIG. 17).
- the three-dimensional object having the same height as the three-dimensional object existing in the first road region corresponding to the template position having the maximum similarity is the image position where the template is set. Presence is present (see S23 in FIG. 18).
- the template matching process is performed for each image obtained from the left and right cameras 100 and 101, and even when the similarity of either the left or right exceeds a predetermined value, the template position corresponding to the maximum similarity is handled as described above. It is determined that there is a solid object having the same height as the solid object existing in the first road area. The above processing is performed over the entire image region corresponding to the strip set in the second road region while shifting the setting position of the template.
- the strip is reset from the second road area to the first road area (see S25 in FIG. 18).
- the maximum value of the similarity is smaller than the predetermined value, it is determined that there is no solid object corresponding to the road area (see S26 in FIG. 18).
- the position and height of the three-dimensional object corresponding to the road boundary that could not be detected by the three-dimensional distance data are estimated (first (See S28 in FIG. 18).
- the similarity it is preferable to use a correlation coefficient that is strong against changes in contrast and brightness. Not only this but the scale which shows textures, such as a Fourier transform, may be used.
- FIG. 13 shows a template setting area 420 and a search range 421 for setting a template.
- the template is set in the image area of the strip number W5 classified as the second road area, and template matching is performed with the search range 421 to determine whether or not the maximum value of the similarity exceeds a predetermined value. .
- the template setting area is shifted to the right in FIG. 13, and template matching with the search range 421 is performed again.
- a predetermined range may be covered with the previous setting area.
- the coordinates of the intersection 341 between the line 334 and the straight line 340 obtained by projecting the line of sight corresponding to the template position onto the XZ plane may be used.
- not only the three-dimensional distance data in the strip number W4 but also the strip three-dimensional distance data corresponding to the other first road area is projected on the XZ plane, and the higher-order equations and straight lines 340 applied to this projection data are projected. It is good also as a coordinate of the intersection with.
- the same boundary determination unit 105 as the road boundary detection unit 104 can detect the height and position of a three-dimensional object corresponding to the road boundary existing in the traveling direction of the host vehicle.
- the first embodiment uses two left and right cameras. However, when there are more than two cameras, the first embodiment is expanded by combining the two cameras. It is possible to apply.
- FIG. 19 is a block diagram illustrating the configuration of the road boundary detection / judgment device according to the second embodiment.
- a movement information acquisition unit 123 that acquires movement information of the host vehicle 110 and a movement locus estimation unit that estimates a movement locus. 124, and a road boundary deviation determination unit 125 that detects a deviation of the host vehicle 110 from the road, and an alarm unit that gives a warning to the driver. Details of each part will be described below.
- the motion information acquisition unit 123 is a unit that acquires signals from the vehicle speed sensor 120, the rudder angle sensor 121, and the acceleration / yaw rate sensor 122 mounted on the host vehicle 110, and uses a communication protocol such as CAN (Control Area Network) or FlexRay. In principle, signals are transmitted and received at predetermined time intervals. However, the present invention is not limited to the above communication protocol, and other communication protocols may be used.
- the movement trajectory estimation unit 124 is a unit that estimates a movement trajectory up to a predetermined time after the host vehicle based on the vehicle speed, steering angle, acceleration / yaw rate of the host vehicle acquired by the motion information acquisition unit 123. A vehicle motion model based on the vehicle dynamics of the host vehicle is used for estimating the movement trajectory.
- estimation error can be reduced by adding position information obtained from, for example, GPS (Global Positioning System).
- the estimated position information of the movement locus is a point on the XZ plane in the world coordinate system composed of the X axis 200, the Y axis 201, and the Z axis 202 shown in FIG.
- the movement trajectory may be projected onto the road model estimated by the road boundary detection unit 104.
- the present invention is not limited to the movement trajectory estimation method, and other estimation methods may be used.
- the position information of the movement locus estimated by the movement locus estimation unit 124 is stored in the memory.
- the position information of one movement locus may be stored for each strip, or the position information for every predetermined time may be stored.
- the road boundary deviation determining unit 125 is configured to detect the position of the moving track estimated by the moving track estimating unit 124 and the position of the three-dimensional object corresponding to the left and right road boundaries obtained by the road boundary detecting unit 104 and the same boundary determining unit 105. Based on the information, it is a unit that determines whether or not the vehicle deviates from the road boundary.
- FIG. 20 shows an example in which departure determination is performed.
- the movement trajectory 316 estimated by the movement trajectory estimation unit 124 crosses the position of the three-dimensional object 315 corresponding to the left road boundary detected and estimated by the road boundary detection unit 104 and the same boundary determination unit 105.
- the contents of the determination process will be described below with reference to FIG. First, the position 318 of the movement trajectory crossing the three-dimensional object at the left and right road boundary is estimated. Then, the crossing time tc until crossing the boundary is calculated from the travel distance L to the crossing position 318 and the vehicle speed v by the following equation. Further, the number of consecutive estimations Nc at the crossing position 318 is counted.
- This continuous estimation number Nc reduces the misjudgment of crossing due to vibration of the moving trajectory caused by minute vibration of the steering angle by the driver's steering wheel operation and noise included in the output signals of the vehicle speed sensor 120 and the acceleration / yaw rate sensor 122.
- the predetermined value related to the crossing time tc is related to the time required to stop to the crossing position at a predetermined deceleration and a series of operations for avoiding or braking by recognizing and judging the driver's obstacle. It is desirable to set based on time statistics.
- the road boundary deviation judgment unit judges whether or not to issue a warning for deviation prevention.
- the warning unit 126 is a part that issues a warning to the driver based on the determination result of the road boundary deviation determination unit 125.
- As an alarm it is desirable to turn on an alarm sound or an alarm lamp using a speaker mounted on the host vehicle. Further, the handle may be vibrated. Note that the present invention is not limited to the above-described method of giving an alarm, and other methods may be used. As described above, in the second embodiment, it is possible to prevent a road departure by giving a road departure warning to the driver.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供すること。 道路領域を撮像する2台以上のカメラを有する画像取得部と、画像取得部によって得られた画像に基づいて撮像領域の3次元距離情報を取得する距離データ取得部と、距離データ取得部によって得られた3次元距離情報に基づいて道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第2の道路領域について、画像を変換して第1の道路領域の境界に相当する立体物及び第2の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部を備え、第1及び第2の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第2の道路領域を第1の道路領域に再設定すること。
Description
本発明は、車両に搭載された複数の撮像装置によって立体物で区切られた道路境界を検出して車両の走行領域を判断する装置、特にオクルージョンや撮像画像が不明瞭のため道路境界に相当する立体物の検出が困難である場合にも対応できる道路境界検出判断装置に関する。
従来から、自動車の安全運転を確保するために運転者に警報を与えたり、操作支援を行ったりするASV(Advanced Safety Vehicle:先進安全自動車)に関して、技術開発が進められている。ASVには、特に自動車の道路からの逸脱を防止するために、道路の境界を検出することが必要である。そこで、自動車に搭載したカメラを用いて、車道を規定する路面上の車線や道路鋲などの道路標示を検出する方法がよく用いられる。
しかし、高速道路や整備された道路には道路標示の存在を期待できるが、幅員の狭い道路や整備途中の道路では、車道外側線の外側には道路標示のない場合が多い。また、カーブ半径の短い道路では、道路湾曲部の車線がカメラに映りにくいため、道路の境界を判断するのが困難である。そのため、車線や道路鋲等の道路標示だけでなく、歩車道分離ブロック,歩道,生垣,ガードレール,側壁,ポール等の立体物からも、道路の境界を判断する必要がある。
カメラを用いて、立体物で区切られた道路境界を検出する方法として、2台以上の複数のカメラを用いる方法がある。例えば、特許文献1には、2台のカメラから得たステレオ画像を基に撮像領域中の立体物の路面からの高さを算出し、ガードレールや側壁等の連続する立体物を検出することにより、道路境界を検出する方法が提案されている。
また、特許文献2には、2台のカメラを用い平面投影ステレオ法による路肩検出装置及び方法が開示されている。平面投影ステレオ法では、一方のカメラで得た画像中のすべてのものが道路平面に存在すると仮定し、これを他方のカメラからの見た画像に変換する。変換された画像は、道路平面に相当する部分は変形せず、立体物に相当する部分のみ変形した画像になっている。この変換された画像と他方のカメラで得た画像と比較することにより、道路平面上の立体物を検出できるのである。
しかし、高速道路や整備された道路には道路標示の存在を期待できるが、幅員の狭い道路や整備途中の道路では、車道外側線の外側には道路標示のない場合が多い。また、カーブ半径の短い道路では、道路湾曲部の車線がカメラに映りにくいため、道路の境界を判断するのが困難である。そのため、車線や道路鋲等の道路標示だけでなく、歩車道分離ブロック,歩道,生垣,ガードレール,側壁,ポール等の立体物からも、道路の境界を判断する必要がある。
カメラを用いて、立体物で区切られた道路境界を検出する方法として、2台以上の複数のカメラを用いる方法がある。例えば、特許文献1には、2台のカメラから得たステレオ画像を基に撮像領域中の立体物の路面からの高さを算出し、ガードレールや側壁等の連続する立体物を検出することにより、道路境界を検出する方法が提案されている。
また、特許文献2には、2台のカメラを用い平面投影ステレオ法による路肩検出装置及び方法が開示されている。平面投影ステレオ法では、一方のカメラで得た画像中のすべてのものが道路平面に存在すると仮定し、これを他方のカメラからの見た画像に変換する。変換された画像は、道路平面に相当する部分は変形せず、立体物に相当する部分のみ変形した画像になっている。この変換された画像と他方のカメラで得た画像と比較することにより、道路平面上の立体物を検出できるのである。
上記の特許文献1に記載された手法では、立体物の路面からの高さを算出するためにはステレオ画像間の対応点探索を行う必要があるが、明るさが低下する等の環境変化によって画像中の立体物のエッジや濃淡パターンが不明瞭になると、一般的に対応点探索の精度が低下する。また、立体物の高さが低い場合や遠方に存在する場合では、画像に映る立体物が小さくなり、立体物の路面からの高さを求めるのが困難となる。特許文献1の技術では、こうした立体物の高さの得られない道路では、立体物で区切られた道路境界を得ることが難しくなるという問題が生じる。
また、特許文献2に記載された手法では、車両の走行する道路平面を予め知っておく必要があり、勾配変化の多い道路に適用する場合や遠方にある立体物で区切られた道路境界を検知することが難しいという問題が生じる。
本発明は、上記のような従来技術の問題の解決を課題として、環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供することを目的とする。
また、特許文献2に記載された手法では、車両の走行する道路平面を予め知っておく必要があり、勾配変化の多い道路に適用する場合や遠方にある立体物で区切られた道路境界を検知することが難しいという問題が生じる。
本発明は、上記のような従来技術の問題の解決を課題として、環境変化に強く、遠方の立体物で区切られた道路境界も検出可能な道路境界検出判断装置を提供することを目的とする。
上記課題を解決するために、本発明の道路境界検出判断装置は、自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、前記道路領域を撮像する2台以上のカメラを有する画像取得部と、前記画像取得部によって得られた画像に基づいて撮像領域の3次元距離情報を取得する距離データ取得部と、前記距離データ取得部によって得られた3次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第2の道路領域について、前記画像を変換して前記第1の道路領域の境界に相当する立体物及び第2の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、前記同一境界判断部が前記第1及び第2の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第2の道路領域を第1の道路領域に再設定することを特徴とする。
本発明によれば、環境の明るさ変化や遠方に存在することによって画像中の立体物のエッジや濃淡パターンが不明瞭になる場合、また、オクルージョンが発生して立体物の3次元距離データを一部検出できない場合等において、既に求まっている立体物の画像情報を基にして画像中から立体物の探索を行うことにより、立体物で区切られた道路境界を検出し判断することができる。
第1図は実施例1の道路境界検出判断装置のブロック図。
第2図は車両に搭載された左右カメラの配置と座標系。
第3図は第2図に示された右カメラで進行方向を撮像した画像の一例。
第4図は車両に搭載された左右カメラで撮像した画像による3次元距離データをXZ平面へ投影した画像と、Z方向で所定間隔毎に区分された領域である短冊。
第5図は車両に搭載された左右カメラで撮像した画像による3次元距離データをYZ平面へ投影した画像と、Z方向で区分された領域である短冊。
第6図は短冊に含まれる3次元距離データの分布と検出された道路形状。
第7図は短冊に含まれる3次元距離データの分布と検出された道路境界に相当する立体物。
第8図は道路境界に相当する立体物の3次元位置距離データのXZ平面上の分布状況。
第9図は短冊番号と左右道路境界に相当する立体物の検出状況の一例。
第10図は立体物の3次元位置データの重心と仮想視点のXZ平面上の位置。
第11図は車両の右カメラから取得した画像の一例と、検出された道路境界に相当する立体物。
第12図は第11図における左側の道路境界に相当する立体物の領域410を正面に見る画像に変換した画像の一例。
第13図はテンプレートの設定領域とテンプレートマッチングの探索範囲。
第14図は立体物の推定位置(X,Z)を求める方法。
第15図は実施例1の動作のフローチャートの一部。
第16図は実施例1の動作のフローチャートの一部。
第17図は実施例1の動作のフローチャートの一部。
第18図は実施例1の動作のフローチャートの一部。
第19図は実施例2の動作のフローチャートの一部。
第20図は道路境界から逸脱するシーン。
第2図は車両に搭載された左右カメラの配置と座標系。
第3図は第2図に示された右カメラで進行方向を撮像した画像の一例。
第4図は車両に搭載された左右カメラで撮像した画像による3次元距離データをXZ平面へ投影した画像と、Z方向で所定間隔毎に区分された領域である短冊。
第5図は車両に搭載された左右カメラで撮像した画像による3次元距離データをYZ平面へ投影した画像と、Z方向で区分された領域である短冊。
第6図は短冊に含まれる3次元距離データの分布と検出された道路形状。
第7図は短冊に含まれる3次元距離データの分布と検出された道路境界に相当する立体物。
第8図は道路境界に相当する立体物の3次元位置距離データのXZ平面上の分布状況。
第9図は短冊番号と左右道路境界に相当する立体物の検出状況の一例。
第10図は立体物の3次元位置データの重心と仮想視点のXZ平面上の位置。
第11図は車両の右カメラから取得した画像の一例と、検出された道路境界に相当する立体物。
第12図は第11図における左側の道路境界に相当する立体物の領域410を正面に見る画像に変換した画像の一例。
第13図はテンプレートの設定領域とテンプレートマッチングの探索範囲。
第14図は立体物の推定位置(X,Z)を求める方法。
第15図は実施例1の動作のフローチャートの一部。
第16図は実施例1の動作のフローチャートの一部。
第17図は実施例1の動作のフローチャートの一部。
第18図は実施例1の動作のフローチャートの一部。
第19図は実施例2の動作のフローチャートの一部。
第20図は道路境界から逸脱するシーン。
以下、道路境界検出装置の実施の形態について、図を参照して説明する。
第1図は、実施例1の道路境界検出判断装置の構成を示すブロック図である。道路境界検出判断装置1は、左カメラ100,右カメラ101と、同時刻のタイミングで撮像した左カメラ100と右カメラ101との画像を保存する画像取得部102を備える。道路境界検出判断装置1は、更に画像取得部102に保存された2つの画像から左右カメラの撮像領域の3次元距離データを取得する距離データ取得部103と、距離データ取得部103によって得られた3次元距離データに基づき道路境界を検出する道路境界検出部104と、道路境界検出部104の出力と画像取得部102の出力から道路境界の位置と高さを出力する同一境界判断部105を備える。
第2図は、左カメラ100と右カメラ101を搭載した自車両110を示す。自車両の進行方向に対して、左カメラ100は左側に、右カメラ101は右側に設置される。通常はフロントウィンドウの内側に設置されるが、左右のヘッドライトカバー内に設置してもよいし、また、フロントグリル部に設置してもよい。左右カメラ100,101の光軸間長さ及び路面からの高さは、自車両110の種類に応じて適宜設定する。また、左右カメラ100,101の視野角が所定量だけ重なるように設置する。
画像取得部102は、左右カメラ100,101に対し、同時刻のタイミングで撮像するよう撮像タイミング信号を出力し、電子シャッター若しくはメカニカルシャッターによって所定の露光時間後に左右カメラ100,101との画像データを取得してメモリに保存する。
距離データ取得部103は、左右カメラ100,101で撮像した領域の3次元距離データを算出してメモリに保存する。3次元距離データは、三角測量の原理に基づき3次元空間中のある点の左右画像間での対応付けを行うことで算出する。画像間の対応付けには、輝度差の総和SAD(Sum of Absolute Difference),輝度差の2乗和SSD(Sum of Squared Difference),正規化相関マッチング法や位相限定相関法等の方法がよく用いられ、サブピクセル精度での対応付けを行うことにより、3次元距離データの精度を向上することができる。なお、3次元距離データの座標系は、第2図に示すように、進行方向をZ軸202、自車両110の幅方向をX軸200、高さ方向をY軸201とし、原点は左右カメラ設置位置の中心とする。(この座標系を以下「世界座標系」という。)
道路境界検出部104は、距離データ取得部103によって算出された3次元距離データに基づいて、道路境界に相当する立体物が存在するかを判定する部である。第3図は右カメラ101によって撮像された画像であり、この画像に写る縁石320の検出例を、以下、説明する。なお、第15図~第18図は、実施例1の処理の流れを示すフローチャートである。
第4図はXZ平面を真上から眺めた俯瞰図であり、黒点は距離データ取得部によって算出された3次元距離データ(第15図のS02参照)の位置を示す。3次元距離データは左右カメラ100,101の視野範囲内に分布しており、一般的に自車両遠方側に比べて近傍側のデータ数が多い。この3次元距離データ分布から道路境界に相当する立体物を検出するために、第4図に示すようにZ軸方向に所定間隔毎に区切った領域(この領域を以下「短冊」という。)を設ける(第15図のS03参照)。そして、短冊毎に道路境界の検出処理を行う。短冊幅の長さは適宜設定してよいが、自車両110の幅に相当する長さに設定することが望ましい。また、自車両110の車速に応じ(X軸方向の)長さを変えてもよい。
次に、短冊に含まれる3次元距離データから道路形状を求める(第15図のS04参照)方法を説明する。第5図は3次元距離データをYZ平面に投影した図であり、横軸が奥行き方向のZ軸202、縦軸が高さ方向のY軸201である。黒点は、第4図と同様に3次元距離データの位置を示す。短冊番号W1の短冊中に含まれる3次元距離データをX軸Y軸で張られるXY平面に投影すると、第6図に示すデータ分布が得られる。この分布から次式で表される道路モデルに従って道路形状を推定する。
式1は、1次方程式で表わされる道路モデルであり、a及びbはパラメータである。パラメータの算出方法は種々のものがあるが、例えばXY平面上のデータ分布に対してハフ変換を用いる場合は、ハフ空間の所定領域で投票数が最大となるa及びbを選択すればよい。さらに、ハフ変換で算出された値を初期値とし、M推定法によってa及びbを再探索し、はずれ値の影響を減らす方法を用いるのがよい。また、一次方程式ではなく多次元方程式を道路モデルに用いてもよい。
式1の道路モデルを前記データ分布に当てはめた結果は、第6図に示された直線400である。この算出された道路モデルに対して、所定高さ以上の立体形状が進行方向に対して左右それぞれ存在するかどうかを探索する。探索方法としては、例えば第7図に示すように、直線400をX軸、直線400に直行する直線402を新たにY′軸とし、所定高さ以上のデータ群が存在するかを探索すればよい。探索した結果、第7図に示された斜線領域401に左側の道路境界に相当する立体物の存在を確認する。
上記処理を短冊毎に繰り返し実行することにより、左右道路境界に相当する立体物の高さ及び位置を検出する(第16図のS08参照)。そして、短冊毎に左右道路境界に相当する立体物の検出状況に応じて、左右に分けたそれぞれに、立体物の検出できた領域を第1の道路領域に(第16図のS14参照)、立体物を検出できない場合は第2の道路領域に(第16図のS15参照)分類する。
第8図は、上記処理によって検出された道路境界に相当する立体物の3次元距離データの分布を示すもので、左右に左右道路境界に相当する立体物の3次元距離データの分布310,311が認められる。第9図は、第8図に示された検出結果に対応した短冊毎の分類結果を示す。以上に記載したようにして得られた短冊毎の道路境界に相当する立体物の高さと位置、そして分類結果のデータを、メモリに保存する。
同一境界判断部105は、道路境界検出部104の分類結果に基づき、画像取得部102で得られた画像における第1の道路領域に相当する画像と第2の道路領域に相当する画像との比較を行うことにより、第2の道路領域に第1の道路領域と同一の立体物が存在するかを判断する部である。取得した画像毎にこの推定処理を行うため、立体物がオクルージョンによって隠されている場合にも道路境界を推定することが可能である。
次に、同一境界判断部の処理の流れを説明する。まず、道路境界検出部の処理結果から第2の道路領域に分類された短冊を探索する(第17図のS18参照)。該当する短冊が見つかった場合、左右カメラ100,101から得られた画像を、該当する短冊の手前に位置する(又は該当する短冊から所定数の短冊間に含まれる)第1の道路領域の立体物を正面に見る画像に、それぞれ射影変換する(第17図のS19参照)。前記画像を変換することにより、消失点に向って第1及び第2の道路領域に相当する画像が小さくなって比較が難しくなる問題を解消することができる。さらに、第1及び第2の道路領域に相当する画像の位置関係を水平にすることで、比較を容易にすることができる。その変換式を次に示す。
ここで、u,vは変換前の画像位置、u′,v′は変換後の画像位置、λは固有値を表す。射影変換行列Hの要素をh11からh33の変数で表す。
そして、射影変換行列Hは、次式によって算出することができる。
ここで、行列Aはカメラに装着したレンズの焦点距離,画像中心,画素サイズからなる3行3列の内部パラメータ行列である。行列Rとベクトルtは、それぞれ世界座標系に対するカメラの姿勢に関する3行3列の回転行列とカメラの3次元位置である。行列A,行列R,ベクトルtは、左右カメラ100,101に対してそれぞれ用意されており、工場出荷前に行われるカメラ校正によって予め値が既知である。ただし、車両搭載後のカメラ校正で値が変更された場合は最新の値を用いることにする。
行列R′とベクトルt′は、前記の該当する短冊の手前に位置する(又は該当する短冊から所定数の短冊間に含まれる)第1の道路領域の立体物を正面に見るようにカメラの姿勢及び3次元位置を仮想的に移動した場合の回転行列と3次元位置を表している。この仮想カメラの姿勢は、例えば、第2の道路領域に分類された短冊より1つ手前にある短冊に存在する立体物にカメラ光軸が向くようにする。これを第10図に示された例について言えば、短冊番号W4に存在する立体物の3次元距離データをXZ平面に投影したデータのよる直線334に対して直角で、かつ(式1)の道路モデルに平行となる直線331に対し、光軸が重なるように又は平行となるように仮想カメラの向きを設定すればよい。
第10図に示した例では、仮想カメラの3次元位置は、短冊番号W4に存在する立体物の3次元距離データの重心位置332を注視位置とし、この注視位置332を、前記設定したカメラ光軸が通り、自車両のカメラから前記注視位置までの距離に等しくなる位置333に設定している。つまり、直線331において、直線330の長さに等しい位置333にカメラの3次元位置を設定すればよい。
このように、(式4)によって、射影変換行列Hを算出することができる。ただし、短冊に存在する立体物の3次元距離データ数が所定数より少ない場合は、更に一つ手前の短冊に含まれる立体物の3次元距離データを用いるのがよい。
第11図及び第12図は、射影変換で画像変換する例を示す。第11図は右カメラ101から取得した画像であり、道路境界検出部104によって検出された道路境界に相当する立体物は、第11図に示された画像中の斜線部410,411で表されている。第12図は、第11図の斜線部410で示す領域の立体物について、短冊番号W4の立体物を正面に見るように射影変換した画像を示す。以上のように変換することによって、消失点に向って小さくなる立体物の画像の変化を抑えることができ、更に第1の道路領域と第2の道路領域の画像位置を水平にすることができる。
次に、射影変換した画像において、立体物を検知しない第2の道路領域に相当する画像領域の所定位置に、所定サイズのテンプレートを設定する(第17図のS20参照)。テンプレートサイズの設定としては、前記第2の道路領域に隣接する短冊の一つ手前にある短冊(第1の道路領域)に存在する立体物の画像中の縦幅を、一辺の長さとする正方形にするのがよい。テンプレート位置については、この射影変換した画像における第1の道路領域に、水平方向で隣接する第2の道路領域に設定すればよい。
このように設定したテンプレートを、探索範囲である第1の道路領域に相当する画像領域内で動かし、このテンプレート内の画像とこの第1の道路領域に相当する画像領域内との類似度を算出する(第17図のS21参照)。
この類似度の最大値が所定値より高い場合、類似度の最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が、テンプレートを設定した画像位置に存在すると推定する(第18図のS23参照)。また、左右カメラ100,101から得られる画像毎に前記テンプレートマッチング処理を行い、左右どちらか一方の類似度が所定値を上回る場合にも、前記と同様に類似度が最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が存在すると判断する。
以上の処理をテンプレートの設定位置をずらしながら、第2の道路領域に設定された短冊に相当する画像領域全体にわたって処理を行う。もし一度でも類似度の最大値が所定値を上回った場合は、その短冊を第2の道路領域から第1の道路領域に再設定する(第18図のS25参照)。
この類似度の最大値が所定値より小さい場合は、道路領域に相当する立体物が存在しないと判断する(第18図のS26参照)。
以上の処理を全ての第2の道路領域に分類された短冊に対して実行することにより、3次元距離データで検出できなかった道路境界に相当する立体物の位置と高さを推定する(第18図のS28参照)。なお、類似度としては、コントラストや明度の変化に強い相関係数を用いるのがよい。これに限らず、フーリエ変換等のテクスチャーを示す尺度を用いてもよい。
第13図は、テンプレートを設定する例のテンプレート設定領域420と探索範囲421を示す。テンプレートは、第2の道路領域に分類されている短冊番号W5の画像領域中に設定され、探索範囲421とテンプレートマッチングを行って、類似度の最大値が所定値を上回るか否かを判定する。この判定が済むと、テンプレートの設定領域を、第13図において右側にずらし、再度探索範囲421とテンプレートマッチングを行う。なお、テンプレートの設定領域を右側にずらす際に、前回の設定領域と所定範囲を被らせるようにしてもよい。
また、上記処理において、立体物のXZ平面上の位置(X,Z)を推定するには、例えば第14図に示されたように、射影変換行列を求める際に算出したXZ平面上の直線334と、テンプレート位置に対応する視線をXZ平面に投影した直線340との交点341の座標とするのがよい。ただし、短冊番号W4内の3次元距離データだけではなく、他の第1の道路領域に相当する短冊の3次元距離データもXZ平面に投影し、この投影データに当てはめた高次方程式と直線340との交点の座標としてもよい。
以上のようにして、道路境界検出部104と同一境界判断部105により、自車両の進行方向に存在する道路境界に相当する立体物の高さと位置を検出することができる。以上、実施例1は、左右2台のカメラを用いる形態であるが、2台を超える数のカメラがある場合では、その中の2台のカメラを組み合わせることにより、実施例1を拡張して適用することが可能である。
第2図は、左カメラ100と右カメラ101を搭載した自車両110を示す。自車両の進行方向に対して、左カメラ100は左側に、右カメラ101は右側に設置される。通常はフロントウィンドウの内側に設置されるが、左右のヘッドライトカバー内に設置してもよいし、また、フロントグリル部に設置してもよい。左右カメラ100,101の光軸間長さ及び路面からの高さは、自車両110の種類に応じて適宜設定する。また、左右カメラ100,101の視野角が所定量だけ重なるように設置する。
画像取得部102は、左右カメラ100,101に対し、同時刻のタイミングで撮像するよう撮像タイミング信号を出力し、電子シャッター若しくはメカニカルシャッターによって所定の露光時間後に左右カメラ100,101との画像データを取得してメモリに保存する。
距離データ取得部103は、左右カメラ100,101で撮像した領域の3次元距離データを算出してメモリに保存する。3次元距離データは、三角測量の原理に基づき3次元空間中のある点の左右画像間での対応付けを行うことで算出する。画像間の対応付けには、輝度差の総和SAD(Sum of Absolute Difference),輝度差の2乗和SSD(Sum of Squared Difference),正規化相関マッチング法や位相限定相関法等の方法がよく用いられ、サブピクセル精度での対応付けを行うことにより、3次元距離データの精度を向上することができる。なお、3次元距離データの座標系は、第2図に示すように、進行方向をZ軸202、自車両110の幅方向をX軸200、高さ方向をY軸201とし、原点は左右カメラ設置位置の中心とする。(この座標系を以下「世界座標系」という。)
道路境界検出部104は、距離データ取得部103によって算出された3次元距離データに基づいて、道路境界に相当する立体物が存在するかを判定する部である。第3図は右カメラ101によって撮像された画像であり、この画像に写る縁石320の検出例を、以下、説明する。なお、第15図~第18図は、実施例1の処理の流れを示すフローチャートである。
第4図はXZ平面を真上から眺めた俯瞰図であり、黒点は距離データ取得部によって算出された3次元距離データ(第15図のS02参照)の位置を示す。3次元距離データは左右カメラ100,101の視野範囲内に分布しており、一般的に自車両遠方側に比べて近傍側のデータ数が多い。この3次元距離データ分布から道路境界に相当する立体物を検出するために、第4図に示すようにZ軸方向に所定間隔毎に区切った領域(この領域を以下「短冊」という。)を設ける(第15図のS03参照)。そして、短冊毎に道路境界の検出処理を行う。短冊幅の長さは適宜設定してよいが、自車両110の幅に相当する長さに設定することが望ましい。また、自車両110の車速に応じ(X軸方向の)長さを変えてもよい。
次に、短冊に含まれる3次元距離データから道路形状を求める(第15図のS04参照)方法を説明する。第5図は3次元距離データをYZ平面に投影した図であり、横軸が奥行き方向のZ軸202、縦軸が高さ方向のY軸201である。黒点は、第4図と同様に3次元距離データの位置を示す。短冊番号W1の短冊中に含まれる3次元距離データをX軸Y軸で張られるXY平面に投影すると、第6図に示すデータ分布が得られる。この分布から次式で表される道路モデルに従って道路形状を推定する。
式1は、1次方程式で表わされる道路モデルであり、a及びbはパラメータである。パラメータの算出方法は種々のものがあるが、例えばXY平面上のデータ分布に対してハフ変換を用いる場合は、ハフ空間の所定領域で投票数が最大となるa及びbを選択すればよい。さらに、ハフ変換で算出された値を初期値とし、M推定法によってa及びbを再探索し、はずれ値の影響を減らす方法を用いるのがよい。また、一次方程式ではなく多次元方程式を道路モデルに用いてもよい。
式1の道路モデルを前記データ分布に当てはめた結果は、第6図に示された直線400である。この算出された道路モデルに対して、所定高さ以上の立体形状が進行方向に対して左右それぞれ存在するかどうかを探索する。探索方法としては、例えば第7図に示すように、直線400をX軸、直線400に直行する直線402を新たにY′軸とし、所定高さ以上のデータ群が存在するかを探索すればよい。探索した結果、第7図に示された斜線領域401に左側の道路境界に相当する立体物の存在を確認する。
上記処理を短冊毎に繰り返し実行することにより、左右道路境界に相当する立体物の高さ及び位置を検出する(第16図のS08参照)。そして、短冊毎に左右道路境界に相当する立体物の検出状況に応じて、左右に分けたそれぞれに、立体物の検出できた領域を第1の道路領域に(第16図のS14参照)、立体物を検出できない場合は第2の道路領域に(第16図のS15参照)分類する。
第8図は、上記処理によって検出された道路境界に相当する立体物の3次元距離データの分布を示すもので、左右に左右道路境界に相当する立体物の3次元距離データの分布310,311が認められる。第9図は、第8図に示された検出結果に対応した短冊毎の分類結果を示す。以上に記載したようにして得られた短冊毎の道路境界に相当する立体物の高さと位置、そして分類結果のデータを、メモリに保存する。
同一境界判断部105は、道路境界検出部104の分類結果に基づき、画像取得部102で得られた画像における第1の道路領域に相当する画像と第2の道路領域に相当する画像との比較を行うことにより、第2の道路領域に第1の道路領域と同一の立体物が存在するかを判断する部である。取得した画像毎にこの推定処理を行うため、立体物がオクルージョンによって隠されている場合にも道路境界を推定することが可能である。
次に、同一境界判断部の処理の流れを説明する。まず、道路境界検出部の処理結果から第2の道路領域に分類された短冊を探索する(第17図のS18参照)。該当する短冊が見つかった場合、左右カメラ100,101から得られた画像を、該当する短冊の手前に位置する(又は該当する短冊から所定数の短冊間に含まれる)第1の道路領域の立体物を正面に見る画像に、それぞれ射影変換する(第17図のS19参照)。前記画像を変換することにより、消失点に向って第1及び第2の道路領域に相当する画像が小さくなって比較が難しくなる問題を解消することができる。さらに、第1及び第2の道路領域に相当する画像の位置関係を水平にすることで、比較を容易にすることができる。その変換式を次に示す。
ここで、u,vは変換前の画像位置、u′,v′は変換後の画像位置、λは固有値を表す。射影変換行列Hの要素をh11からh33の変数で表す。
そして、射影変換行列Hは、次式によって算出することができる。
ここで、行列Aはカメラに装着したレンズの焦点距離,画像中心,画素サイズからなる3行3列の内部パラメータ行列である。行列Rとベクトルtは、それぞれ世界座標系に対するカメラの姿勢に関する3行3列の回転行列とカメラの3次元位置である。行列A,行列R,ベクトルtは、左右カメラ100,101に対してそれぞれ用意されており、工場出荷前に行われるカメラ校正によって予め値が既知である。ただし、車両搭載後のカメラ校正で値が変更された場合は最新の値を用いることにする。
行列R′とベクトルt′は、前記の該当する短冊の手前に位置する(又は該当する短冊から所定数の短冊間に含まれる)第1の道路領域の立体物を正面に見るようにカメラの姿勢及び3次元位置を仮想的に移動した場合の回転行列と3次元位置を表している。この仮想カメラの姿勢は、例えば、第2の道路領域に分類された短冊より1つ手前にある短冊に存在する立体物にカメラ光軸が向くようにする。これを第10図に示された例について言えば、短冊番号W4に存在する立体物の3次元距離データをXZ平面に投影したデータのよる直線334に対して直角で、かつ(式1)の道路モデルに平行となる直線331に対し、光軸が重なるように又は平行となるように仮想カメラの向きを設定すればよい。
第10図に示した例では、仮想カメラの3次元位置は、短冊番号W4に存在する立体物の3次元距離データの重心位置332を注視位置とし、この注視位置332を、前記設定したカメラ光軸が通り、自車両のカメラから前記注視位置までの距離に等しくなる位置333に設定している。つまり、直線331において、直線330の長さに等しい位置333にカメラの3次元位置を設定すればよい。
このように、(式4)によって、射影変換行列Hを算出することができる。ただし、短冊に存在する立体物の3次元距離データ数が所定数より少ない場合は、更に一つ手前の短冊に含まれる立体物の3次元距離データを用いるのがよい。
第11図及び第12図は、射影変換で画像変換する例を示す。第11図は右カメラ101から取得した画像であり、道路境界検出部104によって検出された道路境界に相当する立体物は、第11図に示された画像中の斜線部410,411で表されている。第12図は、第11図の斜線部410で示す領域の立体物について、短冊番号W4の立体物を正面に見るように射影変換した画像を示す。以上のように変換することによって、消失点に向って小さくなる立体物の画像の変化を抑えることができ、更に第1の道路領域と第2の道路領域の画像位置を水平にすることができる。
次に、射影変換した画像において、立体物を検知しない第2の道路領域に相当する画像領域の所定位置に、所定サイズのテンプレートを設定する(第17図のS20参照)。テンプレートサイズの設定としては、前記第2の道路領域に隣接する短冊の一つ手前にある短冊(第1の道路領域)に存在する立体物の画像中の縦幅を、一辺の長さとする正方形にするのがよい。テンプレート位置については、この射影変換した画像における第1の道路領域に、水平方向で隣接する第2の道路領域に設定すればよい。
このように設定したテンプレートを、探索範囲である第1の道路領域に相当する画像領域内で動かし、このテンプレート内の画像とこの第1の道路領域に相当する画像領域内との類似度を算出する(第17図のS21参照)。
この類似度の最大値が所定値より高い場合、類似度の最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が、テンプレートを設定した画像位置に存在すると推定する(第18図のS23参照)。また、左右カメラ100,101から得られる画像毎に前記テンプレートマッチング処理を行い、左右どちらか一方の類似度が所定値を上回る場合にも、前記と同様に類似度が最大となるテンプレート位置に対応する第1の道路領域に存在する立体物と同じ高さの立体物が存在すると判断する。
以上の処理をテンプレートの設定位置をずらしながら、第2の道路領域に設定された短冊に相当する画像領域全体にわたって処理を行う。もし一度でも類似度の最大値が所定値を上回った場合は、その短冊を第2の道路領域から第1の道路領域に再設定する(第18図のS25参照)。
この類似度の最大値が所定値より小さい場合は、道路領域に相当する立体物が存在しないと判断する(第18図のS26参照)。
以上の処理を全ての第2の道路領域に分類された短冊に対して実行することにより、3次元距離データで検出できなかった道路境界に相当する立体物の位置と高さを推定する(第18図のS28参照)。なお、類似度としては、コントラストや明度の変化に強い相関係数を用いるのがよい。これに限らず、フーリエ変換等のテクスチャーを示す尺度を用いてもよい。
第13図は、テンプレートを設定する例のテンプレート設定領域420と探索範囲421を示す。テンプレートは、第2の道路領域に分類されている短冊番号W5の画像領域中に設定され、探索範囲421とテンプレートマッチングを行って、類似度の最大値が所定値を上回るか否かを判定する。この判定が済むと、テンプレートの設定領域を、第13図において右側にずらし、再度探索範囲421とテンプレートマッチングを行う。なお、テンプレートの設定領域を右側にずらす際に、前回の設定領域と所定範囲を被らせるようにしてもよい。
また、上記処理において、立体物のXZ平面上の位置(X,Z)を推定するには、例えば第14図に示されたように、射影変換行列を求める際に算出したXZ平面上の直線334と、テンプレート位置に対応する視線をXZ平面に投影した直線340との交点341の座標とするのがよい。ただし、短冊番号W4内の3次元距離データだけではなく、他の第1の道路領域に相当する短冊の3次元距離データもXZ平面に投影し、この投影データに当てはめた高次方程式と直線340との交点の座標としてもよい。
以上のようにして、道路境界検出部104と同一境界判断部105により、自車両の進行方向に存在する道路境界に相当する立体物の高さと位置を検出することができる。以上、実施例1は、左右2台のカメラを用いる形態であるが、2台を超える数のカメラがある場合では、その中の2台のカメラを組み合わせることにより、実施例1を拡張して適用することが可能である。
次に、実施例2の道路境界検出判断装置について説明する。第19図は、実施例2の道路境界検出判断装置の構成を示すブロック図である。実施例2は、第1図に示された実施例1の道路境界検出判断装置に対して、自車両110の運動情報を取得する運動情報取得部123と、移動軌跡を推定する移動軌跡推定部124、更に自車両110の道路からの逸脱を検知する道路境界逸脱判断部125と、運転者に警報を与える警報部が加わった構成である。以下、各部の詳細を説明する。
運動情報取得部123は、自車両110に搭載された車速センサ120,舵角センサ121,加速度・ヨーレートセンサ122の信号を取得する部であり、CAN(Control Area Network),FlexRayなどの通信プロトコルに則り、所定の時間間隔で信号の送受信を行う。ただし、本発明は、上記の通信プロトコルに制限されるものではなく、他の通信プロトコルを用いてもよい。
移動軌跡推定部124は、運動情報取得部123によって取得された自車両の車速,舵角,加速度・ヨーレートに基づいて、自車両の所定時間後までの移動軌跡を推定する部である。移動軌跡の推定には、自車両の車両ダイナミクスに基づく車両運動モデルを用いる。車両運動モデルを用いた移動軌跡の推定には、所定時間までの数値積分を行う必要があるが、各種センサの信号に含まれる計測誤差が蓄積して推定誤差が肥大化してしまうおそれがある。
これに対して、例えばGPS(Global Positioning System)から得られる位置情報を付加することにより、推定誤差の低減が可能である。推定される移動軌跡の位置情報は、図2に示されたX軸200,Y軸201,Z軸202からなる世界座標系におけるXZ平面上の点とする。なお、道路境界検出部104で推定された道路モデルに、移動軌跡を投影するようにしてもよい。また、本発明は、移動軌跡推定法に限定されるものではなく、他の推定法を用いてもよい。
本移動軌跡推定部124によって推定された移動軌跡の位置情報は、メモリに保存される。なお、メモリには、短冊毎に一つの移動軌跡の位置情報を保存してもよいし、所定時間毎の位置情報を保存してもよい。
道路境界逸脱判断部125は、移動軌跡推定部124で推定された移動軌跡の位置情報と、道路境界検出部104と同一境界判断部105とによって得られた左右道路境界に相当する立体物の位置情報とに基づいて、自車両が道路境界を逸脱するか否かを判断する部である。第20図は、逸脱判断を行う例を示す。移動軌跡推定部124で推定された移動軌跡316が道路境界検出部104と同一境界判断部105とによって検出及び推定された左側道路境界に相当する立体物315の位置を横切る様子を示している。
以下、第20図を参照して判断処理内容を説明する。まず、左右道路境界の立体物を横切る移動軌跡の位置318を推定する。それから、次式により、横切り位置318までの走行距離Lと車速vより、境界を横切るまでの横切り時間tcを算出する。
さらに、横切り位置318の連続推定回数Ncをカウントする。この連続推定回数Ncは、運転者のハンドル操作による舵角の微小振動や、車速センサ120,加速度・ヨーレートセンサ122の出力信号に含まれるノイズによって移動軌跡が振動し、横切りの誤判断を低下する目的で設定する。
横切り時間tcが所定値より短く、連続推定回数Ncが所定値より大きい場合、自車両の道路逸脱の可能性が高いと判断する。なお、横切り時間tcに関する所定値は、所定の減速度で横切り位置までに停止するのに必要な時間と、運転者の障害物を認知・判断して回避又は制動操作を行う一連の動作にかかる時間の統計値に基づいて設定することが望ましい。こうして、道路境界逸脱判断部によって逸脱防止のための警報を出すか出さないかの判断がなされる。
警報部126は、道路境界逸脱判断部125の判断結果に基づいて、運転者に警報を出す部分である。警報としては、自車両に搭載されているスピーカを利用した警報音や警報ランプの点灯が望ましい。また、ハンドルを加振させるようにしてもよい。なお、本発明は、上記の警報の与え方に限定されるものではなく、他の方法を用いるようにしてもよい。
以上のとおり、実施例2は、運転者に道路逸脱警報を与えることにより、道路逸脱を未然に防ぐことが可能となる。
運動情報取得部123は、自車両110に搭載された車速センサ120,舵角センサ121,加速度・ヨーレートセンサ122の信号を取得する部であり、CAN(Control Area Network),FlexRayなどの通信プロトコルに則り、所定の時間間隔で信号の送受信を行う。ただし、本発明は、上記の通信プロトコルに制限されるものではなく、他の通信プロトコルを用いてもよい。
移動軌跡推定部124は、運動情報取得部123によって取得された自車両の車速,舵角,加速度・ヨーレートに基づいて、自車両の所定時間後までの移動軌跡を推定する部である。移動軌跡の推定には、自車両の車両ダイナミクスに基づく車両運動モデルを用いる。車両運動モデルを用いた移動軌跡の推定には、所定時間までの数値積分を行う必要があるが、各種センサの信号に含まれる計測誤差が蓄積して推定誤差が肥大化してしまうおそれがある。
これに対して、例えばGPS(Global Positioning System)から得られる位置情報を付加することにより、推定誤差の低減が可能である。推定される移動軌跡の位置情報は、図2に示されたX軸200,Y軸201,Z軸202からなる世界座標系におけるXZ平面上の点とする。なお、道路境界検出部104で推定された道路モデルに、移動軌跡を投影するようにしてもよい。また、本発明は、移動軌跡推定法に限定されるものではなく、他の推定法を用いてもよい。
本移動軌跡推定部124によって推定された移動軌跡の位置情報は、メモリに保存される。なお、メモリには、短冊毎に一つの移動軌跡の位置情報を保存してもよいし、所定時間毎の位置情報を保存してもよい。
道路境界逸脱判断部125は、移動軌跡推定部124で推定された移動軌跡の位置情報と、道路境界検出部104と同一境界判断部105とによって得られた左右道路境界に相当する立体物の位置情報とに基づいて、自車両が道路境界を逸脱するか否かを判断する部である。第20図は、逸脱判断を行う例を示す。移動軌跡推定部124で推定された移動軌跡316が道路境界検出部104と同一境界判断部105とによって検出及び推定された左側道路境界に相当する立体物315の位置を横切る様子を示している。
以下、第20図を参照して判断処理内容を説明する。まず、左右道路境界の立体物を横切る移動軌跡の位置318を推定する。それから、次式により、横切り位置318までの走行距離Lと車速vより、境界を横切るまでの横切り時間tcを算出する。
さらに、横切り位置318の連続推定回数Ncをカウントする。この連続推定回数Ncは、運転者のハンドル操作による舵角の微小振動や、車速センサ120,加速度・ヨーレートセンサ122の出力信号に含まれるノイズによって移動軌跡が振動し、横切りの誤判断を低下する目的で設定する。
横切り時間tcが所定値より短く、連続推定回数Ncが所定値より大きい場合、自車両の道路逸脱の可能性が高いと判断する。なお、横切り時間tcに関する所定値は、所定の減速度で横切り位置までに停止するのに必要な時間と、運転者の障害物を認知・判断して回避又は制動操作を行う一連の動作にかかる時間の統計値に基づいて設定することが望ましい。こうして、道路境界逸脱判断部によって逸脱防止のための警報を出すか出さないかの判断がなされる。
警報部126は、道路境界逸脱判断部125の判断結果に基づいて、運転者に警報を出す部分である。警報としては、自車両に搭載されているスピーカを利用した警報音や警報ランプの点灯が望ましい。また、ハンドルを加振させるようにしてもよい。なお、本発明は、上記の警報の与え方に限定されるものではなく、他の方法を用いるようにしてもよい。
以上のとおり、実施例2は、運転者に道路逸脱警報を与えることにより、道路逸脱を未然に防ぐことが可能となる。
100 左カメラ
101 右カメラ
102 画像取得部
103 距離データ取得部
104 道路境界検出部
105 同一境界判断部
110 自車両
120 車速センサ
121 舵角センサ
122 加速度・ヨーレートセンサ
123 運動情報取得部
124 移動軌跡推定部
125 道路境界逸脱判断部
126 警報部
200 X軸
201 Y軸
202 Z軸
300 3次元距離データ
301 短冊
305 短冊301に含まれる3次元距離データ
310 左側道路境界に相当する立体物データ
311 右側道路境界に相当する立体物データ
315 検出及び推定された左側道路境界に相当する立体物データ
316 短冊毎の自車両の移動軌跡位置
317 移動軌跡の点列
320 縁石
330 注視位置までの距離
331 仮想視点位置と注視位置との距離
332 注視位置
333 仮想視点位置
334 短冊W4に含まれる3次元距離データのXZ投影点に対する直線当てはめ結果
340 類似度が最大になるテンプレート位置に対応するXZ平面に投影した視線
341 立体物の推定位置
400 道路形状
401 道路境界に相当する立体物
402 Y′軸
403 X′軸
410 右画面における左側道路境界に相当する立体物データ
411 右画面における右側道路境界に相当する立体物データ
420 テンプレート設定領域
421 探索範囲
101 右カメラ
102 画像取得部
103 距離データ取得部
104 道路境界検出部
105 同一境界判断部
110 自車両
120 車速センサ
121 舵角センサ
122 加速度・ヨーレートセンサ
123 運動情報取得部
124 移動軌跡推定部
125 道路境界逸脱判断部
126 警報部
200 X軸
201 Y軸
202 Z軸
300 3次元距離データ
301 短冊
305 短冊301に含まれる3次元距離データ
310 左側道路境界に相当する立体物データ
311 右側道路境界に相当する立体物データ
315 検出及び推定された左側道路境界に相当する立体物データ
316 短冊毎の自車両の移動軌跡位置
317 移動軌跡の点列
320 縁石
330 注視位置までの距離
331 仮想視点位置と注視位置との距離
332 注視位置
333 仮想視点位置
334 短冊W4に含まれる3次元距離データのXZ投影点に対する直線当てはめ結果
340 類似度が最大になるテンプレート位置に対応するXZ平面に投影した視線
341 立体物の推定位置
400 道路形状
401 道路境界に相当する立体物
402 Y′軸
403 X′軸
410 右画面における左側道路境界に相当する立体物データ
411 右画面における右側道路境界に相当する立体物データ
420 テンプレート設定領域
421 探索範囲
Claims (6)
- 自車両の走行する道路の境界の立体物を検出し判断する車載装置であって、
前記道路領域を撮像する2台以上のカメラを有する画像取得部と、
前記画像取得部によって得られた画像に基づいて撮像領域の3次元距離情報を取得する距離データ取得部と、
前記距離データ取得部によって得られた3次元距離情報に基づいて前記道路領域に存在する立体物の高さを検出して道路境界を検出する道路境界検出部と、
前記道路境界検出部において、道路境界に相当する立体物の高さを検出できた第1の道路領域と、道路境界に相当する立体物の高さを検出できなかった第2の道路領域について、前記画像を変換して前記第1の道路領域の境界に相当する立体物及び第2の道路領域の境界に相当する立体物が同じであるか否かを判断する同一境界判断部とを備え、
前記同一境界判断部が前記第1及び第2の道路領域の境界に相当する立体物が同じであると判断した場合には、前記第2の道路領域を第1の道路領域に再設定することを特徴とする道路境界検出判断装置。 - 請求項1に記載された道路境界検出判断装置において、
前記道路境界検出部は、前記3次元距離情報に基づいて前記自車両から前方に向かって所定間隔毎に道路形状を検出し、かかる検出された道路形状に対して前記所定間隔内の所定領域に高さが所定値以上の立体物が存在するかを判定し、該立体物が存在すると判定された場合、該立体物の3次元位置と高さを算出して前記所定領域を第1の道路領域に分類し、該立体物が存在しないと判定された場合には、前記所定領域を第2の道路領域に分類することを特徴とする道路境界検出判断装置。 - 請求項2に記載された道路境界検出判断装置において、
前記同一境界判断部は、前記道路境界検出部によって検出された第2の道路領域に分類された前記所定の領域の手前の第1の道路領域に分類された前記領域の境界に相当する立体物の3次元距離情報と前記道路形状とに基づいて前記画像を射影変換によって前記立体物を仮想的に正面から見た画像に変換することを特徴とする道路境界検出判断装置。 - 請求項3に記載された道路境界検出判断装置において、
前記同一境界判断部は、前記第1の道路領域に分類された領域の遠方側の画像位置に接する前記第2の道路領域に分類された領域の画像の所定領域をテンプレートとし、該テンプレートと前記第1の道路領域に分類された領域の境界に相当する立体物を含む所定領域内の画像との類似度を算出し、該類似度の最大値が所定値より高い場合、該類似度の最大となるテンプレート位置に対応する立体物が前記第2の道路領域に分類された前記領域に存在すると判断することを特徴とする道路境界検出判断装置。 - 請求項4に記載された道路境界検出判断装置において、
前記類似度として、相関係数を用いることを特徴とする道路境界検出判断装置。 - 請求項1に記載された道路境界検出判断装置において、
前記自車両の運動情報を取得する運動情報取得部と、
前記運動情報取得部によって得られた運動情報に基づいて所定時間後までの前記自車両の移動軌跡を推定する移動軌跡推定部と、
前記推定された移動軌跡並びに前記道路境界検出部及び前記同一境界判断部によって検出された道路境界に相当する立体物との横切る位置を探索し、該横切る位置が存在する場合には該横切る位置までの距離と前記自車両の速度に基づいて運転者に警報を与える警報部と、を備えることを特徴とする道路境界検出判断装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/920,405 US8411900B2 (en) | 2008-09-17 | 2009-06-10 | Device for detecting/judging road boundary |
EP09814368.8A EP2336999B1 (en) | 2008-09-17 | 2009-06-10 | Device for detecting/judging road boundary |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008237878A JP5089545B2 (ja) | 2008-09-17 | 2008-09-17 | 道路境界検出判断装置 |
JP2008-237878 | 2008-09-17 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2010032523A1 true WO2010032523A1 (ja) | 2010-03-25 |
Family
ID=42039368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/060975 WO2010032523A1 (ja) | 2008-09-17 | 2009-06-10 | 道路境界検出判断装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8411900B2 (ja) |
EP (1) | EP2336999B1 (ja) |
JP (1) | JP5089545B2 (ja) |
WO (1) | WO2010032523A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2431917A1 (en) * | 2010-09-21 | 2012-03-21 | Mobileye Technologies Limited | Barrier and guardrail detection using a single camera |
CN106056569A (zh) * | 2015-04-17 | 2016-10-26 | 丰田自动车株式会社 | 行驶路面检测装置和行驶路面检测方法 |
US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5068779B2 (ja) * | 2009-02-27 | 2012-11-07 | 現代自動車株式会社 | 車両周囲俯瞰画像表示装置及び方法 |
JP5269755B2 (ja) | 2009-12-10 | 2013-08-21 | 株式会社日立製作所 | 人横断支援車両システム及び人横断支援方法 |
JP5161936B2 (ja) * | 2010-08-11 | 2013-03-13 | 株式会社パスコ | データ解析装置、データ解析方法、及びプログラム |
US9118816B2 (en) * | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
JP5389002B2 (ja) * | 2010-12-07 | 2014-01-15 | 日立オートモティブシステムズ株式会社 | 走行環境認識装置 |
EP2574958B1 (en) | 2011-09-28 | 2017-02-22 | Honda Research Institute Europe GmbH | Road-terrain detection method and system for driver assistance systems |
DE102011084554A1 (de) * | 2011-10-14 | 2013-04-18 | Robert Bosch Gmbh | Verfahren zur Darstellung eines Fahrzeugumfeldes |
DE112012004354T5 (de) * | 2011-10-18 | 2014-07-10 | Hitachi Construction Machinery Co., Ltd. | Vorrichtung zum Überwachen der Umgebung von Maschinerie |
US9297641B2 (en) | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
DE102011056671A1 (de) * | 2011-12-20 | 2013-06-20 | Conti Temic Microelectronic Gmbh | Bestimmung eines Höhenprofils einer Fahrzeugumgebung mittels einer 3D-Kamera |
DE102012101085A1 (de) | 2012-02-10 | 2013-08-14 | Conti Temic Microelectronic Gmbh | Bestimmung einer Beschaffenheit einer Fahrbahnoberfläche mittels einer 3D-Kamera |
JP5820774B2 (ja) * | 2012-06-21 | 2015-11-24 | 株式会社豊田中央研究所 | 路面境界推定装置及びプログラム |
CN104508706B (zh) | 2012-08-15 | 2017-03-22 | 国际商业机器公司 | 特征提取方法、程序和*** |
US9256791B2 (en) | 2012-12-04 | 2016-02-09 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
CN104050654B (zh) | 2013-03-11 | 2017-06-09 | 株式会社理光 | 道路边缘检测方法和装置 |
TWI498831B (zh) * | 2013-10-15 | 2015-09-01 | Nat Univ Chung Hsing | 產生可變形狀之適應性動態區域之系統與其控制方法 |
DE102013223367A1 (de) | 2013-11-15 | 2015-05-21 | Continental Teves Ag & Co. Ohg | Verfahren und Vorrichtung zur Bestimmung eines Fahrbahnzustands mittels eines Fahrzeugkamerasystems |
US9150220B2 (en) | 2013-12-04 | 2015-10-06 | Mobileye Vision Technologies Ltd. | Systems and methods for mimicking a leading vehicle |
EP2899669A1 (en) | 2014-01-22 | 2015-07-29 | Honda Research Institute Europe GmbH | Lane relative position estimation method and system for driver assistance systems |
US9298993B2 (en) * | 2014-02-27 | 2016-03-29 | Xerox Corporation | On-street vehicle parking occupancy estimation via curb detection |
US9834207B2 (en) * | 2014-04-15 | 2017-12-05 | GM Global Technology Operations LLC | Method and system for detecting, tracking and estimating stationary roadside objects |
JP6374695B2 (ja) * | 2014-04-28 | 2018-08-15 | 日立建機株式会社 | 路肩検出システムおよび鉱山用運搬車両 |
JP6046666B2 (ja) * | 2014-06-24 | 2016-12-21 | トヨタ自動車株式会社 | 走路境界推定装置及び走路境界推定方法 |
KR101637716B1 (ko) * | 2014-11-03 | 2016-07-07 | 현대자동차주식회사 | 차량의 장애물 위치 인식 장치 및 방법 |
KR20160054825A (ko) * | 2014-11-07 | 2016-05-17 | 현대모비스 주식회사 | 주행 가능 공간 판단 장치 및 방법 |
JP6456405B2 (ja) * | 2015-01-16 | 2019-01-23 | 株式会社日立製作所 | 3次元情報算出装置、3次元情報算出方法、および自律移動装置 |
EP3333828B1 (en) * | 2015-08-04 | 2020-12-09 | Nissan Motor Co., Ltd. | Step detection device and step detection method |
WO2017022080A1 (ja) * | 2015-08-04 | 2017-02-09 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
JP6485280B2 (ja) * | 2015-08-10 | 2019-03-20 | 日産自動車株式会社 | 段差検出装置及び段差検出方法 |
DE102016201304A1 (de) * | 2016-01-28 | 2017-08-03 | Robert Bosch Gmbh | Vorrichtung und Verfahren zum Erfassen eines Randsteins in einer Umgebung eines Fahrzeugs sowie System zur Randsteinkontrolle für ein Fahrzeug |
US9852631B2 (en) | 2016-03-04 | 2017-12-26 | Conduent Business Services, Llc | Mobile on-street parking occupancy detection |
EP3217374A1 (en) * | 2016-03-10 | 2017-09-13 | Volvo Car Corporation | Method and system for estimating a boundary of a road technical field |
TWI608448B (zh) * | 2016-03-25 | 2017-12-11 | 晶睿通訊股份有限公司 | 計數流道設定方法、具有計數流道設定功能的影像監控系統、及其相關的電腦可讀取媒體 |
JP6834330B2 (ja) * | 2016-10-12 | 2021-02-24 | 日産自動車株式会社 | 走路境界検出方法及び走路境界検出装置 |
KR102518537B1 (ko) * | 2016-12-16 | 2023-04-07 | 현대자동차주식회사 | 운전자 지원 장치 및 그의 차선 정보 제공 방법 |
EP3619643A1 (en) | 2017-05-03 | 2020-03-11 | Mobileye Vision Technologies Ltd. | Detection and classification systems and methods for autonomous vehicle navigation |
CN107926264A (zh) * | 2017-10-23 | 2018-04-20 | 北京勇搏科技有限公司 | 一种基于无人驾驶技术的收割机 |
CN108182412A (zh) * | 2017-12-29 | 2018-06-19 | 百度在线网络技术(北京)有限公司 | 用于检测图像类型的方法及装置 |
JP7344744B2 (ja) * | 2019-10-09 | 2023-09-14 | 日産自動車株式会社 | 路側端検出方法、及び、路側端検出装置 |
JP7359715B2 (ja) | 2020-02-14 | 2023-10-11 | 株式会社Soken | 道路形状推定装置 |
US11584371B2 (en) | 2020-07-15 | 2023-02-21 | Toyota Research Institute, Inc. | Systems and methods for using R-functions and semi-analytic geometry for lane keeping in trajectory planning |
CN112000757B (zh) * | 2020-08-25 | 2024-05-28 | 北京四维图新科技股份有限公司 | 道路边界处理方法及电子设备 |
CN117083575A (zh) * | 2021-03-15 | 2023-11-17 | 动态Ad有限责任公司 | 轨迹检查器 |
CN113869129A (zh) * | 2021-08-31 | 2021-12-31 | 广州文远知行科技有限公司 | 一种路肩检测方法、装置及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JPH11213138A (ja) | 1998-01-30 | 1999-08-06 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP2000331148A (ja) * | 1999-05-19 | 2000-11-30 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2003204546A (ja) * | 2002-09-20 | 2003-07-18 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP2003233899A (ja) | 2002-02-08 | 2003-08-22 | Toshiba Corp | 路肩検出装置及び方法 |
JP2003281552A (ja) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | 画像処理装置及びその方法 |
JP2006053757A (ja) * | 2004-08-11 | 2006-02-23 | Honda Motor Co Ltd | 平面検出装置及び検出方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JP3866328B2 (ja) * | 1996-06-06 | 2007-01-10 | 富士重工業株式会社 | 車両周辺立体物認識装置 |
DE19926559A1 (de) * | 1999-06-11 | 2000-12-21 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung |
US6801244B2 (en) * | 2000-02-29 | 2004-10-05 | Kabushiki Kaisha Toshiba | Obstacle detection apparatus and method |
JP3759429B2 (ja) * | 2001-05-23 | 2006-03-22 | 株式会社東芝 | 障害物検出装置及びその方法 |
JP4328692B2 (ja) * | 2004-08-11 | 2009-09-09 | 国立大学法人東京工業大学 | 物体検出装置 |
JP4650079B2 (ja) * | 2004-11-30 | 2011-03-16 | 日産自動車株式会社 | 物体検出装置、および方法 |
DE602005022943D1 (de) * | 2005-04-18 | 2010-09-23 | Intel Corp | Dreidimensionale strassenlayoutschätzung aus videosequenzen durch verfolgung von fussgängern |
JP4797794B2 (ja) * | 2006-05-24 | 2011-10-19 | 日産自動車株式会社 | 歩行者検出装置および歩行者検出方法 |
JP2009053818A (ja) * | 2007-08-24 | 2009-03-12 | Toshiba Corp | 画像処理装置及びその方法 |
-
2008
- 2008-09-17 JP JP2008237878A patent/JP5089545B2/ja active Active
-
2009
- 2009-06-10 EP EP09814368.8A patent/EP2336999B1/en active Active
- 2009-06-10 WO PCT/JP2009/060975 patent/WO2010032523A1/ja active Application Filing
- 2009-06-10 US US12/920,405 patent/US8411900B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266828A (ja) * | 1993-03-12 | 1994-09-22 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JPH11213138A (ja) | 1998-01-30 | 1999-08-06 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP2000331148A (ja) * | 1999-05-19 | 2000-11-30 | Nissan Motor Co Ltd | 障害物検出装置 |
JP2003233899A (ja) | 2002-02-08 | 2003-08-22 | Toshiba Corp | 路肩検出装置及び方法 |
JP2003281552A (ja) * | 2002-03-25 | 2003-10-03 | Toshiba Corp | 画像処理装置及びその方法 |
JP2003204546A (ja) * | 2002-09-20 | 2003-07-18 | Fuji Heavy Ind Ltd | 車外監視装置 |
JP2006053757A (ja) * | 2004-08-11 | 2006-02-23 | Honda Motor Co Ltd | 平面検出装置及び検出方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2336999A4 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10685424B2 (en) | 2010-09-21 | 2020-06-16 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US11170466B2 (en) | 2010-09-21 | 2021-11-09 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
EP2431917A1 (en) * | 2010-09-21 | 2012-03-21 | Mobileye Technologies Limited | Barrier and guardrail detection using a single camera |
US11087148B2 (en) | 2010-09-21 | 2021-08-10 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
EP3301612A1 (en) * | 2010-09-21 | 2018-04-04 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
US10078788B2 (en) | 2010-09-21 | 2018-09-18 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US10115027B2 (en) | 2010-09-21 | 2018-10-30 | Mibileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
EP3751457A1 (en) * | 2010-09-21 | 2020-12-16 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US10445595B2 (en) | 2010-09-21 | 2019-10-15 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
JP2016206775A (ja) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | 走行路面検出装置及び走行路面検出方法 |
CN106056569B (zh) * | 2015-04-17 | 2019-03-29 | 丰田自动车株式会社 | 行驶路面检测装置和行驶路面检测方法 |
US9898669B2 (en) | 2015-04-17 | 2018-02-20 | Toyota Jidosha Kabushiki Kaisha | Traveling road surface detection device and traveling road surface detection method |
CN106056569A (zh) * | 2015-04-17 | 2016-10-26 | 丰田自动车株式会社 | 行驶路面检测装置和行驶路面检测方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110063097A1 (en) | 2011-03-17 |
EP2336999B1 (en) | 2020-04-22 |
EP2336999A4 (en) | 2013-10-30 |
JP5089545B2 (ja) | 2012-12-05 |
US8411900B2 (en) | 2013-04-02 |
JP2010072807A (ja) | 2010-04-02 |
EP2336999A1 (en) | 2011-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5089545B2 (ja) | 道路境界検出判断装置 | |
EP2933790B1 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
CN111986506B (zh) | 基于多视觉***的机械式停车位泊车方法 | |
US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
JP3776094B2 (ja) | 監視装置、監視方法および監視用プログラム | |
US20190188498A1 (en) | Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking | |
JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP2007235642A (ja) | 障害物検知システム | |
JP2010198552A (ja) | 運転状況監視装置 | |
JP2008123462A (ja) | 物体検知装置 | |
JP6547785B2 (ja) | 物標検出装置 | |
JP5482672B2 (ja) | 移動物体検出装置 | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6035095B2 (ja) | 車両の衝突判定装置 | |
JP6044084B2 (ja) | 移動物***置姿勢推定装置及び方法 | |
JP6314655B2 (ja) | 標示線検出装置、標示線検出方法 | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP5950193B2 (ja) | 視差値演算装置及びこれを備えた視差値演算システム、移動面領域認識システム、視差値演算方法、並びに、視差値演算用プログラム | |
JP5891802B2 (ja) | 車両位置算出装置 | |
CN115346191A (zh) | 用于校准的方法和设备 | |
JP3951734B2 (ja) | 車両用外界認識装置 | |
CN115943287A (zh) | 车辆姿态推断***及车辆姿态推断方法 | |
JP2018073049A (ja) | 画像認識装置、画像認識システム、及び画像認識方法 | |
JP2009059132A (ja) | 物体認識装置 | |
CN111465818B (zh) | 图像处理设备、图像处理方法、程序和信息处理*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09814368 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2009814368 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 12920405 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |