WO2018179281A1 - 物体検出装置及び車両 - Google Patents

物体検出装置及び車両 Download PDF

Info

Publication number
WO2018179281A1
WO2018179281A1 PCT/JP2017/013402 JP2017013402W WO2018179281A1 WO 2018179281 A1 WO2018179281 A1 WO 2018179281A1 JP 2017013402 W JP2017013402 W JP 2017013402W WO 2018179281 A1 WO2018179281 A1 WO 2018179281A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
vehicle
surface parameter
unit
parameter
Prior art date
Application number
PCT/JP2017/013402
Other languages
English (en)
French (fr)
Inventor
信太郎 渡邉
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2017/013402 priority Critical patent/WO2018179281A1/ja
Priority to JP2019508060A priority patent/JP6779365B2/ja
Priority to DE112017007347.2T priority patent/DE112017007347T5/de
Priority to US16/486,529 priority patent/US10984555B2/en
Priority to CN201780088885.7A priority patent/CN110462682B/zh
Publication of WO2018179281A1 publication Critical patent/WO2018179281A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to an object detection device that detects an object such as an obstacle using a stereo camera mounted on a moving body such as a vehicle, and a vehicle.
  • Patent Document 1 In order to accurately obtain three-dimensional information such as depth in a scene around the vehicle using a stereo camera on the vehicle, it is necessary to accurately grasp the positional relationship of the installed stereo camera. Since such a positional relationship gradually shifts due to vibration caused by running of the vehicle, fixed looseness due to aging, and the like, a technique for automatically calibrating the positional shift of the stereo camera has been proposed (for example, Patent Document 1). ).
  • Patent Document 1 discloses a calibration method in which camera parameters of a stereo camera are calibrated based on an optical flow.
  • a stereo camera is used as a parameter to determine the inclination angle in the pitch direction of the road surface relative to the camera, and the amount of movement between frames for points on the road surface, that is, the optical flow is obtained.
  • the stereo camera is calibrated by calculating the shift of the parallax offset generated in the stereo camera based on the relationship between each obtained amount and the amount of movement of the vehicle between the frames.
  • An object of the present invention is to provide an object detection apparatus capable of performing calibration with respect to a positional shift of a stereo camera with high accuracy in an object detection apparatus using a stereo camera mounted on a vehicle.
  • the object detection apparatus detects an object based on an image from a stereo camera on a vehicle.
  • the object detection device includes a parallax calculation unit, a first road surface parameter estimation unit, a road surface parameter accumulation unit, a second road surface parameter estimation unit, and an object detection unit.
  • the parallax calculation unit calculates the three-dimensional information of the scene in the video.
  • the first road surface parameter estimation unit calculates a first road surface parameter indicating a distance between the road surface on which the vehicle is traveling and the stereo camera based on the three-dimensional information.
  • the road surface parameter accumulation unit accumulates the first road surface parameter and vehicle information related to the running state of the vehicle in association with each other.
  • the second road surface parameter estimation unit calculates the second road surface parameter using the first road surface parameter under a predetermined condition related to the vehicle based on the vehicle information and the first road surface parameter accumulated by the road surface parameter accumulation unit. To do.
  • the object detection unit detects an object using the second road surface parameter.
  • the predetermined condition includes that the angle difference between the road surface observed from the stereo camera and the ground contact surface of the vehicle at the time of observation is within a predetermined angle.
  • the second road surface parameter is calculated using the first road surface parameter calculated when the traveling state of the vehicle is under a predetermined condition.
  • FIG. 1 is a block diagram illustrating a configuration of an object detection device according to a first embodiment. Diagram for explaining the measurement principle using a stereo camera Flow chart showing processing in the parallax calculation unit The figure for demonstrating the image parallelization correction
  • FIG. 3 is a block diagram illustrating a configuration of an object detection device according to a second embodiment.
  • the flowchart which shows the process in a white line vanishing point detection part.
  • FIG. 9 is a block diagram showing a configuration of an object detection device according to a third embodiment.
  • FIG. 6 is a block diagram showing a configuration of an object detection device according to a fourth embodiment.
  • the 3D information including the depth of the scene by the stereo camera is obtained based on camera internal parameters such as distortion and focal length of each camera constituting the stereo camera and camera external parameters indicating the positional relationship between the two cameras. For this reason, when a stereo camera is mounted on a vehicle and shipped, the above parameters are measured by photographing with two cameras equipped with patterns having a known shape and size.
  • the camera external parameters are expressed by a translation vector and a rotation matrix, which will be described later.
  • the calibration of the camera external parameters is performed by a first step of obtaining the direction and rotation matrix of the translation vector, and the length of the translation vector, that is, the scale. It can be divided into the second step to be obtained.
  • the first step can be performed by obtaining a plurality of pairs of points at which the same object appears between the captured images of the cameras.
  • a specific target whose scale can be grasped in the scene is used as a reference, and it is necessary to appropriately set such a scale reference.
  • the inventor of the present application has conducted intensive studies on a method for accurately performing the second step.
  • Patent Document 1 the three-dimensional information of the road surface obtained by the stereo camera and the three-dimensional information of the road surface obtained by the association (so-called motion stereo) before and after movement between the frames of one camera are obtained.
  • the former stereo camera is calibrated on the basis of the three-dimensional information obtained in the latter and the scale.
  • the accuracy of the three-dimensional information on the road surface obtained by the motion stereo as described above depends on the accuracy of the camera movement amount between frames.
  • the amount of camera movement is calculated from vehicle speed information.
  • in-vehicle stereo cameras are usually configured with a distance between cameras of several tens of centimeters to several tens of centimeters, and the amount of shift due to aging of stereo cameras is estimated to be several millimeters or less at most.
  • this shift amount based on motion stereo it is necessary to determine the camera movement amount between frames with an error of 1% or less.
  • the mechanism based on the vehicle speed pulse as described above It is considered difficult to determine the amount of camera movement with accuracy.
  • the calculation of the three-dimensional position is based on the following measurement principle. That is, the three-dimensional position of the object is obtained by calculating the position of the two viewpoints and the angle with respect to the object viewed from the viewpoint, assuming a straight line extending from each viewpoint to the angle of the object direction, and obtaining the intersection between the assumed straight lines. Based on the principle of seeking.
  • Embodiment 1 FIG. The object detection device according to the first embodiment and a vehicle including the object detection device will be described below.
  • FIG. 1 is a diagram illustrating an overall configuration of a vehicle 101 according to the present embodiment.
  • the depth direction viewed from the vehicle 101 is the z direction
  • the vertical direction is the y direction
  • the width direction of the vehicle 101 orthogonal to the z and y directions is the x direction.
  • the + x direction is left
  • the -x direction is right
  • the + y direction is upward
  • the -y direction is downward
  • the + z direction is forward
  • the -z direction is backward.
  • the vehicle 101 is equipped with the object detection device according to the present embodiment. As shown in FIG. 1, the vehicle 101 includes a stereo camera 102, a yaw rate sensor 103, a pitch rate sensor 104, a vehicle speed sensor 105, a computing device 106, and a display device 107. Each of the sensors 103, 104, and 105 is an example of a vehicle information detection unit that detects vehicle information regarding the moving state of the vehicle 101.
  • the stereo camera 102 includes two cameras 102a and 102b.
  • the two cameras 102a and 102b are arranged, for example, as a left camera 102a and a right camera 102b arranged in the left-right direction (x direction) of the vehicle 101 so that their optical axes are parallel to each other.
  • the two cameras 102a and 102b can capture images in synchronization with each other.
  • the stereo camera 102 is installed near the windshield in front of the vehicle 101 so that the road surface in front of the vehicle 101 can be photographed by the left and right cameras 102a and 102b.
  • the configuration of the stereo camera as described above is an example, and the two cameras may not be parallel and may not be directed forward with respect to the vehicle as long as the two cameras can share the field of view.
  • the yaw rate sensor 103 is a sensor for detecting a rotational angular velocity (yaw rate) around the vertical axis (y axis) of the vehicle 101.
  • the yaw rate sensor 103 is mounted on the vehicle 101 so as to be parallel to the y axis.
  • the pitch rate sensor 104 is a sensor for detecting the rotational angular velocity (pitch rate) around the axis of the vehicle 101 in the left-right direction (x direction).
  • the pitch rate sensor 104 is mounted on the vehicle 101 so as to be parallel to the x-axis.
  • the vehicle speed sensor 105 is a device that generates a pulse signal in proportion to the rotational speed of the axle in the vehicle 101, and can calculate the vehicle speed from the wheel diameter and the number of pulses.
  • the computing device 106 is a device constituted by a CPU, a RAM, a ROM, and the like.
  • the arithmetic device 106 may further include an internal memory such as a flash memory.
  • the CPU of the arithmetic unit 106 reads out data and programs stored in the ROM and the like to the RAM and performs various arithmetic processes to realize various functions.
  • the arithmetic unit 106 inputs a video signal from the stereo camera 102, a yaw rate signal from the yaw rate sensor 103, a pitch rate signal from the pitch rate sensor 104, and a vehicle speed signal from the vehicle speed sensor 105, and performs various book image processing to perform vehicle image processing. 101, an object ahead is detected, and the object information of the detection result is output to the display device 107.
  • the arithmetic device 106 is an example of an object detection device in the present embodiment. Details of the configuration for the arithmetic device 106 to function as an object detection device will be described later.
  • the display device 107 is composed of, for example, a liquid crystal display or an organic EL display.
  • the display device 107 displays various information including object information from the arithmetic device 106.
  • FIG. 2 is a block diagram showing a configuration of the arithmetic device 106 as an object detection device in the present embodiment.
  • the computing device 106 includes a parallax computing unit 203, a first road surface parameter estimating unit 204, a road surface parameter accumulating unit 205, and a second road surface parameter estimating unit 208. Further, the arithmetic device 106 includes a correction parameter calculation unit 209, an initial setting road surface parameter storage unit 210, a correction parameter reflection unit 211, a corrected parameter storage unit 220, and an object detection unit 212. Each functional unit described above is realized in the arithmetic device 106 by, for example, cooperation between software and hardware.
  • the arithmetic device 106 receives the left and right camera images taken by the left and right cameras 102a and 102b (FIG. 1) of the stereo camera 102 and vehicle information 206 such as vehicle speed and yaw rate.
  • vehicle information 206 is acquired by the yaw rate sensor 103, the pitch rate sensor 104, and the vehicle speed sensor 105 in FIG.
  • the parallax calculation unit 203 obtains the three-dimensional position of each point by calculating the parallax for each pixel of the video of the left and right cameras taken by the stereo camera 102 (details will be described later). Parallax evaluates the similarity of local images related to which pixel shows the same object in the video of the left camera and the video of the right camera using the sum of absolute values of luminance differences, etc. It can be obtained by searching for a high point.
  • the first road surface parameter estimation unit 204 obtains the length of the perpendicular line from the projection center of the camera in the stereo camera 102 to the road surface as a road surface parameter (details will be described later).
  • the position of the road surface with respect to the camera is considered to be substantially the same as that at the time of initial setting unless the position of the camera is largely deviated. From this, an area having a vertical width relative to the road surface at the time of initial setting is set, a three-dimensional position of a point located therein is extracted, and the road surface parameter is set based on the plane on which the point group rides most Can be sought.
  • the road surface parameter storage unit 205 includes a RAM or the like, and records the road surface parameter (first road surface parameter) obtained by the first road surface parameter estimation unit 204 in association with the vehicle information 206.
  • the second road surface parameter estimation unit 208 extracts a road surface parameter corresponding to a predetermined condition to be described later based on the vehicle information 206 stored in the road surface parameter storage unit 205.
  • the road surface parameter extracted at this time is set based on the vehicle speed, the yaw rate, and the pitch rate so that the vehicle 101 can be regarded as being obtained while traveling on a road surface that is not curved and has no curve.
  • the second road surface parameter estimation unit 208 performs a statistical process on the extracted road surface parameter as will be described later, thereby obtaining a road surface parameter (second road surface parameter) when there is no change in gradient.
  • the correction parameter calculation unit 209 compares the road surface parameter obtained by the second road surface parameter estimation unit 208 with the road surface parameter stored in the initial setting road surface parameter storage unit 210 to thereby determine the position and orientation between the left and right cameras. Is calculated (details will be described later).
  • the initial setting road surface parameter storage unit 210 is composed of, for example, a ROM, and stores road surface parameters at the time of initial setting as a comparison reference.
  • the correction parameter reflecting unit 211 reflects the correction amount calculated by the correction parameter calculating unit 209 by recording it in the corrected parameter storage unit 220.
  • the corrected parameter storage unit 220 is configured by an internal memory of the arithmetic device 106, for example.
  • the object detection unit 212 uses the parameter corrected by the correction parameter reflection unit 211 to convert the parallax obtained by the parallax calculation unit 203 into three-dimensional information, and find a block having a height on the road surface from the distribution. The object is detected (details will be described later).
  • the vehicle 101 travels on the road surface while photographing a surrounding scene from the mounted stereo camera 102.
  • the arithmetic device 106 that functions as an object detection device in the vehicle 101 analyzes the image captured by the stereo camera 102 in the parallax calculation unit 203 (FIG. 2) to generate three-dimensional information of the scene. Detect objects such as obstacles above. Along with such an object detection operation, the arithmetic device 106 performs arithmetic processing for determining a scale reference in calibration of the stereo camera 102.
  • the arithmetic unit 106 sequentially calculates the first road surface parameter for the road surface in the captured image obtained from the stereo camera 102.
  • the first road surface parameter is calculated from captured images when traveling on various road surfaces such as undulations and changes in slope.
  • vehicle information 206 relating to the movement state of the vehicle 101 traveling on such a road surface is acquired using the various sensors 103 to 105, and the vehicle information 206, the first road surface parameter, and the like are acquired in the road surface parameter accumulation unit 205. Associate and accumulate.
  • the second road surface parameter estimation unit 208 of the arithmetic device 106 calculates a first road surface parameter that is considered to have been obtained while the vehicle 101 travels straight on a road surface having no change in gradient, among the accumulated first road surface parameters. And calculate the second road surface parameter.
  • the second road surface parameter serves as a scale reference with higher accuracy than the first road surface parameter when the vehicle travels on a change in slope or curve, and the stereo camera 102 can be calibrated with high accuracy.
  • the calibration using the second road surface parameter is performed by the correction parameter calculation unit 209, and the calibration result is recorded in the corrected parameter storage unit 220 by the correction parameter reflection unit 211.
  • the object detection unit 212 can accurately detect the position of an object or the like in the scene using information based on a real-time captured image by the stereo camera 102 and the corrected parameter.
  • the left and right cameras 102a and 102b in the stereo camera 102 are schematically shown using a pinhole model.
  • the left camera 102a has an imaging surface 503 and a projection center 501 at an interval of the focal length f from the center of the imaging surface 503.
  • the right camera 102b has an imaging surface 504 and a projection center 501 at an interval of the focal length f from the center of the imaging surface 504.
  • three-dimensional information is measured in a state where the imaging surface 503 of the left camera 102a and the imaging surface 504 of the right camera 102b are set to be parallel.
  • the object 505 When the measurement object 505 is captured by the stereo camera 102, the object 505 is imaged at a point 506 on the imaging surface 503 by the left camera 102a and at a point 507 on the imaging surface 504 by the right camera 102b.
  • the two-dimensional coordinates of the measurement target 505 are calculated based on the coordinates of the point 506 on the imaging surface 503 of the left camera 102a, for example.
  • a point 506 is located at a position where a line 508 connecting the projection center 501 of the left camera 102a and the measurement target 505 penetrates the imaging surface 503 of the left camera 102a.
  • the parallax d with respect to the measurement object 505 is the same as the point 510 that is a line 509 that is parallel to the line 508 and that passes through the projection center 502 of the right camera 102b and passes through the imaging surface 504 of the right camera 102b.
  • 505 is defined as the distance from the point 507 actually captured by the right camera 102b.
  • a distance Z from the stereo camera 102 (for example, the projection center 501 of the left camera 102a) to the measurement target 505 is calculated by the following equation using the parallax d.
  • the baseline length D is defined as the length of the interval between the projection center 501 of the left camera 102a and the projection center 502 of the right camera 102b.
  • FIG. 4 is a flowchart showing processing in the parallax calculation unit 203.
  • the flowchart shown in FIG. 4 is executed by, for example, a predetermined period (for example, 1/30 second) by the arithmetic device 106 functioning as the parallax arithmetic unit 203.
  • the parallax calculation unit 203 performs parallelization conversion for applying the parallel stereo method (FIG. 3) by distortion correction conversion and plane conversion using images captured by the left and right cameras 102a and 102b of the stereo camera 102 as input. (S301).
  • step S301 is a process for correcting the left image by the left camera 102a and the right image by the right camera 102b to be parallel to the difference in orientation between the left and right cameras 102a and 102b (FIG. 5). reference). Details of step S301 will be described later.
  • the parallax calculation unit 203 performs image processing based on the parallel stereo method, and calculates the parallax d (FIG. 3) of all points in the image of the stereo camera 102 (S302).
  • step S302 the parallax calculation unit 203 cuts out an image near the point of interest from the left image as a template, for example, to obtain the parallax of the specific point of interest on the left image, and the similarity to the cut out template in the right image Search for the high part.
  • the parallax calculation unit 203 determines the point having the highest similarity in the right image as a corresponding point based on the search result, and calculates the parallax d based on the distance between the determined corresponding point and the point of interest.
  • the parallax calculation unit 203 can search for corresponding points only on the same line, and can omit processing for other portions.
  • SAD Sum of Absolute Differences: sum of absolute values of differences
  • SSD Sum of Squared Differences: sum of squares of differences
  • the parallax calculation unit 203 calculates the three-dimensional position of each point in the image by performing the calculation according to the above-described equation (1) using the calculated parallax d of each point (S303).
  • the parallax calculation unit 203 performs the calculation process in step S303 using, for example, an initially set baseline length.
  • the parallax calculation unit 203 outputs the three-dimensional information indicating the three-dimensional position calculated in step S302 to the first road surface parameter estimation unit 204, and outputs the information indicating the parallax d calculated in step S302 to the object detection unit 212. Then, the process according to this flowchart is terminated.
  • the images from the cameras 102a and 102b of the stereo camera 102 are parallelized and converted (S301), and the parallax d and the three-dimensional information can be calculated based on the parallel stereo method. Details of step S301 will be described with reference to FIG.
  • FIG. 5A shows the left camera coordinates (x l , y l , z l ) and the right camera coordinates (x r , y r , z r ) before parallelization in step S301.
  • FIG. 5B shows the left camera coordinates (x ′ l , y ′ l , z ′ l ) and the right camera coordinates (x ′ r , y ′ r , z ′ r ) after parallelization in step S301.
  • the left camera coordinate is a coordinate system with the projection center of the left camera 102a in the stereo camera 102 as the origin.
  • the right camera coordinate is a coordinate system having the origin of the projection center of the right camera 102b.
  • the internal parameters represent the camera focal length, image center coordinates, distortion parameters, and the like.
  • the external parameter represents the position and orientation of the camera in the world coordinate system, which is a fixed coordinate system.
  • the arithmetic unit 106 sets the world coordinate system in advance and uses the method shown in Non-Patent Document 1, thereby enabling the internal parameters of the left and right cameras 102a and 102b and the cameras in the common world coordinate system.
  • the external parameters 102a and 102b can be calculated.
  • step S301 the arithmetic unit 106 as the parallax calculation unit 203 performs distortion correction conversion on the respective cameras 102a and 102b using the obtained internal parameters, performs plane conversion using the obtained external parameters, and performs parallelization. Conversion is executed (S301).
  • the left camera coordinates (x 1 , y 1 , z 1 ) and the right camera coordinates (x r , y r , z r ) as shown in FIG. ) Are facing in different directions.
  • These positional relationships can be expressed by translation vectors t l , tr and rotation matrices R l , R r of the following equations with world coordinates (w 0 , w 1 , w 2 ) as a reference.
  • the translation vectors t l and tr and the rotation matrices R l and R r in the above equations (11) to (14) constitute external parameters of the cameras 102 a and 102 b in the stereo camera 102.
  • the arithmetic unit 106 can obtain the translation vectors t 1 and tr and the rotation matrices R 1 and R r using a known method as described above.
  • the translation vector t l in equation (11) is a three-dimensional vector that represents the translation from the origin of the world coordinates (w 0 , w 1 , w 2 ) to the origin of the left camera coordinates (x l , y l , z l ). is there.
  • Translation vector t r of formula (12) the world coordinates (w 0, w 1, w 2)
  • Right camera coordinate from the origin of the (x r, y r, z r) a three-dimensional vector representing the translation to the origin of the is there.
  • the rotation matrix R l in Expression (13) is a matrix representing rotation from the direction of the world coordinates (w 0 , w 1 , w 2 ) to the direction of the left camera coordinates (x l , y l , z l ). is there.
  • the rotation matrix R r in Expression (14) is a matrix representing rotation from the direction of the world coordinates (w 0 , w 1 , w 2 ) to the direction of the right camera coordinates (x r , y r , z r ).
  • Each rotation matrix R l , R r corresponds to the yaw direction, the pitch direction, and the roll direction among the components r l, 00 to r l, 22 , r r, 00 to r r, 22 in 3 rows and 3 columns. Each has a degree of freedom.
  • the rotation matrix R ′ in the above equation (15) is represented by the camera coordinates (x ′ l , y ′ l , z ′ l ), (x r , y r , z r ) and the world coordinates (w 0 , w 1 , w 2 ).
  • “x” is an outer product between vectors.
  • the calculation device 106 calculates plane conversion according to the following equation as the parallax calculation unit 203 in step S301 of FIG.
  • FIG. 6 is a flowchart showing processing in the first road surface parameter estimation unit 204.
  • the flowchart shown in FIG. 6 is sequentially executed by the arithmetic device 106 functioning as the first road surface parameter estimating unit 204, for example, after the processing in the parallax calculating unit 203.
  • the first road surface parameter estimation unit 204 randomly selects, for example, three points from all points for which a three-dimensional position has been calculated. By selecting, candidate points that can be considered on the road surface are extracted (S601). At this time, the first road surface parameter estimation unit 204 limits the selection of the third point, for example, so that all the selected three points are not on the same straight line.
  • the first road surface parameter estimating unit 204 obtains a plane passing through the three points extracted as candidate points on the road surface, and calculates a candidate road surface parameter indicating a distance to the obtained plane (S602). Based on the three-dimensional information from the parallax calculation unit 203, the first road surface parameter estimation unit 204 obtains, for example, a perpendicular drawn from the projection center of the camera in the stereo camera 102, and determines the length of the perpendicular to the candidate road surface parameter. Calculate as
  • the first road surface parameter estimation unit 204 performs a calculation process for verifying the correspondence between the plane on which the candidate road surface parameter is calculated and the actual road surface (S603). Specifically, the first road surface parameter estimation unit 204 calculates the distance between each point where the three-dimensional position is calculated by the three-dimensional position calculation 303 or each point in the predetermined area and the plane obtained in step S602. Calculate and count the number of points whose distance is below a predetermined threshold.
  • the threshold value is a reference value for determining a point that is substantially on the same plane as the plane.
  • the first road surface parameter estimating unit 204 determines whether or not the candidate road surface parameter plane is verified to match the actual road surface based on the processing result of step S603 (S604).
  • the first road surface parameter estimation unit 204 determines whether the number of counted points is less than a predetermined ratio with respect to the number of all points that are distance calculation targets. It is determined that it has not been verified that the parameter plane matches the actual road surface (NO in S604). In this case, the first road surface parameter estimation unit 204 calculates the candidate road surface parameters based on the new candidate points by repeating the processes after step S601.
  • the first road surface parameter estimation unit 204 determines that the candidate road surface parameter plane is verified to match the actual road surface (YES in S604). ). In this case, the first road surface parameter estimation unit 204 outputs the calculated candidate road surface parameter as the first road surface parameter to the road surface parameter storage unit 205 (S605).
  • the first road surface parameter for the road surface that changes every moment when the vehicle 101 (FIG. 1) moves is calculated.
  • the arithmetic unit 106 acquires the vehicle information 206 from the various sensors 103 to 105 (FIG. 1).
  • the arithmetic device 106 stores the road surface parameters obtained by the first road surface parameter estimation unit 204 in association with the vehicle information 206.
  • FIG. 7 is a flowchart showing the processing in the second road surface parameter estimation unit 208.
  • the flowchart shown in FIG. 7 is executed by the arithmetic device 106 functioning as the second road surface parameter estimating unit 208, for example, at a predetermined cycle.
  • the period is set based on a period during which new information is considered to be sufficiently accumulated in the road surface parameter accumulation unit 205 (for example, 1 minute).
  • the second road surface parameter estimation unit 208 extracts a first road surface parameter corresponding to a predetermined condition from the accumulated first road surface parameters based on the information accumulated in the road surface parameter accumulation unit 205. (S701).
  • a predetermined condition for extracting the first road surface parameter will be described with reference to FIG.
  • FIG. 8 shows how the vehicle 101 travels on a road surface having a change in slope.
  • the stereo camera 102 images the road surface ahead of the vehicle 101.
  • An angle difference ⁇ occurs in the pitch direction and the like. It is considered that the first road surface parameter calculated in this case corresponds to the distance from the stereo camera 102 to the observation surface and deviates from the distance to the ground contact surface of the vehicle 101.
  • the first road surface parameter is set using a predetermined condition that the angle difference ⁇ between the observation surface from the stereo camera 102 and the ground contact surface of the vehicle 101 at the time of observation is within a predetermined angle.
  • the predetermined angle is an angle at which the observation surface and the ground contact surface can be regarded as substantially parallel, that is, an angle at which a change in the slope of the road surface during traveling of the vehicle 101 can be regarded as substantially absent, for example, within ⁇ 1 degree. .
  • the second road surface parameter estimation unit 208 uses the vehicle information 206 such as the vehicle speed, the yaw rate, and the pitch rate to determine the predetermined conditions, and the conditions in the accumulated first road surface parameters. Perform a search. For example, the second road surface parameter estimation unit 208 extracts a first road surface parameter associated with the vehicle information 206 having a vehicle speed of 40 km / h or more and a yaw rate and pitch rate within a predetermined range near zero.
  • the second road surface parameter estimation unit 208 performs a statistical process based on the extracted first road surface parameter to calculate a second road surface parameter (S702). For example, in the statistical process, the second road surface parameter estimation unit 208 obtains the average value or median value of the extracted first road surface parameters as the second road surface parameter.
  • the second road surface parameter estimation unit 208 outputs the calculated second road surface parameter as a calibration scale reference to the correction parameter calculation unit 209 (S702), and ends the processing according to this flowchart.
  • the condition search based on the vehicle information 206 (S701)
  • the first road surface parameter under a condition with little variation that can be used as the calibration scale reference is extracted.
  • the second road surface parameter indicating the distance to the road surface where there is no change in gradient is extracted.
  • FIG. 9 is a flowchart showing processing in the correction parameter calculation unit 209.
  • the flowchart shown in FIG. 9 is sequentially executed by the calculation device 106 functioning as the correction parameter calculation unit 209, for example, after the above-described processing (FIG. 7) is executed by the second road surface parameter estimation unit 208.
  • the initial setting road surface parameter storage unit 210 stores in advance the reference road surface parameter preliminarily measured on the condition that there is no change in gradient at the time of initial setting and the baseline length D 0 at the time of initial setting. Suppose that it is done.
  • the above initial setting is performed, for example, before shipping the object detection device (arithmetic device 106) or before starting the use of the object detection device.
  • a checkerboard having a known size and the number of intersection points on which a checkered pattern is drawn is placed on the road surface and photographed with the stereo camera 102. Further, by detecting the intersection of checkered patterns from the photographed image and applying the camera calibration method described in Chapter 6 of Non-Patent Document 2, a reference road surface parameter under conditions where there is no change in gradient can be obtained. .
  • the correction parameter calculation unit 209 reads the reference road surface parameter stored in the initial setting road surface parameter storage unit 210 (S801).
  • the correction parameter calculation unit 209 compares the second road surface parameter (S702 in FIG. 7) calculated by the second parameter estimation unit 208 with the read reference road surface parameter, for example, by dividing both parameters.
  • the amount of change is obtained (S802). According to the amount of change in step S802, it is possible to recognize a change between the current installation state of the stereo camera 102 and the initial setting.
  • the correction parameter calculation unit 209 corrects the baseline length of the stereo camera 102 using the obtained change amount (S803). Specifically, the correction parameter calculation unit 209 calculates the corrected baseline length D by calculating the following equation.
  • H 0 is the length of the perpendicular (reference road surface parameter) lowered from the projection center of the camera to the road surface at the initial setting.
  • H is the length of a perpendicular line (second road surface parameter) lowered from the camera projection center to the road surface in the current stereo camera 102 installation state.
  • the correction parameter calculation unit 209 outputs the corrected base line length D to the correction parameter reflection unit 211 (S803), and ends the processing according to this flowchart.
  • the base line length of the stereo camera 102 is corrected using the second road surface parameter as the scale reference according to the current installation state of the stereo camera 102 (S803).
  • the relationship between each road surface parameter and the base line length will be described with reference to FIG.
  • FIGS. 10A to 10C are views for explaining how the road surface is seen based on the stereo camera 102 before calibration when the vehicle 101 travels straight on a road having no change in slope. .
  • FIG. 10A shows how the road surface looks when the second road surface parameter matches the reference road surface parameter.
  • the distance to the road surface calculated based on the captured image of the stereo camera 102 has not changed since the initial setting, and is considered to be calculated appropriately.
  • FIG. 10B shows how the road surface looks when the second road surface parameter is larger than the reference road surface parameter.
  • the stereo camera 102 has a misalignment resulting in a measurement result as if the distance to the road surface has changed far.
  • the correction parameter calculation unit 209 calculates the corrected base line length D so as to widen the base line length D 0 at the time of initial setting based on Expression (2) (S802).
  • FIG. 10 (c) shows how the road surface looks when the second road surface parameter is smaller than the reference road surface parameter.
  • the stereo camera 102 has a misalignment such that the distance to the road surface is calculated closer than the actual distance, and the interval between the cameras 102a and 102b is narrower than the initial setting. It is thought that. Therefore, the correction parameter calculation unit 209 corrects the base line length D to be narrowed based on Expression (2) (S802).
  • the correction parameter reflection unit 211 After execution of the processing in the correction parameter calculation unit 209, the correction parameter reflection unit 211 writes the baseline length D output from the correction parameter calculation unit 209 in the corrected parameter storage unit 220, thereby correcting the baseline length.
  • Update D The update timing at which the correction parameter reflecting unit 211 updates the baseline length D is set as appropriate, for example, at a predetermined period or when the arithmetic device 106 is turned on / off.
  • FIG. 11 is a flowchart showing processing in the object detection unit 212.
  • the flowchart shown in FIG. 11 is executed by the arithmetic device 106 functioning as the object detection unit 212, for example, at a predetermined cycle (for example, 1/30 second).
  • the object detection unit 212 refers to the information stored in the corrected parameter storage unit 220, and determines each point based on the parallax of all points in the captured image calculated in the parallax calculation unit 203 (S302 in FIG. 4). Is calculated (S1001).
  • the object detection unit 212 performs the same processing as in step S303 in FIG. 4, but when calculating the distance Z based on the parallax d, the corrected baseline length stored in the corrected parameter storage unit 220 is obtained. D is used.
  • the object detection unit 212 executes, for example, processing similar to the flowchart of FIG. 6 to calculate road surface parameters in the currently running scene (S1002).
  • the object detection unit 212 extracts a point group having a three-dimensional position above the road surface corresponding to the calculated road surface parameter from all points in the captured image based on the calculated road surface parameter ( S1003).
  • the object detection unit 212 performs area clustering using the extracted point group as an input, and obtains a collection (lumps) of point groups that are considered solid objects on the road surface (S1004).
  • the region clustering in step S1004 can be realized by using, for example, the Mean Shift method disclosed in Non-Patent Document 3.
  • the object detection unit 212 outputs object information indicating the three-dimensional object extracted in the area clustering (S1004) as an object of the detection result, for example, to the display device 107 (S1005).
  • the object detection unit 212 can accurately detect the three-dimensional position of the object using the corrected baseline length D.
  • the display device 107 displays the object information (S1005) detected by the above processing.
  • the object detection device detects an object based on an image obtained by the stereo camera 102 on the vehicle 101.
  • the object detection apparatus includes a parallax calculation unit 203, a first road surface parameter estimation unit 204, a road surface parameter accumulation unit 205, a second road surface parameter estimation unit 208, and an object detection unit 212.
  • the parallax calculation unit 203 calculates the three-dimensional information of the scene in the video.
  • the first road surface parameter estimation unit 204 calculates a first road surface parameter indicating the distance between the road surface on which the vehicle 101 is traveling and the stereo camera 102 based on the three-dimensional information.
  • the road surface parameter storage unit 205 stores the first road surface parameter and vehicle information 206 relating to the traveling state of the vehicle 101 in association with each other.
  • the second road surface parameter estimation unit 208 uses the first road surface parameter under a predetermined condition related to the vehicle based on the vehicle information 206 and the first road surface parameter accumulated by the road surface parameter accumulation unit 205 to use the second road surface parameter. Calculate the parameters.
  • the object detection unit 212 detects an object using the second road surface parameter.
  • the predetermined condition includes that the angle difference between the road surface observed from the stereo camera 102 and the ground contact surface of the vehicle at the time of observation is within a predetermined angle.
  • the second road surface parameter estimation unit 208 recognizes the traveling state (motion) of the vehicle 101 from the vehicle information 206 and estimates the change in the gradient of the road while traveling. It is possible to improve the estimation accuracy of the road surface parameter when the vehicle 101 is located on the road surface where there is no change in the gradient.
  • the second road surface parameter estimation unit 208 calculates the first road surface parameter when the predetermined condition is met from the first road surface parameter based on the vehicle information 206 accumulated by the road surface parameter accumulation unit 205. Extract. The second road surface parameter estimation unit 208 performs statistical processing based on the extracted first road surface parameter to calculate the second road surface parameter. As a result, the first road surface parameter that is traveling on the road having no change in gradient is extracted from the accumulated first road surface parameter, and is subject to statistical processing, so that the second road surface parameter can be accurately calculated. .
  • the first road surface parameter calculated while traveling on a road having no change in gradient is extracted from the accumulated first road surface parameters.
  • the present object detection apparatus may be configured to accumulate only the first road surface parameter calculated while traveling on a road with no road.
  • the predetermined condition may be a condition indicating that the road surface observed from the stereo camera 102 and the ground contact surface of the vehicle at the time of observation are the same plane where the gradient does not change.
  • the condition may be set by appropriately setting the predetermined angle in the vicinity of 0 degrees within the allowable error range. Accordingly, the second road surface parameter can be calculated by limiting to the first road surface parameter during traveling on a flat road surface, and the calibration accuracy for the stereo camera 102 can be improved.
  • the vehicle information 206 includes the vehicle speed, yaw rate, and pitch rate in the vehicle 101.
  • the vehicle information 206 may include, for example, a roll rate, a steering angle, and an inclination angle of the vehicle 101.
  • a roll rate sensor or an attitude sensor may be mounted on the vehicle 101, or the arithmetic device 106 may monitor the steering operation state of the vehicle 101.
  • the predetermined condition is specifically set as the yaw rate, pitch rate, or roll rate in the vehicle information 206 is a value within a predetermined range corresponding to traveling of the vehicle 101 on a straight road. It was done.
  • the predetermined condition is not limited to this.
  • the steering angle in the vehicle information 206 is a value within a predetermined range corresponding to the steering in the straight traveling state of the vehicle, or the inclination angle in the vehicle information 206 is It may be a value within a predetermined range corresponding to a state of traveling on a smooth road surface.
  • the object detection apparatus further includes a correction parameter calculation unit 209 and a correction parameter reflection unit 211.
  • the correction parameter calculation unit 209 compares the second road surface parameter with a preset reference road surface parameter, and calculates a correction parameter corresponding to the shift amount of the stereo camera 102.
  • the correction parameter reflecting unit 211 corrects camera parameters related to the stereo camera based on the correction parameters.
  • the object detection unit 212 detects the position of the object using the baseline length D that is the camera parameter corrected by the correction parameter reflection unit 211. Thereby, the object detection apparatus can detect the position of the object with high accuracy by correcting the shift amount of the stereo camera 102.
  • the vehicle 101 according to the present embodiment includes an object detection device, a stereo camera 102 that captures an image, and various sensors 103 to 105 that detect vehicle information 206.
  • the object can be accurately detected by correcting the positional deviation of the stereo camera 102 by the object detection device.
  • Embodiment 2 vehicle information relating to the running state of the vehicle is detected by a vehicle speed sensor or the like.
  • an object detection device that detects the lane shape of a road that travels further will be described.
  • FIG. 12 is a block diagram showing a configuration of the object detection apparatus according to the present embodiment.
  • the object detection device (arithmetic device 106A) according to the present embodiment includes a white line vanishing point detection unit 214, a lane shape detection unit 215, as shown in FIG. Is further provided.
  • the white line vanishing point detection unit 214 detects the left and right white lines drawn on the road lane as straight lines (or curves) based on the image captured by the stereo camera 102. The white line vanishing point detection unit 214 obtains an intersection as a vanishing point when two detected straight lines (or curves) are extended.
  • the lane shape detection unit 215 performs processing for estimating the shape of the lane from the position of the vanishing point of the obtained white line based on the detection result by the white line vanishing point detection unit 214.
  • the point where the left and right lanes extend and intersect on the horizon is the left if the road is curved to the left and the initial position if the curve is right.
  • To the right of the position if the road is going uphill, it is estimated that the road is observed above the initial position, and if the road is going downhill, it is estimated to be observed below the initial position. For this reason, when the vanishing point is within a predetermined range close to the initial position, it can be determined that the traveling road has no change in gradient and is not curved (is a straight road).
  • the road surface parameter accumulation unit 205 obtains the first road surface parameter obtained by the first road surface parameter estimation unit 204 using the vehicle information 206 such as the vehicle speed, the yaw rate, and the pitch rate, and the lane shape detection unit 215. It accumulates in association with the lane shape.
  • the second road surface parameter estimation unit 208 uses the information stored in the road surface parameter storage unit 205 to more accurately extract the first road surface parameter under conditions that can be regarded as not curved with no change in gradient. Then, the second road surface parameter is calculated more accurately. The operation of each of the functional units will be described below.
  • FIG. 13 is a flowchart showing processing in the white line vanishing point detection unit 214.
  • the flowchart illustrated in FIG. 13 is executed, for example, at a predetermined cycle (for example, 1/30 second) by the arithmetic device 106A that functions as the white line vanishing point detection unit 214.
  • the white line vanishing point detection unit 214 extracts a white line part as a feature point group based on a predetermined feature amount, for example, from one or both camera images in the stereo camera 102 (S1201).
  • the processing in step S1201 can be executed by, for example, performing vertical edge extraction image processing, and extracting a portion where the edge strength is greater than or equal to a predetermined value as a white line.
  • step S1202 the white line vanishing point detection unit 214 performs straight line extraction using the feature point group of the extracted white line part to obtain the left and right white lines as straight lines (S1202).
  • the process of step S1202 can be executed by, for example, obtaining a straight line using the straight line Hough transform described in Non-Patent Document 4.
  • the white line vanishing point detection unit 214 uses two straight lines corresponding to the obtained left and right white lines, and obtains a point where the two straight lines intersect near the horizon as a vanishing point (S1202).
  • the white line vanishing point detection unit 214 outputs information indicating the detection result of the vanishing point as described above to the lane shape detection unit 215, and ends the processing according to this flowchart.
  • FIG. 14 is a flowchart showing processing in the lane shape detection unit 215.
  • the flowchart illustrated in FIG. 14 is sequentially executed by the arithmetic device 106A functioning as the lane shape detection unit 215, for example, after processing in the white line vanishing point detection unit 214.
  • the lane shape detection unit 215 performs lane gradient calculation based on the detection result by the white line vanishing point detection unit 214 (S1301), and whether the currently running lane is climbing from the viewpoint of the lane shape, It is determined whether it is falling or there is no change in gradient.
  • step S1301 the position of the vanishing point observed while traveling on a road without a change in gradient is set in advance as a reference standard position, and the calculated position of the vanishing point is compared with the standard position.
  • the lane shape detection unit 215 determines that the current lane is climbing when the calculated vanishing point position is above the standard position, and is below when the calculated vanishing point position is below the standard position. .
  • the lane shape detection unit 215 calculates a curve such as a curvature in the yaw direction of the lane (S1302), and from the viewpoint of the lane shape, whether the currently running lane is a left curve, a right curve, or a straight road It is determined whether.
  • a curve such as a curvature in the yaw direction of the lane (S1302)
  • step S1302 when the vanishing point position observed during traveling on the straight road is set as a reference standard position, the traveling is performed when the calculated vanishing point position is shifted to the left (or right) from the standard position. Judge that the middle lane curves to the left (or right). Further, if the calculated vanishing point position is within a predetermined range that is considered to be close to the standard position, the lane shape detection unit 215 determines that the running lane has no change in slope and is not curved. To do.
  • the lane shape detection unit 215 outputs the lane shape detection information including the determination result as described above to the road surface parameter accumulation unit 205, and ends the processing according to this flowchart.
  • the road surface parameter accumulation unit 205 accumulates the lane shape detection information by the lane shape detection unit 215 in association with the first road surface parameter and vehicle information 206 obtained in synchronization.
  • the second road surface parameter estimation unit 208 uses the lane shape detection information together with the vehicle information 206 to perform a condition search for the first road surface parameter stored in the road surface parameter storage unit 205.
  • the second road surface parameter estimation unit 208 uses the first road surface parameter when the vehicle speed is 40 km / h or more, the yaw rate and the pitch rate are substantially 0, the lane shape obtained from the vanishing point has no change in slope, and is a straight road. To extract.
  • the first road surface parameter that is considered to have been calculated while the vehicle 101 is traveling straight on a road having no change in gradient can be obtained with higher accuracy.
  • the object detection device (arithmetic device 106A) according to the present embodiment further includes the white line vanishing point detection unit 214 and the lane shape detection unit 215.
  • the white line vanishing point detection unit 214 detects a vanishing point that is a point where two white line extensions intersect based on the two white lines in the video.
  • the lane shape detection unit 215 detects a change in the road gradient in the video based on the position of the vanishing point.
  • the road surface parameter accumulation unit 205 associates and accumulates the detection result of the change in the road surface gradient by the lane shape detection unit 215 and the first road surface parameter.
  • the second road surface parameter estimation unit 208 calculates the second road surface parameter based on the detection result of the change in the road surface gradient accumulated by the road surface parameter accumulation unit 205.
  • the lane shape detection unit 215 compares the vanishing point position detected by the white line vanishing point detection unit 214 with a preset vanishing point position when traveling on a straight road, thereby determining the shape of the lane. Is detected.
  • the lane shape detection unit 215 can detect a change in the gradient of the running road, and can improve the estimation accuracy of the road surface parameter when the vehicle 101 goes straight on the road surface without the change in the gradient.
  • Embodiment 3 In the first embodiment, the lane shape is detected from the captured image of the stereo camera. In the third embodiment, an object detection device that recognizes a shooting environment using a stereo camera will be described.
  • FIG. 15 is a block diagram showing a configuration of the object detection apparatus according to the present embodiment.
  • the object detection apparatus (arithmetic apparatus 106B) according to the present embodiment further includes a shooting environment recognition unit 216 as shown in FIG. 15 in addition to the same configuration as that of the second embodiment (FIG. 12).
  • the shooting environment recognizing unit 216 receives an image from the stereo camera 102 and recognizes a shooting environment including a sunshine condition, a weather condition, and a condition regarding a traveling road surface regarding a currently running scene.
  • the sunshine condition indicates, for example, whether the target scene is daytime, night, or western day.
  • the weather condition indicates, for example, whether the target scene is clear, cloudy, rainy, snowy, or the like.
  • the condition regarding the traveling road surface indicates whether the traveling road surface is a paved road or an unpaved road.
  • the road surface parameter storage unit 205 stores the first road surface parameter in association with the vehicle information 206 and the lane shape detection information in association with information indicating the shooting environment recognized by the shooting environment recognition unit 216. .
  • the second road surface parameter estimation unit 208 uses the information stored in the road surface parameter storage unit 205 to determine that the traveling road surface of the vehicle 101 has no change in gradient and is not curved, and the shooting environment.
  • the first road surface parameter under the condition that the recognition accuracy is considered to be high from the above viewpoint is extracted. The operation of each of the functional units will be described below.
  • FIG. 16 is a flowchart showing processing in the shooting environment recognition unit 216.
  • the flowchart shown in FIG. 16 is executed by, for example, a predetermined cycle (for example, 1/30 second) by the arithmetic device 106B that functions as the imaging environment recognition unit 216.
  • a predetermined cycle for example, 1/30 second
  • the shooting environment recognition unit 216 recognizes the sunshine condition based on the image input from the stereo camera 102 (S1501). In step S1501, the shooting environment recognition unit 216 recognizes the brightness of the scene based on the average luminance value of the input image, the exposure time during camera shooting, and the gain value during camera shooting, and calculates the intensity of the sunshine condition. .
  • the shooting environment recognition unit 216 recognizes weather conditions based on the input image (S1502).
  • the shooting environment recognizing unit 216 performs texture analysis (for example, the presence or absence of clouds) of the portion where the sky is reflected in the input image, and sharpness analysis of the edge of other portions (that is, blurring of the image due to water droplets adhering to the lens). Presence / absence, rain / snow, and / or image blurring due to snow).
  • the shooting environment recognition unit 216 recognizes conditions related to the traveling road surface based on the input image (S1503).
  • the imaging environment recognition unit 216 recognizes the state of the traveling road surface by determining the presence or absence of a white line in the input image and analyzing the edge amount on the traveling road surface (that is, determining whether the road is asphalt or an unpaved road).
  • the photographing environment recognizing unit 216 outputs information indicating the recognition result of the photographing environment as described above to the road surface parameter accumulating unit 205, and ends the processing according to this flowchart.
  • the road surface parameter accumulation unit 205 accumulates information indicating the recognition result of the shooting environment together with the vehicle information 206 and the detection information of the lane shape, and the second road surface parameter estimation unit 208 uses the information.
  • a condition search for the first road surface parameter is performed.
  • the second road surface parameter estimation unit 208 has a sunshine condition of “daytime”, a weather condition of “cloudy”, and a condition related to the traveling road surface is a paved road.
  • a first road surface parameter under a certain condition is extracted. Thereby, the 2nd road surface parameter based on the extracted 1st road surface parameter can be calculated
  • the object detection device (arithmetic device 106B) according to the present embodiment further includes the shooting environment recognition unit 216 that recognizes the shooting environment of the video by the stereo camera 102.
  • the road surface parameter storage unit 205 stores information indicating the shooting environment recognized by the shooting environment recognition unit 216 and the first road surface parameter in association with each other.
  • the second road surface parameter estimation unit 208 calculates a second road surface parameter based on the information indicating the shooting environment accumulated by the road surface parameter accumulation unit 205.
  • the information indicating the shooting environment includes information indicating at least one of the sunshine condition, the weather condition, and the condition related to the traveling road surface of the vehicle.
  • the second road surface parameter estimation unit 208 uses the second road surface parameter estimation unit 208 without using the first road surface parameter that is likely to reduce the accuracy of image recognition from the viewpoint of the shooting environment. By calculating the road surface parameter, it is possible to improve the estimation accuracy of the positional deviation.
  • Embodiment 4 FIG. In the fourth embodiment, the update timing of the correction result based on the second road surface parameter will be described.
  • FIG. 17 is a block diagram showing a configuration of the object detection apparatus according to the present embodiment.
  • the object detection device (arithmetic device 106 ⁇ / b> C) according to the present embodiment inputs vehicle information 206 to the correction parameter reflecting unit 211 ⁇ / b> A as shown in FIG. 17 in the same configuration (FIG. 15) as in the third embodiment.
  • the correction parameter reflecting unit 211A has corrected the baseline length calculated by the correction parameter calculation unit 209 in order to update the baseline length D used when calculating the three-dimensional position from the parallax d. Write to the parameter storage unit 220.
  • the correction parameter reflecting unit 211A uses the vehicle speed information in the vehicle information 206 of the vehicle 101 to limit the update timing for writing the baseline length to the corrected parameter storage unit 220 when the vehicle 101 is stopped.
  • the correction parameter reflecting unit 211A reflects the correction result of the camera parameter when the vehicle 101 is stopped based on the information indicating the vehicle speed of the vehicle 101.
  • the correction parameter reflecting unit 211A When the correction result is reflected by the correction parameter reflecting unit 211A, the distance to the object detected by the object detecting unit 212 based on the image of the stereo camera 102 changes. For this reason, when the distance to the object is changed while controlling the vehicle 101 in the application using the detected position information of the object, the control is erroneous due to the influence of the change, or excessive control is applied. There is a possibility that On the other hand, in this embodiment, safety can be improved by reflecting the correction parameter when the vehicle 101 is stopped, which is a timing that does not affect the application.
  • the object detection device detects an object using the stereo camera 102 mounted on the vehicle 101.
  • the vehicle includes various moving bodies that travel on the road surface, such as automobiles, motorcycles, and railway vehicles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

車両上のステレオカメラによる映像に基づいて物体を検出する物体検出装置は、視差演算部と、第１の路面パラメータ推定部と、路面パラメータ蓄積部と、第２の路面パラメータ推定部と、物体検出部とを備える。視差演算部は、映像におけるシーンの３次元情報を演算する。第１の路面パラメータ推定部は、３次元情報に基づいて第１の路面パラメータを算出する。路面パラメータ蓄積部は、第１の路面パラメータと車両情報とを関連付けて蓄積する。第２の路面パラメータ推定部は、路面パラメータ蓄積部によって蓄積された車両情報及び第１の路面パラメータに基づいて、車両に関する所定条件下における第１の路面パラメータを用いて第２の路面パラメータを算出する。物体検出部は、第２の路面パラメータを用いて、物体を検出する。所定条件は、ステレオカメラから観測された路面と観測時における車両の接地面との間の角度差が、所定角度以内であることを含む。

Description

物体検出装置及び車両
　本発明は、車両などの移動体に搭載したステレオカメラを用いて、障害物などの物体を検出する物体検出装置、及び車両に関する。
　車両上のステレオカメラを用いて、車両周辺のシーンにおける奥行き等の３次元情報を正確に求めるためには、設置されたステレオカメラの位置関係を正確に把握する必要がある。このような位置関係は、車両の走行による振動や経年による固定の緩み等によって徐々にずれることから、ステレオカメラの位置ずれに対するキャリブレーションを自動的に行う技術が提案されている（例えば特許文献１）。
　特許文献１は、ステレオカメラのカメラパラメータの校正を、オプティカルフローに基づき行う校正方法を開示している。特許文献１では、車両等の走行時にステレオカメラを用いてカメラに対する路面のピッチ方向の傾斜角をパラメータとして求めると共に、路面上の点についてのフレーム間の移動量、即ちオプティカルフローを求めている。特許文献１では、求めた各量とフレーム間の自車の移動量との間の関係に基づいてステレオカメラに生じた視差オフセットのずれを算出することにより、ステレオカメラの校正を行っている。
特開２００９－１８２８７９号公報
"Ａ　ｆｌｅｘｉｂｌｅ　ｎｅｗ　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ"，　ＩＥＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｐａｔｔｅｒｎ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｍａｃｈｉｎｅ　Ｉｎｔｅｌｌｉｇｅｎｃｅ，２２（１１）：１３３０－１３３４，２０００ 徐剛著「３次元ビジョン」共立出版、１９９８年 "Ｍｅａｎ　ｓｈｉｆｔ：　Ａ　ｒｏｂｕｓｔ　ａｐｐｒｏａｃｈ　ｔｏｗａｒｄ　ｆｅａｔｕｒｅ　ｓｐａｃｅ　ａｎａｌｙｓｉｓ"，　ＩＥＥＥ　Ｔｒａｎｓ．　ｏｎ　ＰＡＭＩ，　２００２ "Ｕｓｅ　ｏｆ　ｔｈｅ　Ｈｏｕｇｈ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ　ｔｏ　Ｄｅｔｅｃｔ　Ｌｉｎｅｓ　ａｎｄ　Ｃｕｒｖｅｓ　ｉｎ　Ｐｉｃｔｕｒｅｓ"，　Ｃｏｍｍ．　ＡＣＭ，　Ｖｏｌ．　１５，　ｐｐ．　１１‐１５
　本発明の目的は、車両に搭載されたステレオカメラを用いた物体検出装置において、ステレオカメラの位置ずれに対するキャリブレーションを精度良く行うことができる物体検出装置を提供することにある。
　本発明に係る物体検出装置は、車両上のステレオカメラによる映像に基づいて物体を検出する。物体検出装置は、視差演算部と、第１の路面パラメータ推定部と、路面パラメータ蓄積部と、第２の路面パラメータ推定部と、物体検出部とを備える。視差演算部は、映像におけるシーンの３次元情報を演算する。第１の路面パラメータ推定部は、３次元情報に基づいて、車両が走行している路面とステレオカメラとの間の距離を示す第１の路面パラメータを算出する。路面パラメータ蓄積部は、第１の路面パラメータと、車両の走行状態に関する車両情報とを関連付けて蓄積する。第２の路面パラメータ推定部は、路面パラメータ蓄積部によって蓄積された車両情報及び第１の路面パラメータに基づいて、車両に関する所定条件下における第１の路面パラメータを用いて第２の路面パラメータを算出する。物体検出部は、第２の路面パラメータを用いて、物体を検出する。所定条件は、ステレオカメラから観測された路面と観測時における車両の接地面との間の角度差が、所定角度以内であることを含む。
　本発明に係る物体検出装置によると、車両の走行状態が所定条件下で算出された第１の路面パラメータを用いて第２の路面パラメータが算出される。これにより、車両に搭載されたステレオカメラの位置ずれに対するキャリブレーションを精度良く行うことができる。
実施の形態１に係る車両の全体構成を示す図 実施の形態１に係る物体検出装置の構成を示すブロック図 ステレオカメラによる測定原理を説明するための図 視差演算部における処理を示すフローチャート ステレオカメラの画像平行化補正を説明するための図 第１の路面パラメータ推定部における処理を示すフローチャート 第２の路面パラメータ推定部における処理を示すフローチャート 勾配の変化がある路面を走行する状態を説明するための図 補正パラメータ演算部における処理を示すフローチャート 勾配の変化がない道路を直進中の路面の見え方を説明するための図 物体検出部における処理を示すフローチャート 実施の形態２に係る物体検出装置の構成を示すブロック図 白線消失点検出部における処理を示すフローチャート レーン形状検出部における処理を示すフローチャート 実施の形態３に係る物体検出装置の構成を示すブロック図 撮影環境認識部における処理を示すフローチャート 実施の形態４に係る物体検出装置の構成を示すブロック図
　以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文において共通する。
（本願発明者の考察）
　本発明の具体的な実施形態の説明に先立って、ステレオカメラを用いた物体検出装置についての本願発明者による考察について、以下説明する。
　ステレオカメラによるシーンの奥行きを含む３次元情報は、ステレオカメラを構成する各カメラの歪みや焦点距離といったカメラ内部パラメータと、２台のカメラ間の位置関係を表すカメラ外部パラメータとに基づき求められる。このため、ステレオカメラを車両に搭載して出荷する際には、形状とサイズが既知なパターンを搭載した２台のカメラで撮影し、上記パラメータが測定される。
　しかし、上記パラメータのうち、特にカメラ外部パラメータについては、走行による振動や、経年による固定の緩みにより、徐々にずれる。このような位置ずれが生じると、シーンの奥行きが正しく得られないため、ステレオカメラにおけるカメラ外部パラメータのキャリブレーションを自動的に行う技術が求められている。
　上記のカメラ外部パラメータは後述する並進ベクトルと回転行列とで表され、カメラ外部パラメータのキャリブレーションは、並進ベクトルの向き及び回転行列を求める第１の工程と、並進ベクトルの長さ、即ちスケールを求める第２の工程とに分けることができる。第１の工程は、各カメラの撮影画像間で同一物体が写る点のペアを複数得ることで実施できる。一方、第２の工程は、シーン内でスケールが把握できるような特定の対象を基準として用いることとなり、このようなスケール基準を適切に設定する必要がある。本願発明者は、第２の工程を精度良く行う方法について、鋭意検討を重ねた。
　本願発明者は、従来技術の課題について、以下のように検討した。特許文献１等の先行例では、ステレオカメラにより求めた路面の３次元情報と、１台のカメラのフレーム間での移動前後の対応付け（所謂、モーションステレオ）により求めた路面の３次元情報を求め、後者で求めた３次元情報をスケール基準に、前者のステレオカメラの校正を行っている。
　上記のようなモーションステレオにより求めた路面の３次元情報の精度は、フレーム間におけるカメラの移動量の精度に依存する。先行例は、車速の情報からカメラの移動量を算出している。車両における車速は、車輪の回転に同期して発生する車速パルスから求めるという仕組みが一般的だが、この仕組みから車速を充分に高精度に求めることは、以下のように困難であると考えられる。
　すなわち、通常、車載のステレオカメラは、カメラ間距離が十数センチメートル～数十センチメートルで構成されており、ステレオカメラの経年によるずれ量は、多くとも数ミリメートル以下と見積もられる。このずれ量を、モーションステレオを基準に補正するためには、フレーム間のカメラ移動量を１％以下の誤差で求める必要があるが、上記のように車速パルスに基づく仕組みでは、このような高精度でカメラ移動量を求めることは究めて困難だと考えられる。
　また、２台のカメラを用いたステレオ測距においても、１台のカメラの移動量に基づくステレオ測距においても、３次元位置の算出は、以下のような測定原理に基づく。即ち、２視点の位置と、その視点から見た対象に対する角度とを求め、それぞれの視点から対象方向の角度に延びる直線を想定し、想定した直線間の交点を求めることにより対象の３次元位置を求めるという原理に基づく。
　上記の原理に基づくことから、２視点を結ぶ直線上の対象については、それぞれの視点から対象方向の角度に延びる直線が同一直線になってしまい、交点を特定できず、３次元位置が求められないということが知られている。２視点を結ぶ直線の近傍の領域についても同様に、２視点から対象方向の角度に延びる各直線がほぼ平行になり、対象方向の角度にわずかな誤差が生じるだけで、交点が大きくずれることになる。そのため、このような領域は、３次元情報を精度良く算出することが困難な領域であることが分かる。
　ここで、カメラが前方向きに設置された車両が直線道路を前進する場合を想定すると、車両の前進に伴って、カメラも前進する。このとき、フレーム間で動いたカメラの２視点を結ぶ線を延長すると、前方の直線道路に重なることとなる。上述のとおり、ステレオ測距の原理上、２視点を結ぶ線に近い領域の３次元情報は、精度良く求めることが困難である。よって、１台のカメラのフレーム間での移動前後の対応付けにより求めた路面の３次元情報は、原理的に精度良く得ることが困難であると考えられる。
　以上の２つの理由により、モーションステレオによる３次元情報を基準にステレオカメラの校正を行うことは困難であると考えられる。本願発明者は、鋭意検討の結果、車両の走行シーン中からステレオカメラ間の距離を補正するためのスケール基準を精度良く取得して、キャリブレーションを自動的に行う物体検出装置を考案した。以下、本発明に係る物体検出装置の具体的な実施形態について説明する。
実施の形態１．
　実施の形態１に係る物体検出装置、及び物体検出装置を備えた車両について、以下説明する。
１．構成
　本実施形態に係る物体検出装置及び車両の構成について、図１を用いて説明する。図１は、本実施形態に係る車両１０１の全体構成を示す図である。図１では、車両１０１から見た奥行き方向をｚ方向とし、鉛直方向をｙ方向とし、ｚ，ｙ方向に直交する車両１０１の幅方向をｘ方向としている。また、＋ｘ方向を左方、－ｘ方向を右方、＋ｙ方向を上方、－ｙ方向を下方、＋ｚ方向を前方、及び－ｚ方向を後方という場合がある。
　車両１０１は、本実施形態に係る物体検出装置を搭載する。車両１０１は、図１に示すように、ステレオカメラ１０２と、ヨーレートセンサ１０３と、ピッチレートセンサ１０４と、車速センサ１０５と、演算装置１０６と、表示装置１０７とを備える。各センサ１０３，１０４，１０５は、それぞれ車両１０１の移動状態に関する車両情報を検出する車両情報検出部の一例である。
　ステレオカメラ１０２は、２台のカメラ１０２ａ，１０２ｂで構成される。２台のカメラ１０２ａ，１０２ｂは、例えば車両１０１の左右方向（ｘ方向）に並んだ左カメラ１０２ａと右カメラ１０２ｂとして、互いの光軸が平行になるように配置される。２台のカメラ１０２ａ，１０２ｂは、互いに同期して映像を撮影できる。
　本実施形態では、ステレオカメラ１０２を車両１０１前方のフロントガラス付近に設置し、車両１０１前方の路面を左右それぞれのカメラ１０２ａ，１０２ｂで撮影できるようにする。ただし、上記のようなステレオカメラの構成は一例であり、２台のカメラが視野を共有できれば、平行でなくてもよく、車両に対して前方に向けなくてもよい。
　ヨーレートセンサ１０３は、車両１０１の鉛直軸（ｙ軸）回りの回転角速度（ヨーレート）を検出するためのセンサである。ヨーレートセンサ１０３は、車両１０１においてｙ軸と平行になるように搭載される。
　ピッチレートセンサ１０４は、車両１０１の左右方向（ｘ方向）の軸回りの回転角速度（ピッチレート）を検出するためのセンサである。ピッチレートセンサ１０４は、車両１０１においてｘ軸と平行になるように搭載される。
　車速センサ１０５は、車両１０１における車軸の回転数に比例してパルス信号を発生する装置であり、車輪径とパルス数から車速を算出することができる。
　演算装置１０６は、ＣＰＵ、ＲＡＭ、ＲＯＭ等により構成される装置である。演算装置１０６は、さらにフラッシュメモリ等の内部メモリを備えてもよい。演算装置１０６のＣＰＵは、ＲＯＭ等に格納されたデータ及びプログラムをＲＡＭ等に読み出して種々の演算処理を行い、各種の機能を実現する。
　例えば、演算装置１０６は、ステレオカメラ１０２の映像信号、ヨーレートセンサ１０３のヨーレート信号、ピッチレートセンサ１０４のピッチレート信号、車速センサ１０５の車速信号を入力して、種々簿画像処理を行うことにより車両１０１前方の物体を検出し、検出結果の物体情報を表示装置１０７に出力する。演算装置１０６は、本実施形態における物体検出装置の一例である。演算装置１０６が物体検出装置として機能するための構成の詳細については後述する。
　表示装置１０７は、例えば液晶ディスプレイ又は有機ＥＬディスプレイで構成される。表示装置１０７は、演算装置１０６からの物体情報を含む各種情報を表示する。
　以下、演算装置１０６の構成の詳細について、図２を用いて説明する。図２は、本実施形態における物体検出装置としての演算装置１０６の構成を示すブロック図である。
　演算装置１０６は、図２に示すように、視差演算部２０３と、第１の路面パラメータ推定部２０４と、路面パラメータ蓄積部２０５と、第２の路面パラメータ推定部２０８とを備える。さらに、演算装置１０６は、補正パラメータ演算部２０９と、初期設定時路面パラメータ記憶部２１０と、補正パラメータ反映部２１１と、補正済パラメータ記憶部２２０と、物体検出部２１２とを備える。上記の各機能部は、演算装置１０６において例えばソフトウェアとハードウェアとの協働により実現される。
　演算装置１０６には、ステレオカメラ１０２の左右のカメラ１０２ａ，１０２ｂ（図１）により撮影された左右カメラの映像と、車速やヨーレートなどの車両情報２０６とが入力される。車両情報２０６は、図１のヨーレートセンサ１０３、ピッチレートセンサ１０４、及び車速センサ１０５により取得される。
　視差演算部２０３は、ステレオカメラ１０２で撮影された左右カメラの映像の各画素について視差を算出することにより、各点の３次元位置を求める（詳細は後述）。視差は、左カメラの映像と右カメラの映像とにおいてどの画素に同一の対象が写っているのかに関する局所的な画像の類似度を、輝度差の絶対値の和などで評価し、最も類似度の高い点を探索することによって、求めることができる。
　第１の路面パラメータ推定部２０４は、ステレオカメラ１０２におけるカメラの投影中心から路面へ下ろした垂線の長さを路面パラメータとして求める（詳細は後述）。カメラに対する路面の位置は、カメラの位置が大きくずれない限り初期設定時とほぼ同じ位置にあると考えられる。このことから、初期設定時の路面に対し上下に幅を持った領域を設定し、その中に位置する点の３次元位置を抽出し、その点群が最も多く乗る平面に基づいて路面パラメータを求めることができる。
　路面パラメータ蓄積部２０５は、ＲＡＭ等で構成され、第１の路面パラメータ推定部２０４により求めた路面パラメータ（第１の路面パラメータ）と、車両情報２０６とを関連付けて記録する。
　第２の路面パラメータ推定部２０８は、路面パラメータ蓄積部２０５に蓄積された車両情報２０６に基づいて、後述する所定条件に該当する路面パラメータを抽出する。このとき抽出される路面パラメータは、車速、ヨーレート、ピッチレートに基づき、車両１０１が、勾配の変化がなくカーブしていない路面を走行中に得られたと見なせるものに設定される。さらに、第２の路面パラメータ推定部２０８は、抽出した路面パラメータを、後述するように統計処理することで、勾配の変化がないときの路面パラメータ（第２の路面パラメータ）を求める。
　補正パラメータ演算部２０９は、第２の路面パラメータ推定部２０８で求めた路面パラメータと、初期設定時路面パラメータ記憶部２１０に記憶された路面パラメータとを比較することで、左右のカメラ間の位置姿勢の補正量を計算する（詳細は後述）。初期設定時路面パラメータ記憶部２１０は、例えばＲＯＭで構成され、比較基準として初期設定時の路面パラメータが記憶されている。
　補正パラメータ反映部２１１では、補正パラメータ演算部２０９で算出した補正量を、補正済パラメータ記憶部２２０に記録することにより、反映する。補正済パラメータ記憶部２２０は、例えば演算装置１０６の内部メモリで構成される。
　物体検出部２１２では、補正パラメータ反映部２１１で補正されたパラメータを使って、視差演算部２０３で求めた視差を３次元情報に変換し、その分布から路面において高さを持つ塊を見つけることによって、物体を検出する（詳細は後述）。
２．動作
　本実施形態に係る物体検出装置の動作について、以下説明する。
２－１．動作の概要
　本実施形態において、車両１０１（図１）は、搭載したステレオカメラ１０２から周辺のシーンを撮影しながら、路面を走行する。車両１０１における物体検出装置として機能する演算装置１０６は、視差演算部２０３（図２）においてステレオカメラ１０２による撮影画像を画像解析して、シーンの３次元情報を生成し、物体検出部２１２において路面上の障害物などの物体を検出する。このような物体検出動作と共に、演算装置１０６は、ステレオカメラ１０２のキャリブレーションにおけるスケール基準を決定するための演算処理を行う。
　具体的に、まず、演算装置１０６は第１の路面パラメータ推定部２０４において、逐次、ステレオカメラ１０２から得られる撮影画像における路面に対する第１の路面パラメータを算出する。第１の路面パラメータは、起伏や勾配の変化があるなどの種々の路面の走行時における撮影画像から算出される。本実施形態では、このような路面を走行する車両１０１の移動状態に関する車両情報２０６を、各種センサ１０３～１０５を用いて取得し、路面パラメータ蓄積部２０５において車両情報２０６と第１の路面パラメータとを関連付けて蓄積する。
　演算装置１０６の第２の路面パラメータ推定部２０８は、蓄積された第１の路面パラメータの内で、車両１０１が勾配の変化がない路面を直進中に得られたと考えられる第１の路面パラメータを用いて、第２の路面パラメータを算出する。第２の路面パラメータは、勾配の変化やカーブの走行時の第１の路面パラメータよりも高精度のスケール基準となり、ステレオカメラ１０２のキャリブレーションを精度良くすることができる。
　第２の路面パラメータを用いたキャリブレーションは、補正パラメータ演算部２０９によって行われ、キャリブレーション結果は、補正パラメータ反映部２１１によって補正済パラメータ記憶部２２０に記録される。物体検出部２１２は、ステレオカメラ１０２によるリアルタイムの撮影画像に基づく情報と、補正済みのパラメータとを用いて、シーン中の物体等の位置を精度良く検出することができる。
　以下、本実施形態における物体検出装置の動作の詳細について説明する。
２－２．ステレオカメラの測定原理について
　本実施形態では、平行ステレオ法により、ステレオカメラ１０２を用いた３次元情報の測定を行う。図３を用いて、ステレオカメラ１０２による３次元情報の測定原理について説明する。
　図３では、ステレオカメラ１０２における左右のカメラ１０２ａ，１０２ｂを、ピンホールモデルを用いて模式的に示している。左カメラ１０２ａは、撮像面５０３と、撮像面５０３の中心から焦点距離ｆの間隔における投影中心５０１とを有する。右カメラ１０２ｂは、撮像面５０４と、撮像面５０４の中心から焦点距離ｆの間隔における投影中心５０１とを有する。
　平行ステレオ法は、図３に示すように、左カメラ１０２ａの撮像面５０３と右カメラ１０２ｂの撮像面５０４とが平行になるように設定された状態で、３次元情報の測定を行う。
　ステレオカメラ１０２による計測対象５０５の撮影時に、同対象５０５は、左カメラ１０２ａにおいて撮像面５０３上の点５０６に撮像されると共に、右カメラ１０２ｂにおいて撮像面５０４上の点５０７に撮像される。計測対象５０５の２次元座標は、例えば左カメラ１０２ａの撮像面５０３上における点５０６の座標に基づき算出される。点５０６は、左カメラ１０２ａの投影中心５０１と計測対象５０５とを結ぶ線５０８が、左カメラ１０２ａの撮像面５０３を貫く位置に位置する。
　ここで、計測対象５０５に対する視差ｄは、上記の線５０８に平行な線５０９であって右カメラ１０２ｂの投影中心５０２を通る線５０９が右カメラ１０２ｂの撮像面５０４を貫く点５１０と、同対象５０５が右カメラ１０２ｂに実際に撮像される点５０７との間の距離として規定される。ステレオカメラ１０２（例えば左カメラ１０２ａの投影中心５０１）から計測対象５０５までの距離Ｚは、視差ｄを用いて、次式によって算出される。
Ｚ＝ｆ・Ｄ／ｄ　　　…（１）
　上式（１）において、基線長Ｄは、左カメラ１０２ａの投影中心５０１と右カメラ１０２ｂの投影中心５０２との間の間隔の長さとして規定される。
２－３．視差演算部について
　以上のような測定原理に基づき動作する視差演算部２０３の動作について、図４を用いて説明する。図４は、視差演算部２０３における処理を示すフローチャートである。
　図４に示すフローチャートは、視差演算部２０３として機能する演算装置１０６によって、例えば所定の周期（例えば１／３０秒）で実行される。
　まず、視差演算部２０３は、ステレオカメラ１０２の左右のカメラ１０２ａ，１０２ｂによって撮影された画像を入力とする歪補正変換及び平面変換により、平行ステレオ法（図３）を適用するための平行化変換を行う（Ｓ３０１）。
　ステップＳ３０１の処理は、左右のカメラ１０２ａ，１０２ｂの向きの違いに対して、左カメラ１０２ａによる左画像と右カメラ１０２ｂによる右画像とを平行化するように補正するための処理である（図５参照）。ステップＳ３０１の詳細については後述する。
　次に、視差演算部２０３は、平行ステレオ法に基づく画像処理を行って、ステレオカメラ１０２の画像中の全点の視差ｄ（図３）を演算する（Ｓ３０２）。
　ステップＳ３０２において視差演算部２０３は、例えば、左画像上の特定の注目点の視差を求めるために、左画像から注目点付近の画像をテンプレートとして切り出し、右画像中で、切り出したテンプレートに対する類似度が高い部分を探索する。次いで、視差演算部２０３は、探索結果に基づいて、右画像中で最も類似度が高い点を対応点と判定し、判定した対応点と注目点間の距離に基づき視差ｄを算出する。
　本実施形態では平行ステレオ法を用いることから、左画像上の注目点の座標が（ｘｐ，ｙｐ）のとき、右画像中で対応点が現れ得る部分は、ｙ座標がｙｐの直線上に限定されることとなる。よって、視差演算部２０３は、同直線上のみに対応点探索を行い、他の部分に対する処理を省略することできる。また、上記のテンプレートを用いた類似度の算出方法としては、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅｓ：差分の絶対値の和）や、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅｓ：差分の自乗和）などを用いることができる。
　次に、視差演算部２０３は、算出した各点の視差ｄを用いて前述の式（１）に従う演算を行って、画像中の各点の３次元位置を算出する（Ｓ３０３）。視差演算部２０３は、例えば初期設定の基線長を用いてステップＳ３０３の演算処理を行う。
　視差演算部２０３は、ステップＳ３０２で算出した３次元位置を示す３次元情報を第１の路面パラメータ推定部２０４に出力し、ステップＳ３０２で算出した視差ｄを示す情報を物体検出部２１２に出力して、本フローチャートによる処理を終了する。
　以上の処理によると、ステレオカメラ１０２の各カメラ１０２ａ，１０２ｂによる画像が平行化変換され（Ｓ３０１）、平行ステレオ法に基づき視差ｄ及び三次元情報を演算することができる。ステップＳ３０１の詳細について、図５を用いて説明する。
　図５（ａ）は、ステップＳ３０１による平行化前の左カメラ座標（ｘｌ，ｙｌ，ｚｌ）及び右カメラ座標（ｘｒ，ｙｒ，ｚｒ）を示す。図５（ｂ）は、ステップＳ３０１による平行化後の左カメラ座標（ｘ’ｌ，ｙ’ｌ，ｚ’ｌ）及び右カメラ座標（ｘ’ｒ，ｙ’ｒ，ｚ’ｒ）を示す。左カメラ座標は、ステレオカメラ１０２における左カメラ１０２ａの投影中心を原点とする座標系である。右カメラ座標は、右カメラ１０２ｂの投影中心を原点とする座標系である。
　ステップＳ３０１の平行化変換を行うためには、ステレオカメラ１０２における左右それぞれのカメラ１０２ａ，１０２ｂの内部パラメータ及び外部パラメータを求めておく必要がある。内部パラメータは、カメラの焦点距離、画像中心座標、及び歪パラメータなどを表す。外部パラメータは、固定の座標系である世界座標系におけるカメラの位置及び姿勢を表す。演算装置１０６は、例えば、世界座標系を予め設定しておき、非特許文献１に示された手法を用いることにより、左右のカメラ１０２ａ，１０２ｂの内部パラメータと、共通の世界座標系における各カメラ１０２ａ，１０２ｂの外部パラメータとを算出することができる。
　ステップＳ３０１において、視差演算部２０３としての演算装置１０６は、求めた内部パラメータを用いてそれぞれのカメラ１０２ａ，１０２ｂに関する歪補正変換を行い、求めた外部パラメータを用いて平面変換を行って、平行化変換を実行する（Ｓ３０１）。
　ステップＳ３０１前には、ステレオカメラ１０２の位置ずれ等により、図５（ａ）に示すように左カメラ座標（ｘｌ，ｙｌ，ｚｌ）と右カメラ座標（ｘｒ，ｙｒ，ｚｒ）とが、互いに異なる向きに向いていることが想定される。これらの位置関係は、世界座標（ｗ０，ｗ１，ｗ２）を基準として、次式の並進ベクトルｔｌ，ｔｒ及び回転行列Ｒｌ，Ｒｒで表すことができる。
Figure JPOXMLDOC01-appb-M000001
 　上式（１１）～（１４）の並進ベクトルｔｌ，ｔｒ及び回転行列Ｒｌ，Ｒｒは、ステレオカメラ１０２における各カメラ１０２ａ，１０２ｂの外部パラメータを構成する。演算装置１０６は、上述のように公知の手法を用いて並進ベクトルｔｌ，ｔｒ及び回転行列Ｒｌ，Ｒｒを求めることができる。
　式（１１）の並進ベクトルｔｌは、世界座標（ｗ０，ｗ１，ｗ２）の原点から左カメラ座標（ｘｌ，ｙｌ，ｚｌ）の原点までの並進を表す３次元ベクトルである。式（１２）の並進ベクトルｔｒは、世界座標（ｗ０，ｗ１，ｗ２）の原点から右カメラ座標（ｘｒ，ｙｒ，ｚｒ）の原点までの並進を表す３次元ベクトルである。
　また、式（１３）の回転行列Ｒｌは、世界座標（ｗ０，ｗ１，ｗ２）の向きから左カメラ座標（ｘｌ，ｙｌ，ｚｌ）の向きまでの回転を表す行列である。式（１４）の回転行列Ｒｒは、世界座標（ｗ０，ｗ１，ｗ２）の向きから右カメラ座標（ｘｒ，ｙｒ，ｚｒ）の向きまでの回転を表す行列である。各回転行列Ｒｌ，Ｒｒは、３行３列の成分ｒｌ，００～ｒｌ，２２，ｒｒ，００～ｒｒ，２２間において、ヨー方向、ピッチ方向及びロール方向に対応する３自由度をそれぞれ有する。
　式（１１）～（１４）の並進ベクトルｔｌ，ｔｒ及び回転行列Ｒｌ，Ｒｒによると、次式のような回転行列Ｒ’を求めることができる。
Figure JPOXMLDOC01-appb-M000002
 　上式（１５）の回転行列Ｒ’は、図５（ｂ）の各カメラ座標（ｘ’ｌ，ｙ’ｌ，ｚ’ｌ），（ｘｒ，ｙｒ，ｚｒ）と世界座標（ｗ０，ｗ１，ｗ２）との間の回転変換に対応している。なお、上式（１８）における「×」は、ベクトル間の外積である。
　以上の各回転行列Ｒｌ，Ｒｒ，Ｒ’を用いて、演算装置１０６は、図４のステップＳ３０１において視差演算部２０３として、次式に従う平面変換を演算する。
Figure JPOXMLDOC01-appb-M000003
 　上式（１９），（２０）の平面変換によると、図５（ａ）の左カメラ座標（ｘｌ，ｙｌ，ｚｌ）と右カメラ座標（ｘｒ，ｙｒ，ｚｒ）とを、図５（ｂ）に示すように互いに平行化することができる。
２－４．第１の路面パラメータ推定部について
　以上のように視差演算部２０３によって算出された３次元情報に基づく第１の路面パラメータ推定部２０４の動作について、図６を用いて説明する。図６は、第１の路面パラメータ推定部２０４における処理を示すフローチャートである。
　図６に示すフローチャートは、第１の路面パラメータ推定部２０４として機能する演算装置１０６によって、例えば視差演算部２０３における処理後に逐次、実行される。
　まず、第１の路面パラメータ推定部２０４は、視差演算部２０３からの３次元情報（図４のＳ３０３）に基づいて、例えば３次元位置が算出された全ての点の中からランダムに３点を選択することにより、路面上とみなし得る候補点を抽出する（Ｓ６０１）。この際、第１の路面パラメータ推定部２０４は、選択された３点の全てが同一の直線上とはならないように、例えば３点目の選択を制限する。
　次に、第１の路面パラメータ推定部２０４は、路面上の候補点として抽出した３点を通る平面を求めて、求めた平面までの距離を示す候補路面パラメータを算出する（Ｓ６０２）。第１の路面パラメータ推定部２０４は、視差演算部２０３からの３次元情報に基づき、例えばステレオカメラ１０２におけるカメラの投影中心から求めた平面に下ろした垂線を求め、垂線の長さを候補路面パラメータとして算出する。
　次に、第１の路面パラメータ推定部２０４は、候補路面パラメータが算出された平面と実際の路面との間の対応関係を検証するための演算処理を行う（Ｓ６０３）。具体的に、第１の路面パラメータ推定部２０４は、３次元位置演算３０３で３次元位置を計算した各点、或いは所定領域内の各点と、ステップＳ６０２で求めた平面との間の距離を算出し、距離が所定のしきい値以下である点の数を計数する。当該しきい値は、上記の平面と実質的に同一平面上にある点を判定するための基準の値である。
　第１の路面パラメータ推定部２０４は、ステップＳ６０３の処理結果に基づいて、候補路面パラメータの平面と実際の路面とが合致することが検証されたか否かを判断する（Ｓ６０４）。
　具体的に、第１の路面パラメータ推定部２０４は、計数した点の数が、距離の算出対象となった全点の数に対して、予め設定された一定の割合未満である場合、候補路面パラメータの平面と実際の路面とが合致するとは検証されなかったと判断する（Ｓ６０４でＮＯ）。この場合、第１の路面パラメータ推定部２０４は、ステップＳ６０１以降の処理を繰り返して、新たな候補点に基づく候補路面パラメータを算出する。
　一方、第１の路面パラメータ推定部２０４は、計数した点の数が上記の割合以上である場合、候補路面パラメータの平面と実際の路面とが合致することが検証されたと判断する（Ｓ６０４でＹＥＳ）。この場合、第１の路面パラメータ推定部２０４は、算出した候補路面パラメータを第１の路面パラメータとして、路面パラメータ蓄積部２０５に出力する（Ｓ６０５）。
　第１の路面パラメータ推定部２０４は、第１の路面パラメータを出力すると（Ｓ６０５）、本フローチャートによる処理を終了する。
　以上の処理によると、視差演算部２０３によって演算された３次元情報に基づいて、車両１０１（図１）の移動時に時々刻々と変化する路面に対する第１の路面パラメータが算出される。
　また、以上の処理に同期して、演算装置１０６は、各種センサ１０３～１０５（図１）から車両情報２０６を取得する。演算装置１０６は、路面パラメータ蓄積部２０５において、第１の路面パラメータ推定部２０４により求めた路面パラメータを車両情報２０６に関連付けて蓄積する。
２－５．第２の路面パラメータ推定部について
　第１の路面パラメータなどの路面パラメータ蓄積部２０５に蓄積された情報に基づく第２の路面パラメータ推定部２０８の動作について、図７を用いて説明する。図７は、第２の路面パラメータ推定部２０８における処理を示すフローチャートである。
　図７に示すフローチャートは、第２の路面パラメータ推定部２０８として機能する演算装置１０６によって、例えば所定の周期で実行される。当該周期は、路面パラメータ蓄積部２０５に新たな情報が充分に蓄積されると考えられる期間に基づき設定される（例えば１分）。
　まず、第２の路面パラメータ推定部２０８は、路面パラメータ蓄積部２０５に蓄積された情報に基づいて、蓄積された第１の路面パラメータの中から、所定条件に該当する第１の路面パラメータを抽出する（Ｓ７０１）。第１の路面パラメータを抽出するための所定条件について、図８を用いて説明する。
　図８は、車両１０１が勾配の変化を有する路面を走行する様子を示している。本実施形態において、ステレオカメラ１０２は、車両１０１の前方の路面を撮影する。このため、図８に示すように、車両１０１の走行中の路面に勾配の変化がある場合、ステレオカメラ１０２から観測される観測面と、観測時の車両１０１の接地面との間には、ピッチ方向等において角度差θが生じる。この場合に算出される第１の路面パラメータは、ステレオカメラ１０２から観測面までの距離に対応し、車両１０１の接地面までの距離からずれてしまうと考えられる。
　また、車両１０１のカーブ走行の際には、ステレオカメラ１０２からの観測面と車両１０１の接地面との間に、例えばヨー方向において角度差θが生じると考えられる。このため、上述の場合と同様に、車両１０１がカーブ走行中に算出される第１の路面パラメータは、車両１０１の接地面までの距離からずれてしまうと考えられる。
　そこで、本実施形態では、ステレオカメラ１０２からの観測面と観測時における車両１０１の接地面との間の角度差θが、所定角度以内であるという所定条件を用いて、第１の路面パラメータの抽出を行う。所定角度は、観測面と接地面とが実質的に平行と見なせる角度、すなわち、車両１０１の走行中の路面に勾配の変化が実質的にないと見なせる角度であり、例えば±１度以内である。
　図７のステップＳ７０１では、第２の路面パラメータ推定部２０８は上記の所定条件を判定するために、車速、ヨーレート及びピッチレートといった車両情報２０６を用いて、蓄積された第１の路面パラメータにおける条件検索を行う。例えば、第２の路面パラメータ推定部２０８は、車速４０ｋｍ／ｈ以上で且つヨーレートおよびピッチレートが０近傍の所定範囲内である車両情報２０６に関連付けされた第１の路面パラメータを抽出する。
　次に、第２の路面パラメータ推定部２０８は、抽出した第１の路面パラメータに基づく統計処理を行って、第２の路面パラメータを算出する（Ｓ７０２）。例えば、第２の路面パラメータ推定部２０８は統計処理において、抽出した第１の路面パラメータの平均値や中央値を、第２の路面パラメータとして求める。
　第２の路面パラメータ推定部２０８は、算出した第２の路面パラメータをキャリブレーションのスケール基準として補正パラメータ演算部２０９に出力して（Ｓ７０２）、本フローチャートによる処理を終了する。
　以上の処理によると、車両情報２０６に基づく条件検索によって（Ｓ７０１）、キャリブレーションのスケール基準として利用可能なばらつきの少ない条件下の第１の路面パラメータが抽出される。さらに、抽出された第１の路面パラメータを用いて統計処理することにより（Ｓ７０２）、勾配の変化がない路面に対する距離を示す第２の路面パラメータを精度良く推定することができる。
２－６．補正パラメータ演算部について
　第２の路面パラメータ推定部２０８によって算出された第２の路面パラメータに基づくキャリブレーションを実現する補正パラメータ演算部２０９の動作について、図９を用いて説明する。図９は、補正パラメータ演算部２０９における処理を示すフローチャートである。
　図９に示すフローチャートは、補正パラメータ演算部２０９として機能する演算装置１０６によって、例えば第２の路面パラメータ推定部２０８による上記の処理（図７）の実行後に逐次、実行される。
　図９のフローチャートの開始時において、初期設定時路面パラメータ記憶部２１０には予め、初期設定時に勾配の変化がない条件において事前計測された基準の路面パラメータ及び初期設定時の基線長Ｄ０が記憶されていることとする。
　上記の初期設定は、例えば物体検出装置（演算装置１０６）を出荷する前や、物体検出装置の使用開始前に行われる。初期設定では、例えば、市松模様が描かれた、既知のサイズおよび交点数を有するチェッカーボードを路面上に設置し、ステレオカメラ１０２で撮影する。さらに、撮影画像から市松模様の交点を検出し、非特許文献２の第６章に記載のカメラ校正方法等を適用することにより、勾配の変化がない条件における基準の路面パラメータを求めることができる。
　図９のフローチャートにおいて、まず、補正パラメータ演算部２０９は、初期設定時路面パラメータ記憶部２１０に記憶された基準の路面パラメータを読み出す（Ｓ８０１）。
　次に、補正パラメータ演算部２０９は、第２パラメータ推定部２０８で算出された第２の路面パラメータ（図７のＳ７０２）と、読み出した基準の路面パラメータとを比較し、例えば両パラメータの除算によって、変化量を求める（Ｓ８０２）。ステップＳ８０２の変化量によると、現在のステレオカメラ１０２の設置状態と初期設定時との間の変化を認識することができる。
　次に、補正パラメータ演算部２０９は、求めた変化量を用いてステレオカメラ１０２の基線長を補正する（Ｓ８０３）。具体的に、補正パラメータ演算部２０９は、次式を演算して、補正後の基線長Ｄを算出する。
Ｄ＝（Ｈ／Ｈ０）Ｄ０　　　…（２）
　上式（２）において、Ｈ０は、初期設定時のカメラの投影中心から路面へ下ろした垂線の長さ（基準の路面パラメータ）である。また、Ｈは、現在のステレオカメラ１０２の設置状態におけるカメラの投影中心から路面へ下ろした垂線の長さ（第２の路面パラメータ）である。
　補正パラメータ演算部２０９は、補正後の基線長Ｄを補正パラメータ反映部２１１に出力して（Ｓ８０３）、本フローチャートによる処理を終了する。
　以上の処理によると、現在のステレオカメラ１０２の設置状態に応じたスケール基準として第２の路面パラメータを用いて、ステレオカメラ１０２の基線長が補正される（Ｓ８０３）。各路面パラメータと基線長との関係について、図１０を用いて説明する。
　図１０（ａ）～（ｃ）は、車両１０１が勾配の変化のない道路を直進走行している際の、キャリブレーション前のステレオカメラ１０２に基づく路面の見え方を説明するための図である。
　図１０（ａ）は、第２の路面パラメータと基準の路面パラメータとが一致する場合の路面の見え方を示している。図１０（ａ）の場合、ステレオカメラ１０２の撮影画像に基づき算出される路面までの距離は、初期設定時から特に変化しておらず、適切に算出されていると考えられる。この場合、補正パラメータ演算部２０９による補正後の基線長Ｄは、式（２）に基づきＤ＝Ｄ０となる。
　図１０（ｂ）は、第２の路面パラメータが基準の路面パラメータよりも大きい場合の路面の見え方を示している。図１０（ｂ）の場合、ステレオカメラ１０２においては、路面までの距離が遠くに変化したかのような測定結果となる位置ずれが起きている。この場合、ステレオカメラ１０２のカメラ１０２ａ，１０２ｂ間の間隔が初期設定時よりも広がっていると考えられる。そこで、補正パラメータ演算部２０９は、式（２）に基づき、初期設定時の基線長Ｄ０を広げるように補正後の基線長Ｄを算出する（Ｓ８０２）。
　図１０（ｃ）は、第２の路面パラメータが基準の路面パラメータよりも小さい場合の路面の見え方を示している。図１０（ｃ）の場合、ステレオカメラ１０２においては、路面までの距離が実際よりも近くに算出されるような位置ずれが起きており、カメラ１０２ａ，１０２ｂ間の間隔が初期設定時よりも狭まっていると考えられる。そこで、補正パラメータ演算部２０９は、式（２）に基づき、基線長Ｄを狭めるように補正する（Ｓ８０２）。
　以上のように、初期設定時（基準）の路面パラメータからの第２の路面パラメータの変化に基づき、カメラ１０２ａ，１０２ｂ間の間隔の変化を認識することができ、現在のステレオカメラ１０２の接地状態に応じた適切な基線長Ｄが得られる（Ｓ８０３）。
　以上の補正パラメータ演算部２０９における処理の実行後に、補正パラメータ反映部２１１は、補正パラメータ演算部２０９から出力された基線長Ｄを、補正済パラメータ記憶部２２０に書き込むことにより、補正後の基線長Ｄを更新する。補正パラメータ反映部２１１が基線長Ｄの更新を行う更新タイミングは、所定周期、或いは演算装置１０６のオン／オフ時など、適宜、設定される。
２－７．物体検出部について
　図１１を用いて、物体検出部２１２の動作について説明する。図１１は、物体検出部２１２における処理を示すフローチャートである。
　図１１に示すフローチャートは、物体検出部２１２として機能する演算装置１０６によって、例えば所定の周期（例えば１／３０秒）で実行される。
　まず、物体検出部２１２は、補正済パラメータ記憶部２２０に記憶された情報を参照し、視差演算部２０３において算出された撮影画像中の全点の視差（図４のＳ３０２）に基づいて各点の３次元位置を算出する（Ｓ１００１）。ステップＳ１００１において、物体検出部２１２は、図４のＳ３０３と同様の処理を行うが、視差ｄに基づく距離Ｚを算出する際には、補正済パラメータ記憶部２２０に記憶された補正後の基線長Ｄを用いる。
　次に、物体検出部２１２は、算出した３次元位置に基づいて、例えば図６のフローチャートと同様の処理を実行して、現在走行中のシーンにおける路面パラメータを算出する（Ｓ１００２）。
　次に、物体検出部２１２は、算出した路面パラメータに基づいて、撮影画像中の全点の中から、算出した路面パラメータに対応する路面よりも上方の３次元位置を有する点群を抽出する（Ｓ１００３）。
　次に、物体検出部２１２は、抽出した点群を入力として領域クラスタリングを行って、路面上の立体物と考えられる点群の集まり（塊）を求める（Ｓ１００４）。ステップＳ１００４における領域クラスタリングは、例えば非特許文献３に開示されたＭｅａｎ　Ｓｈｉｆｔ法を用いることにより実現できる。
　次に、物体検出部２１２は、領域クラスタリング（Ｓ１００４）において抽出した立体物を、検出結果の物体として示す物体情報を、例えば表示装置１０７に出力する（Ｓ１００５）。
　物体検出部２１２は、検出結果の物体情報を出力する（Ｓ１００５）と、本フローチャートによる処理を終了する。
　以上の処理によると、物体検出部２１２は、補正後の基線長Ｄを用いて、物体の３次元位置を精度良く検出することができる。表示装置１０７は、以上の処理によって検出された物体情報（Ｓ１００５）を表示する。
３．まとめ
　以上説明したように、本実施形態に係る物体検出装置（演算装置１０６）は、車両１０１上のステレオカメラ１０２による映像に基づいて物体を検出する。物体検出装置は、視差演算部２０３と、第１の路面パラメータ推定部２０４と、路面パラメータ蓄積部２０５と、第２の路面パラメータ推定部２０８と、物体検出部２１２とを備える。視差演算部２０３は、映像におけるシーンの３次元情報を演算する。第１の路面パラメータ推定部２０４は、３次元情報に基づいて、車両１０１が走行している路面とステレオカメラ１０２との間の距離を示す第１の路面パラメータを算出する。路面パラメータ蓄積部２０５は、第１の路面パラメータと、車両１０１の走行状態に関する車両情報２０６とを関連付けて蓄積する。第２の路面パラメータ推定部２０８は、路面パラメータ蓄積部２０５によって蓄積された車両情報２０６及び第１の路面パラメータに基づいて、車両に関する所定条件下における第１の路面パラメータを用いて第２の路面パラメータを算出する。物体検出部２１２は、第２の路面パラメータを用いて、物体を検出する。所定条件は、ステレオカメラ１０２から観測された路面と観測時における車両の接地面との間の角度差が、所定角度以内であることを含む。
　以上の物体検出装置によると、車両情報２０６から、車両１０１の走行状態（運動）を把握し、これによって走行中の道路の勾配の変化を推定することにより、第２の路面パラメータ推定部２０８により求まる、勾配の変化がない路面に車両１０１が位置する場合の路面パラメータの推定精度を向上できる。
　これにより、経年により２台のカメラ間の位置関係にずれが生じたときのずれ量の推定精度が向上するため、そのずれ量を考慮した物体までの距離検出精度も向上する。それにより、物***置情報を用いたアプリケーションにおいて、高い信頼性での動作を保つことが出来る。
　本実施形態において、第２の路面パラメータ推定部２０８は、路面パラメータ蓄積部２０５によって蓄積された車両情報２０６に基づいて、第１の路面パラメータから所定条件に該当する場合の第１の路面パラメータを抽出する。第２の路面パラメータ推定部２０８は、抽出した第１の路面パラメータに基づく統計処理を行って、第２の路面パラメータを算出する。これにより、蓄積された第１の路面パラメータの中から、勾配の変化のない道路を走行中の第１の路面パラメータが抽出されて統計処理の対象となり、第２の路面パラメータを精度良く算出できる。
　なお、以上の例では、蓄積された第１の路面パラメータの中から、勾配の変化のない道路を走行中に算出した第１の路面パラメータを抽出したが、これに限らず、例えば勾配の変化のない道路を走行中に算出した第１の路面パラメータのみを蓄積するように本物体検出装置を構成しても良い。
　また、本実施形態において、上記の所定条件は、ステレオカメラ１０２から観測された路面と観測時における車両の接地面とが、勾配が変化しない同一平面であることを示す条件であってもよい。例えば、上記の所定角度が適宜、許容誤差の範囲内で０度近傍に設定されることにより、当該条件が設定されてもよい。これにより、平坦な路面の走行中の第１の路面パラメータに制限して第２の路面パラメータが算出でき、ステレオカメラ１０２に対するキャリブレーションの精度を良くすることができる。
　また、本実施形態において、車両情報２０６は、車両１０１における車速、ヨーレート、及びピッチレートを含んだ。車両情報２０６はこれに加えて、又は代えて、例えば車両１０１におけるロールレート、操舵角、及び傾斜角などを含んでもよい。例えば、車両情報検出部として、車両１０１にロールレートセンサや姿勢センサを搭載したり、演算装置１０６が車両１０１のステアリングの操作状態をモニタしたりしてもよい。
　また、本実施形態において、上記の所定条件は、具体的には車両情報２０６におけるヨーレート、ピッチレート又はロールレートが、車両１０１の直線路の走行時に対応する所定範囲内の値であることとして設定された。上記の所定条件はこれに限らず、例えば、車両情報２０６における操舵角が、車両の直進状態におけるステアリングに対応する所定範囲内の値であることや、車両情報２０６における傾斜角が、車両が水平な路面上を走行する状態に対応する所定範囲内の値であることであってもよい。
　また、本実施形態において、物体検出装置は、補正パラメータ演算部２０９と、補正パラメータ反映部２１１とをさらに備える。補正パラメータ演算部２０９は、第２の路面パラメータと、予め設定された基準の路面パラメータとを比較して、ステレオカメラ１０２のずれ量に応じた補正パラメータを算出する。補正パラメータ反映部２１１は、補正パラメータに基づいて、ステレオカメラに関するカメラパラメータを補正する。物体検出部２１２は、補正パラメータ反映部２１１によって補正されたカメラパラメータである基線長Ｄを用いて、物体の位置を検出する。これにより、物体検出装置は、ステレオカメラ１０２のずれ量を補正して物体の位置を精度良く検出することができる。
　また、本実施形態に係る車両１０１は、物体検出装置と、映像を撮影するステレオカメラ１０２と、車両情報２０６を検出する各種センサ１０３～１０５とを備える。本実施形態に係る車両１０１によると、物体検出装置によりステレオカメラ１０２の位置ずれを補正して物体を精度良く検出することができる。
実施の形態２．
　実施の形態１では、車速センサ等で車両の走行状態に関する車両情報を検出した。実施の形態２では、さらに走行する道路のレーン形状を検出する物体検出装置について説明する。
　図１２は、本実施形態に係る物体検出装置の構成を示すブロック図である。本実施形態に係る物体検出装置（演算装置１０６Ａ）は、実施の形態１と同様の構成（図２）に加えて、図１２に示すように白線消失点検出部２１４とレーン形状検出部２１５とをさらに備える。
　白線消失点検出部２１４は、ステレオカメラ１０２による撮影画像に基づいて、道路の走行レーンに描かれている左右の白線を直線（或いは曲線）として検出する。白線消失点検出部２１４は、検出した２本の直線（或いは曲線）を延長した場合の交点を消失点として求める。
　レーン形状検出部２１５は、白線消失点検出部２１４による検出結果に基づいて、求めた白線の消失点の位置からレーンの形状を推定するための処理を行う。例えば、左右レーンを延長して地平線上で交わる点（消失点）は、道路が左カーブしていれば、平坦な直線路の走行時の初期位置より左に、右カーブしていれば、初期位置より右に、道路が上り坂に差し掛かっていれば、初期位置より上に、下り坂に差し掛かっていれば、初期位置より下に観測されると推定される。このため、消失点が初期位置に近い所定範囲内に在る場合、走行中の道路は、勾配の変化がなく、カーブしていない（直線路である）と判定することができる。
　本実施形態において、路面パラメータ蓄積部２０５は、第１の路面パラメータ推定部２０４により求めた第１の路面パラメータを、車速やヨーレートやピッチレート等の車両情報２０６と、レーン形状検出部２１５により求めたレーン形状とに関連付けて蓄積する。
　また、第２の路面パラメータ推定部２０８は、路面パラメータ蓄積部２０５に蓄積された情報を用いて、勾配の変化がなくカーブしていないと見なせる条件下の第１の路面パラメータをより精度良く抽出し、第２の路面パラメータをより正確に算出する。上記の各機能部による動作について、以下説明する。
　図１３は、白線消失点検出部２１４における処理を示すフローチャートである。図１３に示すフローチャートは、白線消失点検出部２１４として機能する演算装置１０６Ａによって、例えば所定の周期（例えば１／３０秒）で実行される。
　まず、白線消失点検出部２１４は、ステレオカメラ１０２における一方又は双方のカメラ画像から、例えば所定の特徴量に基づく特徴点群として白線部分を抽出する（Ｓ１２０１）。ステップＳ１２０１の処理は、例えば、縦エッジ抽出の画像処理を行い、エッジ強度が所定値以上、強い部分を白線として抽出することによって実行できる。
　次に、白線消失点検出部２１４は、出した白線部分の特徴点群を用いて、直線抽出を行うことにより、左右の白線を直線として求める（Ｓ１２０２）。ステップＳ１２０２の処理は、例えば、非特許文献４に示された直線ハフ変換を用いて直線を求めることによって実行できる。
　次に、白線消失点検出部２１４は、求めた左右の白線に相当する直線２本を用いて、その２本の直線が地平線付近で交わる点を消失点として求める（Ｓ１２０２）。白線消失点検出部２１４は、以上のような消失点の検出結果を示す情報をレーン形状検出部２１５に出力して、本フローチャートによる処理を終了する。
　図１４は、レーン形状検出部２１５における処理を示すフローチャートである。図１４に示すフローチャートは、レーン形状検出部２１５として機能する演算装置１０６Ａによって、例えば白線消失点検出部２１４における処理後に逐次、実行される。
　まず、レーン形状検出部２１５は、白線消失点検出部２１４による検出結果に基づいて、レーンの勾配算出等を行い（Ｓ１３０１）、レーン形状の観点から、現在走行中のレーンが登っているのか、下っているのか、或いは勾配の変化がないのかを判定する。
　ステップＳ１３０１の判定では、勾配の変化のない道路を走行中に観測された消失点の位置を基準の標準位置として予め設定しておき、算出された消失点の位置と標準位置とを比較する。レーン形状検出部２１５は、算出された消失点の位置が、標準位置よりも上の場合には現在のレーンが登っており、標準位置よりも下の場合にはレーンが下っていると判断する。
　また、レーン形状検出部２１５は、レーンのヨー方向における曲率等のカーブ算出を行い（Ｓ１３０２）、レーン形状の観点から、現在走行中のレーンが左カーブなのか、右カーブなのか、直線路なのかを判定する。
　ステップＳ１３０２の判定では、直線路を走行中に観測された消失点の位置を基準の標準位置とし、算出された消失点の位置が標準位置より左（又は右）にずれている場合に、走行中のレーンが左（又は右）にカーブしていると判断する。さらに、レーン形状検出部２１５は、算出された消失点の位置が標準位置に近いと考えられる所定範囲内にある場合ければ、走行中のレーンは勾配の変化がなく、カーブしていないと判断する。
　レーン形状検出部２１５は、以上のような判定結果を含むレーン形状の検出情報を路面パラメータ蓄積部２０５に出力して、本フローチャートによる処理を終了する。
　路面パラメータ蓄積部２０５は、レーン形状検出部２１５によるレーン形状の検出情報を、同期して得られた第１の路面パラメータ及び車両情報２０６と関連付けて蓄積する。
　第２の路面パラメータ推定部２０８は、車両情報２０６と共にレーン形状の検出情報を用いて、路面パラメータ蓄積部２０５に蓄積された第１の路面パラメータの条件検索を行う。例えば、第２の路面パラメータ推定部２０８は、車速４０ｋｍ／ｈ以上、ヨーレートおよびピッチレートがほぼ０、消失点から求めたレーン形状が勾配の変化なし、直線路である場合の第１の路面パラメータを抽出する。これにより、車両１０１が勾配の変化のない道路を直進中に算出されたと考えられる第１の路面パラメータをより精度良く得ることができる。
　以上説明したように、本実施形態に係る物体検出装置（演算装置１０６Ａ）は、白線消失点検出部２１４と、レーン形状検出部２１５とをさらに備える。白線消失点検出部２１４は、映像における２本の白線に基づいて、２本の白線の延長線が交わる点である消失点を検出する。レーン形状検出部２１５は、消失点の位置に基づいて映像における路面の勾配の変化を検出する。路面パラメータ蓄積部２０５は、レーン形状検出部２１５による路面の勾配の変化の検出結果と、第１の路面パラメータとを関連付けて蓄積する。第２の路面パラメータ推定部２０８は、路面パラメータ蓄積部２０５によって蓄積された路面の勾配の変化の検出結果に基づいて、第２の路面パラメータを算出する。
　本実施形態において、レーン形状検出部２１５は、白線消失点検出部２１４によって検出された消失点の位置と、予め設定された直線路走行時の消失点の位置とを比較して、レーンの形状を検知する。
　以上の物体検出装置によると、レーン形状検出部２１５により、走行中の道路の勾配の変化を検出でき、車両１０１が勾配の変化がない路面を直進する場合の路面パラメータの推定精度を向上できる。
実施の形態３．
　実施の形態１では、ステレオカメラの撮影画像からレーン形状を検出した。実施の形態３では、さらにステレオカメラによる撮影環境を認識する物体検出装置について説明する。
　図１５は、本実施形態に係る物体検出装置の構成を示すブロック図である。本実施形態に係る物体検出装置（演算装置１０６Ｂ）は、実施の形態２と同様の構成（図１２）に加えて、図１５に示すように撮影環境認識部２１６をさらに備える。
　撮影環境認識部２１６は、ステレオカメラ１０２による映像を入力し、現在走行中のシーンに関する日照条件、気象条件、及び走行路面に関する条件を含む撮影環境を認識する。日照条件は、例えば対象のシーンが昼、夜、西日などのいずれであるかを示す。気象条件は、例えば対象のシーンが晴れ、曇、雨、雪などのいずれであるかを示す。走行路面に関する条件は、走行中の路面が、舗装道路、未舗装道路などのいずれであるかを示す。
　本実施形態において、路面パラメータ蓄積部２０５は、第１の路面パラメータを、車両情報２０６、及びレーン形状の検出情報と共に、撮影環境認識部２１６で認識された撮影環境を示す情報に関連付けて蓄積する。
　また、第２の路面パラメータ推定部２０８では、路面パラメータ蓄積部２０５に蓄積された情報を用いて、車両１０１の走行路面に勾配の変化がなくカーブしていないと見なせるときで、かつ、撮影環境の観点から認識精度が高いと見なせる条件下の第１の路面パラメータを抽出する。上記の各機能部による動作について、以下説明する。
　図１６は、撮影環境認識部２１６における処理を示すフローチャートである。図１６に示すフローチャートは、撮影環境認識部２１６として機能する演算装置１０６Ｂによって、例えば所定の周期（例えば１／３０秒）で実行される。
　図１６のフローチャートにおいて、撮影環境認識部２１６は、ステレオカメラ１０２から入力される画像に基づいて、日照条件を認識する（Ｓ１５０１）。ステップＳ１５０１において撮影環境認識部２１６は、入力画像の輝度平均値、カメラ撮像時の露光時間、及びカメラ撮像時のゲイン値に基づいて、シーンの明るさを認識し、日照条件の強度を算出する。
　また、撮影環境認識部２１６は、入力画像に基づいて気象条件を認識する（Ｓ１５０２）。ステップＳ１５０２において撮影環境認識部２１６は、入力画像において空が映った部分のテクスチャ解析（例えば雲の有無）や、他の部分等のエッジの鮮明度解析（即ちレンズへの水滴付着による映像ぼけの有無、降雨、降雪による映像の不鮮明化の有無）を行って、気象条件を認識する。
　また、撮影環境認識部２１６は、入力画像に基づいて走行路面に関する条件を認識する（Ｓ１５０３）。ステップＳ１５０２において撮影環境認識部２１６は、入力画像における白線の有無判定や、走行路面上のエッジ量解析（即ちアスファルトか非舗装道路かの判定）を行って、走行路面の状態を認識する。
　撮影環境認識部２１６は、以上のような撮影環境の認識結果を示す情報を路面パラメータ蓄積部２０５に出力して、本フローチャートによる処理を終了する。
　以上の処理によると、路面パラメータ蓄積部２０５には車両情報２０６及びレーン形状の検出情報と共に撮影環境の認識結果を示す情報が蓄積され、第２の路面パラメータ推定部２０８はこれらの情報を用いて第１の路面パラメータの条件検索を行う。例えば、第２の路面パラメータ推定部２０８は、実施の形態２と同様の条件に加えて、日照条件が「昼」であり、気象条件が「曇」であり、走行路面に関する条件が舗装道路である条件下の第１の路面パラメータを抽出する。これにより、抽出した第１の路面パラメータに基づく第２の路面パラメータをより精度良く求めることができる。
　以上説明したように、本実施形態に係る物体検出装置（演算装置１０６Ｂ）は、ステレオカメラ１０２による映像の撮影環境を認識する撮影環境認識部２１６をさらに備える。路面パラメータ蓄積部２０５は、撮影環境認識部２１６によって認識された撮影環境を示す情報と、第１の路面パラメータとを関連付けて蓄積する。第２の路面パラメータ推定部２０８は、路面パラメータ蓄積部２０５によって蓄積された撮影環境を示す情報に基づいて、第２の路面パラメータを算出する。
　本実施形態において、撮影環境を示す情報は、日照条件、気象条件、及び車両の走行路面に関する条件のうちの少なくとも１つを示す情報を含む。
　以上の物体検出装置によると、第２の路面パラメータ推定部２０８において、撮影環境の観点から画像認識の精度が低下する可能性が高いと想定される第１の路面パラメータを用いずに第２の路面パラメータを算出して、位置ずれの推定精度を向上することができる。
実施の形態４．
　実施の形態４では、第２の路面パラメータによる補正結果の更新タイミングについて説明する。
　図１７は、本実施形態に係る物体検出装置の構成を示すブロック図である。本実施形態に係る物体検出装置（演算装置１０６Ｃ）は、実施の形態３と同様の構成（図１５）において、図１７に示すように、車両情報２０６を補正パラメータ反映部２１１Ａに入力する。
　補正パラメータ反映部２１１Ａは、実施の形態１と同様に、視差ｄから３次元位置を算出するときに用いる基線長Ｄを更新するために、補正パラメータ演算部２０９で算出された基線長を補正済パラメータ記憶部２２０に書き込む。本実施形態では、補正パラメータ反映部２１１Ａは、車両１０１の車両情報２０６における車速の情報を用いて、基線長を補正済パラメータ記憶部２２０に書き込む更新タイミングを、車両１０１の停止時に限定する。
　以上のように、本実施形態において、補正パラメータ反映部２１１Ａは、車両１０１の車速を示す情報に基づいて、車両１０１の停止時においてカメラパラメータの補正結果を反映する。
　補正パラメータ反映部２１１Ａによって補正結果が反映された際には、ステレオカメラ１０２の映像に基づき物体検出部２１２が検出している物体までの距離が、変化することとなる。このことから、検出された物体の位置情報を用いたアプリケーションにおいて、車両１０１を制御しているときに、物体までの距離が変化すると、その変化の影響で制御を誤ったり、無理な制御がかかったりする可能性があると考えられる。これに対して、本実施形態では、アプリケーションへの影響のないタイミングである、車両１０１の停車時に補正パラメータを反映することで、安全性を向上することができる。
他の実施形態．
　上記の各実施形態では、平行ステレオ法に基づき３次元情報を測定する場合について説明したが、平行ステレオ法に限らず、他の種々の測定方法を採用してもよい。この場合、例えば図４のステップＳ３０１において採用する測定方法に応じた補正を行う。
　上記の各実施形態では、物体検出装置は車両１０１に搭載されたステレオカメラ１０２を用いて物体を検出した。車両は、自動車、自動二輪車、及び鉄道車両など、路面を走行する各種の移動体を含む。
　以上のように、本発明の具体的な実施形態について説明したが、本発明は上記の形態に限定されるものではなく、本発明の範囲内で種々の変更を行って実施することができる。例えば、上記の個々の実施形態の内容を適宜組み合わせたものを本発明の一実施形態としてもよい。

Claims (12)

  1. 　車両上のステレオカメラによる映像に基づいて物体を検出する物体検出装置であって、
    　前記映像におけるシーンの３次元情報を演算する視差演算部と、
    　前記３次元情報に基づいて、前記車両が走行している路面と前記ステレオカメラとの間の距離を示す第１の路面パラメータを算出する第１の路面パラメータ推定部と、
    　前記第１の路面パラメータと、前記車両の走行状態に関する車両情報とを関連付けて蓄積する路面パラメータ蓄積部と、
    　前記路面パラメータ蓄積部によって蓄積された車両情報及び第１の路面パラメータに基づいて、前記車両に関する所定条件下における第１の路面パラメータを用いて第２の路面パラメータを算出する第２の路面パラメータ推定部と、
    　前記第２の路面パラメータを用いて、前記物体を検出する物体検出部とを備え、
    　前記所定条件は、前記ステレオカメラから観測された路面と観測時における前記車両の接地面との間の角度差が、所定角度以内であることを含む
    物体検出装置。
  2. 　前記第２の路面パラメータ推定部は、
    　前記路面パラメータ蓄積部によって蓄積された車両情報に基づいて、前記路面パラメータ蓄積部によって蓄積された第１の路面パラメータから前記所定条件に該当する場合の第１の路面パラメータを抽出し、
    　抽出した第１の路面パラメータに基づく統計処理を行って、前記第２の路面パラメータを算出する
    請求項１に記載の物体検出装置。
  3. 　前記所定条件は、前記ステレオカメラから観測された路面と観測時における前記車両の接地面とが、勾配が変化しない同一平面であることを含む
    請求項１又は２に記載の物体検出装置。
  4. 　前記車両情報は、前記車両における車速、ヨーレート、ピッチレート、ロールレート、操舵角、及び傾斜角のうちの少なくとも１つを示す情報を含む
    請求項１～３のいずれか１項に記載の物体検出装置。
  5. 　前記所定条件は、
    　前記車両情報におけるヨーレート、ピッチレート又はロールレートが、前記車両の直線路の走行時に対応する所定範囲内の値であることと、
    　前記車両情報における操舵角が、前記車両の直進状態におけるステアリングに対応する所定範囲内の値であることと、
    　前記車両情報における傾斜角が、前記車両が水平な路面上を走行する状態に対応する所定範囲内の値であることと
    の内の少なくとも一つを含む
    請求項４に記載の物体検出装置。
  6. 　前記映像における２本の白線に基づいて、前記２本の白線の延長線が交わる点である消失点を検出する白線消失点検出部と、
    　前記消失点の位置に基づいて前記映像における路面の勾配の変化を検出するレーン形状検出部とをさらに備え、
    　前記路面パラメータ蓄積部は、前記レーン形状検出部による路面の勾配の変化の検出結果と、前記第１の路面パラメータとを関連付けて蓄積し、
    　前記第２の路面パラメータ推定部は、前記路面パラメータ蓄積部によって蓄積された路面の勾配の変化の検出結果に基づいて、前記第２の路面パラメータを算出する
    請求項１～５のいずれか１項に記載の物体検出装置。
  7. 　前記レーン形状検出部は、前記白線消失点検出部によって検出された消失点の位置と、予め設定された直線路走行時の消失点の位置とを比較して、レーンの形状を検知する
    請求項６に記載の物体検出装置。
  8. 　前記ステレオカメラによる映像の撮影環境を認識する撮影環境認識部をさらに備え、
    　前記路面パラメータ蓄積部は、前記撮影環境認識部によって認識された撮影環境を示す情報と、前記第１の路面パラメータとを関連付けて蓄積し、
    　前記第２の路面パラメータ推定部は、前記路面パラメータ蓄積部によって蓄積された撮影環境を示す情報に基づいて、前記第２の路面パラメータを算出する
    請求項１～７のいずれか１項に記載の物体検出装置。
  9. 　前記撮影環境を示す情報は、日照条件、気象条件、及び前記車両の走行路面に関する条件のうちの少なくとも１つを示す情報を含む
    請求項８に記載の物体検出装置。
  10. 　前記第２の路面パラメータと、予め設定された基準の路面パラメータとを比較して、前記ステレオカメラのずれ量に応じた補正パラメータを算出する補正パラメータ演算部と、
    　前記補正パラメータに基づいて、前記ステレオカメラに関するカメラパラメータを補正する補正パラメータ反映部と
    をさらに備え、
    　前記物体検出部は、前記補正パラメータ反映部によって補正されたカメラパラメータを用いて、前記物体の位置を検出する
    請求項１～９のいずれか１項に記載の物体検出装置。
  11. 　前記補正パラメータ反映部は、前記車両の車速を示す情報に基づいて、前記車両の停止時において、前記カメラパラメータの補正結果を反映する
    請求項１０に記載の物体検出装置。
  12. 　請求項１～１１のいずれか１項に記載の物体検出装置と、
    　前記映像を撮影するステレオカメラと、
    　前記車両情報を検出する車両情報検出部と
    を備えた車両。
PCT/JP2017/013402 2017-03-30 2017-03-30 物体検出装置及び車両 WO2018179281A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2017/013402 WO2018179281A1 (ja) 2017-03-30 2017-03-30 物体検出装置及び車両
JP2019508060A JP6779365B2 (ja) 2017-03-30 2017-03-30 物体検出装置及び車両
DE112017007347.2T DE112017007347T5 (de) 2017-03-30 2017-03-30 Objekterkennungsvorrichtung und fahrzeug
US16/486,529 US10984555B2 (en) 2017-03-30 2017-03-30 Object detection device and vehicle
CN201780088885.7A CN110462682B (zh) 2017-03-30 2017-03-30 物体检测装置以及车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013402 WO2018179281A1 (ja) 2017-03-30 2017-03-30 物体検出装置及び車両

Publications (1)

Publication Number Publication Date
WO2018179281A1 true WO2018179281A1 (ja) 2018-10-04

Family

ID=63674418

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013402 WO2018179281A1 (ja) 2017-03-30 2017-03-30 物体検出装置及び車両

Country Status (5)

Country Link
US (1) US10984555B2 (ja)
JP (1) JP6779365B2 (ja)
CN (1) CN110462682B (ja)
DE (1) DE112017007347T5 (ja)
WO (1) WO2018179281A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131351A1 (ja) * 2019-12-23 2021-07-01 株式会社 東芝 カメラ自動検査システム
WO2024090152A1 (ja) * 2022-10-28 2024-05-02 株式会社小糸製作所 車両検出装置、配光制御装置および車両検出方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158088B2 (en) 2017-09-11 2021-10-26 Tusimple, Inc. Vanishing point computation and online alignment system and method for image guided stereo camera optical axes alignment
US11089288B2 (en) * 2017-09-11 2021-08-10 Tusimple, Inc. Corner point extraction system and method for image guided stereo camera optical axes alignment
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
WO2020176873A1 (en) 2019-02-28 2020-09-03 Stats Llc System and method for generating trackable video frames from broadcast video
US11770875B2 (en) * 2019-10-03 2023-09-26 Qualcomm Incorporated Integrated access and backhaul (IAB) timing handling for positioning
US11178382B1 (en) * 2020-10-27 2021-11-16 Shoppertrak Rct Corporation Auto-calibration of stereoscopic imaging device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013239015A (ja) * 2012-05-15 2013-11-28 Sharp Corp 駐車支援装置、駐車支援方法およびプログラム
JP2017004117A (ja) * 2015-06-05 2017-01-05 富士通テン株式会社 視線検出装置および視線検出方法
JP2017031579A (ja) * 2015-07-29 2017-02-09 日本電気株式会社 抽出システム、抽出サーバ、抽出方法、および抽出プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4344860B2 (ja) 2004-01-30 2009-10-14 国立大学法人東京工業大学 ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP4894771B2 (ja) 2008-01-31 2012-03-14 コニカミノルタホールディングス株式会社 校正装置及び校正方法
JP5074365B2 (ja) * 2008-11-28 2012-11-14 日立オートモティブシステムズ株式会社 カメラ装置
CN102792333B (zh) * 2010-03-19 2016-11-23 拉碧斯半导体株式会社 图像处理装置、方法、程序以及记录介质
JP5870510B2 (ja) * 2010-09-14 2016-03-01 株式会社リコー ステレオカメラ装置、校正方法およびプログラム
JP6019646B2 (ja) 2012-03-21 2016-11-02 株式会社リコー 位置ずれ検出装置、車両及び位置ずれ検出方法
EP2843615B1 (en) * 2012-04-16 2016-12-07 Nissan Motor Co., Ltd. Device for detecting three-dimensional object and method for detecting three-dimensional object
WO2014017317A1 (ja) * 2012-07-27 2014-01-30 日産自動車株式会社 立体物検出装置及び異物検出装置
EP2879115B1 (en) * 2012-07-27 2018-09-05 Nissan Motor Co., Ltd Three-dimensional object detection device
JP5820787B2 (ja) * 2012-08-30 2015-11-24 株式会社デンソー 画像処理装置、及びプログラム
JP5906272B2 (ja) 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
EP3358295B1 (en) * 2015-09-28 2020-10-07 Kyocera Corporation Image processing device, stereo camera device, vehicle, and image processing method
JP6780661B2 (ja) * 2016-01-15 2020-11-04 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
JP6733225B2 (ja) * 2016-03-08 2020-07-29 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013239015A (ja) * 2012-05-15 2013-11-28 Sharp Corp 駐車支援装置、駐車支援方法およびプログラム
JP2017004117A (ja) * 2015-06-05 2017-01-05 富士通テン株式会社 視線検出装置および視線検出方法
JP2017031579A (ja) * 2015-07-29 2017-02-09 日本電気株式会社 抽出システム、抽出サーバ、抽出方法、および抽出プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131351A1 (ja) * 2019-12-23 2021-07-01 株式会社 東芝 カメラ自動検査システム
JP7502025B2 (ja) 2019-12-23 2024-06-18 株式会社東芝 カメラ自動検査システム
WO2024090152A1 (ja) * 2022-10-28 2024-05-02 株式会社小糸製作所 車両検出装置、配光制御装置および車両検出方法

Also Published As

Publication number Publication date
US10984555B2 (en) 2021-04-20
DE112017007347T5 (de) 2019-12-12
JP6779365B2 (ja) 2020-11-04
CN110462682A (zh) 2019-11-15
US20200051282A1 (en) 2020-02-13
CN110462682B (zh) 2023-05-02
JPWO2018179281A1 (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
JP6779365B2 (ja) 物体検出装置及び車両
US10834324B2 (en) Image distortion correction of a camera with a rolling shutter
EP3598874B1 (en) Systems and methods for updating a high-resolution map based on binocular images
CN111436216B (zh) 用于彩色点云生成的方法和***
US9066085B2 (en) Stereoscopic camera object detection system and method of aligning the same
EP3057063B1 (en) Object detection device and vehicle using same
US9846812B2 (en) Image recognition system for a vehicle and corresponding method
JP3719095B2 (ja) 挙動検出装置および勾配検出方法
KR101411668B1 (ko) 교정 장치, 거리 측정 시스템, 교정 방법, 및 교정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
JP5714940B2 (ja) 移動***置測定装置
US8102427B2 (en) Camera egomotion estimation from an infra-red image sequence for night vision
JP2012127896A (ja) 移動***置測定装置
US11691585B2 (en) Image processing apparatus, imaging device, moving body device control system, image processing method, and program product
EP3803790B1 (en) Motion segmentation in video from non-stationary cameras
CN109917359B (zh) 基于车载单目视觉的鲁棒车辆距离估计方法
US20200193184A1 (en) Image processing device and image processing method
JP7303064B2 (ja) 画像処理装置、および、画像処理方法
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
JP6521796B2 (ja) ステレオ画像処理装置
US20230421739A1 (en) Robust Stereo Camera Image Processing Method and System
US20240212194A1 (en) Vehicle and control method thereof
KR101949349B1 (ko) 어라운드 뷰 모니터링 장치
JP4397164B2 (ja) 障害物検出装置及び障害物検出方法
JPH11232466A (ja) 道路形状認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17904027

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508060

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17904027

Country of ref document: EP

Kind code of ref document: A1