WO2021261304A1 - 自車位置推定装置、走行位置推定方法 - Google Patents
自車位置推定装置、走行位置推定方法 Download PDFInfo
- Publication number
- WO2021261304A1 WO2021261304A1 PCT/JP2021/022461 JP2021022461W WO2021261304A1 WO 2021261304 A1 WO2021261304 A1 WO 2021261304A1 JP 2021022461 W JP2021022461 W JP 2021022461W WO 2021261304 A1 WO2021261304 A1 WO 2021261304A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- lane
- vehicle
- road
- traveling
- roadside
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Definitions
- This disclosure relates to a technology for specifying the traveling position of the own vehicle on the road.
- Patent Document 1 the lane in which the own vehicle is traveling (hereinafter referred to as the traveling lane) is the lane from the left end or the right end of the road based on the line type of the lane boundary line existing on the left side or the right side of the vehicle. A method of determining the existence is disclosed. Further, Patent Document 2 discloses a configuration in which a traveling lane is specified by using trajectory information of another vehicle traveling around the own vehicle.
- Patent Document 1 when there are a plurality of lanes having the same line type on the left and right lane boundary lines, such as a multi-lane road having four or more lanes, it is impossible to specify the traveling lane. In addition, it is difficult to specify the traveling lane in a section where it is difficult to recognize the line type of the lane boundary line, such as a section where the lane boundary line is faint. For example, if the lane boundary line originally formed by a solid line is recognized as a broken line due to faintness or dirt, the traveling lane of the own vehicle is mistaken.
- Patent Document 2 According to the technology disclosed in Patent Document 2, it can be expected that the traveling lane can be specified even in an environment where the configuration disclosed in Patent Document 1 cannot be applied. However, the configuration disclosed in Patent Document 2 has a problem that the traveling lane cannot be specified unless there are other vehicles in the vicinity.
- the own vehicle position estimation device for achieving the purpose exists in a predetermined direction of the own vehicle by transmitting an image pickup device that images a predetermined range around the own vehicle and an exploration wave or a laser beam.
- the own vehicle can obtain the position information of the road edge with respect to the own vehicle by using at least one of the distance measuring sensors for detecting the object from the road edge information acquisition unit and the map storage unit arranged inside or outside the own vehicle.
- the map acquisition unit that acquires map information including the number of lanes of the road on which the vehicle is traveling, the position information of the road edge acquired by the road end information acquisition unit, the number of lanes included in the map information acquired by the map acquisition unit, and It is provided with a traveling lane specifying unit that identifies the traveling lane of the own vehicle based on the above.
- the number of lanes shown on the map and the position information of the roadside with respect to the own vehicle are acquired.
- the position information of the road edge with respect to the own vehicle corresponds to the distance information from the own vehicle to the road edge.
- the width per lane is regulated by law, etc., so if the distance from the road edge is known, it is possible to estimate which lane the vehicle is located in.
- the width of the roadside zone as an area other than the lane can be estimated. That is, according to the above configuration, it is possible to specify the traveling lane of the own vehicle in consideration of the width of the roadside zone.
- the traveling lane when specifying the traveling lane, the line type of the lane boundary line and the trajectory information of the surrounding vehicles are not required. That is, even on a multi-lane road having four or more lanes, the traveling lane can be specified even if there are no peripheral vehicles.
- the traveling position estimation method for achieving the above object is a traveling position estimation method for specifying a lane in which the own vehicle is traveling, which is executed by at least one processor, and is a predetermined range around the own vehicle.
- the position information of the road edge with respect to the own vehicle is obtained by using at least one of an image pickup device that captures an image and a distance measuring sensor that detects an object existing in a predetermined direction of the own vehicle by transmitting an exploration wave or a laser beam.
- the traveling lane can be specified even if there are no surrounding vehicles by the same operation as the own vehicle position estimation device.
- FIG. 1 is a diagram showing an example of a schematic configuration of a driving support system 1 to which the position estimator of the present disclosure is applied.
- the driving support system 1 includes a front camera 11, an inertia sensor 12, a GNSS receiver 13, a V2X on-board unit 14, a map storage unit 15, an HMI system 16, a position estimator 20, a driving support ECU 30, and an operation.
- a recording device 50 is provided.
- the ECU in the member name is an abbreviation for Electronic Control Unit and means an electronic control unit.
- HMI is an abbreviation for Human Machine Interface.
- V2X is an abbreviation for Vehicle to X (Everything) and refers to communication technology that connects various things to a car.
- the various devices or sensors constituting the driving support system 1 are connected as nodes to the in-vehicle network Nw, which is a communication network constructed in the vehicle.
- the nodes connected to the in-vehicle network Nw can communicate with each other.
- the specific devices may be configured to be able to communicate directly with each other without going through the in-vehicle network Nw.
- the position estimator 20 and the operation support ECU 30 may be directly electrically connected by a dedicated line.
- the in-vehicle network Nw is configured as a bus type, but is not limited to this.
- the network topology may be a mesh type, a star type, a ring type, or the like.
- the network shape can be changed as appropriate.
- As the standard of the in-vehicle network Nw various standards such as Controller Area Network (hereinafter, CAN: registered trademark), Ethernet (Ethernet: registered trademark), FlexRay (registered trademark), and the like can be adopted.
- each direction of front / rear, left / right, and up / down is defined with reference to the own vehicle.
- the front-rear direction corresponds to the longitudinal direction of the own vehicle.
- the left-right direction corresponds to the width direction of the own vehicle.
- the vertical direction corresponds to the vehicle height direction. From another point of view, the vertical direction corresponds to the direction perpendicular to the plane parallel to both the front-back direction and the left-right direction.
- the front camera 11 is a camera that captures an image of the front of the vehicle at a predetermined angle of view.
- the front camera 11 is arranged, for example, on the upper end portion of the windshield on the vehicle interior side, the front grille, the rooftop, and the like.
- the front camera 11 has a camera body 40 that generates an image frame and an ECU that detects a predetermined detection target by performing recognition processing on the image frame (hereinafter, camera ECU 41).
- the camera body 40 has a configuration including at least an image sensor and a lens, and generates and outputs captured image data at a predetermined frame rate (for example, 60 fps).
- the camera ECU 41 is realized by using an image processing chip including a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like.
- the camera ECU 41 includes a classifier G1 as a functional block.
- the classifier G1 is configured to identify the type of an object based on the feature amount vector of the image generated by the camera body 40.
- a CNN Convolutional Neural Network
- DNN Deep Neural Network
- the detection target of the front camera 11 includes, for example, a moving object such as a pedestrian or another vehicle.
- Other vehicles include bicycles, motorized bicycles, and motorcycles.
- the front camera 11 is configured to be able to detect a predetermined feature.
- the features to be detected by the front camera 11 include road edges, road markings, and structures installed along the road.
- Road markings refer to paint drawn on the road surface for traffic control and traffic regulation.
- road markings include lane boundaries (so-called lane markers) that indicate lane boundaries, pedestrian crossings, stop lines, diversion zones, safety zones, regulatory arrows, and the like.
- Lane boundaries also include those realized by road studs such as cat's eye and bot's dots.
- the structures installed along the road are, for example, guardrails, curbs, trees, utility poles, road signs, traffic lights, and the like.
- the camera ECU 41 separates and extracts the background and the detection object from the captured image based on the image information including the color, the brightness, the contrast related to the color and the brightness, and the like.
- the camera ECU 41 calculates the relative distance and direction (that is, relative position), movement speed, etc. of the feature such as the lane boundary line and the road edge from the own vehicle from the image using SfM (Structure from Motion) processing and the like.
- the relative position of the feature with respect to the own vehicle may be specified based on the size and the degree of inclination of the feature in the image.
- the camera ECU 41 generates track data indicating the shape such as the curvature and width of the track based on the positions and shapes of the lane boundary line and the road edge.
- the camera ECU 41 calculates the regression equations of the right side road end and the left side road end, using the set of points corresponding to the road ends in the image coordinate system as the population.
- the regression equation is a function corresponding to a straight line or a curve that approximately represents the distribution of a plurality of detection points, and is calculated by, for example, the least squares method.
- the image coordinate system is defined, for example, with the center of the pixel in the upper left corner of the image as the origin, the right direction of the image as the positive direction of the X axis, and the downward direction of the image as the positive direction of the Y axis.
- the center of the pixel can be defined to have an integer value.
- the regression equation at each road end is expressed by a quadratic function with the Y coordinate as a variable, for example.
- the coefficient parameters of the regression equation are sequentially adjusted based on the image recognition result of the road edge.
- the number of dimensions of the regression equation can be changed as appropriate, and the regression equation may be a linear function or a cubic function.
- the camera ECU 41 may also calculate a regression equation for the lane boundary line.
- the straight line or curve on the image coordinate system represented by the regression equation is also referred to as a regression line.
- the regression equations and regression lines described below mainly refer to regression equations and regression lines for road edges.
- the camera ECU 41 calculates the yaw rate (rotational angular velocity) acting on the own vehicle based on SfM.
- the camera ECU 41 sequentially provides the detection result data including the regression equation parameters of the road edge such as the relative position and type of the detected object to the position estimator 20, the driving support ECU 30, and the operation recording device 50 via the in-vehicle network Nw. ..
- the front camera 11 may be configured to provide an image frame as observation data used for object recognition to the driving support ECU 30 or the like via the in-vehicle network Nw.
- the observed data corresponds to the raw data observed by the sensor or the data before the recognition process is executed.
- the object recognition process based on the observation data may be executed by an ECU outside the sensor, such as the driving support ECU 30. Further, the calculation of the relative position such as the lane boundary line may be executed by the position estimator 20.
- a part of the function of the camera ECU 41 (mainly the object recognition function) may be provided in the position estimator 20 or the driving support ECU 30. In that case, the front camera 11 may provide image data as observation data to the position estimator 20 and the driving support ECU 30.
- the inertial sensor 12 is a sensor that detects a predetermined physical state quantity such as acceleration.
- the inertial sensor 12 includes an inertial sensor such as a 3-axis gyro sensor and a 3-axis accelerometer.
- the driving support system 1 may include a magnetic sensor as the inertial sensor 12. Further, the driving support system 1 may include an atmospheric pressure sensor and a temperature sensor as the inertial sensor 12. Atmospheric pressure sensors and temperature sensors can also be used to correct the output values of other sensors.
- the various inertial sensors 12 may be packaged as an inertial measurement unit (IMU).
- IMU inertial measurement unit
- the inertial sensor 12 outputs data indicating the current value (that is, the detection result) of the physical state quantity to be detected to the in-vehicle network Nw.
- the output data of each inertial sensor 12 is acquired by the position estimator 20 or the like via the in-vehicle network Nw.
- the type of sensor used by the driving support system 1 as the inertial sensor 12 may be appropriately designed, and it is not necessary to include all the above-mentioned sensors.
- the GNSS receiver 13 sequentially (for example, every 100 milliseconds) detects the current position of the GNSS receiver 13 by receiving a navigation signal transmitted from a positioning satellite constituting a GNSS (Global Navigation Satellite System). It is a device.
- GNSS Global Navigation Satellite System
- GPS Global Positioning System
- GLONASS GlobalLONASS
- Galileo Galileo
- IRNSS IRNSS
- QZSS Beidou and the like
- the V2X on-board unit 14 is a device for the own vehicle to carry out wireless communication with another device.
- the "V” of V2X refers to a vehicle as its own vehicle, and "X” can refer to various existences other than its own vehicle such as pedestrians, other vehicles, road equipment, networks, and servers.
- the V2X on-board unit 14 includes a wide area communication unit and a narrow area communication unit as communication modules.
- the wide area communication unit is a communication module for carrying out wireless communication conforming to a predetermined wide area wireless communication standard.
- various standards such as LTE (Long Term Evolution), 4G, and 5G can be adopted.
- the wide area communication unit In addition to communication via a wireless base station, the wide area communication unit carries out wireless communication directly with other devices, in other words, without going through a base station, by a method compliant with the wide area wireless communication standard. It may be configured to be possible. That is, the wide area communication unit may be configured to carry out cellular V2X.
- the own vehicle becomes a connected car that can be connected to the Internet by installing the V2X on-board unit 14.
- the position estimator 20 can download the latest high-precision map data from a predetermined server in cooperation with the V2X on-board unit 14 and update the map data stored in the map storage unit 15.
- the narrow-range communication unit included in the V2X on-board unit 14 conforms to the narrow-range communication standard, which is a communication standard in which the communication distance is limited to several hundred meters or less, and other mobile objects and roadside machines existing around the own vehicle. It is a communication module for directly carrying out wireless communication with. Other moving objects are not limited to vehicles, but may include pedestrians, bicycles, and the like.
- the narrow range communication standard any one such as the WAVE (Wireless Access in Vehicular Environment) standard disclosed in IEEE1609 and the DSRC (Dedicated Short Range Communications) standard can be adopted.
- the map storage unit 15 is a non-volatile memory that stores high-precision map data.
- the high-precision map data here corresponds to map data showing the road structure, the position coordinates of the features arranged along the road, and the like with the accuracy that can be used for automatic driving.
- the accuracy that can be used for automatic driving corresponds to, for example, a level in which the error between the actual position on each map element and the position registered on the map is suppressed to 10 cm to 20 cm or less.
- the high-precision map data includes, for example, three-dimensional shape data of a road, lane data, feature data, and the like.
- the three-dimensional shape data of the above road includes node data relating to a point (hereinafter referred to as a node) at which a plurality of roads intersect, merge, or branch, and link data relating to a road connecting the points (hereinafter referred to as a link).
- the link data shows road edge information indicating the position coordinates of the road edge, the width of the road, and the like.
- the link data may also include data indicating the road type, such as whether the road is a motorway or a general road.
- the motorway here refers to a road on which pedestrians and bicycles are prohibited from entering, such as a toll road such as an expressway.
- the link data may include attribute information indicating whether or not the road allows autonomous driving.
- the lane data shows the number of lanes, the installation position information of the lane boundary line for each lane, the traveling direction for each lane, and the branch / confluence point at the lane level.
- the lane data may include, for example, information indicating whether the lane boundary is realized by a solid line, a broken line, or a botts dot pattern.
- the position information of the lane boundary line and the road end (hereinafter, the lane boundary line, etc.) is expressed as a coordinate group (that is, a point cloud) of the point where the lane boundary line is formed.
- the position information such as the lane boundary line may be represented by a polynomial.
- the position information such as the lane boundary line may be a set of line segments represented by a polynomial (that is, a line group).
- the feature data includes the position and type information of the road surface display such as a stop line, and the position, shape, and type information of the landmark.
- Landmarks include three-dimensional structures installed along the road, such as traffic signs, traffic lights, poles, and commercial signs.
- the map storage unit 15 may be configured to temporarily store high-precision map data within a predetermined distance from the own vehicle. Further, the map data held by the map storage unit 15 may be navigation map data, which is map data for navigation. The navigation map data corresponds to the map data whose accuracy is relatively inferior to that of the high-precision map data.
- the HMI system 16 is a system that provides an input interface function that accepts user operations and an output interface function that presents information to the user.
- the HMI system 16 includes a display 161 and an HCU (HMI Control Unit) 162.
- HCU HMI Control Unit
- the display 161 is a device for displaying an image.
- the display 161 is, for example, a so-called center display provided at the uppermost portion of the instrument panel at the center in the vehicle width direction.
- the display 161 is capable of full-color display, and can be realized by using a liquid crystal display, an OLED (Organic Light Emitting Diode) display, a plasma display, or the like.
- the HMI system 16 may be provided as a display 161 with a head-up display that projects a virtual image on a part of the windshield in front of the driver's seat. Further, the display 161 may be a so-called meter display arranged in an area located in front of the driver's seat in the instrument panel.
- the HCU 162 is configured to control the presentation of information to the user in an integrated manner.
- the HCU 162 is realized by using, for example, a processor such as a CPU or GPU, a RAM, a flash memory, or the like.
- the HCU 162 controls the display screen of the display 161 based on the information provided from the driving support ECU 30 and the signal from the input device (not shown).
- the HCU 162 displays a route guidance image on the display 161 based on a request from the navigation device.
- the route guidance image includes, for example, a so-called turn-by-turn image showing a traveling direction / recommended driving lane at an intersection, a branch point, a lane extension point, or the like.
- the position estimator 20 is a device that identifies the current position of the own vehicle.
- the position estimator 20 corresponds to the own vehicle position estimator. The details of the function of the position estimator 20 will be described later separately.
- the position estimator 20 is mainly composed of a computer including a processing unit 21, a RAM 22, a storage 23, a communication interface 24, a bus connecting these, and the like.
- the processing unit 21 is hardware for arithmetic processing combined with the RAM 22.
- the processing unit 21 corresponds to a processor.
- the processing unit 21 is configured to include at least one arithmetic core such as a CPU.
- the processing unit 21 executes various processes by accessing the RAM 22.
- the storage 23 is configured to include a non-volatile storage medium such as a flash memory.
- the storage 23 stores a position estimation program, which is a program executed by the processing unit 21. Executing the position estimation program by the processing unit 21 corresponds to executing the method corresponding to the position estimation program (that is, the traveling position estimation method).
- the communication interface 24 is a circuit for communicating with other devices via the in-vehicle network Nw.
- the communication interface 24 may be realized by using an analog circuit element, an IC, or the like.
- the position estimator 20 sequentially inputs the lane ID (that is, the traveling lane number) of the traveling lane of the own vehicle, the calculation result of the width of the roadside zone, the type of the feature used for determining the own vehicle position, and the like to the in-vehicle network Nw. It may be configured to output.
- the driving support ECU 30 is an ECU that executes a part or all of the driving operation on behalf of the driver's seat occupant by controlling the traveling actuator 18 based on the detection result of the front camera 11 and the estimation result of the position estimator 20. ..
- the driving support ECU 30 may have a function as an automatic driving device for autonomously driving the vehicle.
- the traveling actuator 18 refers to actuators for traveling.
- the traveling actuator 18 includes mechanical elements related to vehicle acceleration, deceleration, and steering.
- the traveling actuator 18 includes, for example, a braking device, an electronic throttle, a steering actuator, and the like.
- the braking device is, for example, a brake actuator.
- the driving support ECU 30 includes an LTC unit H1 that provides a lane trace control (LCC: LaneTraceControl) function as one of the vehicle control functions.
- the LTC function is a function of driving the own vehicle in the own vehicle traveling lane along the own vehicle traveling lane.
- the LTC unit H1 generates a planned traveling line along the own vehicle traveling lane, and controls the steering angle via the steering actuator so as to be along the planned traveling line. For example, the LTC unit H1 causes the own vehicle to travel along the center of the own vehicle lane by generating a steering force in a direction toward the center of the own vehicle traveling lane.
- an operation support ECU 30 is mainly composed of a computer provided with a processing unit, RAM, storage, a communication interface, a bus connecting these, and the like. Illustration of each element is omitted.
- the storage included in the driving support ECU 30 stores a driving support program, which is a program executed by the processing unit. Executing the driving support program by the processing unit corresponds to executing the method corresponding to the driving support program.
- the operation recording device 50 is a device that records data indicating the situation inside the vehicle and the situation outside the vehicle interior when the vehicle is running.
- the situation inside the vehicle when the vehicle is running can include the operating state of the position estimator 20, the operating state of the driving support ECU 30, and the state of the driver's seat occupant.
- the data indicating the operating state of the position estimator 20 includes the recognition status of the road edge, the regression equation representing the road edge, the calculated value of the width of the roadside zone, the type of the feature used to determine the position of the own vehicle, and the like. Is done.
- the data indicating the operating state of the driving support ECU 30 includes the recognition result of the surrounding environment in the driving support ECU 30, the running plan, the calculation result of the target control amount of each running actuator, and the like.
- the data to be recorded is acquired from the ECUs and sensors mounted on the vehicle, such as the position estimator 20, the driving support ECU 30, and the peripheral monitoring sensor including the front camera, via the in-vehicle network Nw and the like.
- the operation recording device 50 stores, for example, data of items set as recording targets in a non-volatile storage medium when a predetermined recording event occurs.
- the data storage destination of the operation recording device 50 may be an external server.
- the position estimator 20 provides a function corresponding to various functional blocks shown in FIG. 3 by executing a position estimation program stored in the storage 23. That is, the position estimator 20 includes a provisional position estimation unit F1, a map acquisition unit F2, a track information acquisition unit F3, a lane identification unit F4, and a detailed position calculation unit F5 as functional blocks.
- the provisional position estimation unit F1 sequentially positions the position of its own vehicle by combining the positioning result of the GNSS receiver 13 and the detection result of the inertial sensor. For example, when the provisional position estimation unit F1 cannot acquire the positioning result by GNSS such as in a tunnel, it performs dead reckoning (Dead Reckoning / autonomous navigation) using the yaw rate and the vehicle speed.
- the yaw rate used for dead reckoning may be one recognized by the camera ECU 41 using SfM technology, or may be one detected by a yaw rate sensor.
- the map acquisition unit F2 reads out map data (map information) in a predetermined range determined based on the current position from the map storage unit 15.
- the current position used for map reference may be the one specified by the provisional position estimation unit F1 or the detailed position calculation unit F5.
- the map data is acquired using the position information.
- the map data is acquired using the position coordinates calculated by the provisional position estimation unit F1.
- the map reference range is determined based on the previous position calculation result stored in the memory.
- the map acquisition unit F2 may be configured to sequentially download high-precision map data around the own vehicle from an external server or the like via the V2X on-board unit 14.
- the map storage unit 15 may be provided outside the vehicle.
- the track information acquisition unit F3 acquires track data from the camera ECU 41 included in the front camera 11. That is, the relative positions of the lane boundary line and the road edge (hereinafter, the lane boundary line, etc.) recognized by the front camera 11 and the regression line parameter of the road edge are acquired.
- the configuration for acquiring the relative position information of the road edge corresponds to the road edge information acquisition unit F31.
- the configuration for acquiring the relative position information of the lane boundary line corresponds to the boundary line information acquisition unit F32.
- the position of the road edge or the like is represented by, for example, the vehicle coordinate system which is the XY coordinate system with the reference point of the own vehicle as the origin.
- the X-axis constituting this vehicle coordinate system is parallel to the left-right direction of the vehicle, and is set so that, for example, the right direction is the positive direction.
- the Y-axis is parallel to the front-rear direction of the vehicle and is set so that the direction toward the front of the vehicle is the positive direction.
- various coordinate systems can be adopted to express the position of the road edge or the like.
- the image recognition software of the camera ECU 41 is configured to express the position of the detected object by using the world coordinate system (WCS) or the program coordinate system (PCS) used in CAD or the like, the road edge or the like.
- the relative position of may also be expressed in WCS or PCS.
- the vehicle coordinate system may also be configured such that the front of the vehicle is in the positive direction of the X-axis and the left side of the vehicle is in the positive direction of the Y-axis.
- the track information acquisition unit F3 may acquire data expressing the position of a road edge or the like in an image coordinate system.
- the track information acquisition unit F3 may convert the relative position coordinates such as the lane boundary line acquired from the camera ECU 41 into the position coordinates in the global coordinate system (hereinafter, also referred to as observation coordinates).
- the observed coordinates such as the lane boundary line can be calculated by combining the current position coordinates of the own vehicle and the relative position information such as the lane boundary line with respect to the own vehicle.
- the position information may be used.
- the position coordinates calculated by the provisional position estimation unit F1 may be used.
- the camera ECU 41 may calculate the observation coordinates such as the lane boundary line using the current position coordinates of the own vehicle.
- the lane boundary line detected by the front camera 11 is also referred to as a detection boundary line.
- the road edge detected by the front camera 11 is also referred to as a detected road edge.
- the lane specifying unit F4 is configured to specify a traveling lane, which is the lane in which the own vehicle is traveling, based on the relative position information of the road edge and the lane boundary line acquired by the driving road information acquisition unit F3.
- the lane specifying unit F4 includes a roadside band width calculation unit F41 that calculates the width of the roadside band provided on the road on which the own vehicle is traveling. Details of the lane specifying unit F4 and the roadside band width calculation unit F41 will be described later.
- the lane specifying portion F4 may be configured to specify a traveling lane or a traveling position by using relative position information of a landmark such as a direction signboard.
- the lane specifying portion F4 corresponds to the traveling lane specifying portion.
- the detailed position calculation unit F5 specifies the detailed position of the own vehicle in the traveling lane based on the specific result of the lane specifying unit F4 and the acquired data of the track information acquisition unit F3. Specifically, the offset amount in the left-right direction from the center of the traveling lane is calculated based on the distance from the left boundary line of the traveling lane and the distance from the right boundary line. Further, by combining the traveling lane information specified by the lane specifying portion F4 and the offset amount from the lane center, the lateral position of the own vehicle on the traveling road is specified. The offset amount from the lane center specified by the detailed position calculation unit F5 is used for, for example, the LTC unit H1.
- the detailed position calculation unit F5 may specify the detailed vehicle position on the map based on the identification result of the lane identification unit F4 and the landmark information detected by the front camera 11. For example, if the distance from the left side road edge to the vehicle center is specified as 1.75 m as a result of image analysis, the own vehicle is located 1.75 m to the right from the coordinates of the left side road end shown on the map. Is determined to exist. In addition, for example, in a situation where the distance to the direction signboard existing in front of the own vehicle is specified as 100 m as a result of image analysis, the position coordinates of the direction signboard registered in the map data are shifted to the front side by 100 m. It is determined that the own vehicle exists at the position.
- the front side here refers to the direction opposite to the traveling direction of the own vehicle. When traveling forward, the front side corresponds to the rear of the vehicle.
- the association between the landmark detected by the front camera 11 and the landmark registered in the map can be performed, for example, by comparing the observed coordinates of the landmark with the coordinate information registered in the map. Is. For example, among the landmarks registered on the map, the landmark closest to the observed coordinates of the landmark is estimated to be the same landmark. When collating landmarks, it is preferable to use features such as shape, size, and color, and to adopt landmarks with a higher degree of matching of features.
- the detailed position calculation unit F5 shifts the observed landmark by the distance of the own vehicle from the position of the landmark on the map in the vertical direction. Is set to the vertical position of the own vehicle on the map.
- the detailed position calculation unit F5 calculates the position of the own vehicle not only in the horizontal direction but also in the vertical direction, the road such as an intersection, a curve entrance / exit, the end of a traffic jam, a road junction, etc.
- the remaining distance to the above feature point (in other words, POI) can be calculated with high accuracy.
- POI the position of the vehicle in the lateral direction
- whether or not the lane change should be made for turning left or right, and when it is necessary to change the lane, by when. Can be specified.
- the process of specifying the current position of the own vehicle on the map using the landmarks and the detected position information of the road edge as described above is also called a localization process.
- the vehicle position as a result of the localization process may be represented by a coordinate system (for example, latitude, longitude, altitude) similar to the map data.
- the vehicle position information can be expressed in any absolute coordinate system such as WGS84 (World Geodetic System 1984).
- the lane identification process executed by the position estimator 20 (mainly the lane identification unit F4) will be described using the flowchart shown in FIG.
- the flowchart shown in FIG. 4 is executed at a predetermined cycle (for example, every 100 milliseconds) while the traveling power of the vehicle is turned on.
- the traveling power source is, for example, an ignition power source in an engine vehicle.
- the system main relay corresponds to a driving power source.
- the lane specifying process includes steps S0 to S10. Steps S1 to S10 are executed by the lane specifying unit F4.
- the series of processing flows are repeatedly executed, and if the processing is successful, the vehicle position information calculated in this processing is stored in the memory.
- step S0 is a process in which the map acquisition unit F2 acquires map data of the travel route.
- the process of acquiring the map data of the travel path by the map acquisition unit F2 may be executed independently of this flow as a preliminary preparatory process.
- Step S0 corresponds to the map acquisition step.
- step S1 the lateral positions (X coordinates) of various features such as the road edge and the lane boundary line at the determination point located in front of the own vehicle by a predetermined distance are calculated.
- Step S1 corresponds to the position acquisition step.
- the determination point can be, for example, a point 10.0 m ahead of the own vehicle.
- the determination point may be a point 5.0 m away or a point 8.5 m away.
- the determination point can be a predetermined point included in the imaging range of the front camera 11.
- the determination point is a linear concept including a point located in front of the own vehicle by a predetermined distance and points existing on the left and right of the point.
- the determination point can be read as a determination line.
- the lateral position of the road edge at the determination point is calculated, for example, based on the regression line parameter of the road edge.
- the positions of various features are expressed, for example, in the vehicle coordinate system based on the own vehicle. Further, the lane boundary line and the lateral position of the road edge (X coordinate in this case) at the determination point are corrected to the lateral position along the curve shape as shown in FIG. 5 by using the vehicle speed and the yaw rate of the own vehicle. Used. Specifically, the time required for the own vehicle to actually reach the determination point t is calculated using the vehicle speed and the yaw rate of the own vehicle. Then, the displacement amount ⁇ X in the lateral direction (that is, the X-axis direction) when the own vehicle reaches the determination point is calculated from the time required to reach the determination point, the yaw rate, and the vehicle speed.
- the time required to reach the judgment point is t
- the distance to the judgment point is D
- the yaw rate is ⁇
- the vehicle speed is v
- the required time t is determined by solving the equation.
- the lane specifying portion F4 corrects the lateral position coordinates along the curve shape by subtracting ⁇ X from the lateral position of the road edge currently detected by the front camera 11.
- P1 and P2 in FIG. 5 represent the position coordinates of the lane boundary lines existing on the left and right sides of the own vehicle before the correction at the determination point, and P1a and P2a represent the positions after the correction. According to the configuration in which the position of the lane boundary line and the road edge at the determination point is corrected by using the yaw rate in this way, the influence of the curvature of the road can be suppressed.
- step S1 is completed, step S2 is executed.
- step S2 the road edge inclination determination process is executed.
- the road end inclination determination process is a process for preventing the information about the road end, which may have misrecognized the position, from being used in the subsequent processing based on the inclination of the return line of the road end.
- the road edge inclination determination process will be described separately.
- step S2 road edge information having a certain degree of validity is obtained, excluding the road edge that is likely to misrecognize the position.
- step S3 is executed.
- Step S2 is not an essential element and can be omitted as appropriate. However, by executing step S2, it is possible to reduce the possibility that the width of the roadside zone is erroneously calculated or the traveling lane is erroneously calculated.
- step S3 the lane validity determination process is executed.
- the lane validity determination process is a process of checking whether the detected lane boundary line has a certain validity as a lane boundary line constituting the lane. In other words, it corresponds to a process for removing information about a lane boundary line that may be falsely detected. From the viewpoint of checking the validity of the detection result of the lane boundary line, for example, whether the horizontal position of the detected lane boundary line is outside the road edge position or the distance between the lane boundary lines is the lane width. Isn't the value too small to be possible? Details of the lane validation process will be described later.
- step S3 boundary line information having a certain degree of validity is obtained, excluding the lane boundary line having a high possibility of false detection.
- step S4 the roadside band width calculation unit F41 executes the roadside band width calculation process.
- the process is configured to calculate the width of the roadside zone at the determination point.
- the roadside zone here refers to an area other than the lane on the road.
- the roadside zone here also includes the shoulder.
- the roadside zone can include an area sandwiched between the outside line of the road and the road edge.
- the outside line of the roadway refers to a lane marking line drawn near the roadside of the roadway.
- the roadside zone can include a zebra zone (in other words, a diversion zone) adjacent to the road edge.
- the zebra zone refers to the road surface area where the striped pattern is drawn.
- step S5 the roadside validity determination process is executed.
- the road edge validity determination process is a process for verifying whether or not the lateral position coordinates of the road edge calculated in step S1 have validity. For example, when the lateral position of the road edge calculated in step S1 is within the lane detection range which is the area where the existence of the lane is confirmed by the front camera 11, the lateral position of the road edge is set. It is determined that the error is made, and the miscalculated lateral position information of the road end is discarded. Details of the roadside validity determination process will be described later.
- the determination content of step S5 may be included in the lane validity determination process of step S3. Step S5 is not an essential element.
- step S6 the map consistency determination process is executed.
- the map consistency determination process is a process for determining the consistency between the road information obtained by the above process and the road information registered in the map. The details of the map consistency determination process will be described later.
- Step S6 is also not an essential configuration but an optional configuration. However, by executing step S6, the possibility of erroneously identifying the traveling lane can be reduced.
- step S7 is executed.
- step S7 the width of the traveling lane is calculated. For example, the distance from the nearest lane boundary line on the right side of the vehicle to the nearest lane boundary line on the left side of the own vehicle is calculated as the traveling lane width. When three or more lane boundary lines can be detected, the average value of the intervals between the lane boundary lines may be calculated as the lane width.
- step S7 the width of another lane, that is, the lane in which the own vehicle is not traveling may also be calculated in step S7. The width of the lane in which the own vehicle is traveling may be regarded as the width of another lane.
- step S8 the individual lane position specifying process is executed.
- the individual lane position specifying process is a process of calculating the existence range of each lane.
- the individual lane position identification process also includes a process of discarding a lane existing at an invalid position. The details of step S8 will be described later.
- step S9 is executed.
- the position of each lane is determined based on the width of the roadside zone. Specifically, how far the first lane and the second lane are from the road edge is determined in consideration of the width of the roadside zone.
- the traveling lane can be represented by a lane ID indicating the number of the lane from the left side road end.
- Step S9 corresponds to a traveling lane specifying step. When step S9 is completed, step S10 is executed.
- step S10 information such as the traveling lane and the roadside band width specified above is output to the outside.
- the output destination include a driving support ECU 30, an operation recording device 50, a navigation device, a map generation server provided outside the vehicle, and the like.
- the driving support ECU 30, the operation recording device 50, the navigation device, the map generation server, and the like correspond to the external devices.
- Step S2 Road edge inclination determination process>
- the return line of the road end usually has a negative inclination at the left side road end and a positive inclination at the right side road end in the image.
- the edge of the other vehicle is mistakenly recognized as a part of the road edge, and the return line of the road edge is recognized. Is far from the actual road edge.
- the return line at the road edge deviates significantly, the difference between the recognized position of the road edge at the determination point and the actual position becomes large, which causes an erroneous determination of the traveling lane.
- FIG. 6 conceptually shows the lane boundary line
- the alternate long and short dash line indicates the return line at the left side road end
- the two-dot chain line indicates the return line at the right side road end.
- the components of FIG. 7 are the same as those of FIG. 6, but the relatively thin alternate long and short dash line indicates the true left-hand side road end, and the relatively thick alternate-dashed line represents the regression line of the left side road edge calculated by the camera ECU 41. ing.
- This process was introduced by paying attention to the above-mentioned problems and properties, and is configured to discard the recognition result of the road end whose inclination at the judgment point deviates from the normal range.
- the road end inclination determination process will be described with reference to FIG.
- the flow as the road end inclination determination process shown in FIG. 8 is executed as step S2 in FIG.
- the road end inclination determination process of the present embodiment includes steps S201 to S205 as an example.
- the positive / negative of the tilt can differ depending on how the image coordinate system is defined.
- the normal range of the inclination of each road edge also changes depending on how the image coordinate system is defined.
- a case where the upper left of the image frame is the origin, the right side is the positive direction of the X axis, and the lower direction is the positive direction of the Y axis will be described.
- step S201 the return line parameters of the left and right road edges are acquired, and the process proceeds to step S202.
- step S202 the inclination in the image of each of the left and right road edges at the determination point is calculated.
- the slope of the road edge is calculated, for example, by substituting the Y coordinate value at the determination point into the function formula obtained by differentiating the regression line to the first order.
- Step S203 is executed after calculating the inclination in the image at the determination point, in other words, the inclination in the image coordinate system for the left and right road edges.
- step S203 it is determined whether or not the inclination of the road end at the determination point in the image coordinate system is within a predetermined normal range.
- the process is executed for each of the left side road end and the right side road end. That is, it is determined whether or not the inclination of the left road end at the determination point in the image coordinate system is within a predetermined normal range for the left road end. Further, it is determined whether or not the inclination in the image of the right road end is within a predetermined normal range for the right road end.
- the normal range for the left road edge can be, for example, a value greater than 0. Further, the normal range for the right side road end can be a value smaller than 0.
- the normal range of inclination in the image of each road edge may be dynamically adjusted in consideration of the curvature of the road registered in the map data.
- the recognition position of the road edge is adopted as the actual position of the road edge.
- the recognition position data of the road edge is discarded. That is, the road end information in which the slope of the regression line at the determination point is out of the normal range is not used in the subsequent processing. As a result, it is possible to reduce the possibility of erroneously recognizing the traveling lane due to erroneous recognition of the road edge.
- Step S3 Lane validation process>
- the lane validity determination process for explaining the lane validity determination process with reference to FIG. 9 is executed as step S3 in FIG.
- the lane validity determination process includes steps S301 to S311 as an example.
- step S301 the number of detected boundary lines, which is the number of lane boundary lines detected by the front camera 11, is acquired, and the process proceeds to step S302.
- step S302 the number of lane candidates Cn is calculated based on the number of detection boundary lines acquired in step S301.
- the number of lane candidates Cn corresponds to the number of lane candidates that are regions sandwiched between detection boundaries adjacent to each other.
- the number of lane candidates Cn is a value obtained by subtracting 1 from the number of detection boundary lines. For example, when six lane boundary lines are detected as shown in FIG. 10, the number of lane candidates Cn is 5.
- B1 to “B6" shown in FIG. 10 indicate the detected lane boundary line.
- EgL represents the left side road end
- EgR represents the right side road end.
- Hv represents the own vehicle.
- the i-th lane candidate from the left will be referred to as the i-lane candidate.
- the own vehicle is located in the third lane candidate.
- the lane candidates and the lane boundary line numbers are assigned from the left side.
- numbers for identifying a plurality of lane candidates and lane boundaries may be assigned from the right.
- step S303 is executed.
- the processing variable k is initialized (specifically, set to 1) and the process proceeds to step S304.
- step S304 the k-th lane candidate is set as a target for subsequent processing, and the process proceeds to step S305.
- step S305 it is determined whether or not the width WLC of the k-th lane candidate is smaller than the minimum lane width LWmin. If the width WLC of the k-th lane candidate is smaller than the minimum lane width LWmin, the process proceeds to step S306. On the other hand, if the width WLC of the k-th lane candidate is equal to or larger than the minimum lane width LWmin, the process proceeds to step S307.
- the fact that the width WLC of the k-th lane candidate is smaller than the minimum lane width LWmin means that the k-lane candidate is not actually a lane but a roadside zone, and / or the outer lane constituting the k-lane candidate. The boundary line means that it was falsely detected. Further, the fact that the width WLC of the k-th lane candidate is equal to or larger than the minimum lane width LWmin means that the k-lane candidate may be a true lane.
- the minimum lane width LWmin is the minimum value in the range that can be the width of the lane.
- the minimum lane width LWmin is set based on the regulations of the area where the own vehicle is used. For example, the minimum lane width LWmin is set to 2.5 m. Of course, the minimum lane width LWmin may be 2.2 m, 2.75 m, 3.0 m, 3.5 m, or the like.
- the minimum lane width LWmin used in this process is set to a value that is a predetermined amount (for example, 0.25 m) smaller than the minimum value of the actual lane width specified by the law or the like. It is preferable to have.
- the set value of the minimum lane width LWmin may be changed according to the type of road on which the own vehicle is traveling. For example, the minimum lane width LWmin when the own vehicle is traveling on a highway may be set larger than the minimum lane width LWmin when the own vehicle is traveling on a general road. According to such a configuration, since the set value according to the road type is applied as the minimum lane width LWmin, it is possible to suppress erroneous determination of the validity of the detection result of the lane boundary line.
- step S306 of the two lane boundary lines constituting the k-th lane candidate the lane boundary line existing outside the own vehicle is considered to be erroneously detected. Further, the inner lane boundary line constituting the k-th lane candidate is set at the end of the lane detection range. This corresponds to determining that the lane detection range extends up to the inner lane boundary line constituting the k-th lane candidate.
- the lane boundary line B6 existing outside the own vehicle among the lane boundary lines B5 and B6 constituting the fifth lane candidate is used. Discard and set the lane boundary line B5 at the end of the lane detection range.
- the right end of the lane detection range corresponds to the outermost detection line on the right side, which is located on the rightmost side of the lane boundary line detected by the front camera 11 and is an effective lane boundary line.
- a valid lane boundary line is a lane boundary line that is judged to have a low possibility of false detection in consideration of the distance from the adjacent lane boundary line and the positional relationship with the road edge, and will be used in the subsequent processing. .. Further, the left end portion of the lane detection range is located on the leftmost side of the lane boundary line detected by the front camera 11, and corresponds to the leftmost outermost detection line which is an effective lane boundary line.
- step S307 of the lane boundary lines constituting the k-th lane candidate, the left side boundary line, which is the lane boundary line located on the left side, is located outside (here, the left side) from the left side road end when viewed from the own vehicle. Judge whether or not. If the left boundary line is located outside the left road edge, step S308 is executed. On the other hand, if the left boundary line is not located outside the left road edge, step S309 is executed.
- step S308 among the lane boundary lines constituting the k-th lane candidate, the right side boundary line, which is the lane boundary line located on the right side, is set at the left end of the lane detection range.
- the detection result for the lane boundary line B1 is discarded.
- the lane boundary line B2 is set at the left end of the lane detection range. This process corresponds to a process in which the detection of the left boundary line of the k-lane candidate is regarded as an error.
- step S309 it is determined whether or not the right boundary line of the k-lane candidate is located outside (here, the right side) of the right side road edge when viewed from the own vehicle. If the right boundary line is located outside the right road edge, step S310 is executed. On the other hand, if the right boundary line is not located outside the right road edge, step S311 is executed. In step S310, the left boundary line of the k-th lane candidate is set at the right end of the lane detection range. This process corresponds to a process in which the detection of the right boundary line of the k-lane candidate is regarded as an error.
- steps S307 to S310 By executing steps S307 to S310, the data of the lane boundary line located outside the road edge will not be used in the subsequent processing.
- the lane boundary line detected outside the road edge has a relatively high possibility of false detection. That is, by executing steps S307 to S310, it is possible to reduce the possibility that the lane boundary line information having a high possibility of erroneous detection will be used for the subsequent processing (that is, lane identification).
- step S311 the value of the variable k is added by one, that is, incremented, and the process proceeds to step S312.
- step S312 it is determined whether or not the variable k is equal to or less than the number of lane candidates Cn. If the relationship of k ⁇ Cn is satisfied, step S304 is executed. On the other hand, when the relationship of k> Cn is satisfied, this flow is terminated and step S4 shown in FIG. 4 is executed.
- Step S312 corresponds to a process of determining whether or not an unprocessed lane candidate remains among all the lane candidates. In other words, it corresponds to the process of determining whether or not the processes of steps S304 to S310 have been executed for all the lane candidates. In the present embodiment, the embodiment in which the variable k is incremented from 1 to the number of lane candidates Cn is disclosed, but the present invention is not limited to this. The variable k may be decremented from the number of lane candidates Cn to 1.
- the detection result as shown in FIG. 10 is corrected to the recognition content shown in FIG. That is, the information of the lane boundary line B1 located on the left side of the left side road end and the lane boundary line B6 whose distance from the adjacent lane boundary line is less than the minimum lane width LWmin is discarded / not used.
- Step S4 Roadside band width calculation process>
- the roadside band width calculation process shown in FIG. 12 is executed, for example, as step S4 of FIG.
- the roadside band width calculation process includes steps S401 to S404. Steps S401 to S404 are performed individually for both the right and left ends of the lane detection range. For convenience, each step will be described by taking the case where the right end of the lane detection range is the processing target, but the same applies to the left end of the lane detection range.
- step S401 it is determined whether or not the separation between the right end of the lane detection range and the right road end is smaller than the minimum lane width LWmin.
- This process corresponds to a process of determining whether or not the road end is located outside the minimum lane width or more from the lane detection range. If the distance between the right end of the lane detection range and the right road end is smaller than the minimum lane width LWmin, step S403 is executed.
- the fact that the distance between the lane detection range and the road edge is less than the minimum lane width LWmin means that the area from the end of the lane detection range to the road edge is not a lane, that is, it is a roadside zone. do.
- step S402 is executed.
- step S402 it is determined whether or not it is clear that there is no undetected lane boundary line on the right side of the lane detection range. For example, when the road edge is reflected in the lane detection range of the front camera 11, or when the road surface from the lane detection range to the road edge is imaged, step S402 is positively determined and the process proceeds to step S403.
- the lane detectable range of the front camera 11 is defined as the specifications of the front camera 11, for example, a horizontal angle range corresponding to three lanes.
- step S402 is negatively determined and the process proceeds to step S404.
- step S404 When it is not clear that there is no undetected lane boundary line on the right side of the lane detection range, for example, when the road edge is located one or more lanes outside the lane detection range of the front camera 11. Is included. Also, if part or all of the road surface from the lane detection range to the road edge cannot be imaged due to the presence of another vehicle on the right side of the lane detection range, the undetected lane boundary line is also on the right side of the lane detection range. May be included if it is not clear that there is no.
- step S402 is negatively determined and step S404 is executed. If there is a possibility that there is an undetected lane boundary line on the right side of the lane detection range, the detection reliability of the lane boundary line that defines the right end of the lane detection range is low, or the road edge itself is detected. It also includes cases where the reliability is low.
- step S403 the distance from the right end of the lane detection range to the right road end is calculated as the roadside band width provided on the right side of the road.
- This process corresponds to a process of determining that the area from the end of the lane detection range to the end of the road is not a lane, that is, a roadside zone.
- the roadside band width provided on the right side of the road is set to a predetermined value (for example, 2.5 m), and this flow ends.
- the lane identification process may be interrupted on the assumption that the roadside band width is unknown. When the lane identification process is interrupted, it may be determined that the traveling lane is unknown.
- the width of the roadside zone arranged on the left side of the road is also calculated.
- the roadside band width calculated by this flow is verified in step S6 described later. Therefore, the roadside band width calculated by this flow corresponds to the width of the roadside band-like region, that is, the roadside band candidate width.
- the actual value is set as the width of the roadside zone as compared with the configuration in which the size of the roadside zone is a fixed value. It will be possible. In the configuration where the size of the roadside band is a fixed value, if there is a wide roadside band such as an evacuation section, the difference between the fixed value roadside band width and the actual roadside band width will be large, and there is a risk of making a mistake in the driving lane. There is. On the other hand, according to the above configuration, it is possible to reduce the risk of erroneous traveling lanes due to the discrepancy between the system usage value of the roadside band width and the actual value.
- the detected road edge information is used as the lane.
- the configuration used specifically when it is clear that there is no lane boundary line between the outermost detection line and the road end, it corresponds to a configuration in which the detected road end information is used for lane identification.
- the outermost detection line is a concept applied individually to the left side and the right side of the vehicle.
- the above processing corresponds to a processing in which the region from the outermost detection line to the road end is regarded as a roadside zone based on the fact that the separation between the outermost detection line and the road end is less than a predetermined minimum lane width. ..
- Step S5 Roadside validation process>
- the roadside validity determination process will be described with reference to FIG.
- This process is a process for verifying whether or not the lateral position of the road edge determined by the return line of the road edge is invalid.
- the road edge is, of course, not within the lane, i.e. within the lane detection range.
- This process was created by paying attention to such a positional relationship, and includes steps S501 to S506 as an example.
- the flow shown in FIG. 13 as the roadside validity determination process is executed as step S5 of the lane identification process shown in FIG.
- step S501 it is determined whether or not the position of the left road end at the determination point determined by the regression equation exists on the left side of the lane detection range calculated in step S3. For example, it is determined whether or not the lateral position of the left road end determined based on the regression equation is on the left side of the lateral position of the left end of the lane detection range. When the horizontal position of the left road end is on the right side of the horizontal position of the left end of the lane detection range, the calculated position of the left road end determined by the regression equation is within the lane detection range. Means.
- step S501 is affirmed and step S502 is executed.
- step S501 is negatively determined and step S503 is executed.
- step S502 the estimated position of the left road end determined by the regression equation is adopted as the lateral position of the left road end, and the process proceeds to step S504.
- step S503 the estimated position of the left road end determined by the regression equation is discarded and the process proceeds to step S504. This process corresponds to the process of determining that the calculated position of the left road end is incorrect.
- step S503 is executed, the position of the left side road end is processed as unknown.
- step S504 it is determined whether or not the estimated position of the right road end determined by the regression equation exists on the right side of the lane detection range calculated in step S3. For example, it is determined whether or not the lateral position of the right road end determined by the regression equation is on the right side of the lateral position of the right end of the lane detection range. When the lateral position of the right road edge is to the left of the lateral position of the right edge of the lane detection range, the estimated position of the right road edge determined by the regression equation is within the lane detection range. Means.
- step S504 is affirmed and step S505 is executed.
- step S504 is negatively determined and step S506 is executed.
- step S505 the estimated position of the right road end determined by the regression equation is adopted as the lateral position of the right road end, and this flow ends.
- step S506 the estimated position of the right road end determined by the regression equation is discarded, and this flow ends. This process corresponds to the process of determining that the calculated position of the right road end is incorrect. In the case of step S506, the position of the right road end is processed as unknown.
- Step S6 Map consistency determination process>
- the map consistency judgment process determines whether or not the roadside band width, lane detection range, road end position, etc. calculated in the previous processes are appropriate in comparison with the data registered in the map. It is a process.
- the map consistency determination process includes steps S601 to S606. The flow shown in FIG. 14 as the map consistency determination process is executed as step S6 of the lane identification process shown in FIG.
- step S601 it is determined whether or not the lateral positions of the left and right road edges at the determination point can be acquired. For example, when the position information of at least one of the left and right road ends is discarded in step S205 of the road end inclination determination process, step S503, step S506 of the road end validity determination process, and the like, step S. S601 is negatively determined. If the lateral positions of the left and right road edges at the determination points can be acquired, step S601 is determined affirmatively and step S602 is executed. On the other hand, if the acquisition of the lateral position at the determination point fails at either of the left and right road ends, step S601 is negatively determined and step S606 is executed.
- step S602 the difference between the positions of the left and right road ends is calculated as the road width RW, and the process proceeds to step S603.
- step S603 the estimated number of lanes Nf, which is an estimated value of the number of lanes, is calculated by dividing the value obtained by subtracting the calculated value RsW of the roadside band width from the road width RW calculated in the previous step S602 by the standard lane width LWstd. do. That is, the estimated number of lanes Nf is calculated by (RW-RsW) / LWstd.
- the estimated number of lanes Nf is a real number and includes a value after the decimal point.
- the estimated number of lanes Nf can be expressed by, for example, a floating point type.
- the standard lane width LWstd is set to the standard value of the lane width based on the regulations of the area where the own vehicle is used.
- the standard lane width LWstd is set to 3.0 m.
- the minimum lane width LWmin may be 2.5 m, 2.75 m, 3.5 m, or the like.
- the set value of the standard lane width LWstd may be changed according to the type of road on which the own vehicle is traveling. For example, the standard lane width LWstd when the own vehicle is traveling on a highway may be set larger than the standard lane width LWstd when the own vehicle is traveling on a general road.
- step S604 is executed.
- step S604 it is determined whether or not the absolute value of the difference between the number of map lanes Nm, which is the number of lanes registered in the map data, and the estimated number of lanes Nf is equal to or less than a predetermined threshold value.
- the threshold value used here corresponds to the upper limit of the allowable range of error. If the various recognition results are completely valid, the difference in the number of lanes, which is the difference between the number of map lanes Nm and the estimated number of lanes Nf, is 0. However, since the estimated number of lanes Nf has a decimal component, the difference in the number of lanes is 0.1 or 0.3 even when the front camera 11 can correctly detect the road edge and various lane boundaries. Can take a value.
- the threshold value for the absolute value of the difference in the number of lanes is set depending on how much error is allowed, and is set to 0.5, for example.
- the threshold value for the difference in the number of lanes may be 0.3 or 1. If the difference in the number of lanes exceeds 1, it means that there is a recognition error of one lane or more in the road width or the roadside band width. Therefore, it is preferable that the threshold value for the difference in the number of lanes is set to less than 1.
- step S604 If the absolute value of the difference in the number of lanes is less than a predetermined threshold value, step S604 is affirmed and step S605 is executed. On the other hand, when the absolute value of the difference in the number of lanes is equal to or greater than a predetermined threshold value, step S604 is negatively determined and step S606 is executed.
- the fact that the absolute value of the difference in the number of lanes is equal to or greater than a predetermined threshold means that the content registered in the map and the content recognized by the position estimator 20 have a large discrepancy (that is, they do not match).
- the content recognized by the position estimator 20 here may be, for example, at least one of the road width and the roadside band width.
- step S605 it is determined that the content registered in the map and the content recognized by the position estimator 20 match, and this flow ends.
- step S606 it is assumed that somewhere in the acquired data regarding the road structure (for example, the calculated value of the roadside band width) is invalid, and the lane identification process is interrupted. When the lane identification process is interrupted, it may be determined that the traveling lane is unknown.
- step S606 as another aspect, the roadside band width may be reset to a predetermined value and the subsequent processing may be continued.
- the calculated value of the roadside band width and the calculated value of the road end position are correct. For example, if the lane boundary line adjacent to the road edge cannot be detected, the area corresponding to the lane is treated as a roadside zone, and the width of the roadside zone may be greatly mistaken. For such a problem, if the calculated value of the roadside band width is too large with respect to the actual roadside band width, the difference in the number of lanes calculated by the above processing becomes a value of 1 or more, for example, 1.5. , Error handling. That is, according to the above processing, it is possible to detect an abnormality in the calculated value of the roadside band width and perform error processing.
- step S606 the value obtained by multiplying the number of map lanes Nm by the standard lane width LWstd is calculated as the map-based traveling area width, and the value obtained by subtracting the map-based traveling area width from the road width RW is adopted as the roadside band width RsW. May be.
- the embodiment in which the difference between the number of map lanes and the estimated number of lanes is used as a judgment index of the consistency between the map related to the road structure such as the width of the roadside zone and the recognition / calculation content by the position estimator 20 is disclosed.
- the difference between the recognition-based travel area width obtained by subtracting the roadside band width RsW from the road width RW based on the recognition result and the map-based travel area width determined based on the data registered in the map is adopted as a judgment index. May be.
- the traveling area here refers to the entire range where lanes are formed on the road. In other words, the traveling area corresponds to the part of the road excluding the roadside zone and the sidewalk.
- the lane specifying unit F4 calculates the map-based roadside band width as a value obtained by subtracting the map-based traveling area width from the road width RW calculated using the road width or the regression line registered in the map. Then, the difference between the roadside band width RsW calculated in the above process and the map-based roadside band width may be adopted as a determination index.
- the difference between the road width calculated in step S602 and the road width registered in the map may be adopted as a determination index. In that case, although the validity of the calculated value of the roadside band width cannot be evaluated, it is possible to judge whether or not the calculation result of the road end position is valid.
- Step S8 Individual lane position identification process>
- the individual lane position specifying process is a process of calculating the lateral position range of each detected lane.
- the individual lane position specifying process includes steps S801 to S803.
- the flow shown in FIG. 15 as the individual lane position specifying process is executed as step S8 of the lane specifying process shown in FIG.
- step S801 the value obtained by multiplying the lane width by the number of lanes and adding the calculated value RsW of the roadside band width is calculated as the road width.
- the upper limit value and the lower limit value of the horizontal position range (in other words, the range of the X coordinate) in which the lane boundary line can exist are determined by using the road width with the road edge on the left or right side as a reference. For example, if the road width is calculated to be 15 m and the X coordinate of the reference left road end is a value equivalent to 5 m on the left side of the vehicle, the 5.0 m point on the left side of the vehicle (X: -5.0). Is set to the lower limit of the horizontal position of the lane boundary line. Then, the X coordinate (X: + 1.00) corresponding to 10 m on the right side of the vehicle is set as the upper limit value of the horizontal position of the lane boundary line.
- the reference road end may be the road end whose horizontal position can be calculated. For example, if the lateral position of the right road edge is calculated successfully, but the lateral position of the left road edge is unknown, the upper and lower limits of the lateral position of the lane boundary line are set with reference to the right road edge. Set. When the lateral position of the road end is unknown, in addition to the case where the road end is simply not recognized, the case where the road end information is discarded by, for example, the road end validity determination process in step S4 is included. If the lateral positions of both the left and right road ends can be obtained, the road end closer to the own vehicle may be used as a reference. This is because it can be expected that the road edge closer to the own vehicle has higher position estimation accuracy than the road edge far away.
- the lane width used in this step S801 can be, for example, the traveling lane width calculated in step S7. Further, as the number of lanes, the number of lanes registered in the map can be used.
- the process in step S801 is completed, the process proceeds to step S802.
- step S802 a set of detection boundary lines adjacent to each other is set as a lane candidate, and the process proceeds to step S803.
- step S803 lane candidates whose horizontal positions (that is, X coordinates) of the left and right detection boundary lines are both within the horizontal position range in which the lane boundary line set in step S801 can exist are specified as lanes.
- the position coordinates of the right-hand boundary line and the left-hand boundary line constituting the specified lane are determined.
- the position of the lane boundary line detected by the front camera 11 can be specified, and the lane in which the own vehicle is traveling from the right / left can be specified. That is, the lane ID of the traveling lane can be specified.
- the traveling lane is specified based on the distance from the road edge in consideration of the width of the actual roadside zone. At that time, it is not necessary to use the traveling locus of surrounding vehicles. Therefore, the traveling lane can be specified even if there are no peripheral vehicles.
- the roadside band width is calculated based on the recognition result of the road end and the lane boundary line, and the traveling lane is determined using the calculated value of the roadside band width.
- a configuration that specifies a traveling lane using a fixed roadside band width that is appropriately designed can be considered.
- the roadside band width varies from place to place. For example, in a configuration in which the roadside band width is set to a relatively small value such as 0.5 m, the difference between the design value and the actual value of the roadside band width in a road section having a wide roadside band such as an evacuation section.
- the traveling lane may be erroneous.
- the roadside zone width is set to a relatively large value such as 2.2 m
- the traveling lane may be erroneous due to the deviation between the actual roadside band width and the design value of the roadside band width.
- the distance between the lateral position (lane detection area) where the lane exists and the road edge is calculated and used as the width of the roadside zone.
- the roadside band width used for specifying the traveling lane a value close to the actual roadside band width can be dynamically applied. Therefore, the traveling lane of the own vehicle can be specified more accurately than the comparative configuration.
- the road edge does not blur like the white line. Furthermore, roadsides often have a three-dimensional structure. Therefore, the road edge is more likely to be detected than the lane boundary line even when snow is accumulated or a puddle occurs. Therefore, the above-mentioned proposed configuration in which the traveling lane is specified with the road edge as a reference has an advantage that the robustness can be enhanced as compared with the configuration in which the traveling lane is specified by using the line type of the lane boundary line.
- the roadside zone threshold is the maximum possible width of the roadside band.
- the threshold value for roadside belts can be set to 2.5 m.
- the roadside band width threshold value may be set to 0.75 m, 1.5 m, or the like.
- the roadside zone threshold is preferably set in accordance with the local regulations in which the position estimator 20 is used. Further, the threshold value for the roadside zone may be changed according to the type of the road on which the own vehicle is traveling. While a relatively large value such as 2.0 m is applied on a highway, it may be set to 0.75 m or 0.8 m on a general road.
- the roadside band width calculated by the position estimator 20 may be uploaded to the map generation server 6 that generates and updates the road map based on the probe data from a plurality of vehicles.
- the V2X on-board unit 14 may be configured to wirelessly transmit the roadside band width data specified by the position estimator 20 to the map generation server 6 together with the position coordinates of the determination points.
- the map generation server 6 can create a high-precision map including the roadside band width information based on the roadside band width information uploaded from a plurality of vehicles.
- a part of the configuration of the driving support system 1 such as the front camera 11 is not shown.
- the position estimator 20 may be configured to upload the calculated position coordinates of the road edge, the position coordinates of the lane boundary line, and the like to the map generation server 6 in cooperation with the V2X on-board unit 14.
- the roadside band width calculated by the position estimator 20 may be used by the driving support ECU 30 as follows. That is, when the driving support ECU 30 implements, for example, MRM (Minimum Risk Maneuver), is there a roadside band as a place where the vehicle can safely stop in front of the vehicle using the roadside band width information acquired from the position estimator 20? You may decide whether or not.
- the driving support ECU 30 may create a traveling plan toward the roadside zone as an MRM when the position estimator 20 notifies that a roadside zone having a sufficient width exists. Further, when the position estimator 20 notifies that there is no roadside zone, a traveling plan for stopping in the current traveling lane may be created.
- the driving support ECU 30 can slowly select whether to stop in the current traveling lane or in the roadside band as the behavior of the MRM.
- the mode of stopping in the roadside zone as MRM, it is possible to reduce the risk of being hit by another vehicle after stopping.
- the following vehicle also has the advantage of being able to reduce the risk of contacting the vehicle stopped by the MRM.
- the road end on the right side may be adopted as the road end.
- the right roadside band width can be the distance from the outermost detection line on the right side to the end of the road on the right side. The same can be applied when the road edge is on the left side by one lane or more from the leftmost lane boundary line (that is, the leftmost outermost detection line) detected by the front camera 11.
- the front camera 11 of the present embodiment detects the end of the road surface as the road edge.
- the boundary between the paved road and the unpaved portion is detected as a road edge by analyzing the luminance distribution of the image frame (for example, by edge detection).
- a road end standing object which is a three-dimensional structure such as a step for a sidewalk
- the joint portion between the road end standing object and the road surface that is, the road end
- the bottom of the erection is detected as the roadside.
- the portion erected from the road surface can also be detected as a road edge by analyzing the luminance distribution of the image frame.
- a side wall or the like along an expressway may be erected on the outer side of a step portion that is one step higher than the road surface by several tens of centimeters. If the position of the side wall is adopted as the road edge, there is a risk that the portion where the step portion is formed may be mistakenly recognized as a travelable portion. As a result, the tire or body may come into contact with the stepped portion.
- the position estimator 20 may be configured to use a position such as a side wall or a guardrail as a roadside position.
- the lane ID of the traveling lane specified by the position estimator 20 is indispensable information when, for example, automatic driving accompanied by a lane change is carried out.
- the driving support ECU 30 as an automatic driving device may be configured to create a driving plan accompanied by a lane change based on the lane ID of the driving lane specified by the position estimator 20.
- ODD operational design domain
- a road that can be automatically driven may be defined for each lane. Under such restrictions, the autonomous driving system needs to accurately identify whether or not the own vehicle is in a lane capable of being automated.
- the driving authority may be transferred to the driver's seat occupant or operator. , MRM, etc. need to be implemented. Even for such demand, the configuration of the present disclosure can be useful because it is highly robust to the driving environment.
- the configuration in which the position estimator 20 is arranged outside the front camera 11 is illustrated, but the arrangement mode of the position estimator 20 is not limited to this.
- the function of the position estimator 20 may be inherent in the camera ECU 41.
- the function of the position estimator 20 may be inherent in the driving support ECU 30.
- the driving support ECU 30 including the function of the position estimator 20 corresponds to the traveling control device.
- the function of the camera ECU 41 (mainly the classifier G1) may also be provided in the operation support ECU 30. That is, the front camera 11 may be configured to output image data to the driving support ECU 30 so that the driving support ECU 30 executes processing such as image recognition.
- FIGS. 18 and 19 a part of the configuration included in the driving support system 1 is not shown.
- the position estimator 20 has disclosed a configuration in which the position of the road edge with respect to the own vehicle is detected by using the front camera 11, but the present invention is not limited to this.
- the device for detecting the position of the road edge with respect to the own vehicle may be a millimeter wave radar 19A, a LiDAR (Light Detection and Ringing / Laser Imaging Detection and Ringing) 19B, a sonar, or the like.
- Millimeter-wave radar 19A, LiDAR19B, sonar, etc. correspond to range-finding sensors. Further, it may be configured to detect the road edge or the lane boundary line by using a side camera that images the side of the own vehicle or a rear camera that images the rear.
- the front camera 11, the side camera, and the rear camera correspond to the image pickup device.
- the position estimator 20 may be configured to detect a road edge or the like by using a plurality of types of devices in combination. That is, the position estimator 20 may determine the positions of the road edge and the lane boundary line by sensor fusion. As the position of the road edge, the position recognized by the recognition software may be used as it is without using the regression line.
- control unit and method thereof described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to perform one or more functions embodied by a computer program. Further, the apparatus and the method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit. Further, the apparatus and method thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor for executing a computer program and one or more hardware logic circuits. Further, the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.
- the means and / or functions provided by the position estimator 20 can be provided by software recorded in a substantive memory device and a computer, software only, hardware only, or a combination thereof that executes the software. Some or all of the functions of the position estimator 20 may be realized as hardware. A mode in which a certain function is realized as hardware includes a mode in which one or more ICs are used.
- the processing unit 21 may be realized by using an MPU, a GPU, or a DFP (Data Flow Processor) instead of the CPU. Further, the processing unit 21 may be realized by combining a plurality of types of arithmetic processing devices such as a CPU, an MPU, and a GPU.
- the ECU may be realized by using FPGA (field-programmable gate array) or ASIC (application specific integrated circuit).
- FPGA field-programmable gate array
- ASIC application specific integrated circuit
- Various programs may be stored in a non-transitionary tangible storage medium.
- Various storage media such as HDD (Hard-disk Drive), SSD (Solid State Drive), EPROM (Erasable Programmable ROM), flash memory, USB memory, SD (Secure Digital) memory card are used as the storage medium for the program. It is possible.
- the boundary line information acquisition unit (F32) that acquires the position information of the lane boundary line detected by analyzing the image generated by the image pickup device (11) that captures the surrounding environment of the vehicle, and the boundary line information acquisition unit (F32).
- Roadside information acquisition unit (F31) to acquire Of the detected lane boundary lines, the roadside band width calculation unit (F41) that calculates the lateral distance from the outermost detection line, which is the outermost lane boundary line, to the road edge as the roadside band candidate width.
- a roadside band recognition device that determines the area from the outermost detection line to the road edge as a roadside band on condition that the roadside band candidate width is less than a predetermined value.
- the width of the roadside zone differs depending on the road section, so it is difficult to distinguish between the roadside zone and the lane.
- the region corresponding to the roadside zone can be recognized with high accuracy.
- an assumed configuration related to the recognition of the roadside zone a configuration for determining whether or not the outside of the lane boundary line is the roadside zone based on the line type (solid line, broken line) of the lane boundary line can be considered.
- the lane boundary line is a solid line / broken line, the outside thereof does not necessarily correspond to the roadside zone. That is, in the assumed configuration, there is a possibility that it is erroneously determined whether or not it is a roadside zone.
- the above configuration (1) it is determined whether or not the area between them corresponds to the roadside zone according to the distance from the road edge to the detection lane boundary line. Therefore, it is possible to reduce the possibility of erroneously determining whether or not the zone is a roadside zone.
- the roadside band recognition device according to the above configuration (1). It is equipped with a vehicle position acquisition unit (F1, F7) that acquires the position of the vehicle.
- a roadside band recognition device configured to transmit the calculated information indicating the width of the roadside band together with the position information of the own vehicle to a map generation server located outside the vehicle.
- the boundary line information acquisition unit (F32) that acquires the position information of the lane boundary line detected by analyzing the image generated by the image pickup device (11) that images the outside of the vehicle, and the boundary line information acquisition unit (F32). Acquisition of roadside position information with respect to the own vehicle using at least one of a distance measuring sensor (19A, 19B) and an image pickup device that detects an object existing in a predetermined direction of the vehicle by transmitting an exploration wave or a laser beam.
- a roadside band recognition device configured to output information on a travel lane specified by a travel lane identification unit to a predetermined operation recording device.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
自車位置推定装置は、自車両の周辺の所定範囲を撮像する撮像装置(11)、及び、探査波又はレーザ光を送信することで自車両の所定方向に存在する物体を検出する測距センサ(19A,19B)の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する道路端情報取得部(F31)と、自車両内又は外部に配置された地図記憶部から、自車両が走行している道路のレーン数を含む地図情報を取得する地図取得部(F2)と、道路端情報取得部が取得した道路端の位置情報と、地図取得部が取得した地図情報に含まれるレーン数と、に基づいて、自車両の走行レーンを特定する走行レーン特定部(F4)と、備える。
Description
この出願は、2020年6月23日に日本に出願された特許出願第2020-107959号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
本開示は、自車両の道路上における走行位置を特定する技術に関する。
特許文献1には車両の左側又は右側に存在するレーン境界線の線種に基づいて、自車両が走行しているレーン(以降、走行レーン)が、道路の左端又は右端から何番目のレーンであるかを判定する方法が開示されている。また、特許文献2には、自車両周辺を走行する他車両の軌跡情報を用いて走行レーンを特定する構成が開示されている。
特許文献1に開示の技術では、4本以上のレーンがある多レーン道路など、左右のレーン境界線の線種が同じレーンが複数存在する場合には、走行レーンの特定が不可能となる。また、レーン境界線がかすれている区間など、レーン境界線の線種を認識困難な区間においては走行レーンの特定が困難となる。例えば本来実線で形成されているレーン境界線がかすれや汚れにより破線であると認識された場合には、自車両の走行レーンを誤ってしまう。
特許文献2に開示の技術によれば、上記特許文献1に開示の構成で対応できない環境においても、走行レーンが特定可能になることが期待できる。しかしながら特許文献2に開示の構成では、周囲に他車両がいないと走行レーンを特定できないといった課題がある。
本開示は、周辺車両がいなくとも走行レーンを特定可能な自車位置推定装置、走行位置推定方法を提供することを目的とする。
その目的を達成するための自車位置推定装置は、一例として、自車両の周辺の所定範囲を撮像する撮像装置、及び、探査波又はレーザ光を送信することで自車両の所定方向に存在する物体を検出する測距センサの少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する道路端情報取得部と、自車両内又は外部に配置された地図記憶部から、自車両が走行している道路のレーン数を含む地図情報を取得する地図取得部と、道路端情報取得部が取得した道路端の位置情報と、地図取得部が取得した地図情報に含まれるレーン数と、に基づいて、自車両の走行レーンを特定する走行レーン特定部と、備える。
上記構成では地図に示されるレーン数と、自車両に対する道路端の位置情報を取得する。自車両に対する道路端の位置情報は、換言すれば自車両から道路端までの距離情報に相当する。一般的に1レーン当りの幅は法律等によって規定されているため、道路端からの距離がわかれば、何番目のレーンに位置するかの見当をつけることができる。また、道路が備えるレーン数がわかれば、レーン以外の領域としての路側帯の幅の見当もつけることができる。つまり、上記構成によれば、路側帯の幅を考慮して自車両の走行レーンを特定する事が可能となる。そして、上記構成においては、走行レーンの特定に際して、レーン境界線の線種や、周辺車両の軌跡情報を必要としない。つまり、レーン数が4本以上存在する多レーン道路においても、周辺車両がいなくとも、走行レーンを特定することができる。
また、上記目的を達成するための走行位置推定方法は、少なくとも1つのプロセッサによって実行される、自車両が走行しているレーンを特定する走行位置推定方法であって、自車両の周辺の所定範囲を撮像する撮像装置、及び、探査波又はレーザ光を送信することで自車両の所定方向に存在する物体を検出する測距センサの少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する位置取得ステップ、車両内又は外部に配置された地図記憶部から、自車両が走行している道路のレーン数を含む地図情報を取得する地図取得ステップと、位置取得ステップで取得された道路端の位置情報と、地図取得ステップで取得された地図情報に含まれるレーン数と、に基づいて自車両の走行レーンを特定する走行レーン特定ステップと、備える。
上記の方法によれば自車位置推定装置と同様の作用により、周辺車両がいなくとも走行レーンを特定可能となる。
なお、請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
以下、本開示の実施形態について図を用いて説明する。図1は、本開示の位置推定器を適用してなる運転支援システム1の概略的な構成の一例を示す図である。
<全体構成の概要>
図1に示すように運転支援システム1は、前方カメラ11、慣性センサ12、GNSS受信機13、V2X車載器14、地図記憶部15、HMIシステム16、位置推定器20、運転支援ECU30、及び運行記録装置50を備える。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。また、HMIは、Human Machine Interfaceの略である。V2XはVehicle to X(Everything)の略で、車を様々なものをつなぐ通信技術を指す。
図1に示すように運転支援システム1は、前方カメラ11、慣性センサ12、GNSS受信機13、V2X車載器14、地図記憶部15、HMIシステム16、位置推定器20、運転支援ECU30、及び運行記録装置50を備える。なお、部材名称中のECUは、Electronic Control Unitの略であり、電子制御装置を意味する。また、HMIは、Human Machine Interfaceの略である。V2XはVehicle to X(Everything)の略で、車を様々なものをつなぐ通信技術を指す。
運転支援システム1を構成する上記の種々の装置またはセンサは、ノードとして、車両内に構築された通信ネットワークである車両内ネットワークNwに接続されている。車両内ネットワークNwに接続されたノード同士は相互に通信可能である。なお、特定の装置同士は、車両内ネットワークNwを介することなく直接的に通信可能に構成されていてもよい。例えば位置推定器20と運転支援ECU30とは専用線によって直接的に電気接続されていても良い。また、図1において車両内ネットワークNwはバス型に構成されているが、これに限らない。ネットワークトポロジは、メッシュ型や、スター型、リング型などであってもよい。ネットワーク形状は適宜変更可能である。車両内ネットワークNwの規格としては、例えばController Area Network(以降、CAN:登録商標)や、イーサネット(Ethernet:登録商標)、FlexRay(登録商標)など、多様な規格を採用可能である。
以降では運転支援システム1が搭載されている車両を自車両とも記載するとともに、自車両の運転席に着座している乗員(つまり運転席乗員)をユーザとも記載する。なお、以下の説明における前後、左右、上下の各方向は、自車両を基準として規定される。前後方向は、自車両の長手方向に相当する。左右方向は、自車両の幅方向に相当する。上下方向は、車両高さ方向に相当する。上下方向は、別の観点によれば、前後方向及び左右方向の両方に平行な平面に対して垂直な方向に相当する。
<各構成要素の概要>
前方カメラ11は、車両前方を所定の画角で撮像するカメラである。前方カメラ11は、例えばフロントガラスの車室内側の上端部や、フロントグリル、ルーフトップ等に配置されている。前方カメラ11は、図2に示すように、画像フレームを生成するカメラ本体部40と、画像フレームに対して認識処理を施す事により、所定の検出対象物を検出するECU(以降、カメラECU41)と、を備える。カメラ本体部40は少なくともイメージセンサとレンズとを含む構成であって、所定のフレームレート(例えば60fps)で撮像画像データを生成及び出力する。カメラECU41は、CPU(Central Processing Unit)や、GPU(Graphics Processing Unit)などを含む画像処理チップを用いて実現されている。カメラECU41は、機能ブロックとして識別器G1を備える。識別器G1は、カメラ本体部40で生成された画像の特徴量ベクトルに基づき、物体の種別を識別する構成である。識別器G1には、例えばディープラーニングを適用したCNN(Convolutional Neural Network)やDNN(Deep Neural Network)などを利用可能である。
前方カメラ11は、車両前方を所定の画角で撮像するカメラである。前方カメラ11は、例えばフロントガラスの車室内側の上端部や、フロントグリル、ルーフトップ等に配置されている。前方カメラ11は、図2に示すように、画像フレームを生成するカメラ本体部40と、画像フレームに対して認識処理を施す事により、所定の検出対象物を検出するECU(以降、カメラECU41)と、を備える。カメラ本体部40は少なくともイメージセンサとレンズとを含む構成であって、所定のフレームレート(例えば60fps)で撮像画像データを生成及び出力する。カメラECU41は、CPU(Central Processing Unit)や、GPU(Graphics Processing Unit)などを含む画像処理チップを用いて実現されている。カメラECU41は、機能ブロックとして識別器G1を備える。識別器G1は、カメラ本体部40で生成された画像の特徴量ベクトルに基づき、物体の種別を識別する構成である。識別器G1には、例えばディープラーニングを適用したCNN(Convolutional Neural Network)やDNN(Deep Neural Network)などを利用可能である。
前方カメラ11の検出対象物には、例えば、歩行者や、他車両などの移動体が含まれる。他車両には自転車や原動機付き自転車、オートバイも含まれる。また、前方カメラ11は、所定の地物も検出可能に構成されている。前方カメラ11が検出対象とする地物には、道路端や、路面標示、道路沿いに設置される構造物が含まれる。路面標示とは、交通制御、交通規制のための路面に描かれたペイントを指す。例えば道路標示には、レーンの境界を示すレーン境界線(いわゆるレーンマーカ)や、横断歩道、停止線、導流帯、安全地帯、規制矢印などが含まれる。レーン境界線には、チャッターバーやボッツドッツなどの道路鋲によって実現されるものも含まれる。道路沿いに設置される構造物とは、例えば、ガードレール、縁石、樹木、電柱、道路標識、信号機などである。カメラECU41は、色、輝度、色や輝度に関するコントラスト等を含む画像情報に基づいて、撮像画像から背景と検出対象物とを分離して抽出する。
カメラECU41は、レーン境界線や道路端といった地物の自車両からの相対距離および方向(つまり相対位置)、移動速度などを、SfM(Structure from Motion)処理等を用いて画像から算出する。自車両に対する地物の相対位置は、画像内における地物の大きさや傾き度合いに基づいて特定してもよい。さらに、カメラECU41は、レーン境界線及び道路端の位置及び形状に基づいて、走路の曲率や幅員等の形状などを示す走行路データを生成する。
また、カメラECU41は、画像座標系における道路端に相当する点の集合を母集団として、右側道路端及び左側道路端のそれぞれの回帰式を算出する。回帰式は複数の検出点の分布を近似的に表す直線または曲線に相当する関数であって、例えば最小二乗法等によって算出される。画像座標系は、例えば画像の左上隅部の画素の中心を原点とし、画像右方向がX軸正方向、画像下方向がY軸正方向として定義される。画像座標系では、画素の中心が整数値をもつように定義されうる。
各道路端の回帰式は、例えばY座標を変数とする2次関数で表現される。回帰式が備える係数パラメータは、道路端の画像認識結果に基づき逐次調整される。回帰式の次元数は適宜変更可能であって、回帰式は1次関数や3次関数であってもよい。なお、カメラECU41は、レーン境界線に対しても回帰式を算出しても良い。以降では回帰式が表す画像座標系上の直線または曲線を回帰線とも称する。また、以降における回帰式及び回帰線は、主として道路端についての回帰式及び回帰線を指す。
加えて、カメラECU41は、SfMに基づき自車両に作用しているヨーレート(回転角速度)を算出する。カメラECU41は、検出物の相対位置や種別等、道路端の回帰式パラメータを含む検出結果データを、車両内ネットワークNwを介して位置推定器20や運転支援ECU30、運行記録装置50に逐次提供する。
前方カメラ11は、物体認識に用いた観測データとしての画像フレームを、車両内ネットワークNwを介して運転支援ECU30等に提供するように構成されていても良い。観測データは、センサが観測した生のデータ、あるいは認識処理が実行される前のデータに相当する。観測データに基づく物体認識処理は、運転支援ECU30など、センサ外のECUが実行しても良い。また、レーン境界線等の相対位置の算出は、位置推定器20で実行されてもよい。カメラECU41の機能の一部(主として物体認識機能)は、位置推定器20や運転支援ECU30に設けられていても良い。その場合、前方カメラ11は、観測データとしての画像データを位置推定器20や運転支援ECU30に提供すればよい。
慣性センサ12は、加速度などの所定の物理状態量を検出するセンサである。慣性センサ12には、例えば3軸ジャイロセンサ及び3軸加速度センサなどの慣性センサが含まれる。運転支援システム1は慣性センサ12として磁気センサを備えていても良い。また、運転支援システム1は慣性センサ12として大気圧センサ、温度センサを備えていても良い。大気圧センサや温度センサは他のセンサの出力値の補正処理にも使用されうる。種々の慣性センサ12は、慣性計測ユニット(IMU:Inertial Measurement Unit)としてパッケージ化されていても良い。
慣性センサ12は、検出対象とする物理状態量の現在の値(つまり検出結果)を示すデータを車両内ネットワークNwに出力する。各慣性センサ12の出力データは、車両内ネットワークNwを介して位置推定器20等で取得される。なお、慣性センサ12として運転支援システム1が使用するセンサの種類は適宜設計されればよく、上述した全てのセンサを備えている必要はない。
GNSS受信機13は、GNSS(Global Navigation Satellite System)を構成する測位衛星から送信される航法信号を受信することで、当該GNSS受信機13の現在位置を逐次(例えば100ミリ秒毎に)検出するデバイスである。GNSSとしては、GPS(Global Positioning System)、GLONASS、Galileo、IRNSS、QZSS、Beidou等を採用可能である。
V2X車載器14は、自車両が他の装置と無線通信を実施するための装置である。なお、V2Xの「V」は自車両としての自動車を指し、「X」は、歩行者や、他車両、道路設備、ネットワーク、サーバなど、自車両以外の多様な存在を指しうる。V2X車載器14は、通信モジュールとして広域通信部と狭域通信部を備える。広域通信部は、所定の広域無線通信規格に準拠した無線通信を実施するための通信モジュールである。ここでの広域無線通信規格としては例えばLTE(Long Term Evolution)や4G、5Gなど多様なものを採用可能である。なお、広域通信部は、無線基地局を介した通信のほか、広域無線通信規格に準拠した方式によって、他の装置との直接的に、換言すれば基地局を介さずに、無線通信を実施可能に構成されていても良い。つまり、広域通信部はセルラーV2Xを実施するように構成されていても良い。自車両は、V2X車載器14の搭載により、インターネットに接続可能なコネクテッドカーとなる。例えば位置推定器20は、V2X車載器14との協働により、所定のサーバから最新の高精度地図データをダウンロードして、地図記憶部15に格納されている地図データを更新できる。
V2X車載器14が備える狭域通信部は、通信距離が数百m以内に限定される通信規格である狭域通信規格に準拠する態様で、自車両周辺に存在する他の移動体や路側機と直接的に無線通信を実施するための通信モジュールである。他の移動体としては、車両のみに限定されず、歩行者や、自転車などを含めることができる。狭域通信規格としては、IEEE1609にて開示されているWAVE(Wireless Access in Vehicular Environment)規格や、DSRC(Dedicated Short Range Communications)規格など、任意のものを採用可能である。
地図記憶部15は、高精度地図データを記憶している不揮発性メモリである。ここでの高精度地図データは、道路構造、及び、道路沿いに配置されている地物についての位置座標等を、自動運転に利用可能な精度で示す地図データに相当する。自動運転に利用可能な精度とは、例えば、各地図要素にかかる実際の位置と地図に登録されている位置との誤差10cm~20cm以下に抑制されているレベルに相当する。高精度地図データは、例えば、道路の3次元形状データや、レーンデータ、地物データ等を備える。上記の道路の3次元形状データには、複数の道路が交差、合流、分岐する地点(以降、ノード)に関するノードデータと、その地点間を結ぶ道路(以降、リンク)に関するリンクデータが含まれる。
リンクデータには、道路端の位置座標を示す道路端情報や、道路の幅員などを示す。リンクデータには、自動車専用道路であるか、一般道路であるかといった、道路種別を示すデータも含まれていてもよい。ここでの自動車専用道路とは、歩行者や自転車の進入が禁止されている道路であって、例えば高速道路などの有料道路などを指す。リンクデータには、自律走行が許容される道路であるか否かを示す属性情報を含んでもよい。
レーンデータは、レーン数や、レーンごとのレーン境界線の設置位置情報、レーンごとの進行方向、レーンレベルでの分岐/合流地点を示す。レーンデータには、例えば、レーン境界線が実線、破線、ボッツドッツのいずれのパターンによって実現されているかを示す情報が含まれていてもよい。レーン境界線や道路端(以降、レーン境界線等)の位置情報は、レーン境界線が形成されている地点の座標群(つまり点群)として表現されている。なお、他の態様としてレーン境界線等の位置情報は、多項式表現されていてもよい。レーン境界線等の位置情報は、多項式表現された線分の集合体(つまり線群)でもよい。
地物データは、一時停止線などの路面表示の位置及び種別情報や、ランドマークの位置、形状、及び種別情報を含む。ランドマークには、交通標識や信号機、ポール、商業看板など、道路沿いに設置された立体構造物が含まれる。なお、地図記憶部15は、自車両から所定距離以内の高精度地図データを一時的に記憶する構成であっても良い。また、地図記憶部15が保持する地図データは、ナビゲーション用の地図データであるナビ地図データであっても良い。ナビ地図データは、高精度地図データよりも相対的に精度の劣る地図データに相当する。
HMIシステム16は、ユーザ操作を受け付ける入力インターフェース機能と、ユーザへ向けて情報を提示する出力インターフェース機能とを提供するシステムである。HMIシステム16は、ディスプレイ161とHCU(HMI Control Unit)162を備える。なお、ユーザへの情報提示の手段としては、ディスプレイ161の他、スピーカや、バイブレータ、照明装置(例えばLED)等を採用可能である。
ディスプレイ161は、画像を表示するデバイスである。ディスプレイ161は、例えばインストゥルメントパネルの車幅方向中央部の最上部に設けられた、いわゆるセンターディスプレイである。ディスプレイ161は、フルカラー表示が可能なものであり、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ、プラズマディスプレイ等を用いて実現できる。なお、HMIシステム16がディスプレイ161として、フロントガラスの運転席前方の一部分に虚像を映し出すヘッドアップディスプレイを備えていてもよい。また、ディスプレイ161は、インストゥルメントパネルにおいて運転席の正面に位置する領域に配置された、いわゆるメータディスプレイであってもよい。
HCU162は、ユーザへの情報提示を統合的に制御する構成である。HCU162は、例えばCPUやGPUなどのプロセッサと、RAMと、フラッシュメモリ等を用いて実現されている。HCU162は、運転支援ECU30から提供される情報や、図示しない入力装置からの信号に基づき、ディスプレイ161の表示画面を制御する。例えばHCU162は、ナビゲーション装置からの要求に基づき、経路案内画像をディスプレイ161に表示する。経路案内画像には、例えば交差点や分岐地点、車線増設地点などでの進行方向/走行推奨レーンを示す、いわゆるターンバイターン画像が含まれる。
位置推定器20は、自車両の現在位置を特定するデバイスである。位置推定器20が自車位置推定装置に相当する。位置推定器20の機能の詳細については別途後述する。位置推定器20は、処理部21、RAM22、ストレージ23、通信インターフェース24、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。処理部21は、RAM22と結合された演算処理のためのハードウェアである。処理部21がプロセッサに相当する。処理部21は、CPU等の演算コアを少なくとも一つ含む構成である。処理部21は、RAM22へのアクセスにより、種々の処理を実行する。ストレージ23は、フラッシュメモリ等の不揮発性の記憶媒体を含む構成である。ストレージ23には、処理部21によって実行されるプログラムである位置推定プログラムが格納されている。処理部21が位置推定プログラムを実行することは、位置推定プログラムに対応する方法(つまり走行位置推定方法)が実行されることに相当する。通信インターフェース24は、車両内ネットワークNwを介して他の装置と通信するための回路である。通信インターフェース24は、アナログ回路素子やICなどを用いて実現されればよい。位置推定器20は、自車両の走行レーンのレーンID(つまり走行レーン番号)や、路側帯の幅の算出結果、自車位置の決定に使用した地物の種別などを車両内ネットワークNwに逐次出力するように構成されていても良い。
運転支援ECU30は、前方カメラ11の検出結果及び位置推定器20の推定結果に基づいて走行アクチュエータ18を制御することにより、運転操作の一部または全部を運転席乗員の代わりに実行するECUである。運転支援ECU30は、車両を自律的に走行させる自動運転装置としての機能を備えていてもよい。走行アクチュエータ18は、走行用のアクチュエータ類を指す。走行アクチュエータ18には、車両の加速、減速、及び操舵に係る機械要素が含まれる。走行アクチュエータ18は、例えば、制動装置や、電子スロットル、操舵アクチュエータなどを含む。制動装置とは例えばブレーキアクチュエータである。
運転支援ECU30は、車両制御機能の1つとして、レーントレースコントロール(LTC:Lane Trace Control)機能を提供するLTC部H1を備える。LTC機能は、自車走行レーンに沿って自車走行レーン内で自車両を走行させる機能である。LTC部H1は、自車走行レーンに沿った予定走行ラインを生成し、当該予定走行ラインに沿うように操舵アクチュエータを介して操舵角を制御する。例えばLTC部H1は、自車走行レーンの中心に向かう方向への操舵力を発生させることにより、自車両を走行レーンの中心に沿って走行させる。
このような運転支援ECU30は、位置推定器20と同様に、処理部、RAM、ストレージ、通信インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として構成されている。各要素の図示は省略している。運転支援ECU30が備えるストレージには、処理部によって実行されるプログラムである運転支援プログラムが格納されている。処理部が運転支援プログラムを実行することは、運転支援プログラムに対応する方法が実行されることに相当する。
運行記録装置50は、車両の走行時の車両内の状況、及び、車室外の状況を示すデータを記録する装置である。車両の走行時の車両内の状況には、位置推定器20の作動状態や運転支援ECU30の作動状態、運転席乗員の状態を含めることができる。位置推定器20の作動状態を示すデータには、道路端の認識状況や、道路端を表す回帰式、路側帯の幅の算出値、自車位置の決定に使用した地物の種別などが含まれる。運転支援ECU30の作動状態を示すデータには、運転支援ECU30における周辺環境の認識結果や、走行計画、各走行アクチュエータの目標制御量などの算出結果も含まれる。記録対象とするデータは、車両内ネットワークNw等を介して、位置推定器20や、運転支援ECU30、前方カメラを含む周辺監視センサなど、車両に搭載されているECUやセンサから取得する。運行記録装置50は、例えば所定の記録イベントが発生した場合に、記録対象に設定されている項目のデータを不揮発性の記憶媒体に保存する。なお、運行記録装置50によるデータの保存先は外部サーバであってもよい。
<位置推定器20の機能について>
ここでは図3を用いて位置推定器20の機能及び作動について説明する。位置推定器20は、ストレージ23に保存されている位置推定プログラムを実行することにより、図3に示す種々の機能ブロックに対応する機能を提供する。すなわち、位置推定器20は機能ブロックとして、暫定位置推定部F1、地図取得部F2、走路情報取得部F3、レーン特定部F4、及び詳細位置算出部F5を備える。
ここでは図3を用いて位置推定器20の機能及び作動について説明する。位置推定器20は、ストレージ23に保存されている位置推定プログラムを実行することにより、図3に示す種々の機能ブロックに対応する機能を提供する。すなわち、位置推定器20は機能ブロックとして、暫定位置推定部F1、地図取得部F2、走路情報取得部F3、レーン特定部F4、及び詳細位置算出部F5を備える。
暫定位置推定部F1は、GNSS受信機13の測位結果と、慣性センサの検出結果とを組み合わせることにより、自車両の位置を逐次測位する。例えば、暫定位置推定部F1は、トンネル内などGNSSによる測位結果を取得できない場合には、ヨーレートと車速を用いてデッドレコニング(Dead Reckoning /自律航法)を行う。デッドレコニングに用いるヨーレートは、SfM技術を用いてカメラECU41で認識されたものでもよいし、ヨーレートセンサで検出されたものでもよい。
地図取得部F2は、地図記憶部15から、現在位置を基準として定まる所定範囲の地図データ(地図情報)を読み出す。地図参照に利用される現在位置は、暫定位置推定部F1で特定されたものであってもよいし、詳細位置算出部F5で特定されたものであっても良い。例えば、詳細位置算出部F5が現在位置を算出できている場合には、当該位置情報を用いて地図データを取得する。一方、詳細位置算出部F5が現在位置を算出できていない場合には、暫定位置推定部F1が算出した位置座標を用いて地図データを取得する。一方、イグニッション電源がオンとなった直後は、例えば、メモリに保存されている前回の位置算出結果をもとに地図参照範囲を決定する。メモリに保存されている前回の位置算出結果は、前回のトリップの終了地点、すなわち駐車位置に相当するためである。なお、地図取得部F2は、V2X車載器14を介して外部サーバ等から自車両周辺の高精度地図データを逐次ダウンロードするように構成されていてもよい。地図記憶部15は車両外部に設けられていても良い。
走路情報取得部F3は、前方カメラ11が備えるカメラECU41から走行路データを取得する。すなわち、前方カメラ11で認識しているレーン境界線及び道路端(以降、レーン境界線等)の相対位置や、道路端の回帰線パラメータを取得する。道路端の相対位置情報を取得する構成が道路端情報取得部F31に相当する。レーン境界線の相対位置情報などを取得する構成が境界線情報取得部F32に相当する。
道路端等の位置は、例えば自車の基準点を原点とするXY座標系である車両座標系で表現される。この車両座標系を構成するX軸は車両の左右方向に平行であって、例えば右方向を正方向とするように設定されている。Y軸は車両の前後方向に平行であって、車両の前方に向かう方向を正方向とするように設定されている。
なお、道路端等の位置を表現する座標系は多様なものを採用可能である。例えばカメラECU41の画像認識ソフトウェアがCAD等で利用されるワールド座標系(WCS)やプログラム座標系(PCS)を用いて検出物の位置を表現するように構成されている場合には、道路端等の相対位置もまたWCSやPCSで表現されても良い。車両座標系もまた、車両前方をX軸正方向、車両左側をY軸正方向とするように構成されていてもよい。走路情報取得部F3は、道路端等の位置を画像座標系で表現したデータを取得しても良い。
また、走路情報取得部F3は、カメラECU41から取得したレーン境界線等の相対位置座標を、グローバル座標系における位置座標(以降、観測座標とも記載)に変換してもよい。レーン境界線等の観測座標は、自車両の現在位置座標と、自車両に対するレーン境界線等の相対位置情報とを組み合わせることで算出可能である。レーン境界線等の観測座標の算出に使用する車両の現在位置座標は、詳細位置算出部F5が現在位置を算出できている場合には、当該位置情報を用いればよい。一方、詳細位置算出部F5が現在位置を算出できていない場合には、暫定位置推定部F1が算出した位置座標を用いればよい。なお、自車両の現在位置座標を用いたレーン境界線等の観測座標の算出はカメラECU41が実施しても良い。以降では、前方カメラ11で検出されているレーン境界線のことを検出境界線とも記載する。また、前方カメラ11で検出されている道路端のことを検出道路端とも記載する。
レーン特定部F4は、走路情報取得部F3が取得した道路端やレーン境界線の相対位置情報に基づいて、自車両が走行しているレーンである走行レーンを特定する構成である。レーン特定部F4は、自車両が走行している道路である走行路に設けられている路側帯の幅を算出する、路側帯幅算出部F41を備える。レーン特定部F4及び路側帯幅算出部F41の詳細は別途後述する。なお、レーン特定部F4は、方面看板などのランドマークの相対位置情報を用いて走行レーンや走行位置を特定するように構成されていてもよい。レーン特定部F4が走行レーン特定部に相当する。
詳細位置算出部F5は、レーン特定部F4の特定結果や走路情報取得部F3の取得データに基づいて、走行レーン内での自車両の詳細位置を特定する。具体的には走行レーンの左側境界線との距離と右側境界線との距離に基づいて、走行レーンの中心から左右方向へのオフセット量を算出する。またレーン特定部F4で特定された走行レーン情報と、レーン中心からのオフセット量を組み合わせることで、走行路における自車両の横位置を特定する。詳細位置算出部F5で特定されたレーン中心からのオフセット量は、例えばLTC部H1などに利用される。
その他、詳細位置算出部F5は、レーン特定部F4の特定結果と、前方カメラ11にて検出されたランドマーク情報に基づいて、地図上の詳細な自車位置を特定してもよい。例えば、画像解析の結果として、左側道路端から車両中心までの距離が1.75mと特定されている場合には、地図が示す左側道路端の座標から右側に1.75mずれた位置に自車両が存在すると判定する。また、例えば画像解析結果として、自車両正面に存在する方面看板までの距離が100mと特定している状況においては、地図データに登録されている当該方面看板の位置座標から100mだけ手前側にずれた位置に自車両が存在すると判定する。ここでの手前側とは自車両の進行方向と逆の方向を指す。前進走行時においては手前側とは車両後方に対応する。
なお、前方カメラ11で検出されているランドマークと地図に登録されているランドマークとの対応付けは、例えば、ランドマークの観測座標と、地図に登録されている座標情報との比較により実施可能である。例えば地図に登録されているランドマークのうち、ランドマークの観測座標から最も近いランドマークを同一のランドマークと推定する。ランドマークの照合に際しては例えば形状,サイズ,色等の特徴量を用いて、特徴の一致度合いがより高いランドマークを採用することが好ましい。観測されているランドマークと地図上のランドマークとの対応付けが完了すると、詳細位置算出部F5は、地図上のランドマークの位置から観測ランドマークと自車両の距離だけ縦方向にずらした位置を、地図上の自車の縦位置に設定する。
以上のように、詳細位置算出部F5が横方向だけでなく縦方向の自車位置も算出する構成によれば、交差点や、カーブ入口/出口、渋滞の最後尾、道路分岐点などといった、道路上の特徴点(換言すればPOI)までの残り距離を高精度に算出可能となる。加えて、横方向における自車位置推定を行うことにより、車線変更を右左折等のために車線変更をすべきか否か、車線変更を行う必要がある場合にはいつまでに実施しなければならないかを特定可能となる。なお、上述したようなランドマークや道路端の検出位置情報を用いて、地図上の自車両の現在位置を特定する処理はローカライズ処理とも称される。ローカライズ処理の結果としての自車位置は、地図データと同様の座標系(例えば緯度、経度、高度)で表現されればよい。自車位置情報は、例えばWGS84(World Geodetic System 1984)など、任意の絶対座標系で表現することができる。
<レーン特定処理について>
次に図4に示すフローチャートを用いて位置推定器20(主としてレーン特定部F4)が実行するレーン特定処理について説明する。図4に示すフローチャートは例えば車両の走行用電源がオンとなっている間、所定の周期(例えば100ミリ秒毎)に実行される。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。本実施形態では一例としてレーン特定処理はステップS0~S10を備える。ステップS1~S10はレーン特定部F4によって実行される。当該一連の処理フローは、繰り返し実行されるものであって、処理が成功した場合には、本処理にて算出された自車位置情報がメモリに保存される。なお、ステップS0は、地図取得部F2が走行路の地図データを取得する処理である。地図取得部F2が走行路の地図データを取得する処理は、事前の準備処理として本フローとは独立して実行されても良い。ステップS0が地図取得ステップに相当する。
次に図4に示すフローチャートを用いて位置推定器20(主としてレーン特定部F4)が実行するレーン特定処理について説明する。図4に示すフローチャートは例えば車両の走行用電源がオンとなっている間、所定の周期(例えば100ミリ秒毎)に実行される。走行用電源は、例えばエンジン車両においてはイグニッション電源である。電気自動車においてはシステムメインリレーが走行用電源に相当する。本実施形態では一例としてレーン特定処理はステップS0~S10を備える。ステップS1~S10はレーン特定部F4によって実行される。当該一連の処理フローは、繰り返し実行されるものであって、処理が成功した場合には、本処理にて算出された自車位置情報がメモリに保存される。なお、ステップS0は、地図取得部F2が走行路の地図データを取得する処理である。地図取得部F2が走行路の地図データを取得する処理は、事前の準備処理として本フローとは独立して実行されても良い。ステップS0が地図取得ステップに相当する。
ステップS1では、自車両から所定距離前方に位置する判定ポイントでの道路端やレーン境界線といった種々の地物の横位置(X座標)を算出する。ステップS1が位置取得ステップに相当する。判定ポイントは例えば、自車両から10.0m先の地点とすることができる。なお、判定ポイントは、5.0m先の地点であっても良いし、8.5m先の地点であっても良い。判定ポイントは、前方カメラ11の撮像範囲に含まれる所定地点とすることができる。判定ポイントは、自車両から所定距離前方に位置する点、及び、当該地点の左右に存在する地点を含む線状の概念である。判定ポイントは、判定ラインと読み替えることができる。判定ポイントにおける道路端の横位置は、例えば、道路端の回帰線パラメータに基づいて算出される。
各種地物の位置は、例えば自車両を基準とする車両座標系で表現される。また、判定ポイントにおけるレーン境界線や道路端の横位置(ここではX座標)は、自車両の車速やヨーレートを用いて、図5に示すようにカーブ形状に沿った横位置へと補正して用いられる。具体的には、自車両の車速とヨーレートを用いて、自車両が実際に判定ポイントに至るまでの所要時間tを算出する。そして判定ポイントまでの所要時間とヨーレートと車速とから、自車両が判定ポイントに到達した場合の横方向(つまりX軸方向)の変位量ΔXを算出する。
具体的には判定ポイントまでの所要時間をt、判定ポイントまでの距離をD、ヨーレートをω、車速をvとすると、D=(v/ω)sin(ωt)の関係が成り立つ。所要時間tは、当該式を解くことにより定まる。また、横方向の変位量ΔXは、ΔX=(v/ω){1-cos(ωt)}の式から算出可能である。
レーン特定部F4は、前方カメラ11で現在検出されている道路端の横位置からΔXを差し引くことで、カーブ形状に沿った横位置座標に補正する。図5中のP1、P2は、自車両の左右に存在するレーン境界線の、判定ポイントでの補正前の位置座標を表しており、P1a、P2aは補正後の位置を表している。このようにヨーレートを用いて判定ポイントにおけるレーン境界線や道路端の位置補正を行う構成によれば、道路の曲率の影響を抑制することができる。ステップS1が完了するとステップS2を実行する。
ステップS2では道路端傾き判定処理を実行する。道路端傾き判定処理は、道路端の回帰線の傾きに基づいて、位置を誤認識している可能性がある道路端についての情報を、以降の処理で使用しないようするための処理である。道路端傾き判定処理については別途説明する。ステップS2が完了すると、位置を誤認識している可能性が高い道路端を除いた、ある程度の妥当性を有する道路端情報が得られる。ステップS2が完了するとステップS3を実行する。ステップS2は必須の要素ではなく、適宜省略可能である。ただし、ステップS2を実行することにより、路側帯の幅を誤算出したり、走行レーンを誤ったりする可能性を低減可能となる。
ステップS3ではレーン妥当性判定処理を実行する。レーン妥当性判定処理は、検出されているレーン境界線が、レーンを構成するレーン境界線として一定の妥当性を有しているかをチェックする処理である。換言すれば、誤検出の可能性があるレーン境界線についての情報を除去するための処理に相当する。レーン境界線の検出結果の妥当性をチェックする観点としては、例えば、検出されているレーン境界線の横位置が道路端位置より外側となっていないか、レーン境界線同士の間隔がレーン幅としてありえないほどと小さい値となっていないかなどが挙げられる。レーン妥当性判定処理の詳細は別途後述する。ステップS3を実行することにより、誤検出の可能性が高いレーン境界線を除いた、ある程度の妥当性を有する境界線情報が得られる。ステップS3が完了するとステップS4を実行する。
ステップS4では路側帯幅算出部F41が、路側帯幅算出処理を実行する。当該処理は判定ポイントにおける路側帯の幅を算出する構成である。ここでの路側帯とは道路においてレーン以外の領域を指す。ここでの路側帯には、路肩も含まれる。また、路側帯には、車道外側線と道路端とで挟まれる領域を含めることができる。車道外側線は、車道の路端寄りに引かれている区画線を指す。また、路側帯には、道路端に隣接しているゼブラゾーン(換言すれば導流帯)を含めることができる。ゼブラゾーンは、縞模様が描かれた路面領域を指す。ステップS4としての路側帯幅算出処理の詳細は別途後述する。ステップS4を実行することにより、路側帯幅の算出値が得られる。ステップS4が完了するとステップS5を実行する。
ステップS5では道路端妥当性判定処理を実行する。道路端妥当性判定処理は、ステップS1で算出されている道路端の横位置座標が妥当性を有するか否かを検証する処理である。例えば、ステップS1で算出されている道路端の横位置が、前方カメラ11にてレーンの存在が確認されている領域であるレーン検出範囲内に入り込んでいる場合に、当該道路端の横位置は誤りであると判定し、誤算出している道路端の横位置情報を破棄する。道路端妥当性判定処理についての詳細は別途後述する。なお、ステップS5の判定内容は、ステップS3のレーン妥当性判定処理に含まれうる。ステップS5は必須の要素ではない。ステップS5が完了するとステップS6を実行する。
ステップS6では地図整合性判定処理を実行する。地図整合性判定処理は、以上の処理で得られた道路情報と、地図に登録されている道路情報との整合性を判定する処理である。地図整合性判定処理の詳細は別途後述する。当該地図整合性判定処理を実行することにより、例えばステップS4で算出した路側帯の幅が妥当な値であるか誤りであるかなどを検証できる。ステップS6もまた必須の構成でなく、省略可能な構成である。ただし、ステップS6を実行することにより、走行レーンを誤特定する可能性を低減可能となる。ステップS6が完了するとステップS7を実行する。
ステップS7では、走行レーンの幅を算出する。例えば、車両右側において最も近くに位置するレーン境界線から、自車両の左側において最も近くに存在するレーン境界線までの距離を走行レーン幅として算出する。レーン境界線を3本以上検出できている場合には、各レーン境界線の間隔の平均値をレーン幅として算出しても良い。ステップS7では、他のレーン、すなわち自車両が走行していないレーンの幅もステップS7にて算出しても良い。自車両が走行しているレーンの幅を、他のレーンの幅とみなしても良い。ステップS7が完了することにより、走行路におけるレーン幅が決定される。ステップS7が完了するとステップS8を実行する。
ステップS8では個別レーン位置特定処理を実行する。個別レーン位置特定処理は、各レーンの存在範囲を算出する処理である。個別レーン位置特定処理には、不正な位置に存在するレーンを破棄する処理も含まれる。ステップS8の詳細は別途後述する。ステップS8が完了するとステップS9を実行する。以上の処置により、各レーンの位置が路側帯の幅に基づいて決定される。具体的には、第1レーンや第2レーンが道路端からどれくらい離れた位置に存在するのかが、路側帯の幅を加味して決定される。
ステップS9では、道路端から自車両までの距離と、算出されている路側帯幅とに基づいて、自車両の走行レーンを特定する。各レーンの位置は自車両を基準とする車両座標系で表現されるため、X=0.0となる地点を含むレーンが走行レーンに該当する。例えば第2レーンの左端X座標が-2.0、右端X座標が+1.0である場合には、自車両は第2レーンに存在すると判定する。走行レーンは、左側道路端から何番目のレーンで有るかを示すレーンIDで表現することができる。各レーンの位置は路側帯幅を考慮して決定されるため、上記処理は、路側帯に隣接するレーンを基準として(例えば第1レーンとして)走行レーンを決定する構成に相当する。なお、レーンIDは右側道路端を基準として割り当てられるものであっても良い。ステップS9が走行レーン特定ステップに相当する。ステップS9が完了するとステップS10を実行する。
ステップS10では以上で特定された走行レーンや路側帯幅等の情報を外部に出力する。出力先としては、運転支援ECU30のほか、運行記録装置50や、ナビゲーション装置、車両外部に設けられている地図生成サーバなどが挙げられる。運転支援ECU30や、運行記録装置50、ナビゲーション装置、地図生成サーバなどが外部装置に相当する。
<ステップS2:道路端傾き判定処理について>
道路端の回帰線は通常、図6に示すように、画像内における左側道路端は負の傾き、右側道路端は正の傾きとなる。一方、図7に例示するように画像の縁部付近や道路端付近に他車両が写り込んでいる場合、当該他車両のエッジを道路端の一部と誤認識して、道路端の回帰線が実際の道路端から大きくずれてしまう。当然道路端の回帰線が大きくずれると、判定ポイントでの道路端の認識位置と実際の位置との乖離が大きくなり、走行レーンを誤判定する原因となる。なお、図6に示す破線はレーン境界線を概念的に示しており、一点鎖線は左側道路端の回帰線を、二点鎖線は右側道路端の回帰線を示している。図7の構成要素も図6と同様であるが、相対的に細い一点鎖線は真の左側道路端を示し、相対的に太い一点鎖線が、カメラECU41が算出した左側道路端の回帰線を表している。
道路端の回帰線は通常、図6に示すように、画像内における左側道路端は負の傾き、右側道路端は正の傾きとなる。一方、図7に例示するように画像の縁部付近や道路端付近に他車両が写り込んでいる場合、当該他車両のエッジを道路端の一部と誤認識して、道路端の回帰線が実際の道路端から大きくずれてしまう。当然道路端の回帰線が大きくずれると、判定ポイントでの道路端の認識位置と実際の位置との乖離が大きくなり、走行レーンを誤判定する原因となる。なお、図6に示す破線はレーン境界線を概念的に示しており、一点鎖線は左側道路端の回帰線を、二点鎖線は右側道路端の回帰線を示している。図7の構成要素も図6と同様であるが、相対的に細い一点鎖線は真の左側道路端を示し、相対的に太い一点鎖線が、カメラECU41が算出した左側道路端の回帰線を表している。
本処理は上記の課題及び性質に着眼して導入されたものであって、判定ポイントでの傾きが正常範囲から逸脱している道路端の認識結果を破棄するように構成されている。以下、道路端傾き判定処理について図8を用いて説明する。図8に示す道路端傾き判定処理としてのフローは、図4のステップS2として実行される。
本実施形態の道路端傾き判定処理は一例として、ステップS201~S205を備える。傾きの正/負は、画像座標系の定義の仕方によって異なりうる。それに伴い、各道路端の傾きの正常範囲もまた画像座標系の定義の仕方によって変容する。ここでは一例として画像フレームの左上を原点、右側をX軸正方向、下方向をY軸正方向とする場合を例にとって説明する。
ステップS201では、左右それぞれの道路端の回帰線パラメータを取得して、ステップS202に移る。ステップS202では、判定ポイントでの左右それぞれの道路端の画像内での傾きを算出する。道路端の傾きは、例えば、回帰線を1階微分した関数式に、判定ポイントでのY座標値を代入することにより算出する。左側及び右側の道路端について、判定ポイントでの画像内における傾き、換言すれば画像座標系での傾きを算出したらステップS203を実行する。
ステップS203では、画像座標系での判定ポイントにおける道路端の傾きが、所定の正常範囲に収まっているか否かを判定する。当該処理は、左側道路端、右側道路端のそれぞれに対して実行される。すなわち、画像座標系での判定ポイントにおける左側道路端の傾きが、左側道路端用の所定の正常範囲に収まっているか否かを判定する。また、右側道路端の画像内傾きが、右側道路端用の所定の正常範囲に収まっているか否かを判定する。左側道路端用の正常範囲は例えば0より大きい値とすることができる。また、右側道路端用の正常範囲は、0よりも小さい値とすることができる。なお、各道路端の画像内における傾きの正常範囲は、地図データに登録されている道路の曲率を考慮して、動的に調整しても良い。
道路端の画像内における傾き(換言すれば回帰線の傾き)が正常範囲に収まっている場合には、当該道路端の認識位置を実際の道路端の位置として採用する。一方、道路端の画像内傾きが正常範囲外となっている場合、その道路端の認識位置データを破棄する。つまり、判定ポイントでの回帰線の傾きが正常範囲外の値となっている道路端の情報は、以降の処理に使用されなくなる。これにより、道路端の誤認識によって走行レーンを誤認識するおそれを低減することができる。
<ステップS3:レーン妥当性判定処理について>
ここでは図9を用いてレーン妥当性判定処理について説明するレーン妥当性判定処理は図4のステップS3として実行される。レーン妥当性判定処理は一例として、ステップS301~S311を備える。ステップS301では、前方カメラ11にて検出されているレーン境界線の数である検出境界線数を取得し、ステップS302に移る。ステップS302では、ステップS301で取得した検出境界線数に基づいて、レーン候補数Cnを算出する。レーン候補数Cnは、互いに隣接する検出境界線で挟まれる領域であるレーン候補の数に相当する。レーン候補数Cnは、検出境界線数から1を減算した値となる。例えば、図10に示すように6本のレーン境界線が検出されている場合には、レーン候補数Cnは5となる。
ここでは図9を用いてレーン妥当性判定処理について説明するレーン妥当性判定処理は図4のステップS3として実行される。レーン妥当性判定処理は一例として、ステップS301~S311を備える。ステップS301では、前方カメラ11にて検出されているレーン境界線の数である検出境界線数を取得し、ステップS302に移る。ステップS302では、ステップS301で取得した検出境界線数に基づいて、レーン候補数Cnを算出する。レーン候補数Cnは、互いに隣接する検出境界線で挟まれる領域であるレーン候補の数に相当する。レーン候補数Cnは、検出境界線数から1を減算した値となる。例えば、図10に示すように6本のレーン境界線が検出されている場合には、レーン候補数Cnは5となる。
なお、図10に示す「B1」~「B6」は、検出されているレーン境界線を示している。「EgL」は左側道路端を、「EgR」は右側道路端をそれぞれ表している。「Hv」は自車両を表している。以降では左からi番目のレーン候補のことを第iレーン候補と記載する。図10に示す例では、自車両は第3レーン候補に位置していることになる。ここでは一例として左側からレーン候補やレーン境界線の番号を割り振るように構成されているものとする。もちろん、他の構成例として、複数のレーン候補やレーン境界線を識別するための番号は右から割り振られても良い。
ステップS302での処理が完了するとステップS303を実行する。ステップS303では処理上の変数kを初期化(具体的には1に設定)してステップS304に移る。ステップS304では、第kレーン候補を以降の処理の対象に設定してステップS305に移る。
ステップS305では第kレーン候補の幅WLCが、最小レーン幅LWminよりも小さいか否かを判定する。第kレーン候補の幅WLCが、最小レーン幅LWminよりも小さい場合には、ステップS306に移る。一方、第kレーン候補の幅WLCが、最小レーン幅LWmin以上である場合にはステップS307に移る。第kレーン候補の幅WLCが、最小レーン幅LWminよりも小さいということは第kレーン候補が、実際はレーンではなく、路側帯であること、及び/又は、第kレーン候補を構成する外側のレーン境界線は誤検出されたものであることを意味する。また、第kレーン候補の幅WLCが最小レーン幅LWmin以上であることは第kレーン候補が真にレーンである可能性があることを意味する。
最小レーン幅LWminは、レーンの幅としてありえる範囲の最小値である。最小レーン幅LWminは、自車両が使用される地域の法規に基づいて設定されている。例えば最小レーン幅LWminは2.5mに設定されている。もちろん、最小レーン幅LWminは2.2mや2.75m、3.0m、3.5mなどであってもよい。誤判定を抑制するために、本処理で使用する最小レーン幅LWminは、法規等で規定されている実際のレーン幅の最小値よりもさらに所定量(例えば0.25m)小さい値に設定されていることが好ましい。最小レーン幅LWminの設定値は、自車両が走行している道路種別に応じて変更されてもよい。例えば自車両が高速道路を走行している場合の最小レーン幅LWminは、自車両が一般道路を走行している場合の最小レーン幅LWminよりも大きく設定されてもよい。そのような構成によれば最小レーン幅LWminとして道路種別に応じた設定値が適用されるため、レーン境界線の検出結果の妥当性を誤判定することを抑制可能となる。
ステップS306では第kレーン候補を構成する2つのレーン境界線のうち、自車両からみて外側に存在するレーン境界線は誤検出されたものであるとみなす。また、第kレーン候補を構成する内側のレーン境界線をレーン検出範囲の端部に設定する。これは、第kレーン候補を構成する内側のレーン境界線までが、レーン検出範囲であると判定することに相当する。
例えば、第5レーン候補の幅WLCが最小レーン幅LWminよりも小さい場合には、第5レーン候補を構成するレーン境界線B5、B6のうち、自車両からみて外側に存在するレーン境界線B6を破棄し、レーン境界線B5をレーン検出範囲の端部に設定する。ステップS305~S306を実行することにより、以降の処理で誤検出の可能性が高いレーン境界線情報を使用するおそれを低減できる。レーン検出範囲の右側端部は、前方カメラ11で検出されているレーン境界線のうち、最も右側に位置し、かつ、有効なレーン境界線である右側最外検出線に相当する。有効なレーン境界線とは、隣接するレーン境界線との間隔や道路端との位置関係を鑑みて、誤検出の可能性が低いと判断され、以降の処理でも使用されるレーン境界線をさす。また、レーン検出範囲の左側端部は、前方カメラ11で検出されているレーン境界線の中で最も左側に位置し、かつ、有効なレーン境界線である左側最外検出線に相当する。
ステップS307では第kレーン候補を構成するレーン境界線のうち、左側に位置するレーン境界線である左側境界線が、左側道路端よりも自車両から見て外側(ここでは左側)に位置しているか否かを判定する。左側境界線が左側道路端よりも外側に位置している場合にはステップS308を実行する。一方、左側境界線が左側道路端よりも外側に位置していない場合にはステップS309を実行する。
ステップS308では第kレーン候補を構成するレーン境界線のうち、右側に位置するレーン境界線である右側境界線をレーン検出範囲の左側端部に設定する。例えば図10に示すように、第1レーン候補の左側境界線に相当するレーン境界線B1が左側道路端EgLよりも外側に位置している場合には、レーン境界線B1についての検出結果を破棄して、レーン境界線B2をレーン検出範囲の左側端部に設定する。当該処理は、第kレーン候補の左側境界線の検出は誤りであったとみなす処理に相当する。
ステップS309では第kレーン候補の右側境界線が、右側道路端よりも自車両から見て外側(ここでは右側)に位置しているか否かを判定する。右側境界線が右側道路端よりも外側に位置している場合にはステップS310を実行する。一方、右側境界線が右側道路端よりも外側に位置していない場合にはステップS311を実行する。ステップS310では第kレーン候補の左側境界線をレーン検出範囲の右側端部に設定する。当該処理は、第kレーン候補の右側境界線の検出は誤りであったとみなす処理に相当する。
ステップS307~S310を実行することにより、道路端よりも外側に位置するレーン境界線のデータが以降の処理において不使用となる。道路端より外側に検出されているレーン境界線は誤検出の可能性が相対的に高い。つまり、ステップS307~S310を実行することにより、誤検出の可能性が高いレーン境界線情報が以降の処理(つまりレーン特定)に使用されるおそれを低減できる。
ステップS311では変数kの値を1つ加算して、つまりインクリメントして、ステップS312に移る。ステップS312では、変数kがレーン候補数Cn以下であるか否かを判定する。k≦Cnの関係を満たす場合にはステップS304を実行する。一方、k>Cnの関係を満たす場合には本フローを終了して図4に示すステップS4を実行する。ステップS312は全てのレーン候補のなかに未処理のレーン候補が残っているか否かを判定する処理に相当する。換言すれば全てのレーン候補についてステップS304~S310の処理を実行したか否かを判定する処理に相当する。なお、本実施形態では変数kを1からレーン候補数Cnまでインクリメントさせていく態様を開示したが、これに限らない。変数kは、レーン候補数Cnから1までデクリメントさせていってもよい。
以上の処理を実行することにより、例えば図10に示すような検出結果は、図11に示す認識内容へと修正される。すなわち、左側道路端よりも左側に位置するレーン境界線B1や、隣接するレーン境界線との距離が最小レーン幅LWmin未満となっているレーン境界線B6の情報を破棄/不使用とする。
<ステップS4:路側帯幅算出処理について>
ここでは図12を用いて路側帯幅算出処理について説明する。図12に示す路側帯幅算出処理は例えば図4のステップS4として実行される。ここでは一例として路側帯幅算出処理はステップS401~S404を備える。ステップS401~S404は、レーン検出範囲の右側端部と左側端部の両方について、それぞれ個別に実行される。便宜上、レーン検出範囲の右側端部を処理対象とする場合を例にとって各ステップの説明を行うがレーン検出範囲の左側端部についても同様に実施される。
ここでは図12を用いて路側帯幅算出処理について説明する。図12に示す路側帯幅算出処理は例えば図4のステップS4として実行される。ここでは一例として路側帯幅算出処理はステップS401~S404を備える。ステップS401~S404は、レーン検出範囲の右側端部と左側端部の両方について、それぞれ個別に実行される。便宜上、レーン検出範囲の右側端部を処理対象とする場合を例にとって各ステップの説明を行うがレーン検出範囲の左側端部についても同様に実施される。
ステップS401ではレーン検出範囲の右側端部と右側道路端との離隔が最小レーン幅LWminよりも小さいか否かを判定する。当該処理は、レーン検出範囲から最小レーン幅以上外側に、道路端が位置するか否かを判定する処理に相当する。レーン検出範囲の右側端部と右側道路端の離隔が最小レーン幅LWminよりも小さい場合にはステップS403を実行する。なお、レーン検出範囲と道路端との離隔が最小レーン幅LWmin未満であるということは、レーン検出範囲の端部から道路端までのエリアがレーンではないこと、すなわち、路側帯であることを意味する。一方、レーン検出範囲の右側端部と右側道路端の離隔が最小レーン幅LWmin以上である場合にはステップS402を実行する。
ステップS402では、レーン検出範囲の右側に未検出のレーン境界線がないことが明らかであるか否かを判定する。例えば前方カメラ11のレーン検出可能範囲に道路端が映っている場合や、レーン検出範囲から道路端までの路面を撮像されている場合には、ステップS402を肯定判定してステップS403に移る。前方カメラ11のレーン検出可能範囲は、例えばレーン3つ分に相当する水平角度範囲など、前方カメラ11の仕様として定まっているものである。レーン検出範囲から道路端までの路面を撮像されている場合には、例えば、レーン検出範囲の右側に他車両が存在しない場合などが含まれる。
一方、レーン検出範囲の右側に未検出のレーン境界線が存在しないことが明らかではない場合には、ステップS402を否定判定してステップS404に移る。レーン検出範囲の右側に未検出のレーン境界線が存在しないことが明らかではない場合とは、例えば、前方カメラ11のレーン検出可能範囲からレーン1つ分以上外側に道路端が位置している場合が含まれる。また、レーン検出範囲の右側に他車両が存在するなどによってレーン検出範囲から道路端までの路面の一部又は全部を撮像できていない場合もまた、レーン検出範囲の右側に未検出のレーン境界線がないことが明らかではない場合に含まれうる。つまり、レーン検出範囲の右側に、未検出のレーン境界線が存在する可能性が残っている場合には、ステップS402を否定判定してステップS404を実行する。レーン検出範囲の右側に未検出のレーン境界線が存在する可能性がある場合には、レーン検出範囲の右側端部を規定するレーン境界線の検出信頼度が低い場合や、道路端自体の検出信頼度が低い場合なども含まれる。
ステップS403ではレーン検出範囲の右側端部から右側道路端までの距離を、道路右側に設けられた路側帯幅として算出する。当該処理は、レーン検出範囲の端部から道路端までのエリアがレーンではないこと、すなわち、路側帯であると判定する処理に相当する。一方、ステップS404では、道路右側に設けられた路側帯幅を所定値(例えば2.5m)に設定して本フローを終了する。なお、ステップS404の内容は、路側帯幅が不明であるとして、レーン特定処理を中断しても良い。レーン特定処理を中断した場合には、走行レーンが不明であると判定してもよい。
以上の処理を自車両の左側に位置する道路構成要素、つまりレーン検出範囲の左側端部と左側道路端に対して実行することにより、道路の左側に配されている路側帯の幅も算出される。本フローによって算出される路側帯幅は、後述するステップS6にて検証される。そのため、本フローによって算出された路側帯幅は、路側帯らしき領域の幅、つまり路側帯候補幅に相当する。
上記構成によれば、レーン検出領域と道路端との距離を路側帯の幅として算出するため、路側帯の大きさを固定値とする構成に比べて、路側帯の幅として実際の値を設定可能となる。路側帯の大きさを固定値とする構成では、退避区間など幅が広い路側帯がある場合、固定値の路側帯幅と実際の路側帯幅との乖離が大きく発生し、走行レーンを間違えるおそれがある。これに対し、上記構成によれば、路側帯幅のシステム使用値と実際の値との乖離に起因して走行レーンを誤るおそれを低減できる。
尚、上記処理は、認識できている最も外側のレーン境界線である最外検出線と道路端との離隔が所定の最小レーン幅未満である場合に、検出されている道路端の情報をレーン特定に使用する構成に相当する。また、最外検出線と道路端の間にレーン境界線がないことが明らかである場合に、検出されている道路端の情報をレーン特定に使用する構成に相当する。なお、最外検出線は、車両左側と右側のそれぞれに個別に適用される概念である。また、上記処理は、最外検出線と道路端との離隔が所定の最小レーン幅未満であることに基づいて、当該最外検出線から道路端までの領域を路側帯とみなす処理に相当する。
<ステップS5:道路端妥当性判定処理について>
ここでは図13を用いて道路端妥当性判定処理について説明する。当該処理は、道路端の回帰線によって定まった道路端の横位置が不正なものであるか否かを検証する処理である。道路端は、当然ながら、レーン内、すなわちレーン検出範囲には存在しない。本処理はそのような位置関係に着眼して創出されたものであり、一例としてステップS501~S506を備える。道路端妥当性判定処理としての図13に示すフローは、図4に示すレーン特定処理のステップS5として実行される。
ここでは図13を用いて道路端妥当性判定処理について説明する。当該処理は、道路端の回帰線によって定まった道路端の横位置が不正なものであるか否かを検証する処理である。道路端は、当然ながら、レーン内、すなわちレーン検出範囲には存在しない。本処理はそのような位置関係に着眼して創出されたものであり、一例としてステップS501~S506を備える。道路端妥当性判定処理としての図13に示すフローは、図4に示すレーン特定処理のステップS5として実行される。
ステップS501では回帰式で定まる判定ポイントにおける左側道路端の位置がステップS3で算出されたレーン検出範囲の左側に存在するか否かを判定する。例えば回帰式に基づいて定まる左側道路端の横位置がレーン検出範囲の左側端部の横位置よりも左側となっているか否かを判定する。なお、左側道路端の横位置が、レーン検出範囲の左側端部の横位置よりも右側となっている場合とは、回帰式で定まる左側道路端の算出位置がレーン検出範囲に入り込んでいることを意味する。
左側道路端の推定位置がレーン検出範囲の左側に位置している場合にはステップS501を肯定判定してステップS502を実行する。一方、左側道路端の推定位置が、レーン検出範囲の左側端部よりも右側に位置している場合にはステップS501を否定判定してステップS503を実行する。
ステップS502では回帰式で定まる左側道路端の推定位置を、左側道路端の横位置として採用してステップS504に移る。ステップS503では、回帰式で定まる左側道路端の推定位置を破棄してステップS504に移る。当該処理は、左側道路端の算出位置は誤りであると判定する処理に相当する。ステップS503を実行する場合、左側道路端の位置は不明として処理される。
ステップS504では、回帰式で定まる右側道路端の推定位置がステップS3で算出されたレーン検出範囲の右側に存在するか否かを判定する。例えば回帰式で定まった右側道路端の横位置がレーン検出範囲の右側端部の横位置よりも右側となっているか否かを判定する。なお、右側道路端の横位置が、レーン検出範囲の右側端部の横位置よりも左側となっている場合とは、回帰式で定まる右側道路端の推定位置がレーン検出範囲に入り込んでいることを意味する。
右側道路端の推定位置がレーン検出範囲の右側に位置している場合にはステップS504を肯定判定してステップS505を実行する。一方、右側道路端の推定位置がレーン検出範囲の右側端部の左側に位置している場合にはステップS504を否定判定してステップS506を実行する。
ステップS505では回帰式で定まる右側道路端の推定位置を、右側道路端の横位置として採用して本フローを終了する。ステップS506では、回帰式で定まる右側道路端の推定位置を破棄して本フローを終了する。当該処理は、右側道路端の算出位置は誤りであると判定する処理に相当する。ステップS506の場合、右側道路端の位置は不明として処理される。
以上の処理によれば、他車両のエッジを道路端の一部と誤認識するなどに起因して、回帰式から定まる判定ポイントでの道路端の横位置が不正な値となっている場合、そのことを検出して、当該演算結果を破棄する事が可能となる。その結果、道路端位置の誤認識に起因して走行レーンを誤判定するおそれを低減できる。
<ステップS6:地図整合性判定処理について>
ここでは図14を用いて地図整合性判定処理について説明する。地図整合性判定処理はこれまでの処理で算出した路側帯幅や、レーン検出範囲、道路端位置などが、地図に登録されているデータと比較して妥当なものであるか否かを判定する処理である。本実施例では一例として地図整合性判定処理はステップS601~S606を備える。地図整合性判定処理としての図14に示すフローは、図4に示すレーン特定処理のステップS6として実行される。
ここでは図14を用いて地図整合性判定処理について説明する。地図整合性判定処理はこれまでの処理で算出した路側帯幅や、レーン検出範囲、道路端位置などが、地図に登録されているデータと比較して妥当なものであるか否かを判定する処理である。本実施例では一例として地図整合性判定処理はステップS601~S606を備える。地図整合性判定処理としての図14に示すフローは、図4に示すレーン特定処理のステップS6として実行される。
まずステップS601では、判定ポイントでの左右の道路端の横位置を取得できているか否かを判定する。例えば道路端傾き判定処理のステップS205や、道路端妥当性判定処理のステップS503、ステップS506などで、左右の道路端のうちの少なくとも何れか一方の位置情報が破棄されている場合には、ステップS601が否定判定される。判定ポイントでの左右の道路端の横位置を取得できている場合にはステップS601が肯定判定されてステップS602を実行する。一方、左右の道路端の何れか一方でも、判定ポイントでの横位置を取得失敗している場合にはステップS601を否定判定してステップS606を実行する。
ステップS602では、左右の道路端の位置の差を道路幅RWとして算出してステップS603に移る。ステップS603では、前ステップS602で算出した道路幅RWから路側帯幅の算出値RsWを減算した値を、標準レーン幅LWstdで除算することで、レーン数の推定値である推定レーン数Nfを算出する。つまり、推定レーン数Nfは、(RW-RsW)/LWstdにて算出される。推定レーン数Nfは実数であって小数点以下の値を含む。推定レーン数Nfは、例えば浮動小数点型で表現可能である。
標準レーン幅LWstdは、自車両が使用される地域の法規に基づいて、レーンの幅の標準的な値に設定されている。例えば標準レーン幅LWstdは3.0mに設定されている。もちろん、最小レーン幅LWminは2.5mや2.75m、3.5mなどであってもよい。標準レーン幅LWstdの設定値は、自車両が走行している道路種別に応じて変更されてもよい。例えば自車両が高速道路を走行している場合の標準レーン幅LWstdは、自車両が一般道路を走行している場合の標準レーン幅LWstdよりも大きく設定されてもよい。そのような構成によれば標準レーン幅LWstdとして道路種別に応じた設定値が適用されるため、ステップS604で誤判定するおそれを抑制する事が可能となる。ステップS603での演算処理が完了するとステップS604を実行する。
ステップS604では、地図データに登録されているレーン数であるマップレーン数Nmと推定レーン数Nfの差の絶対値が所定の閾値以下となっているか否かを判定する。ここで用いる閾値は、誤差の許容範囲の上限に相当するものである。種々の認識結果が完全に正当であれば、マップレーン数Nmと推定レーン数Nfの差であるレーン数差は0となる。ただし、推定レーン数Nfは小数成分を有するため、前方カメラ11が道路端や種々のレーン境界線を正しく検出できている場合であっても、レーン数差は0.1や0.3などの値を取りうる。レーン数差の絶対値に対する閾値は、どこまでの誤差を許容するかによって設定されるものであって、例えば0.5に設定されている。もちろん、レーン数差に対する閾値は0.3や1などであってもよい。なお、レーン数差が1を超過する場合には、道路幅又は路側帯幅に、レーン1つ分以上の認識誤差があることを意味する。故に、レーン数差に対する閾値は1未満に設定されていることが好ましい。
レーン数差の絶対値が所定の閾値未満である場合にはステップS604を肯定判定してステップS605を実行する。一方、レーン数差の絶対値が所定の閾値以上である場合にはステップS604を否定判定してステップS606を実行する。なお、レーン数差の絶対値が所定の閾値以上であるということは、地図に登録されている内容と、位置推定器20が認識している内容の乖離が大きい(つまり整合していない)ことを意味する。ここでの位置推定器20が認識している内容とは、例えば道路幅及び路側帯幅の少なくとも何れか一方とすることができる。
ステップS605では、地図に登録されている内容と、位置推定器20での認識内容が整合していると判定して本フローを終了する。ステップS606では、道路構造に関する取得データのどこか(例えば路側帯幅の算出値)が不正であるとして、レーン特定処理を中断する。レーン特定処理を中断した場合には、走行レーンが不明であると判定すればよい。なお、ステップS606では他の態様として、路側帯幅を所定の値に設定し直して後続する処理を継続してもよい。
上記構成によれば、路側帯幅の算出値や道路端位置の算出値が正しいか否かを判別可能となる。例えば、道路端に隣接するレーン境界線を検出できていない場合には、レーンに相当する領域を路側帯として扱ってしまい、路側帯の幅を大きく間違えることがありうる。そのような課題に対し、仮に路側帯幅の算出値が実際の路側帯幅に対して大きすぎる場合には、上記処理によって算出されるレーン数差が例えば1.5などの1以上の値となり、エラー処理される。つまり、上記処理によれば、路側帯幅の算出値の異常を検出してエラー処理することができる。
なお、ステップS606では、マップレーン数Nmに標準レーン幅LWstdをかけた値を地図ベース走行領域幅として算出し、道路幅RWから地図ベース走行領域幅を減算した値を路側帯幅RsWとして採用しても良い。
また、以上では例えば路側帯の幅などの道路構造に関する地図と位置推定器20での認識/演算内容との整合性の判定指標としてマップレーン数と推定レーン数の差を用いる態様を開示したがこれに限らない。例えば認識結果に基づく道路幅RWから路側帯幅RsWを減算してなる認識ベース走行領域幅と、地図に登録されているデータに基づいて定まる地図ベース走行領域幅との差を判定指標として採用しても良い。ここでの走行領域とは、道路においてレーンが形成されている全範囲を指す。走行領域は換言すれば、道路から路側帯や歩道を除外した部分に相当する。
また、レーン特定部F4は、地図に登録されている道路幅又は回帰線を用いて算出している道路幅RWから、地図ベース走行領域幅を減算した値を地図ベース路側帯幅として算出する。そして、上記処理で算出している路側帯幅RsWと地図ベース路側帯幅の差を判定指標として採用しても良い。
加えて、地図に道路幅が登録されている場合には、ステップS602で算出した道路幅と、地図に登録されている道路幅の差を判定指標として採用しても良い。その場合には、路側帯幅の算出値の妥当性までは評価できないものの、道路端位置の算出結果が妥当であるか否かは判定可能となる。
<ステップS8:個別レーン位置特定処理について>
ここでは図15を用いて個別レーン位置特定処理について説明する。個別レーン位置特定処理は、検出されている個々のレーンの横位置範囲を算出する処理である。本実施例では一例として個別レーン位置特定処理はステップS801~S803を備える。個別レーン位置特定処理としての図15に示すフローは、図4に示すレーン特定処理のステップS8として実行される。
ここでは図15を用いて個別レーン位置特定処理について説明する。個別レーン位置特定処理は、検出されている個々のレーンの横位置範囲を算出する処理である。本実施例では一例として個別レーン位置特定処理はステップS801~S803を備える。個別レーン位置特定処理としての図15に示すフローは、図4に示すレーン特定処理のステップS8として実行される。
まずステップS801では、レーン幅にレーン数を乗じた値に路側帯幅の算出値RsWを加えた値を、道路幅として算出する。そして、左または右側の道路端を基準として、道路幅を用いて、レーン境界線が存在しうる横位置範囲(換言すればX座標の範囲)の上限値及び下限値を決定する。例えば、道路幅が15mと算出され、且つ、基準とする左側道路端のX座標が車両左側5m相当の値となっている場合には、車両左側5.0m地点(X:-5.0)をレーン境界線の横位置下限値に設定する。そして、車両右側10mに相当するX座標(X:+10.0)をレーン境界線の横位置の上限値に設定する。
基準とする道路端は、横位置を算出できている方の道路端とすればよい。例えば、右側道路端の横位置は算出成功している一方、左側道路端の横位置が不明となっている場合には、右側道路端を基準として、レーン境界線の横位置の上下限値を設定する。道路端の横位置が不明である場合には、単純に認識できていない場合に加えて、例えばステップS4の道路端妥当性判定処理で道路端情報が破棄された場合も含まれる。なお、仮に左側と右側の両方の道路端の横位置を取得できている場合には、自車両から近い方の道路端を基準とすればよい。自車両から近い方の道路端のほうが遠方の道路端よりも位置推定精度が高いことが期待できるためである。本ステップS801で使用するレーン幅は例えばステップS7で算出した走行レーン幅とすることができる。また、レーン数としては、地図に登録されているレーン数を使用することができる。ステップS801での処理が完了するとステップS802に移る。
ステップS802では、互いに隣接する検出境界線のセットをレーン候補として設定してステップS803に移る。ステップS803では、左右の検出境界線の横位置(つまりX座標)が両方ともステップS801で設定したレーン境界線が存在しうる横位置範囲に収まっているレーン候補をレーンとして特定する。また、特定したレーンを構成する右側境界線と左側境界線の位置座標を決定する。
以上の処理により、前方カメラ11で検出されているレーン境界線の位置を特定でき、自車両が右/左から何番目のレーンを走行しているかを特定可能となる。つまり、走行レーンのレーンIDが特定可能となる。
<上記構成の効果>
上記で述べた提案構成によれば、実際の路側帯の幅を考慮した上で道路端からの距離に基づいて、走行レーンが特定される。その際、周辺車両の走行軌跡を使用する必要はない。故に、周辺車両がいなくとも走行レーンを特定することができる。
上記で述べた提案構成によれば、実際の路側帯の幅を考慮した上で道路端からの距離に基づいて、走行レーンが特定される。その際、周辺車両の走行軌跡を使用する必要はない。故に、周辺車両がいなくとも走行レーンを特定することができる。
また、上記構成では路側帯幅を、道路端やレーン境界線の認識結果に基づいて算出し、当該路側帯幅の算出値を用いて走行レーンを決定する。比較構成としては、適宜設計された、固定の路側帯幅を用いて走行レーンを特定する構成が考えられる。しかしながら、路側帯幅は、場所によって異なる。例えば、路側帯幅を0.5mなどの相対的に小さい値に設定した構成では、退避区間など幅が広い路側帯がある道路区間においては、路側帯幅の設計値と実際の値との乖離が大きくなり、実際には路側帯である領域を第1レーンと誤判定して、走行レーンを誤りうる。或いは、路側帯幅を2.2mなどの相対的に大きい値に設定した構成では、路側帯が殆どない道路区間においては、実際には第1レーンである領域を路側帯と誤判定して、走行レーンを誤りうる。このように路側帯幅を固定値とする比較構成では、実際の路側帯幅と路側帯幅の設計値との乖離によって、走行レーンを誤りうる。
そのような比較構成に対して、本提案構成によれば、レーンが存在する横位置(レーン検出領域)と道路端との距離を路側帯の幅として算出して用いる。このような構成によれば、走行レーンの特定に使用する路側帯幅として、実際の路側帯幅に近い値を動的に適用することができる。故に、自車両の走行レーンを比較構成よりも精度良く特定可能となる。
また、道路端は白線のように掠れたりしない。さらに、道路端は立体的な構造である場合が多い。そのため、積雪時や水溜まり発生時でも、道路端はレーン境界線より検出されやすい。そのため、道路端を基準として走行レーンを特定する上記提案構成は、レーン境界線の線種を用いて走行レーンを特定する構成に比べてロバスト性を高めることができるといった利点を有する。
以上、本開示の実施形態を説明したが、本開示は上述の実施形態に限定されるものではなく、以降で述べる種々の変形例も本開示の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。例えば下記の種々の変形例は、技術的な矛盾が生じない範囲において適宜組み合わせて実施することができる。なお、前述の実施形態で述べた部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。また、構成の一部のみに言及している場合、他の部分については先に説明した実施形態の構成を適用することができる。
<路側帯幅の算出値の取り扱いについて>
路側帯幅の算出値RsWが、所定の路側帯用閾値を超過している場合には、路側帯幅の算出値RsWは誤りと判定して、レーン特定処理を中断するように構成されていても良い。路側帯用閾値は、路側帯のありえる幅の最大値である。例えば日本国内において路側帯用閾値は2.5mに設定可能である。路側帯幅用閾値は、0.75mや1.5mなどに設定されても良い。路側帯用閾値は、位置推定器20が使用される地域の法規に準拠して設定されることが好ましい。また、路側帯用閾値は、自車両が走行している道路の種別に応じて変更されても良い。高速道路においては2.0mなど相対的に大きい値を適用する一方、一般道路においては0.75mや0.8mに設定されても良い。
路側帯幅の算出値RsWが、所定の路側帯用閾値を超過している場合には、路側帯幅の算出値RsWは誤りと判定して、レーン特定処理を中断するように構成されていても良い。路側帯用閾値は、路側帯のありえる幅の最大値である。例えば日本国内において路側帯用閾値は2.5mに設定可能である。路側帯幅用閾値は、0.75mや1.5mなどに設定されても良い。路側帯用閾値は、位置推定器20が使用される地域の法規に準拠して設定されることが好ましい。また、路側帯用閾値は、自車両が走行している道路の種別に応じて変更されても良い。高速道路においては2.0mなど相対的に大きい値を適用する一方、一般道路においては0.75mや0.8mに設定されても良い。
また、位置推定器20が算出した路側帯幅は、図16に示すように、複数の車両からのプローブデータをもとに道路地図を生成及び更新する地図生成サーバ6にアップロードされてもよい。V2X車載器14は、位置推定器20が特定した路側帯幅のデータを、判定ポイントの位置座標などとともに地図生成サーバ6に無線送信するように構成されていても良い。そのような構成によれば、地図生成サーバ6は、複数の車両からアップロードされた路側帯幅の情報をもとに、路側帯幅の情報を含む高精度地図を作成可能となる。なお、図16では、前方カメラ11など、運転支援システム1が備える構成の一部の図示を省略している。同様に位置推定器20はV2X車載器14と連携して、算出した道路端の位置座標、レーン境界線の位置座標などを地図生成サーバ6にアップロードするように構成されていても良い。
さらに、位置推定器20が算出した路側帯幅は、運転支援ECU30で次のように利用されても良い。すなわち、運転支援ECU30は、例えばMRM(Minimum Risk Maneuver)を実施する場合、位置推定器20から取得した路側帯幅情報を用いて、車両前方に安全に停車できる場所としての路側帯が存在するか否かを判断してもよい。例えば運転支援ECU30は位置推定器20から十分な幅を有する路側帯が存在することが通知されている場合にはMRMとして路側帯に向かう走行計画を作成してもよい。また、路側帯がないことが位置推定器20から通知されている場合には、現在の走行レーン内に停車する走行計画を作成してもよい。すなわち、運転支援ECU30は位置推定器20から路側帯幅情報を取得することにより、MRMの挙動として、ゆるやかに現在の走行レーン内に停車するか、路側帯に停車するかを選択可能となる。MRMとして路側帯に停車する態様を選択可能とすることにより、停車後に他車両に追突されるリスクを低減可能となる。ひいては後続車にとっても、MRMで停車した車両に接触するリスクを低減できるといった利点を有する。
<道路端の検出結果の扱いについて>
また、前方カメラ11で検出されている最も右側のレーン境界線(つまり右側最外検出線)からレーン1つ分以上右側に道路端がある場合には、右側最外検出線から右側道路端までの全体が路側帯であるのか、未検出のレーンが存在するのかが不明となる。そのため、右側最外検出線から右側道路端までの距離が最小レーン幅LWmin以上である場合には、右側道路端を道路端として不採用とするように構成されていてもよい。その場合には反対側の(つまり左側の)道路端を用いてレーン位置を特定すれば良い。また、右側最外検出線から右側道路までの距離が最小レーン幅LWmin未満である場合には、右側道路端を道路端として採用とすればよい。右側路側帯幅は、右側最外検出線から右側道路端までの距離とすることができる。前方カメラ11で検出されている最も左側のレーン境界線(つまり左側最外検出線)からレーン1つ分以上左側に道路端がある場合も同様とすることができる。
また、前方カメラ11で検出されている最も右側のレーン境界線(つまり右側最外検出線)からレーン1つ分以上右側に道路端がある場合には、右側最外検出線から右側道路端までの全体が路側帯であるのか、未検出のレーンが存在するのかが不明となる。そのため、右側最外検出線から右側道路端までの距離が最小レーン幅LWmin以上である場合には、右側道路端を道路端として不採用とするように構成されていてもよい。その場合には反対側の(つまり左側の)道路端を用いてレーン位置を特定すれば良い。また、右側最外検出線から右側道路までの距離が最小レーン幅LWmin未満である場合には、右側道路端を道路端として採用とすればよい。右側路側帯幅は、右側最外検出線から右側道路端までの距離とすることができる。前方カメラ11で検出されている最も左側のレーン境界線(つまり左側最外検出線)からレーン1つ分以上左側に道路端がある場合も同様とすることができる。
<道路端の検出方法の補足>
本実施形態の前方カメラ11は、路面の終端部を道路端として検出する。例えば道路の外側が未舗装の地面である場合には、当該舗装路と未舗装部分の境界を画像フレームの輝度分布を解析することにより(例えばエッジ検出により)道路端として検出する。また、歩道用の段差等、立体的な構造物である道路端立設物が道路の端部に形成されている場合には、当該道路端立設物と路面との接合部分、つまり道路端立設物の最下部を道路端として検出する。路面から立設する部分もまた、画像フレームの輝度分布を解析することにより、道路端として検出可能である。
本実施形態の前方カメラ11は、路面の終端部を道路端として検出する。例えば道路の外側が未舗装の地面である場合には、当該舗装路と未舗装部分の境界を画像フレームの輝度分布を解析することにより(例えばエッジ検出により)道路端として検出する。また、歩道用の段差等、立体的な構造物である道路端立設物が道路の端部に形成されている場合には、当該道路端立設物と路面との接合部分、つまり道路端立設物の最下部を道路端として検出する。路面から立設する部分もまた、画像フレームの輝度分布を解析することにより、道路端として検出可能である。
このように路面から立設する構造物との境界を道路端として検出する構成によれば次の効果を奏する。一般的に高速道路沿いの側壁などは、図17に示すように、路面から数10cmほど一段上がった段差部のさらに外側に立設されるケースがある。仮に側壁の位置を道路端として採用する構成では、段差部が形成されている部分を走行可能な部分と誤認識してしまう恐れがある。その結果、タイヤやボディが段差部に接触するおそれがある。そのような想定構成に対し、本実施形態のように路面平面の終端部分を道路端として採用する構成によれば、上記の問題が生じるおそれを低減できる。他の態様として、位置推定器20は側壁やガードレールなどの位置を道路端の位置として使用するように構成されていても良い。
<走行レーン情報の用途について>
上記位置推定器20によって特定された走行レーンのレーンIDは、例えば車線変更を伴う自動運転を実施する際には必須の情報となる。例えば自動運転装置としての運転支援ECU30は、位置推定器20で特定された走行レーンのレーンIDに基づいて、車線変更を伴う走行計画を作成するように構成されていても良い。また、運行設計領域(ODD:Operational Design Domain)として、自動運転可能な道路がレーン単位で規定される場合もあり得る。そのような制約下においては、自動運転システムは、自車両が自動運転可能なレーンに存在するか否かを精度良く特定する必要がある。例えば、自車両が自動運転可能なレーンに存在しない、又は、自動運転が許可されていないレーンに退出せざるを得ないと判定した場合には、運転席乗員やオペレータに運転権限を移譲したり、MRMを実行したりするなどのシステム応答を実施する必要がある。このような需要に対しても本開示の構成は走行環境に対するロバスト性が高いため有用となりうる。
上記位置推定器20によって特定された走行レーンのレーンIDは、例えば車線変更を伴う自動運転を実施する際には必須の情報となる。例えば自動運転装置としての運転支援ECU30は、位置推定器20で特定された走行レーンのレーンIDに基づいて、車線変更を伴う走行計画を作成するように構成されていても良い。また、運行設計領域(ODD:Operational Design Domain)として、自動運転可能な道路がレーン単位で規定される場合もあり得る。そのような制約下においては、自動運転システムは、自車両が自動運転可能なレーンに存在するか否かを精度良く特定する必要がある。例えば、自車両が自動運転可能なレーンに存在しない、又は、自動運転が許可されていないレーンに退出せざるを得ないと判定した場合には、運転席乗員やオペレータに運転権限を移譲したり、MRMを実行したりするなどのシステム応答を実施する必要がある。このような需要に対しても本開示の構成は走行環境に対するロバスト性が高いため有用となりうる。
また、ナビゲーション装置を含むHMIシステムにおいては、ヘッドアップディスプレイでターンバイターン情報や施設案内情報などを、実世界にマッチする態様で表示したいといった需要がある。自車両の走行レーンの認識が1レーンでもずれてしまうと、ヘッドアップディスプレイでの表示画像と実世界とのずれが大きくなってしまう。つまり、自動運転分野だけでなく、ナビゲーションの技術分野においても自車両の走行レーンを精度良く特定可能な構成が求められている。そのような需要に対しても、上記提案構成は有用となりうる。
<システム構成の補足>
上述した実施形態では位置推定器20を前方カメラ11の外側に配置した構成を例示したが、位置推定器20の配置態様はこれに限らない。図18に示すように位置推定器20の機能はカメラECU41に内在していてもよい。また、図19に示すように、位置推定器20の機能は運転支援ECU30に内在していてもよい。位置推定器20の機能を含む運転支援ECU30が走行制御装置に相当する。加えて、カメラECU41の機能(主として識別器G1)もまた運転支援ECU30が備えていても良い。すなわち、前方カメラ11は画像データを運転支援ECU30に出力して、運転支援ECU30が画像認識などの処理を実行するように構成されていても良い。図18、図19では、運転支援システム1が備える構成の一部の図示を省略している。
上述した実施形態では位置推定器20を前方カメラ11の外側に配置した構成を例示したが、位置推定器20の配置態様はこれに限らない。図18に示すように位置推定器20の機能はカメラECU41に内在していてもよい。また、図19に示すように、位置推定器20の機能は運転支援ECU30に内在していてもよい。位置推定器20の機能を含む運転支援ECU30が走行制御装置に相当する。加えて、カメラECU41の機能(主として識別器G1)もまた運転支援ECU30が備えていても良い。すなわち、前方カメラ11は画像データを運転支援ECU30に出力して、運転支援ECU30が画像認識などの処理を実行するように構成されていても良い。図18、図19では、運転支援システム1が備える構成の一部の図示を省略している。
また、以上では位置推定器20は前方カメラ11を用いて自車両に対する道路端の位置を検出する構成を開示したが、これに限らない。図20に示すように自車両に対する道路端の位置を検出するためのデバイスは、ミリ波レーダ19Aや、LiDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)19B、ソナーなどであってもよい。ミリ波レーダ19Aや、LiDAR19B、ソナーなどが測距センサに相当する。また、自車両の側方を撮像する側方カメラや、後方を撮像する後方カメラを用いて、道路端やレーン境界線を検出するように構成されていても良い。前方カメラ11や側方カメラ、後方カメラが撮像装置に相当する。位置推定器20は、複数種類のデバイスを併用して道路端等を検出するように構成されていてもよい。つまり位置推定器20は、センサフュージョンにより道路端及びレーン境界線の位置を決定しても良い。道路端の位置は、回帰線を用いずに、認識ソフトウェアで認識されている位置をそのまま用いても良い。
<付言(1)>
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。例えば、位置推定器20が提供する手段および/または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。位置推定器20が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。処理部21は、CPUの代わりに、MPUやGPU、DFP(Data Flow Processor)を用いて実現されていてもよい。また、処理部21は、CPUや、MPU、GPUなど、複数種類の演算処理装置を組み合せて実現されていてもよい。さらに、ECUは、FPGA(field-programmable gate array)や、ASIC(application specific integrated circuit)を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよい。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、SD(Secure Digital)メモリカード等、多様な記憶媒体を採用可能である。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。また、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。さらに、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。例えば、位置推定器20が提供する手段および/または機能は、実体的なメモリ装置に記録されたソフトウェアおよびそれを実行するコンピュータ、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの組合せによって提供できる。位置推定器20が備える機能の一部又は全部はハードウェアとして実現されても良い。或る機能をハードウェアとして実現する態様には、1つ又は複数のICなどを用いて実現する態様が含まれる。処理部21は、CPUの代わりに、MPUやGPU、DFP(Data Flow Processor)を用いて実現されていてもよい。また、処理部21は、CPUや、MPU、GPUなど、複数種類の演算処理装置を組み合せて実現されていてもよい。さらに、ECUは、FPGA(field-programmable gate array)や、ASIC(application specific integrated circuit)を用いて実現されていても良い。各種プログラムは、非遷移的実体的記録媒体(non- transitory tangible storage medium)に格納されていればよい。プログラムの保存媒体としては、HDD(Hard-disk Drive)やSSD(Solid State Drive)、EPROM(Erasable Programmable ROM)、フラッシュメモリ、USBメモリ、SD(Secure Digital)メモリカード等、多様な記憶媒体を採用可能である。
<付言(2)>
本開示には以下の技術思想も含まれる。
本開示には以下の技術思想も含まれる。
[構成(1)]
車両の周辺環境を撮像する撮像装置(11)が生成した画像を解析することにより検出されるレーン境界線の位置情報を取得する境界線情報取得部(F32)と、
撮像装置、及び、探査波又はレーザ光を送信することで車両の所定方向に存在する物体を検出する測距センサ(19A、19B)の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する道路端情報取得部(F31)と、
検出されているレーン境界線のうち、最も外側のレーン境界線である最外検出線から、道路端までの横方向距離を路側帯候補幅として算出する路側帯幅算出部(F41)と、を備え、
路側帯候補幅が所定値未満であることを条件として、最外検出線から道路端までの領域を路側帯と判定する、路側帯認識装置。
車両の周辺環境を撮像する撮像装置(11)が生成した画像を解析することにより検出されるレーン境界線の位置情報を取得する境界線情報取得部(F32)と、
撮像装置、及び、探査波又はレーザ光を送信することで車両の所定方向に存在する物体を検出する測距センサ(19A、19B)の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する道路端情報取得部(F31)と、
検出されているレーン境界線のうち、最も外側のレーン境界線である最外検出線から、道路端までの横方向距離を路側帯候補幅として算出する路側帯幅算出部(F41)と、を備え、
路側帯候補幅が所定値未満であることを条件として、最外検出線から道路端までの領域を路側帯と判定する、路側帯認識装置。
一般的に路側帯(換言すれば路肩)の幅は道路区間によって異なるため、路側帯かレーンであるかの識別は難しい。上記構成によれば路側帯に相当する領域を精度良く認識可能となる。路側帯の認識に関連する想定構成としては、レーン境界線の線種(実線、破線)に基づいてレーン境界線の外側が路側帯であるか否かを判定する構成も考えられる。しかし、レーン境界線が実線/破線だから必ずしもその外側が路側帯に相当するとは限らない。すなわち、想定構成では路側帯であるか否かを誤判定するおそれがある。
そのような課題、上記構成(1)によれば、道路端から検出レーン境界線までの距離からに応じて、その間の領域が路側帯に相当するか否かを判定する。そのため、路側帯か否かを誤判定するおそれを低減することができる。
[構成(2)]
上記構成(1)に記載の路側帯認識装置であって、算出した路側帯の幅を自動運転装置に送信するように構成されている路側帯認識装置。
上記構成(1)に記載の路側帯認識装置であって、算出した路側帯の幅を自動運転装置に送信するように構成されている路側帯認識装置。
[構成(3)]
上記構成(1)に記載の路側帯認識装置であって、
自車の位置を取得する自車位置取得部(F1、F7)を備え、
算出した路側帯の幅を示す情報を、自車両の位置情報とともに、車両外部に配置されている地図生成サーバに送信するように構成されている、路側帯認識装置。
上記構成(1)に記載の路側帯認識装置であって、
自車の位置を取得する自車位置取得部(F1、F7)を備え、
算出した路側帯の幅を示す情報を、自車両の位置情報とともに、車両外部に配置されている地図生成サーバに送信するように構成されている、路側帯認識装置。
[構成(4)]
車両の周辺環境を撮像する撮像装置(11)が生成した画像を解析することにより検出されるレーン境界線の位置情報を取得するとともに、
撮像装置、及び、探査波又はレーザ光を送信することで車両の所定方向に存在する物体を検出する測距センサ(19A、19B)の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得するステップ(S1)と、
検出されているレーン境界線のうち、最も外側のレーン境界線である最外検出線から、道路端までの横方向距離を路側帯候補幅として算出する路側帯幅算出ステップ(S4)と、を備え、
路側帯候補幅が所定値未満であることを条件として、最外検出線から道路端までの領域を路側帯と判定する、路側帯認識方法。
車両の周辺環境を撮像する撮像装置(11)が生成した画像を解析することにより検出されるレーン境界線の位置情報を取得するとともに、
撮像装置、及び、探査波又はレーザ光を送信することで車両の所定方向に存在する物体を検出する測距センサ(19A、19B)の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得するステップ(S1)と、
検出されているレーン境界線のうち、最も外側のレーン境界線である最外検出線から、道路端までの横方向距離を路側帯候補幅として算出する路側帯幅算出ステップ(S4)と、を備え、
路側帯候補幅が所定値未満であることを条件として、最外検出線から道路端までの領域を路側帯と判定する、路側帯認識方法。
[構成(5)]
車両の外部を撮像する撮像装置(11)が生成した画像を解析することにより検出されるレーン境界線の位置情報を取得する境界線情報取得部(F32)と、
探査波又はレーザ光を送信することで車両の所定方向に存在する物体を検出する測距センサ(19A、19B)及び撮像装置の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する道路端情報取得部(F31)と、
検出されているレーン境界線のうち、最も外側のレーン境界線である最外検出線から、道路端までの横方向距離を路側帯幅として算出する路側帯幅算出部(F41)と、
車両内又は外部に配置された地図記憶部から、自車両が走行している道路のレーン数を含む地図情報を取得する地図取得部(F2)と、
道路端情報取得部が取得した道路端の位置情報と、地図取得部が取得した地図情報に含まれるレーン数と、路側帯幅算出部が算出した路側帯幅に基づいて、自車両の走行レーンを特定する走行レーン特定部(F4)と、を備え、
走行レーン特定部が特定した走行レーンの情報を所定の運行記録装置に出力するように構成された、路側帯認識装置。
車両の外部を撮像する撮像装置(11)が生成した画像を解析することにより検出されるレーン境界線の位置情報を取得する境界線情報取得部(F32)と、
探査波又はレーザ光を送信することで車両の所定方向に存在する物体を検出する測距センサ(19A、19B)及び撮像装置の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する道路端情報取得部(F31)と、
検出されているレーン境界線のうち、最も外側のレーン境界線である最外検出線から、道路端までの横方向距離を路側帯幅として算出する路側帯幅算出部(F41)と、
車両内又は外部に配置された地図記憶部から、自車両が走行している道路のレーン数を含む地図情報を取得する地図取得部(F2)と、
道路端情報取得部が取得した道路端の位置情報と、地図取得部が取得した地図情報に含まれるレーン数と、路側帯幅算出部が算出した路側帯幅に基づいて、自車両の走行レーンを特定する走行レーン特定部(F4)と、を備え、
走行レーン特定部が特定した走行レーンの情報を所定の運行記録装置に出力するように構成された、路側帯認識装置。
Claims (11)
- 自車両の周辺の所定範囲を撮像する撮像装置(11)、及び、探査波又はレーザ光を送信することで自車両の所定方向に存在する物体を検出する測距センサ(19A、19B)の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する道路端情報取得部(F31)と、
自車両内又は外部に配置された地図記憶部から、自車両が走行している道路のレーン数を含む地図情報を取得する地図取得部(F2)と、
前記道路端情報取得部が取得した前記道路端の位置情報と、前記地図取得部が取得した前記地図情報に含まれるレーン数と、に基づいて、自車両の走行レーンを特定する走行レーン特定部(F4)と、備える自車位置推定装置。 - 請求項1に記載の自車位置推定装置であって、
前記撮像装置が生成した画像を解析することにより検出されるレーン境界線の位置情報を取得する境界線情報取得部(F32)と、
検出されている前記レーン境界線のうち、最も外側の前記レーン境界線である最外検出線から、前記道路端までの横方向距離を路側帯幅として算出する路側帯幅算出部(F41)と、を備え、
前記走行レーン特定部は、自車両から前記道路端までの距離と、前記路側帯幅と、前記地図情報に含まれるレーン数と、に基づいて前記走行レーンを特定する、自車位置推定装置。 - 請求項2に記載の自車位置推定装置であって、
前記路側帯幅が所定の閾値未満であることを条件として、前記最外検出線から前記道路端までの領域を路側帯とみなし、
前記走行レーン特定部は、前記路側帯に隣接するレーンを基準に前記走行レーンを特定する、自車位置推定装置。 - 請求項2又は3に記載の自車位置推定装置であって、
前記走行レーン特定部は、前記道路端よりも外側に検出されている前記レーン境界線の情報は、前記走行レーンの特定に用いないように構成されている、自車位置推定装置。 - 請求項2から4の何れか1項に記載の自車位置推定装置であって、
前記走行レーン特定部は、互いに隣接する2つの前記レーン境界線の間隔が所定の最小レーン幅よりも小さい場合、当該2つの前記レーン境界線のうちの外側の位置する前記レーン境界線の情報は、前記走行レーンの特定に用いないように構成されている、自車位置推定装置。 - 請求項2から5の何れか1項に記載の自車位置推定装置であって、
前記走行レーン特定部は、前記道路端として、車両左側に存在する左側道路端と車両右側に存在する右側道路端の両方の位置情報を取得できている場合、
前記左側道路端と前記右側道路端の間隔と前記路側帯幅を用いてレーン数の推定値である推定レーン数を算出するとともに、
地図に登録されているレーン数と前記推定レーン数の差が所定の閾値以上である場合には、算出されている前記路側帯幅は誤りと判定するか、前記走行レーンの特定を中断する、自車位置推定装置。 - 請求項2から6の何れか1項に記載の自車位置推定装置であって、
前記走行レーン特定部は、
検出されている前記レーン境界線の位置情報に基づいて、少なくともレーンが存在する領域であるレーン検出範囲を特定し、
前記道路端情報取得部が取得した前記道路端の位置が、前記レーン検出範囲の内側となっている場合には、当該道路端の位置情報は誤りとするか、前記走行レーンを特定する処理に当該道路端の情報を使用しないようするか、前記走行レーンを特定する処理を中断する、自車位置推定装置。 - 請求項2から7の何れか1項に記載の自車位置推定装置であって、
前記路側帯幅算出部によって算出された前記路側帯幅のデータを地図生成サーバ(6)にアップロードするように構成されている、自車位置推定装置。 - 請求項1から8の何れか1項に記載の自車位置推定装置であって、
前記道路端情報取得部は、前記道路端の検出点を母集団として生成される前記道路端の回帰線に基づいて、前記撮像装置が生成した画像内における所定の判定ポイントでの前記道路端の傾きを特定し、
前記走行レーン特定部は、当該道路端の傾きが所定の正常範囲外となっている場合には、前記道路端の認識結果は誤りと判断するか、前記走行レーンを特定する処理に当該道路端の情報を使用しないようにするか、又は、前記走行レーンを特定する処理を中断する、自車位置推定装置。 - 請求項1から9の何れか1項に記載の自車位置推定装置であって、
前記走行レーン特定部が前記走行レーンの特定に成功している場合、前記走行レーンの番号である走行レーン番号を、外部に出力するように構成されている、自車位置推定装置。 - 少なくとも1つのプロセッサによって実行される、自車両が走行しているレーンを特定する走行位置推定方法であって、
自車両の周辺の所定範囲を撮像する撮像装置(11)、及び、探査波又はレーザ光を送信することで自車両の所定方向に存在する物体を検出する測距センサ(19A、19B)の少なくとも何れか一方を用いて自車両に対する道路端の位置情報を取得する位置取得ステップ(S1)、
車両内又は外部に配置された地図記憶部から、自車両が走行している道路のレーン数を含む地図情報を取得する地図取得ステップ(S0)と、
前記位置取得ステップで取得された前記道路端の位置情報と、前記地図取得ステップで取得された前記地図情報に含まれるレーン数と、に基づいて自車両の走行レーンを特定する走行レーン特定ステップ(S9)と、備える走行位置推定方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE112021003371.9T DE112021003371T8 (de) | 2020-06-23 | 2021-06-14 | Fahrzeugpositionsschätzvorrichtung und Fahrpositionsschätzverfahren |
CN202180043958.7A CN115702450A (zh) | 2020-06-23 | 2021-06-14 | 本车位置推断装置、行驶位置推断方法 |
JP2022531789A JP7260064B2 (ja) | 2020-06-23 | 2021-06-14 | 自車位置推定装置、走行位置推定方法 |
US18/069,018 US11928871B2 (en) | 2020-06-23 | 2022-12-20 | Vehicle position estimation device and traveling position estimation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020-107959 | 2020-06-23 | ||
JP2020107959 | 2020-06-23 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US18/069,018 Continuation US11928871B2 (en) | 2020-06-23 | 2022-12-20 | Vehicle position estimation device and traveling position estimation method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021261304A1 true WO2021261304A1 (ja) | 2021-12-30 |
Family
ID=79281145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/022461 WO2021261304A1 (ja) | 2020-06-23 | 2021-06-14 | 自車位置推定装置、走行位置推定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11928871B2 (ja) |
JP (1) | JP7260064B2 (ja) |
CN (1) | CN115702450A (ja) |
DE (1) | DE112021003371T8 (ja) |
WO (1) | WO2021261304A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023175889A1 (ja) * | 2022-03-18 | 2023-09-21 | 本田技研工業株式会社 | 運転支援装置、運転支援方法、およびプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7354952B2 (ja) * | 2020-07-14 | 2023-10-03 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7216699B2 (ja) * | 2020-12-28 | 2023-02-01 | 本田技研工業株式会社 | 車両制御システム及び自車線特定方法 |
JP2022132882A (ja) * | 2021-03-01 | 2022-09-13 | キヤノン株式会社 | ナビゲーションシステム、ナビゲーション方法およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002225657A (ja) * | 2001-02-06 | 2002-08-14 | Oki Electric Ind Co Ltd | 車両の走行レーン検出システム |
JP2006185406A (ja) * | 2004-11-30 | 2006-07-13 | Nissan Motor Co Ltd | 物体検出装置、および方法 |
JP2014086071A (ja) * | 2012-10-26 | 2014-05-12 | Hyundai Motor Company Co Ltd | 車路認識方法及びシステム |
WO2017013692A1 (ja) * | 2015-07-21 | 2017-01-26 | 日産自動車株式会社 | 走行車線判定装置及び走行車線判定方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6017180B2 (ja) | 2012-05-18 | 2016-10-26 | クラリオン株式会社 | 車載用環境認識装置 |
CN108139217B (zh) * | 2015-09-30 | 2022-04-26 | 日产自动车株式会社 | 行驶控制方法及行驶控制装置 |
JP6870604B2 (ja) | 2017-03-16 | 2021-05-12 | 株式会社デンソー | 自己位置推定装置 |
US10657811B2 (en) | 2017-10-04 | 2020-05-19 | Toyota Motor Engineering & Manufacturing North America, Inc. | Travel lane identification without road curvature data |
US10668922B2 (en) | 2017-10-04 | 2020-06-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Travel lane identification without road curvature data |
EP3950453B1 (en) * | 2019-03-27 | 2024-01-24 | NISSAN MOTOR Co., Ltd. | Driving assistance method and driving assistance device |
JP7360269B2 (ja) * | 2019-08-01 | 2023-10-12 | 株式会社Subaru | 車両の走行制御装置 |
-
2021
- 2021-06-14 DE DE112021003371.9T patent/DE112021003371T8/de active Active
- 2021-06-14 JP JP2022531789A patent/JP7260064B2/ja active Active
- 2021-06-14 CN CN202180043958.7A patent/CN115702450A/zh active Pending
- 2021-06-14 WO PCT/JP2021/022461 patent/WO2021261304A1/ja active Application Filing
-
2022
- 2022-12-20 US US18/069,018 patent/US11928871B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002225657A (ja) * | 2001-02-06 | 2002-08-14 | Oki Electric Ind Co Ltd | 車両の走行レーン検出システム |
JP2006185406A (ja) * | 2004-11-30 | 2006-07-13 | Nissan Motor Co Ltd | 物体検出装置、および方法 |
JP2014086071A (ja) * | 2012-10-26 | 2014-05-12 | Hyundai Motor Company Co Ltd | 車路認識方法及びシステム |
WO2017013692A1 (ja) * | 2015-07-21 | 2017-01-26 | 日産自動車株式会社 | 走行車線判定装置及び走行車線判定方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023175889A1 (ja) * | 2022-03-18 | 2023-09-21 | 本田技研工業株式会社 | 運転支援装置、運転支援方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
DE112021003371T8 (de) | 2023-06-07 |
US11928871B2 (en) | 2024-03-12 |
JPWO2021261304A1 (ja) | 2021-12-30 |
DE112021003371T5 (de) | 2023-05-25 |
US20230122011A1 (en) | 2023-04-20 |
JP7260064B2 (ja) | 2023-04-18 |
CN115702450A (zh) | 2023-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11307040B2 (en) | Map information provision system | |
US10431094B2 (en) | Object detection method and object detection apparatus | |
WO2021261304A1 (ja) | 自車位置推定装置、走行位置推定方法 | |
CN109425343B (zh) | 本车位置推断装置 | |
US10384679B2 (en) | Travel control method and travel control apparatus | |
CN106352867B (zh) | 用于确定车辆自身位置的方法和设备 | |
US10890453B2 (en) | Vehicle localization device | |
RU2703440C1 (ru) | Способ и устройство управления движением | |
JP2011013039A (ja) | 車線判定装置及びナビゲーションシステム | |
CN102208035A (zh) | 图像处理***及位置测量*** | |
JP2022024741A (ja) | 車両制御装置、車両制御方法 | |
JP2020060369A (ja) | 地図情報システム | |
US20230106644A1 (en) | Systems and methods for detecting vehicle wheel slips | |
JP6996882B2 (ja) | 自動運転支援システム、自動運転支援方法、及び自動運転用のデータの地図データ構造 | |
CN115123232A (zh) | 驾驶支援装置、驾驶支援方法以及存储介质 | |
JP7031748B2 (ja) | 自己位置推定方法及び自己位置推定装置 | |
JP7510894B2 (ja) | 車両用表示制御装置、車両用表示制御方法 | |
US11828618B2 (en) | Map generation apparatus | |
CN115050205B (zh) | 地图生成装置以及位置识别装置 | |
US20240067222A1 (en) | Vehicle controller, vehicle control method, and vehicle control computer program for vehicle control | |
JP2022124233A (ja) | 車両用表示制御装置、車両用表示制御方法 | |
JP2023015597A (ja) | 表示制御装置および表示制御プログラム | |
KR20230071610A (ko) | 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법 | |
KR20230071607A (ko) | 차량 제어 시스템 및 그 차량 제어 시스템을 이용한 차량의 주행 방법 | |
CN116892919A (zh) | 地图生成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21828100 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2022531789 Country of ref document: JP Kind code of ref document: A |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21828100 Country of ref document: EP Kind code of ref document: A1 |