WO2020195166A1 - 環境認識装置 - Google Patents

環境認識装置 Download PDF

Info

Publication number
WO2020195166A1
WO2020195166A1 PCT/JP2020/003861 JP2020003861W WO2020195166A1 WO 2020195166 A1 WO2020195166 A1 WO 2020195166A1 JP 2020003861 W JP2020003861 W JP 2020003861W WO 2020195166 A1 WO2020195166 A1 WO 2020195166A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
environment
road
recognition device
map
Prior art date
Application number
PCT/JP2020/003861
Other languages
English (en)
French (fr)
Inventor
雅幸 竹村
フェリペ ゴメズカバレロ
遠藤　健
健 志磨
Original Assignee
日立オートモティブシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立オートモティブシステムズ株式会社 filed Critical 日立オートモティブシステムズ株式会社
Publication of WO2020195166A1 publication Critical patent/WO2020195166A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10—Map spot or coordinate position indicators; Map reading aids

Definitions

  • the present invention relates to an environment recognition device that recognizes the surrounding environment by using an environment measurement sensor and map information and outputs information necessary for control and alarm in advance.
  • Patent Document 1 in order to "reduce the possibility of erroneously recognizing the start position of branching or merging", "based on the imaging result by the imaging unit".
  • the road markings that recognize the road markings that indicate the boundaries of the lanes in front of the vehicle's course and the angle-changing sections that change at a predetermined angle with respect to the direction along the lane among the recognized road markings are used for the road.
  • the extraction unit extracted as a candidate for the shape change part indicating the shape change of the road, the information acquisition unit for acquiring the position information indicating the position where the shape change of the road occurs in front of the course, and the extracted candidate are indicated by the position information.
  • an ECU own vehicle position estimation device
  • a position estimation unit that specifies the position of the own vehicle on the map based on the confluence.
  • Patent Document 1 requires a high-precision map for automatic driving in which a wide variety of information is registered.
  • High-precision maps for autonomous driving are expected to continue to be developed in limited areas such as urban areas and special autonomous driving zones, but in depopulated areas with a small population, there are cost issues such as road shape surveying. Therefore, it is considered that the maintenance will be delayed, so that the area where preventive safety and automatic driving can be realized by the technology of Patent Document 1 will be limited in the future.
  • the usage cost of the high-precision map service is considered to be relatively high, it is desirable that the same preventive safety and automatic driving as in Patent Document 1 can be realized based on the simple map that can be used at a lower cost.
  • the environmental measurement sensor currently on the market as a product basically assumes environmental measurement on a single road, and it is difficult to completely realize environmental recognition that can turn left or right at an intersection by automatic driving. If the road or roadside is a single road, this can be recognized on the assumption that there are two boundaries on the left and right, but at intersections and merging, the road goes straight in the direction of travel or diagonally. This is because there are extending roads and it is difficult to recognize a complicated road shape with high accuracy without erroneous detection.
  • the present invention provides an environment recognition device that can recognize the detailed shape of a complicated road such as an intersection before reaching it by using an environment measurement sensor and simple map information. The purpose.
  • the environment recognition device of the present invention recognizes the environment of the traveling path based on the measurement data output by the environment measurement sensor, and uses map information obtained from a general-purpose map or a server map. Based on the basic structure analysis unit that analyzes the basic structure of the course, the detailed structure analysis unit that restores the detailed structure of the course based on the basic structure of the course, and the basic structure of the course.
  • the traveling path corresponding control unit that changes the recognition logic that recognizes the environmental information from the measurement data and the environmental measurement sensor or the external device are controlled based on the environmental information recognized by the traveling path corresponding control unit. It is assumed to be equipped with an external device control unit.
  • the environment recognition device of the present invention it is possible to recognize the detailed shape of a complicated road such as an intersection before reaching it by using the environment measurement sensor and simple map information.
  • Functional block diagram of the in-vehicle environment recognition device of one embodiment Functional block diagram of environmental measurement sensor
  • Functional block diagram of the map information section An example of an actual road network and general-purpose map
  • Functional block diagram of the course analysis unit An example of basic structural analysis processing
  • Detailed functional block diagram of road shape addition part An example of additional information priority
  • Functional block diagram of the course correspondence control unit Functional block diagram of the recognition process selection unit
  • Functional block diagram of the recognition process setting unit An example of the set roadside processing area
  • An example of the set lane processing area An example of the model fitting process of the road
  • labeling Processing flowchart An example of labeling Processing flowchart
  • the vehicle-mounted environment recognition device 100 of the present embodiment assists the manual driving by the driver and the automatic driving by the automatic driving system by providing the detailed structure of the traveling path in advance.
  • the in-vehicle environment recognition device 100 of this embodiment is connected to an external environment measurement sensor 1 and an external device 6, and has a map information unit 2 and a traveling path analysis unit 3 inside.
  • the traveling path correspondence control unit 4 and the external device control unit 5 are provided.
  • the configuration illustrated here is just an example, and the environment measurement sensor 1 and the external device 6 may be built in the vehicle-mounted environment recognition device 100, or the map information unit 2 may be separated from the vehicle-mounted environment recognition device 100. It may be configured. In the following, each configuration will be outlined and then each configuration will be described in detail.
  • the in-vehicle environment recognition device 100 is actually a computer (in the automobile field, an ECU (Electronic Control Unit)) equipped with hardware such as an arithmetic unit such as a CPU, a main storage device, an auxiliary storage device, and a communication device. It is realized by (called). Then, the arithmetic unit executes the program loaded in the main storage device while referring to the database recorded in the auxiliary storage device, thereby realizing each function of the map information unit 2, the course analysis unit 3, and the like. , Hereinafter, such well-known techniques in the computer field will be described while appropriately omitting them.
  • the environment measurement sensor 1 is a sensor that measures the external environment of the vehicle and outputs the measurement data.
  • the map information unit 2 mainly holds the general-purpose map Mg and the detailed map Md, which will be described later, and acquires the position of the own vehicle by using the GNSS information.
  • the general-purpose map Mg is a simple map, for example, a map acquired from a car navigation system mounted on a vehicle.
  • the detailed map Md is a map including detailed environmental information that is not included in the general-purpose map Mg or the like, and is created by adding the environmental information or the like recognized based on the measurement data of the environmental measurement sensor 1 to the general-purpose map Mg or the like. It is a map.
  • server map Ms the map information acquired from the server via the network may be held together with the general-purpose map Mg or instead of the general-purpose map Mg.
  • This server map Ms is a map having the same amount of information as the general-purpose map Mg, and various data are updated at any time by a map vendor or the like.
  • the traveling path analysis unit 3 mainly analyzes the position and traveling direction of the own vehicle V on the general-purpose map Mg, and preliminarily analyzes the basic structure (shape of the intersection, etc.) of the traveling path change point that the own vehicle V encounters next. get.
  • the course analysis unit 3 further predicts detailed structures such as the lane width, the shoulder position, and the number of lanes of the course from the acquired basic structure and the like.
  • the course path correspondence control unit 4 mainly recognizes environmental information such as road shape by using the measurement data of the environment measurement sensor 1 based on the detailed structure of the course path predicted by the course path analysis unit 3. More specifically, it is more stable by dynamically changing the recognition method and processing area of the road shape such as the road and the road edge according to the road shape and the amount of error predicted by the traveling road analysis unit 3. Recognize the environment such as road shape with high accuracy.
  • the external device control unit 5 mainly controls the environment measurement sensor 1 and the external device 6 based on the determination of the travel path correspondence control unit 4.
  • the in-vehicle environment recognition device 100 displays the recognition result of the surrounding environment, displays driving support information, warns for safety support, and the like to drive the driver. to support.
  • the external device 6 is an automatic driving system
  • the in-vehicle environment recognition device 100 supports the realization of more appropriate automatic driving by providing the environmental information necessary for vehicle control in advance.
  • the environment measurement sensor 1 includes a front sensor 11, a matching unit 12, and a 3D point cloud acquisition unit 13.
  • the front sensor 11 is, for example, a stereo camera installed in the vehicle that captures the front.
  • the stereo camera is a camera in which a left camera 11L and a right camera 11R are arranged side by side with a predetermined interval.
  • the front sensor 11 may be a monocular camera or a lidar as long as it can measure the front of the vehicle V.
  • the matching unit 12 When the matching unit 12 captures the same object in the left and right images captured by the stereo camera, the matching unit 12 identifies the image position of the same object on the left and right images by a matching process and views the same object from the left and right cameras. By identifying the difference in position (parallax) projected on the image of the case, the distance to the object is measured.
  • the 3D point cloud acquisition unit 13 restores the three-dimensional position of the object by triangulation by specifying the triangle whose apex is the position of the same object on the image with the left and right cameras as the bases of the triangle.
  • Map Information Department 2 As shown in FIG. 3, the map information unit 2 includes a general-purpose map storage unit 21, a GNSS unit 22, a detailed map storage unit 23, and a detailed map update unit 24, and the own vehicle on the map. Identify the position of V.
  • the general-purpose map storage unit 21 stores the general-purpose map Mg, which is a simple map used in the car navigation system.
  • the general-purpose map Mg expresses a road network by a node that defines a position on a map and a link that connects the nodes. For example, when the road network around the vehicle V is the environment shown in FIG. 4A, the general-purpose map Mg corresponding to the road network is linked to a plurality of nodes (white circles) as shown in FIG. 4B. It is represented by a combination of (solid lines).
  • the GNSS unit 22 specifies the position of the own vehicle V on the general-purpose map Mg expressed by the combination of this node and the link by using the GNSS information (Global Navigation Satellite System information).
  • the position information specified by using the GNSS information may be corrected by using another sensor (for example, the behavior of the camera, radar, gyro, and own vehicle V).
  • the detailed map storage unit 23 converts the environmental information measured by using the environmental measurement sensor 1 (for example, lane width, road angle, number of lanes, distance from the outermost lane to the shoulder, running road shape, etc.) into the general-purpose map Mg. Add and save as detailed map Md.
  • the detailed map Md saved here, when the own vehicle V travels on the same driving path next time, more accurate and stable environment recognition is possible by using the detailed information saved during the previous driving. It becomes.
  • the detailed map update unit 24 saves the general-purpose map Mg map data in the detailed map storage unit 23 when the map data of the general-purpose map Mg becomes old due to new construction or abandoned roads, or when the road is temporarily closed due to construction work or the like.
  • the detailed map Md that has been created is updated.
  • information such as roads that do not exist in the general-purpose map Mg but can be driven and roads that exist in the general-purpose map Mg but cannot be traveled is added to the detailed map Md.
  • environmental information such as new road construction is detected, it is not necessary to immediately update the detailed map Md with one detection, and when the same environmental information is repeatedly detected, the detailed map Md is updated. It may be a thing.
  • the traveling path analysis unit 3 includes a basic structure analysis unit 31 and a detailed structure analysis unit 32.
  • the basic structure analysis unit 31 analyzes the basic structure of the road on the traveling path of the own vehicle V based on the general-purpose map Mg acquired from the general-purpose map storage unit 21. Further, the detailed structure analysis unit 32 strengthens (adds) information and predicts the detailed road shape based on the basic structure analyzed by the basic structure analysis unit 31. The details of each will be described below.
  • ⁇ Basic structure analysis unit 31> As shown in FIG. 5, the basic structure analysis unit 31 includes a travel path data reading unit 311, a node & link analysis unit 312, a basic road shape analysis unit 313, and a vehicle position analysis unit 314.
  • the travel path data reading unit 311 reads the node and link information in the direction of the vehicle's travel path from the general-purpose map Mg. For example, if the own vehicle V is traveling on the road network illustrated in FIG. 4 (a), the traveling path data reading unit 311 obtains the node position information and the link connection information as shown in FIG. 4 (b). Read. Since the general-purpose map Mg is generally divided into, for example, a map area of 5 km square, the travel path data reading unit 311 does not need to acquire the entire general-purpose map Mg, and the own vehicle V exists. By acquiring only the information of the 5km square node and the link, the subsequent processing load is reduced.
  • the node & link analysis unit 312 maps the road network around the own vehicle V as shown in FIG. 4B based on the node position information and the link connection information acquired by the travel path data reading unit 311. Express.
  • the own vehicle position analysis unit 314 acquires the position of the own vehicle V, and has a GNSS error analysis unit 314a, a sensor error analysis unit 314b, and a time series integrated correction unit 314c.
  • the GNSS error analysis unit 314a performs error analysis utilizing the behavior of the own vehicle and GNSS information, and analyzes the error while comparing where the own vehicle V is traveling on the map with the map information. Correct the vehicle position with high accuracy.
  • the sensor error analysis unit 314b analyzes the vertical position and horizontal position errors on the map by using information such as an inertial sensor (gyro), a camera, millimeter waves, and LIDAR.
  • the time-series integrated correction unit 314c performs position correction on the map by using the error information acquired by the GNSS error analysis unit 314a and the sensor error analysis unit 314b. However, if the GNSS error and the sensor error are corrected by the instantaneous determination result, the position is likely to be updated with uncertain information or the position is unstable. Therefore, stable error correction is performed by analyzing the error in time series, and error correction is performed by the time series integrated correction unit 314c.
  • the basic road shape analysis unit 313 is based on the general-purpose map Mg (FIG. 4 (b)) represented by the node & link analysis unit 312 and the vehicle position acquired by the vehicle position analysis unit 314. Predict the road structure of the change point (intersection, etc.) that V is expected to encounter next. For example, when the own vehicle V is traveling at the position shown in FIG. 6 (a) on the general-purpose map Mg, the basic road shape analysis unit 313 analyzes the area surrounded by the broken line in front of the own vehicle V. .. Then, the basic road shape analysis unit 313 selects a "crossroads" corresponding to the broken line region of FIG. 6 (a) from the plurality of basic structure candidates illustrated in FIG.
  • the detailed structure analysis unit 32 includes a basic road shape reading unit 321, a detailed road shape adding unit 322, and a detailed shape updating unit 323.
  • the basic road shape reading unit 321 acquires information on the basic structure (for example, "crossroads") predicted by the basic structure analysis unit 31.
  • the detailed road shape addition unit 322 restores the detailed structure by adding the detailed shape of the road to the basic structure acquired by the basic road shape reading unit 321.
  • FIG. 7 is a diagram specifically explaining the addition of the detailed shape by the detailed road shape addition unit 322 and the restoration of the detailed structure.
  • the detailed road shape addition unit 322 has a detailed shape value of the general-purpose map Mg, and a default described later.
  • the value the previous environment recognition result, etc.
  • detailed shapes such as the number of lanes, lane width, distance from the outer lane to the shoulder, the angle between roads at intersections, and the shape change of the road such as the angle of white lines can be obtained.
  • FIG. 7B is an example of a detailed structure restored based on the basic structure.
  • the detailed road shape addition portion 322 has the basic structure “crossroads” of FIG. 7A, the number of lanes of each road, the lane width of each lane, the road shoulder position, the white line intersection angle ⁇ 1 , and the road shoulder intersection.
  • the detailed structure is restored by fleshing out the angle ⁇ 2 and the like.
  • the detailed structural analysis unit 32 can use them to obtain accuracy. Restore a good detailed structure of.
  • the detailed structure analysis unit 32 restores the detailed structures by using the default detailed shapes and the like.
  • the default detailed shape may be a fixed value (for example, 2 lanes, 3 m lane width, 1.5 m shoulder, etc.), but based on information such as the type and grade of the road registered in the general-purpose map Mg.
  • a default value may be set, or an appropriate value may be set by using indirect information if the information that can be used to restore the detailed structure is not registered in the general-purpose map Mg.
  • the detailed structure analysis unit 32 can restore the detailed structure with higher accuracy, the recognition process by the traveling path correspondence control unit 4 described later, the driver or the automatic driving system via the external device 6 can be performed. Feedback information can be made more appropriate.
  • Table 1 shows the types of roads specified in Article 3, Paragraph 1 of the Road Structure Ordinance, and Table 2 shows the grades of roads specified in Article 3, Paragraph 2 of the Road Structure Ordinance.
  • the detailed road shape addition unit 322 uses the type information and the default value corresponding to the grade information to make the detailed structure highly accurate. Can be restored to.
  • the legal values are used as they are as default values.
  • the detailed road shape addition portion 322 can accurately restore the detailed structure such as an intersection that complies with the legal value.
  • the detailed road shape addition unit 322 aims to improve the restoration accuracy of the detailed structure by switching the default value based on other information registered in the general-purpose map Mg.
  • the default value such as the number of lanes on one side is set using Table 5.
  • the default value such as the number of lanes on one side is set by using Table 6. In this way, even when Table 5 or Table 6 is used, it is useful information when roughly predicting the width of the road and the number of lanes, and the detailed structure is restored as compared with the case where there is no information at all. The accuracy can be improved.
  • the detailed shape update unit 323 includes a roadside update unit 323a, a lane update unit 323b, and an undulation update unit 323c.
  • the roadside update unit 323a updates the roadside information regarding the positional relationship between the outermost lane and the roadside, and the roadside information regarding the deformation of the lane or the shape of the roadside.
  • the lane update unit 323b updates lane information that is not described in the general-purpose map information Mg, such as the number of lanes in the lane, complex changes in lane shape at intersections and merging, lane width information, and angles between lanes. To do.
  • the undulation update unit 323c updates the undulation information regarding the unevenness and inclination of the traveling path.
  • each of these will reuse the environmental information the next time the vehicle travels in the same location, based on the reliability of the environmental information such as roadsides, lanes, and undulations of the road. Judge whether it is good.
  • the unreliable environmental information is determined to be provisional information used only for the current road shape recognition by the travel path correspondence control unit 4, and is not transmitted to the map information unit 2.
  • the highly reliable environmental information is determined to be environmental information that is not only used for the road shape recognition of this time by the traveling path correspondence control unit 4 but also reused thereafter, and is sent to the map information unit 2 together with the reliability. Send and save in detailed map Md.
  • the undulation update unit 323c has a BUMP or BUMP for speed suppression. It is determined that there is a high possibility of HUMP, and the undulation information regarding the convex shape is transmitted to the map information unit 2 as environmental information to be registered in the detailed map Md with high reliability.
  • the detailed road shape addition unit 322 includes a priority adjustment unit 322a, an additional information selection unit 322b, and a shape restoration unit 322c.
  • the detailed road shape addition unit 322 adds detailed shapes such as lane width, number of lanes, and road shoulder information to the basic structure acquired by the basic road shape reading unit 321 to provide a detailed structure. Although it is to be restored, when there are multiple information sources with detailed shapes, it is necessary to determine which information source should be used preferentially.
  • the priority adjustment unit 322a adjusts the priority of the information source used when restoring the detailed structure of the road.
  • the information source having the highest priority (the numerical value of the priority is small) among the available information sources is used. ..
  • the “lane width” information of the server map Ms is used (priority). 1). If the "lane width” information cannot be obtained from the server map Ms and the “lane width” information can be obtained from the general-purpose map Mg, the "lane width” information of this general-purpose map Mg is used (priority 2).
  • lane width information cannot be obtained from either the server map Ms or the general-purpose map Mg, use the one with the highest priority among the legal values and default values specified in Tables 3 to 8 described above. (Priority 3 to Priority 5). Furthermore, if Tables 3 to 8 cannot be used, all fixed default values (environmental information such as the number of lanes 2, lane width 3 m, and shoulder 1.5 m in the above example) may be used. ..
  • the recognized environmental information that exceeds a certain degree of reliability is registered in the detailed map Md of the map information unit 2 by the detailed shape updating unit 323, and is therefore registered in the detailed map Md.
  • a priority that is not an integer such as priority 1.4 may be set.
  • the dynamic environment information whose reliability fluctuates recognized by the measurement data of the environment measurement sensor 1 May set a priority within the range of priority 1 to priority 4, which is not limited to an integer according to the reliability, so that environment information having a small priority can be used.
  • the detailed shape to be added to the basic structure is "lane width” has been described as an example, but even when “the number of lanes” and “road shoulder” are added, the priority is used.
  • the detailed structure can be set. Further, since some information is missing depending on the information source, in that case, the detailed structure including the desired information may be restored by integrating the information acquired from a plurality of information sources.
  • the detailed road shape addition unit 322 updates the priority of the information stored in the detailed map Md according to the reliability of each environmental information. If there is no environmental information stored in the past on the detailed map Md, the environmental information with a certain degree of reliability recognized by the measurement data of the environmental measurement sensor 1 is set to priority 4 and registered. On the other hand, when the environmental information within the error range is updated, the values of the environmental information are averaged and updated, and the priority is gradually increased. Data saves environmental information values each time, removes outliers, and lowers priority. Raise the priority except for outliers and save the average value of the environment recognition results.
  • the filter design may be such that the environment recognition result is filtered, the weight is increased to the current value, and the past value is decreased.
  • the traveling path correspondence control unit 4 includes a recognition process selection unit 41, a recognition process setting unit 42, a roadside recognition unit 43, a lane recognition unit 44, an exposure adjustment unit 45, a camera posture correction unit 46, and a sensor. It has an abnormality detection unit 47.
  • the course path correspondence control unit 4 recognizes the road shape based on the measurement data of the environment measurement sensor 1 based on the detailed structure of the change point (intersection, etc.) acquired in advance from the course path analysis unit 3, and is a single road.
  • the recognition logic of the road shape recognition process which is initially set on the assumption that the above is assumed, is dynamically changed according to the road shape of the traveling path, and the environmental information is recognized by a more appropriate recognition logic.
  • For exposure adjustment, camera attitude correction, and sensor abnormality detection by performing processing based on the detailed structure of the traveling path, it is possible to perform processing more appropriate than the original processing. The details of each will be described below.
  • the recognition processing selection unit 41 selects the recognition logic (number of processing areas and feature amount extraction method) according to the basic structure of the traveling path, and as shown in FIG. 11, the roadside processing area number selection unit 411, It has a roadside extraction method selection unit 412, a lane processing area number selection unit 413, and a lane extraction method selection unit 414.
  • the description will proceed assuming that the processing data of the traveling path correspondence control unit 4 is image data captured by a stereo camera, but the processing data is 3D point cloud data or the like acquired from the environment measurement sensor 1. It may be other kinds of data.
  • the roadside processing area number selection unit 411 selects the number of areas for executing the roadside extraction processing according to the basic structure of the traveling path.
  • the front sensor 11 is a stereo camera, it measures about 100 m ahead of the vehicle V. Therefore, for example, if the traveling path within 100 m ahead is a single road, two parallel roads are parallel to the left and right of the vehicle V. Assuming that there are various roadsides, the number of roadside processing areas "2" is selected so that they can be extracted. Also, if there is a crossroads on the road within 100 m ahead, it is assumed that there are two parallel roadsides on the left and right of the vehicle V, and there are two parallel roadsides in front of the vehicle V. The number of roadside processing areas "4" is selected so that
  • the lane processing area number selection unit 413 selects the number of areas for executing the lane extraction process according to the basic structure of the traveling path. For example, if the traveling road within 100 m ahead is a single road, it is assumed that there are lanes along the traveling direction of the own vehicle V, and the number of lane processing areas "1" is selected so that they can be extracted. Also, if there is a crossroads within 100 m ahead, it is assumed that there are lanes along the direction of travel of the vehicle V and lanes perpendicular to the direction of travel of the vehicle V on the front, back, left, and right of the intersection. The number of lane processing areas "4" is selected so that they can be extracted.
  • the roadside extraction method selection unit 412 selects the roadside feature amount extraction method according to the basic structure of the traveling path. For example, if the traveling path within 100 m ahead is a single road, a roadside extraction method for laterally searching the set roadside processing area is set. If there is a crossroads on the road within 100 m ahead, a roadside extraction method that searches laterally for the roadside processing area along the traveling direction of the vehicle V is selected, and is perpendicular to the traveling direction of the vehicle V. For the roadside processing area, select the roadside extraction method for searching in the vertical direction.
  • the lane extraction method selection unit 414 selects a lane feature extraction method according to the basic structure of the traveling path. For example, if the traveling road within 100 m ahead is a single road, a lane extraction method for laterally searching the set lane processing area is selected. If there is a crossroads within 100 m ahead, select a lane extraction method that searches laterally for the lane processing area along the direction of travel of the vehicle V, and lanes that are perpendicular to the direction of travel of the vehicle V. For the processing area, select the lane feature extraction method for searching in the vertical direction.
  • ⁇ Recognition processing setting unit 42> As shown in FIG.
  • the recognition processing setting unit 42 includes a roadside processing area setting unit 421, a roadside area-specific extraction method setting unit 422, a lane processing area setting unit 423, and a lane area-specific extraction method setting unit 424.
  • Each setting unit enables the measurement data of the environment measurement sensor 1 to be processed by using the number of processing areas selected by the recognition processing selection unit 41 and the feature amount extraction method.
  • the roadside processing area setting unit 421 sets the roadside processing area at the boundary between the traveling road and the sidewalk as the roadside processing area based on the selection of the roadside processing area number selection unit 411.
  • Four regions (see FIG. 13A) having a size so as to include a road shoulder of a certain step are set in the image data.
  • the lane processing area setting unit 423 is large enough to include lanes on the front, rear, left, and right roads of the intersection as the lane processing area based on the selection of the lane processing area number selection unit 413.
  • Four areas are set as image data.
  • the roadside region-specific extraction method setting unit 422 and the lane-specific extraction method setting unit 424 have feature quantities selected by the roadside extraction method selection unit 412 and the lane extraction method selection unit 414 as the feature quantity extraction method for each region. Set the extraction method.
  • the size of the processing area set by the roadside processing area setting unit 421 and the lane processing area setting unit 423 is shown on the image. It is desirable to have a margin in consideration of the misalignment of.
  • the roadside recognition unit 43 recognizes the roadside by using the processing area and the feature amount extraction method set by the recognition processing setting unit 42. For the roadside feature amount, a step portion that is three-dimensionally high or low with respect to the traveling road is extracted as a feature amount. Therefore, when there is a road shoulder and a wall on the side of the road, both features are extracted.
  • the important step for the own vehicle V traveling on the track is first centered on the own vehicle V.
  • the step that comes into contact is important, and it is important to drive without touching this step. For this reason, considering the vehicle V as the center, the step that may come into contact first is emphasized, and noise removal processing is performed to delete the three-dimensional object that exists at a position farther from the vehicle V. To do.
  • the step where the own vehicle V may first come into contact with the own vehicle V is used as a point cloud on the roadside. Further, the roadside point cloud is constructed in chronological order by using the behavior of the own vehicle or the corresponding points in the image.
  • the road end point group constructed in this time series and the detailed road structure are model-fitted.
  • FIG. 14 is an example of the model fitting process performed by the roadside recognition unit 43. Even if the detailed structure of the traveling path acquired from the traveling path analysis unit 3 by the traveling path correspondence control unit 4 is an orthogonal crossroad as illustrated in FIG. 14A, the actual shape of the crossroads is often different. .. Therefore, the roadside recognition unit 43 considers the position of the roadside point group (black circle in FIG. 14B) recognized from the measurement data of the environment measurement sensor 1, and defines the road shape as a road model control point (FIG. 14). Adjust the position of (white circle) in (b). In the example of FIG.
  • the road end recognition unit 43 slightly positions the position of the road model control point of the crossroads. A model fitting process is performed to move it on the upward-sloping dotted line, and this is used as a new detailed structure.
  • the roadside recognition unit 43 of the present embodiment acquires the detailed structure of the road in the traveling direction in advance from the traveling path analysis unit 3, and extracts the roadside processing area and the roadside feature amount according to the detailed structure.
  • accurate recognition was difficult with the conventional roadside recognition technology that basically targeted single roads, which is complicated. It becomes possible to accurately recognize the roadside of the traveling path.
  • the lane recognition unit 44 recognizes a lane by using the processing area set by the recognition processing setting unit 42 and the feature amount extraction method.
  • the same points as the roadside recognition unit 43 will not be duplicated, but if the differences between the two recognition units are listed, the lane recognition unit 44 can use the processing area and feature extraction method set by the recognition processing setting unit 42.
  • the lane is recognized by removing noise from the feature amount extracted by using.
  • the lane feature amount detects a feature point of a white line which is a boundary line along the traveling direction. Since the driving path is generally straight and there are few extreme curves, it is possible to roughly search for the position of the lane and the number of candidates by performing a straight line search. By performing such processing, noise removal is performed. Furthermore, by using our own behavior, we will restore lanes that are continuously connected in chronological order.
  • ⁇ Exposure adjustment unit 45> The exposure adjustment unit 45 corrects the exposure of a stereo camera or the like by using information useful for determining exposure conditions such as an approximate value of the width to the shoulder of the traveling path.
  • the brightness of the current image is not measured according to the driving road, but basically the brightness of the road surface is measured with the road surface where the lane does not enter as the processing area.
  • the exposure amount of the next frame according to the brightness of the road surface was made so that the parallax of the road surface would not be reduced as much as possible.
  • the exposure amount is adjusted according to the brightness of the road surface by using the mode value. Basically, it is possible to adjust the exposure more stably by analyzing the brightness of the road surface in a wider range, but since the shape of the driving road is unknown, it is basically in the own lane or in the own lane. The exposure analysis was performed in the processing area that slightly protruded from the lane.
  • the brightness of the traveling road for adjusting the exposure by using the result of this detailed shape analysis or the previous environment recognition result Determine the processing area to analyze. This makes it possible to analyze the road surface brightness in the widest possible range according to the traveling road, and it is possible to realize more stable exposure adjustment.
  • ⁇ Camera posture correction unit 46 If the inclination information of the traveling path is registered in the general-purpose map Mg, the camera posture correction unit 46 corrects the posture of the environment measurement sensor 1 by using the information. In addition, if there is information such as lane width and road shoulder width, it is possible to correct camera height information using this information.
  • the sensor abnormality detection unit 47 detects an abnormality in the environment measurement sensor 1 by using map information such as a detailed map Md acquired from the map information unit 2. Since the sensor abnormality detection unit 47 can acquire detailed structures such as white lines and road shoulders at intersections in the traveling direction in advance from map information, it can detect features such as white lines and road shoulders that should be detected when passing through the intersections and the like. If not, it is determined that the environment measurement sensor 1 may have an abnormality.
  • the traveling path correspondence control unit 4 The basic control by the traveling path correspondence control unit 4 has been described above. However, when a plurality of lanes are recognized on the traveling path using the above recognition logic, or landmarks that need to be considered when performing automatic driving are recognized. In this case, the detailed structure analysis unit 32 assigns a label L indicating the type to each of the recognized lanes and landmarks so that the meaning of what kind of environment the own vehicle V is traveling in can be recognized. You can do it. For example, as shown in FIG.
  • the labels L1 and the ETC device indicating that the lanes and landmarks are general lanes for vehicles not equipped with the ETC device.
  • Label L2 indicating that the vehicle is equipped with the vehicle
  • label L3 indicating the position of the gate
  • label L4 indicating that the road is on the opposite road, and the like are attached.
  • the front sensor 11 of the environment measurement sensor 1 captures left and right images in front of the vehicle V with a stereo camera.
  • the matching unit 12 of the environment measurement sensor 1 performs stereo matching on the left and right images captured by the stereo camera.
  • the 3D point cloud acquisition unit 13 of the environment measurement sensor 1 acquires the 3D point cloud based on the stereo matching result by the matching unit 12.
  • the basic structure analysis unit 31 of the course analysis unit 3 acquires the basic road shape consisting of nodes and links in the vicinity of the own vehicle V from the general-purpose map information Mg held by the map information unit 2.
  • the detailed structure analysis unit 32 of the course analysis unit 3 restores the detailed road shape based on the basic road shape acquired by the basic structure analysis unit 31.
  • the information on the result of environmental recognition is stored, it is decided based on which one to carry out the restoration of the detailed road shape according to the priority.
  • the recognition processing selection unit 41 of the travel path correspondence control unit 4 selects the recognition logic for recognizing the roadside and lane according to the road shape.
  • the recognition processing setting unit 42 of the traveling road correspondence control unit 4 sets the recognition logic for recognizing the roadside and the lane according to the road shape.
  • the roadside recognition unit 43 of the traveling path correspondence control unit 4 receives a partial change in the recognition process by the recognition process setting unit 42, a change result in the processing area or position due to parameter adjustment, and the like, and performs the roadside recognition process. To execute.
  • the lane recognition unit 44 of the travel path correspondence control unit 4 executes the lane recognition process in response to a partial change in the recognition process by the recognition process setting unit 42 or a change result in the processing area or position due to parameter adjustment. To do.
  • the order of S8 and S9 may be exchanged.
  • the detailed structural analysis unit 32 of the traveling road analysis unit 3 first determines whether or not it is possible to reflect the environmental information related to the lane and roadside recognition results on the detailed map Md according to the reliability of the recognition results.
  • the detailed map updating unit 24 When it is determined that the detailed map Md can be updated, in S11, the detailed map updating unit 24, if there is information stored based on the result recognized so far, compares it with the result. , Determine whether to update the general-purpose map Mg. For example, if the result is significantly different from the conventional storage result, the final map is reflected in the general-purpose map Mg after confirming that such a result continues many times.
  • the external device control unit 5 uses the recognized environmental information this time to provide the driver with information on the course before arriving at an intersection or the like, or to realize automatic driving in the automatic driving system. Provide necessary information in advance.
  • the detailed shape of a complicated road such as an intersection can be obtained by using the environment measurement sensor mounted on the vehicle and simple map information. Can be recognized before reaching.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Navigation (AREA)

Abstract

本発明は、環境計測センサと簡易的な地図情報を利用し、交差点のような複雑な道路の詳細形状を、そこに到達する前に認識することができる環境認識装置を提供することを目的とする。環境計測センサが出力する計測データに基づいて、進行路の環境を認識する環境認識装置であって、汎用地図またはサーバ地図から得た地図情報に基づいて、前記進行路の基本構造を解析する基本構造解析部と、前記進行路の基本構造に基づいて、前記進行路の詳細構造を復元する詳細構造解析部と、前記進行路の基本構造に応じて、前記計測データから環境情報を認識する認識ロジックを変更する進行路対応制御部と、該進行路対応制御部が認識した前記環境情報に基づいて、前記環境計測センサまたは外部機器を制御する外部機器制御部と、を具備する環境認識装置。

Description

環境認識装置
　本発明は、環境計測センサと地図情報を利用して、周囲環境を認識し、制御や警報に必要な情報を予め出力する環境認識装置に関する。
　近年の自動車においては、自車の周囲環境を認識する予防安全技術の採用が普及期に入りつつあり、予防安全技術の対応シーンも拡大が進んでいる。より安全で快適な自動運転を実現するには、特に、交差点でのより高精度な環境認識が重要な課題となるが、環境計測センサのみを用いる従来の環境認識技術は、基本的に、単路での環境認識を目的としたものであるため、交差点のような複雑な道路形状を適切に認識することが困難であった。
　この問題に対し、特許文献１では、同文献の要約書に記載されるように、「分岐や合流の開始位置を誤認識する可能性を低減する」ために、「撮像部による撮像結果に基づいて、自車両の進路前方における車線の境界を示す路面標示を認識する標示認識部と、認識された路面標示の内、車線に沿った方向に対して所定角度で変化する角度変化部を、道路の形状変化を示す形状変化部の候補として抽出する抽出部と、進路前方において、道路の形状変化が生じる位置を示す位置情報を取得する情報取得部と、抽出された候補を、位置情報で示される位置から車線に沿った方向で所定距離内に存在する候補に絞り込む絞込み部と、絞り込まれた候補を、進路前方での形状変化部として特定する標示特定部と、特定された車線の分岐点又は合流点に基づいて、地図上の自車位置を特定する位置推定部と、を備える」ＥＣＵ（自車位置推定装置）を提案している。
　そして、特許文献１のＥＣＵ（自車位置推定装置）が推定した自車位置を、自動運転用に作られた高精度地図とマッチングすることで、進行方向の複雑な道路形状を事前に把握し、予防安全や自動運転に利用していた（例えば、同文献の段落００２４、００４７等）。
特開２０１８－４０６９２号公報
　上記の通り、特許文献１では、多岐に亘る情報が登録された自動運転用の高精度地図を必要とする。自動運転用の高精度地図は、都市部や自動運転特区のような限られたエリアでは、今後も整備が進むと考えられるが、人口の少ない過疎地などでは道路形状の測量等のコストの問題から整備が遅延すると考えられるため、特許文献１の技術により予防安全や自動運転を実現できるエリアは今後も限定されると考えられる。また、高精度地図サービスの利用コストも比較的高額になると考えられることから、より安価に利用できる簡易地図をベースに、特許文献１と同様の予防安全や自動運転を実現できることが望ましい。
　また、製品として現在発売されている環境計測センサは、基本的に単路での環境計測を想定としており、自動運転によって交差点を右左折できるだけの環境認識を完全に実現することは難しい。これは、走行路や路端は単路であれば、左右に２本の境界線があることを前提に認識処理すれば良いが、交差点や分合流では進行方向に直行する道路や斜め方向に伸びる道路などが存在し複雑な道路形状を誤検知することなく高精度に認識することが困難だからである。
　そこで、本発明は、環境計測センサと簡易的な地図情報を利用し、交差点のような複雑な道路の詳細形状を、そこに到達する前に認識することができる環境認識装置を提供することを目的とする。
　上記課題を解決するため、本発明の環境認識装置は、環境計測センサが出力する計測データに基づいて、進行路の環境を認識するものであって、汎用地図またはサーバ地図から得た地図情報に基づいて、前記進行路の基本構造を解析する基本構造解析部と、前記進行路の基本構造に基づいて、前記進行路の詳細構造を復元する詳細構造解析部と、前記進行路の基本構造に応じて、前記計測データから環境情報を認識する認識ロジックを変更する進行路対応制御部と、該進行路対応制御部が認識した前記環境情報に基づいて、前記環境計測センサまたは外部機器を制御する外部機器制御部と、を具備するものとした。
　本発明の環境認識装置によれば、環境計測センサと簡易的な地図情報を利用し、交差点のような複雑な道路の詳細形状を、そこに到達する前に認識することができる。
一実施例の車載環境認識装置の機能ブロック図 環境計測センサの機能ブロック図 地図情報部の機能ブロック図 実際の道路網と汎用地図の一例 進行路解析部の機能ブロック図 基本構造解析処理の一例 詳細構造復元処理の一例 詳細道路形状付加部の機能ブロック図 付加情報優先度の一例 進行路対応制御部の機能ブロック図 認識処理選択部の機能ブロック図 認識処理設定部の機能ブロック図 設定された路端処理領域の一例 設定された車線処理領域の一例 走行路のモデルフィッティング処理の一例 ラベル付加の一例 処理フローチャート
　以下、本発明の一実施例に係る車載環境認識装置１００を、図面を用いて説明する。
＜車載環境認識装置１００＞
　本実施例の車載環境認識装置１００は、進行路の詳細構造を事前に提供することで、運転手による手動運転や自動運転システムによる自動運転を補助するものである。
　図１の機能ブロック図に示すように、本実施例の車載環境認識装置１００は、外部の環境計測センサ１、外部機器６と接続されており、内部に地図情報部２、進行路解析部３、進行路対応制御部４、外部機器制御部５を備えている。なお、ここに例示した構成はあくまで一例であって、環境計測センサ１と外部機器６を車載環境認識装置１００に内蔵した構成としても良いし、地図情報部２を車載環境認識装置１００から分離した構成としても良い。以下では、各構成を概説した後、各構成を詳説する。
　車載環境認識装置１００は、実際には、ＣＰＵ等の演算装置、主記憶装置、補助記憶装置、および、通信装置などのハードウェアを備えた計算機（自動車分野においては、ＥＣＵ（Electronic Control Unit）とも呼ばれる）により実現されるものである。そして、補助記憶装置に記録されたデータベースを参照しながら、主記憶装置にロードされたプログラムを演算装置が実行することで、地図情報部２、進行路解析部３等の各機能を実現するが、以下では、このような計算機分野での周知技術を適宜省略しながら説明する。
　環境計測センサ１は、車両の外部環境を計測し、計測データを出力するセンサである。
　地図情報部２は、主として、後述する汎用地図Ｍｇと詳細地図Ｍｄを保持すると共に、ＧＮＳＳ情報を利用して自車位置を取得するものである。ここで、汎用地図Ｍｇは、簡易的な地図であり、例えば、車両に搭載したカーナビゲーションシステムから取得した地図である。一方、詳細地図Ｍｄは、汎用地図Ｍｇ等に含まれない詳細な環境情報も含む地図であり、環境計測センサ１の計測データに基づいて認識した環境情報等を汎用地図Ｍｇに付加して作成された地図である。なお、汎用地図Ｍｇとともに、或いは、汎用地図Ｍｇに代えて、ネットワーク経由でサーバから取得した地図情報（以下、サーバ地図Ｍｓと称する）を保持する構成としても良い。このサーバ地図Ｍｓは、汎用地図Ｍｇと同程度の情報量を持ち、かつ、諸データが地図業者等によって随時更新されている地図である。
　進行路解析部３は、主として、汎用地図Ｍｇ上の自車Ｖの位置と進行方向を解析し、自車Ｖが次に遭遇する走行路変化点の基本構造（交差点の形状等）を事前に取得する。進行路解析部３は更に、取得した基本構造等から、進行路の車線幅、路肩位置、車線数などの詳細構造を予測する。
　進行路対応制御部４は、主として、進行路解析部３が予測した進行路の詳細構造を踏まえ、環境計測センサ１の計測データを利用し、道路形状等の環境情報を認識する。より詳細には、進行路解析部３が予測した道路形状、誤差量などに応じて走行路や路端など道路形状の認識手法や処理領域などを動的に変更させることで、より安定的かつ高精度に道路形状等の環境を認識する。
　外部機器制御部５は、主として、進行路対応制御部４の決定に基づいて環境計測センサ１や外部機器６を制御する。外部機器６がディスプレイやスピーカーである場合には、車載環境認識装置１００は、周囲環境の認識結果の表示や、運転サポート情報の表示や、安全支援のための警報などにより、運転手の運転をサポートする。一方、外部機器６が自動運転システムである場合には、車載環境認識装置１００は、車両制御に必要な環境情報を予め提供することで、より適切な自動運転の実現をサポートする。
　以上で概説した、環境計測センサ１、地図情報部２、進行路解析部３、進行路対応制御部４、外部機器制御部５の詳細を以下で順次説明する。
＜環境計測センサ１＞
　図２に示すように、環境計測センサ１は、フロントセンサ１１と、マッチング部１２と、３Ｄ点群取得部１３と、を備えている。
　フロントセンサ１１は、例えば、車内に設置した、前方を撮像するステレオカメラである。ステレオカメラは、左カメラ１１Ｌと右カメラ１１Ｒを、所定間隔を隔てて左右方向に併設したカメラである。なお、以下では、フロントセンサ１１にステレオカメラを用いた例を説明するが、フロントセンサ１１は自車Ｖの前方を計測できるものであれば良く、単眼カメラやＬＩＤＡＲであってもよい。
　マッチング部１２は、ステレオカメラが撮像した左右の画像中に同一の対象物を捕らえている場合、左右の画像上での同一対象物の画像位置をマッチング処理により特定し、左右のカメラから見た場合の画像上に写される位置の違い（視差）を特定することで、当該対象物との距離を測定する。
　３Ｄ点群取得部１３は、左右カメラを三角形の底辺とし、画像上の同一対象物の位置を頂点とする三角形を特定することで、三角測量により対象物の３次元位置を復元する。
＜地図情報部２＞
　図３に示すように、地図情報部２は、汎用地図保存部２１と、ＧＮＳＳ部２２と、詳細地図保存部２３と、詳細地図更新部２４と、を備えており、地図上での自車Ｖの位置を特定する。
　汎用地図保存部２１は、カーナビゲーションシステムで利用される簡易的な地図である汎用地図Ｍｇを保存する。汎用地図Ｍｇは、地図上での位置を規定するノードと、ノード同士を連結するリンクと、によって、道路網を表現するものである。例えば、自車Ｖの周囲の道路網が図４（ａ）に示す環境である場合、その道路網に対応する汎用地図Ｍｇは、図４（ｂ）のような複数のノード（白丸）とリンク（実線）の組み合わせで表現される。
　ＧＮＳＳ部２２は、このノードとリンクの組み合わせで表現された汎用地図Ｍｇ上での自車Ｖの位置を、ＧＮＳＳ情報(Global Navigation Satellite System情報)を利用することで特定する。なお、ＧＮＳＳ情報を利用して特定した位置情報は他センサ（例えば、カメラ、レーダ、ジャイロ、自車Ｖの挙動）を利用して補正しても良い。
　詳細地図保存部２３は、環境計測センサ１を用いて計測した環境情報（例えば、車線幅、道路角度、車線数、最も外側車線から路肩までの距離、走行路形状など）を、汎用地図Ｍｇに付加し、詳細地図Ｍｄとして保存する。ここに保存した詳細地図Ｍｄを利用することで、自車Ｖが同じ走行路を次回走行する場合、前回走行時に保存した詳細情報を利用することで、更に高精度かつ安定的な環境認識が可能となる。
　詳細地図更新部２４は、道路の新設や廃道により汎用地図Ｍｇの地図データが古くなった場合や、工事などにより道路が一時的に通行止めとなった場合等に、詳細地図保存部２３に保存された詳細地図Ｍｄを更新する。これにより、汎用地図Ｍｇには存在しないが走行可能な道路や、汎用地図Ｍｇには存在するが走行不可能な道路などの情報が、詳細地図Ｍｄに追加される。ただし、道路の新設などの環境情報を検出した場合であっても、一度の検出で詳細地図Ｍｄを直ちに更新する必要は無く、同じ環境情報が繰り返し検出された場合に、詳細地図Ｍｄを更新することとしても良い。
＜進行路解析部３＞
　図５に示すように、進行路解析部３は、基本構造解析部３１と、詳細構造解析部３２と、を有する。基本構造解析部３１は、汎用地図保存部２１から取得した汎用地図Ｍｇをベースに、自車Ｖの進行路上にある道路の基本構造を解析する。また、詳細構造解析部３２は、基本構造解析部３１が解析した基本構造を基に、情報の強化（付加）や、道路詳細形状の予測を実施する。以下、各々の詳細を説明する。
＜基本構造解析部３１＞
　図５に示すように、基本構造解析部３１は、進行路データ読込部３１１、ノード＆リンク解析部３１２、基本道路形状解析部３１３、自車位置解析部３１４と、を有する。
　進行路データ読込部３１１は、汎用地図Ｍｇから自車進行路方向の、ノードとリンクの情報を読み込む。例えば、自車Ｖが、図４（ａ）に例示する道路網を走行中であれば、進行路データ読込部３１１は、図４（ｂ）のようなノードの位置情報とリンクの連結情報を読み込む。なお、汎用地図Ｍｇは、一般的には、例えば５ｋｍ四方の地図領域に分割されているので、進行路データ読込部３１１は、汎用地図Ｍｇの全体を取得する必要は無く、自車Ｖが存在する５ｋｍ四方のノードとリンクの情報だけを取得することで、以降の処理負荷を小さくする。
　ノード＆リンク解析部３１２は、進行路データ読込部３１１が取得した、ノードの位置情報とリンクの連結情報に基づいて、図４（ｂ）のように、自車Ｖの周囲の道路網を地図表現する。
　自車位置解析部３１４は、自車Ｖの位置を取得するものであり、ＧＮＳＳ誤差解析部３１４ａと、センサ誤差解析部３１４ｂと、時系列統合補正部３１４ｃと、を有する。ＧＮＳＳ誤差解析部３１４ａは、自車挙動とＧＮＳＳ情報を活用した誤差解析を実施し、自車Ｖが地図上のどこを走行しているかを地図情報と照らし合わせながら誤差を解析することでより自車位置を高精度に補正する。センサ誤差解析部３１４ｂは、慣性センサ（ジャイロ）やカメラ、ミリ波、ＬＩＤＡＲなどの情報を利用することで、地図上の縦位置、横位置の誤差を解析する。時系列統合補正部３１４ｃは、ＧＮＳＳ誤差解析部３１４ａやセンサ誤差解析部３１４ｂで取得した誤差情報を利用して、地図上の位置補正を実施する。ただし、ＧＮＳＳ誤差やセンサ誤差を、瞬間的な判定結果で位置補正を実施すると不確定な情報での位置更新や、不安定な位置更新となりやすい。このため時系列に誤差を解析することで安定的な誤差補正を、時系列統合補正部３１４ｃにおいて誤差補正を実施する。
　基本道路形状解析部３１３は、ノード＆リンク解析部３１２が地図表現した汎用地図Ｍｇ（図４（ｂ））と、自車位置解析部３１４が取得した自車位置と、に基づいて、自車Ｖが次に遭遇すると予測される変化点（交差点など）の道路構造を予測する。例えば、自車Ｖが、汎用地図Ｍｇ上の図６（ａ）に示す位置を走行中の場合、基本道路形状解析部３１３は、自車Ｖの前方の破線で囲んだ領域を解析対象とする。そして、基本道路形状解析部３１３は、図６（ｂ）に例示する複数の基本構造の候補から、図６（ａ）の破線領域に相当する「十字路」を選択し、これを自車Ｖが次に遭遇する変化点の基本構造と予測し（図６（ｃ））、さらに、その十字路までの距離なども予測する。
＜詳細構造解析部３２＞
　図５に示すように、詳細構造解析部３２は、基本道路形状読込部３２１と、詳細道路形状付加部３２２と、詳細形状更新部３２３と、を有する。
　基本道路形状読込部３２１は、基本構造解析部３１で予測した基本構造の情報（例えば、「十字路」）を取得する。
　詳細道路形状付加部３２２は、基本道路形状読込部３２１が取得した基本構造に、道路の詳細形状等を付加して、詳細構造を復元する。
　図７は、詳細道路形状付加部３２２による詳細形状の付加と、詳細構造の復元を具体的に説明する図である。図７（ａ）に例示するように、基本構造解析部３１が予測した基本構造が「十字路」である場合、詳細道路形状付加部３２２は、汎用地図Ｍｇが有する詳細形状の値、後述するデフォルト値、前回の環境認識結果などを利用することで、車線数、車線幅、外側車線から路肩までの距離、交差点における道路同士の角度や、白線の角度など走行路の形状変化などの詳細形状を、基本構造に付加して詳細構造を復元する。
　図７（ｂ）は、基本構造を基にして復元した詳細構造の一例である。ここに示すように、詳細道路形状付加部３２２は、図７（ａ）の基本構造「十字路」に、各道路の車線数、各車線の車線幅、路肩位置、白線交差角度θ１、路肩交差角度θ２等を肉付けすることで、詳細構造を復元している。
　例えば、汎用地図Ｍｇに、車線数、車線幅、走行路や白線同士の角度情報などの詳細形状が登録されている場合であれば、詳細構造解析部３２は、それらを利用することで、精度の良い詳細構造を復元する。
　一方、汎用地図Ｍｇに、上述した詳細形状の一部または全部が登録されていない場合は、詳細構造解析部３２は、デフォルトの詳細形状等を利用して、詳細構造を復元する。デフォルトの詳細形状は、固定値（例えば、車線数２、車線幅３ｍ、路肩１．５ｍなど）であっても良いが、汎用地図Ｍｇに登録された道路の種別や等級などの情報に基づいてデフォルト値を設定しても良いし、汎用地図Ｍｇに詳細構造を復元するために利用できる情報が登録されていなければ、間接的な情報を利用して適切な値を設定しても良い。
　このように、詳細構造解析部３２によって、詳細構造の精度をより高めて復元できるので、後述する進行路対応制御部４での認識処理や、外部機器６を介した運転手や自動運転システムへのフィードバック情報をより適切なものとすることができる。
　ここで、詳細形状の設定方法を、表１～表８を参照しながら説明する。
　表１は、道路構造令の第３条第１項が定める道路の種別であり、表２は、道路構造令の第３条第２項等が定める道路の等級である。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
　これらの表から、例えば、都市部の高速自動車国道であれば「第２種」の道路に分類され、また、例えば、計画交通量が２万台／日以上の平地部の一般道路であれば「第１級」の道路に分類されることが分かる。
　このような種別・等級の情報が汎用地図Ｍｇに登録されている場合には、詳細道路形状付加部３２２は、この種別情報と等級情報に応じたデフォルト値を利用して、詳細構造を高精度に復元することができる。
　例えば、道路構造令が、道路の種別と等級の組み合わせに応じた法定値を定めている車線幅などは、その法定値をそのままデフォルト値として利用する。具体的には、道路構造令の第５条第４項が定める車線幅の法定値（表３）、または、道路構造令の第８条第２項、第４項、第７項が定める路肩幅の法定値（表４）を利用することで、詳細道路形状付加部３２２は、法定値を遵守した交差点等の詳細構造を精度良く復元することができる。
Figure JPOXMLDOC01-appb-T000003
Figure JPOXMLDOC01-appb-T000004
　しかし、汎用地図Ｍｇに道路の種別と等級の組み合わせが登録されておらず、表３や表４からは法定値を求めることができない場合もある。そのような場合には、詳細道路形状付加部３２２は、汎用地図Ｍｇに登録された他の情報をベースに、デフォルト値を切り替えることで、詳細構造の復元精度の向上を図る。
　例えば、汎用地図Ｍｇに道路の種別情報は登録されているが、道路の等級情報が登録されていない場合は、表５を用いて片側車線数等のデフォルト値を設定する。反対に、汎用地図Ｍｇに道路の等級情報は登録されているが、道路の種別情報が登録されていない場合は、表６を用いて片側車線数等のデフォルト値を設定する。このように、表５や表６を用いる場合であっても、道路の幅や車線数を大まかに予測する際には有用な情報となり、まったく情報がない場合と比較すれば、詳細構造の復元精度を向上させることができる。
Figure JPOXMLDOC01-appb-T000005
Figure JPOXMLDOC01-appb-T000006
　次に、汎用地図Ｍｇに詳細構造を復元する直接的な車線幅、車線数、路肩などの情報が登録されておらず、更に、道路の種別情報も等級情報も登録されていない場合（すなわち、表３～表６の何れも利用できない場合）の、デフォルト値の設定方法を２つ例示する。　
　例えば、汎用地図Ｍｇに、道路の種別情報や等級情報が登録されていないが、道路の種類に関する大まかな情報が登録されている場合は、表７を用いて、道路の種類に応じた片側車線数等のデフォルト値を設定する。なお、汎用地図Ｍｇに表７中のデフォルト値が部分的にでも登録されている場合には、汎用地図Ｍｇ中のデフォルト値を優先し、不足している情報のみを表７から引用すれば良い。また、汎用地図Ｍｇに、道路の種類に関する大まかな情報も登録されていないが、汎用地図Ｍｇ等から制限速度情報を取得できる場合は、表８を用いて、制限速度に応じて片側車線数等のデフォルト値を動的に切り替える。このように、表７や表８を用いてデフォルト値を動的に設定する場合であっても、まったく情報がない場合と比較すれば、詳細構造の復元精度を向上させることができる。
Figure JPOXMLDOC01-appb-T000007
Figure JPOXMLDOC01-appb-T000008
＜詳細形状更新部３２３＞
　図５に示すように、詳細形状更新部３２３は、路端更新部３２３ａと、車線更新部３２３ｂと、起伏更新部３２３ｃと、を有する。
　路端更新部３２３ａは、最外側の車線と路端の位置関係に関する路端情報や、車線や路端の形状の変形に関する路端情報を更新する。車線更新部３２３ｂは、走行路の車線数、交差点や分岐合流における車線形状の複雑な変化、車線幅の情報、走行路同士の角度などの、汎用地図情報Ｍｇには記載のない車線情報を更新する。起伏更新部３２３ｃは、走行路の凹凸や傾斜に関する起伏情報を更新する。
　これらの各々は、上述した更新処理に加え、路端、車線、走行路の起伏などの環境情報の信頼度に基づいて、次回、同じ場所を走行した際に、その環境情報を再利用して良いかも判断する。例えば、信頼度の低い環境情報は、進行路対応制御部４での今回の道路形状認識だけに利用する暫定情報と判断され、地図情報部２へは送信しない。一方、信頼度の高い環境情報は、進行路対応制御部４での今回の道路形状認識に利用するだけでなく、以後も再利用する環境情報と判断され、その信頼度とともに地図情報部２へ送信し、詳細地図Ｍｄに保存させる。
　環境情報の再利用可否判断の具体例を挙げれば、住宅地に向かう道路上で進行方向と直交する凸形状が計測された場合、起伏更新部３２３ｃは、当該凸形状が速度抑制用のＢＵＭＰやＨＵＭＰである可能性が高いと判断し、当該の凸形状に関する起伏情報を信頼度が高く詳細地図Ｍｄに登録すべき環境情報として地図情報部２へ送信する。
　なお、信頼度の高い環境情報であっても、一度測定しただけで直ちに地図情報部２に送信する必要は無く、同じ情報が繰り返し計測された場合に地図情報部２に送信しても良い。これは、一度計測しただけの環境情報は、工事中の暫定的な車線幅を検出したものであったり、駐車車両が隠した白線を検出できなかったものであったりするので、同じ場所で繰り返し計測された信頼できる環境情報のみを登録することで、詳細地図Ｍｄの信頼度を高めるためである。
　また、今回の環境認識で得られた環境情報の信頼度が極めて高く、かつ、地図情報部２に既に保存されていた環境情報との一致度も高い場合は、既存の環境情報と新規の環境情報を融合させて、詳細地図Ｍｄ上の詳細形状を更新してもよい。
＜詳細道路形状付加部３２２＞
　次に、図７で具体的な処理を説明した詳細道路形状付加部３２２の更なる詳細を、図８を用いて説明する。ここに示すように、詳細道路形状付加部３２２は、優先度調整部３２２ａと、付加情報選択部３２２ｂと、形状復元部３２２ｃと、を有する。
　図７で説明したように、詳細道路形状付加部３２２は、基本道路形状読込部３２１が取得した基本構造に対して、車線幅、車線数、路肩情報などの詳細形状を付加し、詳細構造を復元するものであるが、詳細形状の情報源が複数存在する場合は、どの情報源を優先的に利用するかを判断する必要がある。
　そこで、優先度調整部３２２ａでは、道路の詳細構造を復元する際に利用する情報源の優先度を調整する。
　図９の「固定環境情報」列に示すように、値が固定された環境情報に関しては、利用可能な情報源の中で最も優先度の高い（優先度の数値の小さい）情報源を利用する。例えば、「車線幅」を例にすると、サーバから取得したサーバ地図Ｍｓ内に道路別の「車線幅」が設定されている場合は、サーバ地図Ｍｓの「車線幅」情報を利用する（優先度１）。サーバ地図Ｍｓから「車線幅」情報を取得できず、汎用地図Ｍｇから「車線幅」情報を取得できる場合は、この汎用地図Ｍｇの「車線幅」情報を利用する（優先度２）。サーバ地図Ｍｓ、汎用地図Ｍｇの何れからも「車線幅」情報を取得できない場合は、上述した、表３～表８に定められた法定値やデフォルト値のなかで最も優先度の高いものを利用する（優先度３～優先度５）。更に、表３～表８も利用できない場合には、全固定のデフォルト値（既出の例でいえば、車線数２、車線幅３ｍ、路肩１．５ｍなどの環境情報）を利用しても良い。
　更に、上述したように、認識した環境情報のうちある程度の信頼度を超えたものは、詳細形状更新部３２３によって、地図情報部２の詳細地図Ｍｄに登録されているので、詳細地図Ｍｄに登録された環境情報を再利用することで、次の変化点の「車線幅」を、事前に把握することができる。
　なお、図９においては、優先度の優劣を整数で表現しているが、優先度１．４のように整数でない優先度を設定しても良い。例えば、サーバ地図Ｍｓや汎用地図Ｍｇ等に登録された固定環境情報には整数の優先度を設定する一方、環境計測センサ１の計測データにより認識された、信頼度が変動する動的環境情報には優先度１～優先度４の範囲内で信頼度に応じた整数に限定されない優先度を設定し、優先度が僅かでも小さい環境情報を利用できるようにしても良い。
　また、以上では、基本構造に付加する詳細形状が「車線幅」である場合を例にして説明したが、「車線数」や「路肩」を付加する場合であっても、優先度を利用して詳細構造を設定することができる。また、情報源によっては欠落する情報もあるため、その場合は、複数の情報源から取得した情報を統合することで、所望の情報を含む詳細構造を復元しても良い。
　このように、詳細道路形状付加部３２２は、各環境情報の信頼度に応じて詳細地図Ｍｄに保存された情報の優先度を更新していく。詳細地図Ｍｄ上に過去に保存された環境情報が全く存在しない場合には、環境計測センサ１の計測データにより認識されたある程度信頼度が高い環境情報を優先度４に設定して登録する。これに対して誤差範囲内の環境情報が更新された場合には、それらの環境情報の値を平均化し更新するとともに優先度を少しずつ高くしていく。データは毎回の環境情報の値を保存し、はずれ値は削除し、優先度を下げる。はずれ値以外は優先度を上昇させて、環境認識結果の平均値を保存する。もしくは環境認識結果をフィルタリングし現在値にウェイトを高くし、過去値を低くしたようなフィルタ設計でも良い。また、連続してはずれ値が入ってくるような場合には、従来値が間違えていた、もしくは道路の工事により実際に走行路のデータが更新された場合もあるので、ある一定時間以上の時間が計画しておりなおかつ、５度以上連続して大きく異なるデータが入ってきた場合には、優先度を優先度４へ初期設定すると同時に値を新しいデータへ書き換える。このようにすることで実際の道路工事などによるデータの更新などにも対応する。
＜進行路対応制御部４＞
　図１０に示すように、進行路対応制御部４は、認識処理選択部４１、認識処理設定部４２、路端認識部４３、車線認識部４４、露光調整部４５、カメラ姿勢補正部４６、センサ異常検出部４７を有する。
　この進行路対応制御部４は、進行路解析部３から予め取得した変化点（交差点等）の詳細構造を踏まえ、環境計測センサ１の測定データに基づき道路形状を認識するものであり、単路を想定して初期設定されている道路形状認識処理の認識ロジックを、進行路の道路形状に合わせて動的に変更して、より適切な認識ロジックにより環境情報を認識する。同様に、露光調整やカメラ姿勢補正、センサ異常検出についても、進行路の詳細構造を踏まえた処理を実施することで、本来の処理よりも適切な処理を可能とする。以下、各々の詳細を説明する。
＜認識処理選択部４１＞
　認識処理選択部４１は、進行路の基本構造に応じた認識ロジック（処理領域数や特徴量抽出法）を選択するものであり、図１１に示すように、路端処理領域数選択部４１１、路端抽出法選択部４１２、車線処理領域数選択部４１３、車線抽出法選択部４１４、を有する。なお、以下では、進行路対応制御部４の処理データが、ステレオカメラで撮像された画像データであるものとして説明を進めるが、処理データは、環境計測センサ１から取得した３Ｄ点群データ等の他種のデータであっても良い。
　路端処理領域数選択部４１１は、進行路の基本構造に応じて路端抽出処理を実行する領域数を選択する。フロントセンサ１１がステレオカメラであるときは、自車Ｖの前方１００ｍ程度を計測しているので、例えば、前方１００ｍ以内の進行路が単路であれば、自車Ｖの左右に２本の平行な路端が存在すると想定し、それらを抽出できるように、路端処理領域数「２」を選択する。また、前方１００ｍ以内の進行路に十字路があれば、自車Ｖの左右に２本の平行な路端があり、自車Ｖの前方に２本の平行な路端があると想定し、それらを抽出できるように、路端処理領域数「４」を選択する。
　同様に、車線処理領域数選択部４１３は、進行路の基本構造に応じて車線抽出処理を実行する領域数を選択する。例えば、前方１００ｍ以内の進行路が単路であれば、自車Ｖの進行方向に沿った車線が存在すると想定し、それらを抽出できるように、車線処理領域数「１」を選択する。また、前方１００ｍ以内の進行路に十字路があれば、交差点の前後左右に、自車Ｖの進行方向に沿った車線と、また、自車Ｖの進行方向に垂直な車線があると想定し、それらを抽出できるように、車線処理領域数「４」を選択する。
　また、路端抽出法選択部４１２は、進行路の基本構造に応じて路端特徴量の抽出法を選択する。例えば、前方１００ｍ以内の進行路が単路であれば、設定した路端処理領域を横方向に探索する路端抽出法を設定する。また、前方１００ｍ以内の進行路に十字路があれば、自車Ｖの進行方向に沿った路端処理領域には横方向に探索する路端抽出法を選択し、自車Ｖの進行方向と垂直な路端処理領域には縦方向に探索する路端抽出法を選択する。
　同様に、車線抽出法選択部４１４は、進行路の基本構造に応じて車線特徴量の抽出法を選択する。例えば、前方１００ｍ以内の進行路が単路であれば、設定した車線処理領域を横方向に探索する車線抽出法を選択する。また、前方１００ｍ以内の進行路に十字路があれば、自車Ｖの進行方向に沿った車線処理領域には横方向に探索する車線抽出法を選択し、自車Ｖの進行方向と垂直な車線処理領域には縦方向に探索する車線特徴量抽出法を選択する。
＜認識処理設定部４２＞
　図１２に示すように、認識処理設定部４２は、路端処理領域設定部４２１、路端領域別抽出法設定部４２２、車線処理領域設定部４２３、車線領域別抽出法設定部４２４、を有しており、各設定部は、認識処理選択部４１が選択した処理領域数と特徴量抽出法を用いて環境計測センサ１の計測データを処理できるようにする。
　例えば、前方１００ｍ以内の進行路に十字路がある場合は、路端処理領域設定部４２１は、路端処理領域数選択部４１１の選択を踏まえ、路端処理領域として、走行路と歩道の境界にある段差の路肩が含まれるような大きさの４領域（図１３Ａ参照）を画像データに設定する。また、同条件下においては、車線処理領域設定部４２３は、車線処理領域数選択部４１３の選択を踏まえ、車線処理領域として、交差点の前後左右の路上にある車線が含まれるような大きさの４領域（図１３Ｂ参照）を画像データに設定する。さらに、路端領域別抽出法設定部４２２と車線領域別抽出法設定部４２４は、各領域に対する特徴量抽出方法として、路端抽出法選択部４１２や車線抽出法選択部４１４が選択した特徴量抽出法を設定する。
　なお、ＧＮＳＳ誤差、環境計測センサ１による自己位置補正、車体ピッチングなどの影響を考慮し、路端処理領域設定部４２１や車線処理領域設定部４２３が設定する処理領域の大きさは、画像上での位置ずれを考慮したマージンを持たせたものとすることが望ましい。
＜路端認識部４３＞
　路端認識部４３は、認識処理設定部４２が設定した処理領域と特徴量抽出法を用いて、路端を認識する。路端特徴量は、走行路に対して、立体的に高いもしくは低い段差部分を特徴量として抽出する。このため、走行路に対して路肩と更にその側方に壁などがあった場合には、両方の特徴量が抽出される。また、壁や建築物、樹木、電柱、側溝などさまざまな立体物が特徴量として抽出されるが、走行路を走行している自車Ｖにとって重要な段差は、自車Ｖを中心に最初に接触する段差が重要であり、この段差に接触しないように走行することが重要である。このため、自車Ｖを中心に考えて最初に接触する可能性のある段差を強調し、それよりも自車Ｖから遠い位置に存在する立体物に関しては、削除するようなノイズ除去処理を実施する。実施後、自車Ｖを中心に、最初に自車Ｖが接触する可能性のある段差を路端の点群として利用する。更に、この路端の点群を自車挙動もしくは、画像の対応点を利用して時系列に走行路の路端点群を構成する。この時系列に構成された路端点群と、詳細道路構造をモデルフィッティングする。
　図１４は、路端認識部４３が実施するモデルフィッティング処理の一例である。進行路対応制御部４が進行路解析部３から取得した進行路の詳細構造が、図１４（ａ）に例示するような直交十字路であったとしても、実際の十字路の形状は異なることが多い。そこで、路端認識部４３は、環境計測センサ１の計測データから認識した路端点群（図１４（ｂ）の黒丸）の位置を考慮して、道路形状を規定する道路モデルコントロール点（図１４（ｂ）の白丸）の位置を調整する。図１４（ｂ）の例では、紙面横方向の道路の路端点群が、若干右上がりの直線上で観測されているので、路端認識部４３は、十字路の道路モデルコントロール点の位置を若干右上がりの点線上に移動させるモデルフィッティング処理を実施し、これを新たな詳細構造とする。
　このように、本実施例の路端認識部４３は、進行路解析部３から進行方向の道路の詳細構造を事前に取得し、その詳細構造に応じた路端処理領域と路端特徴量抽出法を利用するだけでなく、取得した詳細構造に対しモデルフィッティング処理を施すことにより、基本的に単路を処理対象としていた従来の路端認識技術では正確な認識が困難であった、複雑な走行路の路端を正確に認識することが可能となる。
＜車線認識部４４＞
　車線認識部４４は、認識処理設定部４２が設定した処理領域と特徴量抽出法を用いて、車線を認識する。路端認識部４３と同様の点は重複説明を省略するが、両認識部の相違点を列挙すれば、車線認識部４４は、認識処理設定部４２が設定した処理領域と特徴量抽出法を用いて抽出した特徴量からノイズを除去し、車線を認識する。車線特徴量は、走行方向に沿った境界線となる白い線の特徴となる点を検出する。おおよそ走行路が直線的であり極端なカーブはすくないことから、大まかな探索は直線探索することで、車線の位置や候補数をおおまかに探すことが可能である。このような処理を実施することで、ノイズ除去を実施する。更に自社挙動も利用することで、時系列に連続的につないだ車線を復元する。
＜露光調整部４５＞
　露光調整部４５は、走行路の路肩までの幅の概算値など、露光条件を決定するために有用な情報を利用して、ステレオカメラ等の露光を補正する。
　従来の露光調整では、走行路に応じて現在の画像の明るさを計測するようなことはせずに基本的には、車線が入らないような路面を処理領域として路面の明るさを測定し、この路面の明るさに応じて次のフレームの露光量を調整することで、路面の視差ができる限り少なくならないような調整をしていた。もしくは白線や路面ペイントがあったとしても最頻値を利用することで、路面の明るさに応じて露光量を調整していた。基本的にはより広範囲の路面の明るさなどを解析することで、より安定的な露光の調整を可能とするが、走行路の形状がわからないことから、基本的には自車線内、もしくは自車線から少しはみ出す程度の処理領域で露光の解析を実施していた。
　しかしながら、上記した詳細形状解析により、路肩までの幅の概算値を得られる場合は、この詳細形状解析の結果もしくは前回の環境認識結果を利用して、露光を調整するための走行路の明るさを解析する処理領域を決定する。これにより走行路にあわせてできる限り広い範囲での路面明るさの解析が可能となり、より安定的な露光調整を実現することができる。
＜カメラ姿勢補正部４６＞
　カメラ姿勢補正部４６は、汎用地図Ｍｇに走行路の傾斜情報が登録されていれば、これを利用して、環境計測センサ１の姿勢を補正する。また、車線幅や路肩幅などの情報もあればこれを利用した上でのカメラの高さ情報なども補正可能となる。
　また、このカメラと路面の相対姿勢が正解に求まることで、処理領域の設定などもより適切に実施することが可能となる。
＜センサ異常検出部４７＞
　センサ異常検出部４７は、地図情報部２から取得した詳細地図Ｍｄなどの地図情報を用いて、環境計測センサ１の異常を検出する。センサ異常検出部４７は、地図情報から、進行方向の交差点等における白線や路肩等の詳細構造を事前に取得できるので、その交差点等の通過時に検出できるはずの白線や路肩等の特徴が検出できなかった場合などに、環境計測センサ１に異常の可能性があると判定する。そして、短時間内に繰り返し異常判定された場合等に、環境計測センサ１の異常を検出し、運転手や自動運転システムに環境計測センサ１の異常を通知する。
＜進行路対応制御部４の応用例＞
　以上で、進行路対応制御部４による基本制御を説明したが、上記した認識ロジックを用いて進行路上に複数の車線を認識した場合や、自動運転を行う際に考慮必要なランドマークが認識された場合は、詳細構造解析部３２は、認識した車線やランドマークの各々に、その種別を示すラベルＬを付与し、自車Ｖがどのような環境を走行しているかの意味を認識できるようにしても良い。例えば、図１５に示すように、高速道路のゲートに向かう際に認識された車線やランドマークに対しては、ＥＴＣ装置の未搭載車用の一般走行路であることを示すラベルＬ１、ＥＴＣ装置の搭載車用の走行路であることを示すラベルＬ２、ゲートの位置を示すラベルＬ３、対向走行路であることを示すラベルＬ４などを付与する。
　これらのラベルを付与しておけば、自動走行中の自車Ｖは、対向走行路の逆走を防止できるだけでなく、ＥＴＣ装置の搭載状況に応じて適切な走行路を選択するとともに、ゲート通過時に停止したり減速したりする自動運転を実現することができる。
＜処理フローチャート＞
　次に、図１６を用いて、本実施例の車載環境認識装置１００により実施される処理フローの一例を説明する。
　まず、Ｓ１では、環境計測センサ１のフロントセンサ１１は、ステレオカメラで自車Ｖ前方の左右画像を撮像する。
　Ｓ２では、環境計測センサ１のマッチング部１２は、ステレオカメラが撮像した左右画像に対し、ステレオマッチングを実施する。
　Ｓ３では、環境計測センサ１の３Ｄ点群取得部１３は、マッチング部１２によるステレオマッチング結果に基づいて、３Ｄ点群を取得する。
　Ｓ４では、進行路解析部３の基本構造解析部３１は、地図情報部２が保持する汎用地図情報Ｍｇから、自車Ｖ近傍の、ノードとリンクからなる基本道路形状を取得する。
　Ｓ５では、進行路解析部３の詳細構造解析部３２は、基本構造解析部３１が取得した基本道路形状をベースに、詳細道路形状を復元する。もしくは、環境認識した結果の情報が保存されている場合には、優先度に応じて、どちらをベースに詳細道路形状の復元を実施するかを決定する。
　Ｓ６では、進行路対応制御部４の認識処理選択部４１は、道路形状に応じた路端や車線認識のための認識ロジックを選択する。
　Ｓ７では、進行路対応制御部４の認識処理設定部４２は、道路形状に応じた路端や車線認識のための認識ロジックを設定する。
　Ｓ８では、進行路対応制御部４の路端認識部４３は、認識処理設定部４２による認識処理の一部の変更やパラメータ調整による処理領域や位置の変更結果などを受けて、路端認識処理を実行する。
　Ｓ９では、進行路対応制御部４の車線認識部４４は、認識処理設定部４２による認識処理の一部の変更やパラメータ調整による処理領域や位置の変更結果などを受けて、車線認識処理を実行する。なお、Ｓ８とＳ９の順序は入れ替えても良い。
　Ｓ１０では、進行路解析部３の詳細構造解析部３２は、車線や路端の認識結果の信頼度に応じて、それらに関する環境情報を詳細地図Ｍｄに反映することの可否をまずは判定する。
　詳細地図Ｍｄの更新が可能と判定された場合、Ｓ１１では、詳細地図更新部２４は、従来まで認識された結果をベースにして保存されている情報があれば、その結果と照らし合わせた上で、汎用地図Ｍｇを更新するか否かを決定する。たとえば、従来の保存結果と大きく異なるような場合には、そのような結果が、何回も続いていることを確認したうえで最終的な地図を汎用地図Ｍｇに反映する。
　Ｓ１２では、外部機器制御部５は、今回、認識された環境情報を利用して、運転手に進行路に関する情報を交差点などに到着する前に提供したり、自動運転システムに自動運転の実現に必要な情報を事前に提供したりする。
　以上で説明したように、本実施例の車載環境認識装置によれば、車両に搭載した環境計測センサと簡易的な地図情報を利用し、交差点のような複雑な道路の詳細形状を、そこに到達する前に認識することができる。
１　環境計測センサ
　１１　フロントセンサ
　　１１Ｌ　左カメラ
　　１１Ｒ　右カメラ
　１２　マッチング部
　１３　３Ｄ点群取得部
２　地図情報部
　２１　汎用地図保存部
　２２　ＧＮＳＳ部
　２３　詳細地図保存部
　２４　詳細地図更新部
３　進行路解析部
　３１　基本構造解析部
　　３１１　進行路データ読込部
　　３１２　ノード＆リンク解析部
　　３１３　基本道路形状解析部
　　３１４　自車位置解析部
　　　３１４ａ　ＧＮＳＳ誤差解析部
　　　３１４ｂ　センサ誤差解析部
　　　３１４ｃ　時系列統合補正部
　３２　詳細構造解析部
　　３２１　基本道路形状読込部
　　３２２　詳細道路形状付加部
　　　３２２ａ　付加情報優先度部
　　　３２２ｂ　付加情報選択部
　　　３２２ｃ　形状復元部
　　３２３　詳細形状更新部
　　　３２３ａ　路端更新部
　　　３２３ｂ　車線更新部
　　　３２３ｃ　起伏更新部
４　道路形状認識部
　４１　認識処理選択部
　　４１１　路端処理領域数選択部
　　４１２　路端抽出法選択部
　　４１３　車線処理領域数選択部
　　４１４　車線抽出法選択部
　４２　認識処理設定部
　　４２１　路端処理領域設定部
　　４２２　路端領域別抽出法設定部
　　４２３　車線処理領域設定部
　　４２４　車線領域別抽出法設定部
　４３　路端認識部
　４４　車線認識部
　４５　露光調整部
　４６　カメラ姿勢補正部
　４７　センサ異常検出部
５　外部機器制御部
６　外部機器

Claims (10)

  1. 　環境計測センサが出力する計測データに基づいて、進行路の環境を認識する環境認識装置であって、
    　汎用地図またはサーバ地図から得た地図情報に基づいて、前記進行路の基本構造を解析する基本構造解析部と、
    　前記進行路の基本構造に基づいて、前記進行路の詳細構造を復元する詳細構造解析部と、
    　前記進行路の基本構造に応じて、前記計測データから環境情報を認識する認識ロジックを変更する進行路対応制御部と、
    　該進行路対応制御部が認識した前記環境情報に基づいて、前記環境計測センサまたは外部機器を制御する外部機器制御部と、を具備することを特徴とする環境認識装置。
  2. 　請求項１に記載の環境認識装置において、
    　前記地図情報は、ノード情報とリンク情報であり、
    　前記詳細構造は、前記ノード情報と前記リンク情報からなる基本構造に、車線の数、車線の幅、路肩位置、白線交差角度、路肩交差角度の何れかの環境情報を付加して復元したものであることを特徴とする環境認識装置。
  3. 　請求項１に記載の環境認識装置において、
    　前記進行路の基本構造に応じて変更される認識ロジックは、路端または車線の認識処理における、処理領域の数、該処理領域の場所、または、特徴量抽出法であることを特徴とする環境認識装置。
  4. 　請求項３に記載の環境認識装置において、
    　前記認識ロジックは、前記処理領域の場所に応じた特徴量抽出処理、ノイズ除去処理、モデルフィッティング処理の少なくとも一つを含むことを特徴とする環境認識装置。
  5. 　請求項４に記載の環境認識装置において、
    　前記モデルフィッティング処理は、前記特徴量抽出処理で抽出した特徴量の３次元的配置に基づいて、前記進行路の詳細構造に含まれる白線交差角度、または、路肩交差角度を設定する処理であることを特徴とする環境認識装置。
  6. 　請求項１に記載の環境認識装置において、
    　前記詳細構造解析部は、前記進行路対応制御部が認識した車線またはランドマークに、それらの種別を表すラベルを付与して、前記進行路の詳細構造を復元することを特徴とする環境認識装置。
  7. 　請求項２に記載の環境認識装置において、
    　前記詳細構造解析部は、前記地図情報から取得した、道路構造令が定める種別情報または等級情報に基づいて、前記環境情報の値を復元することを特徴とする環境認識装置。
  8. 　請求項２に記載の環境認識装置において、
    　前記詳細構造解析部は、前記地図情報から取得した、道路の種類情報または制限速度情報に基づいて、前記環境情報の値を復元することを特徴とする環境認識装置。
  9. 　請求項２に記載の環境認識装置において、
    　前記詳細構造解析部は、前記地図情報から取得した、当該場所での過去の認識処理で得た値を利用して、前記環境情報の値を復元することを特徴とする環境認識装置。
  10. 　請求項２に記載の環境認識装置において、
    　前記詳細構造解析部は、
    　道路構造令が定める種別情報または等級情報に基づく値、
    　道路の種類情報または制限速度情報に基づく値、または、
    　当該場所での過去の認識処理で得た値、のうち複数を利用できる場合は、
    　各々の値に対して設定された優先度の最も高い値を選択して、前記詳細構造を復元することを特徴とする環境認識装置。
PCT/JP2020/003861 2019-03-22 2020-02-03 環境認識装置 WO2020195166A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-054649 2019-03-22
JP2019054649A JP7257207B2 (ja) 2019-03-22 2019-03-22 環境認識装置

Publications (1)

Publication Number Publication Date
WO2020195166A1 true WO2020195166A1 (ja) 2020-10-01

Family

ID=72558753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/003861 WO2020195166A1 (ja) 2019-03-22 2020-02-03 環境認識装置

Country Status (2)

Country Link
JP (1) JP7257207B2 (ja)
WO (1) WO2020195166A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188254A1 (ja) * 2022-03-31 2023-10-05 本田技研工業株式会社 移動体の制御装置、移動体の制御方法、および記憶媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292064A (ja) * 2004-04-05 2005-10-20 Sony Corp ナビゲーション装置、およびデータ処理方法、並びにコンピュータ・プログラム
JP2005321370A (ja) * 2004-04-05 2005-11-17 Sony Corp ナビゲーション装置、およびデータ処理方法、並びにコンピュータ・プログラム
JP2006208256A (ja) * 2005-01-31 2006-08-10 Alpine Electronics Inc 車載用電子装置
JP2008157680A (ja) * 2006-12-21 2008-07-10 Matsushita Electric Ind Co Ltd ナビゲーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005292064A (ja) * 2004-04-05 2005-10-20 Sony Corp ナビゲーション装置、およびデータ処理方法、並びにコンピュータ・プログラム
JP2005321370A (ja) * 2004-04-05 2005-11-17 Sony Corp ナビゲーション装置、およびデータ処理方法、並びにコンピュータ・プログラム
JP2006208256A (ja) * 2005-01-31 2006-08-10 Alpine Electronics Inc 車載用電子装置
JP2008157680A (ja) * 2006-12-21 2008-07-10 Matsushita Electric Ind Co Ltd ナビゲーション装置

Also Published As

Publication number Publication date
JP2020153908A (ja) 2020-09-24
JP7257207B2 (ja) 2023-04-13

Similar Documents

Publication Publication Date Title
CN109991984B (zh) 用于生成高精细地图的方法、装置和计算机存储介质
JP6870475B2 (ja) 車線情報出力方法および車線情報出力装置
US9990375B2 (en) Map data processing device for vehicle
EP3467802B1 (en) Object detection method and object detection device
US9983022B2 (en) Vehicle position estimation system, device, method, and camera device
CN102529975B (zh) 用于精确的分车道车辆定位的***和方法
US8134480B2 (en) Image processing system and method
US7463974B2 (en) Systems, methods, and programs for determining whether a vehicle is on-road or off-road
WO2020012208A1 (ja) 走行環境情報の生成方法、運転制御方法、走行環境情報生成装置
EP3064901A1 (en) Turn lane configuration
US20220270358A1 (en) Vehicular sensor system calibration
US11260861B2 (en) Method, device and computer-readable storage medium with instructions for determining the lateral position of a vehicle relative to the lanes on a roadway
US11531348B2 (en) Method and apparatus for the detection and labeling of features of an environment through contextual clues
JP2011013039A (ja) 車線判定装置及びナビゲーションシステム
CN114375467A (zh) 紧急车辆的检测
Ravi et al. Lane width estimation in work zones using LiDAR-based mobile mapping systems
WO2020195166A1 (ja) 環境認識装置
WO2022018970A1 (ja) 情報処理装置
JP7024871B2 (ja) 経路算出方法、運転制御方法及び経路算出装置
CN114216469B (zh) 一种对高精地图进行更新的方法、智慧基站及存储介质
JP2003035541A (ja) 車両用離脱判定装置
Faghi Map Based Sensor Fusion for Lane Boundary Estimation on ADAS
Irie et al. A Study of Estimating Lane-level Traffic Conditions Using Smartphone Data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20776978

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20776978

Country of ref document: EP

Kind code of ref document: A1