WO2016080100A1 - 走行制御システム - Google Patents
走行制御システム Download PDFInfo
- Publication number
- WO2016080100A1 WO2016080100A1 PCT/JP2015/078429 JP2015078429W WO2016080100A1 WO 2016080100 A1 WO2016080100 A1 WO 2016080100A1 JP 2015078429 W JP2015078429 W JP 2015078429W WO 2016080100 A1 WO2016080100 A1 WO 2016080100A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image recognition
- information
- vehicle
- surrounding environment
- travel control
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 250
- 239000007787 solid Substances 0.000 claims description 33
- 230000002093 peripheral effect Effects 0.000 claims description 31
- 230000001133 acceleration Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 16
- 239000003550 marker Substances 0.000 description 32
- 230000007423 decrease Effects 0.000 description 30
- 238000000034 method Methods 0.000 description 23
- 239000003973 paint Substances 0.000 description 23
- 230000000694 effects Effects 0.000 description 17
- 230000007704 transition Effects 0.000 description 12
- 238000009434 installation Methods 0.000 description 8
- 230000006866 deterioration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000011002 quantification Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 0 C*C*=NI=*=*CCC* Chemical compound C*C*=NI=*=*CCC* 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/04—Traffic conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0095—Automatic control mode change
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/53—Road markings, e.g. lane marker or crosswalk
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4026—Cycles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/55—External transmission of data to or from the vehicle using telemetry
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/65—Data transmitted between vehicles
Definitions
- the present invention detects road surface indications such as lane markers and stop positions of roads around the host vehicle, detects a plurality of three-dimensional objects such as moving objects and obstacles around the host vehicle, and determines a traveling area on the road.
- the present invention relates to an automatic driving system that travels on a preset travel route while avoiding a collision with a three-dimensional object, and a driving support system that supports a driver's operation.
- the detection performance of the external recognition sensor is judged, and the automatic driving system and driving support are determined according to the detection performance of the external recognition sensor.
- the present invention relates to a travel control system that changes control of the system.
- An image recognition means using a camera is effective as an in-vehicle sensor that detects external world information around the host vehicle.
- the external environment is recognized using image recognition means using a camera
- the image is recognized by the camera according to the external environment such as the weather (rainy weather, fog, etc.) and the time zone (nighttime, twilight, backlight, etc.) around the vehicle.
- the detection performance of the means changes. Specifically, regarding detection of moving objects, obstacles, and paint on the road around the host vehicle, false detection and non-detection by the image recognition means increase.
- Such degradation in performance due to the image recognition means does not know whether there are moving objects, obstacles, and road paint around the host vehicle, so only the image recognition means makes a false detection. In some cases, it is difficult to correctly determine whether the state is undetected.
- the first road information detection means that is the first road information and the road condition during traveling are detected, and based on the road condition.
- the forward curve is detected from the navigation map, and for the second road information, the forward curve is detected from the in-vehicle camera, and the forward curve is finally determined from this detection result. Yes.
- Patent Document 1 compares road shapes such as straight lines and curves of roads obtained from navigation maps with road shapes such as straight lines and curves of roads in front obtained by the image recognition means, Since the forward road shape is finally determined, only the determination regarding the forward road shape is performed. However, in an automatic driving system or a driving support system that performs collision avoidance, it may be difficult to perform vehicle travel control safely even if only road shape information ahead can be determined.
- the shape of the road ahead can be determined by the image recognition means and the navigation map, and even if the road on which the host vehicle is traveling can be determined. If detection of an existing moving object or obstacle cannot be determined by the image recognition means, it is difficult to determine a three-dimensional object because there is no corresponding obstacle information in the navigation map. As a result, it is difficult to determine whether a front obstacle has not been detected by the image recognition means or whether a three-dimensional obstacle is present, so it is determined whether to perform vehicle travel control or to cancel the vehicle. It can be difficult.
- the present invention is to provide a safe automatic driving system or driving support system.
- the travel control system of the present invention is a travel control system having an image recognition means for detecting a surrounding environment of a vehicle and a travel control device for controlling the traveling of the vehicle, and a surrounding environment storage means for storing the surrounding environment of the vehicle. And based on the state of detection performance of the image recognition means determined based on the information on the surrounding environment stored in the surrounding environment storage means and the detection information by the image recognition means. The mode of running control to be performed is changed.
- the travel control system of the present invention is a travel control system having image recognition means for detecting a surrounding environment of the vehicle and a travel control device for controlling the traveling of the vehicle, and storing the surrounding environment of the vehicle It has a storage means, and notifies the detection performance state of the image recognition means based on the information of the surrounding environment stored in the surrounding environment storage means and the detection information by the image recognition means.
- the safety of the automatic driving system or the driving support system can be improved.
- FIG. It is explanatory drawing regarding the case where the information which the other vehicle detected is memorize
- a travel scene related to the travel control system of the present embodiment it relates to results detected by the image recognition device at a plurality of points while the host vehicle is traveling and information stored in the surrounding environment storage means of the host vehicle. It is explanatory drawing.
- the 1st similarity degree, the 2nd similarity degree, and the time change of the control mode which the traveling control apparatus 60 performs are shown. 20 shows the first similarity degree, the second similarity degree, and the time change of the control mode executed by the travel control device 60 in a scene different from FIG.
- the travel control system of the present invention is a travel control system having an image recognition means for detecting the surrounding environment of the host vehicle and a travel control device for controlling the driving of the host vehicle automatically or for driving assistance. And changes the mode of travel control performed by the travel control device based on information on the ambient environment stored in the ambient environment storage means and information detected by the image recognition means. Or a notification of the detection performance status of the image recognition means, and a peripheral environment storage means for storing information related to the surrounding environment of the vehicle, and the results detected by the image recognition means and the surrounding environment There is an effect that it is possible to determine whether the image recognition means can detect the surrounding environment of the vehicle from the information stored in the storage means. Zui and, by changing the driving control in accordance with the performance of the image recognition, there is an effect that it is possible to realize a running control more optimal automatic operation and driving support.
- the travel control system of the present invention includes a surrounding environment storage unit that stores the surrounding environment of the vehicle, and a comparison object stored in the surrounding environment storage unit and an object detected by the image recognition unit
- the degree of similarity of the image recognition means is calculated, and based on the degree of similarity, the mode of driving control such as automatic driving and driving support performed by the driving control device is changed, or the detection performance of the image recognition means is determined based on the degree of similarity.
- Determining and notifying the state of detection performance of the image recognition means, and performing image recognition from information on the surrounding environment of the vehicle stored in the surrounding environment storage means and the degree of similarity between the results detected by the image recognition means It is possible to determine the detection performance of the means, and by changing to travel control based on the detection performance, more optimal automatic driving and driving support There is an effect that it is possible to realize a line control.
- the travel control system of the present invention has a surrounding environment storage means for storing the surrounding environment of the vehicle, and the object detected by the image recognition means at a plurality of points where the vehicle is different from the surrounding environment.
- the degree of similarity with the comparison object corresponding to the plurality of different points stored in the storage means is calculated, the detection performance of the image recognition means is determined from the similarity degree, and the travel control device is based on the detection performance In which the driving control mode such as automatic driving or driving support is changed, or the detection performance state of the image recognition means is notified based on the detection performance, and the road environment in which the vehicle is traveling In this case, even when there is little information indicating the characteristics of the surrounding environment, it is possible to obtain the degree of similarity with respect to comparison objects at a plurality of different points where the host vehicle travels. There is an effect that it is possible to determine the means of detection performance.
- the travel control system of the present invention provides a first similarity indicating the degree of similarity between the feature quantity related to the road surface of the road around the vehicle stored in the surrounding environment storage means and the feature quantity related to the road surface of the road detected by the image recognition means.
- the control of the driving control device such as automatic driving or driving support is changed, or the state of detection performance of the image recognition means is notified.
- the detection performance of road surface information such as stop lines and the detection performance of solid objects around the road can be individually determined, and the detection performance of the image recognition means can be determined in detail. Has the effect of that, there is an effect that the running control or notification detailed automatic operation and driving assistance accordingly made possible.
- FIG. 1 shows an overview of the overall configuration of an embodiment of a vehicle equipped with a traveling control system of the present invention.
- a vehicle 100 is a diagram in which an upper side is a front side and a lower side is a rear side, and controls a prime mover 10 for driving the vehicle 100, a transmission 20 that transmits power of the prime mover 10, and the prime mover 10.
- the vehicle 100 is driven by the prime mover control device 30.
- the prime mover 10 and the transmission 20 are mounted on the front side and the front side tire is driven. However, even when the rear side tire is driven or all four wheels are driven. The same applies hereinafter.
- the vehicle 100 includes a vehicle control device 60 that controls the entire vehicle, a communication device 50 that communicates with the outside, and four-wheel tires of the vehicle 100.
- a plurality of control devices such as a brake control device 40 for controlling the provided braking devices (90-1, 90-2, 90-3, 90-4) are mounted and connected to the control network 70. Are communicating information with each other.
- the travel control device 60 is mounted on the vehicle 100, and is an image recognition device (80-1, 80-2, 80-3, 80-4) that acquires external environment information around the vehicle 100.
- the vehicle state quantity indicating the state of the vehicle 100 is detected by a yaw rate sensor, an acceleration sensor, a speed sensor, a steering angle sensor, or the like not shown in FIG.
- the communication device 50 is a device that exchanges communications from the outside. For example, road surface information (road marker type and position such as lane marker position, stop line position, pedestrian crossing, etc.) and three-dimensional objects as road information around the traveling Information (three-dimensional objects existing around the road such as signs, traffic lights, features, etc.) is acquired. As will be described later, this information includes information detected by sensors installed in road infrastructure, road peripheral information (road surface information and three-dimensional object information, etc.) stored in the data center, road peripheral information detected by other vehicles ( It is also possible to acquire road surface information and three-dimensional object information) using the communication device 50. Furthermore, it is also possible to change the road information around the driving stored in advance to the latest information using the communication device 50.
- road surface information road marker type and position such as lane marker position, stop line position, pedestrian crossing, etc.
- three-dimensional objects as road information around the traveling Information (three-dimensional objects existing around the road such as signs, traffic lights, features, etc.) is acquired.
- this information includes information detected by sensors installed in road
- the image recognition device 80 (80-1, 80-2, 80-3, 80-4) is a device that acquires information to the outside world around the vehicle 100, and a specific example is image recognition by a camera.
- the camera include a monocular camera that recognizes the outside world with one camera and a stereo camera that recognizes the outside world with two cameras.
- the image recognition by the camera as the external information of the vehicle 100, a plurality of moving bodies moving around the vehicle 100 such as a vehicle, a pedestrian, a light vehicle (bicycle, etc.) can be simultaneously recognized, and further, the characteristics of the moving body are classified. Is possible.
- a stereo camera it is possible to detect the relative distances of moving objects and obstacles existing around the vehicle 100.
- the image recognition by the camera it is possible to acquire information such as the position and size of the lane marker (white line), the position of the stop line, and the position of the pedestrian crossing as road surface information painted on the road. Furthermore, as a three-dimensional object, it is possible to acquire the type, size, and position information of a sign that exists on the side of the road, the size and position information of a traffic light, and other specific three-dimensional feature position information. . When a stereo camera is used, the distance to the detected three-dimensional object or road surface paint can be detected using the parallax images of the two cameras.
- the image of one camera it is possible to detect the detected road surface paint and the distance of image information using a camera coordinate system set for each camera in advance. Furthermore, the accuracy of distance detection may be improved by combining an image of one camera and a distance detection sensor such as a radar.
- the alarm device 110 and the display device 120 display the performance state of the image recognition device 80 determined by the travel control device 60, or inform the driver of the performance state of the image recognition device 80. Alternatively, according to the performance state of the image recognition device 80, a change in control performed by the travel control device 60 is notified or displayed in advance.
- FIG. 2 (A) is an example showing the external recognition area by the image recognition device 80 mounted on the host vehicle 100.
- FIG. 2B is another example showing an external recognition area by the image recognition device 80 mounted on the host vehicle 100.
- 2A and 2B as in the embodiment of FIG. 1, as the image recognition device 80, the image recognition device 80-1, the image recognition device 80-1 that recognizes the outside world ahead of the vehicle 100, and the vehicle 100 Recognition apparatus 80-2 for recognizing the outside world on the right side of the vehicle, an image recognition apparatus 80-3 for recognizing the outside world on the left side of the host vehicle 100, and an image recognition apparatus 80- for recognizing the outside world behind the host vehicle 100.
- 4 is a case where a camera is used.
- FIG. 1 is an example showing the external recognition area by the image recognition device 80 mounted on the host vehicle 100.
- FIG. 2B is another example showing an external recognition area by the image recognition device 80 mounted on the host vehicle 100.
- 2A and 2B as in the embodiment of FIG. 1, as the image recognition device 80, the
- the image recognition device 80-1 that performs front external recognition is capable of recognizing both the external information in the vicinity of the wide angle and the external information in the distance with one image recognition device. It is possible to detect road surface information and solid object information existing in the range of A. That is, it is possible to detect road surface information such as a lane marker (white line), a stop line, a pedestrian crossing, and the like of a road existing ahead of the host vehicle 100 and information of a three-dimensional object such as a preceding vehicle, an oncoming vehicle, a sign, or a traffic light. is there.
- the image recognition device 80-1 is a case where two image recognition devices are used, and a case where the region A2 which is a wide-angle region in the vicinity and the region A1 which is far are detected individually. is there.
- road surface information such as a lane marker (white line), stop line, pedestrian crossing and the like of the road existing in front of the host vehicle 100 and the preceding vehicle, oncoming vehicle, signs, traffic lights It is possible to detect information of a three-dimensional object.
- FIGS. 2A and 2B it is possible to detect not only the front side of the host vehicle 100 but also the outside world information on the right side and the rear side, and the road lane marker (white line) existing in the region B ), Road surface information such as stop lines and pedestrian crossings, and information on three-dimensional objects such as vehicles ahead, oncoming vehicles, signs, and traffic lights.
- the image recognition apparatuses 80-1 to 80-4 acquire the peripheral information in the areas that can be detected from the peripheral environment storage means, and perform image recognition for each of the image recognition apparatuses 80-1 to 80-4. Detection performance can be determined.
- FIG. 3 shows another embodiment of the external recognition area by the image recognition device 80 mounted on the host vehicle 100.
- the image recognition device 80 using the camera is used for the areas A1, A2, and B described in the embodiment of FIG. 2, and a radar sensor different from the camera around the own vehicle 100 is arranged around the vehicle. The entire periphery of the host vehicle 100 is detected by the radar.
- radar is difficult to identify moving objects and obstacles, it can detect the distance and speed of moving objects and obstacles relatively accurately when compared with a camera.
- radars are mounted on the left and right of the front and rear of the host vehicle 100 to detect the distance and speed of the moving object / obstacle in the region D_FL, the region D_FR, the region D_RL, and the region D_RR. .
- road surface information around the vehicle 100 and solid objects are identified by a camera, and the distance between the solid objects is detected by radar, so that a more accurate three-dimensional object can be detected.
- FIG. 4 shows an embodiment of a specific configuration of the travel control device 60 shown in FIG.
- the travel control device 60 receives information on the surrounding environment of the host vehicle 100 detected by the image recognition devices 80-1 to 80-4.
- the travel control device 60 includes a performance determination unit 61, a surrounding environment storage unit 62, a vehicle control unit 63, an operation amount calculation unit 64, a display unit 65, and an alarm unit 66.
- the performance determination means 61 receives the surrounding information detected by the image recognition devices 80-1 to 80-4 and the surrounding environment information of the position of the host vehicle 100 stored in the surrounding environment storage means 62, and receives the image recognition device 80-1 A detection performance of 80 to 4 is determined.
- the determination results of the detection performance of the image recognition devices 80-1 to 80-4 determined by the performance determination unit 61 are output to the vehicle control unit 63.
- the vehicle control unit 63 based on the determination result of the detection performance of the image recognition devices 80-1 to 80-4 obtained by the performance determination unit 61, the driving control method of the host vehicle 100 and the image recognition devices 80-1 to 80-4 are detected. To notify the driver about the performance of the.
- the vehicle control includes automatic steering control that detects a lane marker ahead of the host vehicle 100 according to the driver's selection and maintains the center position of the lane, and automatic acceleration / deceleration control according to obstacles and moving objects in front of the vehicle. If it is determined by the means 63 that the detection performance of the image recognition devices 80-1 to 80-4 has not deteriorated, the vehicle control device 63 performs automatic steering control and automatic Continue acceleration / deceleration control.
- the detection performance of the image recognition apparatuses 80-1 to 80-4 is reduced, the detection performance of the surrounding environment by the image recognition apparatuses 80-1 to 80-4 is reduced.
- the warning means 66 notifies the driver that the automatic steering control and the automatic acceleration / deceleration control being released are released, and then the automatic steering control and the automatic acceleration / deceleration control are canceled to switch the control mode of the traveling control.
- the performance determination means 61 displays the determined detection performance statuses of the image recognition apparatuses 80-1 to 80-4 on the display means 65.
- the peripheral environment information stored in the peripheral environment storage means 62 can also be acquired by the communication device 50 from a data center that manages the peripheral environment information.
- FIG. 5 shows another embodiment of a specific configuration of the travel control device 60 shown in FIG. As in FIG. 4, the travel control device 60 receives the surrounding environment information of the host vehicle 100 detected by the image recognition devices 80-1 to 80-4.
- the travel control device 60 includes an image recognition storage means in addition to the performance determination means 61, the surrounding environment storage means 62, the vehicle control means 63, the operation amount calculation means 64, the display means 65, and the alarm means 66. 67 and own vehicle position storage means.
- the performance determination means 61 receives the ambient information detected by the image recognition devices 80-1 to 80-4 and the external environment information around the position of the host vehicle 100 stored in the surrounding environment storage means 62. Then, the detection performance of the image recognition devices 80-1 to 80-4 is determined. The determination results of the detection performance of the image recognition devices 80-1 to 80-4 determined by the performance determination unit 61 are output to the vehicle control unit 63.
- the vehicle control unit 63 based on the determination result of the detection performance of the image recognition devices 80-1 to 80-4 obtained by the performance determination unit 61, the driving control method of the host vehicle 100 and the image recognition devices 80-1 to 80-4 are detected. To notify the driver about the performance of the.
- the surrounding environment information stored in the surrounding environment storage means 62 is acquired from the image recognition storage device 67.
- the image recognition storage means 67 stores the ambient environment information acquired when the image recognition apparatuses 80-1 to 80-4 traveled in the past, and the vehicle position storage means 68 stores the information stored in the image recognition storage means 67. The position of the host vehicle 100 when the vehicle is acquired is stored.
- the surrounding environment storage means 62 acquires information on the surrounding environment currently running from the position information of the own vehicle in the own vehicle position storage means 68 corresponding to the surrounding environment information stored in the image recognition storage means 67.
- the surrounding environment storage means 62 acquires information on the surrounding environment currently running from the position information of the own vehicle in the own vehicle position storage means 68 corresponding to the surrounding environment information stored in the image recognition storage means 67.
- the surrounding environment information acquired by the image recognition devices 80-1 to 80-4 is transmitted by the communication device 50 from the own vehicle 100 to an external facility capable of storing a large amount of data, such as a data center, and the external data center It can also be stored in a storage device.
- the surrounding environment information at the current position is extracted from the large-capacity surrounding environment information data based on the current position information of the own vehicle 100, and the surrounding environment information at the position where the own vehicle 100 exists is transmitted to the own vehicle 100.
- the internal environment of the own vehicle 100 and the amount of accumulated data are limited by managing the surrounding environment information in a data format linked to the position information of the own vehicle in a data center installed outside the own vehicle 100. There is an effect that can be done.
- FIG. 6 shows an example of a specific configuration of the performance judging means 61 in the travel control device 60 of FIGS. 4 and 5.
- the performance determining means 61 is composed of a similarity degree calculating means 611 and a performance quantifying means 612.
- the similarity degree calculation means 611 includes information on the surrounding environment of the host vehicle 100 detected by the image recognition devices 80-1 to 80-4 mounted on the host vehicle 100 and the current position stored in the surrounding environment storage means 62. By evaluating whether or not the surrounding detection results detected by the image recognition devices 80-1 to 80-4 match the corresponding object stored in the surrounding storage means 62 from information on the surrounding environment of the host vehicle 100. , The degree of similarity is calculated.
- the image recognition devices 80-1 to 80-4 detect ten feature quantities (road surface information such as stop lines and three-dimensional objects such as signs) from the surrounding environment, and corresponding feature quantities (road surfaces such as stop lines). 3D objects such as information and signs) are acquired from the surrounding environment storage means 62, and when all match, it is determined that the degree of similarity is high, and when there are few matching feature amounts, it is determined that the degree of similarity is low.
- the detection result of the surrounding environment detected by the image recognition devices 80-1 to 80-4 may be detected from image data at a certain time, or detected from a plurality of image data at a plurality of points within a predetermined time. It is also possible to do.
- the similarity degree calculated by the similarity degree calculating means 611 is input to the performance quantifying means 612, and the performance quantifying means 612 determines the detection performance of each of the image recognition apparatuses 80-1 to 80-4. Quantify. For example, the detection performance of the image recognition device 80-1 is quantified from the degree of similarity between the feature amount detected by the image recognition device 80-1 and the feature amount acquired by the surrounding environment storage means 62, and similarly, the image recognition device 80-2. Detecting performance is also quantified from 80 to 80-4 based on the degree of similarity.
- Quantification is such that when the degree of similarity is high, the degree of detection is quantified so that the detection performance is high, and if the degree of similarity decreases even a little, the detection performance decreases significantly.
- a decrease in the degree of similarity means that the number of undetected and erroneous detections in the image recognition apparatuses 80-1 to 80-4 has increased. Therefore, when the degree of similarity falls below a predetermined threshold, the detection performance is automatically set. Since it is considered that it cannot be used for driving and driving support, it is possible to set so that the detection performance is greatly reduced.
- FIG. 7 shows another embodiment of the specific configuration of the performance judging means 61 in the travel control device 60 of FIGS.
- the performance determining means 61 is composed of a first similarity degree calculating means 613, a second similarity degree calculating means 614, and a performance quantifying means 612.
- the surrounding environment storage unit 62 includes a road surface feature amount storage unit 621 that stores information about the road surface and three-dimensional object feature amount storage unit 622 that stores information about the three-dimensional object as information on the surrounding environment.
- the first similarity degree calculating means 613 in the performance judging means 61 detects the road surface surrounding the vehicle detected by the image recognition devices 80-1 to 80-4 (road surface paint such as lane marker position, stop line position, pedestrian crossing position, etc.). Position information) and information on the road surface (road surface paint position information such as lane marker position, stop line position, pedestrian crossing position, etc.) stored in the road surface feature amount storage means 621 of the surrounding environment storage means 62 The degree of similarity between the detection results of the image recognition apparatuses 80-1 to 80-4 relating to the road surface and the information of the road surface feature amount storage means 621 is calculated.
- the image recognition devices 80-1 to 80-4 detect feature quantities (stop lines, pedestrian crossings, etc.) related to 10 road surfaces from the surrounding environment, and the corresponding feature quantities (stop lines, pedestrian crossings, etc.) are detected on the road surface.
- the detection result of the surrounding environment detected by the image recognition devices 80-1 to 80-4 may be detected using image data at a certain time, or a plurality of image data at a plurality of points within a predetermined time. It is also possible to detect using.
- the second similarity degree calculating means 614 in the performance judging means 61 detects the detection results (three-dimensional objects around the road such as signs, traffic lights, specific three-dimensional features) detected by the image recognition devices 80-1 to 80-4.
- the image recognition devices 80-1 to 80-4 detect feature quantities (signs, traffic lights, etc.) related to 10 objects around the road from the surrounding environment, and the corresponding feature quantities (signs, traffic lights, etc.) It is determined from the object feature amount storage unit 622 that all match, and it is determined that the second similarity degree is high, and when the matching feature amount is small, it is determined that the second similarity degree is low.
- the detection result of the surrounding environment detected by the image recognition devices 80-1 to 80-4 may be detected using image data at a certain time, or a plurality of image data at a plurality of points within a predetermined time. It is also possible to detect using.
- the similarity degree (first similarity degree) related to the road surface information calculated by the first similarity degree calculating means 613 and the similarity degree (second similarity degree) relating to the three-dimensional object around the road calculated by the second similarity degree calculating means 614 are:
- the performance quantification unit 612 inputs the information, and the performance quantification unit 612 quantifies the road surface information detection performance and the three-dimensional object information detection performance of each of the image recognition devices 80-1 to 80-4.
- the individual detection performance of each image recognition apparatus is quantified from the first similarity degree and the second similarity degree for each of the image recognition apparatuses 80-1 to 80-4.
- the degree of similarity For quantification, if the degree of similarity is high, the quantity is quantified so that the detection performance is high, and if the degree of similarity decreases even a little, the detection performance decreases significantly. It may be set so that the detection performance becomes higher if the degree of similarity is higher, not the relationship. A decrease in the degree of similarity means that the number of undetected and erroneous detections in the image recognition apparatuses 80-1 to 80-4 has increased. Therefore, when the degree of similarity falls below a predetermined threshold, the detection performance is automatically set. Since it is considered that it cannot be used for driving and driving support, it is possible to set so that the detection performance is greatly reduced.
- the detection performance of the image recognition devices 80-1 to 80-4 that is, the detection performance related to road surface information and the detection performance related to solid object information. It becomes.
- it is possible to change the travel control according to the detection performance such as the response to the travel control that greatly affects the detection performance related to the road surface or the response to the travel control that the detection performance related to the three-dimensional object greatly affects.
- FIG. 8 is a flowchart for calculating the degree of similarity and the detection performance using the image recognition devices 80-1 to 80-4 and the surrounding environment storage means 62 in this embodiment, and changing the travel control according to the result. It is the figure of one Example which showed the outline
- the position of the host vehicle 100 is determined (S1).
- the determination of the position of the host vehicle 100 is because it cannot be acquired unless the position of the host vehicle 100 can be specified when acquiring the peripheral information of the host vehicle 100 from the peripheral information storage means 62.
- a method of specifying the position of the host vehicle 100 a method of specifying a rough host vehicle position using GPS, the speed, steering angle, yaw rate, etc. of the host vehicle 100 mounted on the host vehicle 100 is used. It is possible to specify the position of the host vehicle 100 by combining a method of estimating movement and a method of acquiring landmark information and correcting the host vehicle position by an external environment recognition unit mounted on the host vehicle 100. is there.
- the abnormality of the image recognition devices 80-1 to 80-4 mounted on the host vehicle 100 is determined (S2). This determines an abnormality as a single sensor such that the image recognition devices 80-1 to 80-4 cannot recognize the image. If it is determined that the image recognition devices 80-1 to 80-4 are abnormal, the travel control using the image recognition devices 80-1 to 80-4 is canceled (S8).
- the feature amounts of the plurality of pieces of peripheral information about the position around the current host vehicle 100 are obtained from the peripheral information storage unit 62. Obtain (S3).
- the size of the detection performance index calculated in S5 is determined. Specifically, a predetermined threshold value set in advance is compared with an index of detection performance, and it is determined whether or not the threshold value is smaller than the predetermined threshold value set in advance (S6).
- a predetermined threshold value set in advance is compared with an index of detection performance, and it is determined whether or not the threshold value is smaller than the predetermined threshold value set in advance (S6).
- the calculated detection performance index is larger than a predetermined threshold value, it is determined that the detection performance has not deteriorated.
- the traveling control using the image recognition devices 80-1 to 80-4 may not be continued in accordance with the decrease in detection performance of the image recognition devices 80-1 to 80-4, the image recognition device 80-1
- the traveling control using ⁇ 80-4 is changed (S7). For example, specifically, when the lane marker in front of the host vehicle 100 is recognized and the running control in which the steering control / adjustment side control is performed so as not to deviate from the lane, the image recognition device 80 is executed.
- FIG. 9 is a flowchart for calculating the degree of similarity and detection performance using the image recognition devices 80-1 to 80-4 and the surrounding environment storage means 62 in this embodiment, and changing the traveling control according to the result. It is the figure of another Example which showed the outline
- the position of the host vehicle 100 is determined (S10). As in FIG. 8, the position of the host vehicle 100 is determined because it cannot be acquired unless the position of the host vehicle 100 can be specified when the peripheral information of the host vehicle 100 is acquired from the peripheral information storage unit 62.
- a method of specifying the position of the host vehicle 100 a method of specifying a rough host vehicle position using GPS, a speed of the host vehicle mounted on the host vehicle 100, a steering angle, a yaw rate, and the like are used.
- the position of the host vehicle 100 can be specified by combining the method of estimating the movement of the vehicle and the method of acquiring the landmark information and correcting the position of the host vehicle by the outside world recognition means mounted on the host vehicle 100. It is.
- the position of the host vehicle 100 can be specified, it is next determined whether the image recognition devices 80-1 to 80-4 mounted on the host vehicle 100 are abnormal (S20). This determines an abnormality as a single sensor such that the image recognition apparatuses 80-1 to 80-4 cannot perform image recognition processing.
- the feature amounts of the plurality of pieces of peripheral information about the position around the current host vehicle 100 are obtained from the peripheral information storage unit 62. get.
- a plurality of feature amounts relating to road surface information are acquired from the road surface feature amount storage unit 621 of the peripheral information storage unit 62 (S30), and the three-dimensional object feature amount storage of the peripheral information storage unit 62 is performed.
- a plurality of feature amounts related to the surrounding three-dimensional object are acquired from the means 622 (S40).
- the plurality of feature values related to road surface information indicate the position and size of the feature values of road surface display (road surface paint) such as lane markers, stop lines, and pedestrian crossings. It shows the location and size of certain signs, traffic lights, and specific three-dimensional features.
- road surface display road surface paint
- the size of the road surface information detection performance index calculated in S70 and the size of the solid object detection performance index are determined (S80, S90).
- the road surface information detection performance is determined.
- the predetermined threshold value set in advance for determining the road surface information detection performance is compared with the road surface information detection performance index. It is determined whether or not it is smaller. For example, when the calculated road surface information detection performance index is larger than a predetermined threshold for road surface information detection performance evaluation, it is determined that the road surface information detection performance has not deteriorated. On the other hand, when the calculated road surface information detection performance index is smaller than a predetermined threshold for road surface information detection performance evaluation, the detection performance related to the road surface information of the image recognition apparatuses 80-1 to 80-4 decreases. It is determined that
- the detection performance of the three-dimensional object is determined, and a predetermined threshold value that is set in advance to determine the detection performance of the three-dimensional object is compared with the index of the three-dimensional object detection performance, and is set in advance. It is determined whether it is smaller than a predetermined threshold value. For example, when the calculated index of the three-dimensional object detection performance is larger than a predetermined threshold for evaluating the three-dimensional object detection performance, it is determined that the detection performance of the three-dimensional object has not deteriorated. On the other hand, when the calculated index of the three-dimensional object detection performance is smaller than a predetermined threshold value for evaluating the three-dimensional object detection performance, the detection performance related to the three-dimensional object of the image recognition devices 80-1 to 80-4 decreases. It is determined that
- the process proceeds to S90.
- the calculated road surface information detection performance index is smaller than a predetermined threshold for evaluating road surface information detection performance. In this case, it is determined that the detection performance related to the road surface information of the image recognition apparatuses 80-1 to 80-4 is deteriorated, and the process proceeds to S110.
- S110 it is displayed on the display device or the like that the detection performance regarding the road surface information of the image recognition devices 80-1 to 80-4 is deteriorated, or the driver is notified by an alarm. Furthermore, there is a case where traveling control using the detection result of the road surface information of the image recognition devices 80-1 to 80-4 cannot be continued in accordance with the decrease in the detection performance regarding the road surface information of the image recognition devices 80-1 to 80-4. Therefore, the travel control using the road surface information is canceled (S110).
- a lane marker in front of the host vehicle 100 is recognized, and steering is performed by detecting a distance between the steering control / adjustment / control side control and a moving body in front of the host vehicle 100 so as not to deviate from the lane.
- the running control is executed by the control / acceleration / deceleration control, if it is determined that the road surface information detection performance of the image recognition apparatuses 80-1 to 80-4 is deteriorated, the image recognition apparatuses 80-1 to 80-4 are detected.
- the control mode is changed so as to cancel the travel control mode in which the steering control / acceleration / deceleration control is performed so as not to deviate from the lane.
- the process proceeds to S90, and a determination regarding the detection performance of the three-dimensional object is performed.
- a predetermined threshold value set in advance for determining the detection performance of the three-dimensional object is compared with an index of the three-dimensional object detection performance, and it is determined whether or not it is smaller than the predetermined threshold value set in advance.
- the process proceeds to S100.
- a lane marker in front of the host vehicle 100 is recognized, and a distance between the steering control / adjustment / side control and a moving body in the traveling direction of the host vehicle 100 is detected so as not to deviate from the lane.
- the traveling control is executed by the steering control / acceleration / deceleration control, if it is determined that the detection performance of the three-dimensional object information of the image recognition devices 80-1 to 80-4 is deteriorated, the image recognition devices 80-1 to 80-80.
- the first similarity degree and detection performance determination regarding road surface detection are first performed (S80), and then the second similarity degree and detection performance determination regarding a three-dimensional object are performed (S90).
- the second similarity degree and detection performance determination regarding the three-dimensional object may be performed, and then the first similarity degree and detection performance determination regarding the road surface detection may be performed.
- the first similarity degree and detection performance determination regarding road surface detection and the second similarity degree and detection performance determination regarding three-dimensional object are performed (S120), where it is determined that the detection performance of road surface detection is low. Then, the process proceeds to S110 and, as described in FIG. 9, the fact that the detection performance regarding the road surface information of the image recognition apparatuses 80-1 to 80-4 is deteriorated is displayed on the display device or the like. An alarm is used.
- the travel control using the detection result of the three-dimensional object information of the image recognition devices 80-1 to 80-4 cannot be continued in accordance with the decrease in the detection performance regarding the three-dimensional object information of the image recognition devices 80-1 to 80-4. Since there is a case, traveling control using solid object information is canceled. On the other hand, if it is determined in S120 that both the road surface information detection performance and the solid object information detection performance have not deteriorated, the solid object detection performance of the image recognition apparatuses 80-1 to 80-4 decreases.
- FIG. 11 is a flowchart for calculating the degree of similarity and detection performance using the image recognition devices 80-1 to 80-4 and the surrounding environment storage means 62 in this embodiment, and changing the traveling control according to the result. It is the figure of another one Example which showed the outline
- FIG. 11 Part of FIG. 11 performs the same processing as in FIGS.
- S10 to S90 are the same as the flow shown in FIG.
- the difference from FIG. 9 is the processing flow of S111 and S112.
- the flow proceeds to S90, while the calculated road surface information detection performance index is set in advance. If it is smaller than the predetermined threshold value for performance evaluation, it is determined that the detection performance regarding the road surface information of the image recognition apparatuses 80-1 to 80-4 is deteriorated, and the process proceeds to S110.
- S110 it is displayed on the display device or the like that the detection performance regarding the road surface information of the image recognition devices 80-1 to 80-4 is deteriorated, or the driver is notified by an alarm. Furthermore, there is a case where traveling control using the detection result of the road surface information of the image recognition devices 80-1 to 80-4 cannot be continued in accordance with the decrease in the detection performance regarding the road surface information of the image recognition devices 80-1 to 80-4. Therefore, the travel control using the road surface information is canceled (S110).
- the driver is notified of the transition to the operation, and after a predetermined time, all the driving support travel control and automatic driving control are cancelled.
- a lane marker in front of the host vehicle 100 is recognized, and steering is performed by detecting a distance between the steering control / adjustment / control side control and a moving body in front of the host vehicle 100 so as not to deviate from the lane.
- the running control is executed by the control / acceleration / deceleration control, if it is determined that the road surface information detection performance of the image recognition apparatuses 80-1 to 80-4 is deteriorated, the image recognition apparatuses 80-1 to 80-4 are detected.
- the control mode is changed so as to cancel the travel control mode in which the steering control / acceleration / deceleration control is performed so as not to deviate from the lane.
- a travel control mode for performing steering control / acceleration / deceleration control so that the lane marker is recognized and does not deviate from the lane.
- the driver is notified that all operations will be transferred to the driver operation, and after a predetermined time has elapsed, the driver assistance drive control and automatic drive drive control that perform steering control / acceleration / deceleration control are canceled. To do.
- a predetermined threshold set in advance for determining the detection performance of the three-dimensional object is compared with an index of the three-dimensional object detection performance, and the three-dimensional object of the image recognition devices 80-1 to 80-4 is related.
- the process proceeds to S100.
- S100 it is displayed on a display device or the like that the detection performance regarding the three-dimensional object information of the image recognition devices 80-1 to 80-4 is deteriorated, or the driver is notified by an alarm.
- the travel control using the detection result of the three-dimensional object information of the image recognition devices 80-1 to 80-4 cannot be continued in accordance with the decrease in the detection performance regarding the three-dimensional object information of the image recognition devices 80-1 to 80-4. Since there is a case, traveling control using solid object information is canceled (S100).
- the driver is notified of the transition to the operation, and after a predetermined time, all the driving support travel control and automatic driving control are cancelled.
- a lane marker in front of the host vehicle 100 is recognized, and steering is performed by detecting a distance between the steering control / adjustment / control side control and a moving body in front of the host vehicle 100 so as not to deviate from the lane.
- the traveling control is executed by the control / acceleration / deceleration control, if it is determined that the detection performance of the three-dimensional object information of the image recognition apparatuses 80-1 to 80-4 is deteriorated, the image recognition apparatuses 80-1 to 80- 4, it is determined that the detection performance of the preceding vehicle, the moving body, and the obstacle existing in the traveling direction of the own vehicle 100 is also lowered, and the collision with the moving body and the obstacle in the traveling direction of the own vehicle 100 is detected. Notifying that it is difficult to continue the travel control mode in which steering control / acceleration / deceleration control that avoids the vehicle is difficult, and then detects the distance from a moving object or an obstacle in the traveling direction of the host vehicle 100 to detect a collision.
- Steering control to avoid Make changes such control mode to cancel the travel control mode in which the acceleration and deceleration control, and the like. Furthermore, since the overall detection performance of the image recognition devices 80-4 to 80-4 may be reduced, the distance from a moving body or an obstacle in the traveling direction of the host vehicle 100 is detected to avoid a collision. After the transition to the control mode for canceling the travel control mode for performing steering control / acceleration / deceleration control, the driver is notified that all the operations will be transferred to the driver operation, and after a predetermined time has elapsed, the steering control / acceleration / deceleration is performed. The driving assistance traveling control and the automatic driving traveling control for performing the control are canceled.
- FIG. 12 shows a case where information on the surrounding environment is stored as a surrounding environment storage unit 62 of the host vehicle 100 together with a map of the host vehicle 100 as an example of a traveling scene related to the traveling control system of the present embodiment. It is explanatory drawing regarding.
- FIG. 12 is a travel scene in which the host vehicle 100 is traveling near an intersection.
- road surface information in the surrounding environment information of the host vehicle 100 lane markers on both sides of the lane in which the host vehicle 100 is traveling are shown. 1011, 1012, a stop line 1013 in front of the traveling direction of the host vehicle 100, a pedestrian crossing 1014 in front of the traveling direction of the host vehicle 100, a pedestrian crossing 1015, and the like.
- the three-dimensional object information in the surrounding environment information of the own vehicle 100 there are a sign A1021, a sign B1022, a traffic light 1023, a feature A1024, and the like that exist beside the road on which the own vehicle 100 is traveling.
- a sign A1021, a sign B1022, a traffic light 1023, a feature A1024, and the like that exist beside the road on which the own vehicle 100 is traveling.
- another vehicle A1001, another vehicle B1002, a pedestrian 1003, and the like there are another vehicle A1001, another vehicle B1002, a pedestrian 1003, and the like.
- the moving body around the vehicle changes from moment to moment, but generally it can be considered that the road surface paint, signs around the road, traffic lights, etc. are always present unless changed.
- the road surface paints, signs, and traffic signal positions which are always present, are stored in the surrounding environment storage means 62 as information on the map.
- the map information and the position of the host vehicle amount are linked so that the host vehicle 100 is used as road surface information of the surrounding environment of the host vehicle 100.
- Road surface information such as the pedestrian crossing 1014 and the pedestrian crossing 1015 is in an area that can be detected by the image recognition devices 80-1 to 80-4 mounted on the host vehicle 100. Accordingly, when the detection performance of the image recognition apparatuses 80-1 to 80-4 is not deteriorated, it is possible to detect the road surface information, and the road surfaces detected by the image recognition apparatuses 80-1 to 80-4. It becomes possible to obtain the first similarity degree from the information and the road surface information stored in the surrounding environment storage means 62.
- the three-dimensional object information included in the surrounding environment information of the host vehicle 100 includes a sign A1021, a sign B1022, a traffic light 1023, a feature A1024, and the like present on the side of the road on which the host vehicle 100 is traveling. It is in an area that can be detected by the mounted image recognition apparatuses 80-1 to 80-4. Therefore, in the state where the detection performance of the image recognition apparatuses 80-1 to 80-4 has not deteriorated, it is possible to detect these three-dimensional object information, and the image recognition apparatuses 80-1 to 80-4 have detected them. It becomes possible to obtain the second similarity degree from the three-dimensional object information and the three-dimensional object information stored in the surrounding environment storage means 62.
- FIG. 13 is an explanatory diagram relating to information on the surrounding environment stored in the surrounding environment storage unit 62 of the present embodiment.
- the information stored in the surrounding environment storage means 62 includes at least two types of information, road surface information and three-dimensional object information, as shown in FIG.
- the road surface information is information stored in the road surface feature amount storage unit 621.
- the types include lane markers, stop lines, road surface paint, pedestrian crossings, and the like. It is expressed in coordinates that express where the paint is on the map. Depending on the type of road surface paint, the size of the paint is stored as information.
- the three-dimensional object information is information stored in the three-dimensional object feature storage unit 622.
- the type includes a sign, a signboard, a traffic light, and other three-dimensional features.
- These three-dimensional objects existing around the road are expressed by coordinates expressing where the three-dimensional objects exist on the map.
- parameters expressing the size of the three-dimensional object such as the height and width of the three-dimensional object are also stored as information.
- FIG. 14 shows an example of a travel scene related to the travel control system of the present embodiment, as sensor information installed in infrastructure such as a road as the surrounding environment storage means 62 of the host vehicle 100 together with a map of the host vehicle 100. It is explanatory drawing regarding the case where it memorize
- FIG. 14 is a travel scene in which the host vehicle 100 is traveling near an intersection, as in FIG. 12.
- the road surface information in the surrounding environment information of the host vehicle 100 is the lane in which the host vehicle 100 is traveling.
- the three-dimensional object information in the surrounding environment information of the own vehicle 100 there are a sign A1021, a sign B1022, a traffic light 1023, a feature A1024, and the like that exist beside the road on which the own vehicle 100 is traveling.
- a sign A1021, a sign B1022, a traffic light 1023, a feature A1024, and the like that exist beside the road on which the own vehicle 100 is traveling.
- another vehicle A1001, another vehicle B1002, a pedestrian 1003, and the like there are another vehicle A1001, another vehicle B1002, a pedestrian 1003, and the like.
- the moving body around the vehicle changes from moment to moment, but generally it can be considered that the road surface paint, signs around the road, traffic lights, etc. are always present unless changed.
- an infrastructure installation sensor 2000 is provided in the vicinity of the road in order to provide information to each vehicle entering the intersection by monitoring traffic conditions and traffic information in the vicinity of the intersection to support driving. is there.
- an image recognition device is applied, and there is a case where the image recognition device of the infrastructure installation sensor 2000 recognizes the environment around the road.
- the infrastructure installation sensor 2000 may detect the traffic situation with a plurality of sensors such as an infrared camera in order to grasp the traffic situation even in a bad environment.
- Information about the moving body, three-dimensional object, and road surface around the road detected by the infrastructure installation sensor 2000 is acquired by the host vehicle 100 by the communication device, and stored in the surrounding environment storage unit 62 of the host vehicle 100. It is possible to update the information on the surrounding environment to the latest information.
- the road surface information and the three-dimensional object information stored in the surrounding environment storage unit 62 are updated to the current latest information, so that the determination results of the detection performance of the image recognition apparatuses 80-1 to 80-4 are more reliable.
- the infrastructure installation sensor 2000 can also detect a moving object that exists only at present, and the detection result of such a moving object that exists only at present and the image recognition devices 80-1 to 80- of the host vehicle 100. There is an effect that it is possible to determine the detection performance of the moving three-dimensional object by comparing the information on the moving object detected by the item 4.
- an image recognition device is used as the infrastructure installation sensor 2000 has been described. However, there is a case where information on a three-dimensional object or paint existing around a road is acquired using a scanning radar.
- the vehicle 100 acquires information detected by the infrastructure installation sensor 2000 by the communication device, and stores the paint on the road surface, the sign, and the position of the traffic signal in the surrounding environment storage unit 62 as information on the map. Can do.
- the host vehicle 100 is linked by linking the map information and the position of the host vehicle amount.
- lane markers 1011 and 1012 on both sides of the lane in which the host vehicle 100 is traveling As road surface information of the surrounding environment, lane markers 1011 and 1012 on both sides of the lane in which the host vehicle 100 is traveling, a stop line 1013 in front of the traveling direction of the host vehicle 100, and a crossing in front of the traveling direction of the host vehicle 100 It is possible to acquire the positions of the sidewalk 1014, the pedestrian crossing 1015, etc., and as the three-dimensional object information of the surrounding environment of the host vehicle 100, a sign A1021, a sign B1022, and a traffic light that exist on the side of the road on which the host vehicle 100 is traveling. It is possible to acquire information on the position, size, and height of 1023, feature A1024, and the like.
- lane markers 1011 and 1012 on both sides of the lane in which the host vehicle 100 is traveling a stop line 1013 in front of the traveling direction of the host vehicle 100, a pedestrian crossing 1014 in front of the traveling direction of the host vehicle 100, and a pedestrian crossing 1015
- Such road surface information is detected by the image recognition devices 80-1 to 80-4 mounted on the host vehicle 100, and the road surface information detected by the image recognition devices 80-1 to 80-4 and the surrounding environment storage means 62 are stored.
- a first similarity degree is obtained from the stored road surface information, and three-dimensional object information such as a sign A1021, a sign B1022, a traffic light 1023, and a feature A1024 existing on the side of the road on which the own vehicle 100 is traveling is mounted on the own vehicle 100.
- 3D object information detected by the image recognition devices 80-1 to 80-4 and the surrounding environment storage means detected by the image recognition devices 80-1 to 80-4 From the stored three-dimensional object information 2 can be obtained a second degree of similarity.
- FIG. 15 shows a case where information detected by another vehicle is stored together with a map of the own vehicle as the surrounding environment storage means 62 of the own vehicle 100 as an example of a travel scene related to the travel control system of the present embodiment. It is explanatory drawing regarding.
- FIG. 15 is a traveling scene in which the host vehicle 100 is traveling near the intersection, as in FIGS. 12 and 14. As road surface information in the surrounding environment information of the host vehicle 100, the host vehicle 100 travels. There are lane markers 1011 and 1012 on both sides of the lane, a stop line 1013 in front of the traveling direction of the host vehicle 100, a pedestrian crossing 1014 in front of the traveling direction of the host vehicle 100, a pedestrian crossing 1015, and the like.
- the three-dimensional object information in the surrounding environment information of the own vehicle 100 there are a sign A1021, a sign B1022, a traffic light 1023, a feature A1024, and the like that exist beside the road on which the own vehicle 100 is traveling.
- a sign A1021, a sign B1022, a traffic light 1023, a feature A1024, and the like that exist beside the road on which the own vehicle 100 is traveling.
- other moving bodies there are other vehicle A1001, other vehicle B1002, other vehicle C1004, pedestrian 1003, and the like.
- the moving body around the host vehicle changes from moment to moment, but generally it can be considered that the road surface paint, signs around the road, traffic lights, etc. are always present unless changed.
- the other vehicle A1001, the other vehicle B1002, and the other vehicle C1004 are each equipped with an in-vehicle sensor that detects surrounding information of each vehicle, and the information held by the vehicle is transmitted to other vehicles and It may be possible to communicate with the data sensor.
- the other vehicle A1001 detects road surface information (stop line position, lane marker position, pedestrian crossing position, etc.) detected by the in-vehicle sensor, three-dimensional object.
- the own vehicle 100 can acquire the information of the other vehicle A1001 through communication.
- peripheral information that is not information detected by the image recognition means 80-1 to 80-4 of the host vehicle 100 can be acquired.
- the surrounding information storage means 62 of the host vehicle 100 it is possible to update the information on the surrounding environment stored in the surrounding environment storage means 62 of the own vehicle 100 to the latest information. That is, by making the road surface information and the three-dimensional object information stored in the surrounding environment storage means 62 the latest information, the determination results of the detection performance of the image recognition devices 80-1 to 80-4 can be more reliable. There is an effect that can be made.
- road surface information and three-dimensional object information stored in the surrounding environment storage means 62 of the own vehicle 100 are updated over a wide range. It is possible. Further, the other vehicle A1001, the other vehicle B1002, and the other vehicle C1004 can also detect a moving body that exists only at present, and such a detection result of the moving body that exists only at present and image recognition of the own vehicle 100 There is an effect that the detection performance of the moving three-dimensional object can also be determined by comparing the information on the moving object detected by the devices 80-1 to 80-4.
- the surrounding information detected by the other vehicle is acquired by the own vehicle 100 by the communication device, and the surrounding environment storage unit uses the road surface paint, the sign, the position of the traffic light, and further the position of the moving body as information on the map. 62 can be stored.
- the surrounding environment storage unit uses the road surface paint, the sign, the position of the traffic light, and further the position of the moving body as information on the map. 62 can be stored.
- lane markers 1011 and 1012 on both sides of the lane in which the host vehicle 100 is traveling a stop line 1013 in front of the traveling direction of the host vehicle 100, a pedestrian crossing 1014 in front of the traveling direction of the host vehicle 100, and a pedestrian crossing 1015
- Such road surface information is detected by the image recognition devices 80-1 to 80-4 mounted on the host vehicle 100, and the road surface information detected by the image recognition devices 80-1 to 80-4 and the surrounding environment storage means 62 are stored.
- a first similarity degree is obtained from the stored road surface information, and three-dimensional object information such as a sign A1021, a sign B1022, a traffic light 1023, and a feature A1024 existing on the side of the road on which the own vehicle 100 is traveling is mounted on the own vehicle 100.
- Three-dimensional object information detected by the image recognition devices 80-1 to 80-4 and the surrounding environment storage means 6 detected by the image recognition devices 80-1 to 80-4 From the stored three-dimensional object information it is possible to obtain the second degree of similarity to the. Furthermore, since the positions of the other vehicle A1001, the other vehicle B1002, and the other vehicle C1004 can be acquired, the image recognition devices 80-1 to 80- are compared with the vehicle results detected by the image recognition devices 80-1 to 80-4. Among the three-dimensional object detection performances, there is an effect that the vehicle detection performance can also be determined. FIG.
- FIG. 16 shows, as an example of a travel scene related to the travel control system of the present embodiment, the results detected by the image recognition devices 80-1 to 80-4 at a plurality of points while the host vehicle 100 is traveling and the host vehicle. It is explanatory drawing regarding the information memorize
- FIG. 16 is a travel scene in which the host vehicle 100 travels straight on a straight road having a plurality of intersections.
- the road surface information of the surrounding environment information of the host vehicle 100 includes both lanes in which the host vehicle 100 is traveling. There are side lane markers 1011, 1012, 1016, 1017, stop lines 1013, 1018 in front of the traveling direction of the host vehicle 100, crosswalks 1014, 1015, 1019 in front of the traveling direction of the host vehicle 100.
- the three-dimensional object information of the surrounding environment information of the host vehicle 100 includes a sign A1021, a sign B1022, a sign C1025, a sign C1027, a traffic light A1023, a traffic light B1028, and a feature A1024 present on the side of the road on which the host vehicle 100 is traveling. And feature B1026.
- feature B1026 As other moving bodies, there are other vehicles 1001, 1002, 1004, 1006, pedestrians 1003, 1005, and the like.
- the position of the traffic light is stored in the surrounding environment storage means 62 as information on the map.
- the map information and the position of the host vehicle amount are linked so that the host vehicle 100 is used as road surface information of the surrounding environment of the host vehicle 100. It is possible to acquire the positions of lane markers, stop lines, pedestrian crossings, etc. on both sides of the lane where the vehicle is traveling, and the host vehicle 100 is traveling as three-dimensional object information of the surrounding environment of the host vehicle 100 It is possible to acquire information on the position, size, and height of signs, traffic lights, features, etc. that exist on the side of the road.
- the host vehicle 100 moves from position A to position B.
- the road surface information of the surrounding environment of the host vehicle 100 includes lane markers 1011 and 1012, a stop line 1013, a pedestrian crossing 1014, a pedestrian crossing 1015, and the like as a three-dimensional object in the surrounding environment of the host vehicle 100
- the positions and sizes of the sign A1021, the sign B1022, the traffic light A1023, the feature A1024, and the like can be detected by the image recognition devices 80-1 to 80-4.
- the image recognition devices 80-1 to 80-4 at the position A detect it.
- the similarity between the road surface information and the road surface information stored in the surrounding environment storage means 62, and the similarity between the solid object information detected by the image recognition devices 80-1 to 80-4 and the solid object information stored in the surrounding environment storage means 62 Can be stored.
- the host vehicle 100 moves, and at the position B as well, lane markers 1016 and 1017, a stop line 1018, a pedestrian crossing 1019, and the like are displayed as road surface information of the surrounding environment of the own vehicle 100.
- the positions and sizes of the sign C1025, the sign D1027, the traffic light B1028, the feature B1026, and the like can be detected by the image recognition devices 80-1 to 80-4.
- the image recognition devices 80-1 to 80-4 at the position B detect the road surface information and the three-dimensional object information.
- the similarity between the road surface information and the road surface information stored in the surrounding environment storage means 62, and the similarity between the solid object information detected by the image recognition devices 80-1 to 80-4 and the solid object information stored in the surrounding environment storage means 62 Can be stored.
- the degree of similarity related to road surface information at a plurality of positions and the degree of similarity related to three-dimensional object information are stored, and information on the degree of similarity at these plurality of positions is used to store the current degree. It is possible to finally obtain the degree of similarity regarding a three-dimensional object or road surface.
- road surface information (stop line, pedestrian crossing, etc.) that can be used for determination at each position by storing information on the degree of similarity at a plurality of positions and calculating the degree of similarity regarding the final three-dimensional object or road surface.
- three-dimensional object information (signs, traffic lights, etc.)
- road surface information stop lines, pedestrian crossings, etc.
- three-dimensional object information signals, traffic lights, etc.
- FIG. 17 is a diagram for determining the degree of similarity from the road surface information stored in the surrounding environment storage means 62 and the road surface information detected by the image recognition devices 80-1 to 80-4 in the travel control system of the present embodiment. It is explanatory drawing regarding an Example.
- the road surface information stored in the surrounding environment storage means 62 includes road surface paint information such as left and right lane markers, stop lines, and pedestrian crossings, as shown in the example of FIG. These pieces of information change depending on the position of the host vehicle.
- the host vehicle 100 detects road surface information around the host vehicle 100 by the image recognition devices 80-1 to 80-4 at a certain position, the road surface information stored in the surrounding environment storage means 62 corresponding to the detected position and type. And compare.
- the image recognition devices 80-1 to 80-4 detect the same information as the road surface information stored in the surrounding environment storage means 62. If there is, 1 is set as the similarity determination result.
- road surface information stored in the surrounding environment storage means 62 there is a pedestrian crossing A ahead L [m] ahead of the host vehicle 100, and the image recognition devices 80-1 to 80-4 are similar to the front of the host vehicle 100. If a pedestrian crossing is detected at the correct position, 1 is set as the similarity determination result.
- the similarity determination result regarding road surface information is calculated
- the similarity degree is 1, and when the sum of similarity determination results is 0, the similarity degree is 0.
- the object subjected to the similarity determination used for obtaining the similarity degree here can be performed using a predetermined total number retroactively from the latest detection result. Further, all the objects that have been subjected to the similarity determination within the past predetermined time from the present time may be used. By obtaining the degree of similarity using past similarity determination results, it is possible to capture a history of changes in detection performance of the image recognition apparatuses 80-1 to 80-4, and it is possible to determine a decrease in detection performance. There is also an effect.
- FIG. 18 shows the determination of the degree of similarity from the three-dimensional object information stored in the surrounding environment storage means 62 and the three-dimensional object information detected by the image recognition devices 80-1 to 80-4 in the travel control system of the present embodiment. It is explanatory drawing regarding one Example to do.
- the three-dimensional object information stored in the surrounding environment storage means 62 includes three-dimensional object information around the road such as traffic lights, signs, and three-dimensional objects as shown in the example of FIG. These pieces of information change depending on the position of the host vehicle.
- the host vehicle 100 detects solid object information around the host vehicle 100 by the image recognition devices 80-1 to 80-4 at a certain position, the three-dimensional object stored in the surrounding environment storage unit 62 corresponding to the detected position and type is detected. Compare with material information.
- the image recognition devices 80-1 to 80-4 detect the traffic light A and are stored in the surrounding environment storage means 62.
- 1 is set as the similarity determination result.
- the sign B ahead y [m] of the host vehicle 100 is detected by the image recognition devices 80-1 to 80-4 and similar sign information is present as the three-dimensional object information stored in the surrounding environment storage means 62 1 is set as the similarity determination result.
- the image recognition devices 80-1 to 80-4 are located in front of the host vehicle 100. If the sign A cannot be detected at the same position, 0 is set as the similarity determination result.
- the similarity determination result is 0 or 1.
- the similarity determination result regarding the three-dimensional object information is obtained by the method as described above.
- As a method for obtaining the degree of similarity from these results it is possible to set the ratio of the sum of the similarity determination results with respect to the total number of objects subjected to similarity determination as the similarity. That is, the similarity degree is 1 when the total number of similarity determinations and the sum of the similarity determination results are the same, and the similarity degree is 0 when the sum of the similarity determination results is 0.
- FIG. 19 is an explanatory diagram relating to an example in which the performance of the image recognition apparatuses 80-1 to 80-4 is notified according to the first similarity degree and the second similarity degree in the travel control system of the present embodiment.
- FIG. 19 is an example showing temporal changes of the first similarity degree, the second similarity degree, the road surface information detection alarm, and the three-dimensional object information detection alarm from the top.
- determination values J11 and J12 and determination values J21 and J22 are set, respectively.
- a warning display mode for displaying that road surface information detection and solid object information detection are reduced, road surface information detection and solid object information detection are reduced, There are two control release modes that display that it is difficult to perform travel control using the information detection result or the three-dimensional object information detection result.
- FIG. 19 shows an example in which the first similarity degree related to road surface information decreases.
- the first similarity degree decreases with time, and is lower than the determination value J11 at time t1.
- the road surface information detection alarm enters the warning display mode and displays that the road surface information detection is reduced.
- the 1st similarity degree regarding road surface information falls as it is, and it is less than the judgment value J12 at the time t2.
- the road surface information detection alarm is in the control release mode, and the road surface information detection is lowered and it is difficult to continue the travel control using the road surface information detection result. It displays that there is, and actually cancels the travel control using the road surface information detection result.
- FIG. 20 is an explanatory diagram relating to an embodiment in which the travel control of the travel control device 60 is changed according to the first similarity degree and the second similarity degree in the travel control system of the present invention.
- FIG. 20A shows the first similarity degree, the second similarity degree, and the time change of the control mode executed by the travel control device 60.
- 20B shows the first similarity degree, the second similarity degree, and the time change of the control mode executed by the travel control device 60 in a scene different from FIG.
- determination values J11 and J12 and determination values J21 and J22 are set for the first similarity degree and the second similarity degree shown in FIGS. 20 (A) and 20 (B), respectively.
- the traveling control device 60 has four modes of mode A, mode B, mode C, and cancel as control modes.
- mode A detects the lane marker in front of the host vehicle 100 and maintains the vehicle in the center of the lane and the moving body in front of the host vehicle 100.
- Mode B is a control mode that detects a moving object or an obstacle ahead of the host vehicle 100 and avoids a collision
- mode C is The control mode for canceling the lane marker in front of the host vehicle 100 and maintaining the vehicle in the center of the lane cancels all automatic driving and driving support modes.
- FIG. 20A An example of FIG. 20A will be described.
- a lane marker in front of the host vehicle 100 is detected, and control for maintaining the vehicle in the center of the lane and a moving body and an obstacle in front of the host vehicle 100 are detected to avoid a collision.
- the vehicle travels in an automatic travel control mode (mode A) in which the controls are combined, and the first similarity degree related to road surface information decreases.
- mode A automatic travel control mode
- the first degree of similarity decreases with time, and falls below the determination value J11 at time t1. If it falls below the judgment value J11 at time t1, it is displayed to the driver that the road surface detection performance is degraded, but the control mode does not change and mode A is maintained.
- transition from mode A to mode B occurs due to a decrease in the detection performance of the image recognition apparatuses 80-1 to 80-4
- FIG. 20B first, a lane marker in front of the host vehicle 100 is detected, and control for maintaining the vehicle in the center of the lane and a moving body and an obstacle in front of the host vehicle 100 are detected to avoid a collision.
- the vehicle travels in an automatic travel control mode (mode A) in which control is integrated, and the second similarity degree related to the three-dimensional object information decreases.
- mode A automatic travel control mode
- the second similarity degree decreases with time, and falls below the determination value J21 at time t1. If it falls below the judgment value J21 at time t1, it is displayed to the driver that the three-dimensional object detection performance is lowered, but the control mode is not changed and mode A is maintained.
- transition from mode A to mode C occurs due to a decrease in the detection performance of the image recognition apparatuses 80-1 to 80-4
- the first similarity degree and the second similarity degree have been described, but the road surface detection performance index calculated from the first similarity degree and the three-dimensional object detection performance index calculated from the second similarity degree are used. The same applies if used instead.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
安全な自動運転システムあるいは運転支援システムを提供することである。 本発明の走行制御システムは、車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする。
Description
本発明は、自車両周辺の道路のレーンマーカーや停止位置などの路面表示を検知し、自車両周辺の複数の移動体・障害物などの立体物を検知し、道路上の走行領域を判定して、立体物との衝突を回避しながら、予め設定された走行ルートを走行する自動運転システムやドライバの操作を支援する運転支援システムに関するものであり、特に、自車両に搭載された外界認識センサを用いて自車両周辺の路面表示、移動体・障害物等の立体物を検知する際に、外界認識センサの検知性能を判定し、外界認識センサの検知性能に応じて自動運転システムや運転支援システムの制御を変更する走行制御システムに関するものである。
従来、車両の自動運転システムや運転支援システムを実現するためには、自車両周辺の外界情報として、自車両周辺の障害物や移動体などの立体物に加えて、道路上のレーンマーカー、停止線などの路面表示(路面ペイント)や道路周辺に存在する信号機、標識などの立体物を認識し、自車両の外界周辺状況に応じた走行制御を行っている。車載センサで外界周辺状況を認識し、制御を行うためには、自車両周辺の複数の障害物や複数の移動体の種別である車両、自転車、歩行者を判定し、その位置や速度などの情報を検出する必要があり、更に、自車両が走行する上で、道路上のレーンマーカーや停止線などのペイントの意味や標識の意味を判定することが必要である。このような自車両周辺の外界情報を検知する車載センサとしては、カメラを用いた画像認識手段が有効である。しかしながら、カメラを用いた画像認識手段を用いて外部環境を認識する場合、自車両周辺の天候(雨天、霧など)や時間帯(夜間、薄暮、逆光など)などの外部環境によってカメラによる画像認識手段の検出性能が変化する。具体的には、自車両周辺の移動体、障害物、道路上のペイントの検知に関して、画像認識手段による誤検知や未検知が増加する。
このような画像認識手段による性能の低下は、自車両周辺の移動体、障害物、道路ペイントが存在しているかいないかを把握していないため、画像認識手段のみでは、誤検知をしているのか、未検知であるのかの状態を正しく判定することが困難な場合がある。
このような課題に対し、自車両前方の道路形状に関して、ナビゲーションの地図から取得したカーブ形状と画像認識手段で検知したカーブ形状から最終的に前方の道路形状を判定する道路情報認識装置の例が特許文献1に記載されている。
特許文献1では、ナビゲーション装置にて保有する地図情報をもとに、第1の道路情報である第1の道路情報検出手段と、走行中の道路状況を検出し、その道路状況をもとに第2の道路情報を得る第2の道路情報検出手段と、第1の道路情報と第2の道路情報に基づいて最終的な道路情報を得る道路情報決定手段を備えており、具体的には、第1の道路情報に関しては、ナビゲーションの地図から前方のカーブを検知し、第2の道路情報に関しては、車載カメラから前方のカーブを検知し、この検知結果から前方のカーブを最終判定している。
上記の特許文献1に記載されている内容は、ナビゲーションの地図から得られる道路の直線、カーブなどの道路形状と画像認識手段で取得した前方の道路の直線、カーブなどの道路形状を比較し、前方の道路形状を最終判定しているため、前方の道路形状に関する判定のみを行っている。しかし、自動運転システムや衝突回避などを行う運転支援システムでは、前方の道路形状情報のみが判定できても車両走行制御を安全に行うことが困難な場合がある。例えば、自車両の進行方向に移動体や障害物が存在する場合、画像認識手段とナビゲーション地図によって前方の道路形状が確定でき、自車両の走行する道路が確定できていても、自車両前方に存在する移動体や障害物を画像認識手段で検知を確定できない場合、ナビゲーションの地図には対応する障害物の情報が存在しないため、立体物を確定することが困難である。この結果、画像認識手段によって前方の障害物が検知できていないのか、立体障害物が存在しないのかを判定することが困難であるため、車両の走行制御を行うのか、解除するかの判定を行うことが困難な場合がある。
このような課題に対して、本発明は、安全な自動運転システムあるいは運転支援システムを提供することである。
本発明の走行制御システムは、車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする。
または、本発明の走行制御システムは、車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記画像認識手段の検知性能の状態を通知することを特徴とする。
本発明により、自動運転システムあるいは運転支援システムの安全性を向上させることができる。
まず本発明の概要を説明する。本発明の走行制御システムは、自車両の周辺環境を検知する画像認識手段と自車両の自動運転や運転支援の走行制御を行う走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、前記走行制御装置にて行う走行制御のモードを変更させること、あるいは、前記画像認識手段の検知性能の状態を通知することを特徴としており、車両の周辺環境に関する情報を記憶する周辺環境記憶手段を有し、画像認識手段によって検知された結果と周辺環境記憶手段に記憶された情報から画像認識手段が車両の周辺環境を検知できているかを判定することが可能であるという効果があり、その判定結果に基づいて、画像認識の性能に応じた走行制御に変更することで、より最適な自動運転や運転支援の走行制御を実現することができるという効果がある。
または、本発明の走行制御システムは、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶される比較対象物と、前記画像認識手段によって検出した対象物との類似度合を求め、該類似度合に基づき、走行制御装置にて行う自動運転や運転支援などの走行制御のモードを変更させること、あるいは、該類似度合に基づき、前記画像認識手段の検知性能を判定し、前記画像認識手段の検知性能の状態を通知することを特徴としており、周辺環境記憶手段に記憶された車両の周辺環境に関する情報と画像認識手段によって検知された結果の類似度合から画像認識手段の検知性能を判定すること可能であるという効果があり、検知性能に基づいて、走行制御に変更することで、より最適な自動運転や運転支援の走行制御を実現することができるという効果がある。
更に、本発明の走行制御システムは、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記車両が異なる複数の地点にて、前記画像認識手段が検出した対象物と、前記周辺環境記憶手段に記憶される前記異なる複数の地点に対応した比較対象物との類似度合を算出し、該類似度合から前記画像認識手段の検知性能を判定し、該検知性能に基づいて前記走行制御装置にて自動運転や運転支援などの走行制御のモードを変更させること、あるいは、該検知性能に基づいて前記画像認識手段の検知性能の状態を通知することを特徴としており、走行している道路環境において、周辺環境の特徴を示す情報が少ない場合でも、自車両が走行する複数の異なる地点における比較対象物に関して類似度合を求めることが可能であるため、画像認識手段の検知性能を判定することが可能であるという効果がある。
更に、本発明の走行制御システムは、周辺環境記憶手段に記憶された車両周辺の道路の路面に関する特徴量と画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第1類似度合と、周辺環境記憶手段に記憶された立体物に関する特徴量と画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第2類似度合の2つの類似度合を求め、該2つの類似度合に応じて、走行制御装置の自動運転や運転支援などの制御を変更する、あるいは、画像認識手段の検知性能の状態を通知することを特徴としており、路面上のレーンマーカーや停止線などの路面情報に関する検知性能と、道路周辺の立体物の検知性能を個別に判定することができ、画像認識手段の検知性能を詳細に判定することができるという効果があり、それに応じた詳細な自動運転や運転支援の走行制御や通知が可能となるという効果がある。
以下、図面を用いて、本発明に実施形態を説明する。
図1は、本発明の走行制御システムを搭載した車両の一実施例の全体構成の概要を示している。
図1において、車両100は、上側をフロント側、下側をリア側とした図であり、車両100を駆動するための原動機10、原動機10の動力を伝達する変速機20、原動機10を制御する原動機制御装置30によって、車両100は駆動される。なお、図1の例では、フロント側に原動機10、変速機20を搭載して、フロント側のタイヤを駆動する例であるが、リア側のタイヤを駆動、あるいは四輪全部を駆動する場合でも、以下、同様である。
車両100は、原動機10と変速機20を制御する原動機制御装置30以外にも、車両全体の制御を行う車両制御装置60、外部との通信を行う通信装置50、車両100の四輪のタイヤに設けられている制動装置(90-1、90-2、90-3、90-4)を制御する制動制御装置40など複数の制御装置が搭載されており、それらは、制御用ネットワーク70に接続され、互いに情報を通信している。図1の実施例では、走行制御装置60は、車両100に搭載されており、車両100の周辺の外界情報を取得する画像認識装置(80-1、80-2、80-3、80-4)で取得した外界情報と車両100の状態を示す車両状態量(速度、ヨーレート、ヨー角、前後加速度、横加速度、操舵角度など)の情報を受け取り、外界情報に応じて、車両100の制御を行う。車両100の状態を示す車両状態量は、図1には図示されていないヨーレートセンサ、加速度センサ、速度センサ、操舵角センサなどによって検出される。
通信装置50は、外部からの通信を授受する装置であり、例えば、走行周辺の道路情報として路面情報(レーンマーカー位置、停止線位置、横断歩道、などの路面ペイント種別と位置など)と立体物情報(標識、信号機、地物、など道路周辺に存在する立体物)を取得する。後ほど述べるが、これらの情報は、道路インフラなどに設置されたセンサによって検知した情報、データセンタに記憶された道路周辺情報(路面情報と立体物情報など)、他車両が検知した道路周辺情報(路面情報と立体物情報など)を通信装置50を用いて取得することも可能である。更に、事前に記憶している走行周辺の道路情報を通信装置50を用いて最新の情報に変更することも可能である。
画像認識装置80(80-1、80-2、80-3、80-4)は、車両100周辺の外界に情報を取得する装置であり、具体的な例としては、カメラによる画像認識がある。カメラとしては、一つのカメラで外界を認識する単眼カメラと2つのカメラで外界を認識するステレオカメラなどがある。カメラによる画像認識では、車両100の外部情報として、車両、歩行者、軽車両(自転車など)など車両100周辺に移動する複数の移動体を同時に認識でき、更に、移動体の特性を分類することが可能である。また、ステレオカメラを用いることで、車両100周辺に存在する移動体や障害物の相対距離を検出することが可能である。更に、カメラによる画像認識では、道路上にペイントされた路面情報として、レーンマーカー(白線)の位置と大きさ、停止線の位置、横断歩道の位置などの情報を取得することが可能である。更に、立体物としては、道路脇に存在する標識の種別、大きさ、位置の情報、信号機の大きさ、位置の情報、その他特定の立体地物の位置の情報を取得することが可能である。ステレオカメラを用いた場合は、2つのカメラの視差画像を用いて、検知した立体物や路面ペイントまでの距離も検知することができる。
また、一つのカメラの画像では、予めカメラ毎に設定されたカメラ座標系を用いて、検知した路面ペイントや画像情報の距離も検知することも可能である。更に、一つのカメラの画像と距離検知センサ、例えば、レーダなどを組み合わせることで、距離検知の精度を向上させる場合もある。
警報装置110及び表示装置120は、走行制御装置60において判定した画像認識装置80の性能状態を表示したり、画像認識装置80の性能状態をドライバに知らせる。あるいは、画像認識装置80の性能状態に応じて、走行制御装置60が行う制御の変更などを事前に通知や表示を行う。
図2(A)は、自車両100に搭載される画像認識装置80による外界認識領域について示した一例である。図2(B)は、自車両100に搭載される画像認識装置80による外界認識領域について示した他の例である。図2(A)、(B)の自車両100は、図1の実施例のように、画像認識装置80として、自車両100の前方の外界認識を行う画像認識装置80-1、自車両100の右側方の外界認識を行う画像認識装置80-2、自車両100の左側方の外界認識を行う画像認識装置80-3、そして、自車両100の後方の外界認識を行う画像認識装置80-4にカメラを用いた場合である。特に、図2(A)では、前方の外界認識を行う画像認識装置80-1は、一つの画像認識装置にて、広角近傍の外界情報と遠方の外界情報の両方を認識可能であり、領域Aの範囲に存在する路面情報や立体物情報を検知することが可能である。つまり、自車両100の前方に存在する道路のレーンマーカー(白線)、停止線、横断歩道などの路面情報と前方車両、対向車両、標識、信号機などの立体物の情報を検知することが可能である。
一方、図2(B)では、画像認識装置80-1は、2つの画像認識装置を用いた場合であり、近傍の広角の領域である領域A2と遠方の領域A1を個々に検知する場合である。この場合も、図2(A)と同様に、自車両100の前方に存在する道路のレーンマーカー(白線)、停止線、横断歩道などの路面情報と前方車両、対向車両、標識、信号機などの立体物の情報を検知することが可能である。
更に、図2(A)、(B)では、自車両100の前方のみならず、右左側方及び後方の外界情報を検知することが可能であり、領域Bに存在する道路のレーンマーカー(白線)、停止線、横断歩道などの路面情報と前方車両、対向車両、標識、信号機などの立体物の情報を検知することが可能である。この場合、画像認識装置80-1~80-4は、それぞれが検知可能な領域における周辺情報を周辺環境記憶手段から取得し、各画像認識装置80-1~80-4のそれぞれに関する画像認識の検知性能を判定することができる。
図3は、自車両100に搭載される画像認識装置80による外界認識領域について別の実施例について示している。図3では、図2の実施例で説明した領域A1、領域A2、領域Bをカメラによる画像認識装置80を用いており、更に、自車両100の周辺をカメラとは異なるレーダセンサを車両周辺に搭載し、レーダによって、自車両100の全周囲を検出する。
レーダは、移動体、障害物の識別を行うことは困難であるが、移動体や障害物の距離、速度をカメラと比較すると比較的精度良く検出することが可能である。図3の実施例では、自車両100の前方・後方の左右の4か所にレーダを搭載し、領域D_FL、領域D_FR、領域D_RL、領域D_RRの移動体・障害物の距離、速度を検出する。このような構成にすることで、車両100周辺の路面情報や立体物の識別をカメラで行い、立体物の距離をレーダ検知することで、より精度の良い立体物の検知が可能となる。
図4は、図1に示した走行制御装置60の具体的な構成の一実施例を示している。走行制御装置60には、画像認識装置80-1~80-4によって検知した自車両100の周辺環境の情報が入力される。図4の実施例では、走行制御装置60は、性能判定手段61、周辺環境記憶手段62、車両制御手段63、操作量演算手段64、表示手段65、警報手段66から構成されている。
性能判定手段61は、画像認識装置80-1~80-4で検知した周辺情報と周辺環境記憶手段62に記憶された自車両100の位置の周辺環境情報を入力とし、画像認識装置80-1~80-4の検知性能の判定を行う。性能判定手段61にて判定した画像認識装置80-1~80-4の検知性能の判定結果は、車両制御手段63へ出力する。車両制御手段63では、性能判定手段61で求めた画像認識装置80-1~80-4の検知性能の判定結果に基づき、自車両100の走行制御方法及び画像認識装置80-1~80-4の性能に関するドライバへの通知を決定する。
例えば、ドライバの選択によって、自車両100を前方のレーンマーカーを検知し、レーンの中央位置を維持する自動操舵制御、車両前方の障害物や移動体に応じた自動的な加減速制御が車両制御手段63によって実行されている場合において、画像認識装置80-1~80-4の検知性能が低下していないと判定されると、車両制御装置63は、現在行われている自動操舵制御と自動加減速制御を継続実行する。
そして、画像認識装置80-1~80-4の検知性能の低下が判定されると、画像認識装置80-1~80-4による周辺環境の検知性能が低下していること、現在行われている自動操舵制御と自動加減速制御を解除することを警報手段66によってドライバへ通知し、その後、自動操舵制御と自動加減速制御を解除することで、走行制御の制御モードを切り替える。この時、性能判定手段61にて、判定した画像認識装置80-1~80-4の検知性能の状態を表示手段65によって表示する。なお、周辺環境記憶手段62に記憶されている周辺環境情報は、通信装置50によって、周辺環境情報を管理しているデータセンタなどから取得することも可能である。
図5は、図1に示した走行制御装置60の具体的な構成の別の一実施例を示している。図4と同様に、走行制御装置60には、画像認識装置80-1~80-4によって検知した自車両100の周辺環境情報が入力される。
図5の実施例では、走行制御装置60は、性能判定手段61、周辺環境記憶手段62、車両制御手段63、操作量演算手段64、表示手段65、警報手段66に加えて、画像認識記憶手段67と自車位置記憶手段から構成されている。
性能判定手段61は、図4と同様に、画像認識装置80-1~80-4で検知した周辺情報と周辺環境記憶手段62に記憶された自車両100の位置周辺の外界環境情報を入力とし、画像認識装置80-1~80-4の検知性能の判定を行う。性能判定手段61にて判定した画像認識装置80-1~80-4の検知性能の判定結果は、車両制御手段63へ出力する。
車両制御手段63では、性能判定手段61で求めた画像認識装置80-1~80-4の検知性能の判定結果に基づき、自車両100の走行制御方法及び画像認識装置80-1~80-4の性能に関するドライバへの通知を決定する。図5の実施例では、周辺環境記憶手段62に記憶されている周辺環境情報は、画像認識記憶装置67から取得している。
画像認識記憶手段67は、画像認識装置80-1~80-4によって過去に走行した際に取得した周辺環境情報を記憶し、自車位置記憶手段68は、画像認識記憶手段67に記憶した情報を取得した際の自車両100の位置を記憶する。
周辺環境記憶手段62は、画像認識記憶手段67に記憶した周辺環境情報と対応した自車位置記憶手段68の自車両の位置情報から現在走行中の周辺環境の情報を取得する。画像認識装置80-1~80-4によって過去に走行した際に取得した周辺環境情報が存在しない場合は、図4の実施例と同様に、自社位置の情報から道路周辺の外界情報を通信装置50によって、周辺環境情報を管理しているデータセンタなどから取得することが可能である。
また、自車両100が走行中に画像認識装置80-1~80-4によって取得した周辺環境情報を自車両100の走行制御装置60の画像認識記憶手段67に記憶させておくことも可能であるが、走行中に取得した情報を記憶させておくには膨大な記憶容量が必要となる。そこで、画像認識記憶手段67に記憶した周辺環境情報は、通信装置50によって、自車両100からデータセンタのように大容量のデータを記憶できる外部の設備へデータを送信し、外部のデータセンタの記憶装置に蓄積させておくことも可能である。この際、自車両100の現在位置情報に基づき、大容量の周辺環境情報データから現在位置における周辺環境情報を抽出し、自車両100が存在する位置における周辺環境情報を自車両100へ通信装置50を用いて出力する。このように、周辺環境情報を、自車両の位置情報とリンクしたデータ形式で、自車両100の外に設置されたデータセンタにおいて管理することで、自車両100の内部処理や蓄積データ量を限定することが可能となる効果がある。
図6は、図4及び図5の走行制御装置60における性能判定手段61の具体的な構成の実施例を示している。図6の実施例では、性能判定手段61は、類似度合演算手段611と性能定量化手段612から構成されている。
類似度合演算手段611には、画像認識装置80-1~80-4によって検知した自車両100の周辺環境の情報と周辺環境記憶手段62に記憶されている現在の周辺環境の情報が入力される。類似度合演算手段611は、自車両100に搭載されている画像認識装置80-1~80-4によって検知した自車両100の周辺環境の情報と周辺環境記憶手段62に記憶されている現在位置の自車両100の周辺環境の情報から、画像認識装置80-1~80-4で検知した周辺の検知結果と周辺記憶手段62に記憶している対応した対象物が合致するかについて評価することで、類似度合を演算する。
例えば、画像認識装置80-1~80-4が周辺環境から10個の特徴量(停止線などの路面情報や標識などの立体物)が検知され、それに相当する特徴量(停止線などの路面情報や標識などの立体物)が周辺環境記憶手段62から取得し、全てが合致する場合は、類似度度合が高いと判定され、合致する特徴量が少ない場合は、類似度合が低いと判定される。ここで、画像認識装置80-1~80-4で検知した周辺環境の検知結果は、ある時刻における画像データから検知しても構わないし、所定時間内における複数地点での複数の画像データから検知することも可能である。
類似度合演算手段611にて演算された類似度合は、性能定量化手段612へ入力され、性能定量化手段612にて、画像認識装置80-1~80-4の各画像認識装置の検知性能を定量化する。例えば、画像認識装置80-1で検知した特徴量と周辺環境記憶手段62で取得した特徴量の類似度合から、画像認識装置80-1の検知性能を定量化し、同様に画像認識装置80-2~80-4についても類似度合から検知性能を定量化する。
定量化としては、類似度合が高い場合は、検知性能が高いように定量化し、類似度合が少しでも低下すると検知性能は大幅に低下するなど類似度合と検知性能は比例関係で有る必要はない。類似度合が低下することは、画像認識装置80-1~80-4の未検知、誤検知が増加していることを意味しているため、類似度合が所定の閾値を下回ると検知性能は自動運転や運転支援に利用できないと考えられるため、検知性能を大幅に低下するように設定することが可能である。
図7は、図4、5の走行制御装置60における性能判定手段61の具体的な構成の別の実施例を示している。図7の実施例では、性能判定手段61は、第1類似度合演算手段613と第2類似度合演算手段614、性能定量化手段612から構成されている。また、周辺環境記憶手段62は、周辺環境の情報として、路面に関する情報を記憶した路面特徴量記憶手段621と立体物に関する情報を記憶した立体物特徴量記憶手段622から構成されている。
性能判定手段61における第1類似度合演算手段613は、画像認識装置80-1~80-4によって検知した車両周辺の路面に関する検知結果(レーンマーカー位置、停止線位置、横断歩道位置などの路面ペイント位置情報)と周辺環境記憶手段62の路面特徴量記憶手段621に記憶された路面に関する情報(レーンマーカー位置、停止線位置、横断歩道位置などの路面ペイント位置情報)を入力として、自車両100周辺の路面に関する画像認識装置80-1~80-4の検知結果と路面特徴量記憶手段621の情報の類似度合を演算する。例えば、画像認識装置80-1~80-4が周辺環境から10個の路面に関する特徴量(停止線や横断歩道など)が検知され、それに相当する特徴量(停止線や横断歩道など)が路面特徴量記憶手段621から取得し、全てが合致する場合は、第1類似度度合が高いと判定され、合致する特徴量が少ない場合は、第1類似度合が低いと判定される。ここで、画像認識装置80-1~80-4で検知した周辺環境の検知結果は、ある時刻における画像データを用いて検知しても構わないし、所定時間内の複数の地点における複数の画像データを用いて検知することも可能である。
性能判定手段61における第2類似度合演算手段614は、画像認識装置80-1~80-4によって検知した車両周辺の立体物に関する検知結果(標識、信号機、特定の立体地物などの道路周辺の固定された立体物の大きさや位置情報)と周辺環境記憶手段62の立体物特徴量記憶手段622に記憶された道路周辺の立体物に関する情報(標識、信号機、特定の立体地物などの道路周辺の固定された立体物の大きさや位置情報)を入力として、自車両100周辺の立体物に関する画像認識装置80-1~80-4の検知結果と立体物特徴量記憶手段622の情報の類似度合を演算する。例えば、画像認識装置80-1~80-4が周辺環境から10個の道路周辺の立体物に関する特徴量(標識や信号機など)が検知され、それに相当する特徴量(標識や信号機など)が立体物特徴量記憶手段622から取得し、全てが合致する場合は、第2類似度度合が高いと判定され、合致する特徴量が少ない場合は、第2類似度合が低いと判定される。ここで、画像認識装置80-1~80-4で検知した周辺環境の検知結果は、ある時刻における画像データを用いて検知しても構わないし、所定時間内の複数の地点における複数の画像データを用いて検知することも可能である。
第1類似度合演算手段613で演算された路面情報に関する類似度合(第1類似度合)と第2類似度合演算手段614で演算された道路周辺の立体物に関する類似度合(第2類似度合)は、性能定量化手段612へ入力され、性能定量化手段612にて、画像認識装置80-1~80-4の各画像認識装置の路面情報の検知性能と立体物情報の検知性能を定量化する。図6の場合と同様に、画像認識装置80-1~80-4のそれぞれに関する第1類似度合、第2類似度から各画像認識装置の個々の検知性能を定量化する。
定量化としては、類似度合が高い場合は、検知性能が高いように定量化し、類似度合が少しでも低下すると検知性能は大幅に低下するなど類似度合と検知性能は比例関係としても良いし、比例関係でなく、類似度が高くなれば、検知性能も高くなるように設定しても良い。類似度合が低下することは、画像認識装置80-1~80-4の未検知、誤検知が増加していることを意味しているため、類似度合が所定の閾値を下回ると検知性能は自動運転や運転支援に利用できないと考えられるため、検知性能を大幅に低下するように設定することが可能である。
このように、図7の実施例では、画像認識装置80-1~80-4の検知性能を路面情報に関する検知性能と立体物情報に関する検知性能の2つの検知性能の定量化を行うことが可能となる。その結果、路面に関する検知性能が大きく影響する走行制御への対応や立体物に関する検知性能が大きく影響する走行制御への対応など、検知性能に応じた走行制御の変更を行うことが可能となる。
図8は、本実施形態において、画像認識装置80-1~80-4と周辺環境記憶手段62を用いて類似度合と検知性能を演算し、その結果に応じて走行制御を変更する際のフローの概要を示した一実施例の図である。
図8に示すように、先ず、自車両100の位置を判定する(S1)。ここでは、自車両100の位置を判定することは、自車両100の周辺情報を周辺情報記憶手段62から取得する際に、自車両100の位置が特定できていないと取得できないためである。自車両100の位置を特定する方法としては、GPSを活用して大まかな自車両位置を特定する方法、自車両100に搭載されている自車両の速度、操舵角、ヨーレートなどから自車両100の移動を推定する方法、自車両100の搭載する外界認識手段によって、ランドマークの情報を取得して自車位置を補正する方法などを組み合わせることで、自車両100の位置を特定することが可能である。
自車両100の位置が特定できると、次に、自車両100に搭載された画像認識装置80-1~80-4の異常を判定する(S2)。これは、画像認識装置80-1~80-4が画像認識できないなどセンサ単体としての異常を判定する。ここで、画像認識装置80-1~80-4が異常と判定されると、画像認識装置80-1~80-4を用いた走行制御を解除する(S8)。
一方、画像認識装置80-1~80-4が異常なしであると判定されると、現在の自車両100が走行している位置周辺に関する複数の周辺情報の特徴量を周辺情報記憶手段62から取得する(S3)。
次に、周辺情報記憶手段62から取得した複数の周辺環境特徴量と画像認識装置80-1~80―4で検知した周辺環境の特徴量との類似度合を演算する。(S4)。
S4で類似度を演算すると、演算した類似度合から画像認識装置80-1~80―4の検知性能に関する定量的な性能指標を演算する(S5)。
次に、S5で演算した検知性能の指標の大きさを判定する。具体的には、予め設定した所定の閾値と検知性能の指標を比較し、予め設定した所定の閾値よりも小さいか否かを判定する(S6)。ここで、演算した検知性能の指標が予め設定した所定の閾値よりも大きい場合は、検知性能は低下していないと判定される。
一方、演算した検知性能の指標が予め設定した所定の閾値よりも小さい場合は、画像認識装置80-1~80-4の検知性能が低下していると判定され、表示装置などで検知性能の低下を表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置80-1~80-4の検知性能の低下に応じて、画像認識装置80-1~80-4を用いた走行制御が継続できない場合があるため、画像認識装置80-1~80-4を用いた走行制御を変更する(S7)。例えば、具体的には、自車両100の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御を行っている走行制御を実行している場合で、画像認識装置80-1~80-4の検知性能の低下が判定されると、画像認識装置80-1~80-4によるレーンマーカーの検知性能も低下すると判定され、レーンマーカーを認識して、走行する走行制御モードが継続困難であることを報知し、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードからドライバが操舵と加減速制御を行う手動制御モードへ変更するなどがある。
図9は、本実施形態において、画像認識装置80-1~80-4と周辺環境記憶手段62を用いて類似度合と検知性能を演算し、その結果に応じて走行制御を変更する際のフローの概要を示した別の一実施例の図である。
図9の一部は、図8と同じような処理を行う。図9において、先ず、自車両100の位置を判定する(S10)。図8と同様に、自車両100の位置を判定することは、自車両100の周辺情報を周辺情報記憶手段62から取得する際に、自車両100の位置が特定できていないと取得できないためであり、自車両100の位置を特定する方法としては、GPSを活用し大まかな自車両位置を特定する方法、自車両100に搭載されている自車両の速度、操舵角、ヨーレートなどから自車両100の移動を推定する方法、自車両100の搭載する外界認識手段によって、ランドマークの情報を取得して自車位置を補正する方法などを組み合わせることで、自車両100の位置を特定することが可能である。
自車両100の位置が特定できると、次に、自車両100に搭載された画像認識装置80-1~80-4の異常を判定する(S20)。これは、画像認識装置80-1~80-4が画像認識処理をできないなどセンサ単体としての異常を判定する。
ここで、画像認識装置80-1~80-4が異常と判定されると、画像認識装置80-1~80-4を用いた走行制御を解除する(S8)。
一方、画像認識装置80-1~80-4が異常なしであると判定されると、現在の自車両100が走行している位置周辺に関する複数の周辺情報の特徴量を周辺情報記憶手段62から取得する。複数の周辺情報の特徴量の取得としては、周辺情報記憶手段62の路面特徴量記憶手段621から路面情報に関する複数の特徴量を取得し(S30)、周辺情報記憶手段62の立体物特徴量記憶手段622から周辺の立体物に関する複数の特徴量を取得する(S40)。ここで、路面情報に関する複数の特徴量としては、レーンマーカー、停止線、横断歩道など路面表示(路面ペイント)の特徴量の位置や大きさを示し、立体物の特徴量とは、道路近傍にある標識、信号機、特定の立体地物などの位置や大きさを示している。
次に、周辺情報記憶手段62の路面特徴量記憶手段621から取得した路面情報に関する複数の特徴量と画像認識装置80-1~80-4で検知した路面情報に関する複数の特徴量との類似度合(第1類似度合)を演算する(S50)。
更に、周辺情報記憶手段62の立体物特徴量記憶手段622から取得した周辺の立体物に関する複数の特徴量と画像認識装置80-1~80-4で検知した道路近傍の立体物に関する複数の特徴量との類似度合(第2類似度合)を演算する(S60)。
そして、S50、S60で演算された第1類似度合と第2類似度合から画像認識装置80-1~80-4の路面情報を検知する路面情報検知性能と立体物を検知する立体物検知性能の2種類の検知性能の指標を演算する。
次に、S70で演算した路面情報検知性能の指標の大きさと立体物検知性能の指標の大きさを判定する(S80,S90)。S80では、路面情報検知性能に関して判定しており、路面情報の検知性能を判定するために予めに設定した所定の閾値と、路面情報検知性能の指標とを比較し、予め設定した所定の閾値よりも小さいか否かを判定する。例えば、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも大きい場合は、路面情報の検知性能は低下していないと判定される。一方、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置80-1~80-4の路面情報に関する検知性能が低下していると判定される。
同様に、S90では、立体物の検知性能に関して判定しており、立体物の検知性能を判定するために予めに設定した所定の閾値と、立体物検知性能の指標とを比較し、予め設定した所定の閾値よりも小さいか否かを判定する。例えば、演算した立体物検知性能の指標が予め設定した立体物検知性能評価用の所定の閾値よりも大きい場合は、立体物の検知性能は低下していないと判定される。一方、演算した立体物検知性能の指標が予め設定した立体物検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置80-1~80-4の立体物に関する検知性能が低下していると判定される。
S80にて、路面情報の検知性能は低下していないと判定されるとS90へ進み、一方、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置80-1~80-4の路面情報に関する検知性能が低下していると判定され、S110へ進む。
S110では、画像認識装置80-1~80-4の路面情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置80-1~80-4の路面情報に関する検知性能の低下に応じて、画像認識装置80-1~80-4の路面情報の検知結果を用いた走行制御が継続できない場合があるため、路面情報を用いた走行制御を解除する(S110)。
例えば、具体的には、自車両100の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両100の前方にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置80-1~80-4の路面情報の検知性能の低下が判定されると、画像認識装置80-1~80-4によるレーンマーカーの検知性能も低下すると判定され、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。
一方、S80にて、路面情報の検知性能は低下していないと判定されると、画像認識装置80-1~80-4によるレーンマーカーの検知性能は低下していないと判定され、レーンマーカーを認識して、走行する走行制御モードは継続される。
次に、S80にて、路面情報の検知性能は低下していないと判定されると、S90へ進み、立体物の検知性能に関する判定を行う。S90では、立体物の検知性能を判定するために予めに設定した所定の閾値と、立体物検知性能の指標とを比較し、予め設定した所定の閾値よりも小さいか否かを判定する。ここで、画像認識装置80-1~80-4の立体物に関する検知性能が低下していると判定されると、S100へ進む。S100では、画像認識装置80-1~80-4の立体物情報に関する検知性能が低下していることを表示装置120などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置80-1~80-4の立体物情報に関する検知性能の低下に応じて、画像認識装置80-1~80-4の立体物情報の検知結果を用いた走行制御が継続できない場合があるため、立体物情報を用いた走行制御を解除する(S100)。例えば、具体的には、自車両100の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両100の進行方向にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置80-1~80-4の立体物情報の検知性能の低下が判定されると、画像認識装置80-1~80-4による自車両100の進行方向に存在する先行車、移動体、障害物の検知性能も低下すると判定され、自車両100の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、自車両100の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。
一方、S90にて、立体物情報の検知性能は低下していないと判定されると、画像認識装置80-1~80-4の立体物の検知性能は低下していないと判定され、画像認識装置80-1~80-4を用いて自車両100の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードは継続される。
なお、図9では、路面検知に関する第1類似度合と検知性能判定を最初に行い(S80)、次に立体物に関する第2類似度合と検知性能判定を行っている(S90)が、最初に、立体物に関する第2類似度合と検知性能判定を行い、次に、路面検知に関する第1類似度合と検知性能判定を行っても良い。
更に、図10に示すように、路面検知に関する第1類似度合と検知性能判定と立体物に関する第2類似度合と検知性能判定を行い(S120)、ここで、路面検知の検知性能が低いと判定されると、S110へ進み、図9にて述べたように、画像認識装置80-1~80-4の路面情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。
更に、画像認識装置80-1~80-4の路面情報に関する検知性能の低下に応じて、画像認識装置80-1~80-4の路面情報の検知結果を用いた走行制御が継続できない場合があるため、路面情報を用いた走行制御を解除する。また、S120にて、画像認識装置80-1~80-4の立体物に関する検知性能が低下していると判定されると、S100へ進み、図9にて述べたように、画像認識装置80-1~80-4の立体物情報に関する検知性能が低下していることを表示装置120などに表示したり、ドライバへ警報にて知らせたりする。
更に、画像認識装置80-1~80-4の立体物情報に関する検知性能の低下に応じて、画像認識装置80-1~80-4の立体物情報の検知結果を用いた走行制御が継続できない場合があるため、立体物情報を用いた走行制御を解除する。一方、S120にて、路面情報に関する検知性能と立体物情報の検知性能の両方とも低下していないと判定されると、画像認識装置80-1~80-4の立体物の検知性能は低下していないと判定され、画像認識装置80-1~80-4を用いて自車両100の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードは継続される。
図11は、本実施形態において、画像認識装置80-1~80-4と周辺環境記憶手段62を用いて類似度合と検知性能を演算し、その結果に応じて走行制御を変更する際のフローの概要を示した更に別の一実施例の図である。
図11の一部は、図8、図9と同じような処理を行う。図11において、S10からS90は、図9に示したフローと同じである。図9との差異は、S111、S112の処理フローである。図11において、図9と同様に、S80にて、路面情報の検知性能は低下していないと判定されるとS90へ進み、一方、演算した路面情報検知性能の指標が予め設定した路面情報検知性能評価用の所定の閾値よりも小さい場合は、画像認識装置80-1~80-4の路面情報に関する検知性能が低下していると判定され、S110へ進む。
S110では、画像認識装置80-1~80-4の路面情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置80-1~80-4の路面情報に関する検知性能の低下に応じて、画像認識装置80-1~80-4の路面情報の検知結果を用いた走行制御が継続できない場合があるため、路面情報を用いた走行制御を解除する(S110)。
次に。S112へ進み、路面情報を用いた走行制御を解除した後、ドライバによる操作へ遷移することを通知し、所定時間後に、全ての運転支援走行制御、自動運転制御を解除する。例えば、具体的には、自車両100の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両100の前方にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置80-1~80-4の路面情報の検知性能の低下が判定されると、画像認識装置80-1~80-4によるレーンマーカーの検知性能も低下すると判定され、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。
更に、画像認識装置80-4~80-4の全体的な検知性能が低下する可能性もあるため、レーンマーカーを認識してレーンから逸脱しないように操舵制御・加減速制御を行う走行制御モードを解除するような制御モードへ遷移した後、全ての操作をドライバ操作へ受け渡すことを通知し、所定時間経過後に、操舵制御・加減速制御を行う運転支援走行制御や自動運転走行制御を解除する。これによって、画像認識装置80-1~80-4の一部の検知性能低下が判定されてから、所定時間後にドライバの操作へ受け渡すことが可能となり、ドライバが十分な余裕時間を持ってドライバ操作へ移行することが可能となる。
次に、S90では、立体物の検知性能を判定するために予めに設定した所定の閾値と、立体物検知性能の指標とを比較し、画像認識装置80-1~80-4の立体物に関する検知性能を判定し、立体物に関する検知性能が低下していると判定されると、S100へ進む。S100では、画像認識装置80-1~80-4の立体物情報に関する検知性能が低下していることを表示装置などに表示したり、ドライバへ警報にて知らせたりする。更に、画像認識装置80-1~80-4の立体物情報に関する検知性能の低下に応じて、画像認識装置80-1~80-4の立体物情報の検知結果を用いた走行制御が継続できない場合があるため、立体物情報を用いた走行制御を解除する(S100)。
次に。S111へ進み、立体物情報を用いた走行制御を解除した後、ドライバによる操作へ遷移することを通知し、所定時間後に、全ての運転支援走行制御、自動運転制御を解除する。例えば、具体的には、自車両100の前方にあるレーンマーカーを認識し、レーンから逸脱しないように操舵制御・加減側制御と自車両100の前方にある移動体との距離を検知して操舵制御・加減速制御によって走行制御を実行している場合で、画像認識装置80-1~80-4の立体物情報の検知性能の低下が判定されると、画像認識装置80-1~80-4による自車両100の進行方向に存在する先行車、移動体、障害物の検知性能も低下すると判定され、自車両100の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードの継続が困難であることを通知し、その後、自車両100の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードを解除するような制御モードの変更を行うなどがある。更に、画像認識装置80-4~80-4の全体的な検知性能が低下する可能性もあるため、自車両100の進行方向にある移動体や障害物との距離を検知して衝突を回避するような操舵制御・加減速制御を行う走行制御モードを解除するような制御モードへ遷移した後、全ての操作をドライバ操作へ受け渡すことを通知し、所定時間経過後に、操舵制御・加減速制御を行う運転支援走行制御や自動運転走行制御を解除する。
これによって、画像認識装置80-1~80-4の一部の検知性能低下が判定されてから、所定時間後にドライバの操作へ受け渡すことが可能となり、ドライバが十分な余裕時間を持ってドライバ操作へ移行することが可能となる。
図12は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両100の周辺環境記憶手段62として、自車両100が有する地図とともに、周辺環境の情報が記憶されている場合に関する説明図である。
図12は、自車両100が交差点付近を走行している走行シーンであり、自車両100の周辺環境情報の中の路面情報としては、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などがある。
また、自車両100の周辺環境情報の中の立体物情報としては、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などがある。また、それ以外の移動体としては、他車両A1001、他車両B1002、歩行者1003、などが存在する。
自車両周辺の移動体は、時々刻々変化するものであるが、一般的に路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであると考えることができる。そして、このような常時存在するものである路面のペイントや標識、信号機の位置を地図上の情報として周辺環境記憶手段62に記憶させておく。これによって、自車両100が走行中に、自車両100の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両100の周辺環境の路面情報として、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などの位置を取得することが可能であり、自車両100の周辺環境の立体物情報として、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などの位置や大きさ、高さの情報を取得することが可能である。
一方、図12の実施例では、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などの路面情報は、自車両100に搭載されている画像認識装置80-1~80-4によって検知可能な領域にある。従って、画像認識装置80-1~80-4の検知性能が低下していない状態では、これらの路面情報を検知することが可能であり、画像認識装置80-1~80-4で検知した路面情報と周辺環境記憶手段62に記憶した路面情報から第1の類似度合を求めることが可能となる。
また、自車両100の周辺環境情報の中の立体物情報としては、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などは、自車両100に搭載されている画像認識装置80-1~80-4によって検知可能な領域にある。従って、画像認識装置80-1~80-4の検知性能が低下していない状態では、これらの立体物情報を検知することが可能であり、画像認識装置80-1~80-4で検知した立体物情報と周辺環境記憶手段62に記憶した立体物情報から第2の類似度合を求めることが可能となる。
図13は、本実施形態の周辺環境記憶手段62に記憶されている周辺環境の情報に関する説明図である。図13には、周辺環境記憶手段62に記憶されている情報としては、少なくとも、図13に示すように路面情報と立体物情報の2種類の情報がある。
路面情報は、路面特徴量記憶手段621に記憶される情報であり、例えば、図13に示すように、その種別としては、レーンマーカー、停止線、路面ペイント、横断歩道などがあり、これらの路面ペイントが地図上のどの位置に存在するかを表現する座標で表現される。また、路面ペイントの種別によっては、そのペイントの大きさを情報として格納する。
これによって、自車両100の地図上の位置が特定されると、自車両100の位置からどの位置に、路面ペイントが存在するかが分かる。また、立体物情報は、立体物特徴量記憶手段622に記憶される情報であり、例えば、図13に示すように、その種別としては、標識、看板、信号機、その他立体地物などがあり、これらの道路周辺に存在する立体物が、地図上のどの位置に存在するかを表現する座標で表現される。また、立体物の高さ、幅など、立体物の大きさを表現するパラメータも情報として格納する。これによって、自車両100の地図上の位置が特定されると、自車両100の位置からどの位置に、どんな立体物が存在するかが分かる。
図14は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両100の周辺環境記憶手段62として、道路などのインフラに設置されたセンサ情報が自車両100の有する地図とともに記憶されている場合に関する説明図である。
図14は、図12と同様に、自車両100が交差点付近を走行している走行シーンであり、自車両100の周辺環境情報の中の路面情報としては、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などがある。
また、自車両100の周辺環境情報の中の立体物情報としては、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などがある。また、それ以外の移動体としては、他車両A1001、他車両B1002、歩行者1003、などが存在する。
自車両周辺の移動体は、時々刻々変化するものであるが、一般的に路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであると考えることができる。このような交差点においては、交通状況のモニタリングや交差点近傍の交通情報を交差点に進入する各車両に情報を提供して、運転の支援を行うために、道路近傍にインフラ設置センサ2000を設ける場合がある。このインフラ設置センサ2000の一例としては、画像認識装置を適用する場合があり、インフラ設置センサ2000の画像認識装置にて、道路周辺の環境を認識する場合がある。このインフラ設置センサ2000は、悪環境下でも交通状況を把握するために、赤外線カメラなど複数のセンサで交通状況を検知する場合もある。このようなインフラ設置センサ2000によって検知された道路周辺の移動体、立体物、路面に関する情報を通信装置によって、自車両100が取得することで、自車両100の周辺環境記憶手段62に記憶された周辺環境の情報を最新の情報に更新することが可能である。
これによって、周辺環境記憶手段62に記憶されている路面情報や立体物情報を現在の最新情報にすることで、画像認識装置80-1~80-4の検知性能の判定結果をより信頼の高いものにすることができるという効果がある。また、インフラ設置センサ2000では、現在のみ存在する移動体に関しても検知するこが可能であり、このような現在のみ存在する移動体の検知結果と自車両100の画像認識装置80-1~80-4によって検知した移動体に関する情報を比較することで移動立体物の検知性能の判定も行うことが可能になるという効果がある。上記の例では、インフラ設置センサ2000として、画像認識装置を用いた例について述べたが、スキャン式のレーダを用いて、道路周辺に存在する立体物やペイントの情報を取得する場合もある。
以上のようにインフラ設置センサ2000によって検知された情報を通信装置によって自車両100が取得し、路面のペイントや標識、信号機の位置を地図上の情報として周辺環境記憶手段62に記憶させておくことができる。これによって、図12にて説明した場合と同様に、自車両100が走行中に、自車両100の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両100の周辺環境の路面情報として、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などの位置を取得することが可能であり、自車両100の周辺環境の立体物情報として、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などの位置や大きさ、高さの情報を取得することが可能である。
そして、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などの路面情報を、自車両100に搭載されている画像認識装置80-1~80-4によって検知し、画像認識装置80-1~80-4で検知した路面情報と周辺環境記憶手段62に記憶した路面情報から第1の類似度合を求め、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などの立体物情報を自車両100に搭載されている画像認識装置80-1~80-4によって検知し、画像認識装置80-1~80-4で検知した立体物情報と周辺環境記憶手段62に記憶した立体物情報から第2の類似度合を求めることが可能となる。
図15は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両100の周辺環境記憶手段62として、他車両が検出した情報を自車両が有する地図とともに記憶されている場合に関する説明図である。
図15は、図12、図14と同様に、自車両100が交差点付近を走行している走行シーンであり、自車両100の周辺環境情報の中の路面情報としては、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などがある。
また、自車両100の周辺環境情報の中の立体物情報としては、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などがある。また、それ以外の移動体としては、他車両A1001、他車両B1002、他車両C1004、歩行者1003、などが存在する。自車両周辺の移動体は、時々刻々変化するものであるが、一般的に路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであると考えることができる。
このような走行シーンにおいて、他車両A1001、他車両B1002、他車両C1004は、それぞれ、各車両の周辺情報を検知する車載センサを搭載しており、車両の有する情報を通信装置で他の車両やデータセンサと通信できる場合がある。このような周辺環境を検知するセンサと通信装置を有する他車両が存在する場合、他車両A1001は、車載センサで検知した路面情報(停止線位置、レーンマーカー位置、横断歩道位置など)、立体物情報(標識A、Bの位置、信号機Aの位置、地物Aの位置)、自車両(他車両A1001)以外の移動体の位置、および自車両(他車両A1001)の位置の情報を有しており、他車両A1001の有するこれらの情報を通信によって自車両100が取得することができる。
これによって、自車両100が有する画像認識手段80-1~80-4で検知した情報ではない周辺情報を取得することができる。これを自車両100の周辺情報記憶手段62に記憶させることで、自車両100の周辺環境記憶手段62に記憶された周辺環境の情報を最新の情報に更新することが可能である。つまり、周辺環境記憶手段62に記憶されている路面情報や立体物情報を現在の最新情報にすることで、画像認識装置80-1~80-4の検知性能の判定結果をより信頼の高いものにすることができるという効果がある。
更に、他車両A1001以外の他車両B1002、他車両C1004からも同様に情報を取得することで、自車両100の周辺環境記憶手段62に記憶されている路面情報や立体物情報を広範囲で更新することが可能である。また、他車両A1001、他車両B1002、他車両C1004は、現在のみ存在する移動体に関しても検知するこが可能であり、このような現在のみ存在する移動体の検知結果と自車両100の画像認識装置80-1~80-4によって検知した移動体に関する情報を比較することで移動立体物の検知性能の判定も行うことが可能になるという効果がある。更に、他車両A1001、他車両B1002、他車両C1004の各車両の位置も取得することが可能であり、各車両の位置と自車両100の画像認識装置80-1~80-4によって検知した移動体に関する情報を比較することで車両の検知性能の判定も行うことが可能になるという効果がある。
以上のように、他車両で検知した周辺情報を通信装置によって自車両100が取得し、路面のペイントや標識、信号機の位置、更には、移動体の位置を地図上の情報として周辺環境記憶手段62に記憶させておくことができる。これによって、図12、図14にて説明した場合と同様に、自車両100が走行中に、自車両100の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両100の周辺環境の路面情報として、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などの位置を取得することが可能であり、自車両100の周辺環境の立体物情報として、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などの位置や大きさ、高さの情報を取得することが可能である。
そして、自車両100が走行している車線の両脇のレーンマーカー1011、1012、自車両100の進行方向前方にある停止線1013、自車両100の進行方向前方にある横断歩道1014、横断歩道1015などの路面情報を、自車両100に搭載されている画像認識装置80-1~80-4によって検知し、画像認識装置80-1~80-4で検知した路面情報と周辺環境記憶手段62に記憶した路面情報から第1の類似度合を求め、自車両100が走行している道路脇に存在する標識A1021、標識B1022、信号機1023、地物A1024などの立体物情報を自車両100に搭載されている画像認識装置80-1~80-4によって検知し、画像認識装置80-1~80-4で検知した立体物情報と周辺環境記憶手段62に記憶した立体物情報から第2の類似度合を求めることが可能となる。更に、他車両A1001、他車両B1002、他車両C1004の位置が取得できるため、画像認識装置80-1~80-4で検知した車両結果と比較することで、画像認識装置80-1~80-4の立体物検知の性能の中でも、車両検知の性能も判定することができるという効果がある。
図16は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両100が走行中に、複数の地点において画像認識装置80-1~80-4が検知した結果と自車両100の周辺環境記憶手段62に記憶されている情報に関する説明図である。
図16は、本実施形態の走行制御システムに関する走行シーンでの一実施例として、自車両100が走行中に、複数の地点において画像認識装置80-1~80-4が検知した結果と自車両100の周辺環境記憶手段62に記憶されている情報に関する説明図である。
図16は、自車両100が複数の交差点を有する直線道路を直線走行している走行シーンであり、自車両100の周辺環境情報の路面情報としては、自車両100が走行している車線の両脇のレーンマーカー1011、1012、1016、1017、自車両100の進行方向前方にある停止線1013、1018、自車両100の進行方向前方にある横断歩道1014、1015、1019などがある。
また、自車両100の周辺環境情報の立体物情報としては、自車両100が走行している道路脇に存在する標識A1021、標識B1022、標識C1025、標識C1027、信号機A1023、信号機B1028、地物A1024、地物B1026などがある。また、それ以外の移動体としては、他車両1001、1002、1004、1006、歩行者1003、1005などが存在する。
上記の移動体は、時々刻々と変化するが、既に述べたように、路面ペイントや道路周辺の標識、信号機などは変更されない限りは、常時存在するものであり、このような路面のペイントや標識、信号機の位置を地図上の情報として周辺環境記憶手段62に記憶させておく。
これによって、自車両100が走行中に、自車両100の位置が特定されると、地図情報と自車両量の位置をリンクさせることで、自車両100の周辺環境の路面情報として、自車両100が走行している車線の両脇のレーンマーカー、停止線、横断歩道などの位置を取得することが可能であり、自車両100の周辺環境の立体物情報として、自車両100が走行している道路脇に存在する標識、信号機、地物などの位置や大きさ、高さの情報を取得することが可能である。
図16の例では、自車両100は、位置Aから位置Bへ移動していく。自車両100が位置Aの地点では、自車両100の周辺環境の路面情報として、レーンマーカー1011、1012、停止線1013、横断歩道1014、横断歩道1015などを、自車両100の周辺環境の立体物情報として、標識A1021、標識B1022、信号機A1023、地物A1024などの位置や大きさを画像認識装置80-1~80-4で検知することが可能である。
また、この位置Aの地点にて、周辺情報記憶手段62に記憶している路面情報と立体物情報を取得することができるため、この位置Aにおける画像認識装置80-1~80-4で検知した路面情報と周辺環境記憶手段62に記憶した路面情報の類似度合と、画像認識装置80-1~80-4で検知した立体物情報と周辺環境記憶手段62に記憶した立体物情報の類似度合を記憶しておくことが可能である。
そして、自車両100が移動し、位置Bにおいても同様に、自車両100の周辺環境の路面情報として、レーンマーカー1016、1017、停止線1018、横断歩道1019などを、自車両100の周辺環境の立体物情報として、標識C1025、標識D1027、信号機B1028、地物B1026などの位置や大きさを画像認識装置80-1~80-4で検知することが可能である。
また、この位置Bの地点にて、周辺情報記憶手段62に記憶している路面情報と立体物情報を取得することができるため、この位置Bにおける画像認識装置80-1~80-4で検知した路面情報と周辺環境記憶手段62に記憶した路面情報の類似度合と、画像認識装置80-1~80-4で検知した立体物情報と周辺環境記憶手段62に記憶した立体物情報の類似度合を記憶しておくことが可能である。このように自車両100が移動する過程で、複数の位置における路面情報に関する類似度合と、立体物情報に関する類似度合を記憶しておき、これら複数の位置における類似度合の情報を用いて、現在の立体物や路面に関する類似度合を最終的に求めることが可能である。
このように、複数の位置における類似度合の情報を記憶して最終的な立体物や路面に関する類似度合を求めることで、各位置において判定するために利用可能な路面情報(停止線、横断歩道など)や立体物情報(標識、信号機など)が少ない場合でも、複数の位置における利用可能な路面情報(停止線、横断歩道など)や立体物情報(標識、信号機など)を用いることで、判定するために必要なデータ量を増加させることが可能となり、検知性能の判定の信頼性を高めることが可能となる。
図17は、本実施形態の走行制御システムおいて、周辺環境記憶手段62に記憶された路面情報と画像認識装置80-1~80-4によって検知された路面情報とから類似度合を判定する一実施例に関する説明図である。
周辺環境記憶手段62に記憶された路面情報としては、図17の例に示すように、左右のレーンマーカー、停止線、横断歩道などの路面ペイント情報がある。これらの情報は、自車両の位置によって変化していく。自車両100が、ある位置において、画像認識装置80-1~80-4によって自車両100周辺の路面情報を検知すると、検知した位置と種別に対応した周辺環境記憶手段62に記憶された路面情報と比較を行う。
例えば、図17の例では、自車両100の前方x[m]先の右側のレーンマーカーに関して、画像認識装置80-1~80-4が検知し、周辺環境記憶手段62に記憶された路面情報として同様な情報がある場合は、類似判定結果として1を設定する。同様に、自車両100の前方x[m]先の左側のレーンマーカーに関して、画像認識装置80-1~80-4が検知し、周辺環境記憶手段62に記憶された路面情報として同様な情報がある場合は、類似判定結果として1を設定する。
また、周辺環境記憶手段62に記憶された路面情報として自車両100の前方k[m]先に停止線Aがあるが、画像認識装置80-1~80-4は、自車両100の前方の同様な位置には、停止線を検知できなかった場合は、類似判定結果として0を設定する。
更に、周辺環境記憶手段62に記憶された路面情報として自車両100の前方L[m]先に横断歩道Aがあり、画像認識装置80-1~80-4によって、自車両100の前方の同様な位置に横断歩道を検知した場合は、類似判定結果として1を設定する。以上のような方法によって、路面情報に関する類似判定結果を求める。これらの結果から類似度合を求める方法としては、類似判定を行った対象物の総数に対する類似判定結果の総和の割合を類似度として設定することが可能である。
つまり、類似判定を行った総数と類似判定結果の総和が同じになると類似度合は1となり、類似判定結果の総和が0であると類似度合は0となる。ここで類似度合を求めるために用いる類似判定を行った対象物は、最新に検知した結果から過去にさかのぼって所定の総数を利用して行うことも可能である。また、現在から過去所定時間内に類似判定を行った全ての対象物としても良い。過去の類似判定結果も利用して類似度合を求めることで、画像認識装置80-1~80-4の検知性能の変化の履歴を捉えることが可能となり、検知性能の低下を判定することができるという効果もある。
図18は、本実施形態の走行制御システムおいて、周辺環境記憶手段62に記憶された立体物情報と画像認識装置80-1~80-4によって検知された立体物情報とから類似度合を判定する一実施例に関する説明図である。
周辺環境記憶手段62に記憶された立体物情報としては、図18の例に示すように、信号機、標識、立体物などの道路周辺の立体物情報がある。これらの情報は、自車両の位置によって変化していく。自車両100が、ある位置において、画像認識装置80-1~80-4によって自車両100周辺の立体物情報を検知すると、検知した位置と種別に対応した周辺環境記憶手段62に記憶された立体物情報と比較を行う。
例えば、図18の例では、自車両100の前方x[m]先の信号機Aに関して、画像認識装置80-1~80-4が信号機Aを検知し、周辺環境記憶手段62に記憶された立体物情報として同様な信号機の情報がある場合は、類似判定結果として1を設定する。自車両100の前方y[m]先の標識Bに関して、画像認識装置80-1~80-4が検知し、周辺環境記憶手段62に記憶された立体物情報として同様な標識情報がある場合は、類似判定結果として1を設定する。
そして、周辺環境記憶手段62に記憶された立体物情報として自車両100の前方z[m]先に標識Aがあるが、画像認識装置80-1~80-4は、自車両100の前方の同様な位置には、標識Aを検知できなかった場合は、類似判定結果として0を設定する。
以上のように周辺環境記憶手段62に記憶された各立体物情報と自車両100の画像認識装置80-1~80-4による検知結果を比較することで、類似判定結果として、0あるいは1を設定する。以上のような方法によって、立体物情報に関する類似判定結果を求める。これらの結果から類似度合を求める方法としては、類似判定を行った対象物の総数に対する類似判定結果の総和の割合を類似度として設定することが可能である。つまり、類似判定を行った総数と類似判定結果の総和が同じになると類似度合は1となり、類似判定結果の総和が0であると類似度合は0となる。
ここで類似度合を求めるために用いる類似判定を行った対象物は、最新に検知した結果から過去にさかのぼって所定の総数を利用して行うことも可能である。また、現在から過去所定時間内に類似判定を行った全ての対象物としても良い。過去の類似判定結果も利用して類似度合を求めることで、画像認識装置80-1~80-4の検知性能の変化の履歴を捉えることが可能となり、検知性能の低下を判定することができるという効果もある。
なお、画像認識装置80-1~80-4全体で周辺の路面や立体物を検知して、全体としての第1類似度合や第2類似度合を求めることも可能であり、画像認識装置80-1~80-4の個々の検知可能領域毎に、類似度合を求め、画像認識装置の個別の第1類似度合、第2類似度合を求め、各画像認識装置の検知性能の変化を求めることも可能である。
図19は、本実施形態の走行制御システムにおいて、第1類似度合と第2類似度合に応じて画像認識装置80-1~80-4の性能を通知する一実施例に関する説明図である。図19は、上から第1類似度合、第2類似度合、路面情報検知警報、立体物情報検知警報の時間変化を示した例である。
第1類似度合と第2類似度合に関しては、それぞれ、判定値J11、J12と判定値J21、J22を設定する。また、路面情報検知警報、立体物情報検知警報に関しては、路面情報検知や立体物情報検知が低下していることを表示する警告表示モードと路面情報検知や立体物情報検知が低下して、路面情報検知結果や立体物情報検知結果を用いて走行制御を行うことは困難であることを表示する制御解除モードの2つがある。
図19では、路面情報に関する第1類似度合が低下していく場合の例である。第1類似度合は時間とともに低下し、時刻t1にて判定値J11を下回っている。第1類似度合が判定値J11を下回った時刻t1にて、路面情報検知警報では、警告表示モードとなり、路面情報検知が低下していることを表示する。そして、そのまま、路面情報に関する第1類似度合が低下し、時刻t2にて判定値J12を下回っている。第1類似度合が判定値J12を下回った時刻t2にて、路面情報検知警報では、制御解除モードとなり、路面情報検知が低下して路面情報検知結果を用いた走行制御を継続することが困難であること表示し、実際に、路面情報検知結果を用いた走行制御を解除する。
本実施例では、路面情報検知警報に関する例を示したが、立体物情報検知警報に関しても同様である。また、第1類似度合と第2類似度合を用いて説明したが、第1類似度合から演算された路面検知性能の指標や第2類似度合から演算された立体物検知性能の指標を代わりに用いても同様である。
以上のように、類似度合の低下や検知性能の指標から検知性能の低下の判定と表示を行い、検知性能の低下の判定と表示を行った後に、検知性能低下に伴う走行制御の解除を行うことで、ドライバに対して急激に制御を解除することがないため、検知性能の低下に伴う制御の解除に対してもドライバは事前に対応することができるという効果がある。
図20は、本発明の走行制御システムにおいて、第1類似度合と第2類似度合に応じて走行制御装置60の走行制御を変更する一実施例に関する説明図である。図20(A)は、第1類似度合、第2類似度合、走行制御装置60の実行する制御モードの時間変化を示している。また、図20(B)は、(A)とは異なるシーンにおける第1類似度合、第2類似度合、走行制御装置60の実行する制御モードの時間変化を示している。
図19と同様に、図20(A)、(B)に示す第1類似度合と第2類似度合に関しては、それぞれ、判定値J11、J12と判定値J21、J22を設定する。また、走行制御装置60は、制御モードとして、モードA、モードB、モードC、キャンセルの4つのモードを有しているとする。ここで、モードA、B、C、キャンセルの例としては、モードAは、自車両100の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御と自車両100の前方の移動体や障害物を検知して衝突を回避する制御を融合した自動走行制御モード、モードBは、自車両100の前方の移動体や障害物を検知して衝突を回避する制御モード、モードCは、自車両100の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御モード、キャンセルは、全ての自動運転や運転支援モードを解除する。
図20(A)の例について説明する。図20(A)では、先ず、自車両100の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御と自車両100の前方の移動体や障害物を検知して衝突を回避する制御を融合した自動走行制御モード(モードA)で走行し、路面情報に関する第1類似度合が低下していく場合の例である。図20(A)に示すように、第1類似度合は時間とともに低下し、時刻t1にて判定値J11を下回る。時刻t1で判定値J11を下回ると、路面検知性能の低下していることをドライバへ表示するが、制御モードは変化せず、モードAを維持する。そして、更に、路面情報に関する第1類似度合が低下し、時刻t2にて判定値J12を下回ると、路面検知性能が低下して、路面検知に基づいた制御を維持することは困難であると判定される。その結果、自車両100の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御を維持できなくなり、自車両100の前方の移動体や障害物を検知して衝突を回避する制御のみが維持可能と判定され、制御モードは、モードAからモードBへ遷移する。画像認識装置80-1~80-4の検知性能の低下でモードAからモードBへ遷移した場合、遷移後に所定時間経過すると時刻t3にて、画像認識装置80-1~80-4の検知性能の低下にてモード遷移していることから全ての自動制御を解除するキャンセルのモードへ遷移する。
次に、図20(B)の例について説明する。図20(B)では、先ず、自車両100の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御と自車両100の前方の移動体や障害物を検知して衝突を回避する制御を融合した自動走行制御モード(モードA)で走行し、立体物情報に関する第2類似度合が低下していく場合の例である。図20(B)に示すように、第2類似度合は時間とともに低下し、時刻t1にて判定値J21を下回る。時刻t1で判定値J21を下回ると、立体物検知性能の低下していることをドライバへ表示するが、制御モードは変化せず、モードAを維持する。そして、更に、立体物情報に関する第2類似度合が低下し、時刻t2にて判定値J22を下回ると、立体物検知性能が低下して、立体物検知に基づいた制御を維持することは困難であると判定される。その結果、自車両100の前方の移動体や障害物を検知して衝突を回避する制御を維持できなくなり、自車両100の前方のレーンマーカーを検知して、レーン中央に車両を維持する制御のみが維持可能と判定され、制御モードは、モードAからモードCへ遷移する。画像認識装置80-1~80-4の検知性能の低下でモードAからモードCへ遷移した場合、遷移後に所定時間経過すると時刻t3にて、画像認識装置80-1~80-4の検知性能の低下にてモード遷移していることから全ての自動制御を解除するキャンセルのモードへ遷移する。
本実施例では、第1類似度合と第2類似度合を用いて説明したが、第1類似度合から演算された路面検知性能の指標や第2類似度合から演算された立体物検知性能の指標を代わりに用いても同様である。
以上のように、類似度合の低下や検知性能の指標から検知性能の低下の判定と表示を行い、検知性能の低下の判定と表示を行った後に、検知性能低下に伴う走行制御の解除を行うことで、ドライバに対して急激に制御を解除することがないため、検知性能の低下に伴う制御の解除に対してもドライバは事前に対応することができるという効果がある。また、路面検知性能、立体物検知性能のいずれかが低下した場合は、性能が先に低下した検知結果を用いた制御を最初に解除し、その次に、もう一方の検知結果を用いた制御を解除することで、ドライバに余裕を持たせて全体の制御を解除することが可能になる。
10 原動機
20 変速機
30 原動機制御装置
40 制動制御装置
50 通信装置
60 走行制御装置
61 性能判定手段
62 周辺環境記憶手段
63 車両制御手段
64 操作量演算手段
65 表示装置
66 警報手段
67 画像認識記憶装置
68 自己位置記憶手段
80-1 画像認識装置
80-2 画像認識装置
80-3 画像認識装置
80-4 画像認識装置
90 制動装置
100 車両、自車両
110 警報装置
120 表示装置
611 類似度演算手段
612 性能定量化手段
613 第1類似度演算手段
614 第2類似度演算手段
621 路面特徴量記憶手段
622 立体物特徴量記憶手段
20 変速機
30 原動機制御装置
40 制動制御装置
50 通信装置
60 走行制御装置
61 性能判定手段
62 周辺環境記憶手段
63 車両制御手段
64 操作量演算手段
65 表示装置
66 警報手段
67 画像認識記憶装置
68 自己位置記憶手段
80-1 画像認識装置
80-2 画像認識装置
80-3 画像認識装置
80-4 画像認識装置
90 制動装置
100 車両、自車両
110 警報装置
120 表示装置
611 類似度演算手段
612 性能定量化手段
613 第1類似度演算手段
614 第2類似度演算手段
621 路面特徴量記憶手段
622 立体物特徴量記憶手段
Claims (14)
- 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする走行制御システム。 - 請求項1に記載の走行制御システムであって、
前記周辺環境記憶手段に記憶される比較対象物と、前記画像認識手段によって検出した対象物との類似度合を求め、該類似度合に基づき、前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする走行制御システム。 - 請求項1に記載の走行制御システムであって、
前記車両が異なる複数の地点にて、前記画像認識手段が検出した対象物と、前記周辺環境記憶手段に記憶される前記異なる複数の地点に対応した比較対象物との類似度合を算出し、該類似度合から前記画像認識手段の検知性能を判定し、該検知性能に基づいて前記走行制御装置にて行う走行制御のモードを変更させることを特徴とする走行制御システム。 - 車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、
前記車両の周辺環境を記憶する周辺環境記憶手段を有し、
前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づき、 前記画像認識手段の検知性能の状態を通知することを特徴とする走行制御システム。 - 請求項4に記載の走行制御システムであって、
前記周辺環境記憶手段に記憶される比較対象物と、前記画像認識手段によって検出した対象物との類似度合を求め、該類似度合に基づき、前記画像認識手段の検知性能を判定し、前記画像認識手段の検知性能の状態を通知することを特徴とする走行制御システム。 - 請求項4に記載の走行制御システムであって、
前記車両が異なる複数の地点にて、前記画像認識手段が検出した対象物と、前記周辺環境記憶手段に記憶される前記異なる複数の地点に対応した比較対象物との類似度合を算出し、該類似度合から前記画像認識手段の検知性能を判定し、前記画像認識手段の検知性能の状態を通知することを特徴とする走行制御システム。 - 請求項1ないし6に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段は、道路の路面に関する特徴量を記憶する路面情報記憶手段と、道路周辺の立体物に関する特徴量を記憶する立体物情報記憶手段とを有することを特徴とする走行制御システム。 - 請求項1ないし6に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第1類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第2類似度合の2つの類似度合を求め、該2つの類似度合に応じて、前記走行制御装置によって操舵制御を変更することを特徴とする走行制御装置 - 請求項1ないし6に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第1類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第2類似度合の2つの類似度合を求め、該2つの類似度合に応じて、前記走行制御装置によって加減速制御を変更することを特徴とする走行制御装置 - 請求項1ないし6に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段に記憶された前記車両周辺の道路の路面に関する特徴量と前記画像認識手段によって検知された道路の路面に関する特徴量との類似度合を示す第1類似度合と、前記周辺環境記憶手段に記憶された立体物に関する特徴量と前記画像認識手段によって検知された道路周辺の立体物に関する特徴量との類似度合を示す第2類似度合の2つの類似度合を出力することを特徴とする走行制御システム。 - 請求項1ないし10に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段は、前記自車両が過去に通過した道路において、前記自車両の前記画像認識手段によって検出した自車両周辺の環境情報を記憶したものであることを特徴とする走行制御システム。 - 請求項1ないし10に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段は、道路周辺に設置された外界認識センサで検出した周辺環境の情報を前記自車両が有する通信装置によって受信し、記憶したものであることを特徴とする走行制御システム。 - 請求項1ないし10に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段は、自車両以外の車両が検出した周辺環境の情報を前記自車両が有する通信装置によって受信し、記憶したものであることを特徴とする走行制御システム。 - 請求項11ないし13に記載のいずれかの走行制御システムであって、
前記周辺環境記憶手段は、前記自車両が過去に通過した道路において前記自車両の前記画像認識手段によって検出した自車両周辺の環境情報、あるいは、道路周辺に設置された外界認識センサで検出した周辺環境の情報、あるいは、自車両以外の車両が検出した周辺環境の情報を取得し、前記情報を記憶したデータセンタから前記自車両が有する通信装置によって受信して、記憶したものであることを特徴とする走行制御システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15860510.5A EP3223260B1 (en) | 2014-11-18 | 2015-10-07 | Drive control system |
CN201580052480.9A CN107077792B (zh) | 2014-11-18 | 2015-10-07 | 行驶控制*** |
US15/520,443 US10730503B2 (en) | 2014-11-18 | 2015-10-07 | Drive control system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014233219A JP6462328B2 (ja) | 2014-11-18 | 2014-11-18 | 走行制御システム |
JP2014-233219 | 2014-11-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016080100A1 true WO2016080100A1 (ja) | 2016-05-26 |
Family
ID=56013658
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/078429 WO2016080100A1 (ja) | 2014-11-18 | 2015-10-07 | 走行制御システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10730503B2 (ja) |
EP (1) | EP3223260B1 (ja) |
JP (1) | JP6462328B2 (ja) |
CN (1) | CN107077792B (ja) |
WO (1) | WO2016080100A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105993243A (zh) * | 2016-05-30 | 2016-10-12 | 河南豪丰农业装备有限公司 | 一种新型灭茬旋耕机 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015209476A1 (de) * | 2015-05-22 | 2016-11-24 | Robert Bosch Gmbh | Systemgrenzen einer automatischen Steuerung |
KR101988811B1 (ko) * | 2015-07-13 | 2019-06-12 | 닛산 지도우샤 가부시키가이샤 | 신호기 인식 장치 및 신호기 인식 방법 |
JP6728634B2 (ja) * | 2015-11-04 | 2020-07-22 | 株式会社リコー | 検知装置、検知方法及びプログラム |
JP6659379B2 (ja) * | 2016-01-28 | 2020-03-04 | 日立オートモティブシステムズ株式会社 | 道路情報認識システム及び道路情報認識方法 |
JP6699230B2 (ja) * | 2016-02-25 | 2020-05-27 | 住友電気工業株式会社 | 道路異常警告システム及び車載機 |
CN108712981A (zh) * | 2016-03-07 | 2018-10-26 | 本田技研工业株式会社 | 车辆控制装置、车辆控制方法及车辆控制程序 |
JP6500820B2 (ja) * | 2016-03-18 | 2019-04-17 | 株式会社デンソー | 車載装置 |
JP6780456B2 (ja) | 2016-05-09 | 2020-11-04 | 株式会社デンソー | 運転特性記憶装置 |
JP6548690B2 (ja) * | 2016-10-06 | 2019-07-24 | 株式会社アドバンスド・データ・コントロールズ | シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法 |
KR102339776B1 (ko) * | 2017-08-09 | 2021-12-15 | 삼성전자주식회사 | 차량의 주행 제어 방법 및 장치 |
JP6984232B2 (ja) * | 2017-08-25 | 2021-12-17 | トヨタ自動車株式会社 | 自動運転装置 |
JP6859902B2 (ja) * | 2017-08-31 | 2021-04-14 | トヨタ自動車株式会社 | 車両制御装置 |
CN109747655B (zh) * | 2017-11-07 | 2021-10-15 | 北京京东乾石科技有限公司 | 用于自动驾驶车辆的驾驶指令生成方法和装置 |
CN109829351B (zh) * | 2017-11-23 | 2021-06-01 | 华为技术有限公司 | 车道信息的检测方法、装置及计算机可读存储介质 |
JP6881369B2 (ja) * | 2018-03-26 | 2021-06-02 | トヨタ自動車株式会社 | 自車位置推定装置 |
JP7019503B2 (ja) | 2018-04-25 | 2022-02-15 | 日立Astemo株式会社 | 電子制御装置、演算方法 |
WO2020027233A1 (ja) | 2018-07-31 | 2020-02-06 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び車両制御システム |
JP6725733B2 (ja) * | 2018-07-31 | 2020-07-22 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および電子機器 |
CN109242251B (zh) * | 2018-08-03 | 2020-03-06 | 百度在线网络技术(北京)有限公司 | 行车行为安全性检测方法、装置、设备及存储介质 |
KR102506879B1 (ko) * | 2018-11-23 | 2023-03-08 | 현대자동차주식회사 | 차량의 자율주행 제어 장치 및 방법 |
JP6861911B2 (ja) * | 2018-12-21 | 2021-04-21 | 三菱電機株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
JP7113958B2 (ja) * | 2019-03-11 | 2022-08-05 | 三菱電機株式会社 | 運転支援装置及び運転支援方法 |
CN110226369A (zh) * | 2019-04-09 | 2019-09-13 | 丰疆智能科技股份有限公司 | 履带式微耕机的控制方法及其控制*** |
US11059480B2 (en) * | 2019-04-26 | 2021-07-13 | Caterpillar Inc. | Collision avoidance system with elevation compensation |
TWI794486B (zh) | 2019-04-30 | 2023-03-01 | 先進光電科技股份有限公司 | 行動載具輔助系統及其處理方法 |
DE102019206882A1 (de) * | 2019-05-13 | 2020-11-19 | Volkswagen Aktiengesellschaft | Unterstützung des Beendens einer Bankettfahrt eines Kraftfahrzeugs |
WO2021020154A1 (ja) | 2019-08-01 | 2021-02-04 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP7010981B2 (ja) * | 2020-02-06 | 2022-01-26 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
DE112020006708T5 (de) * | 2020-02-12 | 2022-12-01 | Mitsubishi Electric Corporation | Objekterkennungsvorrichtung, Fahrassistenzvorrichtung, Server und Objekterkennungsverfahren |
JP7259780B2 (ja) * | 2020-02-21 | 2023-04-18 | トヨタ自動車株式会社 | 運転支援システム |
JP7470588B2 (ja) | 2020-07-16 | 2024-04-18 | トヨタ自動車株式会社 | 衝突回避支援装置 |
JP7384131B2 (ja) * | 2020-08-31 | 2023-11-21 | トヨタ自動車株式会社 | 車両の運転支援装置、車両の運転支援方法、およびプログラム |
JP7250837B2 (ja) * | 2021-03-26 | 2023-04-03 | 本田技研工業株式会社 | 制御装置、制御方法、およびプログラム |
DE102021111325A1 (de) * | 2021-05-03 | 2022-11-03 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Assistenzeinrichtung zum Unterstützen eines Fahrbetriebs eines Kraftfahrzeugs und Kraftfahrzeug |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11211492A (ja) * | 1998-01-29 | 1999-08-06 | Fuji Heavy Ind Ltd | 道路情報認識装置 |
JP2013160735A (ja) * | 2012-02-08 | 2013-08-19 | Toyota Motor Corp | 車両走行道路特定装置および車両走行道路特定方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3938532B2 (ja) * | 2002-09-05 | 2007-06-27 | 本田技研工業株式会社 | 車両制御装置、プログラム及び方法 |
CN100410622C (zh) | 2004-05-14 | 2008-08-13 | 佳能株式会社 | 用于获得目标物体的位置和方位的信息处理方法和设备 |
DE102008024929A1 (de) * | 2008-05-23 | 2009-11-26 | Wabco Gmbh | Fahrerassistenzsystem |
JP4717105B2 (ja) * | 2008-08-29 | 2011-07-06 | 株式会社日立製作所 | 自律移動ロボット装置及びかかる装置における飛び出し衝突回避方法 |
JP5070171B2 (ja) | 2008-09-19 | 2012-11-07 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP5641146B2 (ja) * | 2011-08-26 | 2014-12-17 | トヨタ自動車株式会社 | 運転支援装置及び運転支援方法 |
US20130197736A1 (en) * | 2012-01-30 | 2013-08-01 | Google Inc. | Vehicle control based on perception uncertainty |
US8880273B1 (en) * | 2013-01-16 | 2014-11-04 | Google Inc. | System and method for determining position and distance of objects using road fiducials |
US8855849B1 (en) * | 2013-02-25 | 2014-10-07 | Google Inc. | Object detection based on known structures of an environment of an autonomous vehicle |
JP5708689B2 (ja) * | 2013-03-13 | 2015-04-30 | 株式会社デンソー | 物体検出装置 |
US9863928B1 (en) * | 2013-03-20 | 2018-01-09 | United Parcel Service Of America, Inc. | Road condition detection system |
US20150106010A1 (en) * | 2013-10-15 | 2015-04-16 | Ford Global Technologies, Llc | Aerial data for vehicle navigation |
RU2587429C2 (ru) * | 2013-12-05 | 2016-06-20 | Закрытое акционерное общество "Лаборатория Касперского" | Система и способ оценки надежности правила категоризации |
CN104573669B (zh) | 2015-01-27 | 2018-09-04 | 中国科学院自动化研究所 | 图像物体检测方法 |
-
2014
- 2014-11-18 JP JP2014233219A patent/JP6462328B2/ja active Active
-
2015
- 2015-10-07 US US15/520,443 patent/US10730503B2/en active Active
- 2015-10-07 CN CN201580052480.9A patent/CN107077792B/zh active Active
- 2015-10-07 EP EP15860510.5A patent/EP3223260B1/en active Active
- 2015-10-07 WO PCT/JP2015/078429 patent/WO2016080100A1/ja active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11211492A (ja) * | 1998-01-29 | 1999-08-06 | Fuji Heavy Ind Ltd | 道路情報認識装置 |
JP2013160735A (ja) * | 2012-02-08 | 2013-08-19 | Toyota Motor Corp | 車両走行道路特定装置および車両走行道路特定方法 |
Non-Patent Citations (2)
Title |
---|
OSAMU FURUKAWA: "ITS ni Kansuru Jidosha no Seigyo Gijutsu no Genjo to Kongo no Kadai", JOURNAL OF THE SOCIETY OF INSTRUMENT AND CONTROL ENGINEERS, vol. 40, no. 3, March 2001 (2001-03-01), pages 207 - 213, XP055445400 * |
See also references of EP3223260A4 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105993243A (zh) * | 2016-05-30 | 2016-10-12 | 河南豪丰农业装备有限公司 | 一种新型灭茬旋耕机 |
Also Published As
Publication number | Publication date |
---|---|
EP3223260B1 (en) | 2020-08-19 |
JP2016099635A (ja) | 2016-05-30 |
CN107077792A (zh) | 2017-08-18 |
EP3223260A4 (en) | 2018-07-25 |
JP6462328B2 (ja) | 2019-01-30 |
US20170313297A1 (en) | 2017-11-02 |
CN107077792B (zh) | 2020-06-12 |
US10730503B2 (en) | 2020-08-04 |
EP3223260A1 (en) | 2017-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6462328B2 (ja) | 走行制御システム | |
US11835959B1 (en) | Determining the stationary state of detected vehicles | |
US11938967B2 (en) | Preparing autonomous vehicles for turns | |
JP6438516B2 (ja) | 車両の走行制御装置 | |
US9862364B2 (en) | Collision mitigated braking for autonomous vehicles | |
US10303178B1 (en) | Collision mitigation static occupancy grid | |
US10800455B2 (en) | Vehicle turn signal detection | |
US9507345B2 (en) | Vehicle control system and method | |
JP6465319B2 (ja) | 車両の走行制御装置 | |
US20120303222A1 (en) | Driver assistance system | |
US20120296539A1 (en) | Driver assistance system | |
CN108027422A (zh) | 借助于汽车传感器自动检测危险偏离车辆 | |
CN110036426B (zh) | 控制装置和控制方法 | |
EP3175311A1 (en) | Traffic signal response for autonomous vehicles | |
CN114126940A (zh) | 电子控制装置 | |
JPWO2019065564A1 (ja) | 自動運転制御装置及び方法 | |
US11403951B2 (en) | Driving assistance for a motor vehicle when approaching a tollgate | |
US11760345B2 (en) | Vehicle traveling control apparatus | |
US20190064321A1 (en) | Vehicle exterior environment recognition apparatus | |
WO2020039224A1 (ja) | 運転計画表示方法及び運転計画表示装置 | |
CN115691214A (zh) | 驾驶辅助装置 | |
CN117058920A (zh) | 领头车辆到尾随车辆距离估计***、方法及应用 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15860510 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15520443 Country of ref document: US |
|
REEP | Request for entry into the european phase |
Ref document number: 2015860510 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2015860510 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |