CN106485949B - 针对车辆的摄像机和v2v数据的传感器融合 - Google Patents

针对车辆的摄像机和v2v数据的传感器融合 Download PDF

Info

Publication number
CN106485949B
CN106485949B CN201610571531.5A CN201610571531A CN106485949B CN 106485949 B CN106485949 B CN 106485949B CN 201610571531 A CN201610571531 A CN 201610571531A CN 106485949 B CN106485949 B CN 106485949B
Authority
CN
China
Prior art keywords
lane
vehicle
data
confidence level
main vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610571531.5A
Other languages
English (en)
Other versions
CN106485949A (zh
Inventor
G.M.托马斯
N.特里圭
M.刘巴卡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dura Operating LLC
Original Assignee
Dura Operating LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dura Operating LLC filed Critical Dura Operating LLC
Publication of CN106485949A publication Critical patent/CN106485949A/zh
Application granted granted Critical
Publication of CN106485949B publication Critical patent/CN106485949B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00—Input parameters relating to a particular sub-units
    • B60W2510/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/65—Data transmitted between vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及针对车辆的摄像机和V2V数据的传感器融合。一种用于融合由主车辆和至少一个远程车辆对车辆（V2V）通信装备车辆所检测的传感器信息的方法包含：收集来自视觉子***的光学传感器的视觉数据，以及收集来自远程车辆的V2V数据。该方法进一步包含执行控制逻辑，所述控制逻辑包含用于生成基础车道模型和基础置信水平的第一控制逻辑、把V2V数据、基础车道模型和基础置信水平融合在一起的第二控制逻辑、以及从融合的车道模型、V2V数据、基础车道模型和基础置信水平生成最终车道模型和最终置信水平并且向最终车道模型分配优先级的第三控制逻辑。

Description

针对车辆的摄像机和V2V数据的传感器融合
对相关申请的交叉引用
本申请要求在2015年7月20日提交的美国临时专利申请号62/194,349的权益，所述美国临时专利申请号的主题事项通过引用被并入在本文中。
技术领域
本发明一般涉及用于机动车辆的驾驶员辅助***，并且更特别地涉及融合来自光学传感器和车辆对车辆通信子***的数据的驾驶员辅助***。
背景技术
本部分中的陈述仅仅提供与本公开相关的背景信息，并且可以或可以不构成现有技术。
已知能够向主车辆标识其他接近的机动车辆并且向主车辆的操作员警告可能与主车辆的驾驶路径相交的其他车辆的运动的机动车辆感测***。已知能够利用从以上指出的感测***所接收的数据并且制定改变诸如以减少主车辆驾驶速度、应用刹车、提供音频和视觉警告信号等的其他机动车辆感测***。已知的***可以利用接收与一个或多个其他车辆相关的视觉数据的摄像机***，并且可以利用计算机***来执行计算并且生成车辆命令指令。其他已知的***包含车辆对车辆（V2V）***，其允许多个车辆彼此通信。
虽然常规的车辆通信和感测***是有效的，但是对于改进车辆通信和感测***的数据质量、故障保险、诊断、鲁棒性和准确性的改进的车辆通信和感测***存在空间。
发明内容
在本发明的一个方面中，提供一种用于融合由主车辆和至少一个远程车辆对车辆（V2V）通信装备车辆所检测的传感器信息的方法。该方法包含收集来自视觉子***的光学传感器的视觉数据，并且生成基础车道模型和基础置信水平。该方法进一步包含收集来自V2V子***的接收器的V2V数据。该方法进一步包含从视觉数据生成基础车道模型和基础置信水平。该方法进一步包含把V2V数据、基础车道模型、和基础置信水平融合在一起。该方法进一步包含从融合在一起的V2V数据、基础车道模型和基础置信水平生成最终车道模型和最终置信水平，以及向最终车道模型分配优先级。
在本发明的另一个方面中，最终置信水平指示最终车道模型比基础车道模型更准确。
在本发明的还有另一个方面中，基础车道模型和最终车道模型包括针对主车辆和针对主车辆周围的预限定区域之内的任何物体的车道定位、车道标记、车道曲率、速度和轨道数据。
在本发明的还有另一个方面中，V2V数据包括针对与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V装备车辆、以及针对由与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V车辆所感测的任何物体的车道定位、速度、和轨道数据。
在本发明的还有另一个方面中，把V2V数据、基础车道模型、和基础置信水平融合在一起进一步包括将视觉数据与V2V数据相比较并且确定视觉数据和V2V数据的相对准确性和精度。
在本发明的还有另一个方面中，向最终车道模型分配优先级进一步包括确定物体在最终车道模型中相对于主车辆的位置并且当该物体处于也由主车辆占据的车道中时向该物体分配高优先级。
在本发明的还有另一个方面中，该方法进一步包括向至少一个高级驾驶员辅助***（ADAS）发送命令，并且其中至少一个ADAS执行避开高优先级已被分配到的物体的功能。
在本发明的还有另一个方面中，提供一种使用车辆对车辆（V2V）通信和光学传感器来向高级驾驶员辅助***（ADAS）清点（inventory）并传送相对于多个物体的主车辆位置的方法。该方法包含从光学传感器捕获具有第一多个物体和车道标记的路段的图像。该方法进一步包含分析所述图像并且确定第一多个物体中的每一个的第一状态、第一多个物体中的每一个的第一位置、车道标记相对于第一多个物体中的每一个以及相对于主车辆的位置。该方法进一步包含向第一状态、第一位置、以及第一多个物体的每一个分配第一置信水平。该方法进一步包含处理所述图像以确定所述路段、车道标记、和第一多个物体的第一本地动态地图。该方法进一步包含由在主车辆周围的预定区域之内的V2V装备车辆接收信号，其中所述信号包含第二多个物体中的每一个的第二状态和第二多个物体中的每一个的第二位置。该方法进一步包含向第二状态、第二位置、和第二多个物体分配第二置信水平。该方法进一步包含由V2V装备车辆处理所述信号以确定所述路段和第二多个物体的第二本地动态地图。该方法进一步包含将第一本地动态地图和第二本地动态地图相组合并且生成第三本地动态地图，其中所述第三本地动态地图包含第三多个物体中的每一个的第三状态以及第三多个物体中的每一个的第三位置。该方法进一步包含向第三多个物体的第三状态和第三位置分配第三置信水平和优先级，以及向ADAS传送相对于主车辆的位置的第三多个物体的第三状态和第三位置的优先级，其中ADAS自动避开第三多个物体。
在本发明的还有另一个方面中，生成第三本地动态地图进一步包括将所述信号与所述图像相融合，其中第三本地动态地图包含车道标记相对于第三多个物体的位置。
在本发明的还有另一个方面中，分配第三置信水平进一步包括第三置信水平大于第一置信水平和第二置信水平。
在本发明的还有另一个方面中，向第三多个物体分配优先级进一步包括向处于由主车辆共享的车道中并且处于主车辆的路径中的物体分配高优先级，其中所述车道由车道标记所限定。
在本发明的还有另一个方面中，向ADAS传送进一步包括当物体处于主车辆的路径中时应用主车辆制动***以避开处于由主车辆共享的车道中的物体。
在本发明的还有另一个方面中，向ADAS传送进一步包括应用主车辆转向（steer）***并且指引主车辆保持在车道之内。
在本发明的还有另一个方面中，一种用于融合由主车辆和至少一个远程车辆对车辆（V2V）通信装备车辆所检测的传感器信息的***包含具有光学传感器的视觉子***和具有接收器的V2V子***。该***进一步包含与视觉子***和V2V子***通信的控制器，所述控制器具有用于储存控制逻辑的存储器和被配置为执行控制逻辑的处理器，所述控制逻辑包含用于收集来自视觉子***的视觉数据并且从所述视觉数据生成基础车道模型和基础置信水平的第一控制逻辑。该***进一步包括：处理器包含用于收集来自V2V子***的V2V数据并且用于把V2V数据和基础车道模型以及基础置信水平融合在一起的第二控制逻辑。该***进一步包括：处理器包含用于从融合后的V2V数据、基础车道模型和基础置信水平生成最终车道模型和最终置信水平的第三控制逻辑，以及处理器包含用于向最终车道模型分配优先级的第四逻辑。
在本发明的还有另一个方面中，最终置信水平指示最终车道模型比基础车道模型更准确。
在本发明的还有另一个方面中，基础和最终车道模型包括针对主车辆和针对在主车辆周围的预限定区域之内的任何物体的车道定位、车道标记、车道曲率、速度和轨道数据。
在本发明的还有另一个方面中，V2V数据包括针对与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V装备车辆、以及针对由与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V车辆所感测的任何物体的车道定位、速度、和轨道数据。
在本发明的还有另一个方面中，控制器融合在一起进一步包括将视觉数据与V2V数据相比较并且确定视觉数据和V2V数据的准确性和精度。
在本发明的还有另一个方面中，第四逻辑进一步包括确定物体在最终车道模型中相对于主车辆的位置并且当物体处于也由主车辆占据的车道中时向所述物体分配高优先级。
在本发明的还有另一个方面中，关于已被分配高优先级的物体的信息被传递到至少一个ADAS，并且至少一个ADAS执行避开所述物体的功能。
附图说明
在本文中描述的绘图仅仅为了图解的目的并且不旨在以任何方式限制本公开的范围。
图1是根据本发明的原理的融合来自视觉子***和V2V子***的组合的数据的方法和***的主车辆的图；
图2是根据本发明的原理的融合来自视觉子***和V2V通信子***的组合的数据的方法和***的图；以及
图3是根据本发明的原理的融合来自视觉子***和V2V通信子***的组合的数据的方法的流程图。
具体实施方式
下面的描述在本质上仅仅是示例性的并且不旨在限制本公开、应用或用途。
参考图1和2，一般地由参考数字10指示用于把视觉或光学数据与车辆对车辆（V2V）数据融合在一起的***。***10一般包含具有视觉子***14和车辆对车辆（V2V）通信子***16的主车辆12。视觉子***14和V2V通信子***16与控制器18通信。一般地，***10在控制器18之内连续地收集来自视觉子***14和V2V子***16的数据并将其融合在一起。来自视觉子***14和V2V子***16的经收集和融合在一起的数据被发送到主车辆12之内的车辆控制***引擎控制单元（ECU）20。车辆控制***ECU 20解析经收集和融合在一起的数据并且命令由主车辆12进行的动作，诸如高级驾驶员辅助***（ADAS）功能。
视觉子***14包含一个或多个光学传感器或摄像机22。摄像机22可操作以收集围绕主车辆12的预限定区域中的视觉信息。来自摄像机22的视觉数据被传送到控制器18。V2V子***16包含接收器24，所述接收器24可操作以接收来自在图2中由参考数字26指示的远程V2V装备车辆的无线数据。从接收器24接收的V2V数据可以包含GPS数据、摄像机数据、和/或物体列表。V2V数据被传送到控制器18。
控制器18是非广义的电子控制设备，其具有预编程的数字计算机或处理器28、用于储存诸如控制逻辑、指令、图像数据、查找表等之类的数据的存储器或非暂时性计算机可读介质30、以及多个输入/输出外设或端口32。处理器28被配置为执行控制逻辑或指令。控制器18可以具有与处理器28通信的附加的处理器或附加的集成电路，诸如用于分析视觉数据的感知逻辑电路或专用V2V电路。
车辆控制***ECU 20可以是任何车辆控制***，诸如制动控制***、油门（throttle）控制***、转向控制***、车体控制***等。车辆控制***ECU 20包含使车辆***自动化、适应、或增强以便增加车辆安全性和/或操作员驾驶性能的ADAS功能。例如，车辆控制***ECU 20可以包含ADAS技术，所述ADAS技术通过实施安全措施（诸如自主地控制主车辆12）来警告驾驶员潜在的问题或者避免碰撞。车辆控制***ECU 20还可以包含ADAS部件，所述ADAS部件增强某些***，诸如自动化照明、自动化停车、自适应巡航控制、自动化制动、或使用摄像机技术的改进的盲点消除。
现参照图3并且继续参考图1和2，一般地由参考数字100指示用于把来自视觉子***14和V2V子***16的数据融合在一起的方法。为了图解的目的，将关于在示例性路段34上操作的主车辆12（在图2中示出）来描述方法100。路段34具有车道L1、L2、L3、至Ln。应该领会到路段34可以具有如一个那么少的车道而不脱离本公开的范围。由车道标记36限定车道L1至Ln。车道标记36可以是反光漆、反射物、交通锥标或柱标（barrel）、凹槽等。路段34被图解为部分弯曲的，但是可以具有任何形状并且具有任何拓扑而不脱离本公开的范围。
在本示例中，路段34被填充以多个物体38，包含两个远程V2V装备车辆26、一个非通信车辆40、和一个道路危险物42。应该领会到路段34可以通过任何数量和组合的远程V2V装备车辆26、非通信车辆40、和道路危险物42来填充。非通信车辆40可以是没有V2V***的车辆或可以是设置在主车辆12的通信范围之外的远程V2V装备车辆26。道路危险物42可以是路段34上的任何事物，包含行人、动物、碎片、施工桶（construction barrel）、报废的车辆等。
方法100在块104和106处开始。在块104处，摄像机22连续地捕获路段34的视觉数据。视觉数据可以处于相对于主车辆12的前向弧或环绕视角中。在本示例中，视觉数据包含多个物体38。在块108处，控制器18连续分析由摄像机22在块104处捕获的视觉数据并且生成第一物体列表和第一信息集合。第一物体列表被填充以多个物体38。第一信息集合包括由控制器18基于来自摄像机22的视觉数据所生成的物体特性。在一个方面中，第一信息集合包含对应于第一物体列表之内的多个物体38中的每一个的第一大小和第一位置。第一大小和第一位置动态地更新。第一大小和第一位置示意地示出为在图2中由参考数字44指示的具有小虚线的虚线框。由于摄像机或处理不准确性，物体38中的每一个的第一大小和第一位置44可以偏离物体38中的每一个的实际大小和位置。控制器18使用多个物体38中的每一个的动态更新的第一大小和第一位置44来确定针对第一物体列表中的多个物体38中的每一个的相对位置和速度。
在块110处，控制器18生成路段34和多个物体38的第一动态模型。第一动态模型包含路段34的第一地图，其中多个物体38被定位在第一地图之内。路段34的第一地图包含表征车道L1至Ln的第一车道信息，其包含第一车道计数、第一车道宽度46、以及第一车道曲率48等。方法继续到块112，在块112中控制器18把第一车道信息置信水平分配给路段34的第一动态模型。第一置信水平是对来自摄像机22的数据的可靠性的评估。第一置信水平可以基于摄像机22的已知公差、范围、视场和/或视觉保真度。
在块106处，主车辆12的V2V子***16从远程V2V装备车辆26连续接收与路段34有关的V2V数据。V2V数据可以经由任何无线通信方法（包含专用短程通信（DSRC））发送到接收器24。V2V数据可以包含几何位置***信息、光检测及测距（LIDAR）、无线电检测及测距（RADAR）、和/或相对于远程V2V装备车辆26中的每一个的前向弧或环绕视角中的视觉数据。在本示例中，V2V数据包含多个物体38。在块114处，控制器18连续分析由接收器24在块106处接收的V2V数据并且生成第二物体列表和第二信息集合。第二物体列表被填充以多个物体38。第二信息集合包括由控制器18基于来自接收器24的V2V数据所生成的物体特性。在一个方面中，第二信息集合包含对应于第二物体列表之内的多个物体38中的每一个的第二大小和第二位置。第二大小和第二位置动态地更新。第二大小和第二位置示意地示出为在图2中由参考数字50指示的具有大虚线的虚线框。由于摄像机、GPS、LIDAR、RADAR或处理不准确性，物体38中的每一个的第二大小和第二位置50可以偏离物体38中的每一个的实际大小和位置。控制器18使用多个物体38中的每一个的动态更新的第二大小和第二位置50来确定针对第二物体列表中的多个物体38中的每一个的相对位置和速度。
在块116处，控制器18生成路段34和多个物体38的第二动态模型。第二动态模型包含路段34的第二地图，其中多个物体38定位在第二地图之内。路段34的第二地图包含表征车道L1至Ln的第二车道信息，其包含第二车道计数、第二车道宽度46'、以及第二车道曲率48'等。该方法继续到块118，在块118中控制器18把第二车道信息置信水平分配给路段34的第二动态模型。第二置信水平是对来自V2V子***16的数据的可靠性的评估。第二置信水平可以基于远程V2V装备车辆26的GPS、LIDAR、RADAR、和/或摄像机22的已知公差、范围、视场和/或数据保真度。
在块120处，控制器18基于第一置信水平执行路段34的第一动态模型的第一加权分析。在一个方面中，第一动态模型的第一加权分析包含对相对于多个物体38中的每一个的第一大小和第一位置44、第一车道宽度46、以及第一车道曲率48中的每一个进行定性评估。第一大小和第一位置44的定性评估相对于第一置信水平被加权，并且针对第一信息集合生成经加权的第一动态模型。此外，控制器18基于第二置信水平执行路段34的第二动态模型的第二加权分析。在一个方面中，第二动态模型的第二加权分析包含对相对于多个物体38中的每一个的第二大小和第二位置50、第二车道宽度46'、以及第二车道曲率48'中的每一个进行定性评估。第二大小和第二位置50的定性评估相对于第二置信水平被加权，并且针对第二信息集合生成经加权的第二动态模型。在第一和第二加权动态模型中的每一个中，相应的第一和第二信息集合之内的信息当被分配更高的置信水平时被给出更大的权重。例如，在从0 - 5的置信水平尺度上，靠近主车辆摄像机22的范围的***的道路危险物42可以被分配低置信水平，诸如1。分配低评级是因为摄像机22的已知公差、范围、视场、和/或视觉保真度在***处与在非常靠近摄像机的视场以及在摄像机的视场之内相比是相对更低的。进一步参考以上示例，非常靠近摄像机22的视场以及在摄像机22的视场之内的道路危险物42可以被分配高置信水平评级，诸如4或5。在一方面中，由具有高保真度的远程V2V装备车辆26所检测并且在远程V2V装备车辆26的GPS、LIDAR、RADAR、和/或摄像机22的已知公差、范围和视场之内的道路危险物42将被分配高置信水平。此外，在块120处，控制器18将融合的物体列表和融合的动态地图相组合以创建表征车道L1至Ln的融合的车道信息，包含融合的车道计数、融合的车道宽度46''、和融合的车道曲率48''等。
在块122 处，控制器18针对在块120处生成的融合的物体列表和融合的动态模型生成融合的置信水平。融合的置信水平是第一置信水平和第二置信水平的改良。为了生成融合的置信水平，控制器18运算（tally）通过第一或第二加权分析分配给多个物体38中的任一个的置信水平，并且根据融合的物体列表中的物体的所分配的置信水平对多个物体38应用附加的仔细检查（scrutiny）。
方法然后进行到块124，在块124中控制器18将融合的置信水平与第一置信水平和第二置信水平相比较。如果融合的置信水平低于第一置信水平或第二置信水平中的任一个，或者如果融合的置信水平低于组合的第一和第二置信水平，则方法返回到块102，并且控制器18再一次收集来自摄像机22和V2V子***16的数据。然而，如果融合的置信水平大于组合的第二置信水平和第一置信水平，则方法进行到块126。
在块126处，如果多个物体38中的任一个由视觉子***14或V2V子***16中的仅一个所检测，则单检测的物体接收来自做出该检测的无论哪个***的仅单个权重。例如，在图2中，非通信车辆40由于仅由V2V子***16所检测而被描绘为仅具有第二大小和第二位置50。在该示例中，因为非通信车辆40仅被单检测，所以它仅接收单个置信水平评价，并且因此仅接收单个权重和仔细检查。通过将融合的置信水平与第一和第二置信水平相比较，可以忽略错误的视觉或V2V数据。针对附加的示例，可以由V2V子***16接收错误的或被黑客攻击的（hacked）V2V消息，所述消息声明道路危险物42存在于靠近主车辆的位置中以及存在于与主车辆相同的车道中，其中实际上不存在道路危险物42。在该示例中，从摄像机22所检索的视觉数据将不示出道路危险物42。虽然V2V标识的道路危险物42被分配高置信水平，但是因为道路危险物42将是单检测的物体，所以当与来自摄像机22的视觉数据融合时，关于错误报告的道路危险物42的融合的置信水平将显著降低，并且降低的融合的置信水平将更准确。
然而，当多个物体38中的任一个被单检测时，单检测的物体由做出该检测的视觉子***14和V2V子***16中的无论哪个连续监视以确定单检测的物体中的每一个存在于哪个车道中。此外，单检测的物体可以由视觉子***14和V2V子***16两者所检测，如果单检测的物体进入到每一个相应的子***的范围和视场中的话。
在块128处，控制器18确定多个物体38中的哪一个处于感兴趣的车道中。在一个方面中，感兴趣的车道是其中主车辆12正在行进的车道L1，以及与其中主车辆正在行进的车道紧邻的车道L2、L3。由控制器18在块130处向处于感兴趣的车道中的多个物体38中的任一个动态分配高优先级状态。由于路段22上的多个物体38中的物体处于相对于主车辆12的运动中，所以控制器18通过连续地重复块102与130之间的方法来连续地更新融合的物体列表、融合的动态地图、以及融合的车道信息。一旦控制器18在块128处向物体分配高优先级值并且在块130处针对车辆控制***ECU 20 ADAS功能处理它，则生成到车辆控制***（诸如主车辆12制动***或转向***）的输出。在若干方面中，可以向处于与主车辆12邻近的车道或相同车道中的物体给出高优先级状态。在一个方面中，当高优先级状态被分配给在与主车辆12相同车道中的物体时，控制器18使用车辆控制***ECU 20来执行ADAS功能（诸如碰撞避免），并且车辆控制***ECU 20使用主车辆12制动***。在一方面中，当物体处于邻近车道中时物体可以被分配高优先级并且车辆控制***ECU 20 ADAS功能是车道改变辅助。当车辆控制***ECU 20 ADAS功能是车道改变辅助时，车辆控制***ECU 20使用主车辆12转向***。因此，根据融合的物体列表和融合的车道信息的物体的区分优先次序列表被发送到车辆控制***ECU 20以用于在各种ADAS应用中处理。
在块132中，车辆控制***ECU 20根据来自控制器18的物体的区分优先次序列表所规定的要求执行ADAS功能。虽然因为如以上所描述的那样车辆控制***ECU 20作用于已由两个独立***验证的区分优先次序的物体和车道信息，所以车辆控制***ECU 20以改进的性能执行ADAS功能，但是车辆控制***ECU 20继续能够根据来自视觉子***14和V2V子***16中的仅一个的输入执行ADAS功能。
本发明的描述在本质上仅仅是示例性的，并且不脱离本发明的要旨的变化旨在处于本发明的范围之内。这样的变化不被看作与本发明的精神和范围的背离。

Claims (16)

1.一种用于融合由主车辆和至少一个远程车辆对车辆V2V通信装备车辆所检测的传感器信息的方法，所述方法包括：
收集来自视觉子***的光学传感器的视觉数据，并且生成基础车道模型和基础置信水平；
收集来自V2V子***的接收器的V2V数据；
从视觉数据生成基础车道模型和基础置信水平；
把V2V数据、基础车道模型、和基础置信水平融合在一起；
从融合在一起的V2V数据、基础车道模型和基础置信水平生成最终车道模型和最终置信水平；以及
向最终车道模型分配优先级，
其中向最终车道模型分配优先级进一步包括确定物体在最终车道模型中相对于主车辆的位置并且当所述物体处于也由主车辆占据的车道中时向所述物体分配高优先级，
所述方法进一步包括向至少一个高级驾驶员辅助***ADAS发送命令，并且其中至少一个ADAS执行避开高优先级已被分配到的物体的功能。
2.根据权利要求1所述的方法，其中最终置信水平指示最终车道模型比基础车道模型更准确。
3.根据权利要求2所述的方法，其中基础车道模型和最终车道模型包括针对主车辆和针对主车辆周围的预限定区域之内的任何物体的车道定位、车道标记、车道曲率、速度和轨道数据。
4.根据权利要求3所述的方法，其中V2V数据包括针对与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V装备车辆、以及针对由与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V车辆所感测的任何物体的车道定位、速度、和轨道数据。
5.根据权利要求1所述的方法，其中把V2V数据、基础车道模型、和基础置信水平融合在一起进一步包括将视觉数据与V2V数据相比较并且确定视觉数据和V2V数据的相对准确性和精度。
6.一种使用车辆对车辆V2V通信和光学传感器来向高级驾驶员辅助***ADAS清点并传送相对于多个物体的主车辆位置的方法，所述方法包括：
从光学传感器捕获具有第一多个物体和车道标记的路段的图像；
分析所述图像并且确定；
第一多个物体中的每一个的第一状态；
第一多个物体中的每一个的第一位置；
车道标记相对于第一多个物体中的每一个以及相对于主车辆的位置；
向第一状态、第一位置、以及第一多个物体的每一个分配第一置信水平；
处理所述图像以确定所述路段、车道标记、和第一多个物体的第一本地动态地图；
由在主车辆周围的预定区域之内的V2V装备车辆接收信号，其中所述信号包含：
第二多个物体中的每一个的第二状态；
第二多个物体中的每一个的第二位置；
向第二状态、第二位置、和第二多个物体分配第二置信水平；
由V2V装备车辆处理所述信号以确定所述路段和第二多个物体的第二本地动态地图；
将第一本地动态地图和第二本地动态地图相组合并且生成第三本地动态地图，其中所述第三本地动态地图包含
第三多个物体中的每一个的第三状态；
第三多个物体中的每一个的第三位置；
向第三多个物体的第三状态和第三位置分配第三置信水平和优先级；以及
向ADAS传送相对于主车辆的位置的第三多个物体的第三状态和第三位置的优先级，其中ADAS自动避开第三多个物体。
7.根据权利要求6所述的方法，其中生成第三本地动态地图进一步包括将所述信号与所述图像相融合，其中第三本地动态地图包含车道标记相对于第三多个物体的位置。
8.根据权利要求7所述的方法，其中分配第三置信水平进一步包括第三置信水平大于第一置信水平和第二置信水平。
9.根据权利要求8所述的方法，其中向第三多个物体分配优先级进一步包括向处于由主车辆共享的车道中并且处于主车辆的路径中的物体分配高优先级，其中所述车道由车道标记所限定。
10.根据权利要求9所述的方法，其中向ADAS传送进一步包括当物体处于主车辆的路径中时应用主车辆制动***以避开处于由主车辆共享的车道中的物体。
11.根据权利要求9所述的方法，其中向ADAS传送进一步包括应用主车辆转向***并且指引主车辆保持在车道之内。
12.一种用于融合由主车辆和至少一个远程车辆对车辆V2V通信装备车辆所检测的传感器信息的***，所述***包括：
具有光学传感器的视觉子***；
具有接收器的V2V子***；
与视觉子***和V2V子***通信的控制器，所述控制器具有用于储存控制逻辑的存储器和被配置为执行控制逻辑的处理器，所述控制逻辑包含用于收集来自视觉子***的视觉数据并且从所述视觉数据生成基础车道模型和基础置信水平的第一控制逻辑；
所述处理器包含用于收集来自V2V子***的V2V数据并且用于把V2V数据和基础车道模型以及基础置信水平融合在一起的第二控制逻辑；
所述处理器包含用于从融合后的V2V数据、基础车道模型和基础置信水平生成最终车道模型和最终置信水平的第三控制逻辑；以及
所述处理器包含用于向最终车道模型分配优先级的第四逻辑，
其中第四逻辑进一步包括确定物体在最终车道模型中相对于主车辆的位置并且当所述物体处于也由主车辆占据的车道中时向所述物体分配高优先级，
其中关于已被分配高优先级的物体的信息被传递到至少一个ADAS，并且至少一个ADAS执行避开所述物体的功能。
13.根据权利要求12所述的***，其中最终置信水平指示最终车道模型比基础车道模型更准确。
14.根据权利要求13所述的***，其中基础和最终车道模型包括针对主车辆和针对在主车辆周围的预限定区域之内的任何物体的车道定位、车道标记、车道曲率、速度和轨道数据。
15.根据权利要求14所述的***，其中V2V数据包括针对与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V装备车辆、以及针对由与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V车辆所感测的任何物体的车道定位、速度、和轨道数据。
16.根据权利要求12所述的***，其中控制器融合在一起进一步包括将视觉数据与V2V数据相比较并且确定视觉数据和V2V数据的准确性和精度。
CN201610571531.5A 2015-07-20 2016-07-20 针对车辆的摄像机和v2v数据的传感器融合 Expired - Fee Related CN106485949B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562194349P 2015-07-20 2015-07-20
US62/194349 2015-07-20
US15/197,918 US9922565B2 (en) 2015-07-20 2016-06-30 Sensor fusion of camera and V2V data for vehicles
US15/197918 2016-06-30

Publications (2)

Publication Number Publication Date
CN106485949A CN106485949A (zh) 2017-03-08
CN106485949B true CN106485949B (zh) 2019-05-14

Family

ID=56855259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610571531.5A Expired - Fee Related CN106485949B (zh) 2015-07-20 2016-07-20 针对车辆的摄像机和v2v数据的传感器融合

Country Status (3)

Country Link
US (1) US9922565B2 (zh)
EP (1) EP3121762A1 (zh)
CN (1) CN106485949B (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170024621A1 (en) * 2015-07-20 2017-01-26 Dura Operating, Llc Communication system for gathering and verifying information
DE102015225472A1 (de) * 2015-12-16 2017-06-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen einer Karte
JP6558239B2 (ja) * 2015-12-22 2019-08-14 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
US9969389B2 (en) * 2016-05-03 2018-05-15 Ford Global Technologies, Llc Enhanced vehicle operation
US10163351B2 (en) * 2016-08-26 2018-12-25 Ford Global Technologies, Llc Enhanced lane detection
KR101896783B1 (ko) * 2016-10-17 2018-10-18 현대자동차주식회사 V2x 데이터 신뢰도 검증을 위한 v2x 통신 장치, 그를 포함한 v2x 통신 시스템 및 그 방법
US10528850B2 (en) 2016-11-02 2020-01-07 Ford Global Technologies, Llc Object classification adjustment based on vehicle communication
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
US10816972B2 (en) * 2017-03-15 2020-10-27 Toyota Research Institute, Inc. Collective determination among autonomous vehicles
DE102017204342A1 (de) * 2017-03-15 2018-09-20 Continental Teves Ag & Co. Ohg Verfahren zum Erstellen einer fusionierten Freiraumkarte, elektronische Steuerungsvorrichtung und Speichermedium
CN106969779B (zh) * 2017-03-17 2020-05-12 重庆邮电大学 基于dsrc的智能车辆地图融合***及方法
CN107063275B (zh) * 2017-03-24 2020-05-12 重庆邮电大学 基于路侧设备的智能车辆地图融合***及方法
US10336254B2 (en) * 2017-04-21 2019-07-02 Ford Global Technologies, Llc Camera assisted vehicle lamp diagnosis via vehicle-to-vehicle communication
US20180339730A1 (en) * 2017-05-26 2018-11-29 Dura Operating, Llc Method and system for generating a wide-area perception scene graph
US11635304B2 (en) * 2017-05-31 2023-04-25 Pioneer Corporation Map generation device, control method, program and storage medium
US10334331B2 (en) * 2017-08-25 2019-06-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
US10757485B2 (en) * 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
KR101989102B1 (ko) * 2017-09-13 2019-06-13 엘지전자 주식회사 차량용 운전 보조 장치 및 그 제어 방법
US10885781B2 (en) * 2017-09-25 2021-01-05 Blackberry Limited Method and system for a proxy vehicular intelligent transportation system station
US11757994B2 (en) * 2017-09-25 2023-09-12 Intel Corporation Collective perception messaging for source-sink communication
EP3462754B1 (en) * 2017-09-28 2021-12-15 Lg Electronics Inc. Apparatus and method for v2x communication
US10535257B2 (en) 2017-10-20 2020-01-14 International Business Machines Corporation Transfer of image data taken by an on-vehicle camera
US10324189B2 (en) * 2017-10-24 2019-06-18 Harman International Industries, Incorporated Collaborative data processing
US10971017B2 (en) 2017-10-31 2021-04-06 Cummins Inc. Sensor fusion and information sharing using inter-vehicle communication
CN107979812B (zh) * 2017-11-23 2020-06-19 重庆车辆检测研究院有限公司 Adas与v2v结合的超视距感知与发布方法及***
CN109969179B (zh) * 2017-12-14 2021-04-20 比亚迪股份有限公司 车辆及其车道保持轨迹的记录方法、***
EP3514574A1 (en) * 2018-01-19 2019-07-24 Koninklijke Philips N.V. Time-of-flight imaging system for autonomous movable objects
US11127295B2 (en) * 2018-01-23 2021-09-21 Board Of Trustees Of Michigan State University Visual sensor fusion and data sharing across connected vehicles for active safety
KR20190098411A (ko) * 2018-02-14 2019-08-22 현대자동차주식회사 차량 및 차량의 제어방법
CN108284838A (zh) * 2018-03-27 2018-07-17 杭州欧镭激光技术有限公司 一种用于检测车辆外部环境信息的检测***及检测方法
EP3547213A1 (en) * 2018-03-27 2019-10-02 Panasonic Intellectual Property Management Co., Ltd. Information processing system and information processing method
US10867510B2 (en) * 2018-04-05 2020-12-15 Toyota Jidosha Kabushiki Kaisha Real-time traffic monitoring with connected cars
US10632913B2 (en) * 2018-04-13 2020-04-28 GM Global Technology Operations LLC Vehicle behavior using information from other vehicles lights
CN110395256A (zh) * 2018-04-24 2019-11-01 比亚迪股份有限公司 一种车辆控制方法、***及车辆
US20190369614A1 (en) * 2018-05-31 2019-12-05 GM Global Technology Operations LLC System and method for controlling an autonomous vehicle
CN110654395A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车载控制***、车辆及方法
JP2020035346A (ja) * 2018-08-31 2020-03-05 いすゞ自動車株式会社 制御装置および車両
US11604476B1 (en) * 2018-10-05 2023-03-14 Glydways Inc. Road-based vehicle guidance system
DE102018129270A1 (de) * 2018-11-21 2020-05-28 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Steuersystem zum automatisierten Bewegen eines Kraftfahrzeugs, Verfahren und Computerprogramm
DE102018220018A1 (de) * 2018-11-22 2020-05-28 Robert Bosch Gmbh Verfahren zur Objekterkennung mittels Sensorsystem von Fahrzeugen
US20200202706A1 (en) * 2018-12-20 2020-06-25 Qualcomm Incorporated Message Broadcasting for Vehicles
JP7243227B2 (ja) * 2019-01-29 2023-03-22 トヨタ自動車株式会社 車両制御装置
US10373323B1 (en) * 2019-01-29 2019-08-06 StradVision, Inc. Method and device for merging object detection information detected by each of object detectors corresponding to each camera nearby for the purpose of collaborative driving by using V2X-enabled applications, sensor fusion via multiple vehicles
US11119491B2 (en) * 2019-02-07 2021-09-14 Ford Global Technologies, Llc Vehicle steering control
US10741070B1 (en) * 2019-03-04 2020-08-11 GM Global Technology Operations LLC Method to prioritize transmission of sensed objects for cooperative sensor sharing
US11507084B2 (en) * 2019-03-27 2022-11-22 Intel Corporation Collaborative 3-D environment map for computer-assisted or autonomous driving vehicles
US20200326203A1 (en) * 2019-04-15 2020-10-15 Qualcomm Incorporated Real-world traffic model
US11312372B2 (en) 2019-04-16 2022-04-26 Ford Global Technologies, Llc Vehicle path prediction
US11474518B2 (en) 2019-05-13 2022-10-18 International Business Machines Corporation Event validation using multiple sources
US11640177B2 (en) * 2019-05-15 2023-05-02 Deere & Company Control and mapping based on multi-vehicle sensor fusion
DE102019215099B4 (de) * 2019-10-01 2022-09-29 Audi Ag Verfahren zum Bereitstellen einer aktuellen lokalen Umgebungszustandskarte für ein Kraftfahrzeug sowie Kraftfahrzeug zum Durchführen eines derartigen Verfahrens
US11386670B2 (en) * 2019-10-03 2022-07-12 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for tracking non-connected vehicles
WO2021078353A1 (en) * 2019-10-21 2021-04-29 Volvo Truck Corporation A method for determining reliability of received data
CN114631337A (zh) * 2019-11-05 2022-06-14 高通股份有限公司 传感器性能指示
WO2021091039A1 (ko) * 2019-11-06 2021-05-14 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
CN110979339B (zh) * 2019-11-26 2021-03-30 南京市德赛西威汽车电子有限公司 一种基于v2v的前方道路形态重建方法
US11669071B2 (en) 2020-01-08 2023-06-06 International Business Machines Corporation Organizing a temporary device group for collaborative computing
DE102020202964A1 (de) * 2020-03-09 2021-09-09 Continental Automotive Gmbh Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen.
CN111540191B (zh) * 2020-04-27 2021-07-02 英华达（上海）科技有限公司 基于车联网的行车示警方法、***、设备及存储介质
FR3114174A1 (fr) 2020-09-14 2022-03-18 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procédé et système de détection coopérative de corps matériels dans un environnement
US11877217B2 (en) * 2021-02-01 2024-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Message processing for wireless messages based on value of information
US20230095194A1 (en) * 2021-09-30 2023-03-30 AyDeeKay LLC dba Indie Semiconductor Dynamic and Selective Pairing Between Proximate Vehicles
US20230260404A1 (en) * 2022-02-15 2023-08-17 International Business Machines Corporation Multi-vehicle collaboration with group visualization
DE102022207005B3 (de) * 2022-07-08 2023-10-05 Volkswagen Aktiengesellschaft Ein Verfahren zum Betrieb eines Kraftfahrzeugs und ein Kraftfahrzeug
CN117649583B (zh) * 2024-01-30 2024-05-14 科大国创合肥智能汽车科技有限公司 一种自动驾驶车辆行驶实时道路模型融合方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
GB0325990D0 (en) 2003-11-07 2003-12-10 Trw Ltd Method and apparatus for discriminating the colour of road markings
US7729857B2 (en) 2005-08-18 2010-06-01 Gm Global Technology Operations, Inc. System for and method of detecting a collision and predicting a vehicle path
CN101042802A (zh) * 2006-03-23 2007-09-26 安捷伦科技有限公司 交通信息传感器、交通信息检测方法和***
CN101264755B (zh) * 2008-03-06 2010-07-28 上海交通大学 车辆行驶安全智能监控装置
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8699754B2 (en) * 2008-04-24 2014-04-15 GM Global Technology Operations LLC Clear path detection through road modeling
US8050855B2 (en) * 2008-08-07 2011-11-01 General Motors Llc Method and system for transmitting data to a traffic information server
US8229663B2 (en) 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
US20110190972A1 (en) * 2010-02-02 2011-08-04 Gm Global Technology Operations, Inc. Grid unlock
US8452535B2 (en) * 2010-12-13 2013-05-28 GM Global Technology Operations LLC Systems and methods for precise sub-lane vehicle positioning
US20120314070A1 (en) 2011-06-09 2012-12-13 GM Global Technology Operations LLC Lane sensing enhancement through object vehicle information for lane centering/keeping
CN102303605A (zh) * 2011-06-30 2012-01-04 中国汽车技术研究中心 基于多传感器信息融合的碰撞及偏离预警装置及预警方法
CN102521979B (zh) * 2011-12-06 2013-10-23 北京万集科技股份有限公司 基于高清摄像机进行路面事件检测的方法及***
US8457827B1 (en) * 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US20130278441A1 (en) 2012-04-24 2013-10-24 Zetta Research and Development, LLC - ForC Series Vehicle proxying
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US20140257686A1 (en) 2013-03-05 2014-09-11 GM Global Technology Operations LLC Vehicle lane determination
US8996197B2 (en) * 2013-06-20 2015-03-31 Ford Global Technologies, Llc Lane monitoring with electronic horizon
US9280899B2 (en) * 2013-08-06 2016-03-08 GM Global Technology Operations LLC Dynamic safety shields for situation assessment and decision making in collision avoidance tasks
KR101582572B1 (ko) 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
US9784592B2 (en) * 2015-07-17 2017-10-10 Honda Motor Co., Ltd. Turn predictions
KR101694347B1 (ko) * 2015-08-31 2017-01-09 현대자동차주식회사 차량 및 차선인지방법

Also Published As

Publication number Publication date
US20170025017A1 (en) 2017-01-26
US9922565B2 (en) 2018-03-20
CN106485949A (zh) 2017-03-08
EP3121762A1 (en) 2017-01-25

Similar Documents

Publication Publication Date Title
CN106485949B (zh) 针对车辆的摄像机和v2v数据的传感器融合
CN107121979B (zh) 自主置信控制
CN109863500B (zh) 事件驱动的感兴趣区域管理
CN105984464B (zh) 车辆控制装置
CN106240565B (zh) 碰撞减轻和躲避
CN107117179B (zh) 基于乘员注意的自主控制
US10466714B2 (en) Depth map estimation with stereo images
US10121367B2 (en) Vehicle lane map estimation
CN104812645B (zh) 用于控制车辆的设备和方法
US9483059B2 (en) Method to gain driver's attention for autonomous vehicle
JP6714513B2 (ja) 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置
US9159227B2 (en) Traffic congestion detection apparatus and vehicle control apparatus
CN102481931B (zh) 车辆控制装置
US8160811B2 (en) Method and system to estimate driving risk based on a hierarchical index of driving
US20180067463A1 (en) Sensor event detection and fusion
US20110320163A1 (en) Method and system for determining road data
US20050278112A1 (en) Process for predicting the course of a lane of a vehicle
GB2549184A (en) Autonomous vehicle control transitioning
CN105988467A (zh) 自动驾驶装置
JP2010086269A (ja) 車両同定装置及びそれを用いた運転支援装置
US10059343B2 (en) Apparatus and method for use in a vehicle
CN111660954A (zh) 增强的车辆操作
US11292481B2 (en) Method and apparatus for multi vehicle sensor suite diagnosis
CN106373417A (zh) 生成并从主车辆向车对车网络传送车道信息的***和方法
KR20200066176A (ko) 서버 장치 및 차량

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190514

Termination date: 20190720