CN117087661A - 用于预测碰撞的车辆及车辆的操作方法 - Google Patents

用于预测碰撞的车辆及车辆的操作方法 Download PDF

Info

Publication number
CN117087661A
CN117087661A CN202310431348.5A CN202310431348A CN117087661A CN 117087661 A CN117087661 A CN 117087661A CN 202310431348 A CN202310431348 A CN 202310431348A CN 117087661 A CN117087661 A CN 117087661A
Authority
CN
China
Prior art keywords
vehicle
collision
nearby vehicle
nearby
risk
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310431348.5A
Other languages
English (en)
Inventor
申章浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN117087661A publication Critical patent/CN117087661A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/806—Relative heading
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00—Output or target parameters relating to objects
    • B60W2754/10—Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的各种实施例涉及一种用于预测碰撞的车辆和车辆的控制方法。一种车辆包括：多个传感器，被配置为获得附近车辆的状态信息；以及处理器，其可操作地连接到多个传感器。处理器被配置为：基于附近车辆的状态信息，确定车辆和附近车辆之间的碰撞危险程度，基于状态信息和碰撞危险程度中的至少一项，生成俯视图像，以及通过人工神经网络模型利用俯视图像作为输入确定碰撞模式，该碰撞模式指示车辆是否与附近车辆碰撞以及预测碰撞部位中的至少一项。

Description

用于预测碰撞的车辆及车辆的操作方法
技术领域
本公开涉及一种用于预测碰撞的车辆及车辆的操作方法。
背景技术
最近，高级驾驶辅助***(ADAS)正在被开发，以辅助驾驶员的驾驶。ADAS有多个技术子分类，并为驾驶员提供便利。这种ADAS也被称为自主驾驶或自动驾驶***(ADS)。
另一方面，车辆在进行自主驾驶时，为了安全起见，会预测与附近车辆和/或行人的碰撞。例如，过去，在车辆执行自主驾驶时，基于从传感器获得的传感信息预测是否会发生与附近车辆和/或行人的碰撞。然而，当车辆仅预测是否会发生碰撞时，在即将发生碰撞的情况下可能难以更灵活地处理各种碰撞情况。
发明内容
技术问题
因此，本公开的各种实施例提出一种用于在自主驾驶期间预测与附近车辆和/或行人的碰撞的装置及其操作方法。
本公开的各种实施例提出一种装置及其操作方法，其用于确定自主驾驶车辆是否与附近车辆和/或行人碰撞并用于确定碰撞模式，该碰撞模式指示预测碰撞部位。
技术方案
一个实施例提供一种用于预测碰撞的车辆。该车辆包括：多个传感器，被配置为获得附近车辆的状态信息；以及处理器，其可操作地连接到多个传感器。处理器被配置为：基于附近车辆的状态信息，确定车辆和附近车辆之间的碰撞危险程度，基于状态信息和碰撞危险程度中的至少一项，生成俯视图像，以及通过人工神经网络模型利用俯视图像作为输入确定碰撞模式，碰撞模式指示车辆是否与附近车辆碰撞以及预测碰撞部位中的至少一项。
俯视图像表示附近车辆的移动路径、附近车辆的位置、附近车辆的角度、车辆的位置、车辆的角度以及车辆和附近车辆之间的碰撞危险程度中的至少一项。
车辆和附近车辆之间的碰撞危险程度包括纵向碰撞危险指数和横向碰撞危险指数中的至少一项。
处理器被配置为：基于车辆和附近车辆之间的碰撞时间以及警告指数，确定纵向碰撞危险指数，以及基于纵向碰撞危险指数和车道变更时间，确定横向碰撞危险指数。基于车辆和附近车辆之间的纵向距离以及附近车辆的相对纵向速度，确定碰撞时间。基于车辆和附近车辆之间的距离、当车辆以最大减速度执行等加速度运动时直到车辆停止的移动距离以及驾驶员的反应时间，确定警告指数。基于附近车辆的相对速度和相对横向位置，确定车道变更时间。
处理器被配置为：检查多个传感器是否检测到相同的附件车辆，以及当多个传感器检测到相同的附近车辆时，结合从多个传感器获得的状态信息，并将结合的信息作为一个附近车辆的状态信息管理。
处理器被配置为：控制附近车辆在俯视图像内以灰度表示，灰度对应于碰撞危险程度。
处理器被配置为：检查附近车辆是否位于感兴趣区域内，以及当附近车辆位于感兴趣区域内时，生成俯视图像并确定碰撞模式。
人工神经网络模型是预先训练的卷积神经网络(CNN)模型，CNN模型接收俯视图像并确定附近车辆的碰撞模式。
状态信息包括附近车辆的位置、角度、大小、形状、距离和相对速度中的至少一项。
另一实施例提供一种用于预测碰撞的车辆的操作方法。该操作方法包括：通过利用多个传感器，获得附近车辆的状态信息；基于附近车辆的状态信息，确定车辆和附近车辆之间的碰撞危险程度；基于状态信息和碰撞危险程度中的至少一项，生成俯视图像；以及通过人工神经网络模型利用俯视图像作为输入确定碰撞模式。碰撞模式指示车辆是否与附近车辆碰撞以及预测碰撞部位中的至少一项。
俯视图像表示附近车辆的移动路径、附近车辆的位置、附近车辆的角度、车辆的位置、车辆的角度以及车辆和附近车辆之间的碰撞危险程度中的至少一项。
车辆和附近车辆之间的碰撞危险程度包括纵向碰撞危险指数和横向碰撞危险指数中的至少一项。
确定碰撞危险程度包括：基于车辆和附近车辆之间的碰撞时间以及警告指数，确定纵向碰撞危险指数；以及基于纵向碰撞危险指数和车道变更时间，确定横向碰撞危险指数。基于车辆和附近车辆之间的纵向距离以及附近车辆的相对纵向速度，确定碰撞时间。基于车辆和附近车辆之间的距离、当车辆以最大减速度执行等加速度运动时直到车辆停止的移动距离以及驾驶员的反应时间，确定警告指数。基于附近车辆的相对速度和相对横向位置，确定车道变更时间。
通过利用多个传感器获得附近车辆的状态信息包括：检查多个传感器是否检测到相同的附件车辆，以及当多个传感器检测到相同的附近车辆时，结合从多个传感器获得的状态信息，并将结合的信息作为一个附近车辆的状态信息管理。
生成俯视图像包括控制附近车辆在俯视图像内以灰度表示，灰度对应于碰撞危险程度。
操作方法进一步包括：检查附近车辆是否位于感兴趣区域内，以及当附近车辆位于感兴趣区域内时，生成俯视图像并确定碰撞模式。
通过人工神经网络模型确定碰撞模式包括通过预先训练好的卷积神经网络(CNN)模型确定碰撞模式，CNN模型接收俯视图像并确定附近车辆的碰撞模式。
附近车辆的状态信息包括附近车辆的位置、角度、大小、形状、距离和相对速度中的至少一项。
有益效果
根据本公开的各种实施例，车辆可以通过利用附近车辆的状态信息，基于占用网格图生成俯视图像，并且可以基于生成的俯视图像通过训练的人工神经网络模型预测车辆是否发生碰撞以及指示预测碰撞部位的碰撞模式。通过这一点，可以确定在预计会发生车辆碰撞的情况下，何时将车辆的控制权从自主驾驶***切换到综合安全***。而且，在碰撞实际发生之前，建立更复杂的避免碰撞策略，并可以通过与避免碰撞***的协作控制使碰撞危险程度最小化。另外，通过预测的碰撞部分，可以提前主动控制被动安全***，例如作为乘客约束装置的安全带预紧器或安全气囊的部署时间，从而使乘客的伤害最小化。
附图说明
图1是根据本公开的各种实施例的车辆的框图；
图2是示出根据本公开的各种实施例的由异种传感器检测的轨迹的视图；
图3是示出根据本公开的各种实施例的车辆中用于计算碰撞危险程度的组件的视图；
图4是示出根据本公开的各种实施例的基于附近车辆的状态信息生成的俯视图像的视图；
图5是示出根据本公开的各种实施例的俯视图像以及利用该俯视图像的碰撞模式确定模型的性能的视图；
图6是示出根据本公开的各种实施例的利用网格图像确定碰撞模式的结果的视图；
图7是示出根据本公开的各种实施例通过利用反映危险程度信息的俯视图像来确定碰撞模式的结果的视图；
图8是示出根据本公开的各种实施例的车辆的每个预测碰撞部位的碰撞模式的视图；
图9是示出根据本公开的各种实施例的车辆与附近车辆之间的预测碰撞部位的碰撞模式的视图；
图10是示出根据本公开的各种实施例的车辆预测碰撞模式的流程图；
图11是示出根据本公开的各种实施例的车辆预测碰撞模式的详细操作的流程图；
图12是示出根据本公开的各种实施例的反映了附近车辆的危险程度信息的俯视图像的视图；以及
图13是示出根据本公开的各种实施例的车辆通过人工神经网络模型确定碰撞模式的视图。
附图标记
100：车辆 110：传感器单元
120：处理器 130：警告单元
140：存储单元 150：显示器
160：控制器 170：通信装置
具体实施方式
下面，将参照附图详细描述本说明书中公开的实施例。相同或相似的元件将用相同的附图标记表示，而不考虑图号，并且将省略对其的重复描述。
在以下描述中使用的组件的后缀“模块”或“部”，只是考虑到方便说明而给出或混用，而本身不具有任何区别意义或功能。另外，“模块”或“部”可以指软件组件或硬件组件，如现场可编程门阵列(FPGA)、专用集成电路(ASIC)。该“部”或“模块”执行某些功能。然而，“部”或“模块”并不意味着只限于软件或硬件。该“部”或“模块”可以被配置为置于可寻址的存储介质中，或恢复一个或多个处理器。因此，对于一个示例，“部”或“模块”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件，并且可以包括进程、功能、属性、程序、子程序、程序代码的片段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。在“部”或“模块”中提供的组件和功能可以与较少数量的组件和“部”或“模块”相结合，或者可以进一步划分为附加的组件和“部”或“模块”。
相对于本发明的一些实施例所描述的方法或算法步骤可以直接由处理器执行的硬件和软件模块来实现，或者可以直接由它们的组合来实现。软件模块可以驻留在RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、可移动磁盘、CD-ROM或本领域技术人员已知的任何其它类型的记录介质上。示例性的记录介质联接到处理器，处理器可以从记录介质中读取信息，并可以将信息记录在存储介质中。以另一种方式，记录介质可以与处理器一体形成。处理器和记录介质可以驻留在专用集成电路(ASIC)内。该ASIC可以驻留在用户的终端内。
而且，在本说明书公开的实施例的以下描述中，省略了对并入本文的已知技术的详细描述，以避免使本说明书中公开的实施例的主题不明确。而且，提供附图只是为了更容易地描述本说明书中公开的实施例。本说明书中公开的技术宗旨不受附图的限制。所有包含在本发明的宗旨和范围内的修改、等同形式和替代形式都被理解为包含在附图中。
虽然包括序数的术语，如第一和第二等，可以用来描述各种组件，但这些组件不受上述术语的限制。这些术语仅用于区分一个组件和其它组件。
在组件被称为“连接”或“接续”另一组件的情况下，应理解为不仅该组件与另一组件直接连接或接续，而且它们之间可能存在其它组件。另一方面，在组件被称为与另一组件“直接连接”或“直接接续”的情况下，应该理解为它们之间不存在任何组件。
在对本公开进行详细描述之前，本公开中使用的术语可以定义如下。
车辆配备有自动驾驶***(ADS)，因此可以自主驾驶。例如，车辆可以通过ADS执行转向、加速、减速、变道和停车中的至少一种，而不需要驾驶员操纵。例如，ADS可以包括行人检测和碰撞缓解***(PDCMS)、变道决策辅助***(LCAS)、车道偏离警告***(LDWS)、自适应巡航控制(ACC)、车道保持辅助***(LKAS)、道路边界偏离预防***(RBDPS)、曲线速度警告***(CSWS)、前方车辆碰撞警告***(FVCWS)和低速跟踪(LSF)中的至少一种。
驾驶员是指使用车辆并被提供自动驾驶***服务的人。
图1是根据本公开的各种实施例的车辆的框图。
图1中所示的车辆示出为实施例。电子装置的每个组件可以配置一个芯片、一个部件或一个电子电路，或者通过组合芯片、部件和/或电子电路进行配置。根据实施例，图1所示的一些组件可以分为多个组件，并且可以配置有不同的芯片、部件或电子电路。而且，一些组件被组合起来，并配置有一个芯片、一个部件或一个电子电路。根据实施例，图1中所示的一些组件可以省略，或者可以添加未示出的组件。将参照图2至图9描述图1中的至少一些组件。图2是示出根据本公开的各种实施例的由异种传感器检测的轨迹的视图。图3是示出根据本公开的各种实施例的车辆中用于计算碰撞危险程度的组件的视图。图4是示出根据本公开的各种实施例的基于附近车辆的状态信息生成的俯视图像的视图。图5是示出根据本公开的各种实施例的俯视图像以及利用该俯视图像的碰撞模式确定模型的性能的视图。图6是示出根据本公开的各种实施例的利用网格图像确定碰撞模式的结果的视图。图7是示出根据本公开的各种实施例通过利用反映危险程度信息的俯视图像来确定碰撞模式的结果的视图。图8是示出根据本公开的各种实施例的车辆的每个预测碰撞部位的碰撞模式的视图。图9是示出根据本公开的各种实施例的车辆与附近车辆之间的预测碰撞部位的碰撞模式的视图。
参照图1，车辆100可以包括传感器单元110、处理器120、警告单元130、存储单元140、显示器150、控制器160和通信装置170。
根据各种实施例，传感器单元110可以通过利用至少一个传感器来检测车辆100的周围环境，并且可以基于检测结果来生成与周围环境相关的数据。例如，传感器单元110可以基于从至少一个传感器获得的感测数据，获得关于车辆周围的对象(例如，附近车辆、人、物体、路缘、护栏、车道、障碍物)的信息。关于车辆周围的对象的信息可以包括对象的位置、对象的角度、对象的大小、对象的形状、与对象的距离以及与对象的相对速度中的至少一项。对于另一示例，传感器单元110可以通过利用至少一个传感器测量车辆100的位置。传感器单元100可以包括例如摄像头、光探测和测距(LIDAR)、无线电探测和测距(RADAR)、超声波传感器、红外传感器和位置测量传感器中的至少一种。所列的传感器只是用于理解的示例，并且本公开的传感器并不限于此。
根据各种实施例，处理器120可以控制车辆100的整体操作。根据实施例，处理器120可以包括能够综合控制车辆100内的组件的电子控制单元(ECU)。例如，处理器120可以包括能够进行运算处理的中央处理单元(CPU)或微处理单元(MCU)。
根据各种实施例，处理器120可以基于通过传感器单元110获得的感测数据确定碰撞模式，碰撞模式指示车辆是否与附近车辆碰撞和预测碰撞部位。
根据各种实施例，处理器120可以包括信息管理单元121，从而从从传感器单元110获得的感测数据中获得附近车辆的状态信息。处理器120的信息管理单元121可以检查由包括在传感器单元110中的不同传感器感测到的数据是否是针对相同的附近车辆。当由不同的传感器感测到的数据是针对相同的附近车辆时，信息管理单元121可以融合由不同的传感器感测到的数据并可以生成附近车辆的状态信息。附近车辆的状态信息可以包括关于附近车辆的位置和角度的信息。
例如，当包括在传感器单元110中的不同传感器是LIDAR和摄像头时，如图2所示，信息管理单元121可以设置以LIDAR轨迹201的位置为中心的矩形门限(gating)210，并可以确定由摄像头检测的轨迹203是否包括在所设置的门限内，以检查LIDAR和摄像头是否检测到相同的附近车辆。门限210可以指以LIDAR检测到的轨迹201的位置为中心的矩形区域(或范围)。当由摄像头检测到的轨迹203被包括在门限210内时，信息管理单元121可以确定LIDAR和摄像头检测到相同的附近车辆，并且可以将由LIDAR检测到的轨迹201的信息和由摄像头检测到的轨迹203的信息结合并将结合的信息作为一个附近车辆的状态信息来管理和/或注册。当由摄像头检测的轨迹203不包括在门限210内时，信息管理单元121可以确定LIDAR和摄像头检测不同的附近车辆，并且可以将由LIDAR检测的轨迹201的信息和由摄像头检测的轨迹203的信息作为不同的附近车辆的状态信息来管理和/或注册。
根据各种实施例，处理器120可以包括危险确定单元123，因此，可以基于附近车辆的状态信息计算车辆(本车辆)100和附近车辆之间的碰撞危险程度。首先，处理器120的危险确定单元123可以计算碰撞时间(TTC)，如公式(1)所示。
在公式(1)中，“TTC”可以指碰撞时间，“x”可以指车辆100和附近车辆之间的纵向距离，并且“vrel”可以指附近车辆的相对纵向速度。
危险确定单元123可以确定警告指数，如公式(2)所示。
在公式(2)中，“xp”可以指警告指数，“plong”可以指车辆与附近车辆之间的距离。“dbr”可以指当车辆以最大减速度执行等加速度运动时，直到车辆停止的移动距离。“dw”可以指考虑到驾驶员的反应时间的停车距离。例如，如图3所示，“plong”310指车辆100的前端与附近车辆303的后端之间的距离，并且“dbr”312指当车辆以最大减速度执行等加速度运动时，从减速的起始位置到停止位置的距离。“dw”314可以指从驾驶员检测到需要操作到驾驶员操作制动器所需的时间，即考虑驾驶员的反应时间的停车距离。“dbr”312可以被称为制动临界距离(breaking critical distance)，“dw”314可以被称为警告临界距离。
公式(2)中的“dbr”可以通过以下公式(3)计算，“dw”可以通过以下公式(4)计算。
在公式(3)中，“vrel”可以指附近车辆的相对纵向速度，“tbrake”可以指制动***硬件的***延迟时间。“ax,max”可以指车辆的最大纵向减速度。
在公式(4)中，“vrel”可以指附近车辆的相对纵向速度，“tthinking”可以指直到驾驶员操作制动器的反应时间。“tbrake”可以指制动***硬件的***延迟时间，并且“ax,max”可以指车辆的最大纵向减速度。
根据实施例，当“plong”大于“dw”时，公式(2)的警告指数“xp”具有正值。警告指数“xp”具有正值可以表示当前情况是安全的。
危险确定单元123可以基于警告指数计算纵向碰撞危险指数，如公式(5)所示。
在公式(5)中，“Ilong”指纵向碰撞危险指数，并且“xmax”指警告指数的最大值。“xth”是警告指数的阈值，并且“TTC-1 th”可以指“TTC-1”的阈值。
危险确定单元123可以基于附近车辆的相对横向位置和相对速度来计算车道变更时间(TLC)。
在公式(6)中，“y”可以指附近车辆的相对横向位置，并且“vy”可以指相对横向速度。
在计算车道变更时间(TLC)之后，危险确定单元123可以计算横向碰撞危险指数“Ilat”，如公式(7)中所示。
在公式(7)中，“Ilong”可以指纵向碰撞危险指数，“TLCth”可以指车道变更时间的阈值。“TLC”可以指车道变更时间。
根据本实施例，横向碰撞危险指数具有0和1之间的值。横向碰撞危险指数越接近于1，碰撞危险越高。
在上述描述中，计算横向碰撞危险指数所需的“TTC-1 th”和“TLCth”可以基于通过模拟器生成的虚拟事故数据来设置。例如，“TTC-1 th”可以被设置为约0.5，并且“TLCth”可以被设置为约0.5。
根据各种实施例，处理器120可以包括图像生成器125，从而通过利用计算的危险程度(例如，横向碰撞危险指数)和附近车辆的状态信息来生成俯视图像。处理器120可以基于关于附近车辆的当前位置和角度的信息、关于附近车辆的过去位置和角度的信息以及危险程度来生成俯视图像。俯视图像可以是简化的鸟瞰图(SBEV)图像。
根据实施例，当附近车辆位于感兴趣区域(ROI)内时，处理器120的图像生成器125可以基于附近车辆的状态信息和危险程度信息生成俯视图像。为了生成俯视图像，图像生成器125可以使用在指定时间段期间获得的附近车辆的状态信息。指定时间段可以指从过去的时间点(t-tw)到当前的时间点(t)的时间段。例如，图像生成器125可以生成网格图，该网格图基于从过去时间点(t-tw)到当前时间点(t)的时间段期间获得的附近车辆的状态信息中所包括的位置信息被分为m×n个网格。生成的网格图的黑色网格可以指示障碍物，例如附近车辆，而白色网格可以表示不被障碍物占据的空间，即车辆可以移动的空间。例如，如图4左侧所示，当另一车辆303(附近车辆)出现在车辆100的ROI内时，图像生成器125可以通过利用所述另一车辆303在指定时间段(从(t-tw)到t)期间的位置和角度的信息，生成表示图4右侧所示的另一车辆303的移动路径411的俯视图像。移动路径411可以指示根据另一车辆303的移动路径的另一车辆303的中心点的位置变化。
根据实施例，图像生成器125可以生成指示附近车辆的当前位置和角度信息的俯视图像。例如，图像生成器125可以通过利用对应于当前时间点的附近车辆的位置和角度的信息，生成如图5所示的通过矩形表示附近车辆的网格图像501。
根据实施例，图像生成器125可以生成合成地表示附近车辆的移动路径和关于附近车辆的当前位置和角度的信息的俯视图像。例如，如图5所示，图像生成器125可以生成合成地表示附近车辆的移动路径和关于附近车辆的当前位置和角度的信息的俯视图像511。
根据该实施例，图像生成器125可以将计算出的关于附近车辆的碰撞危险程度归一化，并且可以在俯视图像中以灰度表示附近车辆。例如，碰撞危险程度被计算为相对较低的附近车辆可以表示为灰色，而碰撞危险程度被计算为相对较高的附近车辆可以表示为黑色。对于另一示例，碰撞危险程度低于指定的临界碰撞危险程度的附近车辆可以表示为灰色，而碰撞危险程度高于指定的临界碰撞危险程度的附近车辆可以表示为黑色。对于另一示例，当车辆在俯视图像内以白色表示，并且未被障碍物占据的空间以黑色表示时，具有高碰撞危险度的附近车辆可以表示为白色，并且具有低碰撞危险度的车辆可以表示为灰色。
根据本公开的各种实施例的图像生成单元125生成合成地表示附近车辆的移动路径和关于附近车辆的当前位置和角度的信息的俯视图像511，这是因为通过利用俯视图像511确定碰撞模式的精确度高于通过利用网格图像501确定碰撞模式的精确度。例如，如图5所示，通过利用提出的俯视图像511来确定碰撞模式的精确度约为91.6％。因此，可以看出，通过利用提出的俯视图像511确定碰撞模式的精确度高于通过利用网格图像501确定碰撞模式时的约78.3％的精确度。而且，通过利用提出的俯视图像511来确定碰撞模式时的假成立(false positive，FP)约为4.8％。因此，可以看出，通过利用提出的俯视图像511确定碰撞模式时的FP低于通过利用网格图像501确定碰撞模式时的18.8％的FP。FP可以是表示安全状况被错误地确定为危险状况的情况的指标。
例如，在使用网格图像的情况下，如图6所示，尽管图像602表示实际的安全状况，但安全状况可能被碰撞模式确定模型或决策模型错误地确定为危险状况。或者，尽管图像603表示实际的危险状况，但危险状况可能被碰撞模式确定模型错误地确定为安全状况。碰撞模式确定模型可以是预先训练好的人工神经网络模型。
另一方面，在利用本公开中提出的俯视图像的情况下，如图7所示，由图像701和702表示的实际危险状况可以被碰撞模式确定模型确定为危险状况，并且由图像703和704表示的实际安全状况可以被碰撞模式确定模型确定为安全状况。
根据各种实施例，处理器120包括碰撞模式确定器127，从而通过人工神经网络模型利用俯视图像作为输入确定碰撞模式。人工神经网络模型可以是预先训练的卷积神经网络(CNN)模型，该模型接收俯视图像并确定附近车辆的碰撞模式。例如，处理器120可以通过利用使用俯视图像作为输入的CNN模型来确定指示车辆是否与附近车辆碰撞的碰撞模式和预测碰撞部位。
根据实施例，碰撞模式确定器127可以将车辆分成多个区域，以预测碰撞部位。例如，如图8所示，车辆可以被分为横向方向的三个区域和纵向方向的五个区域，然后可以将数字分别分配给这些区域。例如，可以为每个区域分配一个两位数的数字。此处，第一个数字可以被分配分隔纵向区域的数字，而第二个数字可以被分配分隔横向区域的数字。
根据实施例，当预测到与附近车辆碰撞时，碰撞模式确定器127可以检查预测为与附近车辆碰撞的部位，并且可以基于分配给相应部分的数字确定碰撞模式。例如，如图9所示，当预测附近车辆将与车辆的左前部(或左前保险杠)碰撞时，碰撞模式确定器127可以确定碰撞模式为11。对于另一示例，当预测附近车辆将与车辆的右侧中心碰撞时，碰撞模式确定器127可以确定碰撞模式为33。
根据实施例，人工神经网络模型可以包括从输入的俯视图像中提取特征的卷积层(convolutional layer)和池化层(pooling layer)，并且可以包括基于提取的特征输出最终碰撞模式的全连接层(fully connected layer)。例如，碰撞模式确定器127可以通过利用卷积层和池化层从俯视图像中提取特征，并且可以通过利用使用提取的特征作为输入的全连接层确定并输出碰撞模式。根据实施例，只有一个俯视图像可以被用作人工神经网络模型的输入。然而，也可以使用包括不同信息的多个俯视图像。例如，碰撞模式确定器127可以包括仅表示附近车辆的移动路径的第一俯视图像、表示附近车辆和本车辆的位置和角度的第二俯视图像、表示附近车辆的移动路径和附近车辆和本车辆的位置和角度的第三俯视图像和/或表示附近车辆的移动路径、附近车辆和本车辆的位置和角度以及附近车辆的碰撞危险程度的第四俯视图像。碰撞模式确定器127可以利用俯视图像作为CNN的输入。
根据各种实施例，警告单元130可以在处理器120的控制下警告驾驶员与附近车辆碰撞的危险。例如，警告单元130可以通过利用危险警告灯来警告碰撞的危险，或者可以通过扬声器输出警告消息或警告声音。
根据各种实施例，存储单元140可以存储用于车辆和/或处理器120的操作的各种程序和数据。根据实施例，存储单元140可以存储用于确定碰撞模式的各种程序和数据。存储单元140可以临时存储在确定碰撞模式期间获得或产生的数据。
根据各种实施例，显示器150可以视觉地显示与车辆100相关的信息。例如，显示器150可以在处理器120的控制下向车辆100的驾驶员提供与车辆100的状态相关的各种信息。与车辆的状态相关的各种信息可以包括指示包括在车辆中的各种组件和/或车辆的至少一个功能是否正常运行的信息以及指示车辆的驾驶状态的信息中的至少一种。根据实施例，显示器150可以在处理器120的控制下显示关于碰撞模式的信息。例如，显示器150可以显示关于是否预测到与附近车辆的碰撞以及关于预测碰撞部位的信息。
根据各种实施例，控制器160可以在处理器120的控制下控制车辆100的至少一个组件和/或车辆的至少一个功能的操作。该至少一个功能例如是碰撞避免功能、碰撞缓解功能、减速功能(或纵向减速功能、制动功能)、转向功能、加速功能(或纵向加速功能)、变道功能、车道检测功能、障碍物识别和距离检测功能、横向控制功能、动力总成控制功能、安全区检测功能、发动机开启/关闭、电源开启/关闭以及车辆锁止/解锁功能。根据实施例，控制器160在处理器120的控制下控制车辆的至少一个组件和/或车辆的至少一个功能的操作，以实现车辆100的自主驾驶、避免碰撞和/或减少碰撞的目的。
根据各种实施例，通信装置170可以与车辆100的外部装置通信。根据实施例，通信装置170可以在处理器120的控制下从车辆100的外部接收数据或向车辆100的外部发送数据。例如，通信装置170可以通过利用无线通信协议或有线通信协议执行通信。
尽管控制器160和处理器120在上文描述的图1中被描述为独立的组件，但根据各种实施例，控制器160和处理器120可以被集成到一个组件中。
图10是示出根据本公开的各种实施例的车辆预测碰撞模式的流程图。在下面的实施例中，各操作可以按顺序执行，也可以不一定按顺序执行。例如，可以改变各操作的顺序，并且可以并行地执行至少两个操作。另外，以下操作可以由处理器120和/或包括在车辆100中的至少一个其它组件(例如，传感器单元110)执行，或者可以用可由处理器120和/或至少一个其它组件(例如，传感器单元110)执行的指令实现。
参照图10，在步骤S1010中，车辆可以收集附近车辆的状态信息。根据实施例，车辆可以通过利用多个传感器(例如，摄像头、LIDAR、RADAR等)获得附近车辆的位置和角度的信息。
在步骤S1020中，基于附近车辆的状态信息，车辆可以计算车辆和附近车辆之间的碰撞危险程度。根据实施例，车辆与附近车辆之间的碰撞危险程度可以通过利用上述公式(1)至(7)计算。
在步骤S1030中，基于状态信息和碰撞危险程度，车辆可以生成俯视图像。根据实施例，俯视图像可以表示附近车辆的移动路径、附近车辆和本车辆的位置和角度以及附近车辆的碰撞危险程度。
在步骤S1040中，车辆可以通过利用俯视图像来预测碰撞模式。根据实施例，车辆可以将俯视图像输入到CNN，并可以从CNN获得碰撞模式。碰撞模式可以包括关于车辆是否与附近车辆碰撞和/或预测碰撞部位的信息。
图11是示出根据本公开的各种实施例的车辆预测碰撞模式的详细操作的流程图。图11的至少一些操作可以是图10的详细操作。在下文中，图11的各操作可以按顺序执行，也可以不一定按顺序执行。例如，可以改变各操作的顺序，而且可以并行地执行至少两个操作。在下文中，将参照图12和/或图13描述图11的至少一些操作。图12是示出根据本公开的各种实施例的反映了附近车辆的危险程度信息的俯视图像的视图。图13是示出根据本公开的各种实施例的车辆通过CNN确定碰撞模式的视图。
参照图11，在步骤S1110中，车辆可以从多个传感器获得感测数据。车辆可以通过利用多个传感器(例如，摄像头、LIDAR、RADAR等)获得附近车辆的信息。关于附近车辆的信息可以包括，例如附近车辆的位置、附近车辆的角度、附近车辆的大小、附近车辆的形状、车辆与附近车辆之间的距离以及附近车辆对车辆的相对速度中的至少一项。
在步骤S1112中，车辆可以确定从多个传感器获得的感测数据是否是相同的附近车辆的感测数据。例如，车辆可以确定由第一传感器检测的附近车辆和由第二传感器检测的附近车辆是否相同。车辆以第一传感器检测的轨迹的位置为中心设置矩形门限，判断第二传感器检测的轨迹是否包括在设置的门限中，从而确定第一传感器检测的附近车辆和第二传感器检测的附近车辆是否相同。当第二传感器检测的轨迹包括在设置的门限中时，车辆可以确定由第一传感器检测的附近车辆和由第二传感器检测的附近车辆相同。当第二传感器检测的轨迹不包括在设置的门限中时，车辆可以确定第一传感器检测的附近车辆和第二传感器检测的附近车辆彼此不同。
当从多个传感器获得的感测数据是与相同的附近车辆相关的感测数据时，在步骤S1114中，车辆可以通过结合从多个传感器获得的感测数据来生成一个附近车辆的状态信息。例如，车辆可以通过结合从第一传感器获得的感测数据和从第二传感器获得的感测数据来生成第一附近车辆的状态信息。
当从多个传感器获得的感测数据不是与相同的附近车辆相关的感测数据时，在步骤S1116中，车辆可以确定多个传感器中的各自的感测数据为不同附近车辆的状态信息。例如，从摄像头获得的感测数据可以被确定为第一附近车辆的状态信息，而从LIDAR获得的感测数据可以被确定为第二附近车辆的状态信息。
在步骤S1118中，车辆可以基于附近车辆的状态信息计算附近车辆的碰撞危险程度。根据实施例，车辆可以通过利用上述公式(1)至(7)来计算附近车辆的碰撞危险程度。例如，如公式(1)至(4)所示，车辆可以基于附近车辆的状态信息，计算车辆与附近车辆之间的碰撞时间，以及警告指数。如公式(5)所示，车辆可以基于碰撞时间和警告指数计算纵向碰撞危险指数。如公式(6)所示，车辆可以基于附近车辆的状态信息，计算车道变更时间，并如公式(7)所示，可以基于纵向碰撞危险指数和车道变更时间，计算横向碰撞危险指数。附近车辆的碰撞危险程度可以包括纵向碰撞危险指数和/或横向碰撞危险指数。
在步骤S1120中，车辆可以确定附近车辆是否位于感兴趣区域(ROI)内。例如，车辆可以基于包括在附近车辆的状态信息中的位置信息，确定附近车辆是否位于ROI内。
当附近车辆位于ROI内时，在步骤S1122中，车辆可以基于附近车辆的状态信息和碰撞危险程度生成俯视图像。例如，如图12的第一列1210所示，当附近车辆1201存在于车辆100的前方和/或左侧时，车辆可以基于附近车辆的状态信息和/或碰撞危险程度，生成图12的第二列1220所示的俯视图像1221、1222、1223和1224和/或图12的第三列1230所示的俯视图像1231、1232、1233和1234。第二列1220中的俯视图像1221、1222、1223和1224只包括附近车辆的轨迹(移动路径)，并且第三列1230中的俯视图像1231、1232、1233和1234可以包括附近车辆的轨迹、车辆和附近车辆的几何信息(例如，形状、大小、位置、角度等)以及关于归一化碰撞危险程度的信息。
在步骤S1124中，车辆可以基于CNN通过利用俯视图像来预测碰撞模式。根据实施例，如图13所示，CNN 1303可以接收多个俯视图像作为输入1301，并且可以输出1305碰撞模式，该碰撞模式指示在多个俯视图像中是否发生碰撞以及预测碰撞部位。
在上述描述中，车辆可以只生成一个俯视图像并输入到CNN。然而，车辆可以生成多个俯视图像并输入到CNN，以提高碰撞模式确定的精确度。例如，在图12的第二列1220的俯视图像1221、1222和1223中，第二行的俯视图像1222和第三行的俯视图像1223与预测碰撞部位不同的情况有关。然而，轨迹的形状和长度是相似的，所以可能车辆会错误地将碰撞模式确定为相同的碰撞模式。因此，在本公开的各种实施例中，为了提高碰撞模式确定的精确度，如图12的第三列1230所示，车辆可以生成不仅包括指示附近车辆的移动路径的轨迹，而且包括车辆和附近车辆的几何信息以及关于归一化碰撞危险程度的信息的俯视图像1231、1232、1233和1234，并且可以用作CNN的输入。
如上所述，根据本公开的各种实施例的车辆可以通过利用附近车辆的状态信息，基于占用网格图(occupancy grid map)生成俯视图像，并且可以基于生成的俯视图像通过训练的CNN确定车辆是否发生碰撞以及指示预测碰撞部位的碰撞模式。基于由此确定的碰撞模式，车辆在碰撞实际发生之前建立更复杂的避免碰撞策略，从而使碰撞的危险程度最小化。另外，车辆根据确定的碰撞模式，提前主动控制被动安全***，例如作为乘客约束装置的安全带预紧器或安全气囊的展开时间，从而使乘客的伤害最小化。

Claims (18)

1.一种车辆，包括：
多个传感器，被配置为获得附近车辆的状态信息；以及
处理器，可操作地连接到多个所述传感器，
其中，所述处理器被配置为：
基于所述附近车辆的所述状态信息，确定所述车辆和所述附近车辆之间的碰撞危险程度，
基于所述状态信息和所述碰撞危险程度中的至少一项，生成俯视图像，以及
通过人工神经网络模型，利用所述俯视图像作为输入，确定碰撞模式，所述碰撞模式指示所述车辆是否与所述附近车辆碰撞以及预测碰撞部位中的至少一项。
2.根据权利要求1所述的车辆，其中，所述俯视图像表示所述附近车辆的移动路径、所述附近车辆的位置、所述附近车辆的角度、所述车辆的位置、所述车辆的角度以及所述车辆和所述附近车辆之间的所述碰撞危险程度中的至少一项。
3.根据权利要求1所述的车辆，其中，所述车辆和所述附近车辆之间的所述碰撞危险程度包括纵向碰撞危险指数和横向碰撞危险指数中的至少一项。
4.根据权利要求3所述的车辆，其中，
所述处理器被配置为：
基于所述车辆和所述附近车辆之间的碰撞时间以及警告指数，确定所述纵向碰撞危险指数，以及
基于所述纵向碰撞危险指数和车道变更时间，确定所述横向碰撞危险指数，
所述碰撞时间是基于所述车辆和所述附近车辆之间的纵向距离以及所述附近车辆的相对纵向速度确定的，
所述警告指数是基于所述车辆和附近车辆之间的距离、当所述车辆以最大减速度执行等加速度运动时直到所述车辆停止的移动距离以及驾驶员的反应时间确定的，以及
所述车道变更时间是基于所述附近车辆的相对速度和相对横向位置确定的。
5.根据权利要求1所述的车辆，其中，所述处理器：
检查多个所述传感器是否检测到相同的附近车辆，以及
在多个所述传感器检测到所述相同的附近车辆的情况下，结合从多个所述传感器获得的所述状态信息，并将结合的信息作为一个附近车辆的状态信息管理。
6.根据权利要求1所述的车辆，其中，所述处理器被配置为控制所述附近车辆在所述俯视图像内以灰度表示，所述灰度对应于所述碰撞危险程度。
7.根据权利要求1所述的车辆，其中，所述处理器：
检查所述附近车辆是否位于感兴趣区域内，以及
在所述附近车辆位于所述感兴趣区域内的情况下，生成所述俯视图像并确定所述碰撞模式。
8.根据权利要求1所述的车辆，其中，所述人工神经网络模型是预先训练的卷积神经网络模型，即CNN模型，所述CNN模型接收所述俯视图像并确定所述附近车辆的所述碰撞模式。
9.根据权利要求1所述的车辆，其中，所述状态信息包括所述附近车辆的位置、角度、大小、形状、距离和相对速度中的至少一项。
10.一种用于预测碰撞的车辆的操作方法，包括：
通过利用多个传感器，获得附近车辆的状态信息；
基于所述附近车辆的所述状态信息，确定所述车辆和所述附近车辆之间的碰撞危险程度；
基于所述状态信息和所述碰撞危险程度中的至少一项，生成俯视图像；以及
通过人工神经网络模型，利用所述俯视图像作为输入，确定碰撞模式，
其中，所述碰撞模式指示所述车辆是否与所述附近车辆碰撞以及预测碰撞部位中的至少一项。
11.根据权利要求10所述的操作方法，其中，所述俯视图像表示所述附近车辆的移动路径、所述附近车辆的位置、所述附近车辆的角度、所述车辆的位置、所述车辆的角度以及所述车辆和所述附近车辆之间的所述碰撞危险程度中的至少一项。
12.根据权利要求10所述的操作方法，其中，所述车辆和所述附近车辆之间的所述碰撞危险程度包括纵向碰撞危险指数和横向碰撞危险指数中的至少一项。
13.根据权利要求12所述的操作方法，其中，
确定所述碰撞危险程度包括：
基于所述车辆和所述附近车辆之间的碰撞时间以及警告指数，确定所述纵向碰撞危险指数，以及
基于所述纵向碰撞危险指数和车道变更时间，确定所述横向碰撞危险指数，
所述碰撞时间是基于所述车辆和所述附近车辆之间的纵向距离以及所述附近车辆的相对纵向速度确定的，
所述警告指数是基于所述车辆和附近车辆之间的距离、当所述车辆以最大减速度执行等加速度运动时直到所述车辆停止的移动距离以及驾驶员的反应时间确定的，以及
所述车道变更时间是基于所述附近车辆的相对速度和相对横向位置确定的。
14.根据权利要求10所述的操作方法，其中，通过利用多个所述传感器获得所述附近车辆的所述状态信息包括：
检查多个所述传感器是否检测到相同的附件车辆，以及
在多个所述传感器检测到所述相同的附近车辆的情况下，结合从多个所述传感器获得的所述状态信息，并将结合的信息作为一个附近车辆的状态信息管理。
15.根据权利要求10所述的操作方法，其中，生成所述俯视图像包括控制所述附近车辆在所述俯视图像内以灰度表示，所述灰度对应于所述碰撞危险程度。
16.根据权利要求10所述的操作方法，进一步包括：
检查所述附近车辆是否位于感兴趣区域内，以及
在所述附近车辆位于所述感兴趣区域内的情况下，生成所述俯视图像并确定所述碰撞模式。
17.根据权利要求10所述的操作方法，其中，通过所述人工神经网络模型确定所述碰撞模式包括通过预先训练的卷积神经网络模型，即CNN模型，确定所述碰撞模式，所述CNN模型接收所述俯视图像并确定所述附近车辆的所述碰撞模式。
18.根据权利要求10所述的操作方法，其中，所述附近车辆的所述状态信息包括所述附近车辆的位置、角度、大小、形状、距离和相对速度中的至少一项。
CN202310431348.5A 2022-05-19 2023-04-21 用于预测碰撞的车辆及车辆的操作方法 Pending CN117087661A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0061418 2022-05-19
KR1020220061418A KR20230161715A (ko) 2022-05-19 2022-05-19 충돌을 예측하기 위한 차량 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
CN117087661A true CN117087661A (zh) 2023-11-21

Family

ID=88768743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310431348.5A Pending CN117087661A (zh) 2022-05-19 2023-04-21 用于预测碰撞的车辆及车辆的操作方法

Country Status (3)

Country Link
US (1) US20230373476A1 (zh)
KR (1) KR20230161715A (zh)
CN (1) CN117087661A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220332327A1 (en) * 2021-04-16 2022-10-20 Hyundai Motor Company Method and Apparatus for Fusing Sensor Information and Recording Medium Storing Program to Execute the Method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230311949A1 (en) * 2022-03-29 2023-10-05 Honda Motor Co., Ltd. Systems and methods for speed and lane advisory

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220332327A1 (en) * 2021-04-16 2022-10-20 Hyundai Motor Company Method and Apparatus for Fusing Sensor Information and Recording Medium Storing Program to Execute the Method

Also Published As

Publication number Publication date
US20230373476A1 (en) 2023-11-23
KR20230161715A (ko) 2023-11-28

Similar Documents

Publication Publication Date Title
US10579885B2 (en) Collision warning system
EP3342661B1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
US11673545B2 (en) Method for automated prevention of a collision
US7447592B2 (en) Path estimation and confidence level determination system for a vehicle
JP4309843B2 (ja) 車両の衝突を阻止する方法および装置
US7480570B2 (en) Feature target selection for countermeasure performance within a vehicle
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
US7617048B2 (en) Method for determining an accident risk between a first object with at least one second object
CN106240565B (zh) 碰撞减轻和躲避
US6958683B2 (en) Multipurpose vision sensor system
US7034668B2 (en) Threat level identification and quantifying system
CN117087661A (zh) 用于预测碰撞的车辆及车辆的操作方法
US11760380B2 (en) Vehicle control system
CN113853640B (zh) 电子控制装置
CN113442917B (zh) 用于宿主机动车辆的警告***
CN113492786A (zh) 实施加权主动-被动碰撞模式分类的车辆安全***和方法
US11897464B2 (en) Vehicle control method, vehicle control device, and storage medium
CN114834443A (zh) 车辆控制的方法、装置、控制器和智能汽车
JP4200131B2 (ja) 第１の対象物の事故の危険性を少なくとも１つの第２の対象物により判定する方法
KR20230159773A (ko) 차량 충돌 방지 시스템 및 이를 구비한 차량 및 충돌 방지 방법
KR20230164257A (ko) 차량 충돌 방지 시스템 및 이를 구비한 차량 및 충돌 방지 방법
KR20230087671A (ko) 오브젝트 충돌 방지 방법 및 장치
KR20230129076A (ko) 과적 차량 충돌 방지 방법 및 장치
JP2023046455A (ja) 駐車制御装置及び駐車制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication