CN112580535A - 车辆危险警示方法及装置、计算机可读存储介质 - Google Patents

车辆危险警示方法及装置、计算机可读存储介质 Download PDF

Info

Publication number
CN112580535A
CN112580535A CN202011541115.3A CN202011541115A CN112580535A CN 112580535 A CN112580535 A CN 112580535A CN 202011541115 A CN202011541115 A CN 202011541115A CN 112580535 A CN112580535 A CN 112580535A
Authority
CN
China
Prior art keywords
vehicle
pedestrian
danger
index
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011541115.3A
Other languages
English (en)
Inventor
李阳
杜思军
高雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evergrande New Energy Automobile Investment Holding Group Co Ltd
Original Assignee
Evergrande New Energy Automobile Investment Holding Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evergrande New Energy Automobile Investment Holding Group Co Ltd filed Critical Evergrande New Energy Automobile Investment Holding Group Co Ltd
Priority to CN202011541115.3A priority Critical patent/CN112580535A/zh
Publication of CN112580535A publication Critical patent/CN112580535A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种车辆危险警示方法及装置、计算机可读存储介质，该方法包括：获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标；获取所述车辆的内部危险信息，以确定所述车辆的内部危险信息指标；基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，所述危险指数用于表示所述车辆相对行人的危险程度；执行与所述危险指数匹配的车辆危险警示。本申请可以在车辆相对行人存在危险时，及时可靠地向行人给予危险警示，从而保护行人安全。

Description

车辆危险警示方法及装置、计算机可读存储介质
技术领域
本申请涉及车辆安全技术领域，尤其涉及一种车辆危险警示方法及装置、计算机可读存储介质。
背景技术
很多交通事故的发生是由于行人不注意驶来车辆造成，尤其对于电动车，由于本身噪音较小，更难以引起行人注意。现有车辆危险警示方法通常由车辆驾驶员发现行人与车辆存在可能或潜在的交通事故后，通过鸣笛或者亮灯等方式来警示行人存在的车辆危险。
然而，很多时候，驾驶员可能处于分心或疲劳状态，无法及时向行人给出危险警示，此时行人更容易处于危险的境地。自动紧急制动(Autonomous Emergency Braking，AEB)作为最后的兜底手段，在车辆遇到突发危险情况或与前车及行人距离小于安全距离时主动进行刹车，以避免或减少追尾等碰撞事故的发生，但具备这种功能的车辆并不一定能够将车辆完全刹停，因此很多时候只能减轻事故损害，而无法彻底避免事故。
因此，如何提高车辆危险警示的有效性，及时可靠地向行人给予危险警示，是目前车辆安全技术领域亟待解决的问题。
发明内容
本申请实施例的目的是提供一种车辆危险警示方法及装置、计算机可读存储介质，用以解决现有车辆危险警示有效性低的问题。
为了解决上述技术问题，本说明书是这样实现的：
第一方面，提供了一种车辆危险警示方法，包括：
获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标；
获取所述车辆的内部危险信息，以确定所述车辆的内部危险信息指标；
基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，所述危险指数用于表示所述车辆相对行人的危险程度；
执行与所述危险指数匹配的车辆危险警示。
可选的，所述外部危险信息包括以下至少一项：行人危险行为、行人碰撞概率、行人密集度、天气恶劣度、路况恶劣度。
获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
从包括有所述车辆周边的行人行为动作的图像中提取对应的特征图，并将所述特征图分别输入到预定的行人检测模型和物体检测模型，得到所述图像中行人对应的行人检测特征图和所述图像中物体对应的物体检测特征图；
将所述行人检测特征图与所述物体检测特征图进行拼接，并输入预定第一检测模型，得到所述图像中行人对应的危险动作静态检测结果；
从包括有所述车辆周边的行人行为动作的多个连续帧图像分别提取对应的多个特征图，并将所述多个特征图进行拼接，输入到预定的第二检测模型，得到所述多个连续帧图像中行人对应的危险动作动态检测结果；
将所述危险动作静态检测结果和所述危险动作动态检测结果进行拼接，并输入预定的第三检测模型，得到确定所述图像中行人危险行为的检测结果；
基于所述行人危险行为的检测结果，确定所述车辆的第一外部危险信息指标。
可选的，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
从包括有所述车辆周边的行人行为动作的图像中提取对应的特征图，并将所述特征图输入到预定的行人检测模型，得到所述图像中多个行人各自对应的行人边界框；
将所述行人边界框的面积之和与所述行人边界框的并集面积，确定所述图像中行人对应的行人密集度；
基于所述行人密集度，确定所述车辆的第一外部危险信息指标。
可选的，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
获取所述车辆与行人的相对位置及相对速度；
根据所述车辆的速度确定所述行人与所述车辆的距离；
通过所述相对位置和所述距离确定所述行人碰撞概率；
基于所述行人碰撞概率，确定所述车辆的第二外部危险信息指标。
可选的，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
从预订地图***获取所述车辆行驶道路的道路曲率；
根据所述道路曲率大小确定所述路况恶劣度；
基于所述路况恶劣度，确定所述车辆的第三外部危险信息指标。
可选的，所述内部危险信息包括以下至少一项：驾驶员危险行为、车辆的故障状态。
可选的，获取车辆的内部危险信息，以确定所述车辆的内部危险信息指标，，包括如下至少一项：
从包括有所述车辆内部的驾驶员行为动作的图像中提取对应的特征图，并将所述特征图分别输入到预定的驾驶员检测模型和物体检测模型，得到所述图像中驾驶员对应的驾驶员检测特征图和所述图像中物体对应的物体检测特征图；将所述驾驶员检测特征图与所述物体检测特征图进行拼接，并输入预定第四检测模型，得到所述图像中驾驶员对应的危险动作静态检测结果；从包括有所述车辆内部的驾驶员行为动作的多个连续帧图像分别提取对应的多个特征图，并将所述多个特征图进行拼接，输入到预定的第五检测模型，得到所述多个连续帧图像中驾驶员对应的危险动作动态检测结果；将所述危险动作静态检测结果和所述危险动作动态检测结果进行拼接，并输入预定的第六检测模型，得到确定所述图像中驾驶员危险行为的检测结果；基于所述驾驶员危险行为的检测结果，确定所述车辆的第一内部危险信息指标；
获取所述车辆的故障状态；基于所述故障状态，确定所述车辆的第二内部危险信息指标。
可选的，基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，包括：
获取所述外部危险信息和所述内部危险信息分别对应的危险程度权重；
根据对应的危险程度权重，对所述外部危险信息指标和所述内部危险信息指标分别加权求和，以确定所述车辆的危险指数。
第二方面，提供了一种车辆危险警示装置，包括：处理器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面所述的方法的步骤。
第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面所述的方法的步骤。
在本申请实施例中，通过获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标；获取所述车辆的内部危险信息，以确定所述车辆的内部危险信息指标；基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，所述危险指数用于表示所述车辆相对行人的危险程度；执行与所述危险指数匹配的车辆危险警示，从而能够提高车辆危险警示的有效性，及时可靠地向行人给予危险警示，以保护行人。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是本申请实施例的车辆危险警示方法的流程示意图。
图2是本申请第一实施例的车辆的外部危险信息指标确定步骤流程示意图。
图3为本申请实施例的行人危险行为指标检测架构示意图。
图4是本申请第二实施例的车辆的外部危险信息指标确定步骤流程示意图。
图5是本申请第三实施例的车辆的外部危险信息指标确定步骤流程示意图。
图6是本申请第四实施例的车辆的外部危险信息指标确定步骤流程示意图。
图7是本申请第五实施例的车辆的外部危险信息指标确定步骤流程示意图。
图8是本申请第一实施例的车辆的内部危险信息指标确定步骤流程示意图。
图9是本申请第二实施例的车辆的内部危险信息指标确定步骤流程示意图。
图10是本申请实施例的车辆危险警示装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
为了解决现有技术中存在的问题，本申请实施例提供一种车辆危险警示方法，图1是本申请实施例的车辆危险警示方法的流程示意图。
如图1所示，包括以下步骤：
步骤102，获取车辆的外部危险信息，以确定车辆的外部危险信息指标；
步骤104，获取所述车辆的内部危险信息，以确定所述车辆的内部危险信息指标；
步骤106，基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，所述危险指数用于表示所述车辆相对行人的危险程度；
步骤108，执行与所述危险指数匹配的车辆危险警示。
基于上述实施例提供的方案，可选的，上述步骤102中，车辆的外部危险信息包括以下至少一项：行人危险行为、行人碰撞概率、行人密集度、天气恶劣度、路况恶劣度。
行人危险行为例如包括行人玩手机，行人与同行人交谈而未专注路况等。
在一个实施例中，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，如图2实施例所示，图2是本申请第一实施例的车辆的外部危险信息指标确定步骤流程示意图。
如图2所示，车辆的外部危险信息指标确定步骤包括：
步骤202：从包括有所述车辆周边的行人行为动作的图像中提取对应的特征图，并将所述特征图分别输入到预定的行人检测模型和物体检测模型，得到所述图像中行人对应的行人检测特征图和所述图像中物体对应的物体检测特征图；
步骤204：将所述行人检测特征图与所述物体检测特征图进行拼接，并输入预定第一检测模型，得到所述图像中行人对应的危险动作静态检测结果；
步骤206：从包括有所述车辆周边的行人行为动作的多个连续帧图像分别提取对应的多个特征图，并将所述多个特征图进行拼接，输入到预定的第二检测模型，得到所述多个连续帧图像中行人对应的危险动作动态检测结果；
步骤208，将所述危险动作静态检测结果和所述危险动作动态检测结果进行拼接，并输入预定的第三检测模型得到确定所述图像中行人危险行为的检测结果；
步骤210，基于所述行人危险行为的检测结果，确定所述车辆的第一外部危险信息指标。
在上述实施例中，车辆的第一外部危险信息指标为行人危险行为指标，行人危险行为指标取值在0至1之间，表示行人行为的危险程度。
危险信息指标的获取具体可参考图3的实施例，图3为本申请实施例的行人危险行为指标检测架构示意图。
如图3所示，具体来说：
a)通过骨干网络100从包括有车辆周边的行人行为动作的图像中提取对应的特征图(feature map)。
b)通过预定的行人检测模型，例如图3所示的行人检测头200得到图像中行人对应的行人检测特征图，每个行人检测特征表示了图像中对应像素点检测到行人的概率。
c)通过预定的物体检测模型，例如图3所示的物体检测头300得到图像中物体对应的物体检测特征图，每个物体检测特征表示了图像中对应像素点检测到物体的概率。物体例如是手机、香烟、书籍等等。
d)通过级联模块10将行人检测的特征图与物体检测的特征图级联(concatenate)在一起，即进行特征拼接。特征图拼接是沿每个特征图三维特征对应的通道特征方向进行叠摞，特征图的长和宽的二维特征重叠。
在一个实施例中，为了得到图像中行人之间的关联关系，例如两个行人在过马路时交谈，级联模块10可以将行人检测的特征图复制成两份，再和物体检测的特征图进行级联。
e)级联后的特征图输入预定第一检测模型，例如图3所示的静态检测头400，得到图像中行人对应的危险动作静态检测结果，也即每个特征图对应的行人危险动作的概率值。
f)通过骨干网络100从包括有车辆周边的行人行为动作的多个连续帧图像分别提取对应的多个特征图，并将提取的连续多个特征图级联在一起，再使用三维的卷积神经网络(Convolutional Neural Networks,CNN)或者是注意力模型作为动态检测模型，例如图3所示的动态检测头500，输出连续图像中行人对应危险动作的动态检测结果。
g)通过级联模块20将动态检测头500输出的动态检测结果和静态检测头400输出的静态检测结果的特征图再次级联在一起，再输入预定的第三检测模型，例如图3所示的危险动作检测头600，输出最终的危险动作检测结果，即一个危险动作分类的分布，如行人抽烟概率：0.5，交谈概率：0.2，..。
由此，得到图像中行人危险行为对应的外部危险信息指标。
每个不同的行人危险行为可能对应不同的危险信息指标，危险信息指标的不同与训练上述神经网络模型的训练数据有关，根据标签和样本，训练神经网络模型根据玩手机的不同程度输出不同值，玩手机的危险信息指标比行人交谈的危险信息指标高等。
由此，通过将获取的行人危险动作输入到训练好的由上述步骤a至步骤f的检测头和级联模块组合得到的神经网络模型，并得到神经神经网络模型输出的危险信息指标，根据危险信息指标的数值大小，也可以确定对应获取的行人行为动作是否为行人危险行为或者危险程度的高低。进而，根据行人危险行为，可对应确定车辆的第一外部危险因素指数。
其中，步骤202中，预定的行人检测模型和物体检测模型例如为图3的行人检测头200和物体检测头300对应的网络模型，步骤204中，预定的第一检测模型例如为图3的静态检测头400对应的网络模型，步骤206中，预定的第二检测模型例如为图3的动态检测头500对应的网络模型，步骤208中，预定的第三检测模型例如为图3的危险动作检测头600对应的网络模型，这里不再赘述。
相应地，在一个实施例中，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，如图4实施例所示，图4是本申请第二实施例的车辆的外部危险信息指标确定步骤流程示意图。
如图4所示，车辆的外部危险信息指标确定步骤包括：
步骤222，从包括有所述车辆周边的行人行为动作的图像中提取对应的特征图，并将所述特征图输入到预定的行人检测模型，得到所述图像中多个行人各自对应的行人边界框；
步骤224，将所述行人边界框的面积之和与所述行人边界框的并集面积，确定所述图像中行人对应的行人密集度；
步骤226，基于所述行人密集度，确定所述车辆的第一外部危险信息指标。
行人密集度也可以由图3所示的行人密集度计算模块30，利用行人检测头200输出的检测结果来计算行人的密度，步骤302中的预定的行人检测模型例如为图3的行人检测头200。
相应地，在一个实施例中，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，如图5实施例所示，图5是本申请第三实施例的车辆的外部危险信息指标确定步骤流程示意图。
如图5所示，车辆的外部危险信息指标确定步骤包括：
步骤302：获取所述车辆与行人的相对位置及相对速度；
步骤304：根据所述车辆的速度确定所述行人与所述车辆的距离；
步骤306：通过所述相对位置和所述距离确定所述行人碰撞概率；
步骤308：基于所述行人碰撞概率，确定所述车辆的第二外部危险信息指标。
在上述实施例中，车辆的第二外部危险信息指标为行人碰撞概率指标，行人碰撞概率指标取值在0至1之间，表示行人与车辆发生碰撞的概率大小。步骤302中可结合车辆的雷达，例如毫米波雷达与摄像头，检测车辆相对行人的位置和速度，获取车辆与行人的相对位置，可以根据初始位置推导车辆与行人之间的移动轨迹。
危险信息指标具体判断方法为：融合上述雷达和摄像头的探测结果，获取行人相对于本车的位置和速度。根据行人相对于本车的位置和速度，可预测行人的未来轨迹，即未来任意时刻行人相对于本车的位置，预测方法可为，假设行人直线匀速前进，或是利用神经网络预测未来几个时间点行人的位置和速度。根据本车当前速度得到本车未来轨迹，即未来任意时刻本车相对于当前位置的坐标，预测方法为假定本车匀速直线运动。如此，根据行人未来轨迹和本车未来轨迹，可以得到未来任意时刻行人相对于本车的距离。根据此距离，以预设方法得到行人碰撞概率位于0-1之间。即此距离越小，碰撞概率越大。上述计算过程可以实时进行，并更新结果。行人碰撞概率大，对应确定的危险信息指标高。由此，根据行人碰撞概率，可对应确定车辆的第二外部危险因素指数。
相应地，在一个实施例中，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，如图6实施例所示，图6是本申请第四实施例的车辆的外部危险信息指标确定步骤流程示意图。
如图6所示，车辆的外部危险信息指标确定步骤包括：
步骤402：从预订地图***获取所述车辆行驶道路的道路曲率；
步骤404：根据所述道路曲率大小确定所述路况恶劣度；
步骤406：基于所述路况恶劣度，确定所述车辆的第三外部危险信息指标。
在上述实施例中，车辆的第三外部危险信息指标为路况恶劣度指标，路况恶劣度指标取值在0至1之间，表示路况恶劣的程度。步骤402中可由高精地图获取道路曲率，由预设方法计算道路情况恶劣度，曲率越大，路况恶劣度越大，对应的指标取值越大。
例如车辆行驶在下坡时，道路曲率大，下坡控制车辆费力，当下坡道路上有行人时，存在的潜在危险大。
除上述实施例的车辆外部危险信息指标之外，车辆的外部危险信息指标还包括：
行人密集度(取值0至1)，可由车辆的摄像头获取车辆周边的行人图像，并经由预先训练得到的神经网络模型检测图像，得到目标行人数量，从而得到车辆周边的行人密集度。行人密集度越大，对应的危险信息指标越高。
相应地，在一个实施例中，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，如图7实施例所示，图7是本申请第五实施例的车辆的外部危险信息指标确定步骤流程示意图。
如图7所示，车辆的外部危险信息指标确定步骤包括：
步骤422：从包括有所述车辆周边的行人行为动作的图像中提取对应的特征图，并将所述特征图输入到预定的行人检测模型，得到所述图像中多个行人各自对应的行人边界框；
步骤424：将所述行人边界框的面积之和与所述行人边界框的并集面积，确定所述图像中行人对应的行人密集度；
步骤426：基于所述行人密集度，确定所述车辆的第四外部危险信息指标。
在步骤424中，可选的，可以基于图7实施例的行人检测头200检测得到图像中每个行人的边界框，从而执行行人密集度计算。具体地，将检测到的行人边界框的面积之和，除以这些边界框的并集的面积得到行人的密度。
例如，两个行人站的比较近，则图像中所检测的其各自的边界框框则存在重叠，站的越近，重叠面积约大。边界框的并集面积为各个行人的边界框面积之和减去重叠的面积部分。因此，行人密度值大于1，值越大表示行人越密集。基于tanh函数，将大于1的行人密度转换映射到0-1之间的数，即得到图像中对应行人的行人密集度。这里，转换得到的行人密集度越大，表示行人越密集。对应的外部危险信息指标取值越大。
天气恶劣度(取值0至1)，可由车对外界的信息交换***(vehicle toeverything，V2X)、网络等获取天气状况，天气状况例如包括雾、雨、雪、风、沙尘等等。
根据天气状况的恶劣程度确定对应的危险信息指标。例如大雾为0.9，小雨为0.3等等，不同天气状态对应不同的危险指数，指数越小，表示危险程度越低。
如此，通过上述方式，根据至少一个外部危险信息，可以对应获得如下至少一个位于相同取值范围的车辆外部危险信息指标：行人玩手机指标，行人与同行人交谈指标，行人碰撞概率指标，行人密集度指标，天气恶劣度指标，路况恶劣度指标等等。
基于上述实施例提供的方案，可选的，上述步骤104中，车辆的内部危险信息包括以下至少一项：驾驶员危险行为、车辆的故障状态。
驾驶员危险行为例如包括驾驶员玩手机、打电话、驾驶员抽烟、驾驶员分心、驾驶员疲劳、车内发生扭打等危害驾驶安全的可能行为。
在一个实施例中，获取车辆的内部危险信息，以确定所述车辆的内部危险信息指标，如图8实施例所示，图8是本申请第一实施例的车辆的内部危险信息指标确定步骤流程示意图。
如图8所示，车辆的内部危险信息指标确定步骤包括：
步骤502：从包括有所述车辆内部的驾驶员行为动作的图像中提取对应的特征图，并将所述特征图分别输入到预定的驾驶员检测模型和物体检测模型，得到所述图像中驾驶员对应的驾驶员检测特征图和所述图像中物体对应的物体检测特征图；
步骤504：将所述驾驶员检测特征图与所述物体检测特征图进行拼接，并输入预定的第四检测模型，得到所述图像中驾驶员对应的危险动作静态检测结果；
步骤506：从包括有所述车辆内部的驾驶员行为动作的多个连续帧图像分别提取对应的多个特征图，并将所述多个特征图进行拼接，输入到预定的第五检测模型，得到所述多个连续帧图像中驾驶员对应的危险动作动态检测结果；
步骤508，将所述危险动作静态检测结果和所述危险动作动态检测结果进行拼接，并输入预定的第六检测模型，得到确定所述图像中驾驶员危险行为的检测结果；
步骤510，基于所述驾驶员危险行为的检测结果，确定所述车辆的第一内部危险信息指标。
在上述实施例中，车辆的第一内部危险信息指标为驾驶员危险行为指标，驾驶员危险行为指标取值在0至1之间，表示驾驶员危险驾驶的程度。通过车辆监测***的摄像头拍摄车辆内部驾驶员的行为动作，然后将对应拍摄获取的驾驶员行为动作输入到预定的神经网络模型进行检测，并输出对应的检测危险信息指标，危险信息指标取值为0-1之间。
每个不同的驾驶员危险行为可能对应不同的危险信息指标，危险信息指标的不同与训练上述神经网络模型的训练数据有关，根据标签和样本，训练神经网络模型根据驾驶员玩手机的不同程度输出不同值，疲劳驾驶的危险信息指标比驾驶员玩手机的危险信息指标高等。
由此，通过与图2实施例的行人对应的危险行为检测结果相同的方式，可以将获取的驾驶员行为动作图像输入到由图3所示的神经网络模型中，并得到神经神经网络模型输出的驾驶员危险信息指标，根据危险信息指标的数值大小，也可以确定对应获取的驾驶员行为动作是否为驾驶员危险行为或者危险程度的高低。进而，根据驾驶员的危险行为，可对应确定车辆的第一内部危险因素指数。
其中，步骤502中，预定的驾驶员检测模型和物体检测模型例如为图3的行人检测头200和物体检测头300对应的网络模型，步骤504中，预定的第四检测模型例如为图3的静态检测头400对应的网络模型，步骤506中，预定的第五检测模型例如为图3的动态检测头500对应的网络模型，步骤508中，预定的第六检测模型例如为图3的危险动作检测头600对应的网络模型，这里不再赘述。
可选的，车辆的故障状态例如包括刹车失灵、轮胎爆胎等等。
在一个实施例中，获取车辆的内部危险信息，以确定所述车辆的内部危险信息指标，如图9实施例所示，图9是本申请第二实施例的车辆的内部危险信息指标确定步骤流程示意图。
如图9所示，车辆的内部危险信息指标确定步骤包括：
步骤602：获取所述车辆的故障状态；
步骤604：基于所述故障状态，确定所述车辆的第二内部危险信息指标。
车辆故障状态可以由车辆存在故障时，对应的传感器发送报警信息而获得。车辆故障状态对应的危险信息指标可取值0至1之间，如对于刹车故障危险程度很大，其取值可为1。
如此，通过上述方式，根据至少一个内部危险信息，可以对应获得如下至少一个位于相同取值范围的车辆内部危险信息指标：驾驶员玩手机指标，驾驶员抽烟指标，驾驶员分心指标，驾驶员疲劳指标，刹车故障指标等等。
可选的，在步骤106中，基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，包括：获取所述外部危险信息和所述内部危险信息分别对应的危险程度权重；根据对应的危险程度权重，对所述外部危险信息指标及其权重和所述内部危险信息指标及其权重分别进行加权的一阶求和以及对所述外部危险信息指标和所述内部危险信息指标分别进行加权相乘后的二阶求和；将所述一阶求和的数值与所述二阶求和的数值进行相加，以确定所述车辆的危险指数。
对于车辆可能存在的车内外危险信息及其对应的危险程度，可预先设置不同的危险程度权重，预先设置的车内外危险信息权重之和为1。
例如，假设内部危险信息指标分别为：i_i1,i_i2,i_i3,...,每个内部危险信息指标对应的权重分别为：w_i1,w_i2,w_i3,...。假设外部危险信息指标分别为：i_o1,i_o2,i_o3,...,每个外部危险信息指标对应的权重分别为：w_o1,w_o2,w_o3,...。所有的内、外部危险信息指标对应的权重之和为1，即w_i1+w_i2,+w_i3+,..+w_o1+w_o2,+w_o3+....＝1。
则最终的车辆危险指数计算方法为：
(1/a+a×w_i1×i_i1+a×w_i2×i_i2+a×w_i3×i_i3+,...)×(1/a+a×w_o1×i_o1+a×w_o2×i_o2+a×w_o3×i_o3+,...)–1/(a×a)，a>0。
这样，上式即为各个内、外危险信息指标的加权平均(为a的一阶项)加上内部和外部危险信息指标耦合的贡献(为a的二阶项)，则使用a来控制内、外部危险信息耦合对于最终车辆危险指数结果的贡献。其中，a越大内、外部危险信息耦合的贡献越大，从而体现内、外部危险信息结合的优势。比如，基于车内驾驶员和车外行人的危险行为，共同确定车辆当前的危险指数。
如果a的取值范围在0-1之间，则考虑内、外部危险信息指标分开考虑对最终车辆危险指数结果的贡献更大。比如，如果车内驾驶员的打手机对应的指标值和权重值比较高，则确定车辆当前的危险主要由车内驾驶员导致。
由此，通过综合车内外危险信息指标，并根据每个危险信息对应的预设权重，确定车辆的当前危险指数。危险指数越大，表示车辆当前对行人造成的危险越大，越需要提醒行人进行危险避让。
在步骤108中，执行与所述危险指数匹配的车辆危险警示是通过例如声音、亮灯等报警方式，向车辆外部的行人和/或内部的驾驶员发出警示提醒。
车辆危险警示可以包括以下至少一种：
1、对外模拟声浪，尤其针对电动车，警示方式包括调节音量，调节频率等。音量越大，频率越大，危险程度越高，反之危险程度越低。
2、鸣笛，警示方式包括短促轻声，长鸣等；短促轻声对应的警示危险程度小于长鸣。
3、车灯，包括前车灯、危害警示灯、矩阵大灯等，警示方式包括长亮、单闪、双闪等。对应的警示危险程度长亮<单闪<双闪。
具体的车辆危险警示方法可以由上述这些基本提醒，以不同的警示方式组合得到。
基于车辆的危险指数的大小，可以对采取的车辆危险警示进行等级划分。具体地，根据车辆的危险指数及预设的多个阈值，确定车辆危险警示的级别，不同的阈值区间对应不同的级别。车辆的危险指数越高，对应的车辆危险警示级别越高。
车辆危险警示等级可以与上述不同的警示方式组合确定的车辆危险警示提醒对应，等级越高，对行人和/或驾驶员的警示提醒程度越强烈。例如1级危险警示级别对应的报警方式为增大模拟声浪，2级危险警示级别对应的报警方式为急促的模拟声浪加短促鸣笛等等。
可选的，在一个实施例中，本申请的车辆危险警示方法还可以在步骤106确定所述车辆的危险指数之后，在一些特定场景下，不执行步骤108与所述危险指数匹配的车辆危险警示。也就是不通过声音、亮灯等报警方式，向车辆外部的行人和/或内部的驾驶员发出警示提醒。上述特定场景例如是检测到车辆前方行驶方向路口有红灯，而行人的运动轨迹是按照路口的绿灯正常过马路，则此时可解除警报。检测车辆前方行驶方向有路口，可以通过例如地图的定位软件或V2X等实现，路口的红绿灯可以由车载摄像头检测，如此结合上述设备可以判断出上述特定场景，并基于特定场景取消执行与确定的车辆危险指数匹配的车辆危险警示。
本申请实施例不仅监控车外危险信息，同时监控车内危险信息，根据车内外危险信息综合进行判断，来确定车辆相对行人的危险指数，并主动执行对应的车辆危险警示。如此，针对未注意危险路况的行人进行主动危险警示，避免事故发生，从而对行人进行及时有效的保护。通过不同的危险指数，执行对应匹配的车辆危险警示，能够更可靠有效地提醒行人发现危险车辆并及时采取躲避危险的动作。
可选的，本申请实施例还提供一种车辆危险警示装置，图10是本申请实施例的车辆危险警示装置的结构示意图。
如图10所示，该装置2000包括存储器2200和与所述存储器2200电连接的处理器2400，所述存储器2200存储有可在所述处理器2400运行的计算机程序，所述计算机程序被所述处理器执行时实现上述一种车辆危险警示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述一种车辆危险警示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (11)

1.一种车辆危险警示方法，其特征在于，包括：
获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标；
获取所述车辆的内部危险信息，以确定所述车辆的内部危险信息指标；
基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，所述危险指数用于表示所述车辆相对行人的危险程度；
执行与所述危险指数匹配的车辆危险警示。
2.如权利要求1所述的方法，其特征在于，所述外部危险信息包括以下至少一项：行人危险行为、行人碰撞概率、行人密集度、天气恶劣度、路况恶劣度。
3.如权利要求2所述的方法，其特征在于，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
从包括有所述车辆周边的行人行为动作的图像中提取对应的特征图，并将所述特征图分别输入到预定的行人检测模型和物体检测模型，得到所述图像中行人对应的行人检测特征图和所述图像中物体对应的物体检测特征图；
将所述行人检测特征图与所述物体检测特征图进行拼接，并输入预定第一检测模型，得到所述图像中行人对应的危险动作静态检测结果；
从包括有所述车辆周边的行人行为动作的多个连续帧图像分别提取对应的多个特征图，并将所述多个特征图进行拼接，输入到预定的第二检测模型，得到所述多个连续帧图像中行人对应的危险动作动态检测结果；
将所述危险动作静态检测结果和所述危险动作动态检测结果进行拼接，并输入预定的第三检测模型，得到确定所述图像中行人危险行为的检测结果；
基于所述行人危险行为的检测结果，确定所述车辆的第一外部危险信息指标。
4.如权利要求2所述的方法，其特征在于，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
从包括有所述车辆周边的行人行为动作的图像中提取对应的特征图，并将所述特征图输入到预定的行人检测模型，得到所述图像中多个行人各自对应的行人边界框；
将所述行人边界框的面积之和与所述行人边界框的并集面积，确定所述图像中行人对应的行人密集度；
基于所述行人密集度，确定所述车辆的第一外部危险信息指标。
5.如权利要求2所述的方法，其特征在于，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
获取所述车辆与行人的相对位置及相对速度；
根据所述车辆的速度确定所述行人与所述车辆的距离；
通过所述相对位置和所述距离确定所述行人碰撞概率；
基于所述行人碰撞概率，确定所述车辆的第二外部危险信息指标。
6.如权利要求2所述的方法，其特征在于，获取车辆的外部危险信息，以确定所述车辆的外部危险信息指标，包括：
从预订地图***获取所述车辆行驶道路的道路曲率；
根据所述道路曲率大小确定所述路况恶劣度；
基于所述路况恶劣度，确定所述车辆的第三外部危险信息指标。
7.如权利要求1所述的方法，其特征在于，所述内部危险信息包括以下至少一项：驾驶员危险行为、车辆的故障状态。
8.如权利要求7所述的方法，其特征在于，获取车辆的内部危险信息，以确定所述车辆的内部危险信息指标，包括如下至少一项：
从包括有所述车辆内部的驾驶员行为动作的图像中提取对应的特征图，并将所述特征图分别输入到预定的驾驶员检测模型和物体检测模型，得到所述图像中驾驶员对应的驾驶员检测特征图和所述图像中物体对应的物体检测特征图；将所述驾驶员检测特征图与所述物体检测特征图进行拼接，并输入预定的第四检测模型，得到所述图像中驾驶员对应的危险动作静态检测结果；从包括有所述车辆内部的驾驶员行为动作的多个连续帧图像分别提取对应的多个特征图，并将所述多个特征图进行拼接，输入到预定的第五检测模型，得到所述多个连续帧图像中驾驶员对应的危险动作动态检测结果；将所述危险动作静态检测结果和所述危险动作动态检测结果进行拼接，并输入预定的第六检测模型，得到确定所述图像中驾驶员危险行为的检测结果；基于所述驾驶员危险行为的检测结果，确定所述车辆的第一内部危险信息指标；
获取所述车辆的故障状态；基于所述故障状态，确定所述车辆的第二内部危险信息指标。
9.如权利要求1所述的方法，其特征在于，基于所述外部危险信息指标和所述内部危险信息指标，确定所述车辆的危险指数，包括：
获取所述外部危险信息和所述内部危险信息分别对应的危险程度权重；
根据对应的危险程度权重，对所述外部危险信息指标及其权重和所述内部危险信息指标及其权重分别进行加权的一阶求和以及对所述外部危险信息指标和所述内部危险信息指标分别进行加权相乘后的二阶求和；
将所述一阶求和的数值与所述二阶求和的数值进行相加，以确定所述车辆的危险指数。
10.一种车辆危险警示装置，其特征在于，包括：存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法的步骤。
CN202011541115.3A 2020-12-23 2020-12-23 车辆危险警示方法及装置、计算机可读存储介质 Pending CN112580535A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011541115.3A CN112580535A (zh) 2020-12-23 2020-12-23 车辆危险警示方法及装置、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011541115.3A CN112580535A (zh) 2020-12-23 2020-12-23 车辆危险警示方法及装置、计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112580535A true CN112580535A (zh) 2021-03-30

Family

ID=75139209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011541115.3A Pending CN112580535A (zh) 2020-12-23 2020-12-23 车辆危险警示方法及装置、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112580535A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111844A (zh) * 2021-04-28 2021-07-13 中德（珠海）人工智能研究院有限公司 一种作业姿态评估方法、装置、本地终端及可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215300A (ja) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp 危険状況警報装置
CN105225509A (zh) * 2015-10-28 2016-01-06 努比亚技术有限公司 一种道路车辆智能预警方法、装置和移动终端
CN108428343A (zh) * 2018-05-17 2018-08-21 长沙理工大学 一种多车驾驶行为分析和危险预警方法及***
CN108928294A (zh) * 2018-06-04 2018-12-04 Oppo（重庆）智能科技有限公司 行车危险的提醒方法、装置、终端及计算机可读存储介质
CN109094458A (zh) * 2018-08-20 2018-12-28 特治（深圳）智能科技实业有限公司 车辆安全驾驶的控制方法及用于车辆安全驾驶的控制装置
CN109191187A (zh) * 2018-08-17 2019-01-11 浙江口碑网络技术有限公司 店铺推送信息的获取方法及装置
US20190259284A1 (en) * 2018-02-20 2019-08-22 Krishna Khadloya Pedestrian detection for vehicle driving assistance
CN110299013A (zh) * 2019-07-10 2019-10-01 深圳成谷科技有限公司 一种车辆危险驾驶行为的检测处理方法、装置及设备
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110705370A (zh) * 2019-09-06 2020-01-17 中国平安财产保险股份有限公司 基于深度学习的路况识别方法、装置、设备及存储介质
CN110910673A (zh) * 2018-09-14 2020-03-24 海信集团有限公司 一种提醒行人碰撞车辆的方法及***、摄像头、移动终端
CN111814766A (zh) * 2020-09-01 2020-10-23 中国人民解放军国防科技大学 车辆行为预警方法、装置、计算机设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215300A (ja) * 1993-01-19 1994-08-05 Mitsubishi Electric Corp 危険状況警報装置
CN105225509A (zh) * 2015-10-28 2016-01-06 努比亚技术有限公司 一种道路车辆智能预警方法、装置和移动终端
US20190259284A1 (en) * 2018-02-20 2019-08-22 Krishna Khadloya Pedestrian detection for vehicle driving assistance
CN108428343A (zh) * 2018-05-17 2018-08-21 长沙理工大学 一种多车驾驶行为分析和危险预警方法及***
CN108928294A (zh) * 2018-06-04 2018-12-04 Oppo（重庆）智能科技有限公司 行车危险的提醒方法、装置、终端及计算机可读存储介质
CN109191187A (zh) * 2018-08-17 2019-01-11 浙江口碑网络技术有限公司 店铺推送信息的获取方法及装置
CN109094458A (zh) * 2018-08-20 2018-12-28 特治（深圳）智能科技实业有限公司 车辆安全驾驶的控制方法及用于车辆安全驾驶的控制装置
CN110910673A (zh) * 2018-09-14 2020-03-24 海信集团有限公司 一种提醒行人碰撞车辆的方法及***、摄像头、移动终端
CN110299013A (zh) * 2019-07-10 2019-10-01 深圳成谷科技有限公司 一种车辆危险驾驶行为的检测处理方法、装置及设备
CN110399826A (zh) * 2019-07-22 2019-11-01 清华大学深圳研究生院 一种端到端人脸检测和识别方法
CN110705370A (zh) * 2019-09-06 2020-01-17 中国平安财产保险股份有限公司 基于深度学习的路况识别方法、装置、设备及存储介质
CN111814766A (zh) * 2020-09-01 2020-10-23 中国人民解放军国防科技大学 车辆行为预警方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111844A (zh) * 2021-04-28 2021-07-13 中德（珠海）人工智能研究院有限公司 一种作业姿态评估方法、装置、本地终端及可读存储介质
CN113111844B (zh) * 2021-04-28 2022-02-15 中德（珠海）人工智能研究院有限公司 一种作业姿态评估方法、装置、本地终端及可读存储介质

Similar Documents

Publication Publication Date Title
CN108022450B (zh) 一种基于蜂窝网络的辅助驾驶方法及交通控制单元
CN109389824B (zh) 一种驾驶风险的评估方法及装置
KR20190107057A (ko) 차량 움직임에 기반한 항법
JP2018028911A (ja) 運転者支援を与えるために交通音データを処理するためのシステム及び方法
CN109686124A (zh) 防碰撞提醒方法及***、存储介质和电子设备
Rummelhard et al. Probabilistic grid-based collision risk prediction for driving application
US9454905B2 (en) Safe distance determination
KR20240006532A (ko) 차량들의 운전 거동 검출
JP2020053046A (ja) 交通情報を表示するための運転者支援システム及び方法
CN104773177A (zh) 辅助驾驶方法和装置
US20180300620A1 (en) Foliage Detection Training Systems And Methods
CN109910880B (zh) 车辆行为规划的方法、装置、存储介质和终端设备
CN113674523A (zh) 交通事故分析方法、装置及设备
CN116194350A (zh) 生成多个模拟边缘情况驾驶场景
CN113935143A (zh) 通过自主车辆的增加的严重性等级估计碰撞概率
CN111145554B (zh) 一种基于自动驾驶aeb的场景定位方法和装置
CN116312045A (zh) 一种车辆危险预警方法及装置
CN112580535A (zh) 车辆危险警示方法及装置、计算机可读存储介质
JP2023024857A (ja) 路車間連携情報処理方法、装置、システム、電子機器、記憶媒体およびコンピュータプログラム
Shadrin et al. Testing procedures and certification of highly automated and autonomous road vehicles
CN114104000A (zh) 一种危险场景的评估与处理***、方法及存储介质
CN115270381A (zh) 仿真场景生成方法、装置、自动驾驶设备及可读存储介质
CN115855531B (zh) 自动驾驶汽车的测试场景构建方法、设备和介质
CN112912892A (zh) 自动驾驶方法和装置、距离确定方法和装置
CN114530057B (zh) 一种车辆预警方法、装置、车辆及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210330