CN111310607B - 基于计算机视觉和人工智能的公路安全风险识别方法及*** - Google Patents

Abstract

本发明提供一种基于计算机视觉和人工智能的公路安全风险识别方法及***，该方法包括：提取公路图像信息的图像特征，识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息；调取各路段的特征信息；对相应公路图像进行信息融合，得到融合后的每一公路图像及公路视频序列的知识表示；识别所述公路视频序列的第二安全风险信息；根据所述公路视频序列的知识表示、第一安全风险信息以及第二安全风险信息，基于预先训练好的第二决策模型，识别所述公路视频序列最终的安全风险信息。本发明能提高公路安全风险识别效率、准确率以及可靠性。

Description

基于计算机视觉和人工智能的公路安全风险识别方法及***

技术领域

本发明涉及道路安全风险检测领域，尤其涉及一种基于计算机视觉和人工智能的公路安全风险识别方法及***。

背景技术

随着汽车保有量的持续增长和城市化进程的加快，道路交通安全问题已经成为影响我国国民生产安全水平的主要问题之一。据统计资料显示，2002年以前我国交通事故发生总数是呈逐年上升趋势的，在2002—2015年间，安全事故逐渐从2002年最高的773137次减少到2015年的187781次，下降率为75.71％，这说明我国道路交通安全形势在逐渐好转。但从2015年的统计数据看，全国道路交通事故数、受伤人数、死亡人数和直接经济损失4项指标分别达到了18.8万起、20.0万人、5.8万人和10.4亿元，与国际领先道路安全水平还是存在一定距离，可见国内道路交通安全形势依然严峻。

通过对国内公路交通安全进行评测，对建设不规范、存在风险的公路进行及时的整改和防护，可以有效的减少交通事故发生的频率，同时大大减少交通事故造成的人员伤亡和经济损失。

现有的公路安全风险评估方法，主要依靠如下手段：

(1)采集公路的视频信息以及其他相关信息，通过专家观看采集的公路视频，提取视频中的几十项因素(比是否存在护栏端头，中分带护栏类型是否合理)。此手段每次评测都需要依靠人工从采集的图像中识别提取出大量的信息(例如需要从每张图像中，人为的寻找十几条到几十条不等的因素)，这对人力消耗的是巨大的。同时，这种方式对工作人员的专业要求十分高，而且还存在不同的工作人员带有不同的主观判断，标准不统一，随时工作时间的增加，工作质量和效率严重下降等问题。

(2)通过其他方式(比如日常积累的一些统计量，如交通事故率，交通流量)获取一些信息。最终通过计算模型、分析方法等，计算得到道路的危险安全判别。此种手段中，信息来源往往通过交通事故调查，交通量统计等，这些信息通常不能直观的反应出道路的情况，同时这些信息带有一定的滞后性。因此根据这类信息判断出的结果，不管是在准确性还是可解释性上有很大的局限性。

发明内容

本发明旨在提供一种基于计算机视觉和人工智能的公路安全风险识别方法及***，以改善现有公路安全风险识别效率、准确率以及可靠性不高的问题。

根据本发明的第一方面，一种基于计算机视觉和人工智能的公路安全风险识别方法，包括：利用预先训练好的卷积神经网络模型提取公路图像信息的图像特征，并根据所述图像特征识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息；根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息；根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示，并根据各公路图像之间的时序关系，基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示；根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息；根据所述公路视频序列的知识表示、第一安全风险信息以及第二安全风险信息，基于预先训练好的第二决策模型，识别所述公路视频序列最终的安全风险信息。

进一步地，根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息的步骤，包括：将公路视频序列的知识表示输入预先构建好的专家知识库，识别得到第三安全风险信息以及相应的置信度，所述第三安全风险信息相应的置信度取值为0或者1；将基于公路视频序列的知识表示提取得到的特征向量输入第一决策模型，识别得到所述公路视频序列的第四安全风险信息以及相应的置信度，所述第四安全风险信息相应的置信度取值范围为0-1；根据所述第三安全风险信息的置信度以及所述第四安全风险信息的置信度的高低，对所述第三安全风险信息以及所述第四安全风险信息进行融合得到所述第二安全风险信息。

进一步地，根据所述图像特征识别公路图像中的包含预设目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息的步骤包括：将所述图像特征输入目标检测网络，识别公路图像中的包含预设目标的目标区域、所述目标区域中的目标类别以及目标类别的置信度；将所述图像特征分类，识别公路图像中路段的场景信息、场景信息的置信度、公路图像中的第一安全风险信息以及第一安全风险信息的置信度。

进一步地，根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息的步骤包括：将所述公路图像信息中各路段的经纬度信息输入第三方接口，调取各路段的特征信息，所述特征信息包括路段的限速信息、弯道信息或/和设计图纸信息。

进一步地，根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示的步骤包括：对于所述公路图像信息中各待修正路段中目标类别的置信度低于第一阈值、场景信息的置信度低于第二阈值或者第一安全风险信息的置信度低于第三阈值的路段的知识表示，根据对应路段的特征信息进行修正，得到融合后所述公路图像的知识表示；其中，所述待修正路段为所述公路图像信息中同时包含所述特征信息与图像识别信息的路段，所述图像识别信息包括所述目标区域、目标类别以及场景信息；对于所述公路图像信息中各待修正路段中目标类别的置信度高于第四阈值、场景信息的置信度高于第五阈值或者第一安全风险信息的置信度高于第六阈值的路段的特征信息，根据对应路段的目标类别、场景信息或者第一安全风险信息进行修正，得到融合后所述公路图像的知识表示；对所述公路图像信息中不同时具有所述特征信息与图像识别信息的路段，根据具有的所述特征信息或图像识别信息，得到融合后所述公路图像的知识表示。

进一步地，所述基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示的步骤包括：根据采样时间先后将各公路图像排序，对于每一公路图像的知识表示利用前后公路图像的知识表示修正，得到包括所述每一公路图像的公路视频序列的知识表示。

根据本发明的第二方面，一种基于计算机视觉和人工智能的公路安全风险识别***，包括：视觉信息模块，用于利用预先训练好的卷积神经网络模型提取公路图像信息的图像特征，并根据所述图像特征识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息；特征调取模块，用于根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息；知识融合模块，用于根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示，并根据各公路图像之间的时序关系，基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示；风险决策模块，用于根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息；风险识别模块，用于根据所述公路视频序列的知识表示、第一安全风险信息以及第二安全风险信息，基于预先训练好的第二决策模型，识别所述公路视频序列最终的安全风险信息。

进一步地，所述风险决策模块包括：专家知识库，用于接收公路视频序列的知识表，识别得到第三安全风险信息以及相应的置信度，所述第三安全风险信息相应的置信度取值为0或者1；第一决策模型，用于接收基于公路视频序列的知识表示提取得到的特征向量，识别得到所述公路视频序列的第四安全风险信息以及相应的置信度，所述第四安全风险信息相应的置信度取值范围为0-1；风险决策单元，用于根据所述第三安全风险信息的置信度以及所述第四安全风险信息的置信度的高低，对所述第三安全风险信息以及所述第四安全风险信息进行融合得到所述第二安全风险信息。

进一步地，所述知识融合模块包括：知识融合单元，用于对于所述公路图像信息中各待修正路段中目标类别的置信度低于第一阈值、场景信息的置信度低于第二阈值或者第一安全风险信息的置信度低于第三阈值的路段的知识表示，根据对应路段的特征信息进行修正，得到融合后所述公路图像的知识表示；其中，所述待修正路段为所述公路图像信息中同时包含所述特征信息与图像识别信息的路段，所述图像识别信息包括所述目标区域、目标类别以及场景信息；对于所述公路图像信息中各待修正路段中目标类别的置信度高于第四阈值、场景信息的置信度高于第五阈值或者第一安全风险信息的置信度高于第六阈值的路段的特征信息，根据对应路段的目标类别、场景信息或者第一安全风险信息进行修正，得到融合后所述公路图像的知识表示；对所述公路图像信息中不同时具有所述特征信息与图像识别信息的路段，根据具有的所述特征信息或图像识别信息，得到融合后所述公路图像的知识表示。

进一步地，所述知识融合模块还包括：时序建模单元，用于根据采样时间先后将各公路图像排序，对于每一公路图像的知识表示利用前后公路图像的知识表示修正，得到包括所述每一公路图像的公路视频序列的知识表示。

本发明的基于计算机视觉和人工智能的公路安全风险识别方法及***，基于采集的视频和对应的经纬度信息，通过卷积神经网络，从采集的道路图像中抽取高层语义信息，根据经纬度信息，调取各路段的特征信息，同时结合时序信息共同构成道路知识表示，分别在图像上通过卷积神经网络和在知识表示的基础上通过第一决策模型的方法进行图像级别的安全判别，并基于第二决策模型进行综合判别，并给出道路危险因素，解决现有的道路安全评测方法以专家人工主观评测为主，存在费时费力，人力成本高等问题，提高公路安全风险识别效率、准确率以及可靠性。

参照附图来阅读对于示例性实施例的以下描述，本发明的其他特性特征和优点将变得清晰。

附图说明

并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在这些附图中，类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例，而不是全部实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。

图1为本发明一种基于计算机视觉和人工智能的公路安全风险识别方法实施例的流程图；

图2为本发明另一种基于计算机视觉和人工智能的公路安全风险识别方法实施例的流程图，为了方便理解，图中示出了各个模块执行主体；

图3为图2所示方法中视觉信息模块利用卷积神经网络进行图像分析的示意图；

图4为本发明一种基于计算机视觉和人工智能的公路安全风险识别***实施例的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

如图1所示，本发明一种基于计算机视觉和人工智能的公路安全风险识别方法，包括：

步骤101：利用预先训练好的卷积神经网络模型提取公路图像信息的图像特征，并根据所述图像特征识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息；

步骤102：根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息；比如通过第三方API、设计图纸等获得外部信息；

步骤103：根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示，并根据各公路图像之间的时序关系，基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示；

步骤104：根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息；

步骤105：根据所述公路视频序列的知识表示、第一安全风险信息以及第二安全风险信息，基于预先训练好的第二决策模型，识别所述公路视频序列最终的安全风险信息。

本发明基于计算机视觉和人工智能的公路安全风险识别方法基于(视频采集车)采集的视频和对应的经纬度信息，经过抽帧处理后，通过卷积神经网络，从采集的道路图像中抽取高层语义信息，根据经纬度信息，调取各路段的特征信息，同时结合时序信息共同构成道路知识表示，分别在图像上通过卷积神经网络和在知识表示的基础上通过第一决策模型(如决策树)的方法进行图像级别的安全判别，并基于第二决策模型进行综合判别，并给出道路危险因素，解决现有的道路安全评测方法以专家人工主观评测为主，存在费时费力，人力成本高等问题，提高公路安全风险识别效率、准确率以及可靠性。

如图2所示，本发明提供一种基于计算机视觉和人工智能的公路安全风险识别方法，其为图1所示方法实施例的优选实施方式，图1所示实施例的解释说明可以应用于本实施例，本实施例的基于计算机视觉和人工智能的公路安全风险识别方法包括：

1：如图2所示，接收输入的图像序列或者视频，每张图像或者视频每帧对应的经纬度信息。具体可以对于接收的视频信息，根据要求按间隔抽帧，获得图像序列，并得到抽出图像序列对应的经纬度信息。

2：上述步骤101由视觉信息模块执行，具体地，视觉信息模块对于输入的图像进行分析，得到以下三类输出结果：

a)图像中存在的目标的区域和该区域目标的类别，统称目标信息；

b)图像中存在的关系道路安全的场景，即场景信息；

c)图像所示路段属于危险路段的概率，即安全/危险判别(即危险因素，包含置信度)

视觉信息模块的具体工作过程解释如下：基于目标检测网络faster-rcnn的基础上设计一个多任务的卷积神经网络，用于同时生成图像所示道路上存在的目标，道路包含的场景，以及道路的安全危险情况。卷积神经网络以单张图像为输入。网络结构如图3所示，分为主干网络、目标检测分支、分类分支。其中，主干网络部分分为两部分，主要用于从输入的图像中提取特征，具体可以删掉最后一层全连接层的ResNet-101,(ResNet是2015年由何恺明等人提出的图像分类网络，通过设计跳跃连接的结构，将卷积神经网络的深度加深)。在卷积神经网络中，低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。FPN网络结构(FPN网络结构2016年由Tsung-Yi Lin等人提出)通过融合底层和高层的特征图，在不同的层进行预测，以获得更加鲁棒的语义信息。具体的方法是通过一个自底向上的方式、一个自顶向下的方式。

自底向上的方式:自底向上的方式的主体是ResNet101网络的前向计算，它计算了一个由多个尺度特征图组成的特征层次结构，每个层次结构由不同组数的不同的卷积组块组成，每步的缩放大小为2。通常有许多层产生相同大小的特征图，这些层被定义为相同的网络阶段。取每个阶段残差块最后的输出(即conv2、conv3、conv4和conv5的输出)被表示为{C2，C3，C4，C5}，与输入图像相比，它们的大小分别比原图像缩小4，8，16，32倍。

自顶向下的方式：自顶向下的方式，对于高层分辨率低的特征图，将其空间分辨率提高2倍(使用双线性插值)。然后，通过像素相加的方式将上采样的特征图和相应的自底向上的特征图融合，并通过1×1的卷积减低通道的数目。为了减少上采样过程导致的混叠效应，对于自顶向下方式得到的特征图，通过一个3×3卷积生成最终的特征图，最终的特征图集合被称为{P2，P3，P4，P5}，对应于{C2，C3，C4，C5}，它们分别具有相同的空间大小。

主干网络得到的特征将会分别用于目标检测分支和分类分支。目标检测分支以目标检测网络Faster-rcnn(Ross B.Girshick在2016年提出)为基础，主要分为两个阶段：RPN网络(区域提议网络)和ROI-Head部分：

其中，RPN网络是目标检测任务中两阶段检测方法中用于提取区域提议(regionproposal)的方法，RPN网络把一个任意尺度的特征图作为输入，输出一系列的矩形对象提议(object proposals)，每个对象提议都有一个对象得分(objectness score)。

本实施例通过RPN网络可以得到道路图像中存在关系道路安全因素的目标区域，并得到一个对应的置信得分。为了生成区域提议，在FPN网络输出的不同尺度的特征图上滑动一个小网络。这个小网络将特征图上的n×n空间窗口作为输入。每个滑动窗口映射到一个低维特征，并通过一个ReLU函数激活，这个低维的特征被输入到两个子全连接层：一个边界框回归层和一个分类层。分类层对于每个预设的锚点(anchor)会得到前景(关系道路安全因素的目标区域)和背景的置信得分，边界框回归层会对每个预设的锚点(anchor)的位置进行修正，使锚点(anchor)更靠近关系道路安全因素的目标区域。

在每个滑动窗口位置，会同时预测多个区域提议，其中每个位置可能提议的最大数目表示为k。因此，边界框回归层具有4k个输出，编码k个边界框的坐标，分类层会输出2k个分数，估计每个提议是关系道路安全因素的目标区域的概率。相对于称之为锚点的k个参考边界框，k个提议是参数化的。锚点位于滑动窗口的中心，并与一个预先设定的尺度和长宽比相关。通过RPN网络会得到一张图像中的关系道路安全因素的目标区域(零到多个都有可能，会以相对于全图的坐标位置的形式传递给ROI-Head部分)。

ROI-Head部分主要功能是对上一部分得到的关系道路安全因素的目标区域进行进一步的分析，将目标区域细分成具体类别，同时对位置每个目标区域的位置，进行进一步的修正。具体的操作如下：通过使用ROI Align将通过RPN得到的关系道路安全因素的目标区域从对应的特征图中提取出来，并统一到相同的尺寸，得到许多对应于道路安全因素的目标区域的小的特征图。对于得到的对应每个目标区域的小特征图连续使用两个全连接层，之后会得到一个一维度的特征向量，对于这个向量分别连接一个用于区分目标区域类别的全连接层和一个用于修正目标区域位置的全连接层。通过目标检测分支可以得到道路中哪些区域存在哪些目标(包含置信度)，目标类型如表1所示。

表1.目标检测目标列表

分类分支部分将主干网络部分得到的特征图作为输入，通过ROI Align将特征图池化到固定尺寸，对得到的特征分别作为多个不同场景分类分支和危险安全判别分支的输入，每个分支通过3个相连的全连接层来做二分类问题，即该段道路中是否存在某个场景和该段道路是否安全。通过分类分支可以得到道路中存在哪些场景(场景分类见表2)，以及从视觉角度上判别道路是否安全(包含置信度)。

表2图像场景分类列表

3：上述步骤102由信息调取模块执行，具体对于输入的对应于图像的经纬度信息，通过信息调取模块可能得到三类输出结果(对于不同路段，信息调取模块能得到的结果不固定，可能得到三类结果中的几种或者都得不到)：该路段的限速信息、该路段的实际弯道半径以及该路段的设计图纸。需要说明的是，信息调取模块获得的外部信息可以不限于上述三种，在此不做限定，此外对于每个路段，也有可能也不能获得任何外部特征信息。

信息调取模块通过第三方API接口和公路的建设图纸获取对于视觉信息部分得到的知识表示的补充。通过采集图像的经纬度与外部信息相对应，实现信息融合。通过设计图纸获得信息可以包含多种(详见表3，表3所示数据仅为部分结果，不应做限定性理解)。

表3设计图纸提取信息

4：上述步骤103由知识融合模块执行，具体将视觉信息模块及信息调取模块得到的信息进行融合矫正，构成一个关于该路段的知识表示，并对这些知识表示特征化，形成特征向量。因为基于图像得到的信息和通过外部得到的信息是有重叠的，重叠的信息通过获取信息的途径和置信度相互矫正。对于时序上具有先后顺序的多张图像执行视觉信息模块及信息调取模块的相关操作，获得连续的多个路段的知识表示、特征向量，根据这些路段的空间上的关系，对得到的知识表示、特征向量进行校正。比如当前图像的远端可以看到下张图像，会检测出下张图像上的目标，通过联合几张图像的知识信息，可以对目标的误检和漏检进行矫正。

具体而言，知识融合部分的功能为融合来自视觉信息部分的知识表示跟来自外部信息部分的知识表示。主要分为两个方面：1)知识之间的互相补充2)融合两部分的知识形成新的知识。

通过视觉信息模块得到的知识表示并不一定全部正确不管是对于道路中存在的关系道路安全的目标检测还是道路中存在关系道路安全的场景检测都有可能存在误检和漏检。通过特征调取模块得到的知识表示也会存在问题，比如经纬度的采集上存在误差会导致得到的外部信息并不准确，同时外部信息存在一定的滞后性，尤其是设计图纸，随着道路维修、维护等情况，可能与实际情况存在偏差。在知识融合部分不仅会根据视觉信息部分高置信度的知识，去矫正外部信息中滞后性较高的知识，还会根据外部信息中的信息去矫正视觉信息中置信度较低知识，并将两部分知识不重叠的部分拼接在一起，形成单张图像的知识。

比如，视觉信息中得到该部分有较高的置信度表征道路存在急弯，但是外部信息中通过谷歌地图得到的信息表征是直线路段，设计图纸给出信息弯道半径属于较急的弯道，那么经过相互矫正得到该路段为急弯路段，弯道半径为设计图纸给出的弯道半径。由此通过知识融合部分得到单张图像的知识表示。

此外，知识融合部分还包括时序建模功能，具体为通过道路之间的先后关系，根据前后道路的知识，修正当前路段的知识。图像序列的采集一般会以每200米间隔采集图像，当前道路图像会包含下一张道路图像的部分信息。通过这部分信息的相互纠正，修正知识中错误的部分，同时加强正确部分的置信度。例如，视觉信息模块部分中存在的关系道路安全的目标检测和道路中存在关系道路安全的场景检测漏检，误检的情况。比如当前图像发现下一张图像存在一个接入口，到了下一张图像该接入口，因为被过往车辆遮挡或者摄像头盲区的原因没有检出，可以通过上一张图像的信息补充。通过时序建模，将离散的每段道路知识，拼接成一整条道路的知识，当前路段的许多信息实现共用。例如某一路段发现了限速标志，那么整条道路的限速信息都可以采取这一路段的限速信息，路段发现了连续的边沟(一般为连续存在)，可以补充为一条道路的信息。通过时序建模得到最终的知识表示。得到最终的知识表示之后，将得到的知识表示编码为特征向量，上述知识表示采用的编码规则为：

1)对于视觉信息模块目标检测的知识每个类别占n_i*6维度(i＝1,2…N，N为存在目标种类的数目)，n_i为每个类别目标在一段道路中能出现的频次上限。6个维度分别表示目标的左上，右下坐标(共四个值)，目标所述类别(每个类别对应1-N)，置信度。n_i对于所有图像是固定的。(每张图像检测出的第i类目标数目可能达不到n_i，这种情况全部置0)。

2)对于视觉信息模块分类得到的知识，每个类占两维，值分别为该类别存在与不存的置信度。

3)对于特征调取模块，数值型的知识(如弯道半径)每个占一维，值为该知识表示的数值。存在性的知识(如是否是高速公路)每个占一维，值以0，1表示(0表示不存在，1表示存在)。通过特征表示部分，可以得到对于每张图像的一维的特征表示向量。

5：上述步骤103由风险决策模块执行，关于每个路段的知识表示和特征向量，同步完成以下操作：

5a，对于知识表示送人基于专家知识构建的知识库中，推理危险因素(例如急弯路段，缺乏护栏可以得到弯道路段线性不良的危险因素)。

5b，对于得到的特征表示输入多个在模型生成阶段训练好的用于区分每类危险因素是否出现的XGBoost模型(即危险因素推理模型，也即第一决策模型)，推理危险因素。

也就是说，风险决策模块分为两个部分，危险因素推理和安全危险判定。其中，危险因素推理共分为两部分，基于知识库的危险因素推理和基于决策树模型的危险因素推理。对于基于知识库的危险因素推理，专家知识库是通过大量道路安全领域专家水平的知识与经验构建的，其内部含有大量的道路安全领域的知识与经验，能够利用人类专家的知识和解决问题的方法来处理道路安全危险因素的推理逻辑。

具体来说，本实施例通过收集大量的道路安全领域的专家处理安全风险评估使用的知识、方法和经验，构建了基于专家知识的知识库。在模型的推理阶段，将前几部分得到的知识表示作为输入，通过知识库中的逻辑推理得出道路中存在的风险因素。对于基于决策树模型的危险因素推理。以特征表示部分得到的特征向量作为输入，针对每一种危险因素，训练一个XGBoost模型。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。XGBoost是将许多树模型集成在一起，形成一个很强的分类器。用于判断该类危险情况是否存道路中。风险决策模块得到两种类型的危险因素，1)由知识库推理得到的危险因素2)由决策模型得到的危险因素(包含置信度)。两类结果互相验证后(知识库推理得到的结果为存在的类别置信度都置为1，不存在的类别置信度置0，决策模型会输出每个类别0-1的置信度，对于小于阈值的类别，决策模型置信度置0，之后将知识库推理和决策模型得到的置信度相加)，作为最终的危险因素输出。预设的危险因素种类见表4(仅为举例说明，不应做限定性理解)。

表4危险因素类别

6：上述步骤104由风险识别模块执行，将视觉信息模块、知识库以及第一决策模型得到的危险因素输入在模型生成阶段训练好的用于判别道路安全危险的XGBoost模型(即危险安全判别模型，也即第二决策模型)，判别道路危险/安全。

风险识别模块用于最终判别安全危险，在特征表示部分得到的特征表示的基础上，扩展特征表示的维度：新增2维，分别是视觉信息模块得出道路安全与道路危险的置信度；针对每类危险因素新增一维，对于由知识库得到的推理结果采用0,1编码，决策模型得到的推理结果数值为置信度。根据新得到的特征表示，训练一个XGBoost模型，用于最终判别道路危险安全。

本实施例基于计算机视觉和人工智能的公路安全风险识别方法根据采集的视频、图像信息识别出图像中道路安全评测中所关注的目标区域，并对部分目标进行细化分析，将图像信息转化为成高层的语义知识。同时设计多任务的卷积神经网络在给出图像存在目标区域的同时，从图像的角度对道路进行安全/危险的判定。根据采集道路图像对应的经纬度信息通过第三发提供API接口、道路的设计图纸等途径获取针对每张图像的知识补充。融合视觉信息，时序信息，空间信息，补充信息等构建多线索融合的知识表示：将视觉信息模块、信息模块得到的知识表示和知识补充相互矫正融合，形成用于描述每张图像对应道路的知识表示。通过视频序列的时序信息，修正具有时序上先后关系的道路的知识表示，得到新的知识表示。根据上述的知识表示，通过决策模型和基于专家知识的知识库推理得出道路存在的危险因素。综合知识表示、危险因素、神经网络得出的基于图像的危险判别，通过决策模型最终给出对应道路的危险安全判别，提高公路安全风险识别效率、准确率以及可靠性。

如图4所示，本发明还提供一种基于计算机视觉和人工智能的公路安全风险识别***，其为图1及图2所示方法实施例的对应的装置实施例，图1-图3所示实施例的解释说明可以应用于本实施例，该基于计算机视觉和人工智能的公路安全风险识别***包括：

视觉信息模块401，用于利用预先训练好的卷积神经网络模型提取公路图像信息的图像特征，并根据所述图像特征识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息。

具体地，视觉信息模块401将采集到的单帧图像，通过卷积神经网络提取特征，得到多个不同尺度的特征图，在这些特征图上，并行地进行两个分支预测。如图3所示，在第一个分支上使用区域提议网络(RPN)，提取潜在存在目标(公路安全关注的一些目标如护栏，立柱等)的区域。并将得到的潜在存在目标的区域对应的特征区域送入检测网络，最终得到单帧图像中哪些区域存在公路安全所关注的目标。对于得到的特征，送入多个专注于不同任务的分类网络：从图像级别上预测该路段是否存在危险因素；从图像级别上判断是否存在一些关系道路安全的场景因素，例如弯道，邻山崖，邻水等。

特征调取模块402，用于根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息；即通过每张图像的经纬度信息，获取该路段的除视觉信息以外的其他补充信息(如路段的限速信息，道路设计图纸信息等)，形成道路的外部知识。

知识融合模块403，用于根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示，并根据各公路图像之间的时序关系，基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示。

具体地，知识融合模块403有三个功能：

1.对于单帧图像，将视觉信息模块和外部信息模块获取的信息匹配融合，去除冗余信息，构建对于单帧图像的知识表示。

2.根据视频序列，建模连续的多帧图像的知识表示信息，形成更加丰富的面向道路安全评测的知识表示。

3.根据得到的知识表示，构建一维的特征表示向量。

风险决策模块404，用于根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息。具体地，风险决策模块404基于道路安全领域的安全判别要求准则、道路建设要求准则、专业知识，以及专家经验，构建用于知识推理的知识库，通过前几部分得到的知识表示，推理道路中存在的危险因素，并通过得到的特征表示向量，构建多个决策树模型得出存在各类风险因素的概率。

风险识别模块405，用于根据所述公路视频序列的知识表示、第一安全风险信息以及第二安全风险信息，基于预先训练好的第二决策模型，识别所述公路视频序列最终的安全风险信息。即结合知识表示，危险因素的推理结果，以及视觉信息部分卷积神经网络给出的图像的安全危险判定，构建用于综合决策树模型，最终得到道路危险安全的判别。

优选地，所述风险决策模块404包括：

专家知识库(图中未示出)，用于接收公路视频序列的知识表，识别得到第三安全风险信息以及相应的置信度，所述第三安全风险信息相应的置信度取值为0或者1；

第一决策模型(图中未示出)，用于接收基于公路视频序列的知识表示提取得到的特征向量，识别得到所述公路视频序列的第四安全风险信息以及相应的置信度，所述第四安全风险信息相应的置信度取值范围为0-1；

风险决策单元(图中未示出)，用于根据所述第三安全风险信息的置信度以及所述第四安全风险信息的置信度的高低，对所述第三安全风险信息以及所述第四安全风险信息进行融合得到所述第二安全风险信息。

优选地，所述知识融合模块403包括；

知识融合单元(图中未示出)，用于对于所述公路图像信息中各待修正路段中目标类别的置信度低于第一阈值、场景信息的置信度低于第二阈值或者第一安全风险信息的置信度低于第三阈值的路段的知识表示，根据对应路段的特征信息进行修正，得到融合后所述公路图像的知识表示；其中，所述待修正路段为所述公路图像信息中同时包含所述特征信息与图像识别信息的路段，所述图像识别信息包括所述目标区域、目标类别以及场景信息；对于所述公路图像信息中各待修正路段中目标类别的置信度高于第四阈值、场景信息的置信度高于第五阈值或者第一安全风险信息的置信度高于第六阈值的路段的特征信息，根据对应路段的目标类别、场景信息或者第一安全风险信息进行修正，得到融合后所述公路图像的知识表示；对所述公路图像信息中不同时具有所述特征信息与图像识别信息的路段，根据具有的所述特征信息或图像识别信息，得到融合后所述公路图像的知识表示。

优选地，所述知识融合模块403还包括；

时序建模单元(图中未示出)，用于根据采样时间先后将各公路图像排序，对于每一公路图像的知识表示利用前后公路图像的知识表示修正，得到包括所述每一公路图像的公路视频序列的知识表示。

需要说明的是，本实施例在设计开发阶段还有模型训练的过程：主要是通过标注数据，训练在运行流程的阶段使用的预测、检测、决策、分类模型。主要有一下几个模型的构建：训练视觉信息模块401的多任务卷积神经网络；训练风险决策模块404用于决策危险因素的决策树模型；训练风险识别模块405用于判定安全危险等级的决策树模型；以及构建用于危险因素推理的基于专家知识的知识库。其中，对于视觉信息模块401的模型生成部分，首先通过人工数据的标注的情况，对合计60000张采集的图像进行标注，标注内容包括：

a)每张道路图像中存在表一中所示目标的最小外接矩形和对应的类别(对于一些不容易界定最小外接图像的图像进行了规则化处理)

b)每张图像中存在表3中所示的哪几种场景类别

c)每张图像由专家认定的安全危险判别(用于视觉信息模块401与决风险决策模块404)

d)每张图像中存在哪些危险因素(用于风险决策模块404的标注)

根据上述的标注和图像训练视觉信息模块401的网络，根据损失反向传播梯度，学习网络参数，最终网络收敛，模型生成阶段结束。

本实施例通过应用模块化设计的思路，共分为四个主要模块：基于深度学习和计算机视觉的视觉信息模块、特征调取模块、知识融合模块、风险决策模块以及风险识别模块，以道路安全信息采集车采集的视频、图像信息，和同步获取每一帧图像对应的经纬度信息作为输入，全部过程不需要人工干预，可以直接通过视频、图像数据跟一些补充信息，自动、高效的对公路安全进行评测，同时给出存在危险原因，大幅度削减人力、物力开销，又能高效高质量的实现对道路的安全评测，同时对于评测结果具有可解释性，解决了现有的方法进行道路安全评测时，过于依赖于人工设计的因素、特征，对不同的场景和情况泛化能力和鲁棒性都不强，方法更新迭代的能力比较差的不足。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于计算机视觉和人工智能的公路安全风险识别方法，其特征在于，包括：

利用预先训练好的卷积神经网络模型提取公路图像信息的图像特征，并根据所述图像特征识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息；

根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息；

根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示，并根据各公路图像之间的时序关系，基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示；

根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息；

根据所述公路视频序列的知识表示、第一安全风险信息以及第二安全风险信息，基于预先训练好的第二决策模型，识别所述公路视频序列最终的安全风险信息。

2.如权利要求1所述的基于计算机视觉和人工智能的公路安全风险识别方法，其特征在于：根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息的步骤，包括：

将公路视频序列的知识表示输入预先构建好的专家知识库，识别得到第三安全风险信息以及相应的置信度，所述第三安全风险信息相应的置信度取值为0或者1；

将基于公路视频序列的知识表示提取得到的特征向量输入第一决策模型，识别得到所述公路视频序列的第四安全风险信息以及相应的置信度，所述第四安全风险信息相应的置信度取值范围为0-1；

根据所述第三安全风险信息的置信度以及所述第四安全风险信息的置信度的高低，对所述第三安全风险信息以及所述第四安全风险信息进行融合得到所述第二安全风险信息。

3.如权利要求2所述的基于计算机视觉和人工智能的公路安全风险识别方法，其特征在于：根据所述图像特征识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息的步骤包括：

将所述图像特征输入目标检测网络，识别公路图像中的包含预设安全隐患目标的目标区域、所述目标区域中的目标类别以及目标类别的置信度；

将所述图像特征分类，识别公路图像中路段的场景信息、场景信息的置信度、公路图像中的第一安全风险信息以及第一安全风险信息的置信度。

4.如权利要求3所述的基于计算机视觉和人工智能的公路安全风险识别方法，其特征在于：根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息的步骤包括：

将所述公路图像信息中各路段的经纬度信息输入第三方接口，调取各路段的特征信息，所述特征信息包括路段的限速信息、弯道信息或/和设计图纸信息。

5.如权利要求4所述的基于计算机视觉和人工智能的公路安全风险识别方法，其特征在于：根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示的步骤包括：

对于所述公路图像信息中各待修正路段中目标类别的置信度低于第一阈值、场景信息的置信度低于第二阈值或者第一安全风险信息的置信度低于第三阈值的路段的知识表示，根据对应路段的特征信息进行修正，得到融合后所述公路图像的知识表示；其中，所述待修正路段为所述公路图像信息中同时包含所述特征信息与图像识别信息的路段，所述图像识别信息包括所述目标区域、目标类别以及场景信息；

对于所述公路图像信息中各待修正路段中目标类别的置信度高于第四阈值、场景信息的置信度高于第五阈值或者第一安全风险信息的置信度高于第六阈值的路段的特征信息，根据对应路段的目标类别、场景信息或者第一安全风险信息进行修正，得到融合后所述公路图像的知识表示；

对所述公路图像信息中不同时具有所述特征信息与图像识别信息的路段，根据具有的所述特征信息或图像识别信息，得到融合后所述公路图像的知识表示。

6.如权利要求5所述的基于计算机视觉和人工智能的公路安全风险识别方法，其特征在于：所述基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示的步骤包括：

根据采样时间先后将各公路图像排序，对于每一公路图像的知识表示利用前后公路图像的知识表示修正，得到包括所述每一公路图像的公路视频序列的知识表示。

7.一种基于计算机视觉和人工智能的公路安全风险识别***，其特征在于，包括：

视觉信息模块，用于利用预先训练好的卷积神经网络模型提取公路图像信息的图像特征，并根据所述图像特征识别公路图像中的包含预设安全隐患目标的目标区域及所述目标区域中的目标类别、公路图像中路段的场景信息以及公路图像中的第一安全风险信息；

特征调取模块，用于根据所述公路图像信息中各路段的经纬度信息，调取各路段的特征信息；

知识融合模块，用于根据识别得到每一公路图像的所述目标区域、所述目标区域中的目标类别、各路段的场景信息以及特征信息，对相应公路图像进行信息融合，得到融合后的每一公路图像的知识表示，并根据各公路图像之间的时序关系，基于融合后的每一公路图像的知识表示，融合得到包含所述每一公路图像的公路视频序列的知识表示；

风险决策模块，用于根据所述公路视频序列的知识表示，基于预先构建好的专家知识库以及第一决策模型，识别所述公路视频序列的第二安全风险信息；

风险识别模块，用于根据所述公路视频序列的知识表示、第一安全风险信息以及第二安全风险信息，基于预先训练好的第二决策模型，识别所述公路视频序列最终的安全风险信息。

8.如权利要求7所述的基于计算机视觉和人工智能的公路安全风险识别***，其特征在于：所述风险决策模块包括：

专家知识库，用于接收公路视频序列的知识表示，识别得到第三安全风险信息以及相应的置信度，所述第三安全风险信息相应的置信度取值为0或者1；

第一决策模型，用于接收基于公路视频序列的知识表示提取得到的特征向量，识别得到所述公路视频序列的第四安全风险信息以及相应的置信度，所述第四安全风险信息相应的置信度取值范围为0-1；

风险决策单元，用于根据所述第三安全风险信息的置信度以及所述第四安全风险信息的置信度的高低，对所述第三安全风险信息以及所述第四安全风险信息进行融合得到所述第二安全风险信息。

9.如权利要求8所述的基于计算机视觉和人工智能的公路安全风险识别***，其特征在于：所述知识融合模块包括：

知识融合单元，用于对于所述公路图像信息中各待修正路段中目标类别的置信度低于第一阈值、场景信息的置信度低于第二阈值或者第一安全风险信息的置信度低于第三阈值的路段的知识表示，根据对应路段的特征信息进行修正，得到融合后所述公路图像的知识表示；其中，所述待修正路段为所述公路图像信息中同时包含所述特征信息与图像识别信息的路段，所述图像识别信息包括所述目标区域、目标类别以及场景信息；对于所述公路图像信息中各待修正路段中目标类别的置信度高于第四阈值、场景信息的置信度高于第五阈值或者第一安全风险信息的置信度高于第六阈值的路段的特征信息，根据对应路段的目标类别、场景信息或者第一安全风险信息进行修正，得到融合后所述公路图像的知识表示；对所述公路图像信息中不同时具有所述特征信息与图像识别信息的路段，根据具有的所述特征信息或图像识别信息，得到融合后所述公路图像的知识表示。

10.如权利要求9所述的基于计算机视觉和人工智能的公路安全风险识别***，其特征在于：所述知识融合模块还包括：

时序建模单元，用于根据采样时间先后将各公路图像排序，对于每一公路图像的知识表示利用前后公路图像的知识表示修正，得到包括所述每一公路图像的公路视频序列的知识表示。

Images