CN114926983A - 一种面向交通事故应急的多尺度综合感知方法 - Google Patents

Abstract

本发明公开了一种面向交通事故应急的多尺度综合感知方法，采用交通视频摄像头的实时视频数据，利用目标检测算法，提取出可能的道路突发事故信息；基于事故时空位置信息，自动规划机动的无人机平台，飞行到现场附近进行勘察，提取事故范围和现场信息；基于现场信息，自动规划地面的移动测量车平台，进行近距离视频观察；利用移动测量车搭载的大气环境传感器，进行现场环境参数监测；基于交通视频和环境监测数据，服务器提供交通事故现场感知结果数据，供后续道路救援决策参考。本发明方法实现了多个空地跨尺度平台之间的交通事故综合化感知，获得一次交通事故现场多个维度的感知数据结果，支撑交通事故的科学应急决策。

Description

一种面向交通事故应急的多尺度综合感知方法

技术领域

本发明涉及交通监管领域，尤其涉及一种面向交通事故应急的多尺度综合感知方法。

背景技术

城市交通一直是智慧城市建设的重点领域。然而，城市道路基础设施的更新速度始终跟不上道路机动车的增长速度，在高峰时段和关键路口，城市交通车流量剧增，并导致一系列交通问题，其中最为关注的就是突发交通事故问题。交通事故往往造成车辆受损、人员受伤甚至死亡，并严重影响道路通行效率。为此，针对频发的交通事故应急场景，进行即时、全面和准确的感知，是一个非常紧迫的现实需求和技术难题。

传统的交通事故应急感知主要依赖人工报警的手段，采用人为调度模式，时间滞后性问题比较突出。最近这些年，逐步采用了交通摄像头的技术手段进行重点路段交通事故的实时检测和多摄像头的联动跟踪，因而在时效性方面取得了较大进步。与此同时，无人机、移动测量车甚至卫星遥感等新型感知平台也逐步应用到交通监测分析中。然而，从整体论和***论的角度，我们可以看到，当前用于交通事故应急感知的各类平台(例如摄像头、无人机和移动测量车)之间往往独立运作，缺乏空中平台和地面平台之间的协同方法。这一问题导致在应对同一个交通事故时，需要人为地进行调度、规划和分析，耗时耗力，无法做到即时响应。为此，当前亟需构建一种空中平台和地面平台相互协同的多尺度感知方法，综合利用多种感知平台的互补优势，为交通事故应急提供即时、全面和准确的感知。

发明内容

针对现有技术的不足，本申请提出一种面向交通事故应急的多尺度综合感知方法。

本发明提出的一种面向交通事故应急的多尺度综合感知方法，具体包括以下步骤：

步骤1，采用固定点位部署的交通视频摄像头的实时视频数据，利用目标检测算法，提取出可能的道路交通事故时空位置信息；

步骤2，基于所述交通事故时空位置信息，自动规划机动的无人机平台，飞行到现场附近进行交通事故具体勘察，提取出事故范围和现场信息；

步骤3，基于所述现场信息，自动规划地面的移动测量车平台，运动到现场进行近距离视频观察；

步骤4，利用移动测量车搭载的大气环境传感器，进行实时的事故现场环境参数监测，获得环境参数；

步骤5，基于环境参数、交通事故时空位置信息和现场信息形成的多源数据，利用服务器对多源数据进行分析，提供分析结果数据，供后续道路救援决策参考。

进一步地，步骤2具体为：

步骤201，服务器根据所述交通事故时空位置信息，分析得到发送航点任务执行控制指令和经纬度坐标、飞行高度、飞行速度三个飞行参数；服务器将参数发送至到搭载有飞控程序的移动端平台，移动端转发指令和参数到无人机控制器；

步骤202，无人机以事故经纬坐标为中心，以环绕交通事故现场进行30°、45°和60°三个云台俯仰角拍摄，进行三个正方形航线的计算和规划；

步骤203，在无人机执行航线任务飞行中，按照设定的时间间隔进行连续拍照并存储到机身存储卡，并在图像中记录坐标点、高程以及摄像机参数，同时实时推送事故现场视频流至服务器；

步骤204，基于无人机拍摄的交通事故现场视频流，采用视频特征提取算法，提取出车辆的最小外包矩形框，然后判断计算两矩形框的重叠面积，若有重叠则将重叠部分用绿色框显示。

步骤3具体为：

步骤301，利用事故经纬度坐标，采用骑行路线规划方法，通过地图路线规划API获得移动测量车的计划运行轨迹；

步骤302，采用坐标与协议转换的方法，获取步骤301中规划的路径坐标点，获得可用于移动测量车运行的路径文件；

步骤303，将路径文件自动编译为移动测量车运动控制报文，并将编译完成的控制报文上传到移动测量车并发送解锁指令，移动测量车前往目的观测区域进行地面观测；

步骤304，移动测量车上的照相模组按照设定的时间间隔进行拍照并存储到机身固态硬盘；摄像模组采用设定的分辨率规格进行录制，并以设定的码率推送事故现场视频流至服务器。

与现有技术相比，本发明的有益效果包括：实现了多个空地跨尺度平台之间的交通事故联合感知。实现事故应急现场的多要素综合观测需求，因此具备较为突出的优先和应用效果。

附图说明

图1是本发明的空地协同多尺度感知方法架构图；

图2是本发明实施例中步骤2的具体流程图；

图3是本发明实施例中步骤201的服务器与移动端通讯图

图4是本发明实施例中步骤202的航线规划飞行结果图

图5是本发明实施例中步骤204的算法结果图；

图6是本发明实施例中步骤3的方法流程图；

图7是本发明实施例中步骤3中移动测量车路径规划流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参考图1，图1是本发明的架构图；本发明***具体包括：

步骤1，采用固定点位部署的交通视频摄像头的实时视频数据，利用目标检测算法，提取出可能的道路交通事故时空位置信息；

需要说明的是，基于固定位的交通摄像头视频流，在服务器读取视频流，并对视频图像进行车辆目标检测，将车辆用外接矩形包围并显示，并附上对应目标的置信度。

采用帧间差分法，估算一段时间内车辆的速度，如果速度一直为0，则可能发生了意外情况，需要反馈给服务器该摄像头定位坐标(例如东经114.36°、北纬30.27°)和事故提醒等信息。

步骤2，基于所述交通事故时空位置信息，自动规划机动的无人机平台，飞行到现场附近进行交通事故具体勘察，提取出事故范围和现场信息；

需要说明的是，步骤2具体为：

步骤201，服务器根据所述交通事故时空位置信息，分析得到发送航点任务执行控制指令和经纬度坐标、飞行高度、飞行速度三个飞行参数；服务器将参数发送至到搭载有飞控程序的移动端平台，移动端转发指令和参数到无人机控制器；

步骤202，无人机以事故经纬坐标为中心，以环绕交通事故现场进行30°、45°和60°三个云台俯仰角拍摄，进行三个正方形航线的计算和规划；

步骤203，在无人机执行航线任务飞行中，按照设定的时间间隔进行连续拍照并存储到机身存储卡，并在图像中记录坐标点、高程以及摄像机参数，同时实时推送事故现场视频流至服务器；

步骤204，基于无人机拍摄的交通事故现场视频流，采用视频特征提取算法，提取出车辆的最小外包矩形框，然后判断计算两矩形框的重叠面积，若有重叠则将重叠部分用绿色框显示。

作为一种实施例，请参考图2。

服务器获取到事故现场时空位置信息后，发送指令及参数到Android端飞控程序，飞控程序根据参数自动规划无人机飞行航线，控制无人机飞行到现场附近对事故现场进行拍照和视频图传回服务器，根据特征提取算法及回传视频提取出事故范围和现场信息，具体包括以下子步骤：

步骤2.1，如图3所示，服务端与搭载有飞控程序的Android移动端之间通过socket互相通信，服务端socket长期监听端口，等待移动端与服务器长期建立连接，服务器发送无人机“执行航点任务”控制指令及高度h＝120m、速度v＝10m/s、经纬度lng＝114.36、lat＝30.27三个参数到飞控程序，飞控程序接收、解析指令及参数并发送控制指令至无人机控制器；

请参考图4，步骤2.2，飞控程序接收到指令及参数后，利用航线规划算法，以0.001141°＝1m为经度坐标转换和0.000899°＝1m为纬度坐标转换，用

(其中α取60、45、30；h为飞行高度；s为离事故中心点的距离)分别计算出在多俯仰角下正方形的4个顶点，并按照逆时针顺序规划出以事故点经纬坐标为中心，以环绕交通事故现场进行30°、45°和60°三个云台俯仰角为规则的三个正方形航线，如图3所示；无人机首先在事故中心点处垂直向下拍摄照片，随后按照航线执行航点任务，完成任务后返回返航点；

步骤2.3，无人机执行按规划航线飞行的同时，航向始终朝向事故地点，并按照2秒/张的速度对事故现场进行环绕拍照，照片以JPEG格式存储到机身存储卡，同时采用RTMP协议以H.264编码格式实时推流回传事故现场视频至服务器与移动测量车；

请参考图5，步骤2.4，无人机将现场事故的视频流传输到服务器，服务器处理传回来的视频图像。对视频图像进行图像处理，将车辆用外接矩形包围，并附上对应目标的置信度(两台车置信度分别为0.61和0.84)。同时通过计算两个矩形框的交并比，来判断两车是否存在碰撞。如果交并比大于0，可能存在碰撞情况，将两个矩形框的重叠部分标出，视为两车可能的碰撞区域。

步骤3，基于所述现场信息，自动规划地面的移动测量车平台，运动到现场进行近距离视频观察；

请参考图6，需要说明的是，步骤3具体为：

步骤301，利用事故经纬度坐标，采用骑行路线规划方法，通过地图路线规划API获得移动测量车的计划运行轨迹；

步骤302，采用坐标与协议转换的方法，获取步骤301中规划的路径坐标点，获得可用于移动测量车运行的路径文件；

步骤303，将路径文件自动编译为移动测量车运动控制报文，并将编译完成的控制报文上传到移动测量车并发送解锁指令，移动测量车前往目的观测区域进行地面观测；

步骤304，移动测量车上的照相模组按照设定的时间间隔进行拍照并存储到机身固态硬盘；摄像模组采用设定的分辨率规格进行录制，并以设定的码率推送事故现场视频流至服务器。

请参考图7，作为一种实施例，本申请步骤3的处理过程如下：

步骤3.1，服务端将经纬度lng＝114.36、lat＝30.27两个目的地坐标参数输入到高德地图骑行线路规划API(AMap.Riding)中，并获取当前GNSS位置lng＝114.33、lat＝30.30作为起点，请求最快路线。

最终API返回用于骑行的路线的骑行导航路段数目(Count Number),以及该导航路段的坐标集合数组(Array.<LngLat>)后保存在内存中。

步骤3.2，服务器调用步骤3.1中保存在内存中的该导航路段的坐标集合数组(Array.<LngLat>)，通过协议转换的方式将坐标集合数组转换成可用于移动测量车运行的KML格式。

步骤3.3，服务器调用步骤3.2中产生的包含导航路段坐标集合的KML文件，将KML导入Mavlink协议转换程序，得到可供移动测量车自动驾驶的Mavlink指令报文，例如“MAVLINK_MSG_ID_GPS_RAW_INT-time_usec:0lat:30.2720735806lon:114.3367281alt:0eph:0epv:65535vel:0cog:0fix_type:0satellites_visible:0”。并提交移动测量车解锁指令，切换运行模式从Manual到Auto后移动测量车根据报文指令前往目标观测区域。

步骤3.4，移动测量车上的照相模组按照设定的时间间隔进行拍照并存储到机身固态硬盘；摄像模组采用设定的分辨率规格进行录制，并通过RTSP协议推流至服务端。服务端与搭载有测量机器人(射频直连)的Android移动端之间通过socket互相通信，服务端socket长期监听端口，等待移动端与服务器长期建立连接；或服务端与搭载有测量机器人(移动数据网络连接)的车载控制***之间通过socket互相通信。服务端socket长期监听端口，获得移动测量车的运行状况信息。位于移动测量车上的大气温度、PM2.5和SO₂等环境传感器将观测数据保存在移动测量车的微机上，通过UDP的方式将采集数据推送至服务端。

步骤4，利用移动测量车搭载的大气环境传感器，进行实时的事故现场环境参数监测，获得环境参数；

步骤4.1移动测量车搭载了一/二氧化碳，二氧化硫，二氧化氮，空气温湿、噪音、光照强度等环境要素感知设备。环境感知装备的位置与启动受控于其载体移动测量车。当移动测量车接收到执行任务时，传感器电源被启动并预热，同时随着移动测量车前往事故现场；

步骤4.2移动测量车按照预计轨迹对事故现场进行观测，通过安装在移动测量车上的GNSS模块获得当前的时间信息与空间信息(经纬度)。这些时空位置信息每秒钟获取一次，并通过该信息在移动测量车的电脑***中建立数据库表头。

步骤4.3安装在移动测量车上的环境要素传感器以特定时间频率(如每秒钟一次)对各项环境要素进行采集，并通过RS485总线承载Modbus报文传输到位于移动测量车的电脑***中。这些采集的时空位置信息和环境参数信息记录在数据库表中。

步骤4.4移动测量车的电脑***以特定时间频率(如每15秒)将数据库与服务中心进行同步，数据库同步采用TCP/IP的方式，通过4G和5G模块进行传输。

步骤5，基于环境参数、交通事故时空位置信息和现场信息形成的多源数据，利用服务器对多源数据进行分析，提供分析结果数据，供后续道路救援决策参考。

以某交通路段上一辆轿车和一辆装有危险化学品的货车相撞为例。轿车轻微破损，货车侧翻，此时道路摄像头将两车相撞画面传回服务器，服务器中碰撞检测算法对交通影像识别后判断出现交通事故事件，并根据摄像头位置信息、周围环境遮挡物高度，将事故地点经纬度坐标(如东经114.36°，北纬30.27°)、无人机飞行高度(如20米)和无人机飞行速度(如3米/秒)发送给飞控***，并将事故地点经纬度坐标发送到无人测量车控制***。可见光无人机飞行到达事故现场后对事故中心点进行60°、45°、30°三个云台俯仰角环绕飞行，同时拍摄现场照片并将视频流实时推送回控制中心与移动测量车；控制中心根据无人机回传的现场事故情况以及现场空间情况，调度热红外无人机环绕事故地点检测有无危险化学品泄漏的红外特征(如温度异常偏高或者偏低)，并根据温度显示判断人员位置实时传回控制中心。当发现危险品泄露，则规划地面测量车到达事故地点，利用移动测量车搭载的大气环境传感器，进行实时的事故现场环境参数监测(如检测到二氧化硫浓度升高或者气温偏低)，获得环境参数并回传至控制中心。根据环境参数信息和专家经验，判断现场危险情况，配合获取到的人员位置信息指派测量车进入狭窄空间寻找人员，回传人员周围具体情况视频，指定准确的救援措施。根据大气环境参数以及人员被困情况，及时派出专业人员前往现场救援。

本发明具有如下效果：

(1)实现了多个空地跨尺度平台之间的交通事故综合感知

传统交通事故的感知方法，主要依赖单一的感知平台，例如视频网络、无人机或者移动测量车，获取的数据结构单一、信息有限，难以全面地反映交通事故现场情况。即使当前有一些利用多个感知平台进行交通事故感知的技术方法，但主要都是采用人工调度模式，时效性不足。本发明提出的方法，引入***论和协同论的思想，针对视频摄像头、无人机和移动测量车等不同平台的各自优势，采用网络化的方法，实现多个空地跨尺度平台之间的深度联合，从交通事故检测、交通事故现场和交通事故环境等多个方面获取信息。因此在感知平台种类、感知协同方式和感知信息结果等三个方面具有显著的优点和积极效果。

(2)实现了针对交通事故现场视频和环境参数的联合感知

传统的交通事故感知方法，主要聚焦在交通事故造成的车辆损毁、道路损毁和人员伤亡等三个方面。虽然能够获取到交通事故的主要信息，但随着绿色交通和智能交通等创新理念的逐步落实，上述感知能力已经不能满足需求。特别是一些危化品运输车发生重大交通事故发生后，可能导致现场环境污染，并引发一系列更为长期和隐蔽的后果。因此，目前亟需对交通事故现场同时进行视频和环境参数感知，既掌握现场车辆、道路和人员情况，也掌握区域大气环境参数，以便更为高效地实施交通应急救援。本发明提出在移动车载平台上同时搭载视频摄像头和环境监测传感器并实时传输数据的方法，实现事故应急现场的多要素综合观测需求，因此具备较为突出的优先和应用效果。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (3)

1.一种面向交通事故应急的多尺度综合感知方法，其特征在于：包括：

步骤1，采用固定点位部署的交通视频摄像头的实时视频数据，利用目标检测算法，提取出可能的道路交通事故时空位置信息；

步骤2，基于所述交通事故时空位置信息，自动规划机动的无人机平台，飞行到现场附近进行交通事故具体勘察，提取出事故范围和现场信息；

步骤3，基于所述现场信息，自动规划地面的移动测量车平台，运动到现场进行近距离视频观察；

步骤4，利用移动测量车搭载的大气环境传感器，进行实时的事故现场环境参数监测，获得环境参数；

步骤5，基于环境参数、交通事故时空位置信息和现场信息形成的数据集，利用服务器进行分析，提供分析结果数据，供后续道路救援决策参考。

2.如权利要求1所述的一种面向交通事故应急的多尺度综合感知方法，其特征在于：步骤2具体为：

步骤201，服务器根据所述交通事故时空位置信息，分析得到发送航点任务执行控制指令和经纬度坐标、飞行高度、飞行速度三个飞行参数；服务器将参数发送至到搭载有飞控程序的移动端平台，移动端转发指令和参数到无人机控制器；

步骤202，无人机以事故经纬坐标为中心，以环绕交通事故现场进行30°、45°和60°三个云台俯仰角拍摄，进行三个正方形航线的计算和规划；

步骤203，在无人机执行航线任务飞行中，按照设定的时间间隔进行连续拍照并存储到机身存储卡，并在图像中记录坐标点、高程以及摄像机参数，同时实时推送事故现场视频流至服务器；

步骤204，基于无人机拍摄的交通事故现场视频流，采用视频特征提取算法，提取出车辆的最小外包矩形框，然后判断计算两矩形框的重叠面积，若有重叠则将重叠部分用绿色框显示。

3.如权利要求1所述的一种面向交通事故应急的多尺度综合感知方法，其特征在于：步骤3具体为：

步骤301，利用事故经纬度坐标，采用骑行路线规划方法，通过地图路线规划API获得移动测量车的计划运行轨迹；

步骤302，采用坐标与协议转换的方法，获取步骤301中规划的路径坐标点，获得可用于移动测量车运行的路径文件；

步骤303，将路径文件自动编译为移动测量车运动控制报文，并将编译完成的控制报文上传到移动测量车并发送解锁指令，移动测量车前往目的观测区域进行地面观测；

步骤304，移动测量车上的照相模组按照设定的时间间隔进行拍照并存储到机身固态硬盘；摄像模组采用设定的分辨率规格进行录制，并以设定的码率推送事故现场视频流至服务器。

Images