CN111516605B - 多传感器监控设备及监控方法 - Google Patents

Abstract

本发明揭示了一种多传感器监控设备，包括：目标探测装置、图像采集装置、目标识别装置、处理装置和供电装置。本发明还揭示了一种多传感器监控方法，包括：探测接近车辆的目标，判断目标是否是有效目标，忽略非有效目标，对于有效目标，进入下一步骤。采集环境图像，并从环境图像中提取有效目标的图像信息。获取有效目标的物理特征和移动轨迹，并根据物理特征和移动轨迹对有效目标进行识别。进行数据融合，生成有效目标的识别结果、图像数据、物理特征和移动轨迹。进行数据存储，保存有效目标的原始数据以及由经数据融合产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。

Description

多传感器监控设备及监控方法

技术领域

本发明涉及汽车安全技术领域，更具体地说，涉及汽车周围环境的监控技术领域。

背景技术

随着智能驾驶与人工智能技术的推进与发展，人们对车载监控***的需求不断提升。特别是对于车辆在停车的过程后发生的碰撞、刮伤等情况，如果没有一个完善的解决方案，可能造成一定的经济损失和不必要的麻烦。

在现有的车载监控***和方法中，主要分为三类：

1)市场大部分以车载监控为主的行车记录仪，通过使用摄像头传感器固定在车辆的前挡风玻璃上，用于检测车辆前方环境情况。该种方式的特点和局限性在于：行车记录仪以记录行驶状态为主，并且主要是关注行驶过程中前方道路或者后方道路的状况。由于行车记录仪的关注重点在于车辆的行驶过程中的交通状况，因此虽然可以在一定程度上记录车辆的状态信息，但是检测视野比较有限(主要是前方)，不能监控车身周围的情况。更加重要的时，行车记录仪通常会在停车熄火后关闭，检测功能在熄火状态下不可用，无法在停车过程中对周边环境进行监测。

2)车辆装备有配备感知装置的监控设备，监控设备连接到车载电池。在车辆停车熄火的状态下，监控设备由车载电池进行供电。监控设备通过感知传感器检测周围环境是否有侵害到车辆的可能性，当传感器检测到有发生危险的可能性时，触发摄像头传感器，记录当前环境下车辆的图像状态信息。该种方式的特点和局限性在于：该方法利用车载电池作为电源，可以在车辆停车熄火后继续工作，通过传感器监测周边状态。当发现车辆存在受到侵害的可能性时启动摄像头获取周边环境的图像信息。比如CN109591716A揭示了提出了一种车载视频监控处理方法及***，通过震动传感器检测到车辆存在受到侵害的可能性后，通过云平台的监控摄像头记录车辆的情况。但该方法在光线较暗环境下效果不加。由于监控摄像头没有配备补光装置，因此在夜间或者光线昏暗的位置拍摄效果较差，即使获得了周边环境的图像信息，该图像由于光线和清晰度的关系，往往无法达到预期的目的。

3)针对第二类监控设备的不足，第三类监控设备在补光方面进行了改进，车辆搭载具有感光功能装置的传感监控设备，在检测到车辆受到侵害的基础之上，利用感光传感器对环境亮度进行检测，以便决定是否启用补光装置。比如CN104309577A揭示了一种车载智能感应防侵害报警***，该***利用了环境光传感器检测当前检测环境的光线情况，在光线较差的环境下，通过红外补光灯弥补这一缺点和不足。但在实际使用过程中，依旧存在不少的问题。虽然第三类的监控设备进行了感光和补光，解决了光线昏暗的问题，但是该类监控设备对于数据的处理方式仅是简单记录，没有进行进一步的处理。在使用过程中，存在的问题如下：一方面容易出现误报警，比如车辆停放时过于靠近某些固定障碍物，或者有非机动车停放在车辆旁边时，都容易触发误报警。另一方面，在遇到侵害情况时，摄像头仅是简单开启记录视野范围内的情况。如果摄像头的视野范围较小，侵害目标不在视野范围内则无法获取相关信息。如果侵害目标离开摄像头的视野范围，也无法继续获得图像，造成信息不完整。还有，在出现侵害的情况时，摄像头的视野内存在多个目标，此时多个目标并不会进行区分和识别，给后期的处理造成困难。

发明内容

本发明旨在提出一种基于多传感器和数据融合处理的车辆监控技术。

根据本发明的一实施例，提出一种多传感器监控设备，包括：目标探测装置、图像采集装置、目标识别装置、处理装置和供电装置。目标探测装置围绕车身布置，目标探测装置探测接近车辆的目标，目标探测装置在探测到接近车辆的目标时发出探测信号。图像采集装置采集车辆周围的环境图像以及车辆前方的行驶图像。目标识别装置布置在车身的四个角的位置，目标识别装置记录目标的物理特征和移动轨迹。处理装置与目标探测装置、图像采集装置和目标识别装置相连接，处理装置接收到目标探测装置发出的探测信号，依据探测信号判断是否是有效目标，对于有效目标，处理装置启动图像采集装置和目标识别装置，图像采集装置采集有效目标的图像，目标识别装置记录有效目标的物理特征和移动轨迹，处理装置对有效目标的图像、物理特征和移动轨迹进行处理，识别有效目标的类型，并保存有效目标的图像、物理特征和移动轨迹。供电装置连接到车辆的供电源，供电装置为目标探测装置、图像采集装置、目标识别装置和处理装置供电，供电装置监控车辆的供电源的电量，在供电源的电量不低于安全电量时供电，在供电源的电量低于安全电量时停止向目标探测装置、图像采集装置、目标识别装置和处理装置供电。

在一个实施例中，目标探测装置是超声波传感器，包括：长距超声波传感器和短距超声波传感器。长距超声波传感器安装在车身的侧面，长距超声波传感器的探测距离不小于8m。短距超声波传感器安装在车身的前后两端，短距超声波传感器的探测精度不低于0.1cm，距离分辨率不低于1cm。

在一个实施例中，图像采集装置是摄像头，包括：感知摄像头和行驶摄像头。感知摄像头布置在车身的四面，感知摄像头采集车辆周围的环境图像，感知摄像头是鱼眼摄像头。行驶摄像头指向车辆的前方，行驶摄像头采集车辆前方的行驶图像，行驶摄像头是普通摄像头。

在一个实施例中，感知摄像头的环视探测水平视角不小于190°，探测距离不小于10m，四个感知摄像头采集车辆周围360度的环视图像。感知摄像头具有红外补光装置。

在一个实施例中，目标识别装置是激光雷达，四个激光雷达分别布置在车身的四个角的位置并与车身成45度夹角，激光雷达的水平探测视角不小于120°，探测距离不小于50m，激光雷达记录目标的物理特征和移动轨迹。

在一个实施例中，处理装置包括：探测控制模块、图像控制模块、识别控制模块、数据融合模块和数据存储模块。探测控制模块与目标探测装置连接，接收目标探测装置发出的探测信号，探测控制模块根据探测信号判断目标是否是有效目标，对于有效目标，探测控制模块产生触发指令。图像处理模块与图像采集装置连接，图像处理模块根据触发指令启动图像采集装置，图像处理模块从图像处理装置采集的环境图像中提取有效目标的图像信息。识别控制模块与目标识别装置连接，识别控制模块根据触发指令启动目标识别装置，识别控制模块记录目标识别装置获取的有效目标的物理特征和移动轨迹，并根据物理特征和移动轨迹对有效目标进行识别。数据融合模块连接到探测控制模块、图像控制模块和识别控制模块，对探测控制模块、图像控制模块和识别控制模块产生的数据进行融合处理，生成有效目标的识别结果、图像数据、物理特征和移动轨迹。数据存储模块连接到探测控制模块、图像控制模块、识别控制模块和数据融合模块连接，数据存储模块保存探测控制模块、图像控制模块和识别控制模块产生的数据以及由数据融合模块产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。

在一个实施例中，探测控制模块根据目标距离和动静态检测算法对探测信号进行处理，将距离小于安全距离的动态目标判断为有效目标，产生触发指令，并持续记录目标的方位、距离、移动速度。

在一个实施例中，图像处理模块从图像处理装置采集的环境图像中提取有效目标的图像信息包括：提取人脸图像、提取车牌图像、跟踪并提取有效目标的移动轨迹的连续图像。

在一个实施例中，标识别装置获取的有效目标的精确的物理特征和精确的移动轨迹，识别控制模块依据精确的物理特征和精确的移动轨迹对有效目标进行识别和分类。

根据本发明的一实施例，提出一种多传感器监控方法，包括如下的步骤：

探测接近车辆的目标，判断目标是否是有效目标，忽略非有效目标，对于有效目标，进入下一步骤；

采集环境图像，并从环境图像中提取有效目标的图像信息；

获取有效目标的物理特征和移动轨迹，并根据物理特征和移动轨迹对有效目标进行识别；

进行数据融合，生成有效目标的识别结果、图像数据、物理特征和移动轨迹；

进行数据存储，保存有效目标的原始数据以及由经数据融合产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。

在一个实施例中，判断目标是否是有效目标包括：

探测目标距离，当目标与车辆的距离大于安全距离时，判断为非有效目标，当目标与车辆的距离小于等于安全距离时，进入下一步骤；

对目标运用动静态检测算法，如果目标静态目标，判断为非有效目标，如果目标时动态目标，判断为有效目标。

在一个实施例中，从环境图像中提取有效目标的图像信息包括：提取人脸图像、提取车牌图像、跟踪并提取有效目标的移动轨迹的连续图像。

在一个实施例中，获取有效目标的精确的物理特征和精确的移动轨迹，依据精确的物理特征和精确的移动轨迹对有效目标进行识别和分类。

在一个实施例中，该多传感器监控方法还包括供电步骤，由车辆的供电源供电，监控车辆的供电源的电量，在供电源的电量不低于安全电量时供电，在供电源的电量低于安全电量时停止供电。

本发明的多传感器监控设备和监控方法利用多个不同种类的传感器，将车辆可能发生侵害时车辆的周围环境以多个传感器的信号的方式记录下来，利用深度学习和多传感器信号融合方案，将数据进行有效的识别，分类以及行为轨迹预测等提取，便于用户快速高效的定位事故信息，提供事故证据，保护用户安全。

本发明的多传感器监控设备和监控方法具有如下积极的效果：1)环境适应强。本发明提出的监控方案，适合不同光照下的监控识别，当光线较暗的情况下，可以充分利用激光雷达进行障碍物信息识别、有效信息的提取。如当光线照明不足的情况下，利用激光雷达自身特性，可以识别出目标的车牌等特征信息，用于辅助判断车身周围的情况；2)适用范围广。本发明适合多场景的监控识别，不仅可以应用于车辆静止时的周围环境检测，也可以用于在行车过程中周围车辆的状态检测；3)查找定位信息高效。本发明可以快速定位车辆周围环境目标，通过多传感器信息融合，输出障碍物的分类和周围的信息，如车牌号码及人脸特征等信息，用于用户的快速识别有效信息；4)安全等级性高。可在必要情况下，作为公安***的判断依据，进一步保障用户的最大合法权益。

附图说明

图1揭示了根据本发明的一实施例的多传感器监控设备的布局示意图。

图2揭示了根据本发明的一实施例的多传感器监控设备中处理装置的结构框图。

图3揭示了根据本发明的一实施例的多传感器监控方法的流程图。

图4揭示了根据本发明的一实施例的多传感器监控方法中对目标进行探测和识别的过程。

图5揭示了根据本发明的一实施例的多传感器监控方法中对数据进行融合处理的过程。

具体实施方式

参考图1所示，图1揭示了根据本发明的一实施例的多传感器监控设备的布局示意图。该多传感器监控设备包括：目标探测装置101、图像采集装置102、目标识别装置103、处理装置104和供电装置105。

目标探测装置101围绕车身布置，目标探测装置101探测接近车辆的目标，目标探测装置101在探测到接近车辆的目标时发出探测信号。在一个实施例中，目标探测装置101是超声波传感器，超声波传感器围绕车身布置，以确保超声波传感器的探测范围能够覆盖车身周围360度的范围。在图示的实施例中，围绕车身一共设置了12个超声波传感器，具体包括车头和车尾位置各设置4个超声波传感器，车身两侧各设置2个超声波传感器，车身两侧的超声波传感器安装于前后翼子板下侧。在一个实施例中，超声波传感器分为两类：长距超声波传感器和短距超声波传感器。长距超声波传感器安装在车身的侧面，长距超声波传感器的探测距离不小于8m。在一个实施例中，车身侧面共安装有4个长距超声波传感器。短距超声波传感器安装在车身的前后两端，短距超声波传感器的探测精度不低于0.1cm，距离分辨率不低于1cm。在一个实施例中，车身的前后两端共安装有8个短距超声波传感器。

图像采集装置102采集车辆周围的环境图像以及车辆前方的行驶图像。在一个实施例中，图像采集装置102是摄像头。摄像头包括两种类型的摄像头：感知摄像头和行驶摄像头。感知摄像头布置在车身的四面，感知摄像头采集车辆周围的环境图像，感知摄像头是鱼眼摄像头。在一个实施例中，在车身的四个面上布置4个感知摄像头，分别安装在前后保险杠以及车辆后视镜两侧，四个感知摄像头朝向与地面平行，分别朝向前后左右四个方向。每一个感知摄像头的环视探测水平视角不小于190°，探测距离不小于10m，四个感知摄像头采集车辆周围360度的环视图像。为了确保360度无死角的图像采集，相邻的感知摄像头的视野范围具有一定的重叠。在一个实施例中，为了适应光线较差的应用环境，感知摄像头具有红外补光装置。红外补光装置可以在环境光线较差时进行补光。行驶摄像头指向车辆的前方，行驶摄像头采集车辆前方的行驶图像，行驶摄像头是普通摄像头。行驶摄像头固定在车辆前挡风玻璃内，主要采集行驶图像，行驶摄像头的作用类似于现有的行车记录仪。

目标识别装置103布置在车身的四个角的位置，目标识别装置记录目标的物理特征和移动轨迹。在一个实施例中，目标识别装置103是激光雷达，四个激光雷达分别布置在车身的四个角的位置并与车身成45度夹角。在一个实施例中，4个激光雷达分别安装于车辆前后保险杠上，激光雷达的朝向与地面平行，与车身方向成45度夹角位置安放。激光雷达的水平探测视角不小于120°，探测距离不小于50m，激光雷达记录目标的物理特征和移动轨迹。激光雷达可以获得目标的精确物理特征和移动轨迹，能在各种环境，包括光线不佳的环境下进行目标的识别和跟踪。

处理装置104与目标探测装置101、图像采集装置102和目标识别装置103相连接。处理装置104接收到目标探测装置101发出的探测信号，依据探测信号判断是否是有效目标。对于有效目标，处理装置104启动图像采集装置102和目标识别装置103。图像采集装置102采集有效目标的图像，目标识别装置103记录有效目标的物理特征和移动轨迹。处理装置104对有效目标的图像、物理特征和移动轨迹进行处理，识别有效目标的类型，并保存有效目标的图像、物理特征和移动轨迹。图2揭示了根据本发明的一实施例的多传感器监控设备中处理装置的结构框图。在图2所示的实施例中，处理装置104包括：探测控制模块141、图像控制模块142、识别控制模块143、数据融合模块144和数据存储模块145。

探测控制模块141与目标探测装置101连接，探测模块接收目标探测装置发出的探测信号，探测控制模块根据探测信号判断目标是否是有效目标，对于有效目标，探测控制模块产生触发指令。在一个实施例中，探测控制模块141根据目标距离和动静态检测算法对探测信号进行处理，将距离小于安全距离的动态目标判断为有效目标，产生触发指令，并持续记录目标的方位、距离、移动速度。在一个实施例中，探测控制模块141通过下述的两个步骤判断目标是否是有效目：首先是探测目标距离，当目标与车辆的距离大于安全距离时，判断为非有效目标，当目标与车辆的距离小于等于安全距离时，进入下一步骤。在一个实施例中，安全距离设置为0.6m，对于距离车辆0.6m之内的目标，则进一步判断是否为动态目标。对目标运用动静态检测算法，如果目标静态目标，判断为非有效目标，如果目标时动态目标，判断为有效目标。在一个实施例中，判断目标是否为动态目标的方式是以固定间隔探测目标的位置，比如以5s、3s、1s、0.5s等为间隔，探测目标的位置。如果连续探测的结果显示目标的位置变化，则判断为动态目标。如果目标的位置不发生变化，则判断为静态目标。在一个实施例中，距离为0.6m之内，且在5s的探测间隔内位置变化的目标被判断为距离小于安全距离的动态目标，作为有效目标。

图像处理模块142与图像采集装置102连接，图像处理模块142根据探测控制模块产生的触发指令启动图像采集装置102。图像处理模块142从图像处理装置采集的环境图像中提取有效目标的图像信息。在一个实施例中，图像处理模块142从图像处理装置采集的环境图像中提取有效目标的图像信息包括：提取人脸图像、提取车牌图像、跟踪并提取有效目标的移动轨迹的连续图像。图像处理模块142可以借助于深度学习技术，预先对人脸、车牌等特征图像进行学习，然后在图像处理装置采集的环境图像中提取出其中的人脸图像、车牌图像等特征图像，并对这些特征图像的移动轨迹进行跟踪，获得移动轨迹的连续图像。特征图像通常就是有效目标的图像，因此跟踪特征图像就能对有效目标的移动轨迹进行跟踪并且获得连续图像。

识别控制模块143与目标识别装置103连接，识别控制模块143根据探测控制模块产生的触发指令启动目标识别装置103。识别控制模块143记录目标识别装置获取的有效目标的物理特征和移动轨迹，并根据物理特征和移动轨迹对有效目标进行识别。在一个实施例中，标识别装置是激光雷达，激光雷达能够获取有效目标的精确的物理特征和精确的移动轨迹。基于激光雷达获取的精确的物理特征和精确的移动轨迹，通过分类和检测算法，识别控制模块143能够对有效目标进行识别和分类。在一个实施例中，有效目标主要分为：行人、非机动车、小型机动车、大型机动车、其他等几个主要类别。行人、非机动车、小型机动车、大型机动车是具有明显特征可以识别的，还有一些其他的目标，比如小动物、其他运输工具等，无法归类到前面几类的，作为其他类。

数据融合模块144连接到探测控制模块141、图像控制模块142和识别控制模块143。数据融合模块144对探测控制模块141、图像控制模块142和识别控制模块143产生的数据进行融合处理，生成有效目标的识别结果、图像数据、物理特征和移动轨迹。由于超声波传感器、摄像头和激光雷达各类传感器在不同环境下具有各自的优势，因此通过数据融合模块将激光雷达、摄像头、超声波传感器等数据进行进一步融合处理，保证了目标识别的准确性和高效性。

数据存储模块145连接到探测控制模块141、图像控制模块142、识别控制模块143和数据融合模块144连接。数据存储模块145保存探测控制模块、图像控制模块和识别控制模块产生的数据以及由数据融合模块产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。数据存储模块145保存两类数据：一类是探测控制模块、图像控制模块和识别控制模块产生的原始数据。另一类是经过数据融合模块融合处理而产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。

供电装置105连接到车辆的供电源，供电装置为目标探测装置101、图像采集装置102、目标识别装置103和处理装置104供电。供电装置105监控车辆的供电源的电量，在供电源的电量不低于安全电量时供电。在供电源的电量低于安全电量时停止向目标探测装置、图像采集装置、目标识别装置和处理装置供电，以确保车辆的正常使用不受影响。在一个实施例中，车辆的供电源是车载电池或者车载电瓶。

本发明还提出一种多传感器监控方法。图3揭示了根据本发明的一实施例的多传感器监控方法的流程图。参考图3所示，该多传感器监控方法包括如下的步骤：

S301、探测接近车辆的目标，判断目标是否是有效目标，忽略非有效目标，对于有效目标，进入下一步骤。在一个实施例中，步骤S301判断目标是否是有效目标包括下述的过程：

探测目标距离，当目标与车辆的距离大于安全距离时，判断为非有效目标，当目标与车辆的距离小于等于安全距离时，进入下一步骤。在一个实施例中，安全距离设置为0.6m，对于距离车辆0.6m之内的目标，则进一步判断是否为动态目标。

对目标运用动静态检测算法，如果目标静态目标，判断为非有效目标，如果目标时动态目标，判断为有效目标。在一个实施例中，判断目标是否为动态目标的方式是以固定间隔探测目标的位置，比如以5s、3s、1s、0.5s等为间隔，探测目标的位置。如果连续探测的结果显示目标的位置变化，则判断为动态目标。如果目标的位置不发生变化，则判断为静态目标。

在一个实施例中，距离为0.6m之内，且在5s的探测间隔内位置变化的目标被判断为距离小于安全距离的动态目标，作为有效目标。

S302、采集环境图像，并从环境图像中提取有效目标的图像信息。在一个实施例中，从环境图像中提取有效目标的图像信息包括：提取人脸图像、提取车牌图像、跟踪并提取有效目标的移动轨迹的连续图像。步骤S302可以借助于深度学习技术，预先对人脸、车牌等特征图像进行学习，然后在图像处理装置采集的环境图像中提取出其中的人脸图像、车牌图像等特征图像，并对这些特征图像的移动轨迹进行跟踪，获得移动轨迹的连续图像。特征图像通常就是有效目标的图像，因此跟踪特征图像就能对有效目标的移动轨迹进行跟踪并且获得连续图像。

S303、获取有效目标的物理特征和移动轨迹，并根据物理特征和移动轨迹对有效目标进行识别。在一个实施例中，获取有效目标的精确的物理特征和精确的移动轨迹，依据精确的物理特征和精确的移动轨迹对有效目标进行识别和分类。在一个实施例中，使用激光雷达获取有效目标的精确的物理特征和精确的移动轨迹。基于激光雷达获取的精确的物理特征和精确的移动轨迹，通过分类和检测算法，能够对有效目标进行识别和分类。在一个实施例中，有效目标主要分为：行人、非机动车、小型机动车、大型机动车、其他等几个主要类别。行人、非机动车、小型机动车、大型机动车是具有明显特征可以识别的，还有一些其他的目标，比如小动物、其他运输工具等，无法归类到前面几类的，作为其他类。

图4揭示了根据本发明的一实施例的多传感器监控方法中对目标进行探测和识别的过程。参考图4所示，在示例的过程中，车辆停车熄火后，超声波传感器由供电装置供电，超声波传感器在探测控制模块的控制下按照每秒1Hz的频率触发，用于检测周围环境距离信息。超声波传感器检测到车辆周围有障碍物，判断目标距离是否小于设定的阈值0.6m。对于不小于0.6m的目标，判断为远距离非有效障碍物。对于小于0.6m的目标，判断为近距离障碍物。下一步进行动静态目标的识别检测：在动静态目标检测过程中，通过检测识别算法，对障碍物在5s的时间内距离是否变化以及轨迹预测等行为信息，进行目标动静态判别。如果判别为静态目标，则是静态非有效障碍物。如果是动态目标，则目标被认定为动态障碍物。对于在0.6m距离的范围内的动态障碍物，判断为有效的潜在碰撞目标，触发感知摄像头和激光雷达启动工作。

S304、进行数据融合，生成有效目标的识别结果、图像数据、物理特征和移动轨迹。由于超声波传感器、摄像头和激光雷达各类传感器在不同环境下具有各自的优势，因此通过数据融合模块将激光雷达、摄像头、超声波传感器等数据进行进一步融合处理，保证了目标识别的准确性和高效性。

S305、进行数据存储，保存有效目标的原始数据以及由经数据融合产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。在一个实施例中，在步骤S305中保存两类数据：一类是探测控制模块、图像控制模块和识别控制模块产生的原始数据。另一类是经过数据融合模块融合处理而产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。

图5揭示了根据本发明的一实施例的多传感器监控方法中对数据进行融合处理的过程。感知摄像头的数据被输入到图像处理模块142，激光雷达的数据被输入到识别控制模块143，在经由数据融合模块144进行数据融合，然后再由数据存储模块145进行数据存储。需要说明的是，在图5示出的示例中，没有图示超声波传感器和探测控制模块141。但在其他的实施例中，数据融合模块144会对探测控制模块141、图像控制模块142和识别控制模块143三者产生的数据进行融合处理。类似的，在图5示出的示例中，数据存储模块145没有连接到图像处理模块和识别控制模块，而是直接保存数据融合模块144输出的数据。但在其他的实施例中，数据存储模块145保存两类数据：一类是探测控制模块、图像控制模块和识别控制模块产生的原始数据。另一类是经过数据融合模块融合处理而产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。

在一个实施例中，该多传感器监控方法还包括供电步骤，由车辆的供电源供电，监控车辆的供电源的电量，在供电源的电量不低于安全电量时供电，在供电源的电量低于安全电量时停止供电，以确保车辆的正常使用不受影响。在一个实施例中，车辆的供电源是车载电池或者车载电瓶。

本发明的多传感器监控设备和监控方法利用多个不同种类的传感器，将车辆可能发生侵害时车辆的周围环境以多个传感器的信号的方式记录下来，利用深度学习和多传感器信号融合方案，将数据进行有效的识别，分类以及行为轨迹预测等提取，便于用户快速高效的定位事故信息，提供事故证据，保护用户安全。

本发明的多传感器监控设备和监控方法具有如下积极的效果：1)环境适应强。本发明提出的监控方案，适合不同光照下的监控识别，当光线较暗的情况下，可以充分利用激光雷达进行障碍物信息识别、有效信息的提取。如当光线照明不足的情况下，利用激光雷达自身特性，可以识别出目标的车牌等特征信息，用于辅助判断车身周围的情况；2)适用范围广。本发明适合多场景的监控识别，不仅可以应用于车辆静止时的周围环境检测，也可以用于在行车过程中周围车辆的状态检测；3)查找定位信息高效。本发明可以快速定位车辆周围环境目标，通过多传感器信息融合，输出障碍物的分类和周围的信息，如车牌号码及人脸特征等信息，用于用户的快速识别有效信息；4)安全等级性高。可在必要情况下，作为公安***的判断依据，进一步保障用户的最大合法权益。

还需要注意的是，以上所列举的实施例仅为本发明的具体实施例。显然本发明不局限于以上实施例，随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的，均应属于本发明的保护范围。上述实施例是提供给熟悉本领域内的人员来实现或使用本发明的，熟悉本领域的人员可在不脱离本发明的发明思想的情况下，对上述实施例做出种种修改或变化，因而本发明的保护范围并不被上述实施例所限，而应该是符合权利要求书提到的创新性特征的最大范围。

Claims (12)

1.一种多传感器监控设备，其特征在于，包括：

目标探测装置，目标探测装置围绕车身布置，目标探测装置探测接近车辆的目标，目标探测装置在探测到接近车辆的目标时发出探测信号；

图像采集装置，图像采集装置采集车辆周围的环境图像以及车辆前方的行驶图像；

目标识别装置，目标识别装置布置在车身的四个角的位置，目标识别装置记录目标的物理特征和移动轨迹；

处理装置，处理装置与目标探测装置、图像采集装置和目标识别装置相连接，处理装置接收到目标探测装置发出的探测信号，依据探测信号判断是否是有效目标，对于有效目标，处理装置启动图像采集装置和目标识别装置，图像采集装置采集有效目标的图像，目标识别装置记录有效目标的物理特征和移动轨迹，处理装置对有效目标的图像、物理特征和移动轨迹进行处理，识别有效目标的类型，并保存有效目标的图像、物理特征和移动轨迹；所述处理装置包括：探测控制模块、图像控制模块、识别控制模块、数据融合模块和数据存储模块；

探测控制模块与目标探测装置连接，接收目标探测装置发出的探测信号，探测控制模块根据探测信号判断目标是否是有效目标，对于有效目标，探测控制模块产生触发指令；

图像处理模块与图像采集装置连接，图像处理模块根据触发指令启动图像采集装置，图像处理模块从图像处理装置采集的环境图像中提取有效目标的图像信息；

识别控制模块与目标识别装置连接，识别控制模块根据触发指令启动目标识别装置，识别控制模块记录目标识别装置获取的有效目标的物理特征和移动轨迹，并根据物理特征和移动轨迹对有效目标进行识别；

数据融合模块连接到探测控制模块、图像控制模块和识别控制模块，对探测控制模块、图像控制模块和识别控制模块产生的数据进行融合处理，生成有效目标的识别结果、图像数据、物理特征和移动轨迹；

数据存储模块连接到探测控制模块、图像控制模块、识别控制模块和数据融合模块连接，数据存储模块保存探测控制模块、图像控制模块和识别控制模块产生的数据以及由数据融合模块产生的有效目标的识别结果、图像数据、物理特征和移动轨迹；

供电装置，供电装置连接到车辆的供电源，供电装置为目标探测装置、图像采集装置、目标识别装置和处理装置供电，供电装置监控车辆的供电源的电量，在供电源的电量不低于安全电量时供电，在供电源的电量低于安全电量时停止向目标探测装置、图像采集装置、目标识别装置和处理装置供电。

2.如权利要求1所述的多传感器监控设备，其特征在于，所述目标探测装置是超声波传感器，包括：

长距超声波传感器，安装在车身的侧面，长距超声波传感器的探测距离不小于8m；

短距超声波传感器，安装在车身的前后两端，短距超声波传感器的探测精度不低于0.1cm，距离分辨率不低于1cm。

3.如权利要求1所述的多传感器监控设备，其特征在于，所述图像采集装置是摄像头，包括：

感知摄像头，感知摄像头布置在车身的四面，感知摄像头采集车辆周围的环境图像，感知摄像头是鱼眼摄像头；

行驶摄像头，行驶摄像头指向车辆的前方，行驶摄像头采集车辆前方的行驶图像，行驶摄像头是普通摄像头。

4.如权利要求3所述的多传感器监控设备，其特征在于，

所述感知摄像头的环视探测水平视角不小于190°，探测距离不小于10m，四个感知摄像头采集车辆周围360度的环视图像；

所述感知摄像头具有红外补光装置。

5.如权利要求1所述的多传感器监控设备，其特征在于，所述目标识别装置是激光雷达，四个激光雷达分别布置在车身的四个角的位置并与车身成45度夹角，激光雷达的水平探测视角不小于120°，探测距离不小于50m，激光雷达记录目标的物理特征和移动轨迹。

6.如权利要求1所述的多传感器监控设备，其特征在于，所述探测控制模块根据目标距离和动静态检测算法对探测信号进行处理，将距离小于安全距离的动态目标判断为有效目标，产生触发指令，并持续记录目标的方位、距离、移动速度。

7.如权利要求1所述的多传感器监控设备，其特征在于，图像处理模块从图像处理装置采集的环境图像中提取有效目标的图像信息包括：提取人脸图像、提取车牌图像、跟踪并提取有效目标的移动轨迹的连续图像。

8.如权利要求1所述的多传感器监控设备，其特征在于，标识别装置获取的有效目标的精确的物理特征和精确的移动轨迹，识别控制模块依据精确的物理特征和精确的移动轨迹对有效目标进行识别和分类。

9.一种多传感器监控方法，其特征在于，包括：

探测接近车辆的目标，判断目标是否是有效目标，判断目标是否是有效目标包括：探测目标距离，当目标与车辆的距离大于安全距离时，判断为非有效目标，当目标与车辆的距离小于等于安全距离时，进入下一步骤；对目标运用动静态检测算法，如果目标静态目标，判断为非有效目标，如果目标时动态目标，判断为有效目标；忽略非有效目标，对于有效目标，进入下一步骤；

采集环境图像，并从环境图像中提取有效目标的图像信息；

获取有效目标的物理特征和移动轨迹，并根据物理特征和移动轨迹对有效目标进行识别；

进行数据融合，生成有效目标的识别结果、图像数据、物理特征和移动轨迹；

进行数据存储，保存有效目标的原始数据以及由经数据融合产生的有效目标的识别结果、图像数据、物理特征和移动轨迹。

10.如权利要求9所述的多传感器监控方法，其特征在于，从环境图像中提取有效目标的图像信息包括：提取人脸图像、提取车牌图像、跟踪并提取有效目标的移动轨迹的连续图像。

11.如权利要求9所述的多传感器监控方法，其特征在于，获取有效目标的精确的物理特征和精确的移动轨迹，依据精确的物理特征和精确的移动轨迹对有效目标进行识别和分类。

12.如权利要求9所述的多传感器监控方法，其特征在于，还包括供电步骤，由车辆的供电源供电，监控车辆的供电源的电量，在供电源的电量不低于安全电量时供电，在供电源的电量低于安全电量时停止供电。

Images