CN116824737A - 一种哨兵模式下多传感器融合监控***及方法 - Google Patents

Abstract

本发明公开了一种哨兵模式下多传感器融合监控***及方法，包括融合控制模块和至少两种监控传感器；所述监控传感器用于监控停车后的车辆本身及周围的异常数据，其输出端连接至融合控制模块，所述融合控制模块用于根据异常数据发出对应的监控预警指令。本发明的优点在于：多传感器融合方式进行监控，监控更加准确可靠，避免复杂场景下的漏监控。

Description

一种哨兵模式下多传感器融合监控***及方法

技术领域

本发明涉及汽车停车监控领域，特别涉及一种哨兵模式下多传感器融合监控方法及***。

背景技术

汽车停车监控可以对车辆在停车后的剐蹭、碰撞、偷窃等行为进行监控，为后续的追责等提供监控证据。如特斯拉汽车公司推出的哨兵模式，在哨兵模式下，可以对车辆周围的信息进行持续的视频监控。哨兵模式是停车监控的一类统称，主要是指对停车后的监控。如专利申请号为CN201811139897.0停车监控方法、停车监控装置以及停车监控***，包括：通过预设传感器判断当前条件是否满足预设条件；如果监测到当前条件满足预设条件，则唤醒行车记录仪的摄像头，控制行车记录仪的摄像头开启拍摄；识别摄像头拍摄的图像中是否出现物体；如果图像中存在物体，则对比物体是否为预设物体，如果物体为预设物体，则唤醒TBOX模块，并将图像发送至TBOX模块；TBOX模块接收到图像后，将摄像头拍摄的图像发送至云端服务器；云端服务器接收到图像后，生成并发送预警信号至用户的终端。本申请能够避免由于碰撞检测误触发后频繁唤醒行车记录仪以及TBOX，从而导致车辆电瓶电量过快耗尽的问题。

耗电问题固然是需要解决的问题，但是随着新能源汽车等发展，可供哨兵模式工作使用的电能也越来越宽裕，因此耗电问题就不是核心痛点问题，而监控的可靠性、复杂场景下的有效监控则是需要考虑的问题。

现有技术仅通过行车记录仪设备记录，无法兼顾车辆全方位的停车安全。哨兵模式下的停车监控多采用单一的监控方式，如仅采用外部摄像头利用视觉算法在停车后监控周围环境，或者采用车内传感器监测车内诊断异常。这类局限单一的监控对周围环境进行判断与监测，无法兼顾在复杂环境下全链路的车辆停车安全。

发明内容

本发明的目的在于克服现有技术的不足，提供一种哨兵模式下多传感器融合监控方法及***，采用多传感器融合方式进行监控并基于递进式监控报警，有效的实现监控的同时也可以起到警示驱赶偷窃者或破坏者的目的。

为了实现上述目的，本发明采用的技术方案为：一种哨兵模式下多传感器融合监控***，包括融合控制模块和至少三种监测传感器；所述监测传感器用于感知与监控停车后的车辆本身或周围的异常数据，其输出端连接至融合控制模块，所述融合控制模块用于根据异常数据发出对应的监控告警指令。

所述监控***还包括设置于车上的车载预警模块，所述车载预警模块用于接收融合控制模块的指令并执行以输出对应的报警信号。

所述监控***还包括远程预警模块，所述远程预警模块用于接收融合控制模块发来的进行预警信息并进行展示。

所述监测传感器包括环视摄像头、超声波雷达、震动传感器，用于分别监控车辆周围的视频数据、距离信息、震动信号。

所述融合控制模块基于环视摄像头采集的视频数据对车辆周围异常人员行为进行识别、所述融合控制模块基于超声波雷达所获取距离数据做视觉辅助融合判断；所述融合控制模块基于震动传感器的数据对车辆的破坏情况进行识别；所述融合控制模块基于多传感器融合方式对行为识别结果和车辆破坏情况进行综合判断并逐层递进式输出对应的监控报警指令。

所述车载预警模块被配置为多级预警模式，每级预警对应发出不同的报警信号；其根据融合控制模块的输出的多级预警指令信号来对应的输出报警信号。

所述车载预警模块包括光亮提醒模块、声音提醒模块。

所述监控***还包括本地存储模块和云端存储模块，用于对监控的异常数据进行本地和云端的存储。

一种哨兵模式下多传感器融合监控方法，在车辆启动哨兵模式后，通过两种或两种以上的监测传感器监控停车后的车辆本身和周围的异常数据并发送至融合控制模块，所述融合控制模块用于根据异常数据作融合判断并发出对应的监控预警指令。

所述融合控制模块根据多种监测传感器监控停车后的车辆本身和周围的异常数据来判断异常预警的等级并输出对应等级的预警指令至车载预警模块和或远程预警模块。

本发明的优点在于：多传感器融合方式进行监控，监控更加准确可靠，避免复杂场景下的漏监控；采用视觉与多传感器融合技术，制定递进式哨兵监测判断策略，能够精准判定停车期间车辆周围突发异常情况，对于异常人员靠近车辆、以及剐蹭、划车、碰撞等震动类型的异常，均能够精准监测，并及时在车端作出警示动作，将异常视频存储于车端本地，便于车主追溯异常事件原因，减少车辆在复杂环境停车期间产生的意外经济损失。采用递进式的哨兵监测策略，能够最大程度减小耗电，优化哨兵模式性能；监控过程中针对不同的等级给出不同的预警或报警，报警可以警示异常行为人，一定程度上减少财产损失，同时存储于本地、云端以及发送至用户手机中的视频等数据可以为后续的追责等提供证据数据。

附图说明

下面对本发明说明书各幅附图表达的内容及图中的标记作简要说明：

图1为本发明监控***原理图；

图2为本发明监控方法流程图；

图3为本发明监控***报警流程图。

具体实施方式

下面对照附图，通过对最优实施例的描述，对本发明的具体实施方式作进一步详细的说明。

实施例1：

随着智能座舱、视觉算法及传感器技术不断的发展，采用视觉与多传感器融合技术，制定递进式哨兵监测判断策略，能够精准判定停车期间车辆周围突发异常情况，对于异常人员靠近车辆、以及剐蹭、划车、碰撞等震动类型的异常，均能够精准监测，并及时在车端作出警示动作，将异常视频存储于车端本地并上传云端，便于车主追溯异常事件原因，减少车辆在复杂环境停车期间产生的意外经济损失。

本发明采用视觉与多传感器融合技术，制定递进式哨兵监测判断策略，不但可以充分利用视觉算法优势，优先识别车辆附近异常行为人员，同时结合超声波雷达、超灵敏震动传感器、T-BOX六轴陀螺仪获取的传感器辅助数据执行综合判断，逐层级递进精准判定停车期间车辆周围突发异常情况。对于异常人员靠近车辆、以及剐蹭、划车、碰撞等震动类型的异常均能够精准监测，并及时在车端作出警示动作，将异常视频存储于车端本地，便于车主追溯异常事件原因。解决哨兵模式对于停车期间车辆异常情况的精准判断，减少车辆停车期间产生的意外经济损失，真正实现为用户提供多维度可视化停车安全服务。同时本发明哨兵模式策略采用递进式的哨兵监测策略，能够最大程度减小耗电，优化哨兵模式性能。

如图1所示，一种哨兵模式下多传感器融合监控***，包括融合控制模块和至少三种监控传感器；至少三个监控传感器用于监控停车后的车辆本身或周围的异常数据，其输出端连接至融合控制模块融合控制模块用于根据异常数据发出对应的监控预警指令。

其中监测传感器包括环视摄像头、超声波雷达、超灵敏震动传感器、T-BOX六轴陀螺仪等传感器，主要采集车辆的环境数据以及车辆的震动等数据，通过融合控制模块进行融合控制发出报警信号。融合控制模块基于环视摄像头采用视觉融合算法识别车辆周围设定范围内的异常行为人员，在结合超声波雷达、超灵敏震动传感器、T-BOX六轴陀螺仪获取的传感器辅助数据执行综合判断得到存在异常情况数据，此时对应的输出的监控预警指令告诉用户，从而实现报警。

报警分为本地报警和远程报警，对应的包括设置于车上的车载预警模块以及远程预警模块，车载预警模块用于接收融合控制模块的指令并执行以输出对应的报警信号，远程预警模块用于接收融合控制模块发来的进行预警信息并进行展示。本地报警主要启动起到警示异常行人的目的，远程报警主要是提醒用户关注当前车辆状况的目的。因此本地的车载预警模块可以是车载的屏幕、喇叭、灯光等设备，远程报警模块可以是用于的车联网设备终端，诸如手机app、可穿戴设备、车家互联设备家用音箱等。

融合控制模块基于环视摄像头采集的视频数据对车辆周围异常人员行为进行识别、融合控制模块基于超声波雷达所获取距离数据做视觉辅助融合判断、融合控制模块基于震动传感器的数据对车辆的破坏情况进行识别；融合控制模块基于异常人员行为识别结果和车辆破坏情况进行综合判断并输出对应的监控报警指令。车载预警模块被配置为多级预警模式，每级预警对应发出不同的报警信号；其根据融合控制模块的输出的多级预警指令信号来对应的输出报警信号，多级报警方式为了在节约能源的情况下给出警示作用，避免误警示造成的耗电也避免漏警示造成的财产损失无数据的缺陷。

车载预警模块包括光亮提醒模块、声音提醒模块，光亮提醒模块为车灯模块、显示屏等，声音提醒模块则为车内音响、车外喇叭等，主要用于给出提醒。

为了匹配监控数据的保存，在车辆及云端分别设置有本地存储模块和云端存储模块，用于对监控的异常数据进行本地和云端的存储，方便后续数据的追溯和查看。

如图2、3所示，在本申请中融合控制模块的融合算法是指通过多个传感器采集的数据通过递进融合的方式给出不同的控制报警指示，以实现不同层级的报警预警控制策略。融合判断方法包括：首先，通过实时采集的视频数据对车辆周围进行监控，当在视频中识别到异常行为人员后启动车载雷达传感器，对异常行为人距离车辆的距离辅助视觉判断，当监控距离车辆小于第一设定距离后，此时车辆判断车辆处于第一预警状态，输出第一预警控制指令，控制车辆的车载预警模块执行第一预警指令并发出第一预警信号，并将此时环视摄像头拍摄的视频数据存储在本地端存储中。

第一预警状态主要是警惕作用，此时无法判断是否为异常行为人，因此只需要初级的提醒，告诉附近的人不要靠近车辆，从心理上给出警示作用，因此本申请的执行第一预警指令的车载控制模块为车载显示屏，此时融合控制模块的输出第一预警指令至显示屏中以激活显示屏启动并点亮其屏幕，通过显示屏的高亮警示附近有可能对车辆造成安全隐患的人。这个是第一级别的报警，由于这种方式仅仅是警示附近的人的作用，点亮屏幕让非法人员害怕从而起到警示的作用。

当在视频中识别到异常行为人员后启动车载雷达传感器，同步对异常行为人距离车辆的距离进行判断，当监控距离车辆小于第二设定距离后，此时车辆判断车辆处于第二预警状态，输出第二预警控制指令，控制车辆的车载预警模块执行第二预警指令并发出第二预警信号，并将此时环视摄像头拍摄的视频数据存储在本地端存储中并同步发送异常提醒信号至远程提醒模块中。

第二预警状态属于警报状态，此时监控到异常行为人距离车辆过于近，很有可能存在损坏车辆的风险，因此此时要发出可以震慑行为人的报警信号，相对于第一预警状态，本预警状态将会更加明显且醒目，因此，此时的车载预警模块包括显示屏和车载喇叭，融合控制模块判断此时处于第二预警状态后，输出控制第二预警指令分别指显示屏和车载喇叭以及车载TBOX，驱动显示屏点亮屏幕实现高亮警示、驱动车载喇叭发出鸣笛声音并驱动TBOX将采集的异常提醒至远程监控模块手机app中进行提醒用户；同时融合控制模块将视频数据存储在本地以及云端服务器中，进行数据的保存，为后续的调查和追责提供数据支持。

本申请采用分级的预警控制，一来避免误检测对用户手机app频繁发送警报产生的用户体验差的缺陷；只有在达到劲爆级别才会发出报警指令至用户手机app；而且对于车辆周围的人也会分级警示，避免对附近无意识靠近人员的警示，避免一开始就鸣笛等造成的不必要的干扰等情况，因此采用分级预警和报警的策略更加合理可靠。

在本申请中的一个优选的实施例中，融合控制模块中的监控传感器还包括超灵敏震动传感器、T-BOX六轴陀螺仪，用于对车辆的震动进行采集，对车辆的状态进行监控，当处于第二预警状态时，此时通过超灵敏震动传感器、T-BOX六轴陀螺仪检测到的车辆振动数据对车辆进行判断，根据震动数据将诊断分为多个破坏等级，震动数据按照数据大小设置不同的破坏等级：轻度破坏等级对应的震动参数、中度破坏等级对应的震动参数、重度破坏等级对应的震动参数，将实时采集的振动数据与破坏等级进行匹配得到对应的破坏等级并在第二预警状态下对向用户app发出提醒信号。

其等级示例如下：

轻度破坏：ICC进行综合判断，若超灵敏震动传感器监测数据处于A1≤M＜B2范围,触发轻度破坏告警

2)中度破坏：ICC进行综合判断，若超灵敏震动传感器监测数据处于B2≤M＜C3范围,触发中度破坏告警

3)重度破坏：ICC进行综合判断，若超灵敏震动传感器监测数据处于M≥C3范围,触发重度破坏告警。

其中M为实时采集的震动数据，A1、A2、B2、C3为对应的震动参数阈值。基于震动告警等级，车端进行相应等级的告警动作，并同步发送哨兵震动异常提醒至手机APP提醒用户。

实施例2：

本申请在实施例1的基础上一种哨兵模式下多传感器融合监控方法，该方法基于实施例1中监控***的硬件来实现本实施例的方法，具体包括：在车辆启动哨兵模式后，通过两种或两种以上的监测传感器监控停车后的车辆本身和或周围的异常数据并发送至融合控制模块，所述融合控制模块用于根据异常输出发出对应的监控预警指令。

融合控制模块根据多种监控传感器监控停车后的车辆本身和或周围的异常数据来判断异常预警的等级并输出对应等级的预警指令至车载预警模块和或远程预警模块。

如图2、3所示，其监控原理包括：

1.手动或自动哨兵模式开启，4颗环视摄像头持续工作，全车处于待命监测状态；自动开启会在检测车辆处于停车熄火状态时开启哨兵模式或者通过手机app发出开启指令来开启哨兵模式；

2.车机内置视觉监测算法，基于摄像头实时获取的原始数据，进行异常人员行为与车辆行为判断；

3.视觉监测判断发现X+a cm内有可疑人员接近车辆，车辆立即提升至警惕状态，触发车辆警示动作；警惕状态即为第一预警状态，X、a均为设置的距离阈值参数可以根据实际主机厂设置微调；

4.在第一预警状态下车端舱内显示屏高亮警示，并将警惕前后异常视频保存至本地端；

5.在进入第一预警状态后同步唤醒整车网络，获取传感器辅助判断数据(超声波雷达、超灵敏震动传感器、T-BOX六轴陀螺仪)，车机对异常事件进行综合判断；

6.车机通过获取传感器辅助判断数据，当监测到Xcm内有异常人员靠近，车辆立即提升至警报状态；此时为第二预警状态；

7.在第二预警状态下车端舱内显示屏高亮警示，舱外警示鸣笛，并将警报前后异常视频保存至本地端，同步发送哨兵异常提醒至手机APP提醒用户；

8.当车机监测到车辆震动数据异常，进一步综合判断异常行为类别,进行震动级别告警并告知用户：

1)轻度破坏：ICC进行综合判断，若超灵敏震动传感器监测数据处于A1≤M＜B2范围,触发轻度破坏告警

2)中度破坏：ICC进行综合判断，若超灵敏震动传感器监测数据处于B2≤M＜C3范围,触发中度破坏告警

3)重度破坏：ICC进行综合判断，若超灵敏震动传感器监测数据处于M≥C3范围,触发重度破坏告警

基于震动告警等级，车端进行相应等级的告警动作，并同步发送哨兵震动异常提醒至手机APP提醒用户。其中ICC为智能座舱集成域控制器，可以用ICC来实现融合控制模块的功能。

如图3所示给出了分级报警的一种报警方式，当哨兵模式开启后，环视摄像头持续工作，ADCC将摄像头原始数据传输到ICC中，ICC通过视觉算法实时监控车辆附近的行为人，当判断得到一定距离内行人行为异常，则判断需要报警，其中异常行为包括检测到摄像头被遮挡；此时发送指令值VCC，VCC接收执行并控制车灯闪烁两次或多次，同时发送指令值至ICC，ICC控制显示屏点亮3分钟或其他时间，同时将异常前后两分钟内的异常视频保存至本地和或云端中；同时向手机APP发送至指令，向手机APP的用户发送至异常事件消息提醒以及发送主动询问用户是否远程查看，若是则开启千里眼功能，千里眼功能即为通过TBOX方式建立连接实时传递车载摄像头的视频数据值手机APP中。

显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，均在本发明的保护范围之内。

Claims (10)

1.一种哨兵模式下多传感器融合监控***，其特征在于：包括融合控制模块和至少三种监测传感器；所述监测传感器用于感知与监控停车后的车辆本身或周围的异常数据，其输出端连接至融合控制模块，所述融合控制模块用于根据异常数据发出对应的监控告警指令。

2.如权利要求1所述的一种哨兵模式下多传感器融合监控***，其特征在于：所述监控***还包括设置于车上的车载预警模块，所述车载预警模块用于接收融合控制模块的指令并执行以输出对应的报警信号。

3.如权利要求1所述的一种哨兵模式下多传感器融合监控***，其特征在于：所述监控***还包括远程预警模块，所述远程预警模块用于接收融合控制模块发来的进行预警信息并进行展示。

4.如权利要求1所述的一种哨兵模式下多传感器融合监控***，其特征在于：所述监测传感器包括环视摄像头、超声波雷达、震动传感器，用于分别监控车辆周围的视频数据、距离信息、震动信号。

5.如权利要求4所述的一种哨兵模式下多传感器融合监控***，其特征在于：所述融合控制模块基于环视摄像头采集的视频数据对车辆周围异常人员行为进行识别、融合控制模块基于超声波雷达所获取距离数据做视觉辅助融合判断、所述融合控制模块基于震动传感器的数据对车辆的破坏情况进行识别；所述融合控制模块基于异常人员行为识别结果和车辆破坏情况进行综合判断并输出对应的监控报警指令。

6.如权利要求2所述的一种哨兵模式下多传感器融合监控***，其特征在于：所述车载预警模块被配置为多级预警模式，每级预警对应发出不同的报警信号；其根据融合控制模块的输出的多级预警指令信号来对应的输出报警信号。

7.如权利要求2或6所述的一种哨兵模式下多传感器融合监控***，其特征在于：所述车载预警模块包括光亮提醒模块、声音提醒模块。

8.如权利要求1-6任一所述的一种哨兵模式下多传感器融合监控***，其特征在于：所述监控***还包括本地存储模块和云端存储模块，用于对监控的异常数据进行本地和云端的存储。

9.一种如权利要求1-8任一所述的哨兵模式下多传感器融合监控方法，其特征在于：在车辆启动哨兵模式后，通过两种或两种以上的监测传感器监控停车后的车辆本身和或周围的异常数据并发送至融合控制模块，所述融合控制模块用于根据异常输出发出对应的监控预警指令。

10.如权利要求9所述的一种哨兵模式下多传感器融合监控方法，其特征在于：所述融合控制模块根据多种监测传感器监控停车后的车辆本身和或周围的异常数据来判断异常预警的等级并输出对应等级的预警指令至车载预警模块和或远程预警模块。