CN113074714B - 一种基于多数据融合的多态势感知传感器及其处理方法 - Google Patents

Abstract

本发明实施例公开了一种基于多数据融合的多态势感知传感器及其处理方法，设备采用由至少两个等像素不同焦距的超高清微型视频摄像机呈复眼式阵列布设而成的复眼式视频传感器、毫米波雷达传感器、其他类型传感器、北斗定位授时模块、核心处理单元组合而成。利用毫米波雷达和复眼式视频传感器所获得的数据与北斗定位授时模块中的数据在核心处理单元中进行多角度全面融合可获得更多层次数据。结合传感器不同工作特性所获得的丰富数据，使其满足全天候、全面感知对多态势高精度数据的应用需求。不仅可满足在几米至几百米范围内对不同类型目标的特征、状态、轨迹、位置进行数据提取，更可实现监视、定位、态势感知、状态预判等功能于一体。

Description

一种基于多数据融合的多态势感知传感器及其处理方法

技术领域

本发明实施例涉及视频图形分析、AI视频结构化、目标特征分析、雷达与视频数据融合、态势感知、毫米波高频信号处理、精准定位、目标跟踪、轨迹分析技术领域，具体涉及一种基于多数据融合的多态势感知传感器及其处理方法。

背景技术

随着电子技术的发展，目标跟踪设备利用视觉跟踪***等通过图像采集进行目标跟踪，比如道路上对车辆、行人或障碍物等目标的跟踪和监控，实现对特殊车辆的精准管理以及道路安全保障等。现有的目标跟踪设备一般仅能够在几十米范围内达到人脸识别以及车牌识别的清晰度要求，无法达到在大视场角、远距离人脸识别以及车牌识别的清晰度要求，不能满足在同一个画面内帮助监控人员快速掌握现场更多态势发展所需的数据需求以及更多基于图像处理技术的不同应用需求，需要的监控点位布设数量多，立杆走线成本高，点位选择的灵活性差，无法满足智慧交通、自动驾驶车辆对于多态式感知数据的精准应用需求。

发明内容

为此，本发明实施例提供一种基于多数据融合的多态势感知传感器及其处理方法，以解决现有的目标跟踪设备无法达到在大视场角、远距离人脸识别以及车牌识别的清晰度要求，无法满足智慧交通、自动驾驶车辆对于多态式感知数据的精准应用需求的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提出了一种基于多数据融合的多态势感知传感器，所述多态势感知传感器包括多个不同类型的感知传感器以及与多个所述感知传感器连接的核心控制板，所述感知传感器包括由至少两个等像素不同焦距的超高清微型视频摄像机呈复眼式阵列布设而成的复眼式视频传感器以及毫米波雷达传感器；

所述复眼式图像采集模块用于通过不同焦距的超高清微型视频摄像机分别采集不同检测距离范围内目标的超高清视频图像信息，并对视频图像进行AI视频图像分析处理，来获得目标物体的结构化数据、特征数据、状态数据、轨迹信息、异常事件信息、位置信息等内容，并通过双视频传感器或多视频传感器相互结合的方式来获取目标物体的三维立体结构化数据，并利用不同焦距的超高清摄像机实现对目标物体进行多区域、不同距离的连续监视和检测作用，并将获得的数据送入到核心控制板中进行分析融合处理，所述毫米波雷达传感器用于使用高频无线电波对雷达检测区域内的静止目标和移动目标进行持续跟踪检测，并将获得的数据送入到核心控制板中进行分析融合处理；

所述核心控制板包括核心处理器模块、核心控制模块、数据存储/缓存模块、GPS/北斗定位时钟授时模块以及时钟模块，所述核心处理器模块用于当目标进入不同感知传感器的检测区域时，获取对应检测区域的感知传感器的检测数据进行分析处理，并对不同感知传感器在重叠的检测覆盖范围内的检测数据进行关联和融合，所述核心控制模块用于按照指令信息完成设备中各个子单元的控制功能，所述GPS/北斗定位时钟授时模块用于实时输出经纬度信息、高度信息、时钟信息并将以上信息送入到核心控制板中以便与毫米波雷达传感器和复眼式视频传感器所获得的数据进行多角度、全方位、全面融合后，获得设备所覆盖的监测范围内更多的不同层次数据，所述数据存储/缓存模块用于存储设备运行的各感知传感器所需的嵌入式应用程序、算法以及提前设置好的各类***参数和临时数据，所述时钟模块用于完成本地设备中各数据的授时和设备授时以及外部软件和第三方平台的授时。

进一步地，所述感知传感器还包括红外补光灯，所述红外补光灯用于当设备周围环境光线无法满足最佳AI视频图形分析或监控监视应用需求时，根据实际光线强弱开启或关闭红外补光灯，来满足设备在光线昏暗或无光照下夜视监视和图像分析的功能模式。

进一步地，所述感知传感器还包括温湿度传感器，所述温湿度传感器用于采集周围环境的温湿度数信息。

进一步地，所述感知传感器还包括照度传感器，所述照度传感器用于采集周围环境的光照度信息。

进一步地，所述多态势感知传感器还包括数据交互模块，所述数据交互模块用于完成与外部软件或第三方平台的数据交互和解析，并根据解析内容和交互内容分别推送给核心控制模块、数据存储\缓存模块以及各感知传感器来完成和实现相应的指令。

进一步地，所述多态势感知传感器还包括协议输入输出模块，所述协议输入输出模块用于完成主要按照设备预先编订的通信协议数据传输格式，将设备所获得的最终数据输出给外部软件或第三方平台或将外部***软件以及第三方平台发送过来的数据信息发送给数据交互模块进行解析，并将解析后的内容发送到各个子模块中执行相应的命令。

进一步地，所述多态势感知传感器还包括扩展传感器，所述扩展传感器为外部增强型传感器，通过设备外部扩展接口将外部传感器数据送入到协议输入输出模块中，再通过协议输入输出模块将该数据发送到相应的子单元或外部软件以及第三方平台中。

根据本发明实施例的第二方面，提出了一种基于多数据融合的多态势感知传感器的处理方法，所述方法包括：

当目标进入到毫米雷达传感器的检测区域时，毫米雷达传感器将所检测到的目标的原始点云数据和通过雷达算法对原始点云数据处理后的目标数据实时输出到核心控制板中进行分析处理，所述目标数据包括目标物体的实时速度信息、相对位置信息、加速度信息、XY轴变量信息、点/轨迹信息、类型信息以及目标ID编号信息等；

核心处理器模块调用GPS/北斗定位时钟授时模块实时输出的经纬度信息、高度信息，并结合所述目标数据中的相对位置信息，通过运行数据存储\缓存模块中的雷达数据处理分析应用程序中获得的目标物体的运动状态信息、异常事件信息、轨迹信息、位置信息等内容，并利用关联算法将以上两大类数据源信息进行关联融合，获得具有经纬度信息、高度信息的目标物体的运动状态数据、异常事件数据、轨迹数据、位置数据等内容，再根据数据存储\缓存模块中预先设定的目标检测区域信息来精准的匹配出目标实时所在的位置区域信息；

核心处理器模块调用时钟模块获取时间信息，将所述目标物体的运动状态数据、异常事件数据、轨迹数据、位置数据等内容标记成具有时间戳的雷达综合数据信息持续送入到数据存储\缓存模块中等待核心处理器模块调用和输出；

当目标进入到视频传感器的检测范围内时，设备启动并调用视频传感器中的AI视频处理算法来获取目标的特征信息，并通过所述特征信息判断并识别该目标的类型，同时还通过AI视频处理算法获取目标的二维轮廓以及目标中心点信息，以便***根据目标中心点迹信息来绘制并获取目标的运动轨迹信息、运动方向信息、运动距离信息、两两目标间的前后左右距离信息；

核心处理模块调用时钟模块中的时间信息将以上基于视频传感器获取的所有数据信息叠加上时间戳生成视频综合数据信息送入到数据存储\缓存模块中等待核心处理器模块调用和输出；

当目标进入到单个视频传感器和雷达传感器的重叠检测覆盖区域时，核心处理器模块根据雷达与视频数据相互融合关联机制，对所述雷达综合数据信息和视频综合数据信息进行融合关联及合并，生成目标具有运动属性和特征属性的融合数据，核心处理器模块将所述融合数据分别叠加到不同视频传感器的原始视频图像中生成不同视频图像信息；

当目标进入到两个视频传感器和雷达传感器的重叠检测覆盖区域时，根据目标所处检测区域的变化，设备调用在先启用的视频传感器和当前启用的视频传感器中的AI视频处理算法来获取目标的特征信息，并对不同视频传感器中获取的目标特征属性进行持续对比和关联，依据雷达与视频数据相互融合关联算机制确定各传感器关注的是否为同一目标，如果是，将基于在先视频传感器采集的数据信息通过关联融合机制传递给当前视频传感器，并通过当前视频传感器继续对该目标进行检测和数据信息获取以及对基于在先视频传感器采集的数据信息进行二次补充；

核心处理模块提取并运行数据存储\缓存模块中AI视频图像处理分析程序，并提取在先视频传感器和当前视频传感器的实时视频综合数据信息进行二次AI视频分析处理，获取同一目标的深度信息、三维轮廓尺寸信息，并将该信息同时合并到当前视频传感器的视频综合数据信息生成二次视频综合数据信息输入到数据存储\缓存模块中等待核心处理模块的调用；

核心处理模块调用数据存储\缓存模块中带有时间戳的雷达综合数据信息和带有时间戳的所述二次视频综合数据信息，依据雷达与视频数据相互融合关联算机制，将两个传感器采集的雷达综合数据信息和二次视频综合数据信息进行融合关联以及合并，形成目标具有运动属性和特征属性更加全面的二次融合数据，核心处理模块将该二次融合数据分别叠加到在先视频传感器和当前视频传感器的原始视频图像中生成更加完善的不同二次视频图像信息。

进一步地，所述方法还包括：

将基于不同感知传感器采集的原始数据信息和/或经过设备处理后获取的数据信息，按照预设数据格式将数据进行打包封装并发送给数据交互模块，数据交互模块再将该数据按照预设压缩格式进行压缩并将压缩数据发送给协议输入输出模块，协议输入输出模块再按照预设数据通信协议格式对该数据进行周期性协议数据输出，输出后供第三方***或平台使用，以上过程直至目标离开设备所覆盖的检测区域为止。

进一步地，所述目标类型包括车辆、行人或障碍物，其中，车辆特征属性信息包括车辆品牌、车辆型号、车辆牌照、车辆颜色、车辆类型、归属地、驾驶人员的外貌等关键信息，行人特征属性信息包括男人、女人、年龄段、服装、面貌等关键信息。

本发明实施例具有如下优点：

本发明实施例提出的一种基于多数据融合的多态势感知传感器及其处理方法，设备采用由至少两个等像素不同焦距的超高清微型视频摄像机呈复眼式阵列布设而成的复眼式视频传感器、毫米波雷达传感器、其他类型传感器、北斗定位授时模块、核心处理单元组合而成。利用毫米波雷达和复眼式视频传感器所获得的数据与北斗定位授时模块中的数据在核心处理单元中进行多角度全面融合可获得更多层次数据。结合传感器不同工作特性所获得的丰富数据，使其满足全天候、全面感知对多态势高精度数据的应用需求。不仅可满足在几米至几百米范围内对不同类型目标的特征、状态、轨迹、位置进行数据提取，更可实现监视、定位、态势感知、状态预判等功能于一体。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例1提供的一种基于多数据融合的多态势感知传感器的结构示意图；

图2为本发明实施例1提供的一种基于多数据融合的多态势感知传感器的多个感知传感器融合后覆盖的检测范围示意图。

图3为本发明实施例1提供的一种基于多数据融合的多态势感知传感器的设备最佳感知覆盖范围示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例1提出了一种基于多数据融合的多态势感知传感器，该多态势感知传感器包括多个不同类型的感知传感器以及与多个感知传感器连接的核心控制板。

感知传感器包括由至少两个等像素不同焦距的超高清微型视频传感器呈复眼式阵列布设而成的复眼式图像采集模块以及毫米波雷达传感器。复眼式图像采集模块用于通过不同焦距的超高清微型视频摄像机分别采集不同检测距离范围内目标的超高清视频图像信息，并对视频图像进行AI视频图像分析处理，来获得目标物体的结构化数据、特征数据、状态数据、轨迹信息、异常事件信息、位置信息等内容，并通过双视频传感器或多视频传感器相互结合的方式来获取目标物体的三维立体结构化数据，并利用不同焦距的超高清摄像机实现对目标物体进行多区域、不同距离的连续监视和检测作用，并将获得的数据送入到核心控制板中进行分析融合处理。

本实施例中以两个超高清***机为例，两个或两个以上的摄像机设置均属于本发明的保护范围。

视频传感器1是一个超低照度的广角高清摄像机，主要用来做视觉AI处理，该摄像机的镜头焦距在4mm-12mm之间，图像清晰度在200万像素以上。可视范围在5-300米，其主要监视的范围在5-150米之间。其主要作用是用来做5-150米范围内的获取车辆或行人的特征信息以及障碍物分析、车辆特征提取、车辆轨迹提取、行人特征提取、轨迹提取、障碍物分析、远距离环境分析、天气分析(基于视频的雨、雪、雾、霾、沙尘的检测)。

视频传感器2是一个超低照度的窄角高清摄像机，主要用来做视觉AI处理，该摄像机的镜头焦距在24mm-50mm之间，图像清晰度在200万像素以上。可视范围在80-400米，其主要监视的范围在80-300米之间。其主要作用是用来做100-300米范围内的获取车辆或行人的特征信息以及障碍物分析、车辆特征提取、车辆轨迹提取、行人特征提取、轨迹提取、障碍物分析、远距离环境分析、天气分析(基于视频的雨、雪、雾、霾、沙尘的检测)。

两个***机按照阵列式排列进行布设，视频传感器1来负责近距离区域的监视和AI视频图像数据的提取，视频传感器2来负责远距离的区域的监视和AI视频图像数据的提取，两个传感器之间有一定的重叠区域，来满足不同焦距下图像自由切换和两个传感器间数据相互衔接和传递的功能需求。经过两个摄像机不同监视区域的重叠累计，就可以获取5-300米连续检测范围内任意角度、任意范围、任意位置的高清监视画面和所需要的图像信息。此外，***可以在通过两个视频传感器相互重叠部分在经过视频图像处理技术来获取被跟踪目标的的三维轮廓尺寸信息和三维目标特征信息。

通过两个不同焦距摄像机图像叠加可以实现物理变焦与电子变焦视频监视相互融合技术：由于设备采用复眼阵列式摄像机布设结构，并且每个摄像机都采用不同焦距的超高清微型监视摄像机，视频传感器1为主监视画面，当管理者想要查看视频传感器1中远处的目标时，***会调用视频传感器1输出的超高清画面，并辅助电子变焦缩放技术。当管理者所要查看的目标本身以及周围画面的清晰度不能满足应用需求时，***会自动的调用并切换到视频传感器2的超高清画面，来满足管理者对远处目标更加细节的监视、观看以及放大查看的要求。当管理者逆向操作时，设备会由视频传感器2远处点位(目标监视所在的位置)的电子变焦缩放技术，由视频传感器2的电子变焦到视频传感器2的物理变焦缩放，再到调用并且视频传感器1的电子变焦缩放技术，到视频传感器1的物理变焦缩放直到无法无法缩放为止。一个逆向还原过程。

视频流的输出：

1)当第三方平台需要调用该设备某一时间段内历史视频图时，如该时间段内无人操作设备时，***会同时记录并存储两路视频传感器设备的初始焦距图像，并按照预先设置的编码顺序和关联机制保存在同一根目录下，当管理人员调用其中任意视频传感器图象时，另一个视频传感器图像也会被同时关联提起等待调用。该种模式***支持两者之间图像相互调用切换和两者之间图像连续电子变焦缩放相互衔接，并支持边操作边预览模式。

2)当第三方平台需要调用该设备某一时间段内历史视频图时，如该时间段内有人操作设备时，***会同时记录并存储两路视频传感器设备操作后的图像，并按照预先设置的编码顺序和关联机制保存在同一根目录下，当管理人员调用其中任意视频传感器图象时，另一个视频传感器图像也会被同时关联提起等待调用。该种模式***支持两者之间图像相互调用切换和两者之间间接(有操作的图像画面)或连续(无操作的图像画面)图像电子变焦缩放相互衔接，并支持边操作边预览模式。

本实施例中，该多态势感知传感器还包括红外补光灯，红外补光灯用于当设备周围环境光线无法满足最佳AI视频图形分析或监控监视应用需求时，根据实际光线强弱开启或关闭红外补光灯，来满足设备在光线昏暗或无光照下夜视监视和图像分析的功能模式。

本实施例中，多个感知传感器中还包括温湿度传感器，温湿度传感器用于采集周围环境的温湿度数信息。

本实施例中，多个感知传感器中还包括照度传感器，照度传感器用于采集周围环境的光照度信息。

亮度和照度传感器用来获取设备周围环境的光照强度，并将实时数值分别送到协议传输模块和核心控制模块中。核心控制模块根据周围环境光线的变化范围值(核心控制模块也可以接收来自扩展传感器发送过来的数值，如：雨量传感器、风速方向传感器等数值)，来调取数据存储\缓存模块中对应的预先设定好的摄像机最佳工作模式参数，并将以上该工作参数发送给视频传感器1中和视频传感器2中，两个视频传感器接收来自数据存储\缓存模块中的数值后，周期性动态的调整自身的工作状态使其性能达到最佳，来满足不同环境下如雨、雪、雾、霾、沙尘；不同光线下如白天、晚上、晴天、阴天、早晨、傍晚等最佳工作性能要求。其次当设备周围环境光线无法满足最佳AI视频图形分析或监控监视应用需求时，核心控制模块将会根据实际光线强弱来开启和关闭红外补光灯，来满足设备在光线昏暗或无光照下夜视监视和图像分析的功能模式。红外补光灯为非可见光补光设备，该设备不会产生普通白炽灯、LED灯或传统红外补光发出的可见光源，该种光源不能被人所观察到，但能够摄像机所捕获到，因此可以在夜间，很好的避免了设备因光源而给行人、车辆造成的干扰，提高了设备的整体保密性。

毫米波雷达传感器用于使用高频无线电波对雷达检测区域内的静止目标和移动目标进行持续跟踪检测，并将获得的数据送入到核心控制板中进行分析融合处理。雷达传感器为一个定向短距毫米波雷达传感器，主要用来对静止目标和移动目标做高频无线电波探测处理，用来模拟人的触觉。毫米波雷达传感器、视频传感器1以及视频传感器2融合后覆盖的检测范围如图2所示，图3为设备最佳感知覆盖范围。

核心控制板包括核心处理器模块、核心控制模块、数据存储/缓存模块、GPS/北斗定位时钟授时模块以及时钟模块，核心处理器模块用于当目标进入不同感知传感器的检测区域时，获取对应检测区域的感知传感器的检测数据进行分析处理，并对不同感知传感器在重叠的检测覆盖范围内的检测数据进行关联和融合，核心控制模块用于按照指令信息完成设备中各个子单元的控制功能，所述GPS/北斗定位时钟授时模块用于实时输出经纬度信息、高度信息、时钟信息并将以上信息送入到核心控制板中以便与毫米波雷达传感器和复眼式视频传感器所获得的数据进行多角度、全方位、全面融合后，获得设备所覆盖的监测范围内更多的不同层次数据，不仅可满足在几米至几百米范围内对不同类型目标的特征、状态、轨迹、位置进行数据提取，更可实现对目标、检测区域的监视、定位、态势感知、状态预判等功能于一体。数据存储/缓存模块用于存储设备运行的各感知传感器所需的嵌入式应用程序、算法以及提前设置好的各类***参数和临时数据，时钟模块用于完成本地设备中各数据的授时和设备授时以及外部软件和第三方平台的授时。

本实施例中，多态势感知传感器还包括数据交互模块，数据交互模块用于完成与外部软件或第三方平台的数据交互和解析，并根据解析内容和交互内容分别推送给核心控制模块、数据存储\缓存模块以及各感知传感器来完成和实现相应的指令。

本实施例中，多态势感知传感器还包括协议输入输出模块，协议输入输出模块用于完成主要按照设备预先编订的通信协议数据传输格式，将设备所获得的最终数据输出给外部软件或第三方平台或将外部***软件以及第三方平台发送过来的数据信息发送给数据交互模块进行解析，并将解析后的内容发送到各个子模块中执行相应的命令。

本实施例中，多态势感知传感器还包括扩展传感器，扩展传感器为外部增强型传感器，通过设备外部扩展接口将外部传感器数据送入到协议输入输出模块中，再通过协议输入输出模块将该数据发送到相应的子单元或外部软件以及第三方平台中。

本发明实施例提出的一种基于多数据融合的多态势感知传感器的处理方法包括以下内容，以目标从雷达传感器探测距离的最远端依次经过视频传感器2、视频传感器1直至离开设备所设定的最佳获取数据范围为止：

当目标进入到毫米雷达传感器的检测区域时，毫米雷达传感器将所检测到的目标的原始点云数据和通过雷达算法对原始点云数据处理后的目标数据实时输出到核心控制板中进行分析处理，目标数据包括目标物体的实时速度信息、相对位置信息、加速度信息、XY轴变量信息、点/轨迹信息、类型信息以及目标ID编号信息等；

核心处理器模块调用GPS/北斗定位时钟授时模块实时输出的经纬度信息、高度信息，并结合目标数据中的相对位置信息，通过运行数据存储\缓存模块中的雷达数据处理分析应用程序中获得的目标物体的运动状态信息、异常事件信息、轨迹信息、位置信息等内容，并利用关联算法将以上两大类数据源信息进行关联融合，获得具有经纬度信息、高度信息的目标物体的运动状态数据、异常事件数据、轨迹数据、位置数据等内容，再根据数据存储\缓存模块中预先设定的目标检测区域信息来精准的匹配出目标实时所在的位置区域信息；

核心处理器模块调用时钟模块获取时间信息，将目标物体的运动状态数据、异常事件数据、轨迹数据、位置数据等内容标记成具有时间戳的雷达综合数据信息持续送入到数据存储\缓存模块中等待核心处理器模块调用和输出。

当目标进入视频传感器的检测范围时，采用以下方法对视频传感器目标信息数据进行获取，视频传感器1目标信息获取内容方式方法与视频传感器2获取目标信息的内容方式方法一样：

当目标进入到视频传感器的检测范围内时，设备启动并调用视频传感器中的AI视频处理算法来获取目标的特征信息，并通过特征信息判断并识别该目标的类型，同时还通过AI视频处理算法获取目标的二维轮廓以及目标中心点信息，以便***根据目标中心点迹信息来绘制并获取目标的运动轨迹信息、运动方向信息、运动距离信息、两两目标间的前后左右距离信息；

核心处理模块调用时钟模块中的时间信息将以上基于视频传感器获取的所有数据信息叠加上时间戳生成视频综合数据信息送入到数据存储\缓存模块中等待核心处理器模块调用和输出。

随着目标由雷达传感器探测距离的最远端移动至视频传感器2的检测范围时，此时为视频传感器2和雷达传感器的重叠的检测覆盖区域，采用以下方法视频传感器2数据和雷达数据进行融合处理：

当目标进入到单个视频传感器和雷达传感器的重叠检测覆盖区域时，核心处理器模块根据雷达与视频数据相互融合关联机制，对雷达综合数据信息和视频综合数据信息进行融合关联及合并，生成目标具有运动属性和特征属性的融合数据，核心处理器模块将融合数据分别叠加到不同视频传感器的原始视频图像中生成不同视频图像信息。

随着目标视频传感器2的检测范围移动至视频传感器1的检测范围时，此时为视频传感器1、视频传感器2和雷达传感器的重叠的检测覆盖区域，采用以下方法对视频传感器1、视频传感器2数据和雷达数据进行融合处理：

当目标进入到两个视频传感器和雷达传感器的重叠检测覆盖区域时，根据目标所处检测区域的变化，设备调用在先启用的视频传感器(即视频传感器2)和当前启用的视频传感器(即视频传感器1)中的AI视频处理算法来获取目标的特征信息，并对不同视频传感器中获取的目标特征属性进行持续对比和关联，依据雷达与视频数据相互融合关联算机制确定各传感器关注的是否为同一目标，如果是，将基于在先视频传感器(即视频传感器2)采集的数据信息通过关联融合机制传递给当前视频传感器(即视频传感器1)，并通过当前视频传感器(即视频传感器1)继续对该目标进行检测和数据信息获取以及如果在先视频传感器(即视频传感器2)中获取的目标特征信息以及其它数据信息不全时，通过当前视频传感器(即视频传感器1)采集的目标数据信息进行二次补充；

核心处理模块提取并运行数据存储\缓存模块中AI视频图像处理分析程序，并提取在先视频传感器(即视频传感器2)和当前视频传感器(即视频传感器1)的实时视频综合数据信息进行二次AI视频分析处理，获取同一目标的深度信息、三维轮廓尺寸信息，并将该信息同时合并到当前视频传感器(即视频传感器1)的视频综合数据信息生成二次视频综合数据信息输入到数据存储\缓存模块中等待核心处理模块的调用；

核心处理模块调用数据存储\缓存模块中带有时间戳的雷达综合数据信息和带有时间戳的二次视频综合数据信息，依据雷达与视频数据相互融合关联算机制，将两个传感器采集的雷达综合数据信息和二次视频综合数据信息进行融合关联以及合并，形成目标具有运动属性和特征属性更加全面的二次融合数据，核心处理模块将该二次融合数据分别叠加到在先视频传感器(即视频传感器2)和当前视频传感器(即视频传感器1)的原始视频图像中生成更加完善的不同二次视频图像信息。

视频传感器1和视频传感器2之间的AI视频处理、分析、关联、融合、合并等内容直到目标离开两个视频传感器重叠的区域为止。以上过程为目标从雷达传感器探测距离的最远端经过视频传感器2、视频传感器1直至离开设备所设定的最佳获取数据范围为止，如果是目标从距离设备最近位置向设备的最远端移动，那么以上数据的生成是由视频传感器1到雷达传感器再到视频传感器2的反向工作过程，其方式方法以及获取的数据内容和输出数据内容与上描述内容一致。

进一步地，该方法还包括：

将基于不同类型的感知传感器采集的原始数据信息和/或经过设备处理后获取的数据信息，比如二次融合数据、不同视频传感器的二次视频图像信息、温湿度传感器或照度传感器采集环境数据信息、设备位置信息、时间信息以及扩展传感器所采集的数据信息、视频传感器1和视频传感器2的原始视频图像(如需要)、雷达点云数据(如需要)等内容，按照预设数据格式将数据进行打包封装并发送给数据交互模块，数据交互模块再将该数据按照预设压缩格式进行压缩并将压缩数据发送给协议输入输出模块，协议输入输出模块再按照预设数据通信协议格式对该数据进行周期性协议数据输出，输出后供第三方***或平台使用，以上过程直至目标离开设备所覆盖的检测区域为止。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于多数据融合的多态势感知传感器，其特征在于，所述多态势感知传感器包括多个不同类型的感知传感器以及与多个所述感知传感器连接的核心控制板，所述感知传感器包括由至少两个等像素不同焦距的超高清微型视频摄像机呈复眼式阵列布设而成的复眼式视频传感器以及毫米波雷达传感器；

所述复眼式视频传感器用于通过不同焦距的超高清微型视频摄像机分别采集不同检测距离范围内目标的超高清视频图像信息，并对视频图像进行AI视频图像分析处理，来获得目标物体的结构化数据、特征数据、状态数据、轨迹信息、异常事件信息、位置信息，并通过双视频传感器或多视频传感器相互结合的方式来获取目标物体的三维立体结构化数据，并利用不同焦距的超高清微型视频摄像机实现对目标物体进行多区域、不同距离的连续监视和检测作用，并将获得的数据送入到核心控制板中进行分析融合处理，所述毫米波雷达传感器用于使用高频无线电波对雷达检测区域内的静止目标和移动目标进行持续跟踪检测，并将获得的数据送入到核心控制板中进行分析融合处理；

所述核心控制板包括核心处理器模块、核心控制模块、数据存储/缓存模块、GPS/北斗定位时钟授时模块以及时钟模块，所述核心处理器模块用于当目标进入不同感知传感器的检测区域时，获取对应检测区域的感知传感器的检测数据进行分析处理，并对不同感知传感器在重叠的检测覆盖范围内的检测数据进行关联和融合，所述核心控制模块用于按照指令信息完成设备中各个子单元的控制功能，所述GPS/北斗定位时钟授时模块用于实时输出经纬度信息、高度信息、时钟信息并将以上信息送入到核心控制板中以便与毫米波雷达传感器和复眼式视频传感器所获得的数据进行多角度、全方位、全面融合后，获得设备所覆盖的监测范围内更多的不同层次数据，所述数据存储/缓存模块用于存储设备运行的各感知传感器所需的嵌入式应用程序、算法以及提前设置好的各类***参数和临时数据，所述时钟模块用于完成本地设备中各数据的授时和设备授时以及外部软件和第三方平台的授时。

2.根据权利要求1所述的一种基于多数据融合的多态势感知传感器，其特征在于，所述多态势感知传感器还包括红外补光灯，所述红外补光灯用于当设备周围环境光线无法满足最佳AI视频图形分析或监控监视应用需求时，根据实际光线强弱开启或关闭红外补光灯，来满足设备在光线昏暗或无光照下夜视监视和图像分析的功能模式。

3.根据权利要求1所述的一种基于多数据融合的多态势感知传感器，其特征在于，所述感知传感器还包括温湿度传感器，所述温湿度传感器用于采集周围环境的温湿度数信息。

4.根据权利要求1所述的一种基于多数据融合的多态势感知传感器，其特征在于，所述感知传感器还包括照度传感器，所述照度传感器用于采集周围环境的光照度信息。

5.根据权利要求1所述的一种基于多数据融合的多态势感知传感器，其特征在于，所述多态势感知传感器还包括数据交互模块，所述数据交互模块用于完成与外部软件或第三方平台的数据交互和解析，并根据解析内容和交互内容分别推送给核心控制模块、数据存储\缓存模块以及各感知传感器来完成和实现相应的指令。

6.根据权利要求5所述的一种基于多数据融合的多态势感知传感器，其特征在于，所述多态势感知传感器还包括协议输入输出模块，所述协议输入输出模块用于完成按照设备预先编订的通信协议数据传输格式，将设备所获得的最终数据输出给外部软件或第三方平台或将外部***软件以及第三方平台发送过来的数据信息发送给数据交互模块进行解析，并将解析后的内容发送到各个子模块中执行相应的命令。

7.根据权利要求6所述的一种基于多数据融合的多态势感知传感器，其特征在于，所述多态势感知传感器还包括扩展传感器，所述扩展传感器为外部增强型传感器，通过设备外部扩展接口将外部传感器数据送入到协议输入输出模块中，再通过协议输入输出模块将该数据发送到相应的子单元或外部软件以及第三方平台中。

8.根据权利要求1-7中任一所述的一种基于多数据融合的多态势感知传感器的处理方法，其特征在于，所述方法包括：

当目标进入到毫米波雷达传感器的检测区域时，毫米波雷达传感器将所检测到的目标的原始点云数据和通过雷达算法对原始点云数据处理后的目标数据实时输出到核心控制板中进行分析处理，所述目标数据包括目标物体的实时速度信息、相对位置信息、加速度信息、XY轴变量信息、点/轨迹信息、类型信息以及目标ID编号信息；

核心处理器模块调用GPS/北斗定位时钟授时模块实时输出的经纬度信息、高度信息，并结合所述目标数据中的相对位置信息，通过运行数据存储\缓存模块中的雷达数据处理分析应用程序中获得的目标物体的运动状态信息、异常事件信息、轨迹信息、位置信息，并利用关联算法将经纬度信息、高度信息，与目标物体的运动状态信息、异常事件信息、轨迹信息、位置信息进行关联融合，获得具有经纬度信息、高度信息的目标物体的运动状态数据、异常事件数据、轨迹数据、位置数据，再根据数据存储\缓存模块中预先设定的目标检测区域信息来精准的匹配出目标实时所在的位置区域信息；

核心处理器模块调用时钟模块获取时间信息，将所述目标物体的运动状态数据、异常事件数据、轨迹数据、位置数据标记成具有时间戳的雷达综合数据信息持续送入到数据存储\缓存模块中等待核心处理器模块调用和输出；

当目标进入到视频传感器的检测范围内时，设备启动并调用视频传感器中的AI视频处理算法来获取目标的特征信息，并通过所述特征信息判断并识别该目标的类型，同时还通过AI视频处理算法获取目标的二维轮廓以及目标中心点信息，以便***根据目标中心点迹信息来绘制并获取目标的运动轨迹信息、运动方向信息、运动距离信息、两两目标间的前后左右距离信息；

核心处理模块调用时钟模块中的时间信息将以上基于视频传感器获取的所有数据信息叠加上时间戳生成视频综合数据信息送入到数据存储\缓存模块中等待核心处理器模块调用和输出；

当目标进入到单个视频传感器和雷达传感器的重叠检测覆盖区域时，核心处理器模块根据雷达与视频数据相互融合关联机制，对所述雷达综合数据信息和视频综合数据信息进行融合关联及合并，生成目标具有运动属性和特征属性的融合数据，核心处理器模块将所述融合数据分别叠加到不同视频传感器的原始视频图像中生成不同视频图像信息；

当目标进入到两个视频传感器和雷达传感器的重叠检测覆盖区域时，根据目标所处检测区域的变化，设备调用在先启用的视频传感器和当前启用的视频传感器中的AI视频处理算法来获取目标的特征信息，并对不同视频传感器中获取的目标特征属性进行持续对比和关联，依据雷达与视频数据相互融合关联机制确定各传感器关注的是否为同一目标，如果是，将基于在先视频传感器采集的数据信息通过关联融合机制传递给当前视频传感器，并通过当前视频传感器继续对该目标进行检测和数据信息获取以及对基于在先视频传感器采集的数据信息进行二次补充；

核心处理模块提取并运行数据存储\缓存模块中AI视频图像处理分析程序，并提取在先视频传感器和当前视频传感器的实时视频综合数据信息进行二次AI视频分析处理，获取同一目标的深度信息、三维轮廓尺寸信息，并将该信息同时合并到当前视频传感器的视频综合数据信息生成二次视频综合数据信息输入到数据存储\缓存模块中等待核心处理模块的调用；

核心处理模块调用数据存储\缓存模块中带有时间戳的雷达综合数据信息和带有时间戳的所述二次视频综合数据信息，依据雷达与视频数据相互融合关联算机制，将雷达综合数据信息和二次视频综合数据信息进行融合关联以及合并，形成目标具有运动属性和特征属性更加全面的二次融合数据，核心处理模块将该二次融合数据分别叠加到在先视频传感器和当前视频传感器的原始视频图像中生成更加完善的不同二次视频图像信息。

9.根据权利要求8中所述的一种基于多数据融合的多态势感知传感器的处理方法，其特征在于，所述方法还包括：

将基于不同类型的感知传感器采集的原始数据信息和/或经过设备处理后获取的数据信息，按照预设数据格式将数据进行打包封装并发送给数据交互模块，数据交互模块再将该数据按照预设压缩格式进行压缩并将压缩数据发送给协议输入输出模块，协议输入输出模块再按照预设数据通信协议格式对该数据进行周期性协议数据输出，输出后供第三方***或平台使用，以上过程直至目标离开设备所覆盖的检测区域为止。

10.根据权利要求8中所述的一种基于多数据融合的多态势感知传感器的处理方法，其特征在于，所述目标类型包括车辆、行人或障碍物，其中，车辆特征属性信息包括车辆品牌、车辆型号、车辆牌照、车辆颜色、车辆类型、归属地、驾驶人员的外貌的关键信息，行人特征属性信息包括男人、女人、年龄段、服装、面貌的关键信息。

Images