CN109640032A - 基于人工智能多要素全景监控检测五维预警*** - Google Patents

Abstract

本发明提出了一种基于人工智能多要素全景监控检测五维预警***，包括：至少一个前端人工智能多要素全景监控检测装置和中心管理装置，每个前端装置包括中央控制处理单元、与中央控制处理单元相连的摄像机组、多要素传感器、通信模块、移动终端和接口单元，多要素传感器包括：亮度光强传感器、温湿度传感器、雨量传感器、风速风向传感器、综合气体传感器；摄像机组包括多台变焦摄像机和IPC红外热成像摄像机；中央控制处理单元主要完成将接收到的图像信息按拼接算法进行拼接融合和数据采集、逻辑运算和逻辑控制输出；中心管理装置通过大数据云处理平台进行现场五维图形实时显示。本发明对外输出5组视频流，支持一个180°或360°全景无缝拼接视频流。

Description

基于人工智能多要素全景监控检测五维预警***

技术领域

本发明涉及全景监控技术领域，特别涉及一种基于人工智能多要素全景监控检测五维预警***。

背景技术

首先，高清监控摄像机被广泛的应用到了各个领域包括：交通、银行、机场、油田、铁路、平安城市、轨道交通、公共场所、国防等等诸多领域，已经成为一种不可缺少的重要设备。此外基于视频分析处理、检测、抓拍、数据提取等重要技术手段又为功能单一的摄像机注入了新的生命。

监控摄像机虽然被赋予了很多功能，但是由于其安装环境、位置、角度、高度等所限，仍然存在着各种弊端使其只能在特殊场合、特殊环境、特殊安装位置、特殊角度以及高度时，才能最大限度的满足其使用需求。比如要想实现一天24小时不间断监视，就必须给摄像机安装补光装置才可以实现。再比如要想让摄像机在各种天气环境(雨、雪、雾、雾霾、沙尘等)下能够正常使用，就必须使用特定的摄像机比如红外热成像摄像机，要想准确的对车辆信息进行提取抓拍，就必须将抓拍摄像机安装在道路车道的正上方并用补光等进行补光。为了能够监控更大范围的区域消除盲角或死角地带，就必须布设更大量的摄像机才能够满足实际使用需求，甚至是枪击和球机联动的方式。比如在平安城市中计划每个50米 -100米就会有3个摄像机的布设，在高速公路几乎每隔1公里就有1对监控摄像机布设，在隧道内每个 100米-200米就有一个摄像机被布设，在特大桥梁每个50米-100米包括桥墩就会布设一个，如是在重要区域器布设密度将会更大，虽然在技术方面能够满足实际使用需求，“灯下黑”(安装摄像机杆子下面会产生盲区)现象却是无法避免。此外如此大量摄像机的布设而造成的有形或无形的成本却是无法估量的，比如长期供电、安装布设所需要的基础、立杆、维护、保养等等。再者虽然现在市场已经出现了180°全景拼接或360°全景拼接监控摄像机，但是在实际使用中仍然存在很多的缺点，比如1个180°的拼接摄像机，采用东西方向安装时，由于不同时间段内不同光照效应(逆光或背光)会使不同拼接摄像机在画面上产生不同的图像效果，逆光的摄像机整体画面会变暗，其中被监视的物体失去原有的图像信息整体变得更暗，而无法识别准备的目标信息，背光的摄像机会变得更亮，被监视的物体色彩失真。而对于一个180°全景拼接摄像机而言这样子的画面就是一个天大的灾难，如果用这样子的图像采集分析获取数据将会更加困难，虽然可以通过人工来调整参数可以改变图像品质，但是操作流程非常繁琐，并且要在不同关照光照环境下持续调节才可以让画面始终变得可用，然而这种做法却是不可能实现的。再者现在的全景拼接技术从某程度上已经解决了部分客户需求，但是由于摄像机被安装的环境不同、监视检测物体的不同、被监视检测物体的距离不同、光照不同、安装的高度角度不同等等原因也极大了限制了这种新技术的推广和使用，其次现有的全景拼接技术仍然存在一些缺陷，摄像机出场时所使用的镜头全部为定焦镜头，即使是变焦镜头也需要人员拆开设备人工调节镜头参数后，恢复好设备再通过软件修正参数，才能够达到最好的拼接效果，即使是这样摄像机安装的高度和角度，也会收到很大的限制，如此繁琐的操作流程非专业人士是很难掌握和处理的。现在很多监控检测区域用户或者施工单位为了方便稳定可靠，仍然愿意选择多个摄像机对大区域范围的监视检测应用方案。

其次，全要素气象站遵循国际气象组织(WMO)气象观测标准设计和规范，主要针对包括对：环境温度、环境湿度、露点温度、风速、风向、气压、太阳总辐射、降雨量、地温(包括地表温度、浅层地温、深层地温)、土壤湿度、土壤水势、土壤热通量、蒸发、二氧化碳、日照时数、太阳直接辐射、紫外辐射、地球辐射、净全辐射、环境气体共二十项数据指标进行检测分析，多数采用无人值守方式，安装或部设在重要区域以便获取各种重要数据。

全要素气象站虽然能够满足大多数人员或部门的使用需求，但是由于成本造价昂贵仍无法被广泛使用，甚至是很多功能没有被利用造成很大的浪费。由于专业气象站都是被定点布设在某一固定的位置上而不能随便移动，所获取的数据也只能是单点的气象数据，而不是连续区域或大范围准确的数据，虽然我们可以通过气象台来获取未来几天或者当天的局部气象情况，可是往往出现在同一城市或统一区域内“这边下雨，那边晴”的状况。而这种情况更是对重要机构或部门造成了很大影响，甚至是造成了不必要的经济损失或者是生命的危险。比如冬季高速公路或城市交通主干道在下雨下雪后会造成路面结冰，而这种路面结冰又不是定点的，这就需要对整个道路的结冰情况、天气情况进行有效的检测获取真实有效的数据才能够采取更加有效的方式方法来避免各种灾难的发生。还有在雾霾天气、下雨、下雪天气或大雾天气同样也会有这种情况的发生，而这种条件下定点气象检测装置就会显得力无从心。还有在隧道中虽然也布设了烟雾传感器但是都是定点布设，还有隧道中的有害气体检测和环境检测都是采用定点检测，而且数量很少只能片面的反映了某一个节点和/或一个断面的数据，不能代表连续性的区域大范围的准确数据，尤其是一旦隧道里发生交通事故事件时，这种数据更为重要，早点获取连续性准确可靠的有效数据对危情告警和解救生命提供了技术支撑，这对一个交通管理者来说非常重要。

再者，隧道火灾是公共交通危害最大的安全事故，不仅会造成隧道的交通堵塞而且可能产生严重损失和生命安全。一旦隧道内发生***或火灾都将难以营救，对于快速检测准确预警减少误报和漏报对于快速准确的处理重大事件，是迅速控制火情和对人员实施救援及降低损失的关键。现今传统的火灾检测技术主要包括：感温检测、感烟检测、感温光纤检测、光纤光栅检测、双波长检测、视频检测和红外检测等技术，易受隧道复杂环境的影响，难以实现火灾实时检测而且预警时间滞后，另外目前的探测技术难以保证形成全面的安全监控***，另外一旦发生异常事件后很多监控设备在浓烟的眷顾下都将失灵。

烟雾蔓延的区域，有害气体构成情况，以及隧道内人员疏散情况，分布情况都会在浓烟烈火的情况下失去原本的功能作用，救护人员以及监控人员在无法获取隧道内准确的信息时，都是无法开展有效营救的。一旦出现这种状况只能指望现场人员自救了。还有现有火灾报警检测设备几乎全部是点报警，更没有直观的视频加以指导、监视、观察等辅助作用，现有的视频检测报警装置都会在浓烟的情况下而失灵。还有一种灾害就是隧道的出入口路面结冰，尤其入冬以后，平原甚至是在高寒地区一旦路面出现结冰以后，都将会对道路上行驶的车辆构成严重的损害，甚至是重大的交通事故这种事故所造成的经济损失或人员伤亡都是最大的，虽然现在有很多的路面结冰检测技术或设备能够解决使用者的一定需求，但是快速准确使用简单稳定可靠覆盖范围广而且直观的路面检测设备一直是业主不断的追求。

总结、以上阐述的各种设备，都有各自的优缺点，但是最大的缺点就是每个设备都自己一个独立的***互不联系，如此庞大的数据信息如何能够综合起来为人类安全出行或者是救援提供帮助，是当前需要解决的技术问题。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于人工智能多要素全景监控检测五维预警***。

为了实现上述目的，本发明的实施例提供基于人工智能多要素全景监控检测五维预警***，包括：至少一个前端人工智能多要素全景监控检测装置和中心管理装置，每个所述前端人工智能多要素全景监控检测装置包括中央控制处理单元、与所述中央控制处理单元相连的一组变焦摄像机(实现180°或360°全景拼接功能，可提供实时大范围视频路况查看、提供各种基于视频图形分析的监控检测功能)、IPC红外热成像摄像机(实现高温物体检测、道路暗冰检测、火灾预警报警检测、夜视功能等属于感知单元)、多要素传感器、通信模块和接口单元和供电模块，其中，所述多要素传感器包括：亮度光强传感器、温湿度传感器、雨量传感器、风速风向传感器、综合气体传感器，其中，所述亮度光强传感器用于采集当前环境的亮度光强值；所述温湿度传感器用于采集当前环境的温湿度数据，所述雨量传感器用于采集当前环境的雨量值，所述风速风向传感器用于采集当前环境的风速风向数据，所述综合气体传感器用于采集当前环境中各类气体的浓度值，其中，每台所述前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，然后将采集到的各类环境数据信息发送至所述中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置(五维预警告警管理平台)，进行模拟仿真现场实际环境(如：雨、雪、雾、风、日照等等)并融入到五维图形中实时显示，为路况查看、道路救援、环境灾害预测评估、救急方案生成提供基础依据；所述摄像机组包括多台变焦摄像机，用于实现 180°或360°全景拼接功能，并提供实时大范围视频路况查看、提供各种基于视频图形分析的监控检测功能，其中，每台所述前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，分别采集路段上不同位置的图像信息，其中，每台摄像机采用不同焦距的可变焦镜头监视不同距离的物体，并采集相应的图像信息，然后将采集到的图像信息发送至所述中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置，进行二次视频图像拼接并融入到五维图形中实时显示，实现异常事件事故检测报警、定位、交通状态预览和评估、全路径视频查看漫游等功能；所述 IPC红外热成像摄像机用于实现对高温物体检测、道路暗冰检测、火灾预警报警检测、提供夜视***，首先划定需要检测的区域，再对被检测区域内的物体、行人、路基路面等进行实时检测，并在普通摄像机在夜间或环境昏暗被致盲时，起到夜视透视监控的作用；每台所述前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，IPC红外摄像机分别采集路段上不同位置的物体、行人、路基路面数据信息和图像信息，然后将采集到的数据信息发送至所述中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置，进行集中汇总分析并融入到五维图形中实时显示，实现异常车辆、物体、行人、路基路面等异常事件事故检测报警、定位、交通状态预览和评估、夜视***；所述中央控制处理单元用于将接收到的上述一组变焦摄像机图像信息按拼接算法进行拼接融合和数据采集、逻辑运算和逻辑控制输出，形成180°或360°全景拼接图像后上传到中心管理装置上，以及在接收到来自所述IPC红外热成像摄像机的报警信息时，结合所述多要素传感器采集的各项数据，按照预先设定的报警参数或中央控制单元人工智能深入分析学***台查看实时监控信息，查看访问局域网内所有的在线设备状态和故障设备所在位置以及故障情况进而进行快速修复；所述中心管理装置接收每个前端装置发送来的视频、图像、数据、多要素传感器采集的各项数据和报警信息，将N个前端设备级联和关联起来获取前端数据，通过大数据云处理平台进行现场五维图形展示、全路径交通状态视频预览漫游、实际环境的模拟、仿真、回放，得到环境模拟结果，并通过图形和声音的形式告知管理者和救护人员以及消防人员，采取维护措施；中心管理装置通过大数据云处理平台进行现场五维图形实时显示，包括：现场五维图形显示、实际天气感知环境模拟动态显示、交通通行状态预览、事件事故预判、全路径视频拼接三维无限漫游查看、事件事故发生位置实时定位、信息汇总上传。

进一步，每台所述前段人工智能多要素全景监控检测装置采用一组可变焦或定焦摄像机实现180°或360°全景拼接融合；所述IPC摄像机采用具有温度检测、区域划定功能的红外热成像摄像机。

进一步，一组可变焦摄像机采用智能级联调校技术，其中，所述智能级联调校包括对摄像机的焦距、光圈、快门、白光平衡、曝光控制、最低照度、宽动态、方位、编码格式参数的调整；

当任何一个摄像机的参数被人为的调整时，其他摄像机的参数会跟着自动同步更改，包括按照预先设定的程序和参数进行正向增加或反向减少，以保证180°或360°全景视频图像拼接融合的完整性。

进一步，所述摄像机组包括：3个变焦摄像机和1个专用的IPC红外热成像摄像机，其中，所述中央控制处理单元输出5组视频流：

第1组：第一个变焦摄像机的视频流；第2组：第二个变焦摄像机的视频流；第3组：第三个变焦摄像机的视频流；第4组：第一至第三个变焦摄像机形成的180°或360°全景拼接视频流；第5组： IPC红外热成像摄像机的视频流；

其中，为了减少设备占用的网络带宽，第1组至第3组视频流采用被动调用方式，***默认主动输出第4组视频流和第5组视频流，第三方***在调用第1-3组视频流时，保证第4组和第5组视频流不能中断。

进一步，所述接口单元包括：供电接口和输入输出接口，其中，

所述供电接口采用48V POE供电接口；所述输入输出接口包括：IO接口、音频输入接口、音频输出接口、CAN接口、RS485接口和100/1000M自适应RJ45接口。

进一步，所述综合气体传感器用于采集二氧化硫、二氧化碳、一氧化碳、甲烷、甲醛、天然气、液化气的气体浓度。

进一步，所述中央控制处理单元包括：存储单元、时钟单元、GPU图形处理单元、多核高速ARM处理器、多核高速DSP处理器和中央控制逻辑运算与处理单元；所述通信模块采用无线通信模块、4G通信模块和100/1000M自适应网口通信模块三种。

进一步，通过实时获取图像信息与各传感器采集的数据信息后，***启用大数据分析并用图形的方式将所获得的数据模拟仿真出来给监控中心指挥人员与抢险救灾人员提供基础保证，此外***通过对各类数据进行有规律性的自我学习和数据汇总后，最终形成具有五维实时动态的展示图形供操作人员决策、定位、查看、全路径漫游、预览使用，以三维地图为底层预览模式并结合的不同时段、不同气象状况、不同交通状态、实时全景视频图形拼接融合、不同地点、不同危害程度管理策略和周期性行动方案，一旦达到报警临界点或出现紧急情况时，***马上发出报警信息，并用五维视图展示方式给相关工作人员观看预览，以便尽快的采取相应的救援措施，较少损害挽救生命。

进一步，所述中心管理装置包括：管理工作站和私有云服务器，其中，所述私有云服务器设置在监控分中心机房中，执行以下工作：数据交换、存储功能、***通讯、维护、***各功能的搭建、参数的设置、集中报警、预案生成、人工智能深入学习分析、联动方案执行下发、三维地图生成、五维图形生成、现场环境数据汇总、现场环境模拟仿真、大数据宏观运算、视频监控、图像存储、报警事件录像存查、报表生产、全路径视频图像二次拼接、全路径视频图像查看、漫游、预览生成、视频图像的调用与第三方联动指令发送、发送预设方案、日常操作人机界面集中警报；所述管理工作站设置在监控分中心操控台上，执行以下工作：数据交换、***通讯、集中报警、预案生成、联动方案下发执行、五维图形实时展示、图像显示、大数据宏观显示、视频监控、全路径视频图像查看、漫游、预览生成、视频图像的调用、报警事件录像存查、报表生产、与第三方联动指令发送、发送预设方案、日常操作、人机界面交互、集中警报。

根据本发明实施例的基于人工智能多要素全景监控检测五维预警***，具有以下有益效果：

1)该产品可以通过自身的千兆网口对外输出5组视频流，每组视频流均可支持5个客户端同时访问；其中包括3个监视不同角度不同方向独立的摄像机视频流，一个180°或360°全景无缝拼接视频流，一个红外热成像摄像机视频流。5个视频流均可以独立工作发送到不同的客户端进行不同的功能检测或图形分析以及存储调用使用。

2)4个摄像机(3个可变焦摄像机和1个PLC红外热成像摄像机)根据实际使用情况均可以进行独立的参数设置修改或以级联方式接受整体修改设置方案，也可以实现智能自动参数联动调整。

3)视频流的编码以及通信方式符合国际或国内主流的编码以及通信方式，也可以根据用户需求采用用户独有的加密编码格式和通信方式，图像质量可在200万像素至2400万像素之间任意切换或调用查看。

4)5组视频流全部通过一个千兆网口进行输出，每个参数都可以通过远程进行管理、设定、修改。

5)设备同时具有异常事件检测(行人、车辆违章停驶、交通事故、逆行、抛洒物体、拥堵、排队)、车牌抓拍(超速、慢行、违章变道、路径识别)、危险可疑车辆检测、火灾检测、物体高低温检测、暗冰路面结冰检测、各类异常天气灾害检测、有害气体、可燃气体检测等功能，也可以根据用户需求增加基于图像分析处理其他功能如面部识别、周界防范等等。

6)三个摄像机均采用超低照度靶面为1/1.8”的星光级定制化成像器件，效果呈现以及暗环境逆光控制；实现远程微聚焦、精准光圈调节功能，采用特殊物理硬件组合和机械架构彻底解决单个摄像机或多个拼接摄像机“灯下黑”的工作模式。

7)采用无缝拼接方式使拼接画面更加的流畅连续而不间断。

8)可将两个或N个连续的人工智能多要素全景监控检测五维预警***前段设备通过网络组合在一起，在满足一定的安装要求时(如间隔距离、高度等)，再次对每个前段设备发过来的180°或360°全景视频图像进行更大范围的图形拼接融合，从而保证车辆在隧道内、道路外场或被监视连续的区域范围内而不丢失图像信息。通过这种二次拼接融合技术可以实现长距离、全路段、大区域无盲角连续监控检测和个别物体、车辆、行人的跟踪和运动轨迹的分析，甚至可以实现全场景3D跟踪监视检测机制。

9)180°全景拼接融合采用多焦距复眼拼接方式，3个摄像机采用不同焦距的可变焦镜头监视不同距离的物体，设备在通过特定的图形拼接算法将3个视频图像拼接融合在一起，形成完整的监控监视画面。

10)3个摄像机采用智能级联调焦技术，当3个摄像机任何一个摄像机的焦距被人为的调整时，其他两个摄像机的焦距都会自动同步改变(通过预先设定的处理机制和联动算法正向增加或反向减少)，保证输出的全景拼接融合图像不受任何影响。

11)3个摄像机采用智能级联调校技术，当任何一个摄像机的色彩还原度、白平衡、超低照度、宽动态、曝光强度、快门速度、视频编码格式、色彩均匀度等重要参数被认为调整时，其他两个摄像机与之对应的参数都会自动同步改变(通过预先设定的处理机制和联动算法正向增加或反向减少)。

12)3个摄像机将作为一个完整整体出现，首先需要对三个摄像机的广角图像畸变进行纠正输出；曝光、白平衡、色彩均匀度和色彩还原采用以中心广角摄像机(摄像机2)为参考机制，中心广角摄像机(摄像机2)图像参数调整时，其他两个摄像机会同步自动调节，以应对不同进光量时图像拼接要求以达到图像拼接最佳效果。

13)当网络集群中有任何一台前段设备由于特殊原因导致有线通信中断或有线供电中断后，***马上开启节能模式和自组网模式并依靠前段设备本身所自带的蓄电池进行维系工作，在保证24小时范围内不掉线。于此同时***通过4G(未来支持5G模式或更高的无线传输方式)方式向终端用户发送报警信息。

14)用户可通过手机APP或电脑实时查看访问集群网内所有的在线设备状态和故障设备所在位置以及故障情况进而进行快速修复。

15)当隧道内发生火灾或***时，其中隧道内一个设备或多个设备损坏时，甚至是隧道内的供电***或通信***无法工作时，消防人员或救护人员可在隧道的出入口通过笔记本或手机接入设备的无线网络中，在隧道内通信中断或供电中断的设备，马上启动自组网以及节能模式，在持续24小时低功耗模式下为方便救护人员，消防人员、以及领导人员现场指挥调度，实时查看隧道内现场图像(图片形式每 5-60秒更新一次，时间可以调整)情况，为人员救护和抢灾救险提供了宝贵时间。

16)***通过将采集到的多要素传感器和综合气体传感器等各种数据以及自身工作状态(温度、电压、电流、通信情况、各传感器在线或损坏情况、机械故障情况)和压缩后的视频图像或以缩略图；通过无线网络或4G通信模块(未来支持5G模式或更高的无线传输方式)传输给设备管理人员或维护人员以及各领导人员，通过这种方式这些人员可以随时随地掌握设备情况以及现场情况，可以轻松实现在线管理移动办公需求，从而做到快速查看、快速知晓、快速设备故障排查、快速修复等效果。

17)设备现场维护人员在不接近设备的情况下，通过设备指示灯的闪烁方式或4G通信(未来支持 5G模式或更高的无线传输方式)用手机APP就可以初步的判断出设备详细的故障情况、甚至精确到每一个传感器的或机械部件损坏程度等主要信息。

18)综合传感器和多要素传感器将现场采集到的实时数据通过前端设备进行分析、汇总、判断、形成预警方案或报警信息传给中心服务器进行现场环境模拟仿真还原与并通过私有云大数据深入人工分析后并结合五维预警***展示平台进行实时展示，并发出报警启动相应的应急或救援方案。

19)中心云处理平台将N个前端设备发过来的大量数据，并经深入学习和分析后，可对某一点、某一区域、某一条路、某一城市、某一省份进行真实准确的实时的环境五维模拟还原仿真(三维地图、实时视频图像、某一点、某一区域、某一条路、某一城市、某一省的天气状况进行完美的融合和展示)，提供道路拥堵、交通事故、周界防范、自然灾害、抢险救灾、紧急事件事故处理、指挥调度、预警防范、消防救援等等提供基础数据、图形信息、图像信息和详细的预案，为相关人员和领导争取宝贵时间。

20)中心管理服务器可通过远程对前端设备进行参数的设置、修订、获取、下发全新方案等。

21)由于该设备可通过可见光摄像机、红外热成像摄像机以及温度传感器和气体传感器综合分析，并提供了更加友好的可视化图形报警查看界面，此外传感器都可以对被检测物体以及需要检测的区域进行区域划定，极大的减少了传统设备误报、漏报、不报、报警不直观、定位不准确、不可视化、少参考量的诸多缺点，并提高了对将要发生异常事件的反应时间。并对更多的异常事件提出了一体化解决方案如高温物体报警温度、低温物体报警温度、被检测物体温度持续时间、波及范围、火焰或暗冰特征等，减少了重复设备以及不必要设备的大量投入，减少了大量隐形资源的浪费。设备可对对隧道内、道路、桥梁、周界区域、机场、厂房以及特定区域进行明火、高温物体以及暗冰进行实时检测，该传感器除了具备检测报警功能以外，在隧道内发生火灾或升起浓烟普通摄像机被致盲时，起到透视监控的作用。为隧道消防人员以及营救人员和管理人员提供一手准确实时的视频图像。当设备被安装在外场时，在夜间、浓雾、雾霾、大雪、大雨普通摄像机被致盲时同样起到透视夜视作用。

22)该设备还可以提供一种具有无论在白天或者夜晚以及在浓烟雾霾下可视化的火灾、高温、低温、暗冰以及路面结冰预警、报警的可视化解决方案

23)由于该设备具有全路径视频全程拼接和跟踪功能，因此可为高速公路上行驶的车辆或行人进行精确的定位和行驶路径识别以及回放，可为精准路径收费提供有效的保证

24)当前端设备检测到异常事件并结合传感器采集到的各类数据深入分析后，并危害程度优先级方式自动生成的报警预案，并通过IO、R485或CAN接口输出报警信息发送给本地报警设备或第三方设备中去，并通过网口上传到中心服务器进行汇总报警或报警触发，形成全自动无人干预的一体化解决方案或机制。

25)全路径全景图像视频事件检测成本是普通单个摄像机成本的三分之一；全路径全景图像车辆违章抓拍成本是普通单个摄像机成本的三分之一。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于人工智能多要素全景监控检测五维预警***的结构图；

图2为根据本发明实施例的基于人工智能多要素全景监控检测五维预警***的前端装置的硬件逻辑架构图；

图3为根据本发明实施例的基于人工智能多要素全景监控检测五维预警***的前端装置的架构图；

图4为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前端装置，一组可变焦摄像机实现180°或360°全景视频图像拼接自动同步级联调校、调焦技术的示意图；

图5为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前段装置与第三方火灾报警设备连接示意图；

图6为根据本发明实施例的人工智能多要素全景监控检测五维预警***对车辆行驶精准路径识别示意图；

图7为根据本发明实施例的人工智能多要素全景监控检测五维预警***对隧道火灾、烟雾、有害气体、可燃气体检测报警、透视或夜视功能以及链路连接示意图；

图8为根据本发明实施例的人工智能多要素全景监控检测五维预警***对路面暗冰、路面结冰的检测以及在雾、霾、灰尘恶劣天气情况下实施夜视***示意图；

图9为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前端装置对覆盖更大区域或距离更远道路的超级图像拼接显示功能的示意图；

图10为根据本发明实施例的人工智能多要素全景监控检测五维预警***对现场环境、天气情况模拟仿真还原功能的示意图；

图11为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前端装置，全景视频事件检测和违章车辆抓拍功能的示意图；

图12为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前端装置，其中央控制处理单元的接口与主要部件链路图；

图13为根据本发明实施例的人工智能多要素全景监控检测五维预警***，人工智能学习流程图；

图14为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前端装置与移动客户端的通信示意图；

图15为根据本发明实施例的人工智能多要素全景监控检测五维预警***的工作流程图；

图16为根据本发明实施例的人工智能多要素全景监控检测五维预警***在火灾监控中的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明实现的方式方法和意义，而在实际产品应用中可采用其他方式或硬件结构得以实现，而不能理解为对本发明的限制。

本发明提出一种基于人工智能多要素全景监控检测五维预警***，前端设备整体采用嵌入式***架构，主体采用不低于IP66外壳防护等级。该方案硬件架构搭建可以通过多种方式实现，包括：RAM+DSP、 RAM+GPU、RAM+DSP+GPU、RAM+FPGA、RAM+DSP+FPGA等等或其他硬件架构组合处理方式，但不限于这些方式、架构或实现过程。本发明采用RAM+DSP硬件架构为例展开描述，本方案不对产品外观、机械架构、传动器件以及传感器参数选材进行详细说明，该部分将在其专项发明专利中进行详细描述。如图2和图 3所示，多要素传感器可以根据用户实际使用需求和应用环境(如高速公路、隧道、桥梁、机场、城市快速路、省道、国道、周界安防、油田、森林防火、边防、厂房等等重要区域或基础设施)进行增减或更换，传感器种类不限于一下几种。

如图1所示，本发明实施例的基于人工智能多要素全景监控检测五维预警***，包括：至少一个前端装置1和中心管理装置(即，五维预警告警管理平台)2，每个前端装置1包括中央控制处理单元、与中央控制处理单元相连的摄像机组(包括3个可变焦摄像机、1个IPC红外热成像摄像机)、多要素传感器、通信模块、接口单元、供电单元。

参考图2和图3，多要素传感器可以检测周围天气环境和综合气体检测属于感知单元。多要素传感器包括：亮度光强传感器、温湿度传感器、雨量传感器、风速风向传感器、综合气体传感器，其中，亮度光强传感器用于采集当前环境的亮度光强值；温湿度传感器用于采集当前环境的温湿度数据，雨量传感器用于采集当前环境的雨量值，风速风向传感器用于采集当前环境的风速风向数据，综合气体传感器用于采集当前环境各类气体的浓度值。。

每台前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，然后将采集到的各类环境数据信息发送至中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置，进行模拟仿真现场实际环境并融入到五维图形中实时显示，为路况查看、道路救援、环境灾害预测评估、救急方案生成提供基础依据。

在本发明的一个实施例中，综合气体传感器用于采集二氧化硫、二氧化碳、一氧化碳、甲烷、甲醛、天然气、液化气的气体浓度。

本发明支持支持接入：1路复合式气体传感器(串口UART TTL 3.3v)、1路温湿度传感器(R485接口)、1路风向风速传感器(R485接口)、1路气空气质量传感器(串口UART TTL3.3v)、1路亮度光强传感器(I2C接口)。

各传感器端口数据采用轮循的方式上报数据信息，本地设备数据处理单元，会将所上传数据进行汇总，再通过网络上传到总中心的人工智能多要素全景监控检测五维预警***中进行实时分析，***通过所获得各类传感器数据后生成实时动态图形的方式模拟仿真还原现场气象情况，并融合到三维地图中去，与全路径视频图像拼接融合后的全新视频图像和实时数据共同完成实现五维预警***人机交互界面。其次本地数据处理处理单元按照上端中心下发的各种设置指令进行逻辑运算，当满足预先设定的判断条件时，由通过IO端口和CAN端口输出报警信息。

高速公路隧道或城市隧道以及其他形式的隧道如防空洞、供电走廊等都是采用封闭式结构，多数为一进一出通行方式，其中高速公路专用通行隧道或城市过江穿山隧道为了司乘人员的安全一般都会有包括避车洞、消防设施、应急通讯、防排水设施、通风设施和照明设施，但是一旦隧道里面发生火灾，如没有及时预警以及及时报警并采取有效措施进行救援或避难都将会造成无法估量的经济损失以及大量的人员伤亡，火灾发生时都会伴有高温、浓烟、二氧化硫、二氧化碳、一氧化碳、挥发物等有害气体超标，直接危害隧道内的所有人员，此外当有危险车辆驶入隧道内并发生气体泄漏(如：甲烷、甲醛、天然气、液化气等可燃气体)，当浓度超标时很容易发生***对隧道或人员造成更大灾难。

综合传感器和多要素传感器将现场采集到的实时数据通过中央控制处理单元进行分析、汇总、判断、形成预警方案或报警信息传给中心服务器进行环境模拟仿真与演示，并发出报警启动相应的应急或救援方案。中心管理装置2可通过远程对前端设备进行参数的设置、修订、获取、下发全新方案等。中央控制处理单元通过IO接口、CAN接口或R485接口与本地消防***、告警设备以及其他第三方检测设备进行相连，并将数据或开关量输出给本地报警设备或第三方设备。

中心管理装置2可将N个前端设备级联和关联起来获取前端数据，通过大数据云处理平台结合各类传感器采集到的数据形成实时动态云图与三维地图、全景拼接视频图像、动态数据进行全方位融合，进行现场实际环境模拟仿真还原，来实现五维预警管理、查看、定位、跟踪等等功能，并用图形和声音的形式告知管理者和救护人员以及消防人员。并可以根据模拟结果提出多种实施救援方案。

参考图2和图3，每台前段装置采用一组变焦摄像机(实现180°或360°全景拼接功能，可提供实时大范围视频路况查看、提供各种基于视频图形分析的监控检测功能)、采用IPC红外热成像摄像机(实现高温物体检测、道路暗冰检测、火灾预警报警检测、夜视功能等属于感知单元)。每台前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，分别采集路段上不同位置的图像信息，其中，每台摄像机采用不同焦距的可变焦镜头监视不同距离的物体，并采集相应的图像信息，然后将采集到的图像信息发送至中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置，进行二次视频图像拼接并融入到五维图形中实时显示，实现异常事件事故检测报警、定位、交通状态预览和评估、全路径视频查看漫游等功能。

在本发明的一个实施例中，前段装置摄像机组包括：包括3个变焦摄像机和1个专用的IPC红外热成像摄像机。即，每台前段人工智能多要素全景监控检测装置采用一组可变焦或定焦摄像机实现180°或360°全景拼接融合；IPC摄像机采用具有温度检测、区域划定功能的红外热成像摄像机。其中，中央控制处理单元输出5组视频流：

第1组：第一个变焦摄像机的视频流；

第2组：第二个变焦摄像机的视频流；

第3组：第三个变焦摄像机的视频流；

第4组：第一至第三个变焦摄像机形成的180°或360°全景拼接视频流；

第5组：IPC红外热成像摄像机的视频流；

其中，为了减少设备占用的网络带宽，第1组至第3组视频流采用被动调用方式，***默认主动输出第4组视频流和第5组视频流，第三方***在调用第1-3组视频流时，保证第4组和第5组视频流不能中断。

人工智能多要素全景监控检测五维预警***前端设备安装于路段中的预设位置处，采集路段上的图像信息，其中，每台摄像机采用不同焦距的可变焦镜头监视不同距离的物体，并采集相应的图像信息，然后将采集到的图像信息发送至中央控制处理单元。

人工智能多要素全景监控检测五维预警***前端设备每个可变焦摄像机均采用智能级联调校(包括对摄像机的焦距、光圈、快门、白光平衡、曝光控制、最低照度、宽动态、方位、编码格式等重要参数) 技术，当任何一个摄像机的参数被人为的调整时，其他摄像机的参数会跟着自动同步更改(按照预先设定的程序和参数进行正向增加或反向减少)，保证180°或360°全景视频图像拼接融合的完整性，可实现对大区域、全路段无盲角连续监视监控作用。

1)通过中央控制处理单元的千兆网口输出5组视频流，每组视频流均可支持5个客户端同时访问；

变焦摄像机1视频流-第1组；

变焦摄像机2视频流-第2组；

变焦摄像机3视频流-第3组；

变焦摄像机1、变焦摄像机2、变焦摄像机3，三个摄像机进行180°或360°全景拼接融合后输出视频流-第4组；

1-3组视频流均是采用被动调用方式输出；

3个变焦摄像机均可以单独访问和进行参数设置，也可以实现智能自动参数联动调整；

定焦IPC摄像机视频流-第5组(IPC红外热成像摄像机)，不做任何图像处理直接通过板载千兆网口输出，但可以通过远程对该摄像机进行独立的访问和功能参数设置。

IPC红外热成像摄像机用于实现对高温物体检测、道路暗冰检测、火灾预警报警检测、提供夜视***，首先划定需要检测的区域，再对被检测区域内的物体、行人、路基路面等进行实时检测，并在普通摄像机在夜间或环境昏暗被致盲时，起到夜视透视监控的作用；每台前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，IPC红外摄像机分别采集路段上不同位置的物体、行人、路基路面数据信息和图像信息，然后将采集到的数据信息发送至中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置，进行集中汇总分析并融入到五维图形中实时显示，实现异常事件事故检测报警、定位、交通状态预览和评估、夜视***。

***默认主动输出第4组视频流和第5组视频流，第三方***在调用第1-3组视频流时，保证第4 组和第5组视频流不能中断，且视频输出帧数不能小于30帧。

2)摄像机分析检测功能(中央处理单元可进行远程参数设置和数据上报)

摄像机1具有停车、行人分析检测功能，摄像机3具有车牌抓拍功能。以上检测功能可通过千兆网口输出报警信息、图片、视频。

三个摄像机均采用超低照度靶面为1/1.8”的星光级定制化成像器件，效果呈现以及暗环境逆光控制；实现远程微聚焦、精准光圈调节功能，可以解决单个摄像机或多个拼接摄像机“灯下黑”的工作模式，采用无缝拼接方式使拼接画面更加的流畅连续而不间断。本发明可将两个或N个连续的人工智能多要素全景监控检测五维预警***前段设备通过网络组合在一起，在满足一定的安装要求时(如间隔距离、高度等)，再次对每个前段设备发过来的180°或360°全景视频图像进行更大范围的图形拼接融合，从而保证车辆在隧道内、道路外场或被监视连续的区域范围内而不丢失图像信息。通过这种二次拼接融合技术可以实现长距离、全路段、大区域无盲角连续监控检测和个别物体、车辆、行人的跟踪和运动轨迹的分析，甚至可以实现全场景3D跟踪监视检测机制。

180°或360°全景拼接融合方式采用多焦距复眼拼接方式，3个摄像机采用不同焦距的可辨焦镜头监视不同距离的物体，中央控制处理单元在通过特定的图形拼接算法将3个视频图像拼接融合在一起，形成完整的监控监视画面。

3个摄像机采用智能级联调焦技术，当3个摄像机任何一个摄像机的焦距被人为的调整时，其他两个摄像机的焦距都会自动同步改变(通过预先设定的处理机制和联动算法正向增加或反向减少)，保证输出的全景拼接融合图像不受任何影响。

3个摄像机采用智能级联色彩还原、白平衡、曝光以及色彩均匀度调节技术三，3个摄像机将作为一个完整整体出现，首先需要对三个摄像机的广角图像畸变进行纠正输出；曝光、白平衡、色彩均匀度和色彩还原采用以广角摄像机(摄像机2)为中心，中心摄像机或其他两个摄像机图像参数调整时，其他两个摄像机会同步自动调节，以应对不同进光量时图像拼接要求(如图4所示)，以达到图像拼接最佳效果。

3)摄像机码流压缩方式

中央处理单元编码模块输出视频流编码格式以及通信协符合国际和国家相关标准通用格式，也可以根据项目需求单独定制。第4组码流为30帧，200万～2400万像素超高清视频。

IPC摄像机通过对被检测物体以及需要检测的区域进行区域划定，由IPC摄像机对各类物体以及暗冰进行实时检测，进行检测报警，并在普通摄像机被致盲时，起到透视监控的作用。IPC摄像机实现火灾、高温、低温、路面结冰检测报警以及透视、夜视功能。

IPC摄像机形成一个独立的视频流5，该摄像机为红外热成像图形传感器，首先该传感器通过对被检测物体以及需要检测的区域进行区域划定，在对该传感器进行各类报警参数的设定，如高温物体报警温度、低温物体报警温度、被检测物体温度持续时间、波及范围、火焰或暗冰特征等，设置完毕以后该传感器就可以对隧道内、道路、桥梁、周界区域、机场、厂房以及特定区域进行明火、高温物体以及暗冰进行实时检测，该传感器除了具备检测报警功能以外，在隧道内发生火灾或升起浓烟普通摄像机被致盲时，起到透视监控的作用。为隧道消防人员以及营救人员和管理人员提供一手准确实时的视频图像。当设备被安装在外场时，在夜间、浓雾、雾霾、大雪、大雨普通摄像机被致盲时同样起到透视夜视作用。

IPC摄像机还可以提供一种具有无论在白天或者夜晚以及在浓烟雾霾下可视化的火灾、高温、低温、暗冰以及路面结冰预警、报警的可视化解决方案。中央控制处理单元通过千兆网口可以独立输出IPC摄像机视频流到服务器或管理平台进行集中管理

中心可通过中央控制处理单元进行单独访问该IPC摄像机并可进行各类参数的设置、获取数据、分析结果。

当中央控制处理单元检测到IPC摄像机发出报警信息，并结合本地传感器采集到的各类数据后，并按照预先设定的报警参数或中央控制单元自动生成的报警预案，通过IO、R485或CAN接口输出报警信息发送给本地报警设备或第三方设备中去，并通过网口上传到中心服务器进行汇总报警或报警触发。

下面进一步说明中央控制单元硬件接口特性以及工作方式，特采用RAM+DSP硬件架构为例展开描述，但不限于这中方式、架构或实现过程。

中央控制单元采用高速RAM板，高速RAM板运行各种算法，控制各类传感器参数设置、存储、分析、报警输出断电记忆、加电自检、自启动、数据网络中断本地存储，网络连通后自动上传中心管理装置。

例如，综合气体传感器和环境传感器将现场采集到的实时数据传递给ARM板，ARM板将数据进行分析、汇总并上传给中心服务器(即，中心管理装置)。高速RAM板在判断数据超标，需要报警时，通过 IO或RS232接口输出报警信息发送给本地报警设备或第三方设备。

震动传感器可以将现场采集到的实时数据传递给ARM板，ARM板将数据进行分析、汇总并上传给中心服务器。高速RAM板通过IO或RS232接口输出报警信息发送给本地报警设备或第三方设备。

高速RAM板通过千兆网口可以独立输出摄像机视频流到服务器或管理平台，中心可通过高速RAM板进行单独访问该摄像机并可进行各类参数的设置获取数据和分析结果。高速RAM板通过IO或232接口输出报警信息发送给本地报警设备或第三方设备。

本发明基于美国德州仪器公司的AM5728嵌入式处理器，设计并研发中央控制单元硬件设备。该硬件***技术如下：

1.支持2路千兆以太网通信，RJ45接口；

支持网络协议：IPv4/v6、HTTP、HTTPS、FTP、CIFS/SMB、SMTP、DNS、DynDNS、NTP、RTSP、RTP、TCP、 UDP、IGMP、RTCP、ICMP、DHCP、ARP和SOCKS；支持标准ONVIF 2.4协议。

2.支持1路麦克风输入3.5mm JACK MIC-IN；

3.支持1路音频输出3.5mm JACK Line-Out；

4.支持1路带地址(***出厂统一默认为一个统一的地址码，该地址码可以通过软件进行修改和编辑，断电后地址码不丢失)CAN端口，支持1路干接点IO(支持24V/1A)输出，(由IPC输出信号，经 AM5728板电平转换同时触发CAN端口和IO端口输出)；

5.支持1路RS485串口；

6.支持1路无线和1路4G模块；

7.通过AM5728板千兆网口输出5组视频流，每组视频流均可支持5个客户端同时访问

·变焦摄像机1视频流-第1组

·变焦摄像机2视频流-第2组

·变焦摄像机3视频流-第3组

·变焦摄像机1、变焦摄像机2、变焦摄像机3三个摄像机180°拼接视频流-第4组

·1-3组视频流均是采用被动调用方式输出

·3个变焦摄像机均可以单独访问和进行参数设置

·定焦摄像机5视频流-第5组(IPC摄像机)，不做任何图像处理直接通过板载千兆网口输出，可对该摄像机进行独立的访问和功能参数设置

·***默认主动输出第4组视频流和第5组视频流，第三方***在调用第1-3组视频流时，保证第4组和第5组视频流不能中断，且视频输出帧数不能小于25帧。

8.执行自诊断状态检测，包括3个固定摄像机、4个传感器、1个IPC摄像机以及板卡供电电压、温度、网络传输工作状态等重要信息，实时或定时通过千兆网口上传到第三方平台，一旦有异常部件出现故障需要发出警报，并告知异常部件信息以及损坏部位。也可以通过本地无线(无线或蓝牙) 连接，通过APP查看***自诊断数据，该功能只允许用户读取数据，不允许修改或访问设备内部网络。

9.本设备要做高低温和防雷处理。要求明确高低温工作和存储范围以及防雷等级，支持POE电源供电。

综上，中央控制单元可以至少完成以下功能：由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置，进行模拟仿真现场实际环境(如：雨、雪、雾、风、日照等等)并融入到五维图形中实时显示，为路况查看、道路救援、环境灾害预测评估、救急方案生成提供重要基础依据。由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置，进行二次视频图像拼接并融入到五维图形中实时显示，实现异常事件事故检测报警、定位、交通状态预览和评估、全路径视频查看漫游等功能。由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置(五维预警告警管理平台)，进行集中汇总分析并融入到五维图形中实时显示，实现异常车辆、物体、行人、路基路面等异常事件事故检测报警、定位、交通状态预览和评估、夜视透视等功能

在本发明的一个实施例中，中央控制处理单元包括：存储单元、时钟单元、多核高速ARM处理器、多核高速DSP处理器、高速GPU处理器和中央控制逻辑运算与处理单元；通信模块采用无线通信模块、 4G通信模块和100/1000M自适应网口通信模块三种。中央控制处理单元用于将接收到的图像信息按拼接算法进行拼接融合和数据采集、逻辑运算和逻辑控制输出，形成180度或360度全景拼接图像及全路段无盲角连续监视监控超级拼接图像，以及在接收到来自IPC摄像机的报警信息时，结合多要素传感器采集的各项数据，按照预先设定的报警参数或中央控制单元自动生成的报警预案，通过接口单元输出报警信息，并发送给本地报警设备或第三方设备中去，并通过网口上传到中心服务器进行汇总报警或报警触发；中央控制处理单元将压缩后的全景拼接图像、超级拼接图像以及多要素传感器采集的数据以及报警信息，通过通信模块发送至移动终端，用户通过移动终端查看实时监控信息，查看访问局域网内所有的在线设备状态和故障设备所在位置以及故障情况进而进行快速修复。具体的，本发明支持手机APP远程状态查询(设备工作状态指示和无线/4G通信(未来支持5G通信模式或更高无线通信模式))。中央控制处理单元通过将采集到的多要素传感器和综合气体传感器等各种数据以及自身工作状态(温度、电压、电流、通信情况、各传感器在线或损坏情况、机械故障情况)和压缩后的视频图像或以缩略图；通过无线网络或4G通信模块(未来支持5G通信模式或更高无线通信模式)传输给设备管理人员或维护人员以及各领导人员，通过这种方式这些人员可以随时随地掌握设备情况以及现场情况，可以轻松实现在线管理移动办公需求，从而做到快速查看、快速知晓、快速设备故障排查、快速修复等效果。设备现场维护人员在不拆机的情况下，通过设备指示灯的闪烁方式就可以初步的判断出设备大概的故障情况。

此外，本发明支持在有线通信中断或有线供电中断后可以实现自组网模式(无线通信)。具体的，网络集群中有一台设备由于特殊原因导致有线通信中断或有线供电中断后，***马上开启节能模式和自组网模式并依靠本身所自带的蓄电池进行维系工作，在保证24小时范围内不掉线。于此同时***通过4G 方式(未来支持5G通信模式或更高无线通信模式)向终端用户发送报警信息，用户可通过手机APP或电脑实时查看访问局域网内所有的在线设备状态和故障设备所在位置以及故障情况进而进行快速修复。

当隧道内发生火灾或***时，其中隧道内一个设备或多个设备损坏时，甚至是隧道内的供电***或通信***无法工作时，消防人员或救护人员可在隧道的出入口通过笔记本接入设备的无线网络中，方便救护人员，消防人员、以及领导人员现场指挥调度，实时查看隧道内现场视频情况，只要通过手机或笔记本电脑访问即可。

中央控制处理单元采集各传感器数据、远程参数设置、本地存储、数据分析、数据汇总、报警输出、周期性自动生成预警预案、断电记忆、加电自检、加电自启动、执行自诊断、断电后启动节能功能、断网后启动自组网功能、数据断点续传、数据图像可通过无线或4G网络(未来支持5G通信模式或更高无线通信模式)推送到终端、网络中断数据本地存储，网络联通后自动上传、运行各种算法包括180°图形拼接、事件检测、车牌抓拍、火灾检测、暗冰和路面结冰检测、与第三方报警设备相连、与第三方平台相连、执行AI深度学习功能等。图16为根据本发明实施例的人工智能多要素全景监控检测五维预警***在火灾监控中的示意图。

在本发明的一个实施例中，接口单元包括：供电接口和输入输出接口。供电接口采用48V POE供电接口。输入输出接口包括：网口、IO口、音频输入接口、音频输出接口、CAN接口、RS485接口和RJ45 接口。图12为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前端装置，其中央控制处理单元的接口与主要部件链路图。

本发明使用Cadence16.x软件开发硬件电路，以Linux操作***和TI ProcessorSDK v3.3为软件开发平台；使用C/C++编程语言实现编程。本发明采用TI最新嵌入式处理器方案，拥有高性能、低功耗、灵活配置等特点。硬件支持H.264HighProfile编码，使高清视频得到最佳的压缩比和视频质量，从而提高网络传输和硬盘存储的性能。结合多种嵌入式技术，包括双核ARM Cortex-A15高性能ARM处理器，双核C66x浮点DSP数字信号处理器，形成多核心的单芯片解决方案，如图12所示。

板卡硬件配置:

1)CORE57x核心板：

CPU：TI Sitara AM5728SOC

双核Cortex-A15ARM核心，主频最高1.5GHz

双核C66x浮点DSP核心，主频最高750MHz

RAM：2GByte DDR3

FLASH：8GByte eMMC

Power：专用电源管理

扩展接口：2路160PIN板间连接器

1路40PIN高速板间连接器

2)接口底板：

3路(3路FFC36P-0.5mm连接器摄像机模组支持BT.1120接口，分离同步信号，输出YUV422格式)排线接口高清视频输入，最大支持1080P/30fps分辨率，

2路1000Mbps以太网，RJ45接口，带灯；

1路千兆网，用于发送H.264视频流和数据通信；

1路千兆网，用于接入IPC网络相机；

1路RS485，凤凰端子；

1路I2C接口，4pin接线端子(含VCC 5V供电)；

2路UART TTL 3.3v接口，4pin接线端子(含VCC 5V供电)；

2路RS485接口，4pin接线端子(含VCC 5V供电)；

1路miniPCIE接口(扩展4G)

1路UART TTL串口；

1路USB2.0；

3路LED状态灯，电源指示灯为绿灯，(告警灯红，状态灯绿)通过GPIO实现；

1路干节点IO输出(IPC和AM5728的IO二选一输出)，支持24V，1A负载接入；

1路CAN总线；

1路无线&蓝牙模块，TI WL1837MOD(双频WIFI+BT4.1)；

1路RTC实时时钟，I2C接口，带电池座；

1路TF卡接口；

1路UART console 3.3v TTL电平，板载3PIN插针；

1路DC+48v电源输入或POE供电，3PIN插针

摄像头所需12V电压由AM5728板卡提供；

传感器所需5V电压由AM5728板卡提供；

光敏电控制IPC供电

板卡尺寸：160mm x 120mm

3)视频输入

3路FFC36P-0.5mm连接器摄像机模组支持BT.1120接口，分离同步信号，输出YUV422格式，输入给AM5728的视频口VIP；摄像机功能参数设置通过串口实现

1路IPC网络摄像头，通过网口输入H.264视频流；

4)数据存储

板载TF卡接口,烧写***固件用；

5)数据通信：

5.1)串口通信：

1路UART实现1路UART console***调试口，板载3PIN插针；

2路UART外接传感器模块(空气质量传感器和复合气体传感器)；

1路I2C外接传感器模块(亮度光强传感器)；

2路RS485外接传感器模块(温湿度传感器与风速风向传感器)；

1路RS485接口与上位机通信；

1路CAN总线，用于告警信息输出；

3路串口与3路FFC36P-0.5mm连接器的摄像机模组支进行通信对摄像机功能参数进行设定

5.2)网络通信:

2路千兆以太网，RJ45接口，带灯；

5.3)USB通信：

1路USB2.0，miniPCIE连接器；

5.4)IO控制

1路数字输出(干节点IO)；

6)***状态灯

3路LED状态指示灯：电源状态绿色；告警灯红色，状态灯绿色。

7)***启动模式

***通过eMMC引导启动，烧写固件采用TF引导启动。

8)实时时钟

1路独立RTC芯片，i2c接口，带电池座；***掉电后时钟保持；

9)***供电

板卡采用DC+48V电源供电，或POE供电。

本发明的完整***软硬件架构如下表1所示：最上层为功能模块软件，中间两层为驱动层软件，下方两层为硬件***。

表1

本发明的软件设计如下：

硬件平台移植和驱动开发、嵌入式U-boot移植、嵌入式Linux4.4内核移植、嵌入式Linux文件***移植、硬件外设驱动程序开发。

其中，硬件外设驱动程序开发，包括：BT.1120高清视频采集驱动、IPC接入采集驱动、千兆以太网驱动、TF卡驱动、GPIO驱动、RS232驱动、USB2.0驱动、RTC实时时钟驱动、电源管理驱动、各传感器数据采集、汇总、上传、报警逻辑参数设定、报警输出、无线设备连接与数据发送、视频协议传输协议编制：Pv4/v6、HTTP、HTTPS、FTP、CIFS/SMB、SMTP、DNS、DynDNS、NTP、RTSP、RTP、TCP、UDP、IGMP、 RTCP、ICMP、DHCP、ARP和SOCKS；支持标准ONVIF 2.4协议。

参考图5，中心管理装置接收每个前端装置发送来的视频、图像、数据、多要素传感器采集的各项数据和报警信息，将N个前端设备级联和关联起来获取前端数据，通过大数据云处理平台进行现场五维图形展示、全路径交通状态视频预览漫游、实际环境的模拟、仿真、回放，得到环境模拟结果，并通过图形和声音的形式告知管理者和救护人员以及消防人员，采取维护措施。中心管理装置通过大数据云处理平台进行现场五维图形实时显示，包括：现场五维图形显示、实际天气感知环境模拟动态显示、交通通行状态预览、事件事故预判、全路径视频拼接三维无限漫游查看、事件事故发生位置实时定位、信息汇总上传。

具体的，中心管理装置包括：管理工作站和私有云服务器，模拟仿真预警、报警、指挥、监控监视管理平台。中心管理装置包括：管理工作站和私有云服务器。

私有云服务器设置在监控分中心机房中，执行以下工作：数据交换、存储功能、***通讯、维护、***各功能的搭建、参数的设置、集中报警、预案生成、人工智能深入学习分析、联动方案执行下发、三维地图生成、五维图形生成、现场环境数据汇总、现场环境模拟仿真、大数据宏观运算、视频监控、图像存储、报警事件录像存查、报表生产、全路径视频图像二次拼接、全路径视频图像查看、漫游、预览生成、视频图像的调用与第三方联动指令发送、发送预设方案、日常操作人机界面集中警报；

管理工作站设置在监控分中心操控台上，执行以下工作：数据交换、***通讯、集中报警、预案生成、联动方案下发执行、五维图形实时展示、图像显示、大数据宏观显示、视频监控、全路径视频图像查看、漫游、预览生成、视频图像的调用、报警事件录像存查、报表生产、与第三方联动指令发送、发送预设方案、日常操作、人机界面交互、集中警报。

下面参考图6至图15对本发明实施例的基于人工智能多要素全景监控检测五维预警***，不同场合的具体应用进行说明。

(1)车辆精准路径行驶识别

如图6所示，根据车辆在连续通过多个具有车牌抓拍识别的人工智能多要素全景监控检测五维预警***前端设备时，***通过标点连线的方式便可以精确的判断出车辆行驶实际路线

(2)隧道火灾、烟雾、有害气体、可燃气体检测，可提供透视或夜视功能

如图7所示，利用设备的红外热成像图像传感器和高清全景摄像机对明火火焰、烟雾状态的检测再结合综合气体传感器和温湿度传感器所采集到的各项数据进行整体分析，便可以精确的检测出隧道内是否发生火灾、浓烟、有害气体、可燃气体等并可进行实时报警和预警功能，并在浓烟充满的隧道里面或隧道供电照明失效的情况下提供透视或夜视图像。

(3)路面暗冰结冰、雾、霾、灰尘以及恶劣天气检测，可提供夜视***

如图8所示，利用设备的红外热成像图像传感器和高清全景摄像机对暗冰和路面结冰的形状、温度、反光面积、图像对比度，并结合温湿度传感器所采集到的各项数据进行整体分析，便可以精确的检测出被检测区域是否有暗冰和路面结冰以及路面积雪情况的发生并进行实时报警和预警功能，也可以通过综合气体传感器、多要素气体传感器采集到的各类数据分析后获得实时检测设备周围的天气情况，并在夜晚或光线昏暗的情况下利用红外热成像摄像机提供夜视透视图像

(4)覆盖更大区域或距离更远的超级图像拼接显示功能

如图9所示，将安装按照一定距离和高度的N个连续的人工智能多要素全景监控检测五维预警***前端设备输出的全景拼接视频图像，输出到综合管理平台上进行二次融合拼接，就可以形成区域更大，覆盖距离更远的超级拼接监控视频图像，供监控管理者使用。

(5)现场环境、天气情况模拟仿真功能

如图10所示，将安装按照一定距离的N个连续的智能多要素综合检测设备组成集群，通过每个设备多要传感器、综合气体传感器所采集到的大量数据，通过管理中心云处理服务器进行现场实际环境模拟便可以得到真实准确的路段或区域天气情况，对抢险救灾、重大事故快速处理和响应提供了有利保障。

(6)全景视频事件检测和违章车辆抓拍功能

如图11所示，将安装按照一定距离和高度的N个连续的智能多要素综合检测设备组成集群，通过对每个设备全景视频图像进行二次融合拼接后、进行大范围的视频事件检测与违章车辆抓拍便可实现昼夜24小时无缝覆盖昼夜监控、监视、检测的功能，更可以通过图形的方式实时标注出道路的通行状态。

本发明实施例的基于人工智能多要素全景监控检测五维预警***，可以应用于以下领域：人工智能多要素全景监控检测五维预警***、人工智能多要素全景监控检测器、人工智能多要素全景监控检测五维预警***一体机、多要素监控检测预警报警一体机(摄像机、***、设备或技术)、多要素全景火灾监控检测预警报警一体机(摄像机、***、设备或技术)、多要素全景路面结冰暗冰监控检测预警报警一体机(摄像机、***、设备或技术)、人工智能多要素全景监控检测现场环境模拟仿真预警报警***(设备或技术)、设备无线巡检技术、设备断电断网无线自组网技术、多要素全景综合监控检测现场环境模拟仿真还原技术、连续区域全景摄像机视频图像超级拼接技术、复眼全景拼接技术、多要素全景综合视频事件检测监控一体机(摄像机、***、设备或技术)，多要素全景综合违章抓拍监控检测一体机(摄像机、***、设备或技术)，多要素全景综合路径识别监控检测一体机(摄像机、***、设备或技术)、多要素全景综合监控检测一体机(摄像机、***、设备或技术)火灾烟雾检测技术、多要素全景综合路面暗冰结冰监控检测一体机(摄像机、***、设备或技术)、多要素全景综合夜视监控检测一体机 (摄像机、***、设备或技术)、人工智能深入分析多要素全景拼接综合监控检测预警报警技术、人工智能深入分析多要素全景拼接综合监控检测现场环境模拟仿真技术、隧道救援现场环境模拟仿真技术、恶劣天气环境模拟仿真预警报警技术、智能交通多要素现场环境模拟仿真技术、多要素环境模拟仿真技术、综合监控检测一体机(摄像机、***、设备或技术)、全景拼接视频事件检测技术、全景拼接车辆违章抓拍技术、全景拼接车辆路径识别技术、连续N个全景拼接设备大区域无缝拼接技术、全景拼接摄像机自动级联调节技术或方案。

本发明实施例的基于人工智能多要素全景监控检测五维预警***，具有人工智能深入学习流程功能。通过实时获取图像信息与各传感器采集的数据信息后，***启用大数据分析并用图形的方式将所获得的数据模拟仿真出来给监控中心指挥人员与抢险救灾人员提供基础保证，此外***通过对各类数据进行有规律性的自我学习和数据汇总后，形成不同时段、不同气象、不同交通状态、不同危害程度管理策略和周期性行动方案，一旦达到报警临界点或出现紧急情况时，***马上发出报警信息，给相关工作人员，以便尽快的采取相应的救援措施，较少损害挽救生命。

本发明将定制化的多要素气象检测装置和火灾报警检测装置，路面结冰检测装置结合起来，将所获取的大量图像数据、气象数据、环境数据、气体数据等汇总起来，在经过AI人工智能深入学习分析后，并以最贴切的实时方案汇报出来，并结合图像、图形、数据、现场模拟等多种收手段给使用者，将会对最终使用者提供极大的帮助，一种大范围连续区域实时综合监视检测设备，一种低成本具有人工智能分析可提出多种预警方案的设备、一种操作简单快捷、经久耐用、稳定可靠、又可以实现个性化定制、体积小巧、使用范围广综合监控检测设备，则成为现在各行各业(包括：高速公路、城市交通、区域安防、机场周界等等)最大的需求。

图13为根据本发明实施例的人工智能多要素全景监控检测五维预警***，人工智能学习流程图。

通过实时获取图像信息与各传感器采集的数据信息后，***启用大数据分析并用图形的方式将所获得的数据模拟仿真出来给监控中心指挥人员与抢险救灾人员提供基础保证，此外***通过对各类数据进行有规律性的自我学习和数据汇总后，最终形成具有五维实时动态的展示图形供操作人员决策、定位、查看、全路径漫游、预览使用，以三维地图为底层预览模式并结合的不同时段、不同气象状况、不同交通状态、实时全景视频图形拼接融合、不同地点、不同危害程度管理策略和周期性行动方案，一旦达到报警临界点或出现紧急情况时，***马上发出报警信息，并用五维视图展示方式给相关工作人员观看预览，以便尽快的采取相应的救援措施，较少损害挽救生命。

图14为根据本发明实施例的人工智能多要素全景监控检测五维预警***的前端装置与移动客户端的通信示意图。

手机app或电脑实时查看访问局域网内所有设备状态。工作人员可以用手机APP通过***的无线网络连接(用户，密码验证)获取局域网内所有设备工作状态参数如：工作电压、工作电流、各类传感器工作状态、以及故障情况，以及看视频图像。设备与设备之间可以互联，通过有线网络或无线设备。一般无线接入设置在隧道的两段，方便救护人员，消防人员、以及领导人员现场指挥调度，实时查看隧道内现场视频情况，只要通过手机或笔记本电脑访问即可。

图15为根据本发明实施例的人工智能多要素全景监控检测五维预警***的工作流程图。

首先，搭建***并设置参数如下：

(1)获取前端传感器数据，模拟仿真现场环境生成动态试图。例如：雨、雪、雾、温度、风向、光照等；

(2)获取前端180°全景拼接图像，通过二次拼接融合生成全路径实时预览视频图像，进行异常事件事故检测和车牌抓拍信息提取；

(3)获取前端IPC红外热成像摄像机图像，实现高温物体检测、路面暗冰、结冰检测、火灾检测、夜视、***；

(4)获取前端经纬度坐标信息，生成三维立体坐标地图。

然后，对过程中的数据、音频、视频、报警信息、坐标信息、数据报表、车牌、报警记录、车辆运动轨迹等重要信息进行存储。

需要说明的是，上述过程均可以通过人工智能深入学习，自动生成预案。

通过过程生成的三维地图、全路径全景视频预览图像、模拟仿真现场环境生成动态试图、数据等融合形成具有音频、视频、数据、坐标、三维地图和报警信息为一体的五维图形人机交互界面。当检测出数据超标，需要报警时，由前端装置输出报警信号，同时由第三方设备联动输出报警信号。

根据本发明实施例的基于人工智能多要素全景监控检测五维预警***，具有以下有益效果：

1)该产品可以通过自身的千兆网口对外输出5组视频流，每组视频流均可支持5个客户端同时访问；其中包括3个监视不同角度不同方向独立的摄像机视频流，一个180°或360°全景无缝拼接视频流，一个红外热成像摄像机视频流。5个视频流均可以独立工作发送到不同的客户端进行不同的功能检测或图形分析以及存储调用使用。

2)4个摄像机(3个可变焦摄像机和1个PLC红外热成像摄像机)根据实际使用情况均可以进行独立的参数设置修改或以级联方式接受整体修改设置方案，也可以实现智能自动参数联动调整。

3)视频流的编码以及通信方式符合国际或国内主流的编码以及通信方式，也可以根据用户需求采用用户独有的加密编码格式和通信方式，图像质量可在200万像素至2400万像素之间任意切换或调用查看。

4)5组视频流全部通过一个千兆网口进行输出，每个参数都可以通过远程进行管理、设定、修改。

5)设备同时具有异常事件检测(行人、车辆违章停驶、交通事故、逆行、抛洒物体、拥堵、排队)、车牌抓拍(超速、慢行、违章变道、路径识别)、危险可疑车辆检测、火灾检测、物体高低温检测、暗冰路面结冰检测、各类异常天气灾害检测、有害气体、可燃气体检测等功能，也可以根据用户需求增加基于图像分析处理其他功能如面部识别、周界防范等等。

6)三个摄像机均采用超低照度靶面为1/1.8”的星光级定制化成像器件，效果呈现以及暗环境逆光控制；实现远程微聚焦、精准光圈调节功能，采用特殊物理硬件组合和机械架构彻底解决单个摄像机或多个拼接摄像机“灯下黑”的工作模式。

7)采用无缝拼接方式使拼接画面更加的流畅连续而不间断。

8)可将两个或N个连续的人工智能多要素全景监控检测五维预警***前段设备通过网络组合在一起，在满足一定的安装要求时(如间隔距离、高度等)，再次对每个前段设备发过来的180°或360°全景视频图像进行更大范围的图形拼接融合，从而保证车辆在隧道内、道路外场或被监视连续的区域范围内而不丢失图像信息。通过这种二次拼接融合技术可以实现长距离、全路段、大区域无盲角连续监控检测和个别物体、车辆、行人的跟踪和运动轨迹的分析，甚至可以实现全场景3D跟踪监视检测机制。

9)180°全景拼接融合采用多焦距复眼拼接方式，3个摄像机采用不同焦距的可变焦镜头监视不同距离的物体，设备在通过特定的图形拼接算法将3个视频图像拼接融合在一起，形成完整的监控监视画面。

10)3个摄像机采用智能级联调焦技术，当3个摄像机任何一个摄像机的焦距被人为的调整时，其他两个摄像机的焦距都会自动同步改变(通过预先设定的处理机制和联动算法正向增加或反向减少)，保证输出的全景拼接融合图像不受任何影响。

11)3个摄像机采用智能级联调校技术，当任何一个摄像机的色彩还原度、白平衡、超低照度、宽动态、曝光强度、快门速度、视频编码格式、色彩均匀度等重要参数被认为调整时，其他两个摄像机与之对应的参数都会自动同步改变(通过预先设定的处理机制和联动算法正向增加或反向减少)。

12)3个摄像机将作为一个完整整体出现，首先需要对三个摄像机的广角图像畸变进行纠正输出；曝光、白平衡、色彩均匀度和色彩还原采用以中心广角摄像机(摄像机2)为参考机制，中心广角摄像机(摄像机2)图像参数调整时，其他两个摄像机会同步自动调节，以应对不同进光量时图像拼接要求以达到图像拼接最佳效果。

13)当网络集群中有任何一台前段设备由于特殊原因导致有线通信中断或有线供电中断后，***马上开启节能模式和自组网模式并依靠前段设备本身所自带的蓄电池进行维系工作，在保证24小时范围内不掉线。于此同时***通过4G(未来支持5G模式或更高的无线传输方式)方式向终端用户发送报警信息，

14)用户可通过手机APP或电脑实时查看访问集群网内所有的在线设备状态和故障设备所在位置以及故障情况进而进行快速修复。

15)当隧道内发生火灾或***时，其中隧道内一个设备或多个设备损坏时，甚至是隧道内的供电***或通信***无法工作时，消防人员或救护人员可在隧道的出入口通过笔记本或手机接入设备的无线网络中，在隧道内通信中断或供电中断的设备，马上启动自组网以及节能模式，在持续24小时低功耗模式下为方便救护人员，消防人员、以及领导人员现场指挥调度，实时查看隧道内现场图像(图片形式每 5-60秒更新一次，时间可以调整)情况，为人员救护和抢灾救险提供了宝贵时间。

16)***通过将采集到的多要素传感器和综合气体传感器等各种数据以及自身工作状态(温度、电压、电流、通信情况、各传感器在线或损坏情况、机械故障情况)和压缩后的视频图像或以缩略图；通过无线网络或4G通信模块(未来支持5G模式或更高的无线传输方式)传输给设备管理人员或维护人员以及各领导人员，通过这种方式这些人员可以随时随地掌握设备情况以及现场情况，可以轻松实现在线管理移动办公需求，从而做到快速查看、快速知晓、快速设备故障排查、快速修复等效果。

17)设备现场维护人员在不接近设备的情况下，通过设备指示灯的闪烁方式或4G通信(未来支持 5G模式或更高的无线传输方式)用手机APP就可以初步的判断出设备详细的故障情况、甚至精确到每一个传感器的或机械部件损坏程度等主要信息。

18)综合传感器和多要素传感器将现场采集到的实时数据通过前端设备进行分析、汇总、判断、形成预警方案或报警信息传给中心服务器进行现场环境模拟仿真还原与并通过私有云大数据深入人工分析后并结合五维预警***展示平台进行实时展示，并发出报警启动相应的应急或救援方案。

19)中心云处理平台将N个前端设备发过来的大量数据，并经深入学习和分析后，可对某一点、某一区域、某一条路、某一城市、某一省份进行真实准确的实时的环境五维模拟还原仿真(三维地图、实时视频图像、某一点、某一区域、某一条路、某一城市、某一省的天气状况进行完美的融合和展示)，提供道路拥堵、交通事故、周界防范、自然灾害、抢险救灾、紧急事件事故处理、指挥调度、预警防范、消防救援等等提供基础数据、图形信息、图像信息和详细的预案，为相关人员和领导争取宝贵时间。

20)中心管理服务器可通过远程对前端设备进行参数的设置、修订、获取、下发全新方案等。

21)由于该设备可通过可见光摄像机、红外热成像摄像机以及温度传感器和气体传感器综合分析，并提供了更加友好的可视化图形报警查看界面，此外传感器都可以对被检测物体以及需要检测的区域进行区域划定，极大的减少了传统设备误报、漏报、不报、报警不直观、定位不准确、不可视化、少参考量的诸多缺点，并提高了对将要发生异常事件的反应时间。并对更多的异常事件提出了一体化解决方案如高温物体报警温度、低温物体报警温度、被检测物体温度持续时间、波及范围、火焰或暗冰特征等，减少了重复设备以及不必要设备的大量投入，减少了大量隐形资源的浪费。设备可对对隧道内、道路、桥梁、周界区域、机场、厂房以及特定区域进行明火、高温物体以及暗冰进行实时检测，该传感器除了具备检测报警功能以外，在隧道内发生火灾或升起浓烟普通摄像机被致盲时，起到透视监控的作用。为隧道消防人员以及营救人员和管理人员提供一手准确实时的视频图像。当设备被安装在外场时，在夜间、浓雾、雾霾、大雪、大雨普通摄像机被致盲时同样起到透视夜视作用。

22)该设备还可以提供一种具有无论在白天或者夜晚以及在浓烟雾霾下可视化的火灾、高温、低温、暗冰以及路面结冰预警、报警的可视化解决方案

23)由于该设备具有全路径视频全程拼接和跟踪功能，因此可为高速公路上行驶的车辆或行人进行精确的定位和行驶路径识别以及回放，可为精准路径收费提供有效的保证

24)当前端设备检测到异常事件并结合传感器采集到的各类数据深入分析后，并危害程度优先级方式自动生成的报警预案，并通过IO、R485或CAN接口输出报警信息发送给本地报警设备或第三方设备中去，并通过网口上传到中心服务器进行汇总报警或报警触发，形成全自动无人干预的一体化解决方案或机制。

25)全路径全景图像视频事件检测成本是普通单个摄像机成本的三分之一；全路径全景图像车辆违章抓拍成本是普通单个摄像机成本的三分之一。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (9)

1.一种基于人工智能多要素全景监控检测五维预警***，其特征在于，包括：至少一个前端人工智能多要素全景监控检测装置和中心管理装置，每个所述前端人工智能多要素全景监控检测装置包括中央控制处理单元、与所述中央控制处理单元相连的一组变焦摄像机、IPC红外热成像摄像机、多要素传感器、通信模块和接口单元和供电模块，其中，

所述多要素传感器包括：亮度光强传感器、温湿度传感器、雨量传感器、风速风向传感器、综合气体传感器，其中，所述亮度光强传感器用于采集当前环境的亮度光强值；所述温湿度传感器用于采集当前环境的温湿度数据，所述雨量传感器用于采集当前环境的雨量值，所述风速风向传感器用于采集当前环境的风速风向数据，所述综合气体传感器用于采集当前环境中各类气体的浓度值，

其中，每台所述前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，然后将采集到的各类环境数据信息发送至所述中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置五维预警告警管理平台上，进行模拟仿真现场实际环境并融入到五维图形中实时显示，为路况查看、道路救援、环境灾害预测评估、救急方案生成提供基础依据；

所述摄像机组包括多台变焦摄像机，用于实现180°或360°全景拼接功能，并提供实时大范围视频路况查看、提供各种基于视频图形分析的监控检测功能，其中，每台所述前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，分别采集路段上不同位置的图像信息，其中，每台摄像机采用不同焦距的可变焦镜头监视不同距离的物体，并采集相应的图像信息，然后将采集到的图像信息发送至所述中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置五维预警告警管理平台上，进行二次视频图像拼接并融入到五维图形中实时显示，实现异常事件事故检测报警、定位、交通状态预览和评估、全路径视频查看漫游功能；

所述IPC红外热成像摄像机用于实现对高温物体检测、道路暗冰检测、火灾预警报警检测、提供夜视***，首先划定需要检测的区域，再对被检测区域内的物体、行人、路基路面等进行实时检测，并在普通摄像机在夜间或环境昏暗被致盲时，起到夜视透视监控的作用；每台所述前段人工智能多要素全景监控检测装置安装于路段中的预设位置处，IPC红外摄像机分别采集路段上不同位置的物体、行人、路基路面数据信息和图像信息，然后将采集到的数据信息发送至所述中央控制处理单元，由中央控制单元将每个前段人工智能多要素全景监控检测装置上传到中心管理装置五维预警告警管理平台上，进行集中汇总分析并融入到五维图形中实时显示，实现异常车辆、物体、行人、路基路面等异常事件事故检测报警、定位、交通状态预览和评估、夜视***；

所述中央控制处理单元用于将接收到的上述一组变焦摄像机图像信息按拼接算法进行拼接融合和数据采集、逻辑运算和逻辑控制输出，形成180°或360°全景拼接图像后上传到中心管理装置上，以及在接收到来自所述IPC红外热成像摄像机的报警信息时，结合所述多要素传感器采集的各项数据，按照预先设定的报警参数或中央控制单元人工智能深入分析学***台查看实时监控信息，查看访问局域网内所有的在线设备状态和故障设备所在位置以及故障情况进而进行快速修复；

所述中心管理装置接收每个前端装置发送来的视频、图像、数据、多要素传感器采集的各项数据和报警信息，将N个前端设备级联和关联起来获取前端数据，通过大数据云处理平台进行现场五维图形展示、全路径交通状态视频预览漫游、实际环境的模拟、仿真、回放，得到环境模拟结果，并通过图形和声音的形式告知管理者和救护人员以及消防人员，采取维护措施；

中心管理装置通过大数据云处理平台进行现场五维图形实时显示，包括：现场五维图形显示、实际天气感知环境模拟动态显示、交通通行状态预览、事件事故预判、全路径视频拼接三维无限漫游查看、事件事故发生位置实时定位、信息汇总上传。

2.如权利要求1所述的基于人工智能多要素全景监控检测五维预警***，其特征在于，每台所述前段人工智能多要素全景监控检测装置采用一组可变焦或定焦摄像机实现180°或360°全景拼接融合；所述IPC摄像机采用具有温度检测、区域划定功能的红外热成像摄像机。

3.如权利要求1或2所述的基于人工智能多要素全景监控检测五维预警***，其特征在于，一组可变焦摄像机采用智能级联调校技术，其中，所述智能级联调校包括对摄像机的焦距、光圈、快门、白光平衡、曝光控制、最低照度、宽动态、方位、编码格式参数的调整；

当任何一个摄像机的参数被人为的调整时，其他摄像机的参数会跟着自动同步更改，包括按照预先设定的程序和参数进行正向增加或反向减少，以保证180°或360°全景视频图像拼接融合的完整性。

4.如权利要求2所述的基于人工智能多要素全景监控检测五维预警***，其特征在于，所述摄像机组包括：3个变焦摄像机和1个专用的IPC红外热成像摄像机，其中，所述中央控制处理单元输出5组视频流：

第1组：第一个变焦摄像机的视频流；

第2组：第二个变焦摄像机的视频流；

第3组：第三个变焦摄像机的视频流；

第4组：第一至第三个变焦摄像机形成的180°或360°全景拼接视频流；

第5组：IPC红外热成像摄像机的视频流；

其中，为了减少设备占用的网络带宽，第1组至第3组视频流采用被动调用方式，***默认主动输出第4组视频流和第5组视频流，第三方***在调用第1-3组视频流时，保证第4组和第5组视频流不能中断。

5.如权利要求1所述的基于人工智能多要素全景监控检测五维预警***，其特征在于，所述接口单元包括：供电接口和输入输出接口，其中，

所述供电接口采用48V POE供电接口；

所述输入输出接口包括：IO接口、音频输入接口、音频输出接口、CAN接口、RS485接口和100/1000M自适应RJ45接口。

6.如权利要求1所述的基于人工智能多要素全景监控检测五维预警***，其特征在于，所述综合气体传感器用于采集二氧化硫、二氧化碳、一氧化碳、甲烷、甲醛、天然气、液化气的气体浓度。

7.如权利要求1所述的基于人工智能多要素全景监控检测五维预警***，其特征在于，所述中央控制处理单元包括：存储单元、时钟单元、GPU图形处理单元、多核高速ARM处理器、多核高速DSP处理器和中央控制逻辑运算与处理单元；所述通信模块采用无线通信模块、4G通信模块和100/1000M自适应网口通信模块三种。

8.如权利要求1所述的基于人工智能多要素全景监控检测五维预警***，通过实时获取图像信息与各传感器采集的数据信息后，***启用大数据分析并用图形的方式将所获得的数据模拟仿真出来给监控中心指挥人员与抢险救灾人员提供基础保证，此外***通过对各类数据进行有规律性的自我学习和数据汇总后，最终形成具有五维实时动态的展示图形供操作人员决策、定位、查看、全路径漫游、预览使用，以三维地图为底层预览模式并结合的不同时段、不同气象状况、不同交通状态、实时全景视频图形拼接融合、不同地点、不同危害程度管理策略和周期性行动方案，一旦达到报警临界点或出现紧急情况时，***马上发出报警信息，并用五维视图展示方式给相关工作人员观看预览，以便尽快的采取相应的救援措施，较少损害挽救生命。

9.如权利要求1所述的基于人工智能多要素全景监控检测五维预警***，其特征在于，所述中心管理装置包括：管理工作站和私有云服务器，其中，

所述私有云服务器设置在监控分中心机房中，执行以下工作：数据交换、存储功能、***通讯、维护、***各功能的搭建、参数的设置、集中报警、预案生成、人工智能深入学习分析、联动方案执行下发、三维地图生成、五维图形生成、现场环境数据汇总、现场环境模拟仿真、大数据宏观运算、视频监控、图像存储、报警事件录像存查、报表生产、全路径视频图像二次拼接、全路径视频图像查看、漫游、预览生成、视频图像的调用与第三方联动指令发送、发送预设方案、日常操作人机界面集中警报；

所述管理工作站设置在监控分中心操控台上，执行以下工作：数据交换、***通讯、集中报警、预案生成、联动方案下发执行、五维图形实时展示、图像显示、大数据宏观显示、视频监控、全路径视频图像查看、漫游、预览生成、视频图像的调用、报警事件录像存查、报表生产、与第三方联动指令发送、发送预设方案、日常操作、人机界面交互、集中警报。