北斗边缘计算设备及基于设备获取巡检设施的方法
技术领域
本发明涉及道路巡检技术领域,尤其涉及一种北斗边缘计算设备及基于设备获取巡检设施的方法。
背景技术
以无人驾驶为代表的新一代技术革新,对于高精地图为代表的空间数据的质量、现势性要求大大提升,对空间数据采集的准确性、更新频次等的要求提升了好几个等级。
空间数据的采集严重依赖于规模效应,对于如何提供全国新基建地图,需要***性的回答成本问题。而目前以地图外业、内业为代表的数据采集,依旧以人工采集为主要手段,对人工采集的规模性依赖成为空间信息产业的掣肘。
使用人工智能采集空间信息数据成为行业前沿方向,市场上大部分使用方式均是使用视频数据终端获取、离线上载到AI服务器,于服务器后台进行数据识别,由于当前移动网络条件的限制,信息的采集无法做到实时识别、实时更新,进而对地图数据的现势性要求满足较差。
为此,本领域迫切需要研发出一种设备能够克服现有技术存在的上述技术问题。
发明内容
本发明之目的是提供一种北斗边缘计算设备,能够解决现有道路巡检主要通过人工训练以识别制定目标,该方法存在成本高、实时性差与规范性差的技术问题。
本发明之目的是提供一种基于北斗边缘计算设备获取巡检设施的方法,能够解决现有道路巡检主要通过人工训练以识别制定目标,该方法存在成本高、实时性差与规范性差的技术问题。
本发明提供一种北斗边缘计算设备,包括AI视觉单元、北斗定位模块、NPU处理单元、CPU处理单元与数据传输单元,
所述AI视觉单元用于实时获取标准视频流数据,并且将标准视频流数据传输至所述NPU处理单元;
所述NPU处理单元用于通过运行不同的神经网络对所述标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传输给CPU处理单元;
所述北斗定位模块用于实时接收空间位置信息;
所述CPU处理单元用于实时接收所述北斗定位模块传输的空间位置信息,并将空间数据信息与空间位置信息相匹配,形成实时规格化空间数据信息;
所述数据传输单元用于将所述CPU处理单元中的规格化空间数据信息传输给后台服务器。
优选地,所述NPU处理单元以毫秒为单位获取并识别空间数据信息,且识别帧数小于输入视频流帧数。
优选地,所述CPU处理单元基于线性差值算法获取每帧空间数据图像的空间位置信息。
优选地,所述AI视觉单元包括视觉传感器与ISP处理单元,
所述视觉传感器用于获取原始视频流数据;
所述ISP处理单元用于对所述视觉传感器获取的视频流中图像进行预处理,获取标准视频流数据。
优选地,所述ISP处理单元对所述视觉传感器获取的视频流中图像进行防抖与光线强度调整处理。
本发明还提供一种基于北斗边缘计算设备获取巡检设施的方法,包括如下步骤:
AI视觉单元实时获取标准视频流数据,并且将标准视频流数据传输至NPU处理单元;
NPU处理单元通过运行不同的神经网络对所述标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传给CPU处理单元;
北斗定位模块用于实时接收空间位置信息;
所述CPU处理单元实时接收所述北斗定位模块传输的空间位置信息,并且将空间数据信息与空间位置信息相匹配,形成实时规格化空间数据信息;
所述规格化空间数据信息通过无线网络实时回传至后台服务器。
优选地,所述NPU处理单元通过运行不同的神经网络对所述标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传给CPU处理单元包括:
获取实时标准视频流数据信息;
通过运行不同的神经网络对所述标准视频流数据进行识别与跟踪,实现对空间数据信息的识别过程中对巡检设施的逐帧持续跟踪;
获取空间数据信息;
将空间数据信息传输给CPU处理单元。
优选地,所述CPU处理单元经过线性差值算法获取空间位置信息,定位每帧空间数据图像中巡检设施的空间位置,将经过线性差值算法处理后的空间位置信息与空间数据信息相匹配,形成实时规格化空间数据信息。
优选地,所述AI视觉单元设置有HTTP请求接口,用于实现北斗边缘计算设备采集设备功能机制解耦。
优选地,所述AI视觉单元以每秒30帧以上的效率获得分辨率为1080P的视频流数据并进行实时传输;
所述NPU处理单元保持每秒5帧以上的处理速度进行视频流数据处理。
本发明的北斗边缘计算设备及基于设备获取巡检设施的方法相比现有技术具有如下有益效果:
本发明通过北斗定位和地理围栏技术,低成本高效地提取道路巡检中需要重点确认的巡检点的图像,图像实时上传到后台通过AI图像识别技术以及人工辅助的方式进行远程道路巡检识别。
本发明通过边缘计算方法与北斗定位于外业生产侧现场实时识别,将识别成果文本化、规格化,处理后成果数据尺寸小、对移动数字网络带宽依赖低,可实时自动上传到后台服务器。
本发明通过使用北斗高精定位,人工智能,5G通信等新基建技术,替换传统空间数据采集中人工部分,使空间数据采集彻底自动化,AI化,使大量非专业人员无需培训即可以众包的形式完成专业空间数据采集,进而***地提出一种低成本高质量规模化实现全国道路设施数字化的方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的北斗边缘计算设备的框架示意图;
图2为本发明的基于北斗边缘计算设备获取巡检设施的方法的流程示意图。
附图标记汇总:
1、AI视觉单元 2、NPU处理单元 3、北斗定位模块
4、CPU处理单元 5、数据传输单元 6、后台服务器
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
如图1所示,本发明提供的一种北斗边缘计算设备,包括AI视觉单元1、北斗定位模块3、NPU处理单元2、CPU处理单元4与数据传输单元5,
AI视觉单元1用于实时获取标准视频流数据,并且将标准视频流数据传输至NPU处理单元2;
NPU处理单元2用于通过运行不同的神经网络对标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传输给CPU处理单元4;
北斗定位模块3用于实时接收空间位置信息;
CPU处理单元4用于实时接收北斗定位模块3传输的空间位置信息,基于线性差值算法获取每帧空间数据图像的空间位置信息,并将空间数据信息与空间位置信息相匹配,形成实时规格化空间数据信息;
数据传输单元5用于将CPU处理单元4中的规格化空间数据信息(结构化文本)传输给后台服务器6。
本发明的北斗边缘计算设备为集成设备,并且其硬件部分对安装车辆无特殊要求,不需要更改车辆中控面板,只需要点烟器供电即可执行。或者,如果采用电动车进行道路设施巡检,则可以通过充电宝对北斗边缘计算设备进行供电,实现便携式安装与使用,其无线网络可连接手机WiFi、热点或蓝牙,即充分利用现有的移动设备以众包的形式实现专业空间数据采集,进而***地提出一种低成本高质量规模化实现全国道路设施数字化的方式。
本发明的北斗边缘计算设备为可以实现必要功能的精简设计,让AI视觉单元1拥有在价格上(几千的成本远低于业内同类几万的成本)、稳定性上、耗电上(单充电宝7个小时)、重量上(200g)等有一系列优势。在传输层连接上,AI视觉单元1通过连接Android中控/手机的热点,实现数据传输连通,在软件协议上,AI视觉单元1提供HTTP请求接口,由Android中控/手机发起Get Http请求最大程度实现设备解耦。
在车辆行驶过程中,本发明的北斗边缘计算设备中的AI视觉单元1以每秒30帧以上的效率获得分辨率为1080P的视频流数据并进行实时传输;同时,NPU处理单元2保持每秒5帧以上的处理速度进行视频流数据处理。
优选地,NPU处理单元2以毫秒为单位获取并识别空间数据信息,且识别帧数小于输入视频流帧数。
在本发明的进一步实施例中,AI视觉单元1包括视觉传感器与ISP处理单元,视觉传感器用于获取原始视频流数据;ISP处理单元用于对视觉传感器获取的视频流中图像进行预处理,获取标准视频流数据。
优选地,ISP处理单元对视觉传感器获取的视频流中图像进行防抖与光线强度调整处理。
如图2所示,本发明还提供一种基于北斗边缘计算设备获取巡检设施的方法,包括如下步骤:
AI视觉单元1实时获取标准视频流数据,并且将标准视频流数据传输至NPU处理单元2;
NPU处理单元2通过运行不同的神经网络对标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传给CPU处理单元4;
北斗定位模块3用于实时接收空间位置信息;
CPU处理单元4实时接收北斗定位模块3传输的空间位置信息,并且将空间数据信息与空间位置信息相匹配,形成实时规格化空间数据信息;
规格化空间数据信息通过无线网络实时回传至后台服务器6。
本发明通过边缘计算方法、AI图像识别技术与北斗定位于外业生产侧现场实时识别,将识别成果文本化、规格化,处理后成果数据尺寸小、对移动数字网络带宽依赖低,可实时自动上传到后台服务器6,以此实现远程道路巡检设施识别,进而***地提出一种低成本高质量规模化实现全国道路设施数字化的方式。
在本发明的进一步实施例中,NPU处理单元2通过运行不同的神经网络对标准视频流数据进行处理,以实现视觉中空间数据信息的识别提取,并将识别后的空间数据信息传给CPU处理单元4包括:
获取实时标准视频流数据信息;
通过运行不同的神经网络对标准视频流数据进行识别与跟踪,实现对空间数据信息的识别过程中对巡检设施的逐帧持续跟踪;
获取空间数据信息;
将空间数据信息传输给CPU处理单元4。
考虑到AI视觉单元1获取的视频流为持续输入,北斗边缘计算设备上装载的NPU处理单元2需要同时兼顾“识别”和“跟踪”两个功能。其中识别功能使用yolo V3神经网络,跟踪功能使用孪生神经网络,两个神经网络同时运行以实现识别过程中对识别物的逐帧持续跟踪。
上述AI视觉单元1设置有HTTP请求接口,用于实现北斗边缘计算设备采集设备功能机制解耦。这样设置可以最大程度减少AI视觉单元1对其他硬件模块的依赖,从而可以专注于实现视觉算法。
上述CPU处理单元4经过线性差值算法获取空间位置信息,定位每帧空间数据图像中巡检设施的空间位置,将经过线性差值算法处理后的空间位置信息与空间数据信息相匹配,形成实时规格化空间数据信息。
具体地,CPU处理单元4可以采用2TOPS算力AI芯片模组,其中2TOPS是目前主流单芯片可达到的最高算力,已经可以产品化运行经过裁剪的主流视觉相关神经网络。
由于视频流的跟踪算法的实现,北斗边缘计算设备可以持续跟踪识别物(巡检设施)。可通过识别物消失的时间,推导出车辆经过识别物的时间。同时,可以调整设备,保证设备是视觉输入帧数稳定,在连续获得北斗信号的前提下通过线性插值的方式,获得每帧空间数据图像时设备的空间位置,进而获得人工智能识别成果的对应的空间位置。由于分米级北斗信号逐秒产生,大部分情况下线性差值后的视觉采集帧位置也可以达到分米级精度。此方式的优势在于在低成本的基础上,满足业务需求,而不需要依赖成本高昂的激光雷达等。
本发明通过将人工智能、边缘计算、北斗定位在硬件层进行整合和集成,生产下一代空间数据采集的通用平台。在相同的硬件架构下,通过算法的持续迭代,覆盖高精地图、道路巡检、网格员巡查、交警执法、城管执法等广义的空间信息自动化采集领域。通过AI识别技术与北斗高精度定位相结合,将识别成果文本化、规格化,处理后成果数据尺寸小、对移动数字网络带宽依赖低,可实时自动上传到后台服务器6,以此实现远程道路巡检设施识别。
应当理解的是,本发明的上述具体实施方式仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。