CN114286017A - 基于自由视角的超大尺度电力设备图像采集方法及*** - Google Patents

Abstract

本发明提供一种基于自由视角的超大尺度电力设备图像采集方法，采用呈自由视角式架设的多相机组成，每台相机按照一定的相机标定位姿信息，调整固定相机高度、角度、焦距、光圈等参数，获取目标区域内图像数据，结合高分辨率校正技术，获取高分辨率清晰图像，通过5G传输模块，实时传输至后台服务器，为后台服务器提供高位姿、高清晰度图像数据，同时后台服务器利用时间戳协议，对图像及视频按时间进行同步分类打包，图像拼接模块调用同步分类打包图像及视频数据，进行图像及视频无缝拼接，从而利用图像生成模块生成超大尺度电力设备高清晰度全景影像图，以及生成可任意切换的自由视角展示图。

Description

基于自由视角的超大尺度电力设备图像采集方法及***

技术领域

本发明涉及电力设备维保技术领域，具体来说是基于自由视角的超大尺度电力设备图像采集方法及***。

背景技术

电力设备图像采集方法通过巡检机器人的巡检范围广、检测精度高、易自动化等特点，已经广泛的应用在电力行业各个设备的维保中。巡检机器人相比与传统人工巡检，主要体现在利用机器人代替人工采集电力设备的图像、视频、温度、周围空气环境等数据。

在图像及视频处理领域，后台服务器及显示器，可以轻易接受一台摄像机的图像及视频数据，并向用户展示图像及视频，对于多台摄像机传输的图像及视频数据，后台服务器也可向用户同时展示多台摄像机传输的图像及视频。

针对电力设备图像及视频数据采集，目前普遍的主流技术是采用高清摄像机进行图像采集，同理，巡检机器人采用摄像机进行图像数据采集，需要事先精确无障碍运动到指定数据采集点，然后精确调整摄像头的位置、角度、高度等，调整摄像机的焦距、光圈等参数，以保证巡检机器人每次获取的图像清晰可靠，所有，若是针对超大尺度的电力设备，巡检机器人每一次采集图像及视频数据时，都需要做到无障碍移动，摄像机精确调整角度、高度、焦距等参数。对于超大尺度的电力设备，每个拍摄区域的大小、远近、角度等不同，相应的摄像机拍摄的距离、角度、高度、焦距、明暗度等参数也均有差别，无法基于一次同样固定视角的布设，就获取到整个超大尺度电力设备清晰及准确可靠的图像和视频，若是采用一台机器，一处拍摄区域就采集图像一次的方法，数据数据采集时间长、效率低。

针对多台摄像机传输的图像及视频数据，后台服务器对自由视角采集的图像及视频数据需做到无缝同步拼接，同时，利用多相机自由视角拍摄的功能和5G传输功能，达到用户于虚拟界面上自由视角的任意切换，可实时维保重点监测区域，极大的提高用户的体验感和实用性。

因此，如何克服超大尺度电力设备在基于自由视角下的多相机实时同步采集清晰、稳定可靠的图像及视频技术上的不足，以及后台图像及视频无缝同步拼接和虚拟自由视角的任意切换的技术难题，是目前电力设备图像采集方法亟需解决的问题。

发明内容

本发明所要解决的技术问题在于现有超大尺度电力设备维保***在基于自由视角下的多相机实时同步采集清晰、稳定可靠图像及视频技术上的缺陷。

本发明通过以下技术手段实现解决上述技术问题的：

基于自由视角的超大尺度电力设备图像采集方法，包括以下方法

步骤1、确定超大尺度电力设备范围以及相机自由视角范围；

步骤2、根据所述超大尺度电力设备范围及相机自由视角范围，结合同步标定技术，确定相机的数量和位置、交底、焦距、光圈，使得多台组合的拍摄区域完全覆盖所述超大尺度电力设备；

步骤3、多台同步采集图像及视频，且赋予图像和视频时间戳；

步骤4、基于时间戳，对多台采集的图像及视频进行分类打包，使得多台同一时刻拍摄的图像及视频分为一类；

步骤5、将步骤4分类打包后的包内图像及视频进行无缝拼接，得到超大尺度电力设备的无缝拼接整体视图。

进一步的，所述步骤2中的标定过程具体为：

根据多台所摄目标区域的范围，人工调整多相机的角度、焦距、光圈，获取各个相机的精确位姿信息，选定目标范围内的同一水平特征点，达到大规模场景多相机的同步标定。

进一步的，所述步骤3中，多台同步启动的方法为：

设置指令数据，基于时间触发协议将指令数据转换成时间出发指令，基于该时间触发指令，同步启动多台拍摄。

进一步的，所述步骤3中采集到的图像和视频进行高分辨率处理，具体方法为：通过插值方法将低分辨率的图像转化为高分辨率图像，再通过像素卷积实现图像放大。

进一步的，所述步骤5中图像拼接技术利用stiching算法对多相机多视图图像进行特征点提取和匹配，在于多幅匹配点集，进行图像配准，最终达到一幅图效果。

与上述方法对应的，本发明还提供一种基于自由视角的超大尺度电力设备图像采集***，包括：

设备安装模块，首先确定超大尺度电力设备范围以及相机自由视角范围；然后根据所述超大尺度电力设备范围及相机自由视角范围，结合同步标定技术，确定相机的数量和位置、交底、焦距、光圈，使得多台组合的拍摄区域完全覆盖所述超大尺度电力设备；

采集模块，多台同步采集图像及视频，且赋予图像和视频时间戳；

数据分类模块，基于时间戳，对多台采集的图像及视频进行分类打包，使得多台同一时刻拍摄的图像及视频分为一类；

拼接模块，将分类打包后的包内图像及视频进行无缝拼接，得到超大尺度电力设备的无缝拼接整体视图。

进一步的，所述设备安装模块中的标定过程具体为：

根据多台所摄目标区域的范围，人工调整多相机的角度、焦距、光圈，获取各个相机的精确位姿信息，选定目标范围内的同一水平特征点，达到大规模场景多相机的同步标定。

进一步的，所述采集模块中，多台同步启动的方法为：

设置指令数据，基于时间触发协议将指令数据转换成时间出发指令，基于该时间触发指令，同步启动多台拍摄。

进一步的，所述采集模块中采集到的图像和视频进行高分辨率处理，具体方法为：通过插值方法将低分辨率的图像转化为高分辨率图像，再通过像素卷积实现图像放大。

进一步的，所述拼接模块中图像拼接技术利用stiching算法对多相机多视图图像进行特征点提取和匹配，在于多幅匹配点集，进行图像配准，最终达到一幅图效果。

本发明的优点在于：

本发明提供一种基于自由视角的超大尺度电力设备图像采集方法，采用呈自由视角式架设的多相机组成，每台相机按照一定的相机标定位姿信息，调整固定相机高度、角度、焦距、光圈等参数，获取目标区域内图像数据，结合高分辨率校正技术，获取高分辨率清晰图像，通过5G传输模块，实时传输至后台服务器，为后台服务器提供高位姿、高清晰度图像数据，同时后台服务器利用时间戳协议，对图像及视频按时间进行同步分类打包，图像拼接模块调用同步分类打包图像及视频数据，进行图像及视频无缝拼接，从而利用图像生成模块生成超大尺度电力设备高清晰度全景影像图，以及生成可任意切换的自由视角展示图。

本发明实现了一次运行即可实时采集超大尺度电力设备全视角图像或视频数据的功能，以及为用户提供了重点监测查看功能，实现了虚拟界面上自由视角的任意切换功能，大大提高电力设备图像采集方法的精度、作业效率以及用户的实用性和体验感。同时，由于本***拍摄位姿要求低于传统拍摄，能够降低自由视角式架设相机的技术难度，降低改造成本。

附图说明

图1为本发明实施例中基于自由视角的超大尺度电力设备图像采集***的结构框图；

图2为本发明实施例中多相机呈自由视角架设在超大尺度电力设备周边的多相机架设示意图；

图3为本发明实施例中相机自由视角图像采集区域示意图；

图4为本发明实施例中图像拼接示意图；

图5为本发明实施例中自由视角切换逻辑图；

图6为本发明实施例中多相机同步采集图像算法流程图；

图7为本发明实施例中超分辨率重构算法流程图；

图8为本发明实施例中残差网路原理架构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

基于自由视角的超大尺度电力设备图像采集方法包括以下步骤：

步骤1、确定超大尺度电力设备范围以及相机自由视角范围；

步骤2、根据所述超大尺度电力设备范围及相机自由视角范围，结合同步标定技术，确定相机的数量和位置、交底、焦距、光圈，使得多台组合的拍摄区域完全覆盖所述超大尺度电力设备；

步骤3、多台同步采集图像及视频，且赋予图像和视频时间戳；

步骤4、基于时间戳，对多台采集的图像及视频进行分类打包，使得多台同一时刻拍摄的图像及视频分为一类；

步骤5、将步骤4分类打包后的包内图像及视频进行无缝拼接，得到超大尺度电力设备的无缝拼接整体视图。

步骤2中的标定过程具体为：

根据多台所摄目标区域的范围，人工调整多相机的角度、焦距、光圈，获取各个相机的精确位姿信息，选定目标范围内的同一水平特征点，达到大规模场景多相机的同步标定。

步骤3中，多台同步启动的方法为：

设置指令数据，基于时间触发协议将指令数据转换成时间出发指令，基于该时间触发指令，同步启动多台拍摄。

步骤3中采集到的图像和视频进行高分辨率处理，具体方法为：通过插值方法将低分辨率的图像转化为高分辨率图像，再通过像素卷积实现图像放大。

步骤5中图像拼接技术利用stiching算法对多相机多视图图像进行特征点提取和匹配，在于多幅匹配点集，进行图像配准，最终达到一幅图效果。

与上述方法对应的，本实施例还提供一种***，包括：

设备安装模块，首先确定超大尺度电力设备范围以及相机自由视角范围；然后根据所述超大尺度电力设备范围及相机自由视角范围，结合同步标定技术，确定相机的数量和位置、交底、焦距、光圈，使得多台组合的拍摄区域完全覆盖所述超大尺度电力设备；

采集模块，多台同步采集图像及视频，且赋予图像和视频时间戳；

数据分类模块，基于时间戳，对多台采集的图像及视频进行分类打包，使得多台同一时刻拍摄的图像及视频分为一类；

拼接模块，将分类打包后的包内图像及视频进行无缝拼接，得到超大尺度电力设备的无缝拼接整体视图。

相机2与同步标定模块1、高分辨率校正模块3相连、高分辨率校正模块3通过5G传输模块4与后台服务器5相连，后台服务器5完成图像拼接和图像生成。

首先按照同步标定模块标定1的相机位姿信息固定安装布置好多相机2的角度、焦距等，在利用高分辨率校正模块3，获取高分辨率清晰图像，通过5G传输模块4，实时传输至后台服务器5，后台服务器利用时间戳协议，对图像及视频按时间进行同步分类打包，图像拼接模块6调用同步分类打包图像及视频数据，进行图像及视频无缝拼接，从而利用图像生成模块7生成超大尺度电力设备高清晰度全景影像图，以及生成可任意切换的自由视角展示图。

自由视角式架设在超大尺度电力设备周边的多台相机2分别同步标定模块1、高分辨率校正模块3、5G传输模块4相连。

后台服务器5同图像拼接模块6和图像生成模块7相连。

同步标定模块1同多相机相连，每台相机中都固定安装一同步标定模块，在确定好所需相机数量、相机安装位置、拍摄目标区域后，利用同步标定模块，将所有呈自由视角式架设在超大尺度电力设备周边的多台相机，同步标定，同步获取到各个相机拍摄目标区域的精确位姿信息，然后调整相机的角度、焦距、光圈等，为自由视角式架设的多相机提供可靠参数，同时为台图像拼接模块和图像生成模块实现图像及视频无缝同步拼接和虚拟自由视角的任意切换提供清晰、稳定可用的图像及视频。

自由视角式架设在超大尺度电力设备周边的多台相机2用于将多台相机按照一定的距离、高度、角度和焦距、光圈等固定安装在超大尺度电力设备周边，使得多相机组合的拍摄区域完全覆盖超大尺度电力设备的表面，包括超大尺度电力设备的前后左右和上下表面。

高分辨率校正模块3同多相机相连，每台相机中都固定安装一高分辨率校正模块，用于对多相机采集到的图像光学数据进行明暗、对焦等处理，采用高分辨率重构算法对校正后的图像进行高分辨率重构，获取高分辨率清晰图像。

5G传输模块4同多相机相连，用于实时连接多相机和后台服务器之间的数据传输，用于将基于自由视角架设的多相机拍摄处理过后的图像及视频，实时传输至后台服务器，5G传输模块具有高宽带、高稳定性、超低延时数图传输功能，可显示多相机及后台服务器准实时相连的关系。

后台服务器5用于处理基于自由视角架设的多相机实时传输的图像和视频数据，利用时间戳协议，对于多相机实时传输的数据进行数据时间验证和同步分类打包。

图像拼接模块6位于后台处理服务器内，用于对后台服务器利用时间戳数据时间验证和同步分类打包的多相机实时传输的图像和视频数据，进行无缝拼接处理，即只对同一时间至多相机传输回后台服务器的图像和视频进行无缝拼接，达到同步实时获取超大尺度电力设备的无缝拼接整体视图。

图像生成模块7位于后台处理服务器内，用于对图像拼接模块无缝拼接的视图进行清晰成像，得到超大尺度电力设备的清晰全景影像图，以及用于对呈自由视角架设的多相机所拍摄的图像及视频，进行虚拟界面上自由视角的任意切换生成和清晰展示，为超大尺度电力设备的维保提供了稳定依据和高效便捷度。

自由视角式架设在超大尺度电力设备周边的多台相机分别同步标定模块、高分辨率校正模块、5G传输模块相连。

后台服务器同图像拼接模块和图像生成模块相连。

自由视角式架设在超大尺度电力设备周边的多台相机用于将多台相机按照一定的距离、高度、角度和焦距、光圈等固定安装在超大尺度电力设备周边，使得多相机组合的拍摄区域完全覆盖超大尺度电力设备的表面，包括超大尺度电力设备的前后左右和上下表面。其特征在于，如图6所示，所述自由视角式架设的多台相机基于时间属性，实时同步采集图像及视频，所述时间属性在于基于时间触发算法所设置时间来控制相机采集终端，最终实现多相机同步采集图像及视频，最终误差达到毫秒级。具体流程图如图5。

同步标定模块同多相机相连，每台相机中都固定安装一同步标定模块，在确定好所需相机数量、相机安装位置、拍摄目标区域后，利用同步标定模块，将所有呈自由视角式架设在超大尺度电力设备周边的多台相机，同步标定，为台图像拼接模块和图像生成模块实现图像及视频无缝同步拼接和虚拟自由视角的任意切换提供清晰、稳定可用的图像及视频。其特征在于，所述同步标定根据多相机所摄目标域的范围，人工调整多相机的角度、焦距、光圈等，获取各个相机的精确位姿信息，选定目标范围内的同一水平特征点，达到大规模场景多相机的同步标定。

如图7所示，高分辨率校正模块同多相机相连，每台相机中都固定安装一高分辨率校正模块，用于对多相机采集到的图像光学数据进行明暗、对焦等处理，采用高分辨率重构算法对校正后的图像进行高分辨率重构，获取高分辨率清晰图像。其特征在于，所述基于内部深度学习的超分辨率重构算法，根据多层非线性变化，提取特征点，提取数据特征，深度学习数据的潜在规律，获得对新数据做出合理判断或预测的能力，所述超分辨率重构算法在于采用插值方法将低分辨率的图像转化为高分辨率图像，通过像素卷积层实现图像放大能力。

5G传输模块同多相机相连，用于实时连接多相机和后台服务器之间的数据传输，用于将基于自由视角架设的多相机拍摄处理过后的图像及视频，实时传输至后台服务器，5G传输模块具有高宽带、高稳定性、超低延时数图传输功能，可显示多相机及后台服务器准实时相连的关系。

后台服务器用于处理基于自由视角架设的多相机实时传输的图像和视频数据，利用时间戳协议，对于多相机实时传输的数据进行数据时间验证和同步分类打包。所述时间戳，在于使用数字签名技术产生的数据时间及签名参数等，产生和管理时间戳，做到对多相机实时传输的数据进行同步分类打包。所述时间戳协议，在于时间戳机构将Hash运算得到的数据及数据时间一起进行数据签名，最后将时间戳证书返还给用户，同时做到同步分类打包。

图像拼接模块位于后台处理服务器内，用于对后台服务器利用时间戳数据时间验证和同步分类打包的多相机实时传输的图像和视频数据，进行无缝拼接处理，即只对同一时间至多相机传输回后台服务器的图像和视频进行无缝拼接，达到同步实时获取超大尺度电力设备的无缝拼接整体视图。其特征在于，所述图像拼接技术利用stiching算法对多相机多视图图像进行特征点提取和匹配，在于多幅匹配点集，进行图像配准，最终达到一幅图效果。具体流程图如图4。

图像生成模块位于后台处理服务器内，用于对图像拼接模块无缝拼接的视图进行清晰成像，如图8所示，所述清晰成像在于对全景图进行基于插值的超分辨率重构，得到超大尺度电力设备的清晰全景影像图，以及用于对呈自由视角架设的多相机所拍摄的图像及视频，进行虚拟界面上自由视角的任意切换生成和清晰展示，为超大尺度电力设备的维保提供了稳定依据和高效便捷度。其特征在于，所述图像生成模块可实时展示全景一张图，同时，可实时接受多相机的同步图像集，并关联全景一张图，根据自由视角式布设的多相机，达到虚拟界面上自由视角的任意切换生成和清晰展示。具体流程图如图5。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.基于自由视角的超大尺度电力设备图像采集方法，其特征在于，包括以下方法

步骤1、确定超大尺度电力设备范围以及相机自由视角范围；

步骤2、根据所述超大尺度电力设备范围及相机自由视角范围，结合同步标定技术，确定相机的数量和位置、交底、焦距、光圈，使得多台组合的拍摄区域完全覆盖所述超大尺度电力设备；

步骤3、多台同步采集图像及视频，且赋予图像和视频时间戳；

步骤4、基于时间戳，对多台采集的图像及视频进行分类打包，使得多台同一时刻拍摄的图像及视频分为一类；

步骤5、将步骤4分类打包后的包内图像及视频进行无缝拼接，得到超大尺度电力设备的无缝拼接整体视图。

2.根据权利要求1所述的基于自由视角的超大尺度电力设备图像采集方法，其特征在于，所述步骤2中的标定过程具体为：

根据多台所摄目标区域的范围，人工调整多相机的角度、焦距、光圈，获取各个相机的精确位姿信息，选定目标范围内的同一水平特征点，达到大规模场景多相机的同步标定。

3.根据权利要求1所述的基于自由视角的超大尺度电力设备图像采集方法，其特征在于，所述步骤3中，多台同步启动的方法为：

设置指令数据，基于时间触发协议将指令数据转换成时间出发指令，基于该时间触发指令，同步启动多台拍摄。

4.根据权利要求1所述的基于自由视角的超大尺度电力设备图像采集方法，其特征在于，所述步骤3中采集到的图像和视频进行高分辨率处理，具体方法为：通过插值方法将低分辨率的图像转化为高分辨率图像，再通过像素卷积实现图像放大。

5.根据权利要求1所述的基于自由视角的超大尺度电力设备图像采集方法，其特征在于，所述步骤5中图像拼接技术利用stiching算法对多相机多视图图像进行特征点提取和匹配，在于多幅匹配点集，进行图像配准，最终达到一幅图效果。

6.基于自由视角的超大尺度电力设备图像采集***，其特征在于，包括：

设备安装模块，首先确定超大尺度电力设备范围以及相机自由视角范围；然后根据所述超大尺度电力设备范围及相机自由视角范围，结合同步标定技术，确定相机的数量和位置、交底、焦距、光圈，使得多台组合的拍摄区域完全覆盖所述超大尺度电力设备；

采集模块，多台同步采集图像及视频，且赋予图像和视频时间戳；

数据分类模块，基于时间戳，对多台采集的图像及视频进行分类打包，使得多台同一时刻拍摄的图像及视频分为一类；

拼接模块，将分类打包后的包内图像及视频进行无缝拼接，得到超大尺度电力设备的无缝拼接整体视图。

7.根据权利要求6所述的基于自由视角的超大尺度电力设备图像采集***，其特征在于，所述设备安装模块中的标定过程具体为：

根据多台所摄目标区域的范围，人工调整多相机的角度、焦距、光圈，获取各个相机的精确位姿信息，选定目标范围内的同一水平特征点，达到大规模场景多相机的同步标定。

8.根据权利要求6所述的基于自由视角的超大尺度电力设备图像采集***，其特征在于，所述采集模块中，多台同步启动的方法为：

设置指令数据，基于时间触发协议将指令数据转换成时间出发指令，基于该时间触发指令，同步启动多台拍摄。

9.根据权利要求6所述的基于自由视角的超大尺度电力设备图像采集***，其特征在于，所述采集模块中采集到的图像和视频进行高分辨率处理，具体方法为：通过插值方法将低分辨率的图像转化为高分辨率图像，再通过像素卷积实现图像放大。

10.根据权利要求6所述的基于自由视角的超大尺度电力设备图像采集***，其特征在于，所述拼接模块中图像拼接技术利用stiching算法对多相机多视图图像进行特征点提取和匹配，在于多幅匹配点集，进行图像配准，最终达到一幅图效果。

Images