CN117351482B - 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 - Google Patents
一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117351482B CN117351482B CN202311655113.0A CN202311655113A CN117351482B CN 117351482 B CN117351482 B CN 117351482B CN 202311655113 A CN202311655113 A CN 202311655113A CN 117351482 B CN117351482 B CN 117351482B
- Authority
- CN
- China
- Prior art keywords
- dimensional structure
- power equipment
- point cloud
- shot image
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000000007 visual effect Effects 0.000 title claims abstract description 34
- 230000003416 augmentation Effects 0.000 title claims abstract description 28
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000005192 partition Methods 0.000 claims abstract description 15
- 238000000638 solvent extraction Methods 0.000 claims abstract description 10
- 239000000463 material Substances 0.000 claims description 27
- 238000005286 illumination Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000007547 defect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 239000003973 paint Substances 0.000 claims description 3
- 238000001028 reflection method Methods 0.000 claims description 3
- 239000011347 resin Substances 0.000 claims description 3
- 229920005989 resin Polymers 0.000 claims description 3
- 238000013341 scale-up Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 11
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质，其中，方法包括：获取电力设备的三维结构点云，根据三维结构点云确定电力设备顶点和边线的点云；对三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构；获取电力设备的实拍图像，根据实拍图像确定电力设备的光影信息；通过变换三维结构的角度和尺度，将三维结构与所述实拍图像进行匹配；当三维结构与所述实拍图像匹配后，根据电力设备的光影信息确定电力设备的三维真彩结构；根据三维真彩结构和实拍图像构建数据集。本发明能够有效构建用于电力视觉识别模型鲁棒性测试的数据集。
Description
技术领域
本发明涉及数据集增广技术领域，尤其是指一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质。
背景技术
当前，电网数字化和智能化转型发展推动了大量电力视觉识别模型的开发和应用，具体包括可见光、红外等视觉数据的识别，针对输电、变电、配电及安全管控等典型场景，识别视觉数据中的特定设备目标或者部件、设备的缺陷故障等。通用领域的识别模型性能测试一般是基于公共大型数据集（ImageNet等）进行测试和验证，根据识别结果对模型的测试能力和性能进行推定和评估。专业领域的识别模型进程也在快速推进，但专业领域的数据不同于通用领域，公开数据集很少，数据通常不易获取或者获取数据的角度不够灵活、标准不统一，模型验证前存在需对验证数据集进行标准化处理等问题，模型的测试和验证经常面临测试数据集的独立性、有效性问题，对模型鲁棒性测试的反映不够客观。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中专业领域缺少相应的数据集作为支撑，导致后续模型鲁棒性测试结果不够客观的问题。
为解决上述技术问题，本发明提供了一种用于电力视觉识别模型的数据集增广方法，包括：
步骤S1：获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云；
步骤S2：对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，其中，非显著性顶点和边线的点云为特征程度低于预设百分比的点云；
步骤S3：获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息；
通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配；
步骤S4：当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构；
步骤S5：根据所述三维真彩结构和实拍图像构建数据集。
在本发明的一个实施例中，所述步骤S1中获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云，方法包括：
获取电力设备的初始三维结构点云，对所述初始三维结构点云进行点云配准和点云滤波得到三维结构点云，同时基于点云体素对所述三维结构点云进行体素梯度求解，计算梯度变化率极大值，得到三维结构点云中电力设备顶点和边线的坐标；
对于三维结构点云中电力设备的边线坐标，将边线坐标所在位置的点云基于聚类算法进行分割，得到若干群落子集，检测若干群落子集中局部空间点集合的曲率变化和法线方向变化情况，结合RANSAC算法得到三维结构点云的边线表示。
在本发明的一个实施例中，所述步骤S2中对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，方法包括：
对三维结构点云中非显著性顶点和边线点云的区域，通过聚类算法对其进行分区，分区等效直径小于点云检测线路长度最小值的0.5倍，通过三角形平面基元代替聚类得到的分区，得到基于三角形平面基元表示的三维结构。
在本发明的一个实施例中，所述步骤S3中获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息，方法包括：
获取电力设备的实拍图像，基于表面反射法分离实拍图像中电力设备的光照信息：根据材料特性设置电力设备不同区域为镜面反射或漫反射，其中，所述镜面反射由电力设备的光滑树脂材料产生，所述漫反射由电力设备的涂料或金属表面产生；根据所述镜面反射或漫反射的光照模型获取电力设备在对应区域的光照信息，得到光照-材质键值对；
基于K均值算法对实拍图像中颜色信息进行区域分割，将电力设备的材质和颜色信息进行配对记录，构成材质-颜色键值对，并将相同材质不同颜色区域设置为阴影-颜色键值对；
通过Gabor滤波器检测得到实拍图像的纹理信息，对照电力设备材质分布情况，构建纹理-材质键值对；
所述光照-材质键值对、材质-颜色键值对、阴影-颜色键值对和纹理-材质键值对构成电力设备的光影信息。
在本发明的一个实施例中，所述步骤S3中通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配，方法包括：
通过变换基于几何平面基元表示的三维结构的角度和尺度，计算实拍图像中角点和边线特征与三维结构的匹配程度，并通过调优匹配误差，在误差最小时得到该三维结构对应的角度和尺度，此时将实拍图像视为该三维结构在该角度和尺度下的投影，并将实拍图像的光照、颜色、纹理信息作为该三维结构在该角度和尺度下正交投影后的二维图像信息。
在本发明的一个实施例中，所述步骤S4中当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构，方法包括：
当所述基于几何平面基元表示的三维结构与所述实拍图像匹配后，利用逆正交投影，并考虑深度信息***影的投影映射，得到该三维结构在该角度和尺度下的光照、颜色、纹理信息；
基于提取到的光照-材质键值对、材质-颜色键值对、阴影-颜色键值对和纹理-材质键值对，在几何平面基元的约束下，对该三维结构的其余部分进行光照、颜色、纹理信息进行拟合和补全，得到带有光照、颜色、纹理信息的三维真彩结构。
在本发明的一个实施例中，所述步骤S5中根据所述三维真彩结构和实拍图像构建数据集，方法包括：
对三维真彩结构在不同角度和尺度下进行正交投影，得到任意方向和大小的二维图像数据；
基于角度的变换得到电力设备在部分遮挡情况下的图像集A；
对光照进行调整得到强光、弱光情况下的图像集B；
针对电力设备指定部件或缺陷所在位置进行预设幅度角度变换得到不同视角目标的图像集C；
针对电力设备指定目标进行尺度放大缩小得到局部图像集D和目标像素小占比图像集E；
以及根据其他具体需求进行的组合变换或者其他变换得到图像集Pi；
将所述实拍图像、图像集A、图像集B、图像集C、图像集D、图像集E和图像集Pi组成数据集。
为解决上述技术问题，本发明提供了一种用于电力视觉识别模型的数据集增广***，包括：
获取与确定模块：用于获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云；
三维结构构建模块：用于对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，其中，非显著性顶点和边线的点云为特征程度低于预设百分比的点云；
获取与匹配模块：用于获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息；
还用于通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配；
三维真彩结构构建模块：用于当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构；
数据集构建模块：用于根据所述三维真彩结构和实拍图像构建数据集。
在本发明的一个实施例中，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述用于电力视觉识别模型的数据集增广方法的步骤。
在本发明的一个实施例中，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上述用于电力视觉识别模型的数据集增广方法的步骤。
本发明的上述技术方案相比现有技术具有以下优点：
本发明基于电力设备的三维结构点云和实拍图像构建图像数据集，该图像数据集能够用于电力视觉识别模型的鲁棒性测试；
本发明实现特定电力场景图像数据集地灵活增广，能够为专业领域（电力领域）的电力视觉识别模型鲁棒性测试提供有效的数据支撑。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
参照图1所示，本发明涉及一种用于电力视觉识别模型的数据集增广方法，包括：
步骤S1：获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云；
步骤S2：对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，其中，非显著性顶点和边线的点云为特征程度低于预设百分比的点云；
步骤S3：获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息；
通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配；
步骤S4：当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构；
步骤S5：根据所述三维真彩结构和实拍图像构建数据集。
本实施例的数据集增广方法能够实现特定电力场景图像数据集地灵活增广。
以下对本实施例进行详细介绍：
本实施例的方法主要包括六部分：（1）三维结构点云获取、（2）三维结构点云基元化、（3）实拍图像的光影信息提取、（4）三维结构不同角度和尺度变换、（5）通过光影信息映射，得到构建三维真彩结构、（6）数据集获取。
（1）三维结构点云获取
电力设备三维结构获取是基于激光雷达或者结构光，得到电力设备的初始三维结构点云，具体包括电力设备的坐标和外形形状等静态信息，初始三维结构点云经过点云配准和点云滤波处理后得到精度较高的三维结构点云，同时基于点云体素进行体素梯度求解，计算梯度变化率极大值，得到三维结构点云中顶点和边线（即边界线段）的坐标属性，至此，本实施例认为已经得到三维结构点云的顶点表示。边线坐标位置的点云基于聚类算法进行分割后，得到若干群落子集，检测得到若干群落子集中局部空间点集合的法线方向、曲率等，根据检测得到的曲率变化和法线方向变化情况，结合点云线段检测算法RANSAC得到三维结构点云的边线表示。
（2）三维结构点云基元化
对三维结构点云中非显著性顶点和边线部分的区域（基于第（1）部分聚类算法得到的特征程度低于预设百分比的点云），用聚类算法对点云进行分区，基于几何平面基元（本实施例采用三角形平面基元）代替聚类得到的分区，本实施例还对三角形平面基元的大小进行处理，尽可能让三角形变小，使得后续三维结构足够平滑。三角形平面基元的三个点满足在结构上相互之间无重叠无空隙，此时得到基于三角形平面基元表示的三维结构。
进一步地，该三维结构可以基于旋转平移进行不同角度和不同尺度的变换。将三维结构中的顶点按照一定角度进行正交投影变换，得到该角度下的顶点二维投影坐标，与投影平面的法平面相交处的三角形平面基元根据相交线分解为更小的三角形，便于投影处理。
（3）实拍图像的光影信息提取
基于电力设备的实拍图像，特别是电力设备存在缺陷等情况下实际获取的图像数据，这类图像数据一般不具有复现性。本实施例基于表面反射法分离实拍图像中电力设备的光照信息，本实施例默认电力设备各部分的材料已知，根据材料特性设置不同区域为镜面反射（光滑树脂材料）和漫反射（涂料和金属表面等），依据两种反射的光照模型得到设备在对应区域的光照信息，得到光照-材质键值对；本实施例基于K均值算法将实拍图像中颜色信息进行区域分割，将设备材质和颜色信息进行配对记录，构成材质-颜色键值对，将相同材质不同颜色分区设置为阴影-颜色键值对；本实施例使用Gabor滤波器检测得到实拍图像纹理信息，同样对照设备材质分布情况，构建纹理-材质键值对。
光照-材质键值对、材质-颜色键值对、阴影-颜色键值对和纹理-材质键值对构成电力设备的光影信息。
（4）三维结构不同角度和尺度变换
通过变换三维结构的角度和尺度，计算实拍图像设备角点和边线特征与三维结构的匹配程度，并通过调优匹配误差，在误差最小时得到三维结构对应的角度和尺度，此时实拍图像可以视为三维结构在此角度和尺度下的投影，而实拍图像提取出的图像目标（即电力设备）的光照、颜色、纹理等信息即为三维结构在此角度和尺度下正交投影后的二维图像信息。
（5）通过光影信息映射，得到构建三维真彩结构
当三维结构与实拍图像匹配后，利用逆正交投影，并且考虑深度信息***影的投影映射，得到三维结构下该角度和尺度下的光照、颜色、纹理信息，将上述提取得到的光照-材质键值对、材质-颜色键值对、阴影-颜色键值对和纹理-材质键值对，考虑三角形基元约束，对三维结构其余部分进行光照、颜色、纹理信息拟合和补全，此时得到带有光照、颜色、纹理信息的三维真彩结构。
（6）数据集获取
对三维真彩结构进行不同角度和不同尺度的控制，在不同角度和尺度下进行正交投影，可以得到任意方向和大小的二维图像数据。
基于角度的变换可以得到目标部分（即电力设备）遮挡等情况下的图像集A；
对光照进行调整可以得到强光、弱光等情况下的图像集B；
针对特定部件或缺陷所在位置进行小幅度角度变换得到不同视角目标的图像集C；
针对特定目标进行尺度放大缩小得到局部图像集D和目标像素小占比图像集E；
以及其他根据具体需求进行的组合变换或者其他变换得到图像集Pi；
将实拍图像、图像集A、图像集B、图像集C、图像集D、图像集E和图像集Pi组合，得到适用于电力视觉识别模型鲁棒性测试的增广数据集，数据集的鲁棒性测试源于三维结构的灵活变换对数据的增广。将图像集根据测试需求进行批分类处理，以批数据的形式开展对于电力视觉算法模型的验证和检测。
同时增广数据集还可以用于电力视觉算法模型的能力提升，通过识别能力提升情况，反馈实拍图像数据的有效采集。
实施例二
本实施例提供一种用于电力视觉识别模型的数据集增广***，包括：
获取与确定模块：用于获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云；
三维结构构建模块：用于对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，其中，非显著性顶点和边线的点云为特征程度低于预设百分比的点云；
获取与匹配模块：用于获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息；
还用于通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配；
三维真彩结构构建模块：用于当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构；
数据集构建模块：用于根据所述三维真彩结构和实拍图像构建数据集。
实施例三
本实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例一所述用于电力视觉识别模型的数据集增广方法的步骤。
实施例四
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例一所述用于电力视觉识别模型的数据集增广方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备（***）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种用于电力视觉识别模型的数据集增广方法，其特征在于：包括：
步骤S1：获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云；
步骤S2：对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，其中，非显著性顶点和边线的点云为特征程度低于预设百分比的点云；
步骤S3：获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息；
通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配；
步骤S4：当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构；
步骤S5：根据所述三维真彩结构和实拍图像构建数据集。
2.根据权利要求1所述的用于电力视觉识别模型的数据集增广方法，其特征在于：所述步骤S1中获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云，方法包括：
获取电力设备的初始三维结构点云，对所述初始三维结构点云进行点云配准和点云滤波得到三维结构点云，同时基于点云体素对所述三维结构点云进行体素梯度求解，计算梯度变化率极大值，得到三维结构点云中电力设备顶点和边线的坐标；
对于三维结构点云中电力设备的边线坐标，将边线坐标所在位置的点云基于聚类算法进行分割，得到若干群落子集，检测若干群落子集中局部空间点集合的曲率变化和法线方向变化情况，结合RANSAC算法得到三维结构点云的边线表示。
3.根据权利要求1所述的用于电力视觉识别模型的数据集增广方法，其特征在于：所述步骤S2中对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，方法包括：
对三维结构点云中非显著性顶点和边线点云的区域，通过聚类算法对其进行分区，分区等效直径小于点云检测线路长度最小值的0.5倍，通过三角形平面基元代替聚类得到的分区，得到基于三角形平面基元表示的三维结构。
4.根据权利要求1所述的用于电力视觉识别模型的数据集增广方法，其特征在于：所述步骤S3中获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息，方法包括：
获取电力设备的实拍图像，基于表面反射法分离实拍图像中电力设备的光照信息：根据材料特性设置电力设备不同区域为镜面反射或漫反射，其中，所述镜面反射由电力设备的光滑树脂材料产生，所述漫反射由电力设备的涂料或金属表面产生；根据所述镜面反射或漫反射的光照模型获取电力设备在对应区域的光照信息，得到光照-材质键值对；
基于K均值算法对实拍图像中颜色信息进行区域分割，将电力设备的材质和颜色信息进行配对记录，构成材质-颜色键值对，并将相同材质不同颜色区域设置为阴影-颜色键值对；
通过Gabor滤波器检测得到实拍图像的纹理信息，对照电力设备材质分布情况，构建纹理-材质键值对；
所述光照-材质键值对、材质-颜色键值对、阴影-颜色键值对和纹理-材质键值对构成电力设备的光影信息。
5.根据权利要求4所述的用于电力视觉识别模型的数据集增广方法，其特征在于：所述步骤S3中通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配，方法包括：
通过变换三维结构的角度和尺度，计算实拍图像中角点和边线特征与三维结构的匹配程度，并通过调优匹配误差，在误差最小时得到三维结构对应的角度和尺度，此时将实拍图像视为三维结构在该角度和尺度下的投影，并将实拍图像的光照、颜色、纹理信息作为三维结构在该角度和尺度下正交投影后的二维图像信息。
6.根据权利要求5所述的用于电力视觉识别模型的数据集增广方法，其特征在于：所述步骤S4中当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构，方法包括：
当所述三维结构与所述实拍图像匹配后，利用逆正交投影，并考虑深度信息***影的投影映射，得到三维结构在该角度和尺度下的光照、颜色、纹理信息；
基于提取到的光照-材质键值对、材质-颜色键值对、阴影-颜色键值对和纹理-材质键值对，在几何平面基元的约束下，对三维结构的其余部分进行光照、颜色、纹理信息进行拟合和补全，得到带有光照、颜色、纹理信息的三维真彩结构。
7.根据权利要求1所述的用于电力视觉识别模型的数据集增广方法，其特征在于：所述步骤S5中根据所述三维真彩结构和实拍图像构建数据集，方法包括：
对三维真彩结构在不同角度和尺度下进行正交投影，得到任意方向和大小的二维图像数据；
基于角度的变换得到电力设备在部分遮挡情况下的图像集A；
对光照进行调整得到强光、弱光情况下的图像集B；
针对电力设备指定部件或缺陷所在位置进行预设幅度角度变换得到不同视角目标的图像集C；
针对电力设备指定目标进行尺度放大缩小得到局部图像集D和目标像素小占比图像集E；
将所述实拍图像、图像集A、图像集B、图像集C、图像集D、图像集E组成数据集。
8.一种用于电力视觉识别模型的数据集增广***，其特征在于：包括：
获取与确定模块：用于获取电力设备的初始三维结构点云并进行预处理得到三维结构点云，根据所述三维结构点云确定电力设备顶点和边线的点云；
三维结构构建模块：用于对所述三维结构点云中非显著性顶点和边线的点云进行分区，通过几何平面基元代替分区，得到基于几何平面基元表示的三维结构，其中，非显著性顶点和边线的点云为特征程度低于预设百分比的点云；
获取与匹配模块：用于获取电力设备的实拍图像，根据所述实拍图像确定电力设备的光影信息；
还用于通过变换所述三维结构的角度和尺度，将所述三维结构与所述实拍图像进行匹配；
三维真彩结构构建模块：用于当所述三维结构与所述实拍图像匹配后，根据所述电力设备的光影信息确定电力设备的三维真彩结构；
数据集构建模块：用于根据所述三维真彩结构和实拍图像构建数据集。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述用于电力视觉识别模型的数据集增广方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述用于电力视觉识别模型的数据集增广方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311655113.0A CN117351482B (zh) | 2023-12-05 | 2023-12-05 | 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311655113.0A CN117351482B (zh) | 2023-12-05 | 2023-12-05 | 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117351482A CN117351482A (zh) | 2024-01-05 |
| CN117351482B true CN117351482B (zh) | 2024-02-27 |
Family
ID=89367779
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311655113.0A Active CN117351482B (zh) | 2023-12-05 | 2023-12-05 | 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117351482B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898658A (zh) * | 2018-05-15 | 2018-11-27 | 清华大学 | 基于光影优化的三维几何与本征成份重建方法及装置 |
| CN111932673A (zh) * | 2020-09-22 | 2020-11-13 | 中国人民解放军国防科技大学 | 一种基于三维重建的物体空间数据增广方法及*** |
| WO2020237873A1 (zh) * | 2019-05-27 | 2020-12-03 | 清华大学 | 基于神经网络的螺旋ct图像重建方法和设备及存储介质 |
| CN112070005A (zh) * | 2020-09-08 | 2020-12-11 | 深圳市华汉伟业科技有限公司 | 一种三维基元数据的提取方法及装置、存储介质 |
| CN114332411A (zh) * | 2021-12-30 | 2022-04-12 | 深圳市菲森科技有限公司 | 一种三维图形实时网格的生成方法 |
| CN114549746A (zh) * | 2022-01-28 | 2022-05-27 | 电子科技大学 | 一种高精度真彩三维重建方法 |
| CN115294313A (zh) * | 2022-07-22 | 2022-11-04 | 国网山西省电力公司电力科学研究院 | 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 |
| WO2023100190A1 (en) * | 2021-12-02 | 2023-06-08 | Telefonaktiebolaget Lm Ericsson (Publ) | First node, second node and methods performed thereby for handling data augmentation |
| CN116958000A (zh) * | 2023-06-29 | 2023-10-27 | 北京理工大学 | 基于ue5的遥感舰船目标图像生成方法及其应用 |
| CN117036733A (zh) * | 2023-08-11 | 2023-11-10 | 中国人民解放军战略支援部队信息工程大学 | 一种城市道路场景特征线提取的方法 |
-
2023
- 2023-12-05 CN CN202311655113.0A patent/CN117351482B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898658A (zh) * | 2018-05-15 | 2018-11-27 | 清华大学 | 基于光影优化的三维几何与本征成份重建方法及装置 |
| WO2020237873A1 (zh) * | 2019-05-27 | 2020-12-03 | 清华大学 | 基于神经网络的螺旋ct图像重建方法和设备及存储介质 |
| CN112070005A (zh) * | 2020-09-08 | 2020-12-11 | 深圳市华汉伟业科技有限公司 | 一种三维基元数据的提取方法及装置、存储介质 |
| CN111932673A (zh) * | 2020-09-22 | 2020-11-13 | 中国人民解放军国防科技大学 | 一种基于三维重建的物体空间数据增广方法及*** |
| WO2023100190A1 (en) * | 2021-12-02 | 2023-06-08 | Telefonaktiebolaget Lm Ericsson (Publ) | First node, second node and methods performed thereby for handling data augmentation |
| CN114332411A (zh) * | 2021-12-30 | 2022-04-12 | 深圳市菲森科技有限公司 | 一种三维图形实时网格的生成方法 |
| CN114549746A (zh) * | 2022-01-28 | 2022-05-27 | 电子科技大学 | 一种高精度真彩三维重建方法 |
| CN115294313A (zh) * | 2022-07-22 | 2022-11-04 | 国网山西省电力公司电力科学研究院 | 基于3d-2d多模态融合的密集真彩点云数据采集方法及装置 |
| CN116958000A (zh) * | 2023-06-29 | 2023-10-27 | 北京理工大学 | 基于ue5的遥感舰船目标图像生成方法及其应用 |
| CN117036733A (zh) * | 2023-08-11 | 2023-11-10 | 中国人民解放军战略支援部队信息工程大学 | 一种城市道路场景特征线提取的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 面向像素级的遥感图像云分割算法;于志成;贺强民;杨秉新;李涛;;沈阳师范大学学报(自然科学版)(第02期);77-84 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117351482A (zh) | 2024-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107077744B (zh) | 使用边缘的三维模型生成的方法和*** | |
| US9472022B2 (en) | Three-dimensional point processing and model generation | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| EP1986153B1 (en) | Method and system for determining objects poses from range images | |
| CN111127631B (zh) | 基于单图像的三维形状和纹理重建方法、***及存储介质 | |
| CN110473221B (zh) | 一种目标物体自动扫描***及方法 | |
| IL256458A (en) | Rapid rendering of quadratic functions | |
| EP2686827A1 (en) | 3d streets | |
| Zhou et al. | Three-dimensional (3D) reconstruction of structures and landscapes: a new point-and-line fusion method | |
| WO2021188104A1 (en) | Object pose estimation and defect detection | |
| CN111161348B (zh) | 一种基于单目相机的物***姿估计方法、装置及设备 | |
| CN114821274A (zh) | 一种用于识别分合指示牌的状态的方法和设备 | |
| CN117274605B (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
| CN117351482B (zh) | 一种用于电力视觉识别模型的数据集增广方法、***、电子设备和存储介质 | |
| Väänänen et al. | Inpainting occlusion holes in 3D built environment point clouds | |
| CN115063485B (zh) | 三维重建方法、装置及计算机可读存储介质 | |
| CN115841546A (zh) | 一种场景结构关联的地铁站多视矢量仿真渲染方法及*** | |
| Kim et al. | Automatic registration of LiDAR and optical imagery using depth map stereo | |
| Wan et al. | A performance comparison of feature detectors for planetary rover mapping and localization | |
| Zabuawala et al. | Fusion of LiDAR and aerial imagery for accurate building footprint extraction | |
| CN116152389B (zh) | 一种用于纹理贴图的视角选择和纹理对齐方法及相关设备 | |
| CN117115358B (zh) | 数字人自动建模方法及装置 | |
| Kormoczi et al. | Filling missing parts of a 3D mesh by fusion of incomplete 3D data | |
| Do et al. | On multi-view texture mapping of indoor environments using Kinect depth sensors | |
| WO2023056559A1 (en) | Systems and methods for compositing a virtual object in a digital image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |