CN112101118A - 一种远景与近景图像结合的光伏组件定位与匹配方法 - Google Patents
一种远景与近景图像结合的光伏组件定位与匹配方法 Download PDFInfo
- Publication number
- CN112101118A CN112101118A CN202010831330.0A CN202010831330A CN112101118A CN 112101118 A CN112101118 A CN 112101118A CN 202010831330 A CN202010831330 A CN 202010831330A CN 112101118 A CN112101118 A CN 112101118A
- Authority
- CN
- China
- Prior art keywords
- view image
- photovoltaic module
- power station
- photovoltaic
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 8
- 230000005856 abnormality Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种远景与近景图像结合的光伏组件定位与匹配方法,包括以下步骤:建立光伏电站的三维模型;拍摄远景图像与近景图像;在远景图像中识别光伏组件,选择特征点;根据拍摄点的GPS信息和相机姿态信息,以及光伏电站的三维模型,计算特征点的位置信息;根据特征点的位置信息,校正拍摄点的位置信息;将近景图像与远景图像的相应区域进行匹配;在近景图像中检测异常的光伏组件,在光伏电站的三维模型中进行定位与匹配。本发明充分结合远景图像的光伏组件分布信息,以及近景图像的光伏组件局部信息,有效实现了光伏组件的定位与匹配,可以用于光伏电站无人机拍摄巡检。
Description
技术领域
本发明涉及一种远景与近景图像结合的光伏组件定位与匹配方法,属于光伏电站巡检与智能运维技术领域。
背景技术
光伏组件在运行过程中,可能会出现故障或异常情况,不仅影响发电效率,而且具有一定的安全隐患。因此,如何及时发现光伏电站中的故障或异常光伏组件,对于提高光伏电站的发电量和发电安全具有十分重要的意义。
随着无人机巡检、智能机器人巡检的发展,通过拍摄图像,进一步定位光伏电站中的故障或异常光伏组件,成为一种可行的方式。其具体是利用各个光伏组件的实际位置信息,建立光伏电站的三维模型。然后基于拍摄的图像,识别出故障或异常的光伏组件,结合拍摄时的GPS信息和相机姿态信息,计算光伏组件在电站三维模型中的位置。
由于GPS定位目前存在一定的误差,上述现有技术对光伏组件定位的准确度有待提高。另外,现有技术存在拍摄距离的选择问题:远距离拍摄的图像能够呈现光伏电站的整体信息(比如光伏组件的分布情况),但是难以显示足够的局部信息(比如光伏组件是否存在故障或异常);近距离拍摄的图像能够显示光伏组件的局部信息,但是难以充分呈现光伏组件的分布信息。
发明内容
发明目的:本发明的目的在于解决现有技术中存在的不足,充分利用远景图像中的光伏组件分布信息,以及近景图像中的光伏组件局部信息,提供一种远景与近景图像结合的光伏组件定位与匹配方法。
技术方案:本发明的一种远景与近景图像结合的光伏组件定位与匹配方法,依次包括以下步骤:
S1:根据光伏电站各个光伏组件的位置信息,建立电站的三维模型;
S2:在同一拍摄点拍摄远景图像与近景图像;
S3:在远景图像中识别出各个光伏组件,并根据光伏组件的分布情况选择特征点;
S4:根据拍摄点的GPS信息和相机姿态信息,以及光伏电站的三维模型,计算特征点的位置信息;根据特征点的位置信息,校正拍摄点的位置信息;
S5:在近景图像中检测出异常的光伏组件,计算其角点在电站三维坐标系中的位置,并与电站三维模型中的光伏组件进行匹配。
进一步的,所述步骤S1中,以地平面作为XOY平面,Z轴垂直地面向上,建立光伏电站的三维坐标系;用Vi=(vi1,vi2,vi3,vi4)T表示第i个光伏组件的角点坐标矩阵,其中vij=(xij,yij,zij)T,j=1,2,3,4表示第i个光伏组件的第j个角点坐标;根据电站中光伏组件的尺寸、安装倾斜角,以及位置信息,计算各个光伏组件的角点坐标矩阵;用Gi=(xi,yi,zi)T表示第i个光伏组件的中心坐标,计算各个光伏组件的中心坐标:
进一步的,所述步骤S1中,根据光伏组件的分布情况,将相连的光伏组件划分为子区域,将子区域边缘的角点作为特征点,用Bk=(bk1,bk2,bk3,bk4)T表示电站中第k个子区域的特征点坐标矩阵,其中bkm=(xkm,ykm,zkm)T,m=1,2,3,4表示第k个子区域的第m个特征点坐标;用Ck=(xk,yk,zk)T表示第k个子区域的中心坐标,计算各个子区域的特征点坐标均值作为子区域中心的坐标:
进一步的,所述步骤S2中,拍摄远景图像,记为If;保持拍摄点不变,调节相机焦距及云台角度,拍摄近景图像,记为Ic1,Ic2,…,IcN,使得每张近景图像显示远景图像的一部分区域,并且所有近景图像显示的区域加起来可以覆盖远景图像的全部区域。
进一步的,所述步骤S3中,基于光伏组件的色彩特征、几何特征以及纹理特征识别并分割出远景图像If中各个光伏组件所在的区域,判断各个光伏组件是否相连,将相连的光伏组件划分为子区域,将子区域边缘的角点选作特征点,用Fp=(fp1,fp2,fp3,fp4)T表示远景图像中第p个子区域的特征点像素坐标矩阵,其中fpq=(upq,vpq)T,q=1,2,3,4表示第p个子区域的第q个特征点像素坐标。
进一步的,所述步骤S4中,图像中的像素点(u,v)T与电站三维坐标系中的点(xw,yw,zw)T的对应关系:
其中,Zc为拍摄距离,K为相机参数矩阵,R为相机旋转矩阵,t为相机光心在所述电站三维坐标系中的位置。根据拍摄点的GPS信息和相机姿态信息,估算Zc,R,t的值,然后计算远景图像If中各特征点fpq在电站三维坐标系中的位置lpq。
进一步的,所述步骤S4中,由于GPS定位存在一定的误差,lpq也存在一定的误差,将第p个子区域lpq的均值,记为cp:
搜索到cp欧式距离最小的Ck,将远景图像If的第p个子区域与电站三维模型的第k个子区域相互匹配,并将远景图像If的特征点fpq与电站三维模型的特征点bkm相互匹配;根据远景图像中的特征点像素坐标,以及对应电站三维坐标系中的特征点坐标,计算相机光心在所述电站三维坐标系中的位置t,校正拍摄点的位置信息。
进一步的,所述步骤S5中,基于色彩特征、几何特征以及纹理特征识别出近景图像中的异常光伏组件,其角点在近景图像中的坐标矩阵为A=(a1,a2,a3,a4)T,其中aj=(uj,vj)T,j=1,2,3,4表示异常光伏组件的第j个角点坐标,根据步骤S4中校正的拍摄点位置信息,以及近景图像的相机姿态信息,计算近景图像中异常光伏组件的角点aj在电站三维坐标系中的位置hj;计算hj的均值,记为g:
搜索到g距离最小的Gi,将近景图像中的异常光伏组件与电站三维模型的第i个光伏组件相互匹配。
有益效果:本发明提供了一种结合远景图像与近景图像的光伏组件定位与匹配方法,利用远景图像的光伏组件分布情况定位特征点,与电站的三维模型进行匹配,并校正拍摄点的位置信息,避免了由于GPS定位误差造成的光伏组件定位误差及匹配错误;利用近景图像的局部信息检测出异常的光伏组件,实现其在电站三维模型中的定位与匹配。该方法可以用于无人机光伏电站拍摄巡检。
附图说明
图1为实施例的整体流程示意图;
图2为光伏电站三维模型示意图;
图3为远景图像与近景图像示意图;
图4为远景图像中特征点与电站三维模型匹配示意图;
图5为近景图像中异常光伏组件与电站三维模型匹配示意图。
具体实施方式
下面对本发明技术方案进行详细说明,但是本发明的保护范围不局限于所述实施例。
如图1所示,本实施例的一种远景与近景图像结合的光伏组件定位与匹配方法,依次包括以下步骤:
S1:根据光伏电站各个光伏组件的位置信息,建立电站的三维模型。
在本实施例中,以地平面作为XOY平面,Z轴垂直地面向上,建立光伏电站的三维坐标系;用Vi=(vi1,vi2,vi3,vi4)T表示第i个光伏组件的角点坐标矩阵,其中vij=(xij,yij,zij)T,j=1,2,3,4表示第i个光伏组件的第j个角点坐标;根据电站中光伏组件的尺寸、安装倾斜角,以及位置信息,计算各个光伏组件的角点坐标矩阵;用Gi=(xi,yi,zi)T表示第i个光伏组件的中心坐标,计算各个光伏组件的中心坐标:
根据光伏组件的分布情况,将相连的光伏组件划分为子区域,将子区域边缘的角点作为特征点,用Bk=(bk1,bk2,bk3,bk4)T表示电站中第k个子区域的特征点坐标矩阵,其中bkm=(xkm,ykm,zkm)T,m=1,2,3,4表示第k个子区域的第m个特征点坐标;用Ck=(xk,yk,zk)T表示第k个子区域的中心坐标,计算各个子区域的特征点坐标均值作为子区域中心的坐标:
S2:在同一拍摄点拍摄远景图像与近景图像。
在本实施例中,拍摄远景图像,记为If;保持拍摄点不变,调节相机焦距及云台角度,拍摄近景图像,记为Ic1,Ic2,…,IcN,使得每张近景图像显示远景图像的一部分区域,并且所有近景图像显示的区域加起来可以覆盖远景图像的全部区域。
S3:在远景图像中识别出各个光伏组件,并根据光伏组件的分布情况选择特征点。
在本实施例中,基于光伏组件的色彩特征、几何特征以及纹理特征识别并分割出远景图像If中各个光伏组件所在的区域,判断各个光伏组件是否相连,将相连的光伏组件划分为子区域,将子区域边缘的角点选作特征点,用Fp=(fp1,fp2,fp3,fp4)T表示远景图像中第p个子区域的特征点像素坐标矩阵,其中fpq=(upq,vpq)T,q=1,2,3,4表示第p个子区域的第q个特征点像素坐标。
S4:根据拍摄点的GPS信息和相机姿态信息,以及光伏电站的三维模型,计算特征点的位置信息;根据特征点的位置信息,校正拍摄点的位置信息。
在本实施例中,图像中的像素点(u,v)T与电站三维坐标系中的点(xw,yw,zw)T的对应关系:
其中,Zc为拍摄距离,K为相机参数矩阵,R为相机旋转矩阵,t为相机光心在所述电站三维坐标系中的位置。根据拍摄点的GPS信息和相机姿态信息,估算Zc,R,t的值,然后计算远景图像If中各特征点fpq在电站三维坐标系中的位置lpq。
由于GPS定位存在一定的误差,lpq也存在一定的误差,将第p个子区域lpq的均值,记为cp:
搜索到cp欧式距离最小的Ck,将远景图像If的第p个子区域与电站三维模型的第k个子区域相互匹配,并将远景图像If的特征点fpq与电站三维模型的特征点bkm相互匹配;根据远景图像中的特征点像素坐标,以及对应电站三维坐标系中的特征点坐标,计算相机光心在所述电站三维坐标系中的位置t,校正拍摄点的位置信息。
S5:在近景图像中检测出异常的光伏组件,计算其角点在电站三维坐标系中的位置,并与电站三维模型中的光伏组件进行匹配。
在本实施例中,基于色彩特征、几何特征以及纹理特征识别出近景图像中的异常光伏组件,其角点在近景图像中的坐标矩阵为A=(a1,a2,a3,a4)T,其中aj=(uj,vj)T,j=1,2,3,4表示异常光伏组件的第j个角点坐标,根据步骤S4中校正的拍摄点位置信息,以及近景图像的相机姿态信息,计算近景图像中异常光伏组件的角点aj在电站三维坐标系中的位置hj;计算hj的均值,记为g:
搜索到g距离最小的Gi,将近景图像中的异常光伏组件与电站三维模型的第i个光伏组件相互匹配。
图2为本发明一实施例提供的光伏电站三维模型示意图。在本实施例中,根据光伏组件的分布情况,将相连的光伏组件划分为子区域,共15个子区域。每个子区域内有两排光伏组件,每排10个光伏组件,每个子区域有20个光伏组件。将子区域按照从上到下,从左到右的顺序进行编号,左边一列子区域编号为1-5,中间一列子区域编号为6-10,右边一列子区域编号为11-15。对第k个子区域内的光伏组件编号(k=1-15),上面一排光伏组件编号为20·(k-1)+1到20·(k-1)+10,下面一排光伏组件编号为20·(k-1)+11到20·(k-1)+20。按照步骤S1中所述的方法建立电站三维坐标系,计算各个光伏组件的角点和中心坐标,以及各个子区域的特征点和中心坐标。
图3为本发明一实施例提供的远景图像与近景图像示意图。在本实施例中,按照步骤S2中所述的方法拍摄远景图像与近景图像。图3(a)为远景图像,覆盖了两个完整的子区域;图3(b)为近景图像,覆盖了两个完整的光伏组件。近景图像显示了远景图像一部分区域的细节信息(光伏组件上的白色圆形区域)。
图4为本发明一实施例提供的远景图像中特征点与电站三维模型匹配示意图。在本实施例中,按照步骤S3中所述的方法,选择远景图像中子区域的角点作为特征点,如图4(a)所示,按照步骤S4中所述的方法,将图4(a)中的两个子区域定位/匹配到电站三维模型中的子区域7和8,如图4(b)所示。
图5为本发明一实施例提供的近景图像中异常光伏组件与电站三维模型匹配示意图。在本实施例中,按照步骤S5中所述的方法检测近景图像中的异常光伏组件,如图5(a)所示,并将其定位/匹配到电站三维模型中的子区域7中,编号为145的光伏组件,如图5(b)所示。
Claims (8)
1.一种远景与近景图像结合的光伏组件定位与匹配方法,其特征在于:依次包括以下步骤:
S1:根据光伏电站各个光伏组件的位置信息,建立电站的三维模型;
S2:在同一拍摄点拍摄远景图像与近景图像;
S3:在远景图像中识别出各个光伏组件,并根据光伏组件的分布情况选择特征点;
S4:根据拍摄点的GPS信息和相机姿态信息,以及光伏电站的三维模型,计算特征点的位置信息;根据特征点的位置信息,校正拍摄点的位置信息;
S5:在近景图像中检测出异常的光伏组件,计算其角点在电站三维坐标系中的位置,并与电站三维模型中的光伏组件进行匹配。
4.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法,其特征在于:所述步骤S2中,拍摄远景图像,记为If;保持拍摄点不变,调节相机焦距及云台角度,拍摄近景图像,记为Ic1,Ic2,…,IcN,使得每张近景图像显示远景图像的一部分区域,并且所有近景图像显示的区域加起来可以覆盖远景图像的全部区域。
5.根据权利要求1所述的一种远景与近景图像结合的光伏组件定位与匹配方法,其特征在于:所述步骤S3中,基于光伏组件的色彩特征、几何特征以及纹理特征识别并分割出远景图像If中各个光伏组件所在的区域,判断各个光伏组件是否相连,将相连的光伏组件划分为子区域,将子区域边缘的角点选作特征点,用Fp=(fp1,fp2,fp3,fp4)T表示远景图像中第p个子区域的特征点像素坐标矩阵,其中fpq=(upq,vpq)T,q=1,2,3,4表示第p个子区域的第q个特征点像素坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010831330.0A CN112101118B (zh) | 2020-08-18 | 2020-08-18 | 一种远景与近景图像结合的光伏组件定位与匹配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010831330.0A CN112101118B (zh) | 2020-08-18 | 2020-08-18 | 一种远景与近景图像结合的光伏组件定位与匹配方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112101118A true CN112101118A (zh) | 2020-12-18 |
CN112101118B CN112101118B (zh) | 2024-05-24 |
Family
ID=73753840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010831330.0A Active CN112101118B (zh) | 2020-08-18 | 2020-08-18 | 一种远景与近景图像结合的光伏组件定位与匹配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112101118B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326752A (zh) * | 2021-05-20 | 2021-08-31 | 淮阴工学院 | 一种基于无人机的光伏电站识别方法及*** |
CN115048698A (zh) * | 2022-06-15 | 2022-09-13 | 华能大理风力发电有限公司洱源分公司 | 一种光伏场站组串与数据采集***的对应关系确定方法 |
WO2023040176A1 (zh) * | 2021-09-15 | 2023-03-23 | 苏州超集信息科技有限公司 | 一种电器产品绝缘测试电源口定位方法及*** |
CN115933730A (zh) * | 2022-11-16 | 2023-04-07 | 赋兴(浙江)数字科技有限公司 | 一种光伏电站无人机巡检及故障定位方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108447091A (zh) * | 2018-03-27 | 2018-08-24 | 北京颂泽科技有限公司 | 目标定位方法、装置、电子设备及存储介质 |
CN110009732A (zh) * | 2019-04-11 | 2019-07-12 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
-
2020
- 2020-08-18 CN CN202010831330.0A patent/CN112101118B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108447091A (zh) * | 2018-03-27 | 2018-08-24 | 北京颂泽科技有限公司 | 目标定位方法、装置、电子设备及存储介质 |
CN110009732A (zh) * | 2019-04-11 | 2019-07-12 | 司岚光电科技(苏州)有限公司 | 基于gms特征匹配的面向复杂大尺度场景三维重建方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113326752A (zh) * | 2021-05-20 | 2021-08-31 | 淮阴工学院 | 一种基于无人机的光伏电站识别方法及*** |
CN113326752B (zh) * | 2021-05-20 | 2024-04-30 | 淮阴工学院 | 一种基于无人机的光伏电站识别方法及*** |
WO2023040176A1 (zh) * | 2021-09-15 | 2023-03-23 | 苏州超集信息科技有限公司 | 一种电器产品绝缘测试电源口定位方法及*** |
CN115048698A (zh) * | 2022-06-15 | 2022-09-13 | 华能大理风力发电有限公司洱源分公司 | 一种光伏场站组串与数据采集***的对应关系确定方法 |
CN115933730A (zh) * | 2022-11-16 | 2023-04-07 | 赋兴(浙江)数字科技有限公司 | 一种光伏电站无人机巡检及故障定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112101118B (zh) | 2024-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112101118A (zh) | 一种远景与近景图像结合的光伏组件定位与匹配方法 | |
CN111272148B (zh) | 输电线路无人机自主巡检自适应成像质量优化方法 | |
CN110908401B (zh) | 一种针对未知杆塔结构的无人机自主巡检方法 | |
CN112184711B (zh) | 一种光伏组件缺陷检测和定位方法及*** | |
US20220077820A1 (en) | Method and system for soar photovoltaic power station monitoring | |
CN110595476B (zh) | 一种基于gps和图像视觉融合的无人机降落导航方法及装置 | |
CN110244766B (zh) | 一种光伏电站无人机巡检航线的规划方法及*** | |
CN110171565B (zh) | 一种用于光伏电站故障检测的无人机及其检测方法 | |
CN110189315B (zh) | 一种风电机组叶片无人机自动定位方法 | |
CN112904877A (zh) | 一种基于无人机的风机叶片自动巡检***及方法 | |
CN112396656A (zh) | 一种视觉与激光雷达融合的室外移动机器人位姿估计方法 | |
CN111740699A (zh) | 一种光伏板故障检测识别方法、装置和无人机 | |
CN114397900B (zh) | 一种无人机航拍图片中心点经纬度误差优化方法 | |
CN113793270A (zh) | 一种基于无人机姿态信息的航拍图像几何校正方法 | |
CN109472778B (zh) | 一种基于无人机的高耸结构外观检测方法 | |
CN108564628A (zh) | 一种面向掘进机自动化的截割头视觉定位定向*** | |
CN106600561A (zh) | 基于投影映射的航拍图像透视畸变自动校正方法 | |
CN110223233B (zh) | 一种基于图像拼接的无人机航拍建图方法 | |
CN114489143B (zh) | 施工安全风险监控的无人机管理***、方法及装置 | |
CN113781524B (zh) | 一种基于二维标签的目标追踪***及方法 | |
CN113610001B (zh) | 基于深度相机和imu组合的室内移动终端定位方法 | |
CN115933730A (zh) | 一种光伏电站无人机巡检及故障定位方法 | |
CN115372987A (zh) | 基于激光雷达的车道线提取方法、装置、介质及设备 | |
CN114219776A (zh) | 基于多传感器的光伏面板特征检测方法 | |
CN115375762A (zh) | 一种基于三目视觉的电力线三维重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |