CN114545963A - 一种优化多无人机全景监控视频的方法、***及电子设备 - Google Patents
一种优化多无人机全景监控视频的方法、***及电子设备 Download PDFInfo
- Publication number
- CN114545963A CN114545963A CN202111566669.3A CN202111566669A CN114545963A CN 114545963 A CN114545963 A CN 114545963A CN 202111566669 A CN202111566669 A CN 202111566669A CN 114545963 A CN114545963 A CN 114545963A
- Authority
- CN
- China
- Prior art keywords
- image
- unmanned aerial
- images
- splicing
- aerial vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012544 monitoring process Methods 0.000 title claims abstract description 31
- 230000008569 process Effects 0.000 claims description 34
- 230000000007 visual effect Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种优化多无人机全景监控视频的方法、***及电子设备。本发明提供的优化多无人机全景监控视频的方法主要包括控制满足预设图像重合度的多无人机采集第一图像；将第一图像进行拼接处理，得到多无人机全景监控视频。本发明适用范围广、灵活性高、应用潜力大，可实现不同无人机拍摄的图像的拼接，根据实际任务需求配置多无人机全景监视***。
Description
技术领域
本发明涉及无人机技术领域，尤其是涉及一种优化多无人机全景监控视频的方法、***及电子设备。
背景技术
无人机具有动力装置和导航模块，可以通过遥控设备控制飞行或者通过设定航线进行自动飞行。无人机航拍***以无人机为平台搭载图像或视频采集设备，通过无线传输技术可以获取实时高分辨率的图像和视频。与卫星遥感和飞机航空摄影相比，无人机航拍具有成本低、体积小、易操作和机动灵活的特点，已经被广泛地应用于战场侦察、应急抢险等领域，成为卫星遥感强有力的补充。传统无人机航拍只使用单架无人机进行，在无人机拍摄角度、相机视角等因素的限制下，难以对拍摄场景形成全面的认知或对动态目标进行持续跟踪。
5G等信息技术的快速发展，为无人机拍摄图像的实时传输和多无人机间的通信提供了基础，随着无人机协同控制技术的发展完善，多无人机***的设计和实现成为了可能。
如何克服单无人机全景技术以及传统全景监视***发展的局限性，实现多无人全景监视技术是未来监控***的突破性技术。
发明内容
针对上述现有技术中存在的问题，本发明提供一种优化多无人机全景监控视频的方法、***及电子设备。
为了实现上述目的，第一方面，本发明提供一种优化多无人机全景监控视频的方法，其包括以下步骤：
控制满足预设图像重合度的多无人机采集第一图像；
将第一图像进行拼接处理，得到多无人机全景监控视频。
第二方面，本发明提供一种优化多无人机全景监控视频的***，其包括：
采集模块，其控制满足预设图像重合度的多无人机采集第一图像；
拼接模块，其将第一图像进行拼接处理，得到多无人机全景监控视频。
第三方面，本发明提供一种电子设备，其包括：存储器，处理器；
存储器用于存储处理器可执行指令；
处理器用于根据存储器存储的可执行指令，实现第一方面的优化多无人机全景监控视频的方法。
第四方面，本发明提供一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面的优化多无人机全景监控视频的方法。
本发明的优化多无人机全景监控视频的方法、***及电子设备所具有的有益效果包括：
(1)本发明多无人机全景监控视频方法适用范围广、灵活性高、应用潜力大，该方法可以突破地形的限制，既能够实现无人机快速编队，又能够实现多个镜头快速采集，同时，根据多无人机编队阵型的不同，可根据实际要求获得理想的全景监视图像；
(2)本发明中通过使用图像信息对无人机的相对位置进行反馈控制，可就以有效地对图像的重叠区域进行控制，提高全景监控视频的效率；
(3)本发明中多无人机可根据图像处理结果进行自身阵型调整，权衡监视画面质量与实时性，减少了人为操纵无人机的工作量；
(4)本发明多无人机全景监控视频方法可应用于多种环境下，不仅能够在民用领域中广泛应用，为大型集会或体育活动保驾护航，此外，更能够向军事领域拓展，在战场监控、态势评估等战术任务中起到关键作用，对保障广大人民群众生活及国家安全具有重要意义。
附图说明
图1是本发明的优化多无人机全景监控视频的方法的应用环境示意图；
图2是本发明的优化多无人机全景监控视频的方法的流程示意图；
图3是本发明的优化多无人机全景监控视频的***的结构示意图；
图4是本发明实验例1三架无人机实时拼接为平面全景图的拼接效果图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作与另一个实体/操作区分开来，而不一定要求或者暗示这些实体/操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
图1为对本发明优化多无人机全景监控视频的方法的应用环境示意图。如图1所示，主要包括多无人机(两架或两架以上无人机)、地面站(终端或服务器)、通信设备。具体为：地面站通常以计算机为核心，其用于图像信息的处理、编队阵型的规划、控制指令的生成、图像的拼接和显示等等；每架无人机根据自身的机载传感器(陀螺仪、加速度计、相机等)进行图像的采集，同时根据图像的拼接结果来调整自身的位置；通信设备负责实现多无人机与地面站通信。
第一方面，图2为本发明优化多无人机全景监控视频的方法的流程示意图。如图2所示，该方法主要包括以下步骤：
S101、控制满足预设图像重合度的多无人机采集第一图像。
S102、将第一图像进行拼接处理，得到多无人机全景监控视频。
在本发明中，当多无人机采集的图像满足预设图像重合度后，可以将多无人机以固定的阵型飞行或悬停，并且有规律的对回传的第一图像进行拼接，得到完整的全景监控视频。其中第一图像可以由连续多帧组成，或者由一帧组成。
优选地，拼接处理的过程，还包括：对第一图像进行特征点提取。
具体地，特征点为第一图像中重要的点，如轮廓点、较暗区域的高光点、较亮区域的暗点等。
更优选地，对第一图像进行特征点提取的过程，包括：
将每一幅第一图像进行区域划分，得到多个区域；
对每一幅第一图像中的每个区域进行特征点提取。例如采用ORB算法，采用OFAST角点检测对每个区域进行特征点(角点)提取；
若存在没有特征点的区域，则降低OFAST角点检测阈值，使对应区域能够提取到特征点。
具体地，本发明按照第一图像的实际情况进行区域划分。例如可以根据第一图像的尺寸大小或图像中特征点的数量进行区域划分，而且每幅第一图像划分的区域的数量可能是不同的。当第一图像的尺寸较小或图像中特征点较少时，可以划分较少的区域，当第一图像的尺寸较大或图像中特征点较多时，可以划分较多的区域。
例如，当三幅第一图像时，若第二幅第一图像中特征点比第一幅、第三幅第一图像中特征点较少，则需要第一幅、第三幅第一图像中划分后的区域比第二幅第一图像的数量多一些。
在该过程中，能够保证纹理较弱的区域也可以提取到特征点，同时增加每一幅第一图像上的信息量，提高拼接质量。
优选地，对第一图像进行特征点提取的过程之前，还包括：对第一图像进行预处理。
更优选地，对每一幅第一图像进行相机校正和图像去噪。
具体地，采用现有的“张正友标定法”对相机进行校正。
其中，如果直接对从未经校正的相机获得的第一图像进行拼接，会由于实际模型和成像模型存在的差距较大，从而导致调整过程产生错误，无法实现完整的第一图像拼接。因此必须对相机进行校正，求出畸变系数，对第一图像进行校正后再进行配准和融合，从而保证后续的配准和融合的高效性。
具体地，采用现有的中值滤波法对第一图像去噪，为了突出滤波结果，在待滤波第一图像中加入了椒盐噪声。
更优选地，预处理还包括对第一图像进行动态关键帧提取。
具体地，动态关键帧提取的过程，可以包括：
选择第一图像中预设间隔的帧为关键帧；
当至少一个关键帧出现错误时，则选择至少一个关键帧对应的后一帧作为关键帧。
例如，本发明按照相机的帧率设置预设间隔。例如相机的帧率为30帧/秒，假设每10帧作为关键帧，则关键帧为第1、11、21.......帧，若其中第21帧出现错误，则选择第22帧为关键帧。将关键帧作为后续处理的对象。
在该步骤中，通过动态关键帧提取，可以减少拼接的图像数量，从而有效的减少运算时间，也能够尽可能的保证拼接结果的准确性。
更优选地，对第一图像进行特征点提取的过程，还包括：
利用四叉树算法重新对每一幅第一图像的区域进行细划分，得到多个子区域；
示例性的，首先将图片分割为30＊30的区域，进行初步OFAST角点检测，随后在每个区域内进行四叉树重新划分进行OFAST角点检测。
当每一幅第一图像的子区域数量大于预设阈值或者对应的第一图像无法进一步细划分时，停止细划分；
从每个子区域选择质量最好的特征点，从而确保特征点的分布均匀性。
其中，特征点由OFAST角点检测算法获得，当特征点(角点)与相邻像素点之间的强度偏差越大且有偏差的点越多，则该特征点质量越好，反之则质量越差。
具体地，本发明可以根据实际情况对预设阈值进行设置。
在该过程中，能够提高特征点分布的均匀性，防止特征点过于集中，出现扎堆的现象。
更优选地，对第一图像进行特征点提取的过程，还包括：采用BRIEF算法为每个特征点创建特征向量作为描述子。
优选地，拼接处理的过程，还包括：采用最近邻方法对特征点进行粗匹配，得到配准特征点。
更具体地，采用Hamming距离进行粗匹配，其原则为：
(1)两个特征编码对应bit位上相同元素的个数小于128的，一定不是配准特征点；
(2)一幅第一图像上特征点与另一幅第一图像上特征编码对应bit位上相同元素的个数最多的特征点为一对配准特征点。
假设此时有许多特征点的描述子A～Z等待配准。以A为例，剩余特征点描述子中，假设有5个特征点的特征编码相同元素个数大于128，其他18个特征编码相同元素个数小于128，则配准点只能在这5个特征点之中。
此外，对于这5个特征点，假定为C，D，E，F，G，与A相同元素个数最多的是E，那么E就作为A的配准特征点。
由于亮度和曝光度的差异，两幅图像存在一定的灰度差，在拼接线附近有明显的边界，在本发明中优选采用渐变权值法消除缝隙，使得两幅图像之间平滑过渡。
具体地，拼接处理的过程，还包括：
根据配准特征点对第一图像进行投影变换矩阵的计算，得到第一图像之间的空间位置关系；也就是根据配准特征点对利用最小二乘法或者矩阵求逆就可以计算出第一图像的投影转换矩阵，从而得到第一图像之间的空间位置关系。
根据空间位置关系，利用渐变权值法对第一图像进行融合。
在本发明中，以镜头正后方为Z轴正向，水平右移动为X正向，高度向上移动为Y正方向。采集到的第一图像为X-Y方向图像。
更优选地，通过式一得到权值：
其中，δ(xi,yi)表示参照图像与即将拼接的第一图像中第(xi,yi)个像素点的的权值，θ表示参照图像与即将拼接的第一图像中心线与X方向的夹角；xmin、xmax分别表示参照图像与即将拼接的第一图像重叠区域的X方向的左边界、右边界坐标值，ymin、ymax分别表示参照图像与即将拼接的第一图像重叠区域的Y方向的下边界、上边界坐标值，i是大于等于的整数。
在本发明中，参照图像可以为采集的一幅标准图像，也可以为至少两幅第一图像进行拼接后得到的一幅图像，也可以为待拼接的一幅第一图像。
更优选地，通过式二表示参照图像与即将拼接的第一图像融合后得到的图像I：
I(xi,yi)＝δ(xi,yi)*A(xi,yi)+[1-δ(xi,yi)]*B′(xi,yi) 式二
I(xi,yi)表示第(xi,yi)个像素点在融合后的图像I中的值(可以是灰度值，也可以是RGB颜色)；A(xi,yi)表示第(xi,yi)个像素点在参照图像中的值；B′(xi,yi)表示平滑后的第(xi,yi)个像素点在平滑后的即将拼接的第一图像中的值，其中B′(xi,yi)用式三表示：
B′(xi,yi)＝s*B(xi,yi)+d 式三
B(xi,yi)表示第(xi,yi)个像素点在即将拼接的第一图像中的值，s和d均为参数，人为设置，可根据拼接效果进行调参。
例如，假设三架无人机(A～C)，无人机A采集的第一图像A，无人机B采集的第一图像B，无人机C采集的第一图像C，在X方向从左到右依次为第一图像A、第一图像B、第一图像C。
这时，参照图像可以为标准图像，也可以为第一图像A。当参照图像为第一图像A时，即将拼接的第一图像为第一图像B，则根据上式一～三，对第一图像A和第一图像B进行拼接，实现第一图像A从左重叠区域慢慢过渡到右重叠区域的平滑拼接，然后将第一图像A和第一图像B作为参照图像，则继续根据上式一～三对参照图像和第一图像C进行拼接，实现参照图像从左重叠区域慢慢过渡到右重叠区域的平滑拼接。
通过这种方法可以调整整体拼接画面的亮度，保证拼接重合部分和其余部分亮度差距不大，从而有效地消除两个方向上的拼接缝痕迹。
将通过上述方法所求得的δ(xi,yi)代入公式I(xi,yi)中，对参照图像和即将拼接的第一图像中各个像素点进行计算，最后就可以获得融合图像I。
在该步骤中，利用多无人机的分布特点，能够有效利用局部计算资源降低融合的复杂性和计算载荷。
在本发明的一个优选实施方式中，在步骤S101之前还包括：
(1)控制多无人机采集第二图像；
该步骤主要为多无人机接收到起飞命令后起飞，当多无人机达到编队阵型的高度时，打开相机采集第二图像，并通过通信设备将第二图像传回至地面站。例如，当三架无人机达到编队阵型的高度时，控制每架无人机的相机采集第二图像，其中第二图像可以由连续多帧组成，或者由一帧组成。
在本发明的一个优选实施方式中，在步骤(1)之前，还包括初始化多无人机，其中包括相机校正以及无人机时间校准。
其中相机校正能够确保当目标区域中存在高速运动物体时不会产生模糊重影等错误。
具体地，采用现有的“张正友标定法”对相机进行校正。
无人机时间校准为同步多无人机与地面站的时钟，确定数据流的时间起点。当地面站接收原始数据时，选择相同时刻下的数据节点作为数据流的起点。
在本发明的一个更优选实施方式中，在步骤(1)之前，还包括设置多无人机编队条件，包括起飞命令，初始高度设计、编队阵型的高度等等。
在本发明中，每架无人机可以携带不同类型的相机，从而获得对同一场景的不同类型图像，例如可见光图像、红外图像等。这样可以克服夜晚或大雾天气造成的可见光图像清晰度无法满足要求的问题，还可以获得如用于检修电塔等特殊任务完整全面的信息。同时这些相机可以根据地面站的指令进行方向的调节，从而使得相机获得的图像更加准确。
(2)将第二图像进行拼接处理，判断拼接结果是否满足预设图像重合度，若不满足，则对多无人机进行调整，使得多无人机采集的第二图像满足预设图像重合度。
在本发明中，预设图像重合度可以根据实际情况而设定。预设图像重合度不超过某一数值，其中该预设图像重合度可以与图像中参考点的数量成反比。例如该预设图像重合度为20％。
优选地，对第二图像的拼接处理的过程与步骤S102中第一图像的拼接处理相同，主要包括：
对第二图像进行预处理；
对第二图像进行动态关键帧提取；
对第二图像进行特征点提取；
采用最近邻方法对特征点进行粗匹配，得到配准特征点；
根据配准特征点对第二图像进行投影变换矩阵的计算，得到第二图像之间的空间位置关系；
根据空间位置关系，利用渐变权值法对第二图像进行融合。
上述过程与步骤S102中第一图像的拼接处理相一致，在此不做一一赘述。
根据对第二图像的拼接结果，就能得到第二图像的图像重合度(图像重叠区域)，当第二图像的图像重合度不满足预设图像重合度时，需要对多无人机进行调整。
优选地，对多无人机进行调整过程主要包括，对多无人机的位置进行调整和/或对多无人机的相机视角进行调整。
其中，对多无人机的位置进行调整主要包括：对多无人机回传的第二图像进行处理，得到多无人机之间的位置信息，固定其中一架无人机的位置，其余无人机根据与该架无人机的相对位置关系进行自身位置的调整。进一步地，其余无人机可以先在Y方向进行调整，然后在X方向进行调整。
具体而言，对多无人机回传的第二图像进行处理，得到第二图像投影在同一平面时的相对位置信息，如果该平面的景深已知，就可以计算出多无人机在空间中的相对位置信息，将其中一架无人机位置固定，其余无人机就根据与该架无人机的相对位置信息对自身位置进行调整。同时，地面站会根据机载传感器和定位***(GPS)反馈的多无人机变化的位置信息，实时的调整控制指令，从而使多无人机实现拼接效果利用率最大化。
假设镜头正后方为Z轴正向，水平右移动为X正向，高度方向移动为Y方向，满足右手系法则。
此时，采集到的图像为X-Y方向图像。对Y方向(上下方向)调整是为了使图像同一水平，避免出现高低错乱的拼接图。对X方向(左右方向)调整是为了平衡拼接图像质量和画面重复度。
多无人机位置调整的主要是使多无人机航向角保持一致，同时保持多无人机在同一直线上，然后动态调整多无人机之间的间距，使得图像重合度满足预设图像重合度。
具体地，无人机纵向位置控制采用传统的PID算法，通过设定初始时刻多架无人机的航向角，计算出坐标变换矩阵，以其中某一架无人机(例如中间位置的无人机)的机体坐标系为参考坐标系OB，通过旋转矩阵将其余无人机的绝对位置转换到OB坐标系下，通过反馈控制使多架无人机在纵向上保持在同一直线。
无人机横向位置控制基于图像重合度以及预设图像重合度。计算每一帧图像实际的图像重合度，根据实际的图像重合度与预设图像重合度之间的误差，计算无人机横向移动的控制指令，同时结合纵向位置控制，计算无人机总体控制指令发送给飞行控制模块，从而使多无人机采集的图像满足预设图像重合度。
在本发明中，通过使用图像信息，基于其中一架无人机对其它无人机位置或其它无人机相机进行调整的方式，不需要额外增加位置反馈模块，能够有效的简化工作流程，节约工作时间，高效的完成监控视频的任务。
利用多无人机位置调整来调整图像重合度的方法只适用于近场景，当需要远场景时，多无人机位置调整对于扩大拼接图像的视野作用不大，此时需要调整多无人机的相机视角。
其中，对多无人机相机视角进行调整主要包括：对多无人机回传的第二图像进行处理，得到多无人机相机的当前视角，固定其中一架无人机的位置，其余无人机相机视角根据与该架无人机相机视角的相对关系进行自身相机视角的调整。进一步地，其余无人机相机可以先在Y方向进行调整，然后在X方向进行调整。
例如，当多无人机为三架时，保持中间无人机的相机视角不变，通过反馈控制两侧无人机的相机视角，从而达到预设图像重合度。
在本发明的一个优选实施方式中，还包括：当多无人机不满足预设图像重合度或预设图像重合度发生变化时，重复上述步骤(1)～(2)。
在本发明的一个优选实施方式中，在步骤S101之前还包括：在多无人机飞行过程中，对多无人机进行时间校准。也就是确保每架无人机的***时间和地面站的时间是相同的，从而保证目标区域中存在高速运动物体时，不会产生模糊重影等错误。
具体地，首先将多无人机放置在已知的、视野存在重叠区域的地点并固定；
然后获取多幅图像之间的位置关系，并对其进行拼接处理；
最后使一个以固定速度移动的物体(如运动的小球等)在重叠区域中运动，同样的对图像进行拼接处理。
此时如果多无人机之间存在时间误差时，其拼接结果中会存在多个运动物体，通过对拼接结果的分析就可以得到多飞机***之间的时间误差。
例如，假设存在两架无人机采集两幅图像，物体在拼接结果中的两个位置分别为a和b；令物体移动，当a移动到b的位置时，计算所积累的时间，该时间即为两幅图像之间时间误差。
拼接处理可以是现有的拼接处理，也可以采用本发明的拼接处理。
优选地，选用本发明的拼接处理，也就是拼接处理包括对图像进行特征点提取；
采用最近邻方法对特征点进行粗匹配，得到配准特征点；
根据配准特征点对图像进行投影变换矩阵的计算，得到图像之间的空间位置关系；
根据空间位置关系，利用渐变权值法对图像进行融合。
具体过程与上述S102拼接处理过程相同，在此不进行赘述。
第二方面，图3为本发明优化多无人机全景监控视频的***的结构示意图。如图3所示，该***主要包括：
采集模块201，其控制满足预设图像重合度的多无人机采集第一图像；
拼接模块202，其将第一图像进行拼接处理，得到多无人机全景监控视频。
在本发明的一个优选实施方式中，该***中的采集模块还用于控制多无人机采集第二图像；
拼接模块还用于将第二图像进行拼接处理；
该***还包括判断调整模块，其判断拼接结果是否满足预设画面重合度指标，若不满足，则对多无人机进行调整，使得多无人机采集的第二图像满足预设图像重合度。
本发明提供的优化多无人机全景监控视频的***，可用于执行上述任一实施例描述的优化多无人机全景监控视频的方法，其实现原理和技术效果类似，在此不再赘述。
优选地，本发明一种优化多无人机全景监控视频的***中采集模块201、拼接模块202可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
软件模块可驻留在RAM存储器、快闪存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可装卸盘、CD-ROM或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)、现场可编程门阵列(英文：Field Programmable Gate Array，简称：FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替代方案中，处理器和存储介质可作为离散组件驻留在用户终端中。
第三方面，本发明提供一种电子设备，其包括：存储器，处理器；
存储器用于存储处理器可执行指令；
处理器用于根据存储器存储的可执行指令，实现第一方面的优化多无人机全景监控视频的方法。
第四方面，本发明提供一种计算机可读存储介质，其特征在于，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面的优化多无人机全景监控视频的方法。
第五方面，本发明提供一种程序产品，程序产品包括计算机程序，计算机程序存储在可读存储介质中，至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使执行第一方面的优化多无人机全景监控视频的方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
实验例
实验例1
在北京理工大学放飞三架无人机(编号A～C)，其中三架无人机的相机的型号为ParrotBEBOP 2，摄像头为1400万像素，最大采集图像分辨率为4096×3072p，当三架无人机的高度达到3m时，控制三架无人机采集三幅第二图像；
将三幅第二图像进行拼接处理，判断拼接结果是否满足预设图像重合度，其中预设图像重合度为三架无人机采集的图像的重合度不超过20％；若图像重合度大于20％，则对三架无人机的位置进行调整，具体为：固定无人机A，预设图像重合度调整无人机B和C的位置，直至三架无人机采集的第二图像满足预设图像重合度；
控制满足预设图像重合度的三无人机采集三幅第一图像，假设无人机A采集的第一图像A，无人机B采集的第一图像B，无人机C采集的第一图像C，将三幅第一图像进行拼接处理，得到多无人机全景监控视频，结果如图4所示；具体为：
对三幅第一图像A、B、C分别进行相机校正和图像去噪；
根据第一图像的尺寸，对第一图像A、B、C进行30＊30的划分，得到多个区域；
对第一图像A、B、C中的每个区域进行特征点提取；
若存在没有特征点的区域，则降低OFAST角点检测阈值，使得对应区域能够提取到特征点；
然后利用四叉树算法重新对第一图像A、B、C的每个区域进行细划分，得到多个子区域；
选择每个子区域对应的质量最好的特征点；
采用最近邻方法对特征点进行粗匹配，得到配准特征点；
根据对应配准特征点对第一图像A、B、C进行投影变换矩阵的计算，得到第一图像A、B、C之间的空间位置关系；
根据空间位置关系，利用渐变权值法对第一图像A、B、C进行融合，其中权值通过式一得到：
其中，δ(xi,yi)表示参照图像与即将拼接的第一图像中第(χi,yi)个像素点的权值，θ表示参照图像与即将拼接的第一图像中心线与X方向的夹角；xmin、xmax分别表示参照图像与即将拼接的第一图像重叠区域的X方向左边界、右边界的坐标值，ymin、ymax分别表示参照图像与即将拼接的第一图像重叠区域的Y方向下边界、上边界的坐标值，i是大于等于的整数。
通过式二表示参照图像与即将拼接的第一图像融合后得到的图像I：
I(xi,yi)＝δ(xi,yi)*A(xi,yi)+[1-δ(xi,yi)]*B′(xi,yi) 式二
I(xi,yi)表示第(xi,yi)个像素点在融合后的图像I中的值；A(xi,yi)表示第(xi,yi)个像素点在参照图像中的值；B′(xi,yi)表示平滑后的第(xi,yi)个像素点在平滑后的即将拼接的第一图像中的值，其中B′(xi,yi)用式三表示：
B′(xi,yi)＝s*B(xi,yi)+d 式三
B(xi,yi)表示第(xi,yi)个像素点在即将拼接的第一图像中的值，s和d均为参数。
首先将第一图像A作为参照图像，第一图像B为即将拼接的第一图像，则根据上式一～三，对第一图像A和第一图像B进行拼接，实现第一图像A从左重叠区域慢慢过渡到右重叠区域的平滑拼接，然后将第一图像A和第一图像B作为参照图像，则继续根据上式一～三对参照图像和第一图像C进行拼接，实现参照图像从左重叠区域慢慢过渡到右重叠区域的平滑拼接。
图4为三架无人机实时拼接为平面全景图的拼接效果图。左上往下数第一张为三架无人机位置未调整时拼接效果，其余两张为三架无人机位置调整后的拼接效果，右方为实时的画面重复度。从图4中可以看到经过三架无人机位置调整后，拼接后的图像视场得到增大，具有良好的拼接效果。
以上结合具体实施方式和范例性实例对本发明进行了详细说明，不过这些说明并不能理解为对本发明的限制。本领域技术人员理解，在不偏离本发明精神和范围的情况下，可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本发明的范围内。
Claims (10)
1.一种优化多无人机全景监控视频的方法，其特征在于，包括以下步骤：
控制满足预设图像重合度的多无人机采集第一图像；
将所述第一图像进行拼接处理，得到所述多无人机全景监控视频。
2.根据权利要求1所述的优化多无人机全景监控视频的方法，其特征在于，所述拼接处理的过程，包括：
对所述第一图像进行特征点提取；
采用最近邻方法对特征点进行粗匹配，得到配准特征点。
3.根据权利要求2所述的优化多无人机全景监控视频的方法，其特征在于，所述对所述第一图像进行特征点提取的过程，包括：
将每一幅第一图像进行划分，得到多个区域；
对每一幅第一图像中的每个区域进行特征点提取；
若存在没有特征点的区域，则降低OFAST角点检测阈值，使对应区域能够提取到特征点。
4.根据权利要求3所述的优化多无人机全景监控视频的方法，其特征在于，还包括：
利用四叉树算法重新对每一幅第一图像的区域进行细划分，得到多个子区域；
选择每个子区域对应的质量最好的特征点；
优选地，所述拼接处理的过程，还包括：
根据配准特征点对所述第一图像进行投影变换矩阵的计算，得到第一图像之间的空间位置关系；
根据所述空间位置关系，利用渐变权值法对第一图像进行融合。
5.根据权利要求4所述的优化多无人机全景监控视频的方法，其特征在于，通过式一得到权值：
其中，δ(xi,yi)表示参照图像与即将拼接的第一图像的第(xi,yi)个像素点的权值，θ表示参照图像与即将拼接的第一图像的中心线与X方向的夹角；xmin、xmax分别表示参照图像与即将拼接的第一图像重叠区域的X方向的左边界、右边界坐标值，ymin、ymax分别表示参照图像与即将拼接的第一图像重叠区域的Y方向的下边界、上边界坐标值。
6.根据权利要求1所述的优化多无人机全景监控视频的方法，其特征在于，在控制满足预设图像重合度的多无人机采集第一图像的过程之前，还包括：
控制多无人机采集第二图像；
将第二图像进行拼接处理，判断拼接结果是否满足预设图像重合度，若不满足，则对多无人机进行调整，使得多无人机采集的第二图像满足预设图像重合度。
7.根据权利要求6所述的优化多无人机全景监控视频的方法，其特征在于，对多无人机进行调整的过程主要包括：
对多无人机的位置进行调整和/或对多无人机的相机视角进行调整。
8.一种优化多无人机全景监控视频的***，其特征在于，包括：
采集模块，其控制满足预设图像重合度的多无人机采集第一图像；
拼接模块，其将所述第一图像进行拼接处理，得到所述多无人机全景监控视频。
9.一种电子设备，其特征在于，包括：存储器，处理器；
所述存储器用于存储所述处理器可执行指令；
所述处理器用于根据所述存储器存储的可执行指令，实现如权利要求1至7中任一项所述的优化多无人机全景监控视频的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的优化多无人机全景监控视频的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111566669.3A CN114545963A (zh) | 2021-12-20 | 2021-12-20 | 一种优化多无人机全景监控视频的方法、***及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111566669.3A CN114545963A (zh) | 2021-12-20 | 2021-12-20 | 一种优化多无人机全景监控视频的方法、***及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114545963A true CN114545963A (zh) | 2022-05-27 |
Family
ID=81669575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111566669.3A Pending CN114545963A (zh) | 2021-12-20 | 2021-12-20 | 一种优化多无人机全景监控视频的方法、***及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114545963A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048117A (zh) * | 2022-12-31 | 2023-05-02 | 众芯汉创（北京）科技有限公司 | 一种应用于无人机的智能化实时监控*** |
| CN117710467A (zh) * | 2024-02-06 | 2024-03-15 | 天津云圣智能科技有限责任公司 | 无人机定位方法、设备及飞行器 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102201115A (zh) * | 2011-04-07 | 2011-09-28 | 湖南天幕智能科技有限公司 | 无人机航拍视频实时全景图拼接方法 |
| CN108495089A (zh) * | 2018-04-02 | 2018-09-04 | 北京京东尚科信息技术有限公司 | 车辆监控方法、装置、***以及计算机可读存储介质 |
| US20200090303A1 (en) * | 2016-12-16 | 2020-03-19 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and device for fusing panoramic video images |
-
2021
- 2021-12-20 CN CN202111566669.3A patent/CN114545963A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102201115A (zh) * | 2011-04-07 | 2011-09-28 | 湖南天幕智能科技有限公司 | 无人机航拍视频实时全景图拼接方法 |
| US20200090303A1 (en) * | 2016-12-16 | 2020-03-19 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and device for fusing panoramic video images |
| CN108495089A (zh) * | 2018-04-02 | 2018-09-04 | 北京京东尚科信息技术有限公司 | 车辆监控方法、装置、***以及计算机可读存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 于晨: "无人机全景视频监控***及相关技术研究", 中国优秀硕士学位论文全文数据库, no. 3, 15 March 2020 (2020-03-15), pages 2 - 6 * |
| 陶清;凌朝东;: "一种全景图像拼接***的设计方案", 电脑与电信, no. 05, 10 May 2018 (2018-05-10) * |
| 马力;张茂军;徐玮;熊志辉;王瑜;: "采用视频拼图方法构建高分辨率全景视频监控***", 中国图象图形学报, no. 12, 15 December 2008 (2008-12-15) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116048117A (zh) * | 2022-12-31 | 2023-05-02 | 众芯汉创（北京）科技有限公司 | 一种应用于无人机的智能化实时监控*** |
| CN116048117B (zh) * | 2022-12-31 | 2023-10-27 | 众芯汉创（北京）科技有限公司 | 一种应用于无人机的智能化实时监控***及方法 |
| CN117710467A (zh) * | 2024-02-06 | 2024-03-15 | 天津云圣智能科技有限责任公司 | 无人机定位方法、设备及飞行器 |
| CN117710467B (zh) * | 2024-02-06 | 2024-05-28 | 天津云圣智能科技有限责任公司 | 无人机定位方法、设备及飞行器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11748898B2 (en) | Methods and system for infrared tracking | |
| US10871258B2 (en) | Method and system for controlling gimbal | |
| US11897606B2 (en) | System and methods for improved aerial mapping with aerial vehicles | |
| CN108702444B (zh) | 一种图像处理方法、无人机及*** | |
| CN109891351B (zh) | 基于图像的对象检测和对应的移动调整操纵的方法和*** | |
| WO2020014909A1 (zh) | 拍摄方法、装置和无人机 | |
| CN114545963A (zh) | 一种优化多无人机全景监控视频的方法、***及电子设备 | |
| CN107270910A (zh) | 单镜头倾斜摄影航飞线路设计方法、***及航拍摄影方法 | |
| CN109255808B (zh) | 基于倾斜影像的建筑物纹理提取方法和装置 | |
| CN105187723A (zh) | 一种无人飞行器的摄像处理方法 | |
| CN106530239B (zh) | 基于大视场仿生鱼眼的小型无人旋翼机移动目标低空跟踪方法 | |
| WO2019104641A1 (zh) | 无人机、其控制方法以及记录介质 | |
| EP2867873B1 (en) | Surveillance process and apparatus | |
| WO2018053785A1 (en) | Image processing in an unmanned autonomous vehicle | |
| CN105096284A (zh) | 一种生成道路正射投影图像的方法、装置及*** | |
| CN108737743B (zh) | 基于图像拼接的视频拼接装置及视频拼接方法 | |
| CN103604420A (zh) | 利用折返***次镜旋转进行二维像移补偿的方法 | |
| WO2021217403A1 (zh) | 可移动平台的控制方法、装置、设备及存储介质 | |
| CN113271409A (zh) | 一种组合相机、图像采集方法及航空器 | |
| WO2019100214A1 (zh) | 输出影像生成方法、设备及无人机 | |
| Yue et al. | An intelligent identification and acquisition system for UAVs based on edge computing using in the transmission line inspection | |
| Huang et al. | Research and application of rapid 3D modeling technology based on UAV | |
| CN113252008A (zh) | 一种航空遥感窄视场相机拍摄控制方法 | |
| WO2020107487A1 (zh) | 图像处理方法和无人机 | |
| Whitley | Unmanned aerial vehicles (UAVs) for documenting and interpreting historical archaeological Sites: Part II—return of the drones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |