CN107371040B - 一种无人机影像高效处理*** - Google Patents
一种无人机影像高效处理*** Download PDFInfo
- Publication number
- CN107371040B CN107371040B CN201710747601.2A CN201710747601A CN107371040B CN 107371040 B CN107371040 B CN 107371040B CN 201710747601 A CN201710747601 A CN 201710747601A CN 107371040 B CN107371040 B CN 107371040B
- Authority
- CN
- China
- Prior art keywords
- image
- images
- aerial vehicle
- unmanned aerial
- overlapping degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 88
- 230000005540 biological transmission Effects 0.000 claims abstract description 122
- 238000000034 method Methods 0.000 claims abstract description 71
- 230000006870 function Effects 0.000 claims abstract description 30
- 238000007906 compression Methods 0.000 claims abstract description 25
- 230000006835 compression Effects 0.000 claims abstract description 25
- 238000005516 engineering process Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000006837 decompression Effects 0.000 claims description 3
- 238000011426 transformation method Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 12
- 238000007500 overflow downdraw method Methods 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 7
- 238000011160 research Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 6
- 230000018109 developmental process Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013144 data compression Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供的一种无人机影像高效处理***，改进了无人机影像采集与传输时所涉及的影像压缩编码技术和网络传输技术等关键技术，改进了无人机影像拼接融合方法，实现了无人机航摄影像采集、传输与高效处理***，***在手机端基于Android环境编程实现了无人机航摄影像的采集、压缩编码与实时传输等功能。在服务器端实现传输视频的解码播放和存储，同时可以将存储的影像进行重叠度的判断，并根据判断结果指导影像的抽稀，抽稀处理之后选取部分影像进行拼接处理，即保证了拼接的质量又提高了区域的拼接速度。***可以满足实时采集与传输的要求，可以实现无控制点的情况下无人机影像的拼接和处理，并获得较好的视觉效果。
Description
技术领域
本发明涉及一种无人机影像处理***，特别涉及一种无人机影像的高效采集、传输和处理***，属于无人机摄影测量技术领域。
背景技术
无人机遥感***是指利用先进的无人驾驶飞行器技术、遥感传感器技术、遥测遥控技术、通讯技术、GPS差分定位技术和遥感应用技术，自动、智能、快速地获取地面遥感信息的***。无人机遥感***弥补了低空、高分辨率遥感发展的缺陷，成为低空高分辨率遥感数据实时获取与处理的重要手段，它可以在短时间内获取地面高精度的遥感影像信息，在对时效性要求较高的遥感灾害监测、自然灾害预警、地图规划等领域中具有一定的实用价值。
无人机遥感***的优势主要体现在：第一，能够弥补卫星遥感访问周期的限制，能够很好的弥补卫星遥感和航空摄影测量容易受恶劣天气因素(比如多云雾天气、雷雨天气)的影响而导致地面影像信息获取能力不足的缺陷；第二，无人机的操作相对比较容易，一般人员不需要经过很复杂的培训，即可完成无人机的基本操作，获取满足实际需求的影像信息；第三，无人机的起飞方式比较多样，不需要专门的起飞和降落跑道；第四，无人机不需要额外申请空域，因为无人机的飞行高度一般小于1000米，而国家对于千米以下的空域是一般不实行管制，这就更加凸显了无人机的便捷性，可以在法律允许的范围内随时获取感兴趣区域的影像信息，而且无人机可以拍摄得到感兴趣区域的高分辨率、高定位精度的影像，增加了处理的精度；第五，无人机遥感***的组建和运行的成本相对来说是极低的，可以承受更大的飞行风险，尤其是在高危任务的执行方面更具优势。
由于无人机遥感***具有快速、准确、安全、经济等一系列优势，目前无人机遥感***的集成与开发已成为热点。目前无人机遥感***的现实需求是非常庞大的，在许多领域都发挥了至关重要的作用。无人机遥感***被广泛的应用于水域动态监测、大比例尺测图、数字城市三维模型建立、南极海冰监测、土地资源勘查、新农村规划与建设等各种应用中。
但现有技术的无人机影像高效处理依然存在一些问题：
一是无人机影像采集与传输时所涉及的影像压缩编码技术和网络传输技术等关键技术。在影像压缩编码领域，由于现有技具数据压缩比、网络适应能力较差，不能很好地满足无人机影像实时传输对带宽的要求，不能对无人机采集的视频影像进行编码压缩，不能减少影像帧之间的冗余信息以满足网络实时传输对带宽的需求。在传输协议上现有技术的TCP协议无法满足数据实时传输对带宽的要求；而单独的UDP协议是面向不可靠连接的，它在提高实时传输速度的同时，却不能保证影像实时传输的质量，不能够获得较好的传输效果，传输获得的影像数据不能够满足影像后续处理的要求。
二是现有技术的无人机影像拼接融合方法存在一些问题，现有技术利用欧式距离比值法寻找参考特征点的最优匹配点，实现影像的粗匹配。因为基于欧氏距离比值法粗匹配之后影像间存在一些误匹配的点对，接下来使用RANSAC精匹配算法剔除其中的误匹配点对，从而在得到两幅待拼接影像的变换模型参数的同时提高特征匹配的精度。最后对影像拼接的重叠区域进行处理，直接平均法计算简单，但无法实现影像的平滑过渡，小波变换法算法本身复杂度较高，计算时间较长，无法满足高时效的应用需求。不能实现两幅影像的平滑过渡，不能得到理想的融合效果。
三是现有技术理论研究较多，没有设计并实现一套完整的无人机航摄影像采集、传输与高效处理***，并使用具体的硬软件，对无人机影像高效处理***的功能进行测试与验证。没有在编程环境下实现无人机航摄影像的采集、压缩编码与实时传输等功能，没有在服务器端具体实现传输视频的解码播放和存储，同时具体测试存储的影像重叠度的判断，没有根据判断结果指导影像的抽稀，影像拼接效果差，***不能满足实时采集与传输的要求，无法实现无控制点的情况下无人机影像的拼接和处理，不能获得较好的视觉效果。
发明内容
针对现有技术的不足，本发明提供的一种无人机影像高效处理***，改进了无人机影像采集与传输时所涉及的影像压缩编码技术和网络传输技术等关键技术，使用基于UDP/RTP/RTCP相结合的方式能够获得较好的传输效果，传输获得的影像数据能够满足影像后续处理的要求。改进了无人机影像拼接融合方法，使用加权平均法对影像进行拼接缝处理，得到理想的无人机影像融合效果。结合无人机影像传输与拼接处理两大功能模块，设计并实现了无人机航摄影像采集、传输与高效处理***，***在手机端基于Android环境编程实现了无人机航摄影像的采集、压缩编码与实时传输等功能。在服务器端实现传输视频的解码播放和存储，同时可以将存储的影像进行重叠度的判断，并根据判断结果指导影像的抽稀，抽稀处理之后选取部分影像进行拼接处理，即保证了拼接的质量又提高了区域的拼接速度。该***可以反应测区的真实情况，较好地反应测区内部的地物信息，在满足影像高分辨率要求的同时，可以较快的获得较好的拼接全景图。***可以满足实时采集与传输的要求，可以实现无控制点的情况下无人机影像的拼接和处理，并获得较好的视觉效果。
为达到以上技术效果，本发明所采用的技术方案如下：
一种无人机影像高效处理***，包括影像采集传输模块和影像拼接融合模块，影像采集传输模块分为发送端和接收端两部分；
无人机影像高效处理***框架为：无人机上捆绑设置有Android手机，在无人机飞行途中使用Android手机自带的摄像头获取视频影像数据；对无人机采集得到的视频影像数据首先使用H.264/AVC编码标准对其进行压缩编码，去除相邻影像帧之间的冗余信息，适应实时传输的带宽需求，然后使用UDP/RTP/RTCP协议在由电脑建立的虚拟局域网内进行编码压缩比特流的传输，最后在服务器端对接收到的压缩比特流进行解码播放并存储；同时在服务器端首先将传输存储下来的视频转换成视频影像帧，然后对视频影像帧进行重叠度的判断，在满足影像拼接对重叠度的要求的前提下，采用抽稀策略对解压得到的原始影像进行抽稀处理，在原始数据中选取其中部分质量较高的无人机影像作为待拼接影像数据集；使用SIFT算子分别提取相邻待拼接影像的特征信息，并使用欧式距离比值法对相邻影像的特征点进行匹配，使用RANSAC精匹配的方法对欧氏距离比值法粗匹配后的特征点对进行筛选，剔除其中误匹配的点对，根据精匹配的结果建立相邻影像间的变换矩阵实现无人机影像的拼接；
无人机影像高效处理***包括手机端和服务器端，手机端程序包括数据采集、影像编码、数据传输，服务器端程序包括影像重叠度判断、影像拼接处理；
服务器端的影像重叠度判断流程为：对解码后得到的影像帧，采用SIFT算子分别提取相邻影像帧的特征点信息，并结合特征点邻域像素的梯度直方图确定特征点的特征描述子，根据提取后的特征信息综合使用欧氏距离比值法粗匹配和RANSAC算法精匹配的方法对相邻影像帧进行匹配，以第一张影像为基准，将匹配好的影像转换到第一张影像的坐标系中，并求出左影像和右影像上的面积，该面积即为左右影像之间重叠区域的面积，对影像的重叠度进行计算，并根据无人机影像拼接对重叠度的要求，采用抽稀策略对解码后的原始影像帧进行抽稀处理。
影像的抽稀策略考虑无人机影像拼接的最佳重叠度和影像质量这两方面的因素，具体为：
第一，首先对无人机采集的前5张影像的质量进行分析，选取其中平均梯度值最高的影像作为无人机影像拼接的基准影像，确定基准影像A之后，以m为步长，取基准影像后的第m张影像作为暂定的待拼接影像，在特征匹配的基础上求解基准影像A和暂定的待拼接影像B之间重叠区域的面积，使用无人机影像航向重叠度计算公式求解得到影像间的重叠度；
第二，对影像间的重叠度进行判断，将影像最佳重叠度的范围设置为60-65％，根据求取的影像重叠度的大小，指导影像的抽稀；
第三，如果选取两幅影像的重叠度正好位于60-65％之间，则认为已经找到最佳重叠区域的影像，此时以影像B为中心，选取影像B周围各5张影像，共11张影像进行最佳影像的选择；首先求取这11张影像的平均梯度，之后将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像B1为止，此时选取的影像B1就是满足重叠度要求的最佳拼接影像；
第四，如果选取的两幅影像的重叠度小于给定的阈值，则认定满足最佳重叠度要求的影像位于基准影像A和影像B之间，此时采用Bi-section的取样方法选取影像A与影像B之间的影像C作为参考影像；求取基准影像A和参考影像C之间的重叠度，对重叠度的范围进行判断，并依此方法不断采用Bi-section的方法缩小待拼接影像的选取范围，直到找到满足重叠度要求的最佳待拼接影像D或E；以影像D或E为中心，选取影像D或E周围各5张影像，共11张影像进行最佳影像的选择；求取这11张影像的平均梯度，将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像D1或E1为止，此时选取的影像D1或E1就是满足重叠度要求的最佳拼接影像；
第五，如果选取两幅影像的重叠度大于给定的阈值，则认为满足最佳重叠度要求的影像不在基准影像A和影像B之间，满足重叠度要求的最佳待拼接影像应该位于影像B的右侧；以m为步长选取影像B后面第m张影像F作为参考影像，则此时最佳重叠度影像的搜索范围平移到影像B和影像F之间；采用Bi-section采样的方法，逐渐缩小影像搜索的范围，直到找到满足重叠度要求的待拼接影像C；以影像C为中心，选取影像C周围各5张影像，共11张影像进行最佳影像的选择，求取这11张影像的平均梯度，将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像C1为止，此时选取的影像C1就是满足重叠度要求的最佳拼接影像；
第六，将确定的拼接影像作为原始影像A，重复上面5个步骤的操作，继续搜索合适的拼接影像，直到挑选出所有满足条件的拼接影像。
一种无人机影像高效处理***，进一步的，无人机影像高效处理***的手机端程序基于Android平台开发，服务器端程序基于Visual Studio 2010平台开发实现无人机影像的匹配、拼接和融合，服务器端使用跨平台计算机数据库OpenCV进行SIFT特征点的提取。
一种无人机影像高效处理***，进一步的，手机端的数据采集是在手机端进行影像的采集，使用Android***自带的MediaRecorder类函数进行影像数据的采集，获取原始的影像数据，并将采集得到的数据存入手机的内存中，等待进一步的处理。
一种无人机影像高效处理***，进一步的，手机端的影像编码采用压缩编码技术对采集得到的视频进行编码压缩，降低视频影像帧之间的冗余信息，保证编码压缩比特流在无线网络中实时传输的效率。
一种无人机影像高效处理***，进一步的，手机端的数据传输是基于UDP/RTP/RTCP相结合的方式进行编码压缩视频的实时传输，其中UDP协议用于视频数据的传输，RTP协议提供时间戳以保证在接收端能正确地恢复原始视频数据帧，RTCP用于控制信息的传输。
一种无人机影像高效处理***，进一步的，服务器端影像拼接处理通过调用OpenCV函数库中的SIFT函数对抽稀后的影像进行特征信息的提取和拼接。
一种无人机影像高效处理***，进一步的，SIFT特征信息的提取在影像的灰度信息上进行，在进行影像的特征提取之前，将采集得到的RGB彩色影像转成32位灰度影像，将转换得到的灰度影像作为SIFT特征提取的原始影像，使用不同的高斯核函数对原始影像进行滤波，将原始影像不断地进行降采样，将得到的新影像采用相同的高斯核函数进行滤波处理，由下到上构建一个完整的金字塔影像，高斯金字塔的阶数是根据原始影像的大小和塔顶影像的分辨率共同决定，将得到的高斯金字塔影像中的相邻两层影像进行相减，得到原始影像的高斯差分金字塔DOG，在DOG的中间层依次检测不同尺度影像的极值点，对检测得到的极值点进行精确的定位，确定真实的像素坐标，再剔除影像的边缘响应点及对比度较低的点；精确定位影像极值点的位置坐标后，通过计算影像中每一个极值点邻域梯度的方向和模值确定特征点的主方向，并将特征点原始坐标轴的x轴旋转到与特征点主方向一致的方向上，分块计算该特征点邻域16个子区域像素的梯度方向，最终生成一个具有128维的特征描述向量；
影像匹配采用欧式距离比值法，利用BBF搜索策略在待配准影像的K-D树中进行最优匹配点的搜索，找到满足阈值的待配准特征点，采用RANSAC精匹配的方法对粗匹配后的特征点对进行提纯，剔除误匹配的点对；
得到配准精度较高的匹配点对之后，使用同名点坐标变换的方法求解两幅影像间的变换矩阵；以拼接影像集中的第一幅影像为基准影像，求解第二幅影像在第一幅影像坐标系下的坐标，对第二幅影像进行重采样之后将两幅影像进行简单的叠加。
一种无人机影像高效处理***，进一步的，采用渐入渐出加权平均的方法对影像的拼接缝进行消除，实现拼接影像的平滑过渡。
一种无人机影像高效处理***，进一步的，影像旋转依据航带排列过程中获得的航带间匹配结果计算旋转角度，旋转后航带内的影像左右重叠，航带间的影像上下重叠。
一种无人机影像高效处理***，进一步的，改进后的H.264/AVC分为两层，分别是VCL和NAL，VCL在处理预测残余时使用4×4的整数变换代替原来的离散余弦变换，VLC采用CAVLC和CABAC两种熵编码方式对变换系数的预测残差进行编码；
改进后的H.264/AVC的编码流程由五个部分组成，分别是帧间和帧内预测、变换和反变换、量化和反量化、环路滤波、熵编码，帧内预测减少单张影像不同编码宏块间的冗余信息，利用当前编码宏块与相邻宏块在影像空间上的相关性对影像进行压缩编码，对某一给定的宏块进行压缩编码时，首先根据已知的周围宏块的信息对该编码宏块的值进行预测，将得到的预测值与该编码宏块的实际值相减得到需要编码的预测差值。
与现有技术相比，本发明的优点在于：
1.本发明提供的一种无人机影像高效处理***，改进了无人机影像采集与传输时所涉及的影像压缩编码技术和网络传输技术等关键技术。在影像压缩编码领域，由于H.264/AVC编码标准具有更高的数据压缩比、更好的网络适应能力，能很好地满足无人机影像实时传输对带宽的要求，因此，本发明采用H.264/AVC编码标准对无人机采集的视频影像进行编码压缩，减少影像帧之间的冗余信息以满足网络实时传输对带宽的需求。在传输协议的选择上本发明充分研究和考虑了各种传输协议的优缺点，如TCP协议无法满足数据实时传输对带宽的要求；而单独UDP协议是面向不可靠连接的，它在提高实时传输速度的同时，却不能保证影像实时传输的质量，所以本发明最终决定采用基于RTP/RTCP/UDP相结合的无线网络传输方式对压缩后的视频影像进行实时的传输，该协议引入时间戳用于数据流的标记，同时使用RTCP提供的一系列可靠的传送机制对影像的实时传输进行监测与控制。使用mini-UAV进行实验的结果表明，使用基于UDP/RTP/RTCP相结合的方式能够获得较好的传输效果，传输获得的影像数据能够满足影像后续处理的要求。
2.本发明提供的一种无人机影像高效处理***，改进了无人机影像拼接融合方法，使用加权平均法对影像进行拼接缝处理，实验证明，该方法可以实现两幅影像的平滑过渡，算法本身复杂度较低，计算时间较短，能够满足高时效的应用需求，得到理想的无人机影像融合效果。
3.本发明提供的一种无人机影像高效处理***，结合无人机影像传输与拼接处理两大功能模块，设计并实现了无人机航摄影像采集、传输与高效处理***，并使用mini-UAV搭载Android手机，对无人机影像高效处理***的功能进行测试与验证。***在手机端基于Android环境编程实现了无人机航摄影像的采集、压缩编码与实时传输等功能。在服务器端实现传输视频的解码播放和存储，同时可以将存储的影像进行重叠度的判断，并根据判断结果指导影像的抽稀，抽稀处理之后选取部分影像进行拼接处理，即保证了拼接的质量又提高了区域的拼接速度。经过实地调研可以发现，该***可以反应测区的真实情况，较好地反应测区内部的地物信息，在满足影像高分辨率要求的同时，可以较快的获得较好的拼接全景图。实验结果表明，该***可以满足实时采集与传输的要求，可以实现无控制点的情况下无人机影像的拼接和处理，并获得了较好的视觉效果。
附图说明
图1是本发明的一种无人机影像高效处理***的框架图。
图2是本发明的视频编码模块示意图。
图3是本发明的数据传输流程示意图。
图4是本发明的相邻影像重叠度判断方法示意图。
图5是本发明的影像抽稀策略图。
具体实施方式
下面结合附图，对本发明提供的一种无人机影像高效处理***的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。
参见图1至图5，本发明提供的一种无人机影像高效处理***，包括影像采集传输模块和影像拼接融合模块，影像采集传输模块分为发送端和接收端两部分，传输模块的发送端的实现主要是基于Android平台的，编程实现压缩码流的网络实时传输，传输模块的接收端主要实现的是接收传输端的码流并进行解码播放和存储；无人机影像拼接处理模块是在Visual Studio 2010平台上开发的，它的主要功能是用来实现无人机影像的匹配、拼接和融合。
根据无人机影像传输和处理的需求，无人机影像高效处理***的框架设计如图1所示，该框架为：无人机上捆绑设置有Android手机，在无人机飞行途中使用Android手机自带的摄像头获取视频影像数据；对无人机采集得到的视频影像数据首先使用H.264/AVC编码标准对其进行压缩编码，去除相邻影像帧之间的冗余信息，适应实时传输的带宽需求，然后使用UDP/RTP/RTCP协议在由电脑建立的虚拟局域网内进行编码压缩比特流的传输，最后在服务器端对接收到的压缩比特流进行解码播放并存储；同时在服务器端首先将传输存储下来的视频转换成视频影像帧，然后对视频影像帧进行重叠度的判断，在满足影像拼接对重叠度的要求的前提下，采用抽稀策略对解压得到的原始影像进行抽稀处理，在原始数据中选取其中部分质量较高的无人机影像作为待拼接影像数据集；使用SIFT算子分别提取相邻待拼接影像的特征信息，并使用欧式距离比值法对相邻影像的特征点进行匹配，使用RANSAC精匹配的方法对欧氏距离比值法粗匹配后的特征点对进行筛选，剔除其中误匹配的点对，根据精匹配的结果建立相邻影像间的变换矩阵实现无人机影像的拼接；针对拼接影像存在明显的拼接边界的现象，采用渐入渐出加权平均法对影像的拼接缝进行处理，以实现拼接影像在灰度上的平滑过渡。
无人机影像高效处理***包括手机端和服务器端，手机端程序包括数据采集、影像编码、数据传输，服务器端程序包括影像重叠度判断、影像拼接处理。
一、***开发环境
无人机影像高效处理***的手机端的功能主要是基于Android平台实现，服务器端功能的实现依赖的开发环境是Visual Studio 2010，在服务器端该***还使用了专业的跨平台计算机数据库OpenCV(Open Source Computer Vision Library)来进行SIFT特征点的提取。
Android是一种基于Linux的开放源代码的操作***，主要被应用于移动设备终端。Android的***架构一共分为4层，分别是应用程序层、应用程序框架层、***运行库层和Linux核心层。
Visual Studio 2010是微软公司在2010年推出的一款高效的开发环境，使用该环境开发的***具有很强的可扩展性。
OpenCV是一个基于开源发行的跨平台计算机视觉库，它可以实现图像处理和计算机视觉方面的许多通用算法。本实施例使用的OpenCV的版本是OpenCV2.4.4。
二、手机端程序设计与实现
1、数据采集
在手机端进行影像的采集主要包括两种方法。一种是利用Android手机自带的Camera相机获取直接拍摄的原始视频影像数据，另一种方法是直接利用MediaRecorder绑定一个Localsocket函数，获取经过编码后的的视频数据。在本发明中使用Android***自带的MediaRecorder类函数进行影像数据的采集，首先获取原始的影像数据，并将采集得到的数据存入手机的内存中，等待进一步的处理。
2、影像编码
视频编码模块如图2所示。将手机端采集得到的视频模拟信号经过AD转换后，视频的影像帧之间存在大量的冗余信息，很难满足实时传输对带宽的需求，所以需要采用一定的压缩编码技术对采集得到的视频进行编码压缩，降低视频影像帧之间的冗余信息，保证编码压缩比特流在无线网络中实时传输的效率。
本实施例采用H.264/AVC编码标准。H.264/AVC具有更高的数据压缩比，对于相同质量的重构影像，H.264/AVC的编码压缩效率是极高的，是MPEG-2的2-3倍，比MPED-4高1.5-2倍。也就是说，对于相同的视频影像，经过H.264/AVC编码标准压缩编码后的码流，在传输过程中对带宽的需求更小，网络的延迟更小，经济效益更高。H.264/AVC视频编码标准具有更高的编码效率，更好的网络适应能力，所以能很好的满足无人机影像实时传输的要求。
H.264/AVC的功能主要分为两层，分别是视频编码层(VCL)和网络提取层(NAL)。VLC数据表示的是压缩编码后的视频数据序列；而NAL数据则是将编码压缩后的数据打包成NAL单元，以适应不同网络带宽的需求。VCL在处理预测残余时使用4×4的整数变换代替原来的离散余弦变换(DCT)，这种方法虽然损失一部分的编码压缩性能，但是降低了硬件设计的难度，有效的解决了编解码器之间匹配困难的问题。同时，VLC采用CAVLC和CABAC这两种熵编码方式对变换系数的预测残差进行编码，虽然增加了算法的复杂度，但却提高了视频编码的压缩效率。
H.264/AVC的编码流程主要由五个部分组成，分别是帧间和帧内预测、变换和反变换、量化和反量化、环路滤波、熵编码。帧内预测主要用来减少单张影像不同编码宏块间的冗余信息，它充分利用当前编码宏块与相邻宏块在影像空间上的相关性对影像进行压缩编码，对某一给定的宏块进行压缩编码时，首先根据已知的周围宏块的信息对该编码宏块的值进行预测，将得到的预测值与该编码宏块的实际值相减得到需要编码的预测差值，这样就可以极大的降低影像宏块间的数据冗余，减少使用的码率。
3、数据传输
图3描述的是视频数据传输的基本流程。本***使用的是基于UDP/RTP/RTCP相结合的方式进行编码压缩视频的实时传输，在这其中UDP协议主要用于视频数据的传输，RTP协议提供了时间戳以保证在接收端能正确地恢复原始视频数据帧，RTCP用于控制信息的传输。
对于时效性和传输质量要求都很高的无人机视频影像传输而言，传输控制协议面向连接的机制和重传机制由于耗时较多无法满足数据实时传输的需求，而单独的用户数据报协议虽然网络传输速度较快，但丢包现象严重，无法获得高质量的数据。TCP的传输方式是，首先将要传递的数据划分成若个片段，在每一个片段中加入一个TCP的信息头文件，并在信息头文件中记录数据片段的分段号信息，再将全部的TCP分段信息封装起来发送到网上。在接收端首先使用一个TCP软件包对传输的信息进行接收，然后将数据和分段号信息进行分离，并按照发送前的顺序对数据进行还原，检测还原的结果是否准确，当检测到数据包丢失或数据传输发生错误时，TCP就会要求发送端重新发送数据，在特定带宽的条件下，这就导致网络传输时间的大大增加，严重阻碍实时传输的效率。UDP作为一种不可靠的网络传输层协议，具有消耗资源少、响应时间短、传输效率高等特点，但是UDP自身并不提供数据包的分组、封装和排序等功能，因而会导致视频传输的质量出现问题。
实时传输协议只能保证网络数据的实时传输，它并不提供例如流量控制或拥塞控制等可以保证数据传输质量的控制机制。它只能通过配套的RTCP(Real-TimeTransportControlProtocol)协议为按顺序传送的数据包提供可靠的传送机制来保证数据实时传输的质量。因此，服务器可以利用RTCP数据包中的信息对网络的传输速度进行监测，可以根据实际带宽的情况动态地改变网络中数据传输的速率。
手机端程序设计与实现涉及影像压缩编码技术和网络传输技术等关键技术。在影像压缩编码领域，由于H.264/AVC编码标准具有更高的数据压缩比、更好的网络适应能力，能很好地满足无人机影像实时传输对带宽的要求，因此，本发明采用H.264/AVC编码标准对无人机采集的视频影像进行编码压缩，减少影像帧之间的冗余信息以满足网络实时传输对带宽的需求。在传输协议的选择上本发明充分研究和考虑了各种传输协议的优缺点，如TCP协议无法满足数据实时传输对带宽的要求；而单独UDP协议是面向不可靠连接的，它在提高实时传输速度的同时，却不能保证影像实时传输的质量，所以本发明最终决定采用基于RTP/RTCP/UDP相结合的无线网络传输方式对压缩后的视频影像进行实时的传输，该协议引入时间戳用于数据流的标记，同时使用RTCP提供的一系列可靠的传送机制对影像的实时传输进行监测与控制。使用mini-UAV进行实验的结果表明，使用基于UDP/RTP/RTCP相结合的方式能够获得较好的传输效果，传输获得的影像数据能够满足影像后续处理的要求。
三、服务器端程序设计与实现
1、影像重叠度判断
无人机拍摄的一系列影像不仅要覆盖整个感兴趣区域而且为了后期处理的方便，影像之间要满足一定的重叠度的要求。一般来说要求无人机影像的航向重叠度在60％左右，旁向重叠度在35％左右。
传输和存储的视频解码成影像时，影像的数据量是非常巨大的，而且相邻影像间存在很大的重叠区域，这严重影响了影像拼接融合的速度，影响影像高时效性的实际应用的需求，所以需要采用一定的方法对解压后的影像进行抽稀处理，挑选出满足重叠度要求的、质量相对较高的影像进行拼接处理。目前对于大多数影像抽稀算法来说都是采取隔一张取一张的策略，这显然没有很好地利用影像重叠度判断的原理，而且对于一些飞行条件较复杂的情况考虑不足。对于本实施例的研究数据而言，第一，采取隔一张取一张的策略依旧会造成部分影像间重叠度过大，影像间存在大量的重复区域，这严重影响了无人机影像拼接的速度；第二，由于无人机存在摆动、倾斜等情况，采取隔一张取一张的抽稀策略会导致部分影像间重叠度太小，可能导致部分影像之间无法找到合适的匹配点对，无法满足无人机影像高效处理的要求。这两方面原因都会对无人机影像的后处理产生严重的影响，甚至导致拼接融合的数据无法正常使用，失去了无人机快速响应的优势，无法满足实际应用的需求。由此可以看出首先进行影像重叠度的判断之后，根据具体的重叠度指导我们进行影像抽稀处理的重要性。本实施例重叠度判断的流程如图4所示。
对于解码后得到的影像帧，本实施例首先采用SIFT算子分别提取相邻影像帧的特征点信息，并结合特征点邻域像素的梯度直方图确定特征点的特征描述子，根据提取后的特征信息综合使用欧氏距离比值法粗匹配和RANSAC算法精匹配的方法对相邻影像帧进行匹配，以第一张影像为基准，将匹配好的影像转换到第一张影像的坐标系中，并求出左影像和右影像上的面积，该面积即为左右影像之间重叠区域的面积，之后使用无人机影像航向重叠度的计算公式对影像的重叠度进行计算，并根据无人机影像拼接对重叠度的要求，本实施例采用独创的抽稀策略对解码后的原始影像帧进行抽稀处理。重叠度的计算方法只能得到相邻影像间一个近似的重叠度，因为RANSAC算法对欧氏距离比值法粗匹配后的点进行筛选的时候，由于每一次的训练样本是随机采集的，所以导致最终得到的精匹配点的数目会有所不同，再根据匹配点对求解得到变换矩阵的时候会导致变换矩阵的不同，最终会引起投影误差，造成求解的重叠区域的面积会有所不同，就会导致相同影像多次求解重叠度度的时候，计算结果会有所不同。不过这个差异是很小的，也就在1％左右，所以基本上满足重叠度判断的要求，可以对影像的抽稀提供准确的指导。
影像的抽稀策略如图5所示，本发明在制定影像抽稀策略时综合考虑了无人机影像拼接的最佳重叠度和影像质量这两方面的因素。
1)首先对无人机采集的前5张影像的质量进行分析(也可以结合无人机飞行的速度，大体估计选取影像的张数，一般选择5-10张即可)，选取其中平均梯度值最高的影像作为无人机影像拼接的基准影像。确定基准影像A之后，以m为步长(具体步长的选取也要结合无人机飞行的速度，一般取值范围可以设置为50-100左右)，取基准影像后的第m张影像作为暂定的待拼接影像，在特征匹配的基础上求解基准影像A和暂定的待拼接影像B之间重叠区域的面积，求解得到影像间的重叠度；
2)对影像间的重叠度进行判断，由研究可知适合无人机影像拼接的最佳航向重叠度是60-65％，在本实施例中将影像最佳重叠度的范围设置为60-65％，根据求取的影像重叠度的大小，指导影像的抽稀；
3)如果选取两幅影像的重叠度正好位于60-65％之间，则认为已经找到最佳重叠区域的影像，此时以影像B为中心，选取影像B周围各5张影像，共11张影像进行最佳影像的选择。首先求取这11张影像的平均梯度，之后将计算得到的平均梯度按一定的顺序进行排列；一般来说平均梯度的值越高，影像的纹理信息越丰富，提取得到的特征点的数量越多，影像拼接质量越好。从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像B1为止，则此时选取的影像B1就是满足重叠度要求的最佳拼接影像；
4)如果选取的两幅影像的重叠度小于给定的阈值，则认定满足最佳重叠度要求的影像位于基准影像A和影像B之间，此时采用Bi-section的取样方法选取影像A与影像B之间的影像C作为参考影像。求取基准影像A和参考影像C之间的重叠度，对重叠度的范围进行判断，并依此方法不断采用Bi-section的方法缩小待拼接影像的选取范围，直到找到满足重叠度要求的最佳待拼接影像D或E。此时以影像D或E为中心，选取影像D或E周围各5张影像，共11张影像进行最佳影像的选择。首先求取这11张影像的平均梯度，之后将计算得到的平均梯度按一定的顺序进行排列。从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像D1或E1为止，则此时选取的影像D1或E1就是满足重叠度要求的最佳拼接影像；
5)如果选取两幅影像的重叠度大于给定的阈值，则认为满足最佳重叠度要求的影像不在基准影像A和影像B之间，满足重叠度要求的最佳待拼接影像应该位于影像B的右侧。以m为步长选取影像B后面第m张影像F作为参考影像，则此时最佳重叠度影像的搜索范围已经平移到影像B和影像F之间。同样采用Bi-section采样的方法，逐渐缩小影像搜索的范围，直到找到满足重叠度要求的待拼接影像C。此时以影像C为中心，选取影像C周围各5张影像，共11张影像进行最佳影像的选择。首先求取这11张影像的平均梯度，之后将计算得到的平均梯度按一定的顺序进行排列。从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像C1为止，则此时选取的影像C1就是满足重叠度要求的最佳拼接影像；
6)将确定的拼接影像作为原始影像A，重复上面5个步骤的操作，继续搜索合适的拼接影像，直到挑选出所有满足条件的拼接影像。
2、影像拼接处理
本发明无人机影像拼接功能的实现主要通过调用OpenCV函数库中的SIFT函数对抽稀后的影像进行特征信息的提取和拼接。
SIFT特征信息的提取是在影像的灰度信息上进行的，试验中我们获取的是RGB彩色影像，所以在进行影像的特征提取之前，需要将采集得到的RGB彩色影像转成32位灰度影像，然后将转换得到的灰度影像作为SIFT特征提取的原始影像，然后使用不同的高斯核函数对原始影像进行滤波，再将原始影像不断地进行降采样，将得到的新影像采用相同的高斯核函数进行滤波处理，之后由下到上构建一个完整的金字塔影像，高斯金字塔的阶数是根据原始影像的大小和塔顶影像的分辨率共同决定的，在本实施例中默认每阶为6层影像，初始高斯模糊参数设置为σ＝1.6，之后将得到的高斯金字塔影像中的相邻两层影像进行相减，这样就得到原始影像的高斯差分金字塔(DOG)，紧接着在DOG的中间几层依次检测不同尺度影像的极值点(通常为最大值或最小值)。因为按像素搜索得到的极值点并不一定是连续空间上的极值点，所以要对检测得到的极值点进行精确的定位，确定其真实的像素坐标，之后再剔除影像的边缘响应点及对比度较低的点。精确定位影像极值点的位置坐标之后，接下来通过计算影像中每一个极值点邻域梯度的方向和模值来确定该特征点的主方向，并将特征点原始坐标轴的x轴旋转到与特征点主方向一致的方向上以确保该特征点具有旋转不变性。最后，分块计算该特征点邻域16个子区域像素的梯度方向，最终生成一个具有128维的特征描述向量。
在影像匹配部分首先采用欧式距离比值法，利用BBF搜索策略在待配准影像的K-D树中进行最优匹配点的搜索，找到满足阈值的待配准特征点，由于基于欧氏距离比值法粗匹配后影像间存在部分误匹配的点对，影响影像的拼接处理效果，所以，采用RANSAC精匹配的方法对粗匹配后的特征点对进行提纯，剔除误匹配的点对。
得到配准精度较高的匹配点对之后，就可以使用同名点坐标变换的方法求解两幅影像间的变换矩阵。以拼接影像集中的第一幅影像为基准影像，求解第二幅影像在第一幅影像坐标系下的坐标，对第二幅影像进行重采样之后将两幅影像进行简单的叠加。针对拼接后的影像由于光照条件的不同而存在的拼接缝的问题，采用渐入渐出加权平均的方法对影像的拼接缝进行消除，实现拼接影像的平滑过渡，得到理想的融合效果。
四、***实现与分析
本发明完成的无人机影像传输与高效处理***主要完成视频影像数据的采集、传输与拼接融合处理等功能。在整个***框架搭建完成后，使用mini-UAV搭载Android手机，对***的可行性进行了测试与验证。实验时间为2017年6月21日下午，实验地区根据宽敞性与安全性等多方面的考虑，最终选在某高校天文台附近。实验当天光照条件良好，风速较小，无人机飞行状态相对比较平稳，获取的视频影像帧相对来说质量较好，可以满足后期处理的要求。实验使用的是华科尔QR X350型号的小型四旋翼无人机，它具有操作方便、性价比低等优势，无人机上搭载的Android设备是SAMSUNG GALAXY SII手机。但由于实地没有电源接入，无法满足在同一路由器组建的网络中工作，所以选择在服务器端共享虚拟局域网，由电脑建立一个共享的无线局域网，供手机终端进行连接，以保证数据的实时传输。
实验通过控制无人机的飞行，使用搭载的Android手机拍摄部分区域的视频影像信息，并实时传输获取的影像数据，实时传输的视频影像数据可以存储在默认的存储地址中，可以使用相关的播放器对存储的视频进行播放。
将采集得到的两段视频分别解压后所得到的部分影像帧。其中天文台附近的视频影像数据一共解码得到1037帧影像，由于飞行平台稳定性不高，其中绝大部分影像质量较差，很难满足拼接实验的要求；对采集得到的友谊广场及周边区域的视频数据进行解码，一共得到369帧影像，由于飞行平台相对比较稳定，其中大部分的影像质量都比较好，基本上可以满足后续拼接处理的要求。
天文台附近原始影像的重叠度信息，由于无人机平台的不稳定性，导致原始影像的重叠度出现较大的差异，最高的重叠度达到94％左右，而最低的只有75％左右。
友谊广场附近原始影像的重叠度信息，相邻影像间的重叠度非常的大，普遍都已经在99.5％以上，影像重叠度太大。利用无线局域网进行影像的实时传输，将接收到的压缩比特流存储在相应的文件夹中，并解压得到全部的影像帧，对部分影像帧进行重叠度的判断以便掌握影像总体的重叠度情况，并结合影像的重叠度使用本发明的抽稀策略对影像进行抽稀，选取合适的质量较高的影像进行影像的拼接融合，最终得到区域的全景影像。
由于无人机在天文台附近飞行状态不稳定，摇晃很厉害，导致获取的影像比较模糊且变形较大，相邻影像间的匹配点数较少，无法满足对区域拼接的要求，所以本发明的拼接实验选用的是无人机在友谊广场附近获取的数据。
通过以上的实验我们可以发现，抽稀处理之后只是选取部分影像进行拼接处理，即保证了拼接的质量又提高了区域的拼接速度。经过实地调研可以发现，该***可以反应测区的真实情况，较好地反应测区内部的地物信息，在满足影像高分辨率要求的同时，可以较快的获得较好的拼接全景图。
本发明结合无人机影像传输与拼接处理两大功能模块，设计并实现了无人机航摄影像采集、传输与高效处理***，并使用mini-UAV搭载Android手机，对无人机影像高效处理***的功能进行测试与验证。***在手机端基于Android环境编程实现了无人机航摄影像的采集、压缩编码与实时传输等功能。在电脑端实现传输视频的解码播放和存储，同时可以将存储的影像进行重叠度的判断，并根据判断结果指导影像的抽稀，之后将选取得到的影像进行拼接。实验结果表明，该***可以满足实时采集与传输的要求，可以实现无控制点的情况下无人机影像的拼接和处理，并获得了较好的视觉效果。
以上显示和描述了本发明的基本原理、主要特征和优点。尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种无人机影像高效处理***，其特征在于，包括影像采集传输模块和影像拼接融合模块，影像采集传输模块分为发送端和接收端两部分；
无人机影像高效处理***框架为：无人机上捆绑设置有Android手机，在无人机飞行途中使用Android手机自带的摄像头获取视频影像数据；对无人机采集得到的视频影像数据首先使用H.264/AVC编码标准对其进行压缩编码，去除相邻影像帧之间的冗余信息，适应实时传输的带宽需求，然后使用UDP/RTP/RTCP协议在由电脑建立的虚拟局域网内进行编码压缩比特流的传输，最后在服务器端对接收到的压缩比特流进行解码播放并存储；同时在服务器端首先将传输存储下来的视频转换成视频影像帧，然后对视频影像帧进行重叠度的判断，在满足影像拼接对重叠度的要求的前提下，采用抽稀策略对解压得到的原始影像进行抽稀处理，在原始数据中选取其中部分质量较高的无人机影像作为待拼接影像数据集；使用SIFT算子分别提取相邻待拼接影像的特征信息，并使用欧式距离比值法对相邻影像的特征点进行匹配，使用RANSAC精匹配的方法对欧氏距离比值法粗匹配后的特征点对进行筛选，剔除其中误匹配的点对，根据精匹配的结果建立相邻影像间的变换矩阵实现无人机影像的拼接；
无人机影像高效处理***包括手机端和服务器端，手机端程序包括数据采集、影像编码、数据传输，服务器端程序包括影像重叠度判断、影像拼接处理；
服务器端的影像重叠度判断流程为：对解码后得到的影像帧，采用SIFT算子分别提取相邻影像帧的特征点信息，并结合特征点邻域像素的梯度直方图确定特征点的特征描述子，根据提取后的特征信息综合使用欧氏距离比值法粗匹配和RANSAC算法精匹配的方法对相邻影像帧进行匹配，以第一张影像为基准，将匹配好的影像转换到第一张影像的坐标系中，并求出左影像和右影像上的面积，该面积即为左右影像之间重叠区域的面积，对影像的重叠度进行计算，并根据无人机影像拼接对重叠度的要求，采用抽稀策略对解码后的原始影像帧进行抽稀处理；
影像的抽稀策略兼顾无人机影像拼接的最佳重叠度和影像质量两方面的因素，具体为：
第一步，首先对无人机采集的前5张影像的质量进行分析，选取其中平均梯度值最高的影像作为无人机影像拼接的基准影像，确定基准影像A之后，以m为步长，取基准影像后的第m张影像作为暂定的待拼接影像，在特征匹配的基础上求解基准影像A和暂定的待拼接影像B之间重叠区域的面积，使用无人机影像航向重叠度计算公式求解得到影像间的重叠度；
第二步，对影像间的重叠度进行判断，将影像最佳重叠度的范围设置为60-65％，根据求取的影像重叠度的大小，指导影像抽稀；
第三步，如果选取两幅影像的重叠度正好位于60-65％之间，则认定已找到最佳重叠区域的影像，此时以影像B为中心，选取影像B周围各5张影像，共11张影像进行最佳影像的选择；首先求取这11张影像的平均梯度，之后将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像B1为止，此时选取的影像B1就是满足重叠度要求的最佳拼接影像；
第四步，如果选取的两幅影像的重叠度小于给定的阈值，则认定满足最佳重叠度要求的影像位于基准影像A和影像B之间，此时采用Bi-section的取样方法选取影像A与影像B之间的影像C作为参考影像；求取基准影像A和参考影像C之间的重叠度，对重叠度的范围进行判断，并依此方法不断采用Bi-section的方法缩小待拼接影像的选取范围，直到找到满足重叠度要求的最佳待拼接影像D或E；以影像D或E为中心，选取影像D或E周围各5张影像，共11张影像进行最佳影像的选择；求取这11张影像的平均梯度，将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像D1或E1为止，此时选取的影像D1或E1就是满足重叠度要求的最佳拼接影像；
第五步，如果选取两幅影像的重叠度大于给定的阈值，则认为满足最佳重叠度要求的影像不在基准影像A和影像B之间，满足重叠度要求的最佳待拼接影像应该位于影像B的右侧；以m为步长选取影像B后面第m张影像F作为参考影像，则此时最佳重叠度影像的搜索范围平移到影像B和影像F之间；采用Bi-section采样的方法，逐渐缩小影像搜索的范围，直到找到满足重叠度要求的待拼接影像C；以影像C为中心，选取影像C周围各5张影像，共11张影像进行最佳影像的选择，求取这11张影像的平均梯度，将计算得到的平均梯度按顺序进行排列，从高到低依次计算得到这11张影像与基准影像A之间的重叠度，直到找到满足重叠度要求的影像C1为止，此时选取的影像C1就是满足重叠度要求的最佳拼接影像；
第六步，将确定的拼接影像作为原始影像A，重复上面5个步骤的操作，继续搜索合适的拼接影像，直到挑选出所有满足条件的拼接影像为止。
2.根据权利要求1所述的一种无人机影像高效处理***，其特征在于，无人机影像高效处理***的手机端程序基于Android平台开发，服务器端程序基于Visual Studio 2010平台开发实现无人机影像的匹配、拼接和融合，服务器端使用跨平台计算机数据库OpenCV进行SIFT特征点的提取。
3.根据权利要求1所述的一种无人机影像高效处理***，其特征在于，手机端的数据采集是在手机端进行影像的采集，使用Android***自带的MediaRecorder类函数进行影像数据的采集，获取原始的影像数据，并将采集得到的数据存入手机的内存中，等待进一步的处理。
4.根据权利要求1所述的一种无人机影像高效处理***，其特征在于，手机端的影像编码采用压缩编码技术对采集得到的视频进行编码压缩，降低视频影像帧之间的冗余信息，保证编码压缩比特流在无线网络中实时传输的效率。
5.根据权利要求1所述的一种无人机影像高效处理***，其特征在于，手机端的数据传输是基于UDP/RTP/RTCP相结合的方式进行编码压缩视频的实时传输，其中UDP协议用于视频数据的传输，RTP协议提供时间戳以保证在接收端能正确地恢复原始视频数据帧，RTCP用于控制信息的传输。
6.根据权利要求1所述的一种无人机影像高效处理***，其特征在于，服务器端影像拼接处理通过调用OpenCV函数库中的SIFT函数对抽稀后的影像进行特征信息的提取和拼接。
7.根据权利要求6所述的一种无人机影像高效处理***，其特征在于，SIFT特征信息的提取在影像的灰度信息上进行，在进行影像的特征提取之前，将采集得到的RGB彩色影像转成32位灰度影像，将转换得到的灰度影像作为SIFT特征提取的原始影像，使用不同的高斯核函数对原始影像进行滤波，将原始影像不断地进行降采样，将得到的新影像采用相同的高斯核函数进行滤波处理，由下到上构建一个完整的金字塔影像，高斯金字塔的阶数是根据原始影像的大小和塔顶影像的分辨率共同决定，将得到的高斯金字塔影像中的相邻两层影像进行相减，得到原始影像的高斯差分金字塔DOG，在DOG的中间层依次检测不同尺度影像的极值点，对检测得到的极值点进行精确的定位，确定真实的像素坐标，再剔除影像的边缘响应点及对比度较低的点；精确定位影像极值点的位置坐标后，通过计算影像中每一个极值点邻域梯度的方向和模值确定特征点的主方向，并将特征点原始坐标轴的x轴旋转到与特征点主方向一致的方向上，分块计算该特征点邻域16个子区域像素的梯度方向，最终生成一个具有128维的特征描述向量；
影像匹配采用欧式距离比值法，利用BBF搜索策略在待配准影像的K-D树中进行最优匹配点的搜索，找到满足阈值的待配准特征点，采用RANSAC精匹配的方法对粗匹配后的特征点对进行提纯，剔除误匹配的点对；
得到配准精度较高的匹配点对之后，使用同名点坐标变换的方法求解两幅影像间的变换矩阵；以拼接影像集中的第一幅影像为基准影像，求解第二幅影像在第一幅影像坐标系下的坐标，对第二幅影像进行重采样之后将两幅影像进行简单的叠加。
8.根据权利要求7所述的一种无人机影像高效处理***，其特征在于，采用渐入渐出加权平均的方法对影像的拼接缝进行消除，实现拼接影像的平滑过渡。
9.根据权利要求1所述的一种无人机影像高效处理***，其特征在于，改进后的H.264/AVC分为两层，分别是VCL和NAL，VCL在处理预测残余时使用4×4的整数变换代替原来的离散余弦变换，VLC采用CAVLC和CABAC两种熵编码方式对变换系数的预测残差进行编码；
改进后的H.264/AVC的编码流程由五个部分组成，分别是帧间和帧内预测、变换和反变换、量化和反量化、环路滤波、熵编码，帧内预测减少单张影像不同编码宏块间的冗余信息，利用当前编码宏块与相邻宏块在影像空间上的相关性对影像进行压缩编码，对某一给定的宏块进行压缩编码时，首先根据已知的周围宏块的信息对该编码宏块的值进行预测，将得到的预测值与该编码宏块的实际值相减得到需要编码的预测差值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710747601.2A CN107371040B (zh) | 2017-08-28 | 2017-08-28 | 一种无人机影像高效处理*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710747601.2A CN107371040B (zh) | 2017-08-28 | 2017-08-28 | 一种无人机影像高效处理*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107371040A CN107371040A (zh) | 2017-11-21 |
| CN107371040B true CN107371040B (zh) | 2020-05-15 |
Family
ID=60310484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710747601.2A Active CN107371040B (zh) | 2017-08-28 | 2017-08-28 | 一种无人机影像高效处理*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107371040B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114449266B (zh) * | 2018-10-08 | 2023-02-17 | 北京达佳互联信息技术有限公司 | 用于对视频信号进行编码的方法 |
| CN109218744B (zh) * | 2018-10-17 | 2019-11-22 | 华中科技大学 | 一种基于drl的比特率自适应无人机视频流传输方法 |
| CN111754603B (zh) * | 2020-06-23 | 2024-02-13 | 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) | 一种无人机影像连接图构建方法及*** |
| CN112729254A (zh) * | 2020-12-23 | 2021-04-30 | 西南交通大学 | 适用于多梯度航带倾斜摄影测量的空中三角测量解算方法 |
| CN113239696B (zh) * | 2021-05-25 | 2024-01-05 | 浙江大学 | 一种基于树状事件扁平化的文档级别多事件抽取方法 |
| CN115731100A (zh) * | 2021-08-30 | 2023-03-03 | 成都纵横自动化技术股份有限公司 | 一种基于多无人机的图像拼接方法及其*** |
| CN114459774A (zh) * | 2022-02-07 | 2022-05-10 | 中国第一汽车股份有限公司 | 一种代客泊车的测试*** |
| CN116016809A (zh) * | 2022-11-24 | 2023-04-25 | 扬州联图大数据有限公司 | 一种无人机影像采集及生成*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916452A (zh) * | 2010-07-26 | 2010-12-15 | 中国科学院遥感应用研究所 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
| CN103914521A (zh) * | 2014-03-20 | 2014-07-09 | 北京建筑大学 | 基于混合瓦片金字塔的街景影像存储的方法及装置 |
| CN105389777A (zh) * | 2015-10-23 | 2016-03-09 | 首都师范大学 | 无人机序列影像快速无缝拼接*** |
| CN105657261A (zh) * | 2015-12-30 | 2016-06-08 | 华南农业大学 | 一种基于安卓设备的无人机遥感图像采集***及方法 |
| CN106464811A (zh) * | 2015-03-10 | 2017-02-22 | 深圳市大疆创新科技有限公司 | 用于自适应全景图像生成的***及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9007432B2 (en) * | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
-
2017
- 2017-08-28 CN CN201710747601.2A patent/CN107371040B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916452A (zh) * | 2010-07-26 | 2010-12-15 | 中国科学院遥感应用研究所 | 一种基于飞行控制信息的无人机遥感影像自动拼接方法 |
| CN103914521A (zh) * | 2014-03-20 | 2014-07-09 | 北京建筑大学 | 基于混合瓦片金字塔的街景影像存储的方法及装置 |
| CN106464811A (zh) * | 2015-03-10 | 2017-02-22 | 深圳市大疆创新科技有限公司 | 用于自适应全景图像生成的***及方法 |
| CN105389777A (zh) * | 2015-10-23 | 2016-03-09 | 首都师范大学 | 无人机序列影像快速无缝拼接*** |
| CN105657261A (zh) * | 2015-12-30 | 2016-06-08 | 华南农业大学 | 一种基于安卓设备的无人机遥感图像采集***及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于点线特征匹配的无人机影像拼接技术;何敬;《中国博士学位论文全文数据库（电子期刊） 基础科学辑》;20141015(第10期);第2-5章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107371040A (zh) | 2017-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107371040B (zh) | 一种无人机影像高效处理*** | |
| CN107613159B (zh) | 图像时间校准方法及*** | |
| CN112581590B (zh) | 一种5g安防救援网联的无人机云边端协同控制方法 | |
| CN110225341A (zh) | 一种任务驱动的码流结构化图像编码方法 | |
| CN106682592B (zh) | 一种基于神经网络方法的图像自动识别***及方法 | |
| CN105120240B (zh) | 高倍变焦无人机空中高清多维实时侦查传输监控装置 | |
| CN104081414A (zh) | 用于编码和解码光场图像文件的***及方法 | |
| CN110009675B (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN107018352A (zh) | 一种视频图像处理方法、装置及*** | |
| CN104504904B (zh) | 一种交通设施移动采集方法 | |
| CN109357679B (zh) | 一种基于显著性特征识别的室内定位方法 | |
| CN110719438A (zh) | 一种数字视网膜视频流与特征流的同步传输控制方法 | |
| CN104349142A (zh) | 一种基于分层表达的无人机视频自适应传输方法 | |
| CN105516604A (zh) | 一种航拍视频分享方法和*** | |
| CN108307202A (zh) | 实时视频转码发送方法、装置及用户终端 | |
| CN114257760A (zh) | 视频拼接处理方法、智能机器人及*** | |
| CN108810427A (zh) | 基于视点的全景视频内容表示的方法及装置 | |
| Jha et al. | Visage: Enabling timely analytics for drone imagery | |
| US20220188973A1 (en) | Systems and methods for synthetic augmentation of cameras using neural networks | |
| CN114387346A (zh) | 一种图像识别、预测模型处理方法、三维建模方法和装置 | |
| CN109040839A (zh) | 智慧视频结构化方法及装置 | |
| CN115984672B (zh) | 基于深度学习的高清图像内小目标的检测方法和装置 | |
| CN111062926B (zh) | 一种视频数据处理方法、装置及存储介质 | |
| US9020038B2 (en) | Systems and methods for streaming and archiving video with geographic anchoring of frame contents | |
| CN114266771B (zh) | 基于改进扩展特征金字塔模型的管道缺陷检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20201221 Address after: 232000 6 / F, Jianghuai cloud industrial platform building, Xiejiaji District, Huainan City, Anhui Province Patentee after: Anhui tulian Technology Co.,Ltd. Address before: 448000 building c2-5, 201 Peigong Avenue, Duodao District, Jingmen City, Hubei Province Patentee before: JINGMEN CHENGYUAN ELECTRONIC TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |