CN109076173A - 输出影像生成方法、设备及无人机 - Google Patents
输出影像生成方法、设备及无人机 Download PDFInfo
- Publication number
- CN109076173A CN109076173A CN201780026914.7A CN201780026914A CN109076173A CN 109076173 A CN109076173 A CN 109076173A CN 201780026914 A CN201780026914 A CN 201780026914A CN 109076173 A CN109076173 A CN 109076173A
- Authority
- CN
- China
- Prior art keywords
- capture apparatus
- image
- shooting
- posture
- aircraft
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种输出影像生成方法、设备及无人机，该方法通过获取飞行器搭载的FOV大于或等于预设阈值的第一拍摄设备拍摄获得的第一影像，以及飞行器搭载的第二拍摄设备拍摄获得的第二影像，并基于预设算法，计算第一拍摄设备在拍摄第一影像时的位置和姿态和第二拍摄设备在拍摄第二影像时的位置和姿态；基于第一影像和第一拍摄设备在拍摄第一影像时的位置和姿态，生成地形表面；基于第二拍摄设备在拍摄所述第二影像时的位置和姿态，在该地形表面上对第二影像进行投影和拼接处理，获得输出影像。本发明实施例提供的方法、设备及无人机，能够提高输出影像的精度。
Description
技术领域
本申请涉及无人机应用技术领域，尤其涉及一种输出影像生成方法、设备及无人机。
背景技术
数字正射影像(Digital Orthophoto Map，简称DOM)是利用数字高程模型对扫描处理的数字化的航空像片/遥感影像(单色/彩色)，经逐个象元进行投影差改正，再按影像镶嵌，根据图幅范围进行拼接生成的影像。该影像由于使用了真实的地形表面为拼接投影面，因此具备真实的地理坐标信息，可以在该影像上度量真实的距离。
在数字正射影像的制作中为了获取较为正射的航拍影像通常采用较高的飞行高度，为了使影像在采用较高的飞行高度的同时保证较高的地面分辨率，需要采用焦距较长的相机(小视场角)，但根据摄影测量前方交会的精度与交会角相关(在一定范围内交会角越大精度越高)的原理，利用长焦相机交会得到的物方点的交会角较小几何精度较低，尤其在高程方向，高程方向的不准确会导致最终的数字正射影像的精度降低，并且要保证长焦相机采集的影像满足较高的重叠率需要拍摄大量的影像，加大了计算成本。
发明内容
本发明实施例提供一种输出影像生成方法、设备及无人，以提高输出影像的准度和精度。
本发明实施例的第一方面是提供一种输出影像生成方法，包括：
获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的视场角FOV大于或等于预设阈值；
基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本发明实施例的第二方面是提供一种输出影像生成方法，包括：
获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；
基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本发明实施例的第三方面是提供一种地面站，包括：
通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器还用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本发明实施例的第四方面是提供一种地面站，包括：
通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本发明实施例的第五方面是提供一种飞行器控制器，包括：
通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器还用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本发明实施例的第六方面是提供一种飞行器控制器，包括：
通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本发明实施例的第七方面是提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如上述第一方面或第二方面所述的输出影像生成方法
本发明实施例的第八方面是提供一种无人机，包括：
机身；
动力***，安装在所述机身，用于提供飞行动力；
第一拍摄设备和第二拍摄设备，安装在所述机身，用于拍摄影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；
以及如上所述的飞行器控制器。
本发明实施例，通过获取飞行器搭载的FOV大于或等于预设阈值的第一拍摄设备拍摄获得的第一影像，以及飞行器搭载的第二拍摄设备拍摄获得的第二影像，并基于预设算法，计算第一拍摄设备在拍摄第一影像时的位置和姿态和第二拍摄设备在拍摄第二影像时的位置和姿态；基于第一影像和第一拍摄设备在拍摄第一影像时的位置和姿态，生成地形表面；基于第二拍摄设备在拍摄所述第二影像时的位置和姿态，在该地形表面上对第二影像进行投影和拼接处理，获得输出影像。由于本发明实施例中第一拍摄设备的FOV大于或等于预设阈值，而FOV越大，基于第一拍摄设备拍摄的影像拟合获得的高程面(即地形表面)的精度就越高，从而将飞行器上其他拍摄设备拍摄的影像投影到该高程面上就能得到相应的精度较高的正射影像，提高了生成正射影像的精度。
附图说明
图1为本发明提供的一种输出影像生成方法的流程图；
图2为本发明实施例提供的地面站与飞行器的连接示意图；
图3a和图3b是本发明提供的两个相同场景的输出影像示意图；
图4a和图4b为本发明实施例提供的两个相同场景下的输出影像示意图；
图5为本发明实施例提供的一种输出影像生成方法流程图；
图6为本发明实施例提供的一种输出影像生成方法流程图；
图7a为近红外相机拍摄获得的未拼接的近红外影像；
图7b为图7a所示的近红外影像经过正射拼接后获得的近红外输出影像；
图7c为与图7a近红外相机同步拍摄的可见光相机对应的可见光输出影像；
图7d为利用近红外影像和可见光输出影像的红色波段影像计算得到的NVDI指数图；
图7e为为经过正射拼接后的近红外影像采用绿色进行伪彩色渲染的结果示意图；
图8为本发明实施例提供的一种输出影像生成方法流程图；
图9为本发明实施例提供的一种输出影像生成方法流程图；
图10a-图10b为本发明实施例提供的两种拍摄间隔示意图；
图11为本发明实施例提供的地面站的结构示意图；
图12为本发明实施例提供的地面站的结构示意图；
图13为本发明实施例提供的飞行器控制器的结构示意图；
图14为本发明实施例提供的飞行器控制器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明实施例提供一种输出影像生成方法，该方法可以由一种地面站或搭载在无人机上的控制器来执行。以下实施例是以地面站为例所做的具体说明，控制器的执行方式与地面站类似，本实施例不做赘述。参见图1，图1为本发明提供的一种输出影像生成方法的流程图，如图1所示，本实施例中的方法，包括：
步骤101、获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的视场角(FOV)大于或等于预设阈值。
本实施例中地面站是一种具有计算功能和/或处理能力的设备，该设备具体可以是遥控器、智能手机、平板电脑、膝上型电脑、手表、手环等及其组合。
本实施例中的飞行器具体可以是搭载有拍摄设备的无人机、直升机、载人固定翼飞行器、热气球等。
本实施例中第一拍摄设备可以是FOV大于或等于预设阈值的拍摄设备(比如，FOV大于或等于预设阈值的广角相机)。其中，预设阈值的大小可以根据需求进行设定，本实施例中不做限定。可选的，当第一拍摄设备为广角相机时拍摄可见光影像。
可选的，第二拍摄设备的FOV小于第一拍摄设备的FOV，比如第二拍摄设备具体可以是FOV小于上述预设阈值的拍摄设备(比如，FOV小于预设阈值的长焦相机)，可选的，第二拍摄设备还可以是近红外相机或红外相机，当第二拍摄设备为近红外相机或红外相机时，其FOV可以大于、小于或者等于第一拍摄设备的FOV。可选的，当第二拍摄设备为近红外相机时，第二拍摄设备拍摄近红外影像，当第二拍摄设备为红外相机时拍摄红外影像，当第二拍摄设备为长焦相机时拍摄可见光影像。
如图2所示，地面站21和飞行器22可以通过应用程序编程接口(ApplicationProgramming Interface，简称API)23连接，但是并不局限于通过API来进行连接。具体的，地面站21和飞行器22可以通过有线或者无线的方式连接，例如，通过如下方式连接，包括：无线保真(WIreless-Fidelity，简称WI-FI)、蓝牙、软件无线电(software defined radio，简称SDR)或者其他自定义协议。
可选的，本实施例中飞行器可以按照预定的航线进行自动巡航和拍摄，也可以在地面站的控制下进行巡航和拍摄。
可选的，本实施例中第一拍摄设备和第二拍摄设备可以按照预设的固定拍摄间隔(拍摄时间或拍摄距离)进行拍摄，也可以根据预设策略，基于飞行器与地表的相对飞行高度采用相适应的拍摄间隔进行拍摄，比如当飞行器距离地表的飞行高度较高时，采用相对较大的拍摄间隔进行拍摄，当飞行器距离地表的飞行高度较低时，采用相对较小的拍摄间隔进行拍摄。从而确保相邻时刻拍摄的影像之间满足预设的影像重合率。当然这里仅为示例说明，实际场景中并不局限于通过上述方式来确保影像重合率。
可选的，本实施例中地面站可以通过如下几种可能的方式获得第一拍摄设备和第二拍摄设备拍摄获得的影像：
在一种可能的方式中，飞行器通过其与地面站之间的API将第一拍摄设备和第二拍摄设备拍摄获得的影像实时的发送给地面站。
在另一种可能的方式中，飞行器按照预设的时间间隔将第一拍摄设备和第二拍摄设备在预设时间间隔内拍摄获得的影像发送给地面站。
在又一种可能的方式中，飞行器在巡航结束后，将第一拍摄设备和第二拍摄设备在整个巡航过程中拍摄获得的影像集中发送给地面站。
具体的，基于以上方式，飞行器可以将第一拍摄设备和第二拍摄设备拍摄的影像以码流数据的形式发送给地面站，也可以以缩略图的形式发送给地面站，但是根据飞行器和地面站的计算能力，对于传回的码流数据或缩略图的分辨率没有具体限制，可以是原始影像。本实施例中以缩略图的形式为例，当影像以缩略图的形式发送给地面站时，地面站可以对接收到的缩略图进行显示，以使用户能够清楚的看到实时拍摄获得的影像。
步骤102、基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态。
可选的，在第一种可能的实现方式中，地面站可以基于第一预设图像处理算法，计算第一拍摄设备拍摄第一影像时的位置和姿态，以及第二预设图像处理算法，计算第二拍摄设备在拍摄第二影像时的位置和姿态。其中第一预设图像处理算法和第二预设处理算法可以相同也可以不同，可选的，本实施例中第一预设图像处理算法和第二预设处理算法可以是如下算法中的任意一种：空中三角测量、从运动恢复结构(SFM)的算法、即时定位与地图构建(SLAM)算法，也可以是其他算法，这里并不做限定。
通过运动恢复结构(SFM)的算法计算位置和姿态时，可以通过像控点作为约束条件，计算更为准确的第一拍摄设备在拍摄第一影像时的位置和姿态。
在第二种可能的方式中，第一拍摄设备和第二拍摄设备同步拍摄，地面站基于预设的图像处理算法(空中三角测量算法、SFM算法或SLAM算法等)，计算第一拍摄设备在拍摄第一影像时的位置和姿态。基于预先标定的第一拍摄设备和第二拍摄设备之间的相对位置关系，计算第二拍摄设备在拍摄第二影像时的位置和姿态。
需要说明的是，在现有技术中基于SLAM算法、空中三角测量算法或SFM算法计算获得的位置和姿态均是在拍摄场景下的相对位置和相对姿态。
为了是上述计算获得的位置和姿态能够对应到世界坐标系下，使得影像对应的位置和姿态更具实际参考价值，可选的，本实施例中还可以将计算获得的相对位置和相对姿态转换为世界坐标系下的位置和姿态：
在一种可能的实现方式中，地面站可以采用飞行器上搭载GPS测量设备，获取飞行器的GPS信息，具体的，可以由实时动态控制***(RTK)提供GPS信息，将上述计算获得的相对位置和姿态转换为世界坐标系下的位置和姿态。
在另一种可能的实现方式中，地面站基于预先设定的像控点的GPS信息，将上述计算获得的位置和姿态，转换为世界坐标系下的位置和姿态。具体的，在这种实现方式中可以通过人工的方式查找像控点在第一拍摄设备拍摄获得的第一影像中的相对位置和像控点在第二拍摄设备拍摄获得的第二影像中的相对位置，再基于像控点的相对位置和像控点的GPS信息，将上述计算获得的相对位置和姿态转换为世界坐标系下的位置和姿态。或者还可以通过图像识别的方式，先基于像控点的GPS的信息，分别从第一拍摄设备拍摄的第一影像和第二拍摄设备拍摄的第二影像中查找包括像控点的影像，以及该影像中可能存在像控点的区域，进一步的，再通过预设的机器学习模型和优化算法在上述区域中识别出像控点，从而获得像控点在第一影像和第二影像中的相对位置，进一步的，再基于像控点的相对位置和GPS信息，将第一拍摄设备和第二拍摄设备在拍摄影像时的相对位置和姿态转换为世界坐标系下的位置和姿态。上述图像识别的方式相较于人工方式，提高了输出影像的生成效率。
可选的，本实施例在确定像控点在第一影像和/或第二影像中的相对位置后，还可以对像控点在第一影像和/或第二影像中的相对位置进行显示，以提高用户体验。
在又一种可能的方式中，飞行器在将第一拍摄设备和第二拍摄设备拍摄的影像发送给地面站的同时还将拍摄影像时飞行器的GPS信息发送给地面站。地面站根据影像对应的GPS信息将计算获得的相对位置和姿态转换为世界坐标下的位置和姿态
可选的，当第一拍摄设备和第二拍摄设备同步拍摄时，还可以通过上述几种方式中任意一种，先将第一拍摄设备拍摄第一影像时的相对位置和姿态，转换为世界坐标系下的位置和姿态，进一步的，再基于预先标定的第一拍摄设备和第二拍摄设备之间的相对位置关系，将第二拍摄设备拍摄第二影像时的相对位置和姿态，转换为世界坐标系下的位置和姿态。
步骤103、基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面。
示例的，本实施例中地面站根据第一拍摄设备在拍摄第一影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云，进一步的，再基于稠密匹配生成的点云拟和形成地形表面。其中，在基于稠密匹配生成的点云拟和形成地形表面的过程中，可以先将稠密匹配生成的点云划分地面点和非地面点，再从点云从提取出地面点，基于该些地面点拟合形成地形表面。当然这里仅为示例说明，而不是对本发明的唯一限定，比如，实际场景中，还可以将预先存储在地面站中的数字表面模型(DSM)作为地形表面，然后让后将第一拍摄设备拍摄的第一影像和第二拍摄设备拍摄的第二影像投影到DSM上。
可选的，在生成地形表面时，可以通过预先设定的像控点作为约束条件，计算更为准确的地形表面。
步骤104、基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本实施例中，可以分别基于第一拍摄设备在拍摄第一影像时的相对位置和姿态，以及第二拍摄设备在拍摄第二影像时的相对位置和姿态，将第一影像和第二影像投影到上述地形表面，也可以分别基于第一拍摄设备在拍摄第一影像时在世界坐标系下的位置和姿态，以及第二拍摄设备在拍摄第二影像时在世界坐标系下的位置和姿态，将第一影像和第二影像投影到上述地形表面上。
可选的，本实施例中第一影像和第二影像的投影的拼接方法具体可以是如下方法中的一种：直接覆盖法、全景图像拼接方法、最终影像每个区域选择离影像中心最近的影像的方法，以及基于代价函数的拼接方法。可选的，第二影像投影还可以基于第一影像投影拼接时的拼接线进行拼接。本实施例中以基于代价函数的拼接方法为例，拼接方法如下：
在一种可能的拼接方式中，地面站可以先基于第一拍摄设备在拍摄第一影像时的位置和姿态进行稠密匹配，生成稠密点云或半稠密点云，在基于第二影像在地形表面上的投影，以及上述生成的点云，构建代价函数，基于该代价函数对第二影像的投影进行拼接，从而使得拼接线两侧的色彩差异最小。第一影像投影的拼接方法与第二影像类似，在这里不再赘述。
在另一种可能的拼接方式中，地面站可以先基于第二影像在表面上的投影，以及基于第二影像获得的点云，构建代价函数，再基于构代价函数对第二影像的投影进行拼接。
当然上述拼接方法仅是示例说明，而不是对本发明的唯一限定，实际上，在实际场景中可以采用其他任意的拼接方法。
可选的，本实施例中地面站可以通过如下两种工作方式处理接收到的影像：
在一种可能的处理方式中，地面站采用即收即处理的方式对接收到的影像进行处理。也就是说，地面站在飞行器巡航拍摄时，就对接收到的影像进行处理，获得影像的半稠密点云或稠密点云。在这种处理方式下，地面站每接收到一张影像都要对处理获得的半稠密点云、稠密点云或者稀疏点云进行更新。另外需要说明的是，上述涉及的即收即处理方式并不仅是指字面含义所包括的处理方式，而是取决于地面站的处理速度，若地面站的处理速度能够支持即接收即处理，那么地面站在接收到影像后就对影像进行即时处理，若地面站的处理速度不足以支持影像的即时处理，那么，地面站就对接收到的影像进行依次处理，具体的，地面站可以按照影像的接收顺序进行处理，也可以按照影像的存储顺序进行处理，还可以按照其他自定义的处理顺序进行处理，本实施例中不做具体限定。
在另一种可能的处理方式中，地面站在飞行器巡航拍摄时，只接收第一拍摄设备和第二拍摄设备拍摄的影像，在飞行器结束巡航拍摄时，再对接收到的影像进行集中处理。
可选的，在对影像的投影进行拼接处理时，可以首先对计算获得的点云进行全局的色彩调整或/及亮度调整，以达到明显改善影像质量的目的，进一步的，再基于调整后的投影影像，将投影的像素到拍摄设备的距离作为约束构建代价函数，基于代价函数对影像投射到地形表面上的投影进行拼接处理，使得拼接线两侧的色彩差异最小，这样就能够得到整体性较好的输出影像。
进一步的，为了避免点云中非地面点对拼接造成影响(非地面点会导致拼接错位)，本实施例在构建代价函数时，还可以考虑将点云中的非地面点排除在外，使得拼接线能够自动避开非地面区域，从而得到视觉效果较好的输出影像。
具体的，图3a和图3b是本发明提供的两个相同场景的输出影像示意图，其中图3a是以预估高程面作为投影表面所得到的输出影像，图3b是以点云拟合成形的地形表面作为投影表面所得到的输出影像，二者均采用代价函数的方法进行拼接。如图3a所示，在图3a中由于采用了平均高程面作为投影表面，由于高程面不能够精确的拟合地形表面，因此，图3a的输出图像产生了严重的拼接错位。在图3b中由于采用了点云拟合形成的地形表面作为投影面，能够较精确的拟合出地形表面，且采用代价函数的方法能够使得拼接线两侧的色差最小化，因此得到的输出影像没有出现明显的凭借错位现象，且整个输出影像的整体性较好。因此本发明实施例通过点云拟合地形表面，并采用代价函数的方法进行拼接处理，能够解决输出影像拼接错位的问题。
可选的，为了使整个输出影像具有更好的视觉效果，本实施例在将第一影像和第二影像投射到地形表面上之后，还可以基于预设策略对地形表面上的第一影像和/或第二影像的投影进行色彩和亮度的调整。使得在后续拼接的过程中能够得到更好的拼接效果。
示例的，图4a和图4b为本发明实施例提供的两个相同场景下的输出影像示意图，在图4a中地形表面上的投影没有经过色彩和亮度的处理，因此，在图4a中整个输出影像在色彩和亮度方面的整体性不是很好，视觉效果较差，而在图4b中由于在进行拼接之前对地形表面上的投影进行了亮度和色彩的整体性处理，因此得到的输出图像在色彩和亮度方面的整体性较好，视觉效果较好。因此，本发明实施例通过在拼接处理之前对地形表面上的投影进行色彩和亮度的整体性处理，能够有效提高输出影像的视觉效果。
可选的，本实施例中涉及的输出影像可以被具体为正射影像，比如正射地图或其他根据正射投影拼接获得的具备真实地理坐标信息的影像。
本实施例，通过获取飞行器搭载的FOV大于或等于预设阈值的第一拍摄设备拍摄获得的第一影像，以及飞行器搭载的第二拍摄设备拍摄获得的第二影像，并基于预设算法，计算第一拍摄设备在拍摄第一影像时的位置和姿态和第二拍摄设备在拍摄第二影像时的位置和姿态；基于第一影像和第一拍摄设备在拍摄第一影像时的位置和姿态，生成地形表面；基于第二拍摄设备在拍摄所述第二影像时的位置和姿态，在该地形表面上对第二影像进行投影和拼接处理，获得输出影像。由于本实施例中第一拍摄设备的FOV大于或等于预设阈值，而FOV越大，基于第一拍摄设备拍摄的影像拟合获得的高程面(即地形表面)的精度就越高，从而将飞行器上其他拍摄设备拍摄的影像投影到该高程面上就能得到相应的精度较高的正射影像，提高了生成正射影像的精度。
图5为本发明实施例提供的一种输出影像生成方法流程图，如图5所示，在图1实施例的基础上，该方法包括：
步骤501、获取飞行器搭载的第一拍摄设备拍摄获得的第一可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二可见光影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
本实施例中第一拍摄设备可以被具体为广角相机，第二拍摄设备被具体为长焦相机。
步骤502、基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态。
步骤503、基于预先标定的所述第一拍摄设备和所述第二拍摄设备的相对位置关系，计算所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态。
步骤504、基于所述第一可见光影像和所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态，生成地形表面。
步骤505、基于所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态，在所述地形表面上对所述第二可见光影像进行投影和拼接处理，获得第二拍摄设备对应的可见光输出影像。
可选的，本实施例中，在地形表面上对第二可见光影像的投影进行拼接的方法包括：
在一种可能的实现方式中，可以基于对第一可见光影像在地形表面上的投影进行拼接时采用的拼接线，对第二可见光影像在地形表面上的投影进行拼接，获得第二拍摄设备对应的可见光输出影像。
在另一种可能的实现方式中，可以先基于第一拍摄设备在拍摄第一可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；再基于第二可见光影像在地形表面上的投影，以及上述通过稠密匹配生成的点云，构建代价函数；并基于该代价函数对第二可见光影像在地形表面上的投影进行拼接，获得第二拍摄设备对应的可见光输出影像。
在另一种可能的实现方式中，可以先基于第二拍摄设备在拍摄第二可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；再基于第二可见光影像在地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数，基于代价函数对第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
可选的，本实施例中，还可以基于第一拍摄设备在拍摄第一可见光影像时的位置和姿态，将第一可见光影像投影到地形表面，并基于第二可见光影像在地形表面上的投影对第一可见光影像在第一地形表面上的投影进行图像纠正处理，从而基于图像纠正处理后的投影，获得第一拍摄设备对应的可见光输出影像，并基于该可见光输出影像上的拼接线，对第二影像在地形表面上的投影进行拼接。
可选的，本实施例还可以通过对第二可见光影像在地形表面上的投影进行正射处理来获得正射的可见光输出影像。
由于本实施例中，第一拍摄设备被具体为广角相机，第二拍摄设备被具体为长焦相机，第一拍摄设备的FOV较大，第二拍摄设备的FOV较小，因此，基于第一拍摄设备在拍摄第一可见光影像时的位置和姿态，获得的高程面(即地形表面)的精度和准确度要高于基于第二拍摄设备在拍摄第二可见光影像时的位置和姿态获得的高程面，从而将第二拍摄设备拍摄获得的第二可见光影像投影到该高程面后能够得到准确度和精度较高的正射影像，提高了基于第二拍摄设备获得的正射影像的精度。
本实施例提供的方法，其执行方式和有益效果与图1实施例类似，在这里不再赘述。
图6为本发明实施例提供的一种输出影像生成方法流程图，如图6所示，在图1实施例的基础上，该方法包括：
步骤601、获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及所述所述第二拍摄设备拍摄获得的近红外影像，所述第一拍摄设备和所述第一拍摄设备同步拍摄。
本实施例中，第一拍摄设备可以被具体为FOV大于或等于预设阈值的可见光相机(比如FOV大于或等于预设阈值的广角相机)，第二拍摄设备可以被具体为近红外相机。
步骤602、基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态。
步骤603、基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态。
步骤604、基于所述可见光影像和所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态，生成地形表面。
步骤605、基于所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态，在所述地形表面上对所述近红外影像进行投影和拼接处理，获得第二拍摄设备对应的近红外输出影像。
可选的，本实施例中，在地形表面上对近红外影像的投影进行拼接的方法包括：
在一种可能的实现方式中，地面站可以对可见光影像在地形表面上的投影进行拼接处理，获得正射的可见光输出影像，并基于可见光影像在地形表面上的投影的拼接线，对近红外影像在地形表面上的投影进行拼接，获得近红外输出影像。
可选的，在获得第一拍摄设备对应的可见光输出影像和第二拍摄设备对应的近红外输出影像，本实施例还可以在地面站上对该可见光输出影像和/或近红外输出影像进行显示，以提高用户的体验。
在另一种可能的实现方式中，可以先基于第一拍摄设备在拍摄可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；再基于第二拍摄设备拍摄的近红外影像在地形表面上的投影，以及上述通过稠密匹配生成的点云，构建代价函数；并基于该代价函数对近红外影像在地形表面上的投影进行拼接，获得第二拍摄设备对应的近红外输出影像。
在又一种可能的实现方式中，地面站基于所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云，并基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数，代价函数构建的原则为拼接线尽量选择色彩差异较小的地方，避免经过建筑桥梁等人造地物，进一步的，再基于代价函数对近红外影像在所述地形表面上的投影进行拼接，获得正射的近红外输出影像。
可选的，本实施例还以基于上述获得的可见光输出影像和近红外输出影像，计算植被覆盖指数(NDVI)和/或强型植被指数(EVI)，并基于计算获得的NDVI和/或EVI，绘制相应的指数图，并对该指数图进行显示。
进一步的，在获得指数图之后，分析结果还可以基于该指数图对植被的生长状况进行分析，输出分析结果。从而实现提供植被分析数据的目的，为植被分析提供了便利。
另外，由于一些场景下，树木和建筑均具有较高的高程，因此，在对近红外影像的点云进行分类时，容易出现将树木划分为建筑或将建筑划分为树木的情况，基于上述的问题，本实施例还可以根据计算获得的NDVI和/或EVI对近红外影像上植被和建筑进行区分，增强分类的可靠性。
示例的，图7a为近红外相机拍摄获得的未拼接的近红外影像，图7b为图7a所示的近红外影像经过正射拼接后获得的近红外输出影像，图7c为与图7a近红外相机同步拍摄的可见光相机对应的可见光输出影像，图7d为利用近红外影像和可见光输出影像的红色波段影像计算得到的NVDI指数图，图7e为为经过正射拼接后的近红外影像采用绿色进行伪彩色渲染的结果示意图。如图7a-图7e所示，在图7a中单张的近红外影像覆盖的范围较小，多张未拼接的影像对整个场景的表达也不直观，而在图7b中正射拼接后的近红外输出影像，不仅能够更好的表达整个场景还具备可量测的特性。而基于图7c-图7d所得到的图7e能够通过绿色的亮度和饱和度反映植物的叶绿素的含量，使得分析结果更加直观。
另外，本领域技术人员应该了解的是，虽然本实施例是将NDVI、EVI指数作物分析植被生长状况的指标，但是，实际场景中并不局限于使用NDVI和EVI，而是还可以将NDVI和/或EVI替换为其他可用于分析植被生长状态的指标，本实施例中不做具体限定。
本实施例在影像采集时同时获取了可见光影像和近红外影像，根据植物对两种光谱的不同响应，计算NDVI和/或EVI指数，将NDVI和/或EVI指数作为分类植被的重要依据，提高了点云分类的可靠性。
可选的，本实施例中，飞行器还可以同时搭载广角相机、长焦相机和近红外相机，其中，基于广角相机拍摄的影像对长焦相机和近红外相机拍摄的影像进行处理的方法与前述实施例类似，在这里不再赘述。
本实施例的执行方式和有益效果与图1实施例类似，在这里不再赘述。
图8为本发明实施例提供的一种输出影像生成方法流程图，如图8所示，在图1实施例的基础上，该方法包括：
步骤801、获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的红外影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
本实施例中，第一拍摄设备可以被具体为FOV大于或等于预设阈值的可见光相机(比如FOV大于或等于预设阈值的广角相机)，第二拍摄设备可以被具体为红外相机。
步骤802、基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态。
步骤803、基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述红外影像时的位置和姿态。
步骤804、基于所述可见光影像和所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态，生成地形表面。
步骤805、基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态，在所述地形表面上对所述红外影像进行投影和拼接处理，获得第二拍摄设备对应的红外输出影像。
可选的，本实施例中，在地形表面上对红外影像的投影进行拼接的方法包括：
在一种可能的实现方式中，地面站对可见光影像在地形表面上的投影进行拼接处理，获得可见光输出影像，基于可见光影像在地形表面上的投影的拼接线，对红外影像的投影进行拼接，获得红外输出影像。
在另一种可能的实现方式中，可以先基于第一拍摄设备在拍摄可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；再基于第二拍摄设备拍摄的红外影像在地形表面上的投影，以及上述通过稠密匹配生成的点云，构建代价函数；并基于该代价函数对红外影像在地形表面上的投影进行拼接，获得第二拍摄设备对应的红外输出影像。
在又一种可能的实现方式中，地面站基于第二拍摄设备在拍摄红外影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云，并基于红外影像在所述地形表面上的投影，以及稠密匹配生成的点云，构建代价函数，基于代价函数对红外影像在地形表面上的投影进行拼接，获得红外输出影像。
可选的，本实施例在获得上述可见光输出影像和红外输出影像之后，还可以在地面站上对该可见光输出影像和/或红外输出影像进行显示，以提高用户体验。
可选的，由于本实施例中飞行器搭载了红外相机，因此，本实施例还可以基于红外影像的特性，从红外相机拍摄获得的红外影像或者红外相机对应的红外输出影像中识别出热源物体(比如光伏板、电力线等)的位置。尤其是电力线，由于其直径较小，在普通航拍的可见光影像上很难识别出来，然而，本实施例基于电力线发热的特性通过红外影像很容易就可以从航拍的红外影像中识别出来，达到了识别电力线的目的。
进一步的，红外相机拍摄获得的红外影像或者红外相机对应的红外输出影像中识别出电力线后，本实施例可以通过第二拍摄设备在拍摄红外影像时的位置和姿态，以及预设电力线数学模型，对识别出的电力线进行建模，形成电力线图层，并将该电力线图层在上述获得的可见光输出影像上进行叠加显示。
本实施例基于电力线的温度异于周围环境的温度的特性，通过在飞行器上搭载红外相机，并基于红外相机拍摄获得的红外影像或者红外相机对应的红外输出影像识别电力线，再通过建模的方式对识别出的电力线进行建模，生成电力线图层，将电力线图层叠加到可见光输出影像上，从而实现了电力线在正射影像上的清晰显示，并可以通过测量获得电力线的具体信息。另外，还可以通过在正射影像上显示电力线的具体参数来提高正射影像的信息含量。
可选的，本实施例中，飞行器还可以同时搭载广角相机、长焦相机和红外相机，其中，基于广角相机拍摄的影像对长焦相机和红外相机拍摄的影像进行处理的方法与前述实施例类似，在这里不再赘述。
本实施例的执行方式和有益效果与图1实施例类似，在这里不再赘述。
图9为本发明实施例提供的一种输出影像生成方法流程图，如图9所示，在图1实施例的基础上，该方法包括：
步骤901、获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联。
可选的，如图10a所示，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以相同的拍摄间隔进行拍摄。
可选的，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。具体的，如图10b所示，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
可选的，为了保证重叠率，可以在相对于地表高度增加时相应的增大拍摄间隔，在相对于地表高度减小时相应的减小拍摄间隔。
步骤902、基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态。
步骤903、基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面。
步骤904、基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
本实施例提供的方法，其执行方式和有益效果与图1实施例类似在这里不再赘述。
本发明实施例提供一种地面站，该地面站可以是上述实施例所述的地面站。图11为本发明实施例提供的地面站的结构示意图，如图11所示，地面站10包括：通信接口11、一个或多个处理器12；一个或多个处理器单独或协同工作，通信接口11和处理器12连接；所述通信接口11用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；所述处理器12用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；所述处理器12用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；所述处理器12还用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
可选的，所述第一拍摄设备的FOV大于所述第二拍摄设备的FOV。
可选的，所述第二拍摄设备的FOV小于所述预设阈值。
可选的，所述处理器12用于：基于预先设定的像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，以及所述第二拍摄设备在拍摄所述第二影像时的位置和姿，转换为世界坐标系下的位置和姿态。
可选的，所述处理器12用于：基于预先设定的像控点的GPS信息，确定所述像控点在所述第一拍摄设备拍摄获得的第一影像中的相对位置；基于所述像控点在所述第一影像中的相对位置，以及所述像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态转换为世界坐标系下的位置和姿态；基于预先标定的第一拍摄设备和所述第二拍摄设备之间的相对位置关系，将所述第二拍摄设备在拍摄所述第二影像时的位置和姿态转换为世界坐标系下的位置和姿态。
可选的，所述地面站还包括显示组件13，显示组件13与处理器12通信连接，显示组件13用于：显示所述像控点在所述第一影像上的所述相对位置。
可选的，所述处理器12用于：以预先设定的像控点作为约束条件，采用运动恢复结构SFM算法计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述第二影像时的位置和姿态。
可选的，所述处理器12用于：基于所述第一拍摄设备在拍摄所述第一影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于稠密匹配生成的点云拟合形成地形表面。
可选的，所述处理器12用于：从稠密匹配生成的点云中提取地面点；
基于提取出的地面点拟合形成地形表面。
可选的，所述处理器12还包括：对所述第二影像在所述表面上的投影进行全局色彩和/或亮度调整。
可选的，所述预设的图像处理算法包括如下任意一种：空中三角测量、从运动恢复结构SFM的算法、即时定位与地图构建SLAM算法。
可选的，所述输出影像包括正射影像。
可选的，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联。
可选的，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上分别以相同的拍摄间隔进行拍摄。
可选的，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
可选的，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
本实施例提供的地面站能够执行图1实施例的技术方案，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种地面站。该地面站在图11实施例的基础上，所述通信接口11用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二可见光影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。处理器12用于：基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备的相对位置关系，计算所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态。
可选的，处理器12用于：基于对所述第一可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
可选的，所述处理器12用于：基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述第二可见光影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
可选的，所述处理器12用于：基于所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述第二可见光影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
可选的，所述处理器12还用于：基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态，将所述第一可见光影像投影到所述地形表面。
可选的，所述处理器12还用于：对所述第二可见光影像在所述地形表面上的投影进行正射处理。
可选的，所述第一拍摄设备为广角相机，所述第二拍摄设备为长焦相机。
本实施例提供的地面站能够用于执行图5实施例的方法，其执行方式和有益效果类似，这里不再赘述。
本发明实施例提供一种地面站。该地面站在图11实施例的基础上，所述通信接口11用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及所述所述第二拍摄设备拍摄获得的近红外影像，所述第一拍摄设备和所述第一拍摄设备同步拍摄。所述处理器12用于：基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态。
可选的，所述处理器12用于：所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
可选的，所述显示组件13用于：显示所述可见光输出影像和/或所述近红外输出影像。
可选的，所述处理器13还用于：基于所述可见光输出影像和所述近红外输出影像，计算植被覆盖指数NDVI和/或强型植被指数EVI，并基于计算获得的NDVI和/或EVI，绘制相应的指数图。
可选的，所述显示组件13还用于：显示所述指数图。
可选的，所述处理器13还用于：基于所述指数图，分析植被的生长状况，并输出分析结果。
可选的，所述处理器12用于：基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
可选的，所述处理器12用于：基于所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
可选的，所述第一拍摄设备为广角相机，所述第二拍摄设备为近红外相机。
本实施例提供的地面站能够用于执行图6实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种地面站。该地面站在图11实施例的基础上，所述通信接口11用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的红外影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。所述处理器12用于：基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述红外影像时的位置和姿态。
可选的，所述处理器12用于：对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述红外影像的投影进行拼接，获得红外输出影像。
可选的，显示组件13用于：显示所述红外输出影像和/或所述可见光输出影像。
可选的，所述处理器12用于：在所述第二拍摄设备拍摄获得的红外影像或者所述红外输出影像中识别出热源物体的位置。
可选的，所述显示组件13还用于：显示所述热源物体在所述红外影像或所述红外输出影像中的位置。
可选的，所述热源物体包括电力线。
可选的，所述处理器12用于：基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态，以及预设电力线数学模型，对识别出的电力线进行建模，形成电力线图层；显示组件13用于：在所述可见光输出影像上叠加显示所述电力线图层。
可选的，所述处理器12用于：基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述红外影像在所述地形表面上的投影进行拼接，获得红外输出影像。
可选的，所述处理器12用于：基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述红外影像在所述地形表面上的投影进行拼接，获得红外输出影像。
可选的，所述第一拍摄设备为广角相机，所述第二拍摄设备为红外相机。
本实施例提供的地面站能够用于执行图8实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种地面站。图12为本发明实施例提供的地面站的结构示意图，如图12所示，地面站20包括：通信接口21、一个或多个处理器22；所述一个或多个处理器22单独或协同工作，所述通信接口21和所述处理器22连接；所述通信接口21用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；所述处理器22用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；所述处理器22用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；所述处理器22用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
可选的，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以相同的拍摄间隔进行拍摄。
可选的，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
可选的，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
本实施例提供的地面站能够用于执行图9实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种飞行器控制器，该飞行器控制器可以是上述实施例所述的飞行器控制器。图13为本发明实施例提供的飞行器控制器的结构示意图，如图13所示，飞行器控制器30包括：通信接口31、一个或多个处理器32；一个或多个处理器单独或协同工作，通信接口31和处理器32连接；所述通信接口31用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；所述处理器32用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；所述处理器32用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；所述处理器32还用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
可选的，所述第一拍摄设备的FOV大于所述第二拍摄设备的FOV。
可选的，所述第二拍摄设备的FOV小于所述预设阈值。
可选的，所述处理器32用于：基于预先设定的像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，以及所述第二拍摄设备在拍摄所述第二影像时的位置和姿，转换为世界坐标系下的位置和姿态。
可选的，所述处理器32用于：基于预先设定的像控点的GPS信息，确定所述像控点在所述第一拍摄设备拍摄获得的第一影像中的相对位置；基于所述像控点在所述第一影像中的相对位置，以及所述像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态转换为世界坐标系下的位置和姿态；基于预先标定的第一拍摄设备和所述第二拍摄设备之间的相对位置关系，将所述第二拍摄设备在拍摄所述第二影像时的位置和姿态转换为世界坐标系下的位置和姿态。
可选的，所述处理器32用于：以预先设定的像控点作为约束条件，采用运动恢复结构SFM算法计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述第二影像时的位置和姿态。
可选的，所述处理器32用于：基于所述第一拍摄设备在拍摄所述第一影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于稠密匹配生成的点云拟合形成地形表面。
可选的，所述处理器32用于：从稠密匹配生成的点云中提取地面点；
基于提取出的地面点拟合形成地形表面。
可选的，所述处理器32还包括：对所述第二影像在所述表面上的投影进行全局色彩和/或亮度调整。
可选的，所述预设的图像处理算法包括如下任意一种：空中三角测量、从运动恢复结构SFM的算法、即时定位与地图构建SLAM算法。
可选的，所述输出影像包括正射影像。
可选的，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联。
可选的，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上分别以相同的拍摄间隔进行拍摄。
可选的，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
可选的，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
本实施例提供的飞行器控制器能够执行图1实施例的技术方案，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种飞行器控制器。该飞行器控制器在图13实施例的基础上，所述通信接口31用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二可见光影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。处理器32用于：基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备的相对位置关系，计算所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态。
可选的，处理器32用于：基于对所述第一可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
可选的，所述处理器32用于：基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述第二可见光影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
可选的，所述处理器32用于：基于所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述第二可见光影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
可选的，所述处理器32还用于：基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态，将所述第一可见光影像投影到所述地形表面。
可选的，所述处理器32还用于：对所述第二可见光影像在所述地形表面上的投影进行正射处理。
可选的，所述第一拍摄设备为广角相机，所述第二拍摄设备为长焦相机。
本实施例提供的飞行器控制器能够用于执行图5实施例的方法，其执行方式和有益效果类似，这里不再赘述。
本发明实施例提供一种飞行器控制器。该飞行器控制器在图13实施例的基础上，所述通信接口31用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及所述所述第二拍摄设备拍摄获得的近红外影像，所述第一拍摄设备和所述第一拍摄设备同步拍摄。所述处理器32用于：基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态。
可选的，所述处理器32用于：所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
可选的，所述处理器13还用于：基于所述可见光输出影像和所述近红外输出影像，计算植被覆盖指数NDVI和/或强型植被指数EVI，并基于计算获得的NDVI和/或EVI，绘制相应的指数图。
可选的，所述处理器32还用于：基于所述指数图，分析植被的生长状况，并输出分析结果。
可选的，所述处理器32用于：基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
可选的，所述处理器32用于：基于所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
可选的，所述第一拍摄设备为广角相机，所述第二拍摄设备为近红外相机。
本实施例提供的飞行器控制器能够用于执行图6实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种飞行器控制器。该飞行器控制器在图13实施例的基础上，所述通信接口31用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的红外影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。所述处理器32用于：基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述红外影像时的位置和姿态。
可选的，所述处理器32用于：对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述红外影像的投影进行拼接，获得红外输出影像。
可选的，所述处理器32用于：在所述第二拍摄设备拍摄获得的红外影像或者所述红外输出影像中识别出热源物体的位置。
可选的，所述热源物体包括电力线。
可选的，所述处理器32用于：基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态，以及预设电力线数学模型，对识别出的电力线进行建模，形成电力线图层；显示组件13用于：在所述可见光输出影像上叠加显示所述电力线图层。
可选的，所述处理器32用于：基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述红外影像在所述地形表面上的投影进行拼接，获得红外输出影像。
可选的，所述处理器32用于：基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；基于所述红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；基于所述代价函数对所述红外影像在所述地形表面上的投影进行拼接，获得红外输出影像。
可选的，所述第一拍摄设备为广角相机，所述第二拍摄设备为红外相机。
本实施例提供的飞行器控制器能够用于执行图8实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种飞行器控制器。图14为本发明实施例提供的飞行器控制器的结构示意图，如图14所示，飞行器控制器40包括：通信接口41、一个或多个处理器42；所述一个或多个处理器42单独或协同工作，所述通信接口41和所述处理器42连接；所述通信接口41用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；所述处理器42用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；所述处理器42用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；所述处理器42用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
可选的，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以相同的拍摄间隔进行拍摄。
可选的，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
可选的，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
本实施例提供的飞行器控制器能够用于执行图9实施例的方法，其执行方式和有益效果类似，在这里不再赘述。
本发明实施例提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述实施例提供的输出影像生成方法。
本发明实施例提供一种无人机。该无人机包括机身；机身；动力***，安装在所述机身，用于提供飞行动力；第一拍摄设备和第二拍摄设备，安装在所述机身，用于拍摄影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；以及如上述实施例所述的飞行器控制器。
其中，本实施例提供的无人机，其执行方式和有益效果与上述实施例所涉及的飞行器控制器相同，在这里不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (135)
1.一种输出影像生成方法，其特征在于，包括：
获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的视场角FOV大于或等于预设阈值；
基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
2.根据权利要求1所述的方法，其特征在于，所述第一拍摄设备的FOV大于所述第二拍摄设备的FOV。
3.根据权利要求2所述的方法，其特征在于，所述第二拍摄设备的FOV小于所述预设阈值。
4.根据权利要求3所述的方法，其特征在于，所述获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，包括：
获取飞行器搭载的第一拍摄设备拍摄获得的第一可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二可见光影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
5.根据权利要求4所述的方法，其特征在于，所述基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，包括：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备的相对位置关系，计算所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态。
6.根据权利要求4所述的方法，其特征在于，所述在所述地形表面上对所述第二影像进行拼接处理，包括：
基于对所述第一可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
7.根据权利要求4所述的方法，其特征在于，所述在所述地形表面上对所述第二影像进行拼接处理，包括：
基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述第二可见光影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
8.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态，将所述第一可见光影像投影到所述地形表面。
9.根据权利要求6或7所述的方法，其特征在于，所述方法还包括：
对所述第二可见光影像在所述地形表面上的投影进行正射处理。
10.根据权利要求1-9中任一项所述的方法，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为长焦相机。
11.根据权利要求1所述的方法，其特征在于，所述获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，包括：
获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及所述所述第二拍摄设备拍摄获得的近红外影像，所述第一拍摄设备和所述第一拍摄设备同步拍摄。
12.根据权利要求11所述的方法，其特征在于，所述基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，包括：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态。
13.根据权利要求11所述的方法，其特征在于，所述在所述地形表面上对所述第二影像进行拼接处理，包括：
对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；
基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
14.根据权利要求13所述的方法，其特征在于，所述方法还包括：
显示所述可见光输出影像和/或所述近红外输出影像。
15.根据权利要求13所述的方法，其特征在于，所述方法还包括：
基于所述可见光输出影像和所述近红外输出影像，计算植被覆盖指数NDVI和/或强型植被指数EVI，并基于计算获得的NDVI和/或EVI，绘制相应的指数图。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
显示所述指数图。
17.根据权利要求16所述的方法，其特征在于，所述方法还包括：
基于所述指数图，分析植被的生长状况，并输出分析结果。
18.根据权利要求11所述的方法，其特征在于，所述在所述地形表面上对所述第二影像进行拼接处理，包括：
基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
19.根据权利要求11-18中任一项所述的方法，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为近红外相机。
20.根据权利要求1所述的方法，其特征在于，所述获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，包括：
获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的红外影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
21.根据权利要求20所述的方法，其特征在于，所述基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，包括：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述红外影像时的位置和姿态。
22.根据权利要求20所述的方法，其特征在于，所述在所述地形表面上对所述第二影像进行拼接处理，包括：
对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；
基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述红外影像的投影进行拼接，获得红外输出影像。
23.根据权利要求22所述的方法，其特征在于，所述方法还包括：显示所述红外输出影像和/或所述可见光输出影像。
24.根据权利要求22所述的方法，其特征在于，所述方法还包括：
在所述第二拍摄设备拍摄获得的红外影像或者所述红外输出影像中识别出热源物体的位置。
25.根据权利要求24所述的方法，其特征在于，所述方法还包括：
显示所述热源物体在所述红外影像或所述红外输出影像中的位置。
26.根据权利要求24所述的方法，其特征在于，所述热源物体包括电力线。
27.根据权利要求26所述的方法，其特征在于，所述方法还包括：
基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态，以及预设电力线数学模型，对识别出的电力线进行建模，形成电力线图层；
在所述可见光输出影像上叠加显示所述电力线图层。
28.根据权利要求20所述的方法，其特征在于，所述在所述地形表面上对所述第二影像进行拼接处理，包括：
基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述红外影像在所述地形表面上的投影进行拼接，获得红外输出影像。
29.根据权利要求20-28中任一项所述的方法，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为红外相机。
30.根据权利要求1所述的方法，其特征在于，所述基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态之后，所述方法还包括：
基于预先设定的像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，以及所述第二拍摄设备在拍摄所述第二影像时的位置和姿，转换为世界坐标系下的位置和姿态。
31.根据权利要求30所述的方法，其特征在于，所述基于预先设定的像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，以及所述第二拍摄设备在拍摄所述第二影像时的位置和姿，转换为世界坐标系下的位置和姿态，包括：
基于预先设定的像控点的GPS信息，确定所述像控点在所述第一拍摄设备拍摄获得的第一影像中的相对位置；
基于所述像控点在所述第一影像中的相对位置，以及所述像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态转换为世界坐标系下的位置和姿态；
基于预先标定的第一拍摄设备和所述第二拍摄设备之间的相对位置关系，将所述第二拍摄设备在拍摄所述第二影像时的位置和姿态转换为世界坐标系下的位置和姿态。
32.根据权利要求31所述的方法，其特征在于，所述方法还包括：
显示所述像控点在所述第一影像上的所述相对位置。
33.根据权利要求1所述的方法，其特征在于，所述基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，包括：
以预先设定的像控点作为约束条件，采用运动恢复结构SFM算法计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述第二影像时的位置和姿态。
34.根据权利要求1所述的方法，其特征在于，所述基于所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面，包括：
基于所述第一拍摄设备在拍摄所述第一影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于稠密匹配生成的点云拟合形成地形表面。
35.根据权利要求34所述的方法，其特征在于，所述基于稠密匹配生成的点云拟和形成地形表面，包括：
从稠密匹配生成的点云中提取地面点；
基于提取出的地面点拟合形成地形表面。
36.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述第二影像在所述表面上的投影进行全局色彩和/或亮度调整。
37.根据权利要求5或12或21所述的方法，其特征在于，所述预设的图像处理算法包括如下任意一种：空中三角测量、从运动恢复结构SFM的算法、即时定位与地图构建SLAM算法。
38.根据据权利要求1-37中任一项所述的方法，其特征在于，所述输出影像包括正射影像。
39.根据权利要求1-37中任一项所述的方法，其特征在于，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联。
40.根据权利要求39所述的方法，其特征在于，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上分别以相同的拍摄间隔进行拍摄。
41.根据权利要求39所述的方法，其特征在于，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
42.根据权利要求41所述的方法，其特征在于，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
43.一种输出影像生成方法，其特征在于，包括：
获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；
基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
44.根据权利要求43所述的方法，其特征在于，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以相同的拍摄间隔进行拍摄。
45.根据权利要求43所述的方法，其特征在于，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
46.根据权利要求45所述的方法，其特征在于，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
47.一种地面站，其特征在于，包括：通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器还用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
48.根据权利要求47所述的地面站，其特征在于，所述第一拍摄设备的FOV大于所述第二拍摄设备的FOV。
49.根据权利要求48所述的地面站，其特征在于，所述第二拍摄设备的FOV小于所述预设阈值。
50.根据权利要求49所述的地面站，其特征在于，所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二可见光影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
51.根据权利要求50所述的地面站，其特征在于，所述处理器，用于：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备的相对位置关系，计算所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态。
52.根据权利要求50所述的地面站，其特征在于，所述处理器用于：基于对所述第一可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
53.根据权利要求50所述的地面站，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述第二可见光影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
54.根据权利要求50所述的地面站，其特征在于，所述处理器还用于：基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态，将所述第一可见光影像投影到所述地形表面。
55.根据权利要求52或53所述的地面站，其特征在于，所述处理器还用于：对所述第二可见光影像在所述地形表面上的投影进行正射处理。
56.根据权利要求47-55中任一项所述的地面站，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为长焦相机。
57.根据权利要求47所述的地面站，其特征在于，所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及所述所述第二拍摄设备拍摄获得的近红外影像，所述第一拍摄设备和所述第一拍摄设备同步拍摄。
58.根据权利要求57所述的地面站，其特征在于，所述处理器用于：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态。
59.根据权利要求57所述的地面站，其特征在于，所述处理器用于：
对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；
基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
60.根据权利要求59所述的地面站，其特征在于，所述地面站还包括：显示组件，所述显示组件与所述处理器通信连接；
所述显示组件用于：显示所述可见光输出影像和/或所述近红外输出影像。
61.根据权利要求59所述的地面站，其特征在于，所述处理器还用于：基于所述可见光输出影像和所述近红外输出影像，计算植被覆盖指数NDVI和/或强型植被指数EVI，并基于计算获得的NDVI和/或EVI，绘制相应的指数图。
62.根据权利要求61所述的地面站，其特征在于，显示组件用于：显示所述指数图。
63.根据权利要求62所述的地面站，其特征在于，所述处理器还用于：
基于所述指数图，分析植被的生长状况，并输出分析结果。
64.根据权利要求57所述的地面站，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
65.根据权利要求57-64中任一项所述的地面站，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为近红外相机。
66.根据权利要求47所述的地面站，其特征在于，所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的红外影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
67.根据权利要求66所述的地面站，其特征在于，所述处理器用于：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述红外影像时的位置和姿态。
68.根据权利要求66所述的地面站，其特征在于，所述处理器用于：
对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；
基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述红外影像的投影进行拼接，获得红外输出影像。
69.根据权利要求68所述的地面站，其特征在于，显示组件用于：显示所述红外输出影像和/或所述可见光输出影像。
70.根据权利要求68所述的地面站，其特征在于，所述处理器用于：
在所述第二拍摄设备拍摄获得的红外影像或者所述红外输出影像中识别出热源物体的位置。
71.根据权利要求70所述的地面站，其特征在于，显示组件还用于：
显示所述热源物体在所述红外影像或所述红外输出影像中的位置。
72.根据权利要求70所述的地面站，其特征在于，所述热源物体包括电力线。
73.根据权利要求72所述的地面站，其特征在于，所述处理器用于：基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态，以及预设电力线数学模型，对识别出的电力线进行建模，形成电力线图层；
显示组件用于：在所述可见光输出影像上叠加显示所述电力线图层。
74.根据权利要求66所述的地面站，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述红外影像在所述地形表面上的投影进行拼接，获得红外输出影像。
75.根据权利要求66-74中任一项所述的地面站，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为红外相机。
76.根据权利要求47所述的地面站，其特征在于，所述处理器用于：
基于预先设定的像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，以及所述第二拍摄设备在拍摄所述第二影像时的位置和姿，转换为世界坐标系下的位置和姿态。
77.根据权利要求76所述的地面站，其特征在于，所述处理器用于：
基于预先设定的像控点的GPS信息，确定所述像控点在所述第一拍摄设备拍摄获得的第一影像中的相对位置；
基于所述像控点在所述第一影像中的相对位置，以及所述像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态转换为世界坐标系下的位置和姿态；
基于预先标定的第一拍摄设备和所述第二拍摄设备之间的相对位置关系，将所述第二拍摄设备在拍摄所述第二影像时的位置和姿态转换为世界坐标系下的位置和姿态。
78.根据权利要求77所述的地面站，其特征在于，显示组件用于：
显示所述像控点在所述第一影像上的所述相对位置。
79.根据权利要求47所述的地面站，其特征在于，所述处理器用于：
以预先设定的像控点作为约束条件，采用运动恢复结构SFM算法计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述第二影像时的位置和姿态。
80.根据权利要求47所述的地面站，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述第一影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于稠密匹配生成的点云拟合形成地形表面。
81.根据权利要求80所述的地面站，其特征在于，所述处理器用于：
从稠密匹配生成的点云中提取地面点；
基于提取出的地面点拟合形成地形表面。
82.根据权利要求47所述的地面站，其特征在于，所述处理器还包括：
对所述第二影像在所述表面上的投影进行全局色彩和/或亮度调整。
83.根据权利要求51或58或67所述的地面站，其特征在于，所述预设的图像处理算法包括如下任意一种：空中三角测量、从运动恢复结构SFM的算法、即时定位与地图构建SLAM算法。
84.根据据权利要求47-83中任一项所述的地面站，其特征在于，所述输出影像包括正射影像。
85.根据权利要求47-83中任一项所述的地面站，其特征在于，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联。
86.根据权利要求85所述的地面站，其特征在于，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上分别以相同的拍摄间隔进行拍摄。
87.根据权利要求85所述的地面站，其特征在于，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
88.根据权利要求87所述的地面站，其特征在于，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
89.一种地面站，其特征在于，包括：通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
90.根据权利要求89所述的地面站，其特征在于，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以相同的拍摄间隔进行拍摄。
91.根据权利要求89所述的地面站，其特征在于，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
92.根据权利要求91所述的地面站，其特征在于，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
93.一种飞行器控制器，其特征在于，包括：通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器还用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
94.根据权利要求93所述的飞行器控制器，其特征在于，所述第一拍摄设备的FOV大于所述第二拍摄设备的FOV。
95.根据权利要求94所述的飞行器控制器，其特征在于，所述第二拍摄设备的FOV小于所述预设阈值。
96.根据权利要求95所述的飞行器控制器，其特征在于，所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二可见光影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
97.根据权利要求96所述的飞行器控制器，其特征在于，所述处理器，用于：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备的相对位置关系，计算所述第二拍摄设备在拍摄所述第二可见光影像时的位置和姿态。
98.根据权利要求96所述的飞行器控制器，其特征在于，所述处理器用于：基于对所述第一可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
99.根据权利要求96所述的飞行器控制器，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述第二可见光影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述第二可见光影像在所述地形表面上的投影进行拼接，获得所述第二拍摄设备对应的可见光输出影像。
100.根据权利要求96所述的飞行器控制器，其特征在于，所述处理器还用于：基于所述第一拍摄设备在拍摄所述第一可见光影像时的位置和姿态，将所述第一可见光影像投影到所述地形表面。
101.根据权利要求98或99所述的飞行器控制器，其特征在于，所述处理器还用于：对所述第二可见光影像在所述地形表面上的投影进行正射处理。
102.根据权利要求93-101中任一项所述的飞行器控制器，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为长焦相机。
103.根据权利要求93所述的飞行器控制器，其特征在于，所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及所述所述第二拍摄设备拍摄获得的近红外影像，所述第一拍摄设备和所述第一拍摄设备同步拍摄。
104.根据权利要求103所述的飞行器控制器，其特征在于，所述处理器用于：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述近红外影像时的位置和姿态。
105.根据权利要求103所述的飞行器控制器，其特征在于，所述处理器用于：
对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；
基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
106.根据权利要求105所述的飞行器控制器，其特征在于，所述处理器还用于：基于所述可见光输出影像和所述近红外输出影像，计算植被覆盖指数NDVI和/或强型植被指数EVI，并基于计算获得的NDVI和/或EVI，绘制相应的指数图。
107.根据权利要求106所述的飞行器控制器，其特征在于，所述处理器还用于：
基于所述指数图，分析植被的生长状况，并输出分析结果。
108.根据权利要求103所述的飞行器控制器，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述近红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述近红外影像在所述地形表面上的投影进行拼接，获得近红外输出影像。
109.根据权利要求103-108中任一项所述的飞行器控制器，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为近红外相机。
110.根据权利要求93所述的飞行器控制器，其特征在于，所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的可见光影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的红外影像，所述第一拍摄设备和所述第二拍摄设备同步拍摄。
111.根据权利要求110所述的飞行器控制器，其特征在于，所述处理器用于：
基于预设的图像处理算法，计算所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述红外影像时的位置和姿态。
112.根据权利要求110所述的飞行器控制器，其特征在于，所述处理器用于：
对所述可见光影像在所述地形表面上的投影进行拼接处理，获得可见光输出影像；
基于对所述可见光影像在所述地形表面上的投影进行拼接时采用的拼接线，对所述红外影像的投影进行拼接，获得红外输出影像。
113.根据权利要求112所述的飞行器控制器，其特征在于，所述处理器用于：
在所述第二拍摄设备拍摄获得的红外影像或者所述红外输出影像中识别出热源物体的位置。
114.根据权利要求113所述的飞行器控制器，其特征在于，所述热源物体包括电力线。
115.根据权利要求114所述的飞行器控制器，其特征在于，所述处理器用于：
基于所述第二拍摄设备在拍摄所述红外影像时的位置和姿态，以及预设电力线数学模型，对识别出的电力线进行建模，形成电力线图层；
将所述电力线图层叠加在所述可见光输出影像上。
116.根据权利要求110所述的飞行器控制器，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述可见光影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于所述红外影像在所述地形表面上的投影，以及所述稠密匹配生成的点云，构建代价函数；
基于所述代价函数对所述红外影像在所述地形表面上的投影进行拼接，获得红外输出影像。
117.根据权利要求110-116中任一项所述的飞行器控制器，其特征在于，所述第一拍摄设备为广角相机，所述第二拍摄设备为红外相机。
118.根据权利要求93所述的飞行器控制器，其特征在于，所述处理器用于：
基于预先设定的像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，以及所述第二拍摄设备在拍摄所述第二影像时的位置和姿，转换为世界坐标系下的位置和姿态。
119.根据权利要求118所述的飞行器控制器，其特征在于，所述处理器用于：
基于预先设定的像控点的GPS信息，确定所述像控点在所述第一拍摄设备拍摄获得的第一影像中的相对位置；
基于所述像控点在所述第一影像中的相对位置，以及所述像控点的GPS信息，将所述第一拍摄设备在拍摄所述第一影像时的位置和姿态转换为世界坐标系下的位置和姿态；
基于预先标定的第一拍摄设备和所述第二拍摄设备之间的相对位置关系，将所述第二拍摄设备在拍摄所述第二影像时的位置和姿态转换为世界坐标系下的位置和姿态。
120.根据权利要求93所述的飞行器控制器，其特征在于，所述处理器用于：
以预先设定的像控点作为约束条件，采用运动恢复结构SFM算法计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态；
基于预先标定的所述第一拍摄设备和所述第二拍摄设备之间的相对位置关系，计算所述第二拍摄设备在拍摄所述第二影像时的位置和姿态。
121.根据权利要求93所述的飞行器控制器，其特征在于，所述处理器用于：
基于所述第一拍摄设备在拍摄所述第一影像时的位置和姿态进行稠密匹配，生成相应的稠密点云或半稠密点云；
基于稠密匹配生成的点云拟合形成地形表面。
122.根据权利要求121所述的飞行器控制器，其特征在于，所述处理器用于：
从稠密匹配生成的点云中提取地面点；
基于提取出的地面点拟合形成地形表面。
123.根据权利要求93所述的飞行器控制器，其特征在于，所述飞行器控制器还包括：
对所述第二影像在所述表面上的投影进行全局色彩和/或亮度调整。
124.根据权利要求97或104或111所述的飞行器控制器，其特征在于，所述预设的图像处理算法包括如下任意一种：空中三角测量、从运动恢复结构SFM的算法、即时定位与地图构建SLAM算法。
125.根据据权利要求93-124中任一项所述的飞行器控制器，其特征在于，所述输出影像包括正射影像。
126.根据权利要求93-124中任一项所述的飞行器控制器，其特征在于，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联。
127.根据权利要求126所述的飞行器控制器，其特征在于，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上分别以相同的拍摄间隔进行拍摄。
128.根据权利要求126所述的飞行器控制器，其特征在于，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
129.根据权利要求128所述的飞行器控制器，其特征在于，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
130.一种飞行器控制器，其特征在于，包括：通信接口、一个或多个处理器；所述一个或多个处理器单独或协同工作，所述通信接口和所述处理器连接；
所述通信接口用于：获取飞行器搭载的第一拍摄设备拍摄获得的第一影像，以及获取飞行器搭载的第二拍摄设备拍摄获得的第二影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值，其中，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔与所述飞行器相对于地面的飞行高度关联；
所述处理器用于：基于预设算法，计算所述第一拍摄设备在拍摄所述第一影像时的位置和姿态和所述第二拍摄设备在拍摄所述第二影像时的位置和姿态；
所述处理器用于：基于所述第一影像和所述第一拍摄设备在拍摄所述第一影像时的位置和姿态，生成地形表面；
所述处理器用于：基于所述第二拍摄设备在拍摄所述第二影像时的位置和姿态，在所述地形表面上对所述第二影像进行投影和拼接处理，获得输出影像。
131.根据权利要求130所述的飞行器控制器，其特征在于，当所述飞行器相对于地表以固定的相对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以相同的拍摄间隔进行拍摄。
132.根据权利要求130所述的飞行器控制器，其特征在于，当所述飞行器相对于地表高度改变时，所述第一拍摄设备和所述第二拍摄设备的拍摄间隔改变。
133.根据权利要求132所述的飞行器控制器，其特征在于，当所述飞行器以统一的绝对高度飞行时，所述第一拍摄设备和所述第二拍摄设备在水平方向上以时变的拍摄间隔进行拍摄，其中，所述拍摄间隔与预先配置的影像重叠率，以及所述飞行器与地表的相对高度关联。
134.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-46中任一项所述的输出影像生成方法。
135.一种无人机，其特征在于，包括：
机身；
动力***，安装在所述机身，用于提供飞行动力；
第一拍摄设备和第二拍摄设备，安装在所述机身，用于拍摄影像，其中，所述第一拍摄设备的FOV大于或等于预设阈值；
以及如权利要求93-133中任一项所述的飞行器控制器。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2017/112202 WO2019100219A1 (zh) | 2017-11-21 | 2017-11-21 | 输出影像生成方法、设备及无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109076173A true CN109076173A (zh) | 2018-12-21 |
Family
ID=64822093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201780026914.7A Pending CN109076173A (zh) | 2017-11-21 | 2017-11-21 | 输出影像生成方法、设备及无人机 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109076173A (zh) |
| WO (1) | WO2019100219A1 (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及*** |
| CN111357274A (zh) * | 2019-01-24 | 2020-06-30 | 深圳市大疆创新科技有限公司 | 控制端的显示方法、设备及存储介质 |
| CN111602176A (zh) * | 2019-06-03 | 2020-08-28 | 深圳市大疆创新科技有限公司 | 点云数据的位置坐标的编解码方法、***和存储介质 |
| CN112154484A (zh) * | 2019-09-12 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 正射影像生成方法、***和存储介质 |
| CN112419176A (zh) * | 2020-11-10 | 2021-02-26 | 国网江西省电力有限公司电力科学研究院 | 一种单回路输电通道导线正摄影像点云增强方法及装置 |
| WO2021046861A1 (zh) * | 2019-09-12 | 2021-03-18 | 深圳市大疆创新科技有限公司 | 正射影像生成方法、***和存储介质 |
| CN112734630A (zh) * | 2020-12-30 | 2021-04-30 | 广州极飞科技股份有限公司 | 正射影像处理方法、装置、设备及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019157690A1 (zh) * | 2018-02-14 | 2019-08-22 | 深圳市大疆创新科技有限公司 | 自动抓拍方法及装置、无人机及存储介质 |
| CN113497930A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 一种显示方法及控制显示的装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110122300A1 (en) * | 2009-11-24 | 2011-05-26 | Microsoft Corporation | Large format digital camera with multiple optical systems and detector arrays |
| CN102736128A (zh) * | 2011-09-21 | 2012-10-17 | 中国科学院地理科学与资源研究所 | 无人机光学遥感影像数据处理方法及装置 |
| CN104050649A (zh) * | 2014-06-13 | 2014-09-17 | 北京农业信息技术研究中心 | 农业遥感*** |
| CN104268935A (zh) * | 2014-09-18 | 2015-01-07 | 华南理工大学 | 一种基于特征的机载激光点云与影像数据融合***及方法 |
| US20160176542A1 (en) * | 2014-12-18 | 2016-06-23 | The Boeing Company | Image capture systems and methods and associated mobile apparatuses |
| CN106461389A (zh) * | 2014-06-20 | 2017-02-22 | 尼尔马普澳大利亚控股有限公司 | 广域航空相机*** |
| CN106574835A (zh) * | 2014-06-20 | 2017-04-19 | 尼尔马普澳大利亚控股有限公司 | 高空航空相机*** |
| CN107251055A (zh) * | 2015-02-10 | 2017-10-13 | 近地图澳大利亚控股有限公司 | 走廊捕获 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9007432B2 (en) * | 2010-12-16 | 2015-04-14 | The Massachusetts Institute Of Technology | Imaging systems and methods for immersive surveillance |
| CN103017739B (zh) * | 2012-11-20 | 2015-04-29 | 武汉大学 | 基于激光雷达点云与航空影像的真正射影像的制作方法 |
| CN106204443A (zh) * | 2016-07-01 | 2016-12-07 | 成都通甲优博科技有限责任公司 | 一种基于多目复用的全景无人机*** |
| CN105959576A (zh) * | 2016-07-13 | 2016-09-21 | 北京博瑞爱飞科技发展有限公司 | 无人机拍摄全景图的方法及装置 |
| CN107316325B (zh) * | 2017-06-07 | 2020-09-22 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
-
2017
- 2017-11-21 CN CN201780026914.7A patent/CN109076173A/zh active Pending
- 2017-11-21 WO PCT/CN2017/112202 patent/WO2019100219A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110122300A1 (en) * | 2009-11-24 | 2011-05-26 | Microsoft Corporation | Large format digital camera with multiple optical systems and detector arrays |
| CN102736128A (zh) * | 2011-09-21 | 2012-10-17 | 中国科学院地理科学与资源研究所 | 无人机光学遥感影像数据处理方法及装置 |
| CN104050649A (zh) * | 2014-06-13 | 2014-09-17 | 北京农业信息技术研究中心 | 农业遥感*** |
| CN106461389A (zh) * | 2014-06-20 | 2017-02-22 | 尼尔马普澳大利亚控股有限公司 | 广域航空相机*** |
| CN106574835A (zh) * | 2014-06-20 | 2017-04-19 | 尼尔马普澳大利亚控股有限公司 | 高空航空相机*** |
| CN104268935A (zh) * | 2014-09-18 | 2015-01-07 | 华南理工大学 | 一种基于特征的机载激光点云与影像数据融合***及方法 |
| US20160176542A1 (en) * | 2014-12-18 | 2016-06-23 | The Boeing Company | Image capture systems and methods and associated mobile apparatuses |
| CN107251055A (zh) * | 2015-02-10 | 2017-10-13 | 近地图澳大利亚控股有限公司 | 走廊捕获 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111357274A (zh) * | 2019-01-24 | 2020-06-30 | 深圳市大疆创新科技有限公司 | 控制端的显示方法、设备及存储介质 |
| CN111602176A (zh) * | 2019-06-03 | 2020-08-28 | 深圳市大疆创新科技有限公司 | 点云数据的位置坐标的编解码方法、***和存储介质 |
| WO2020243874A1 (zh) * | 2019-06-03 | 2020-12-10 | 深圳市大疆创新科技有限公司 | 点云数据的位置坐标的编解码方法、***和存储介质 |
| CN110675450A (zh) * | 2019-09-06 | 2020-01-10 | 武汉九州位讯科技有限公司 | 基于slam技术的正射影像实时生成方法及*** |
| CN112154484A (zh) * | 2019-09-12 | 2020-12-29 | 深圳市大疆创新科技有限公司 | 正射影像生成方法、***和存储介质 |
| WO2021046861A1 (zh) * | 2019-09-12 | 2021-03-18 | 深圳市大疆创新科技有限公司 | 正射影像生成方法、***和存储介质 |
| CN112419176A (zh) * | 2020-11-10 | 2021-02-26 | 国网江西省电力有限公司电力科学研究院 | 一种单回路输电通道导线正摄影像点云增强方法及装置 |
| CN112419176B (zh) * | 2020-11-10 | 2024-05-14 | 国网江西省电力有限公司电力科学研究院 | 一种单回路输电通道导线正摄影像点云增强方法及装置 |
| CN112734630A (zh) * | 2020-12-30 | 2021-04-30 | 广州极飞科技股份有限公司 | 正射影像处理方法、装置、设备及存储介质 |
| CN112734630B (zh) * | 2020-12-30 | 2022-09-13 | 广州极飞科技股份有限公司 | 正射影像处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019100219A1 (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109076173A (zh) | 输出影像生成方法、设备及无人机 | |
| US11635775B2 (en) | Systems and methods for UAV interactive instructions and control | |
| KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| CN107514993B (zh) | 基于无人机的面向单体建筑建模的数据采集方法及*** | |
| CN110494360A (zh) | 用于提供自主摄影及摄像的***和方法 | |
| CN107504957A (zh) | 利用无人机多视角摄像快速进行三维地形模型构建的方法 | |
| CN104376596B (zh) | 一种基于单幅图像的三维场景结构建模与注册方法 | |
| CN109241820B (zh) | 基于空间探索的无人机自主拍摄方法 | |
| CN102647449B (zh) | 基于云服务的智能摄影方法、装置及移动终端 | |
| CN109218619A (zh) | 图像获取方法、装置和*** | |
| CN108351653A (zh) | 用于uav飞行控制的***和方法 | |
| CN106204443A (zh) | 一种基于多目复用的全景无人机*** | |
| Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
| CN109671118A (zh) | 一种虚拟现实多人交互方法、装置及*** | |
| WO2023280038A1 (zh) | 一种三维实景模型的构建方法及相关装置 | |
| CN108475442A (zh) | 用于无人机航拍的增强现实方法、处理器及无人机 | |
| CN106462943A (zh) | 将全景成像与航拍成像对齐 | |
| Qiu et al. | Model-based global localization for aerial robots using edge alignment | |
| CN110062916A (zh) | 用于模拟可移动平台的操作的视觉模拟*** | |
| CN111415409A (zh) | 一种基于倾斜摄影的建模方法、***、设备和存储介质 | |
| CN109461208A (zh) | 三维地图处理方法、装置、介质和计算设备 | |
| Küng et al. | Simplified building models extraction from ultra-light UAV imagery | |
| CN112771576A (zh) | 位置信息获取方法、设备及存储介质 | |
| CN111275015A (zh) | 一种基于无人机的电力巡线电塔检测识别方法及*** | |
| CN107808402A (zh) | 多相机***的标定方法、多相机***及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181221 |
|
| RJ01 | Rejection of invention patent application after publication |