CN105121999A - 用于无人驾驶飞机的天底对准的航拍图像采集的图像触发控制 - Google Patents

用于无人驾驶飞机的天底对准的航拍图像采集的图像触发控制 Download PDF

Info

Publication number
CN105121999A
CN105121999A CN201480017333.3A CN201480017333A CN105121999A CN 105121999 A CN105121999 A CN 105121999A CN 201480017333 A CN201480017333 A CN 201480017333A CN 105121999 A CN105121999 A CN 105121999A
Authority
CN
China
Prior art keywords
image
aerial images
camera
aircraft
toggle area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480017333.3A
Other languages
English (en)
Other versions
CN105121999B (zh
Inventor
R·J·瓦格纳
M·纳德尔伊恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Geosystems AG
Original Assignee
Leica Geosystems AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Geosystems AG filed Critical Leica Geosystems AG
Publication of CN105121999A publication Critical patent/CN105121999A/zh
Application granted granted Critical
Publication of CN105121999B publication Critical patent/CN105121999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/38—Releasing-devices separate from shutter
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)
  • Navigation (AREA)

Abstract

用于利用无人驾驶的和可控制的飞机，尤其是无人机在所述飞机的飞行运动过程中采集航拍图像的方法，该方法包括连续确定照相机位置和对准照相机光学轴线，以及采集一系列航拍图像。对于所述航拍图像系列的每幅航拍图像(21a-21b)，相应的航拍图像(21a-21b)的采集是通过所述飞机飞过各个图像触发区域(33)而被触发的，其中，所述各个图像触发区域(33)的位置至少由在每一种情况下与所述各个图像触发区域(33)相关的一个触发位置来确定，并且当飞过所述各个图像触发区域(33)时，根据就预先确定的空间对准所限定的最大角度偏差的满足情况而言所述照相机轴线的对准，采集被触发。

Description

用于无人驾驶飞机的天底对准的航拍图像采集的图像触发控制
本申请涉及一种在权利要求1前序部分所述的用于采集航拍图像的方法、一种在权利要求11中所述的用于无人驾驶的航拍图像采集飞行的控制单元，以及一种在权利要求13中所述的无人驾驶飞机。
根据现有技术的无人驾驶飞机(UAV)，除了军事领域上的应用之外，现在也越来越多地应用于民用地形采集和对地观测。在这样的情况下，预先确定的飞行路径遵循于飞行计划，其中，多幅航拍图像和数据大多是以预设的图像采集频率和沿着所述路径的预设的图像重叠(相邻图像)通过照相机或图像传感器来采集的。为了实现这一目的，用于图像采集的各个触发点通常在飞行计划中限定。另外，用于飞机的位置和对准数据被测量，并与各个采集到的图像相关联。图像触发例如是基于采集到的GPS位置数据或时间数据被触发的。
在上述飞行过程中采集的全部数据在随后的“后处理”的范围内被处理，从而通过适当关联图像以及计算位置数据获得所采集地形的平面和立体的摄影图像，并从中得到正交的产品。
尤其是，轻质无人驾驶飞机对风是非常敏感的，在这种情况下是不稳定的，也就是说，较弱的阵风或其它外部因素就已经能够显著影响其相应的位置并且使之以不确定的方式发生变化。因此，航拍图像不能以飞机相同的对准或采集角度分别采集，而是每一张航拍图像发生偏移，偏移不仅存在于飞行方向上并且，例如，还存在于正交于飞行方向的方向上(观测方向)。
传统的无人驾驶飞机在数据记录和触发图像记录的过程中没有主动考虑或纠正***的空间位置，因而使得对于图像采集来说保证了统一的观测方向。这样就给后处理的数据的精确性带来了不良影响，直到产生数据空缺，例如，待观测地区的一些区域在图像中未被采集。由于在这种情况下采集的图像具有不同的观测方向，因而，例如由于透视失真(perspectivedistortions)以及各个图像间的关联点形成能力降低而使得从采集图像得到的立体图像的精确度下降。在不准确的GPS测定的情况下，对立体图像进行精确的对准，并将数据相互登记是有必要的。
如果无人驾驶飞机经过一阵风并因此例如关于无人驾驶飞机的天底(nadir)对准或水平对准强烈倾斜，此时，所需的地形区域在航拍图像拍摄时不能被采集到，但是，根据无人驾驶飞机的偏转，临近区域或者甚至是与前一采集到的图像没有重叠的区域被采集到。
上述数据空缺通常通过反复的上空飞行和再次对相关区域进行图像采集来解决，而这些做法相当耗费时间。
本发明的目的在于减少或防止上述提及的在航拍图像记录时精确度和耗费时间方面的缺点。
这一目的通过实施独立权利要求描述的特征来实现。以可选择地或有利的方式来限定本发明的特征通过从属权利要求获得。
本发明涉及一种在飞机的飞行运动过程中，用带有照相机的无人驾驶的且可控制的飞机(特别是涉及无人机)进行航拍图像采集的方法，该方法包括连续确定照相机的位置和对准照相机光学轴线以及采集航拍图像系列。对于航拍图像系列的每一幅图像，各个航拍图像的采集是在飞机飞过各个图像触发区域时触发的，其中，各个图像触发区域的位置至少通过分别在飞行计划中与所述各个图像触发区域相关的一个触发位置来确定，并取决于飞过各个图像触发区域时照相机光学轴线就相对于预设的空间对准(对于照相机轴线)所限定的最大角度偏差而言的满足情况。
飞机飞过各个图像触发区域的飞行尤其与照相机(或飞机)在飞行运动中相对于图像触发区域位置的位置相关。只要当前确定的照相机位置(飞机位置)在该图像触发区域内，则通过该区域的飞行正在进行。
由于无人驾驶飞机(UAV)通常具有相对较弱的马达，UAV位置的主动调整仅在一定限度内实现或根本不调整。然而借助惯性测量单元(IMU)或其它的位置测量传感器，可以连续地确定在UAV的空间中的位置和设置在UVA上的照相机的位置。
UAV根据飞行计划飞过待记录的区域。在这种情况下，照相机在预设的时间周期内被触发。在这种情况下，在添加IMU测量数据时，空间中的位置可以“实时”来确定。如果UAV或照相机轴线(用照相机采集图像的方向)在第一可能触发时间点(在图像触发区域内)偏离预设的对准(例如，严重倾斜而并不是照相机的天底观测方向或水平观测方向)，则触发时间点被延迟一定时间。
从而，最大数目的航拍图像可在相同的观测方向(例如，天底)但不同的位置(以限定的最小重叠)获得。
尤其是，根据本发明，图像触发区域通过在飞行运动中待连续采集的两幅航拍图像预设的重叠范围来确定。
就此而言，根据本发明，所述重叠范围尤其对应于航拍图像的50％至90％之间的图像面积，尤其对应于航拍图像的60％至80％之间的图像面积。
根据本发明的特殊实施例，图像触发区域是如此确定的，即，针对待连续采集的两幅航拍图像来限定最小图像重叠范围，最小图像重叠范围相对于由飞行计划预先设定的飞行路径被预先确定，尤其是其中，最小图像重叠范围在待连续采集的两幅航拍图像的采集过程中被保持。
尤其是，根据本发明，最小图像重叠范围在这种情况下是航拍图像的60％的图像面积。
当每个立体图像的最小图像重叠范围为60％时，可以在飞行计划中考虑附加20％的图像面积(总共为80％的图像重叠)，并相应限定图像触发区域。如果触发延迟是必需的，则所述延迟可以在位于最小重叠范围和安全系数之间的20％的安全裕度范围内(＝图像触发区域)采用。
在本发明进一步的具体实施方案中，根据相关触发位置，尤其是根据预设的重叠范围，尤其是关于由飞行计划预设的飞行路径，为各个图像触发区域限定起始位置和结束位置。
也就是说，一旦在飞行运动过程中，用于图像采集的视野边界(所述视野边界的当前位置能够根据连续确定的相机位置推导出来)与图像触发区域的起始位置相对应，直至实现与结束位置的视野边界的对应，就执行航拍图像采集的触发。这些位置可通过测量规定来确定，例如，图像的容许重叠、飞行计划中触发点的位置和/或与各个触发点相关的图像触发区域的目标位置。
根据本发明的一个具体实施方式，预设的空间对准是照相机轴线的天底对准或水平对准。也就是说，航拍图像在照相机关于天底对准或关于水平对准所允许的角度范围内进行采集。
对于飞行计划，根据本发明，所述飞行计划尤其可以限定多个触发位置，其中为了采集每一张航拍图像而每个触发位置限定一个与图像触发区域相关的位置，尤其是，其中由飞行计划限定的触发位置在飞行中利用飞机以可控制的方式，尤其是根据预设的飞行模式，尤其是以蜿蜒状的飞行方式来到达。
根据本发明的一个具体实施方式，根据用于所述航拍图像采集的实际采集时间点和/或所述航拍图像采集过程中当前的照相机的实际位置来执行航拍图像系列的相应于其在飞行计划中的位置的下一个触发位置的更新。从而，能够执行飞行计划相对于已经采集到的和下一次待采集的区域部分的动态调整。
对于实现关于所述预先设定的空间对准所限定的最大角度偏差来说，根据本发明，尤其是可以调整所述飞机的飞行速度，尤其是，其中通过降低飞行速度来增大用于所述航拍图像采集的已有的采集时间窗(timewindow)。
根据本发明，尤其是，当所述飞机飞过所述图像触发区域时，根据相对于预先确定的空间对准所限定的最大角度偏差的满足情况，重复飞向与所述图像触发区域相关的所述触发位置并采集这一触发位置的所述航拍图像。
进一步地，在本发明的范围内，相对于所述预先设定的空间对准的最大角度偏差是5°，尤其是2°。
本发明进一步地涉及用于无人驾驶的航拍图像采集飞行的控制单元，其设计用于获取无人驾驶飞机的位置信息、对准信息和飞行计划数据。进一步地，所述控制单元设计为产生对用于航拍图像采集的飞机的照相机进行控制的控制信号，使得航拍图像系列的每一幅航拍图像的采集可以以基于所述控制信号进行控制的方式被触发：
-如果能够由所述位置信息推导出的照相机位置位于能够由所述飞行计划数据得出的相应的图像触发区域内，其中所述各个图像触发区域的位置至少由相应的与所述各个图像触发区域相关的根据飞行计划数据的一个触发位置确定，以及
-取决于就相对于所述预先确定的空间对准(对于照相机光学轴线)所限定的最大角度偏差的满足情况而言的能够由所述对准信息得出的照相机光学轴线的对准，来触发。
进一步地，本发明涉及一个***，所述***由根据本发明的控制单元(根据上一个实施方式)、照相机、存储器和用于确定照相机位置和照相机光学轴线对准的传感器单元(尤其是GNSS接收单元和惯性测量单元)组成。在这种情况下，所述位置信息和对准信息可由所述传感器单元确定和提供，所述飞行计划数据可由所述存储器提供，所述照相机可借助由所述控制单元产生的控制信号来控制，用于所述航拍图像采集。
此外，本发明涉及一种无人驾驶的并且可控制的具有本发明的上述***的飞机，尤其是一种无人机。所述飞机具有航拍图像采集功能，即在执行该功能时，在所述飞机的飞行运动过程中由所述控制单元控制，当飞机飞过图像触发区域时至少一幅航拍图像的采集被触发，其中所述图像触发区域的位置至少由在飞行计划中与图像触发区域相关的一个触发位置确定，并且取决于飞过所述图像触发区域时就相对于预先确定的空间对准(对于照相机的光学轴线)的最大角度偏差的满足情况而言所述照相机轴线的对准。
根据本发明的一个具体实施方式，根据本发明的所述控制单元设计为根据上述实施方式的方法可以利用所述飞机来执行。
此外，本发明涉及一种具有程序代码的计算机程序产品，以便尤其根据本发明的方法，尤其当所述程序在被设计为控制单元的电子数据处理单元上执行时，用于获得带有照相机的无人驾驶飞机的位置信息、对准信息和飞行计划数据，并且用于根据所述位置信息、对准信息和飞行计划数据，尤其是根据照相机的对准和位置来控制航拍图像采集，所述程序代码存储在机器可读的载体上或至少部分地由一种电磁波体现。
根据本发明的方法和根据本发明的装置将在下文单独地以在附图中概要阐释的具体示例性实施例的基础上作为举例来更详细地描述，其中本发明进一步的优点也将被描述。在具体附图中：
图1示出了根据本发明的利用无人驾驶飞机的航拍图像的采集；
图2示出了一个飞行计划的触发点和根据本发明的在这些各个触发点处被采集的地形区域；
图3示出了根据本发明的两个重叠的航拍图像的采集原理；以及
图4示出了根据本发明的飞机和角度范围α，α是用于航拍图像采集的、相对于所述飞机对准所容许的角度范围。
图1示出了根据本发明的无人驾驶的且可以控制的飞机1(UAV)，该飞机带有照相机2，其中借助照相机2来采集待采集的地形5的一部分的图像。因此，地形5的区域11通过航拍图像采集。照相机2与飞机1刚性连接，并且位于相对所述UAV1的已知相对位置上。因此，UAV1的位置和对准大体上等同于照相机2的位置和对准。
飞机1具有一个位置确定单元，借助该位置确定单元来连续确定飞机1或照相机2的当前位置。所述位置确定单元优选地设计为GNSS接收单元(例如，GPS、GLONASS或Galileo)，其中，GNSS位置信号被采集并且基于上述信号推导出UAV1的位置。进一步地，UAV1具有一个惯性测量单元(IMU)，用于确定尤其是连续确定飞机1或照相机2的当前对准(即，照相机的光学轴线)。为实现这一目的，例如设置倾角传感器(inclinationsensor)、加速度传感器、磁性罗盘，和/或转速传感器。
飞机1沿着预定路径移动(由箭头3标示)。在这种情况下，飞机1(照相机2)的位置和对准被连续地确定。如果飞机1到达用于采集下一幅图像的位置，则与下一个地形部段12相对应的航拍图像被采集。在这种情况下，根据飞行速度和各个图像触发时间点，用于所述地形部段的重叠范围13，即，地形区域13，被两张航拍图像都采集到了。
根据确定的飞行路径，用于采集地形5航拍图像的各个触发点根据待采集的地形5被限定，即，用于航空图像系列的待采集的航拍图像的位置被确定。这些点是预先确定的，从而在每种情况下连续采集的航拍图像均具有确定的图像重叠范围。
例如，两幅相邻的航拍图像均至少重叠其60％的图像面积。这使得基于这两幅图像的相应地形部分的立体图像的可靠的创建成为可能。
为每个触发点限定图像触发区域。根据本发明，图像触发区域是这样选择的，即在飞过该图像触发区域过程中图像采集(只要在飞行运动过程中，飞机1或照相机2的位置位于该图像触发区域内)保证了至少一个所要求的最小重叠范围被保持。
进一步地，图像触发区域是这样选择的，即提供图像采集的安全区域，即，产生一个时间窗，在该时间窗中，图像采集可在预定义的测量要求下执行。例如，为图像触发区域设定起始点，其对应于80％的图像重叠(针对待连续采集的两幅图像)，并且设定结束点，其对应于60％重叠，其中针对该触发点的航拍图像在这些边界内(该触发点与图像触发区域相关)采集。在这种情况下，根据飞机的飞行速度而产生用于航拍图像采集的可允许的时间窗。
在图像触发区域中或可允许的时间窗内，也就是说，在飞行通过时，用于相关触发点的图像采集的触发取决于照相机2的光学轴线(照相机光学轴线)的对准是否位于关于照相机轴线的天底对准或水平对准的预设的角度范围内。这一对准是由借助于所提供的IMU确定UAV1或照相机2的对准而确定的。
换言之，这意味着用于触发点的航拍图像在飞过相关的图像触发区域时被触发，一旦或者如果所述照相机对准满足关于预设的目标空间方向(天底对准或水平对准)的最大角度偏差时就被触发。
这一方法尤其基于如下事实，即UAV1的实际轨迹主要受阵风的影响，但是UAV1通常趋向于水平对准。这一自动发生的运动通过一种“实时”(连续)对准测量来追踪。当确定发生了关于天底对准的目标对准的偏差时，航拍图像的触发在进入该图像触发区域时被延迟，并在必要时(当满足最大目标角度偏差时)在所得到的时间窗内的稍晚的时间点才被执行。
这样就保证了对于一系列的航拍图像产生了在相同或平行观测方向上记录的最大数量，这使得后续的“后处理”明显简化(关于速度和计算工作)，并且进一步提高从中获得的地形图片的精确度。
图2示出了由飞行计划限定的触发点20a-20c和在触发点20a-20b分别采集的航拍图像21a-21b。触发点20a-20c设定为当采集图像时，针对两幅连续采集的图像21a-21b而精确地在各个点20a-20c处得到预设的图像重叠范围22，其中所述图像重叠范围22对应于，例如，航拍图像21a-21b的面积的50％至90％之间的图像面积。
图3示出了当根据本发明的的飞机按照箭头3代表的方向进行飞行运动时两幅航拍图像21a-21b的根据本发明的采集原理。
首先，在所述UAV飞行时图像21a已被采集。在UAV进一步飞行时，所述照相机的视野如此移动，即随后在稍后的时间点采集到的对应于视野的移动位置的图像21b，不再具有相同的采集区域，而是图像21a-21b的采集区域部分重叠，只要第二幅图像21b仍然在预设的要保持的最小重叠范围内采集。
根据本发明，针对航拍图像21a-21b的采集而限定图像触发区域33。所述图像触发区域33通过图像21a-b的预设的最大重叠(例如，各个图像区域的90％到80％)和图像21a-21b的最小重叠(例如，各个图像区域的65％到55％)来限定。因而，采用所采集的图像21a-b，图像21a-b的最大重叠范围31和最小重叠范围32限定了图像21a-21b的或所述飞机的可允许的相对偏移。
当在图像触发中达到了所述最大重叠，即，达到所述飞机(所述照相机)的一个位置，使得可以以这种重叠采集第二幅图像，第二幅图像21b在相对于飞机的运动方向或飞行路径(根据所述飞行计划)的边界23a中被采集。当在图像触发中达到所述最小重叠，则第二幅图像21b在相对于飞机的运动方向的边界23b中被采集。图像采集在这些边界内的任意(时间)点被执行。
因此，通过所述图像触发区域33还限定了相对于飞行方向(根据所述飞行计划的飞行路径)的路径部段，在该路径部段内能够执行航拍图像采集。因而，根据本发明航拍图像采集是在飞过所述路径部段时被执行的。
图像触发区域33的位置还通过用于第一幅图像21a的触发点的位置或存在于第一幅图像21a的采集过程中的飞机的位置来限定的。
此外，所述图像触发区域由所述***决定取决于飞机的当前飞行高度或在飞行计划范围内预设的飞机高度，以及取决于所述照相机的视野。
用于航拍图像采集的触发时间范围是通过要保持的所述图像触发区域33或重叠范围来预先设定的。
根据本发明，所述飞机或照相机的对准，即，空间内飞机的位置，是连续确定的，并且根据飞过所述图像触发区域33时的相应对准，航拍图像的采集被触发。为实现这一目的，要满足相对于照相机的采集方向(光学轴线)预设的目标对准的预设最大角度偏差(例如，天底对准35)(参见图4)。
图4示出了，在这一背景下，根据本发明的飞机1和相对于所述飞机1的对准所容许的角度范围α，其中当飞机1的所述照相机的对准使得所述照相机的采集方向位于关于天底对准35的角度范围α内时，航拍图像采集的触发在飞过所述图像触发区域33时被执行。在这种情况下，所述天底对准35对应于用于照相机轴线的预设的空间对准。
换言之，这意味着在到达图像触发区域(在飞行运动过程中进入所述图像触发区域)时角度偏差过大的情况下航拍图像采集的触发被延迟。所述延迟在这种情况下是持续的，直至飞机1的对准对应于所述限定的测量标准(相对于天底对准的可允许的角度范围)。如果这些测量标准在飞过所述图像触发区域时被实现，则所述图像采集被触发。
航拍图像系列的航拍图像因此可在均具有基本平行或相同的照相机对准的情况下采集，从而可以实现由此产生的立体地形图像的精确度的显著提高，并且进一步地为实现这一目的所需要的图像处理工作量可以保持相对较低(因为在这种情况下明显较少数量的图像是待处理的)。
飞行计划可根据图像采集过程中所述实际触发时间点或所述飞机的实际位置进行调整。尤其是，随后的触发点的位置或用于该点的图像触发区域的位置可以例如当图像记录发生严重的触发延迟时(例如，当实现需要保持的图像的最小重叠时触发)改变，使得针对下一个触发点的航拍图像采集，提供符合所述要求(保持针对后面的航拍图像的重叠)的图像触发区域。
因而，作为替代，各个随后的触发点和相关的触发区域可相对于位置保持不变，据此，例如，两幅连续的航拍图像采集被执行(在针对第一个触发点的延迟触发的情况下)。
如果在飞过图像触发区域的过程中，例如相对于飞机设定的对准发生了严重的方向改变而因此可能无法在图像触发区域内实现最大角度偏差，则飞机的飞行速度可以被调整(降低)，由此改变(增大)用于所述图像采集的时间窗，并且实现最大角度偏差的可能性增大。飞行速度的这种调整也可以取决于其它因素，例如，以更高的精确度采集地形部段。
若所述角度标准在飞过所述区域时没有被满足，则对于相关的触发点尤其没有航拍图像被采集，并且航拍图像采集在下一个触发点处继续进行。由此产生的航拍图像系列内的空缺根据本发明可以在控制飞机有针对性地再次(自动地)受控地飞至相关触发点并且相对于该触发点重复进行根据本发明的图像采集的情况下而被包含其中。在这种情况下产生的航拍图像可以加入到前述的航拍图像系列中。
显然，列举的附图仅示意性示出了可能的实施方式。根据本发明，许多方法也可以彼此组合，以及与现有技术中用于航拍图像采集和无人驾驶飞机的方法和设备相组合。

Claims (15)

1.一种借助带有照相机(2)的无人驾驶的且可控制的飞机(1)且尤其是无人机在所述飞机(1)的飞行运动过程中采集航拍图像的方法，该方法包括：
-逐步确定照相机位置和照相机光学轴线的对准，以及
-采集航拍图像系列，
其特征在于，针对所述航拍图像系列的每一幅航拍图像(21a-21b)，触发各个航拍图像(21a-21b)的采集：
-当所述飞机(1)飞过相应的图像触发区域(33)时，其中相应的所述图像触发区域(33)的定位是至少通过在飞行计划中在每一种情况下的触发位置(20a-20c)来确定的，所述触发位置与相应的所述图像触发区域(33)相关联，以及
-取决于在飞过相应的所述图像触发区域(33)时，就相对于预先确定的空间对准(35)所限定的最大角度偏差(α)的满足情况而言所述照相机轴线的对准。
2.根据权利要求1所述的方法，
其特征在于，所述图像触发区域(33)通过针对所述飞行运动过程中待被连续采集的两幅航拍图像(21a-21b)预设的重叠范围(22，31，32)来限定，尤其是，其中所述重叠范围(22，31，32)对应于所述航拍图像(21a-21b)的处于50％至90％之间的图像面积，尤其是，对应于所述航拍图像(21a-21b)的处于60％至80％之间的图像面积。
3.根据权利要求2所述的方法，
其特征在于，针对待连续采集的所述两幅航拍图像(21a-21b)而限定最小图像重叠范围(32)，该最小图像重叠范围是相对于由飞行计划预设的飞行路径而预先确定的，尤其是其中所述最小图像重叠范围(32)在待连续采集的所述两幅航拍图像(21a-21b)的采集过程中保持不变。
4.根据权利要求3所述的方法，
其特征在于，所述最小图像重叠范围(32)是所述航拍图像(21a-21b)的60％图像面积。
5.根据权利要求1至4中任一项所述的方法，
其特征在于，根据相关联的触发位置(20a-20c)，尤其是根据预设的重叠范围(22，31，32)，尤其相对于由飞行计划预设的飞行路径而针对所述图像触发区域(33)限定起始位置和结束位置。
6.根据权利要求1至5中任一项所述的方法，
其特征在于，所述预先确定的空间对准是所述照相机轴线的天底对准(35)或水平对准。
7.根据权利要求1至6中任一项所述的方法，
其特征在于，所述飞行计划限定了多个触发位置(20a-20c)，其中，每个触发位置(20a-20c)限定了用于采集相应的航拍图像(21a-21b)的各个相关联的图像触发区域(33)的位置，尤其是其中由所述飞行计划限定的所述触发位置(20a-20c)利用飞机(1)以受控制的方式，尤其是根据预设的飞行模式，特别是以蜿蜒状的飞行方式来到达。
8.根据权利要求1至7中任一项所述的方法，
其特征在于，所述航拍图像系列的关于其在飞行计划中的位置的下一个触发位置(20a-20c)的更新取决于：
-用于所述航拍图像采集的采集时间点，和/或
-在所述航拍图像采集过程中当前的照相机位置。
9.根据权利要求1至8中任一项所述的方法，
其特征在于，为了实现相对于所述预先设定的空间对准(35)所限定的最大角度偏差(α)而调整所述飞机(1)的飞行速度，尤其是，其中通过降低飞行速度来增大用于所述航拍图像采集的可用采集时间窗。
10.根据权利要求1至9中任一所述的方法，
其特征在于，当所述飞机(1)飞过所述图像触发区域(33)时，根据相对于所述预先设定的空间对准(35)所限定的最大角度偏差(α)的满足情况，重复飞向与所述图像触发区域(33)相关联的所述触发位置(20a-20c)并且在这一触发位置(20a-20c)采集所述航拍图像(21a-21b)，和/或相对于所述预先确定的空间对准的最大角度偏差(α)为5°，尤其为2°。
11.一种用于无人驾驶的航拍图像采集飞行的控制单元，该控制单元被设计用于获取无人驾驶的飞机(1)的位置信息、对准信息和飞行计划数据，
其特征在于，所述控制单元被设计成用于产生控制用于航拍图像采集的飞机(1)的照相机(2)的控制信号，使得航拍图像系列的每一幅航拍图像(21a-21b)的采集以基于所述控制信号被控制的方式被触发：
-如果由所述位置信息推导出的照相机位置位于由所述飞行计划数据推导出的相应的图像触发区域(33)内，其中相应的所述图像触发区域(33)的位置至少分别由一个触发位置(20a-20c)确定，所述触发位置根据飞行计划数据与相应的所述图像触发区域(33)相关联，以及
-取决于就相对于预先确定的空间对准(35)所限定的最大角度偏差(α)的满足情况而言照相机光学轴线的对准，所述照相机光学轴线的对准能够由所述对准信息推导出来。
12.一种***，该***包括：
-根据权利要求11所述的控制单元，
-照相机(2)，
-存储器，和
-用于确定照相机位置和照相机光学轴线对准的传感器单元，尤其是GNSS接收单元和惯性测量单元，
其中，
-所述位置信息和所述对准信息能够由所述传感器单元确定和提供，
-所述飞行计划数据能够借助所述存储器提供，并且
-所述照相机(2)能够借助用于航拍图像采集的控制信号来激活，所述控制信号由所述控制单元产生。
13.一种具有根据权利要求12所述的***的无人驾驶的且能够控制的飞机(1)，该飞机尤其是无人机，
其特征在于，具有航拍图像采集功能，即在执行该功能时，在所述飞机(1)的飞行运动过程中，至少一幅航拍图像(21a-21b)的采集以由所述控制单元控制的方式来触发：
-当所述飞机(1)飞过图像触发区域(33)时，其中所述图像触发区域(33)的位置至少通过在飞行计划中与所述图像触发区域(33)相关联的触发位置来确定，并且
-取决于在飞过所述图像触发区域(33)时就相对于预先确定的空间对准(35)所限定的最大角度偏差(α)的满足情况而言所述照相机轴线的对准。
14.根据权利要求13所述的飞机(1)，
其特征在于，所述控制单元被设计成能够借助所述飞机(1)来执行根据权利要求1至10中任一项所述的方法。
15.一种具有程序代码的计算机程序产品，该程序代码被存储在机器可读的载体上或至少部分地由一种电磁波体现，该计算机程序产品根据权利要求1至10中任一项所述的方法，尤其当所述程序在被设计为根据权利要求11至14中任一项所述的控制单元的电子数据处理单元上执行时：
-用于获得用于带有照相机(2)的无人驾驶飞机(1)的
-位置信息，
-对准信息，和
-飞行计划数据，并且
-用于根据所述位置信息、所述对准信息和所述飞行计划数据，尤其是根据所述照相机(2)的对准和位置来控制航拍图像采集。
CN201480017333.3A 2013-04-05 2014-04-03 用于无人驾驶飞机的天底对准的航拍图像采集的图像触发控制 Active CN105121999B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13162632.7 2013-04-05
EP20130162632 EP2787319A1 (de) 2013-04-05 2013-04-05 Steuerung einer Bildauslösung zur Luftbilderfassung in Nadir-Ausrichtung für ein unbemanntes Fluggerät
PCT/EP2014/056715 WO2014161945A1 (de) 2013-04-05 2014-04-03 Steuerung einer bildauslösung zur luftbilderfassung in nadir-ausrichtung für ein unbemanntes fluggerät

Publications (2)

Publication Number Publication Date
CN105121999A true CN105121999A (zh) 2015-12-02
CN105121999B CN105121999B (zh) 2017-11-14

Family

ID=48092720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480017333.3A Active CN105121999B (zh) 2013-04-05 2014-04-03 用于无人驾驶飞机的天底对准的航拍图像采集的图像触发控制

Country Status (5)

Country Link
US (1) US10273000B2 (zh)
EP (2) EP2787319A1 (zh)
CN (1) CN105121999B (zh)
BR (1) BR112015024489A2 (zh)
WO (1) WO2014161945A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107172404A (zh) * 2017-07-20 2017-09-15 清华大学深圳研究生院 一种无人机图像采集方法及***
CN107539477A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 摄像装置、摄像方法以及记录介质
CN112729242A (zh) * 2019-10-29 2021-04-30 南京迈界遥感技术有限公司 一种基于倾角传感器的无人机倾斜摄影的方法
CN117470199A (zh) * 2023-12-27 2024-01-30 天津云圣智能科技有限责任公司 一种摆动摄影控制的方法、装置、存储介质及电子设备

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6599603B2 (ja) * 2014-04-18 2019-10-30 東芝ライフスタイル株式会社 自律走行体
CN107409174B (zh) * 2015-03-31 2020-11-20 深圳市大疆创新科技有限公司 用于管制无人飞行器操作的***和方法
CN107409051B (zh) 2015-03-31 2021-02-26 深圳市大疆创新科技有限公司 用于生成飞行管制的认证***和方法
EP3152089A4 (en) 2015-03-31 2017-08-02 SZ DJI Technology Co., Ltd. Systems and methods for geo-fencing device communications
US10313638B1 (en) 2015-06-12 2019-06-04 Amazon Technologies, Inc. Image creation using geo-fence data
US10322801B1 (en) 2015-06-12 2019-06-18 Amazon Technologies, Inc. Unmanned aerial vehicle based surveillance as a service
WO2017105257A1 (en) * 2015-12-14 2017-06-22 Marcin Szender Msp Method of remote simultaneous triggering of cameras and recording the position of central projections of photographs
DE102016206982B4 (de) 2016-04-25 2022-02-10 Siemens Aktiengesellschaft Flugmobil zum Scannen eines Objekts und System zur Schadensanalyse des Objekts
CN105763815B (zh) * 2016-05-05 2019-05-21 昆山阳翎机器人科技有限公司 一种自动调整拍摄间隔的摄像设备及其控制方法
CN107152926B (zh) * 2016-07-18 2018-08-24 哈尔滨工业大学 一种卫星快速旋转超大幅宽摆扫成像方法
DE102016224886B3 (de) * 2016-12-13 2018-05-30 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren und Vorrichtung zur Ermittlung der Schnittkanten von zwei sich überlappenden Bildaufnahmen einer Oberfläche
US11430148B2 (en) * 2016-12-28 2022-08-30 Datalogic Ip Tech S.R.L. Apparatus and method for pallet volume dimensioning through 3D vision capable unmanned aerial vehicles (UAV)
GB2560393B (en) 2017-07-31 2019-01-30 Matthew Russell Iain Unmanned aerial vehicles
JP2019060827A (ja) * 2017-09-28 2019-04-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ モバイルプラットフォーム、撮像経路生成方法、プログラム、及び記録媒体
US10769466B2 (en) 2018-02-20 2020-09-08 International Business Machines Corporation Precision aware drone-based object mapping based on spatial pattern recognition
JP6586602B1 (ja) * 2018-06-13 2019-10-09 株式会社プロドローン 無人航空機
WO2020103019A1 (zh) * 2018-11-21 2020-05-28 广州极飞科技有限公司 一种测绘采样点的规划方法、装置、控制终端及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048357A1 (en) * 2001-08-29 2003-03-13 Geovantage, Inc. Digital imaging system for airborne applications
CN1712891A (zh) * 2004-06-23 2005-12-28 株式会社拓普康 立体图像的关联方法和三维数据作成装置
CN101976429A (zh) * 2010-10-27 2011-02-16 南京大学 基于游弋图像的水面鸟瞰图成像方法
US20120120069A1 (en) * 2009-05-18 2012-05-17 Kodaira Associates Inc. Image information output method
US20130076862A1 (en) * 2011-09-28 2013-03-28 Kabushiki Kaisha Topcon Image Acquiring Device And Image Acquiring System

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4332590C2 (de) * 1993-09-24 1996-10-24 Deutsche Forsch Luft Raumfahrt Flugzeuggetragenes SAR-System zur Bestimmung einer Gelände-Topographie
US7424133B2 (en) * 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
FI117490B (fi) * 2004-03-15 2006-10-31 Geodeettinen Laitos Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla
US7324687B2 (en) * 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
DE102007015561B3 (de) * 2007-03-29 2008-08-21 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum Untersuchen eines Eisgebiets oder trockenen Gebiets mittels Radar-Echolot-Sondierung
US7991226B2 (en) * 2007-10-12 2011-08-02 Pictometry International Corporation System and process for color-balancing a series of oblique images
US8531472B2 (en) * 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
JP4970296B2 (ja) * 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US8155433B2 (en) * 2008-07-10 2012-04-10 Goodrich Corporation Method of object location in airborne imagery using recursive quad space image processing
US20130100307A1 (en) * 2011-10-25 2013-04-25 Nokia Corporation Methods, apparatuses and computer program products for analyzing context-based media data for tagging and retrieval
US9977978B2 (en) * 2011-11-14 2018-05-22 San Diego State University Research Foundation Image station matching, preprocessing, spatial registration and change detection with multi-temporal remotely-sensed imagery
IL217501A (en) * 2012-01-12 2017-09-28 Israel Aerospace Ind Ltd A method and system for maneuvering aircraft
US9075415B2 (en) * 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030048357A1 (en) * 2001-08-29 2003-03-13 Geovantage, Inc. Digital imaging system for airborne applications
CN1712891A (zh) * 2004-06-23 2005-12-28 株式会社拓普康 立体图像的关联方法和三维数据作成装置
US20120120069A1 (en) * 2009-05-18 2012-05-17 Kodaira Associates Inc. Image information output method
CN101976429A (zh) * 2010-10-27 2011-02-16 南京大学 基于游弋图像的水面鸟瞰图成像方法
US20130076862A1 (en) * 2011-09-28 2013-03-28 Kabushiki Kaisha Topcon Image Acquiring Device And Image Acquiring System

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107539477A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 摄像装置、摄像方法以及记录介质
CN107172404A (zh) * 2017-07-20 2017-09-15 清华大学深圳研究生院 一种无人机图像采集方法及***
CN112729242A (zh) * 2019-10-29 2021-04-30 南京迈界遥感技术有限公司 一种基于倾角传感器的无人机倾斜摄影的方法
CN117470199A (zh) * 2023-12-27 2024-01-30 天津云圣智能科技有限责任公司 一种摆动摄影控制的方法、装置、存储介质及电子设备
CN117470199B (zh) * 2023-12-27 2024-03-15 天津云圣智能科技有限责任公司 一种摆动摄影控制的方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20160133019A1 (en) 2016-05-12
CN105121999B (zh) 2017-11-14
EP2981786A1 (de) 2016-02-10
EP2981786B1 (de) 2021-11-24
EP2787319A1 (de) 2014-10-08
WO2014161945A1 (de) 2014-10-09
BR112015024489A2 (pt) 2017-07-18
US10273000B2 (en) 2019-04-30

Similar Documents

Publication Publication Date Title
CN105121999A (zh) 用于无人驾驶飞机的天底对准的航拍图像采集的图像触发控制
EP3077879B1 (en) Imaging method and apparatus
JP6390013B2 (ja) 小型無人飛行機の制御方法
EP3540550B1 (en) Method for acquiring images from arbitrary perspectives with uavs equipped with fixed imagers
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
CN104007767A (zh) 无人机空间导航方法、无人机控制***及控制装置
RU2015135373A (ru) Система сопровождения для беспилотных авиационных транспортных средств
EP3077760B1 (en) Payload delivery
CN105373132A (zh) 一种基于自动巡航无人机的低空遥感***及遥感方法
EP3077880B1 (en) Imaging method and apparatus
CN107783555B (zh) 一种基于无人机的目标定位方法、装置及***
JP2018190362A (ja) ドローンの着陸装置
WO2015082594A1 (en) Determining routes for aircraft
GB2522327A (en) Determining routes for aircraft
EP2881697A1 (en) Capturing and processing images
GB2522328A (en) Payload delivery
EP2873947B1 (en) System and method of automatic monitoring of linear ground objectives for a remotely piloted aircraft
EP2881825A1 (en) Imaging method and apparatus
KR102609467B1 (ko) Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법
KR20150006752A (ko) 회전익 구조체를 이용한 공중관측 지형자료 구축 방법 및 그 시스템
EP2881826A1 (en) Imaging method and apparatus
EP2881698A1 (en) Payload delivery
EP2881709A1 (en) Determining routes for aircraft
WO2015082311A1 (en) Imaging method and apparatus
WO2022164468A1 (en) System and method for net-capture of unmanned aerial vehicle

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant