CN113329191A - 图像处理方法及装置 - Google Patents

图像处理方法及装置 Download PDF

Info

Publication number
CN113329191A
CN113329191A CN202110595195.9A CN202110595195A CN113329191A CN 113329191 A CN113329191 A CN 113329191A CN 202110595195 A CN202110595195 A CN 202110595195A CN 113329191 A CN113329191 A CN 113329191A
Authority
CN
China
Prior art keywords
unmanned aerial
aerial vehicle
image
images
storage space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110595195.9A
Other languages
English (en)
Other versions
CN113329191B (zh
Inventor
高文敏
陈杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xaircraft Technology Co Ltd
Original Assignee
Guangzhou Xaircraft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xaircraft Technology Co Ltd filed Critical Guangzhou Xaircraft Technology Co Ltd
Priority to CN202110595195.9A priority Critical patent/CN113329191B/zh
Publication of CN113329191A publication Critical patent/CN113329191A/zh
Application granted granted Critical
Publication of CN113329191B publication Critical patent/CN113329191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法及装置。其中，该方法包括：在飞行过程中，无人机采集目标区域的图像；确定无人机的任务完成进度；比较任务完成进度和预设第一阈值；在任务完成进度大于预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；输出第一拼接结果。本发明解决了由于无法实时拼接造成的拼接耗时长且质量得不到保障的技术问题。

Description

图像处理方法及装置
技术领域
本发明涉及无人机测绘领域，具体而言，涉及一种图像处理方法及装置。
背景技术
随着无人机的普及，使用无人机对目标区域进行测绘，得到目标区域的高精度图像已经成为了测绘领域的常见工作方式。但是目前市面上的无人机，在执行测绘工作时，在飞行过程中，只能够拍摄照片，必须等到飞行任务结束返航后才能由工作人员将照片导出后再拼接。这样导致整个拍照拼接过程耗时较长，且当拼接结果不满意时，工作人员无法确定导致拼接结果差的具体原因，只能重新进行拍照拼接过程。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种图像处理方法及装置，以至少解决由于无法实时拼接造成的拼接耗时长且质量得不到保障的技术问题。
根据本发明实施例的一个方面，提供了一种图像处理方法，包括：在飞行过程中，无人机采集目标区域的图像；确定无人机的任务完成进度；比较任务完成进度和预设第一阈值；在任务完成进度大于预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；输出第一拼接结果。
可选地，任务完成进度包括以下至少之一：无人机采集的图像数量和预设图像总数量的比值，以及无人机沿航线飞行的距离和预设航线总距离的比值。
可选地，输出第一拼接结果后，方法还包括：无人机响应第一指令，将图像同步发送至云端；云端确定图像的图像数量，并在图像数量大于预设第二阈值时，对图像数量的图像进行拼接，得到第二拼接结果；云端输出第二拼接结果。
可选地，输出第一拼接结果后，方法还包括：无人机响应第二指令，确定目标区域中的多个子区域；确定多个子区域中每个子区域对应的图像，其中，图像中的每个图像只对应一个子区域；分别拼接每个子区域对应的图像，得到多个子区域中每个子区域的拼接结果；对多个子区域中每个子区域的拼接结果进行拼接，得到目标区域拼接结果并展示。
可选地，对多个子区域拼接结果进行拼接，得到目标区域拼接结果，包括：确定图像中是否存在未被拼接的图像，当存在未被拼接的图像时，对多个子区域拼接结果和未被拼接的图像进行拼接，得到目标区域拼接结果并展示。
可选地，无人机采集目标区域的图像，包括：确定无人机的目标区域，并依据目标区域确定无人机的飞行路径信息，其中，飞行路径信息中至少包括飞行路径长度信息；依据飞行路径信息和采集间距，确定无人机采集的全部图像所需的目标存储空间，其中，采集间距至少包括无人机采集每张图像所对应的飞行距离；比较目标存储空间和无人机的剩余存储空间，当目标存储空间不大于剩余存储空间时，无人机继续执行飞行过程，当目标存储空间大于剩余存储空间时，无人机生成存储空间警示信息，其中，存储空间警示信息用于提醒目标对象，无人机的剩余存储空间不足。
可选地，依据飞行路径信息和预设采集间距，确定无人机采集的全部图像所需的目标存储空间，包括：依据飞行路径长度信息和采集间距，确定图像的数量其中，图像的数量为无人机在飞行路径信息和采集间距下需要采集的图像的总数量；确定图像的图像属性，并依据图像属性确定全部图像中每个图像所需的存储空间；依据图像的数量和每个图像所需的存储空间，确定全部图像所需的目标存储空间，其中，目标存储空间通过以下公式确定：M＝A×N+K，上述公式中M表示目标存储空间，A表示每个图像所需的存储空间，N表示图像的数量，K表示预设存储空间剩余量。
可选地，当目标存储空间大于剩余存储空间时，无人机生成存储空间警示信息，方法还包括：无人机响应目标对象的第三指令，继续执行飞行过程，并在剩余存储空间小于预设存储空间阈值时返航。
可选地，无人机在飞行过程中，当检测到故障发生时，无人机会暂停采集图像，并在故障消除后，从故障的发生处继续飞行并采集图像。
可选地，输出第一拼接结果，包括：当无人机与遥控设备之间的网络连接质量不低于预设质量阈值时，第一拼接结果通过网络连接传递至遥控设备并展示，其中，网络连接的连接方式至少包括本地WiFi连接和4G/5G连接；当无人机与遥控设备之间的网络连接质量低于质量阈值时，无人机响应目标对象的提取指令，将存储在无人机本地存储模块中的最终拼接结果发送至无人机的外接存储设备，其中，最终拼接结果为无人机拼接在飞行过程中获取地全部图像得到的拼接结果。
可选地，在飞行过程中，无人机采集目标区域的图像，包括：无人机响应目标对象的第四指令，删除目标区域中的指定区域的图像，并重新采集指定区域的图像。
根据本申请实施例的另一方面，还提供了一种图像处理装置，其特征在于，包括：采集模块，用于在飞行过程中，采集目标区域的图像；进度确定模块，用于确定无人机的任务完成进度；比较模块，比较任务完成进度和预设第一阈值；拼接模块，在任务完成进度大于预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；输出模块，输出第一拼接结果。
根据本申请实施例的另一方面，还提供了一种无人机，其特征在于，无人机包括图像处理装置。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，其特征在于，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行图像处理方法。
根据本申请实施例的另一方面，还提供了一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行图像处理方法。
在本发明实施例中，采用在飞行过程中，无人机采集目标区域的图像；确定无人机采集的图像数量；比较图像数量和预设第一阈值；在图像数量大于预设第一阈值时，对图像数量的图像进行拼接，得到第一拼接结果；输出第一拼接结果的方式，通过实时拼接，达到了实时拼接并向目标对象展示的目的，从而实现了目标对象可以在拼接过程中实时监控拼接结果的技术效果，进而解决了由于无法实时拼接造成的拼接耗时长且质量得不到保障技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本申请实施例的一种图像处理方法的流程示意图；
图2是根据本申请实施例的一种图像处理装置的结构示意图；
图3是根据本申请实施例的一种无人机拍照拼接实例的流程示意图；
图4是根据本申请实施例的一种无人机拍照拼接实例中设置无人机作业属性的界面示意图；
图5是根据本申请实施例的一种检测到无人机剩余存储容量不足时的界面示意图；
图6是根据本申请实施例的一种无人机与遥控设备连接方式的示意图；
图7是根据本申请实施例的一种切换云端/本地拼接的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在利用无人机执行测绘工作时，往往需要对飞行过程中采集的图像进行拼接后才能进行后续应用，而目前必须等到飞行任务结束返航后才能由工作人员将照片导出后再拼接。这样导致整个拍照拼接过程耗时较长，并且当拼接结果不满意时，工作人员无法确定导致拼接结果差的具体原因，只能重新进行拍照拼接过程。为了解决上述技术问题，本申请实施例提供了相应的解决方案，以下详细说明。
实施例一
根据本申请实施例，提供了一种图像处理方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的图像处理方法，如图1所示，该方法包括如下步骤：
步骤S102，在飞行过程中，无人机采集目标区域的图像；
在本申请的一些实施例中，无人机在采集目标区域的图像的过程中，所述无人机可以响应目标对象的第四指令，删除所述目标区域中的指定区域的图像，并重新采集所述指定区域的图像。
具体地，所述无人机在采集目标区域的图像时，用户可以通过遥控设备实时查看采集到的图像。当用户认为当前采集到的图像中有部分图像质量不佳，需要重新采集时，便可以通过遥控设备删除部分质量不佳的图像，并重新采集所述部分图像对应区域的图像，上述第四指令即为用于指示无人机删除部分质量不佳的图像并重新采集对应区域图像的指令。
在本申请的一些实施例中，无人机在执行测绘作业任务，采集目标区域的图像之前，需要确定所述无人机的所述目标区域，并依据所述目标区域确定所述无人机的飞行路径信息，其中，所述飞行路径信息中至少包括飞行路径长度信息；依据所述飞行路径信息和采集间距，确定所述无人机采集的全部图像所需的目标存储空间，其中，所述采集间距至少包括所述无人机采集每张图像所对应的飞行距离；比较所述目标存储空间和所述无人机的剩余存储空间，当所述目标存储空间不大于所述剩余存储空间时，所述无人机继续执行所述飞行过程，当所述目标存储空间大于所述剩余存储空间时，所述无人机生成存储空间警示信息，其中，所述存储空间警示信息用于提醒所述目标对象，所述无人机的所述剩余存储空间不足。
具体地，依据所述飞行路径信息和预设采集间距，确定所述无人机采集的全部图像所需的目标存储空间的步骤为：依据所述飞行路径长度信息和所述采集间距，确定所述图像的数量；确定所述图像的图像属性，并依据所述图像属性确定所述全部图像中每个图像所需的存储空间；依据所述图像的数量和所述每个图像所需的存储空间，确定所述全部图像所需的目标存储空间，其中，所述目标存储空间通过以下公式确定：M＝A×N+K，上述公式中M表示所述目标存储空间，A表示所述每个图像所需的存储空间，N表示所述图像的数量，K表示预设存储空间剩余量。
可选地，当所述目标存储空间大于所述剩余存储空间时，所述无人机会生成如图5所示的存储空间警示信息，并且所述无人机可以响应目标对象的第三指令，继续执行所述飞行过程，并在所述剩余存储空间小于预设存储阈值时返航。其中，所述第三指令用于表征目标对象选择了图5中所示的继续飞行选项。
具体地，在本申请的一些实施例中，如图5所示，上述存储空间警示信息包括当前无人机实际可用的存储容量，以及继续执行任务所需要的存储容量，同时会提示无人机操控人员，无人机将在存储空间存满后返航。
可选地，如图5所示，用户还可以选择清空所述无人机存储模块中存储的数据，从而获得足够的存储空间，或继续执行任务。
可选地，无人机在飞行过程中，当检测到故障发生时，无人机会暂停采集图像，并在故障消除后，从故障的发生处继续作业过程。其中，所述故障的故障类型包括飞行故障，采集故障和拼接故障。
在本申请的一些实施例中，当无人机出现故障时，无人机会向遥控器发送警示信息，同时无人机暂停工作流程，并由遥控器向无人机操作人员展示该警示信息。同时，操作人员可以在故障发生后，通过遥控器命令无人机返航。另外，当故障类型为拼接故障时，在故障消除后，无人机可以在原拼接进度的基础上继续进行拼接，例如，当无人机在拼接完成进度为50％时发生了拼接故障，当拼接故障消除后，无人机再次进行拼接时可直接在50％完成进度的基础上开始拼接。
在本申请的一些实施例中，如图4所示，无人机在执行测绘作业任务前，还需要进行如图4所示的多项工作属性设置，包括：
对拍摄图像的清晰度，所述无人机的速度，云台俯仰角度，航向重叠度和旁向重叠度进行设置。具体地，如图4所示，无人机的分辨率会影响无人机飞行高度，即无人机与地面的距离；无人机的航向重叠度会影响无人机的拍摄间距，航向重叠度越大，则拍摄间距越小；无人机的旁向重叠度会影响无人机的航向间距，旁向重叠度越大，则无人机的航向间距越小。
需要说明的是，图4中的各个数字仅为举例，不代表无人机的实际工作情况。
另外，在本申请的一些实施例中，还可以选择无人机在作业过程中是否处于仿地状态，防撞状态，以及是否在飞行过程中实时拼接。其中，仿地状态的含义是无人机在测绘过程中与被采集图像的地面之间始终保持一个固定的高度值，该高度值可以由操作人员自行设定。
步骤S104，确定无人机的任务完成进度；
在本申请的一些实施例中，上述任务完成进度包括以下至少之一：所述无人机采集的图像数量和预设图像总数量的比值，以及所述无人机沿航线飞行的距离和预设航线总距离的比值。
步骤S106，比较任务完成进度和预设第一阈值；
步骤S108，在任务完成进度大于预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；
步骤S110，输出第一拼接结果。
在本申请的一些实施例中，由于无人机和云端设备的计算能力是不同的，为了保证最终的拼接结果的图像质量，在输出所述第一拼接结果后，如果用户认为无人机的本地拼接结果质量不佳，可以选择在云端进行拼接，并且依然可以通过遥控设备查看云端拼接结果，具体地：无人机接收来自遥控器的第一指令，将所述图像同步发送至云端；所述云端确定图像的图像数量，并在所述图像数量大于所述预设第二阈值时，对所述图像数量的图像进行拼接，得到第二拼接结果；所述云端输出所述第二拼接结果。
在本申请的一些实施例中，上述云端设备可以是一个服务器，或者一组分布式计算***。
具体地，如图7所示，当无人机在进行图像采集作业时，采集到的图像会暂时存储在相机中，然后无人机内部的相机会将存储的照片发送给无人机内部的本地解算终端，本地解算终端会对发送过来的图片进行解算，即拼接，然后无人机操控人员可以通过遥控器上的APP下载和查看本地终端解算的拼接成果。如操控人员认为本地解算终端拼接的成果不符合要求，则可以通过遥控器上的APP命令无人机将存储在相机内部的图片发送至云端解算终端，由云端解算终端对传输的图片进行拼接。无人机操控人员可以通过遥控器上的APP下载并查看云端解算终端拼接的结果。
在本申请的一些实施例中，当用户认为所述第一拼接结果的拼接效果不好时，还可以通过遥控设备发出第二指令，所述无人机会响应第二指令，确定所述目标区域的多个子区域；然后会确定所述多个子区域中每个子区域对应的所述图像，其中，所述图像中的每个图像只对应一个子区域；进而分别拼接所述每个子区域对应的所述图像，得到所述多个子区域中每个子区域的拼接结果；最后对所述多个子区域中每个子区域的拼接结果进行拼接，得到目标区域拼接结果并展示。
上述无人机确定目标区域的多个子区域的方式可以有多种，例如，在本申请的一些实施例中，上述无人机可以直接依据采集的图像数量来讲目标区域划分为多个区域。具体地，上述无人机在作业前已经提前规划好了在目标区域中需要采集的图像总数量，这样可以依据一定数量的连续采集的图片对应一个子区域，比如可以规定十分之一图像总数量的连续采集的图片对应一个子区域，这样将整个目标区域划分成十个子区域，每个子区域对应的图片数量均为图像总数量的十分之一。
在本申请的另一些实施例中，还可以依据无人机沿飞行路径飞行的距离来确定子区域，例如，可以将整个飞行路径依据沿飞行路径划分成多个分段，每个分段的距离均为总距离的十分之一，且每个分段均对应一个子区域。这样无人机在每个分段中采集到的图像就是每个子区域中对应的图像。
需要说明的是，上述划分子区域时，每个子区域所对应的图像数量并不必须相同，例如，无人机的操作人员可以通过遥控器，为每个子区域确定对应的图像，例如，可以确定子区域A对应的图像数量为十分之一总数量，子区域B对应的图像数量为五分之一总数量。
为了避免出现部分图像未被拼接的情况，在对所述多个子区域拼接结果进行拼接，得到目标区域拼接结果前，还需要确定所述图像中是否存在未被拼接的图像，当存在所述未被拼接的图像时，对所述多个子区域拼接结果和所述未被拼接的图像进行拼接，得到所述目标区域拼接结果并展示。
在本申请的一些实施例中，输出所述第一拼接结果的方式至少包括以下两种情况：
当所述无人机与遥控设备之间的网络连接质量不低于预设质量阈值时，所述第一拼接结果通过网络连接传递至所述遥控设备并展示，其中，如图6所示，所述网络连接的连接方式至少包括本地WiFi连接和4G/5G连接；
当所述无人机与所述遥控设备之间的网络连接质量低于质量阈值时，所述无人机响应所述目标对象的提取指令，将存储在所述无人机本地存储模块中的最终拼接结果发送至所述无人机的外接存储设备，其中，所述最终拼接结果为所述无人机拼接在所述飞行过程中获取地全部图像得到的拼接结果。
在本申请的一些实施例中，当遥控设备与无人机之间通过4G/5G连接时，具体连接流程如下：
首先，在无人机未开始作业时，遥控设备与无人机通过本地WiFi连接，然后需要近场配对移动基站并设置移动基站与无人机的连接。具体地，需要进行移动基站的基准设置，手工输入移动基站的经度/纬度/海拔等位置信息。然后无人机通过本地WiFi收到RTCM格式的移动基站位置数据进入RTK(real-time kinematic，实时动态)载波相位差分模式。
为了便于理解上述步骤S102-步骤S110，下面结合一个如图3所示的无人机实际作业流程对上述步骤S102-步骤S110做进一步解释说明。如图3所示，所述无人机在作业时，具体工作流程包括：
确定开始作业后，需要进行无人机的设备自检，在自检完成且确认无人机没有故障后才能正常起飞。在作业过程中，所述无人机边飞行，边采集照片，边对照片进行拼接，此时由无人机的相机侧采集图像，并将图像存储至相机内的存储器中(如相机内置的SD卡中)，无人机侧的飞控向相机侧的存储器中读取图像并发送至图像处理芯片，使得图像处理芯片可以实时对图像进行处理。
当用户需要查看当前的拼接成果时，用户可以点击成果实时查看控件，通过遥控器上的APP实时查看无人机存储空间里的拼接结果。
当飞行/采集/拼接全部完成后，用户可以通过遥控器上的APP看到该任务的完整成果。遥控器与无人机的连接可以通过本地WIFI链路，不依赖互联网。而当无人机与遥控器的距离超过本地WIFI链路通信距离时，也可通过4G/5G链路连接无人机与遥控器。
另外无人机存储空间里的拼接结果可以拷贝到电脑，也可以拷贝到遥控器的存储空间中，依用户需要而使用。
通过上述步骤，可以实现解决由于无法实时拼接造成的拼接耗时长且质量得不到保障这一技术问题的有益效果。
实施例二
图2是根据本发明实施例的图像处理装置，如图2所示，该装置包括：
采集模块20，用于在飞行过程中，采集目标区域的图像；进度确定模块22，用于确定无人机的任务完成进度；比较模块24，比较任务完成进度和预设第一阈值；拼接模块26，在任务完成进度大于预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；输出模块28，输出第一拼接结果。
在本申请的一些实施例中，上述任务完成进度包括以下至少之一：所述无人机采集的图像数量和预设图像总数量的比值，以及所述无人机沿航线飞行的距离和预设航线总距离的比值。
在本申请的一些实施例中，所述图像处理装置安装与无人机上。
在本申请的一些实施例中，采集模块在采集目标区域的图像时，所述无人机可以响应目标对象的第四指令，删除所述目标区域中的指定区域的图像，并重新采集所述指定区域的图像。
具体地，所述无人机在采集目标区域的图像时，用户可以通过遥控设备实时查看采集到的图像。当用户认为当前采集到的图像中有部分图像质量不佳，需要重新采集时，便可以通过遥控设备删除部分质量不佳的图像，并重新采集所述部分图像对应区域的图像。
在本申请的一些实施例中，无人机在执行测绘作业任务，采集目标区域的图像前，需要确定所述无人机的所述目标区域，并依据所述目标区域确定所述无人机的飞行路径信息，其中，所述飞行路径信息中至少包括飞行路径长度信息；依据所述飞行路径信息和采集间距，确定所述无人机采集的全部图像所需的目标存储空间，其中，所述采集间距至少包括所述无人机采集每张图像所对应的飞行距离；比较所述目标存储空间和所述无人机的剩余存储空间，当所述目标存储空间不大于所述剩余存储空间时，所述无人机继续执行所述飞行过程，当所述目标存储空间大于所述剩余存储空间时，所述无人机生成存储空间警示信息，其中，所述空间警示信息用于提醒所述目标对象，所述无人机的所述剩余存储空间不足。
具体地，依据所述飞行路径信息和预设采集间距，确定所述无人机采集的全部图像所需的目标存储空间的步骤为：依据所述飞行路径长度信息和所述采集间距，确定所述图像的数量；确定所述图像的图像属性，并依据所述图像属性确定所述全部图像中每个图像所需的存储空间；依据所述图像的数量和所述每个图像所需的存储空间，确定所述全部图像所需的目标存储空间，其中，所述目标存储空间通过以下公式确定：M＝A×N+K，上述公式中M表示所述目标存储空间，A表示所述每个图像所需的存储空间，N表示所述图像的数量，K表示预设存储空间剩余量。
可选地，当所述目标存储空间大于所述剩余存储空间时，所述无人机会生成如图5所示的存储空间警示信息，并且所述无人机可以响应目标对象的第三指令，继续执行所述飞行过程，并在所述剩余存储空间小于预设存储阈值时返航。其中，所述第三指令用于表征目标对象选择了图5中所示的继续飞行选项。
另外，如图5所示，用户还可以选择清空所述无人机存储模块中存储的数据，从而获得足够的存储空间。
在本申请的一些实施例中，如图4所示，无人机在执行测绘作业任务前，还需要进行如图4所示的多项飞行路径属性及图像属性设置，包括：
对拍摄图像的清晰度，所述无人机的速度，云台俯仰角度，航向重叠度和旁向重叠度进行设置。具体地，如图4所示，无人机的分辨率会影响无人机飞行高度，即无人机与地面的距离；无人机的航向重叠度会影响无人机的拍摄间距，航向重叠度越大，则拍摄间距越小；无人机的旁向重叠度会影响无人机的航向间距，旁向重叠度越大，则无人机的航向间距越小。
需要说明的是，图4中的各个数字仅为举例，不代表无人机的实际工作情况。
另外，在本申请的一些实施例中，还可以选择无人机在作业过程中是否处于仿地状态，防撞状态，以及是否在飞行过程中实时拼接。其中，仿地状态的含义是无人机在测绘过程中与被采集图像的地面之间始终保持一个固定的高度值，该高度值可以由操作人员自行设定。
在本申请的一些实施例中，由于无人机和云端设备的计算能力是不同的，为了保证最终的拼接结果的图像质量，在输出所述第一拼接结果后，如果用户认为无人机的本地拼接结果质量不佳，可以选择在云端进行拼接，并且依然可以通过遥控设备查看云端拼接结果，具体地：无人机接收来自遥控器的第一指令，将所述图像同步发送至云端；所述云端确定图像的图像数量，并在所述图像数量大于所述预设第二阈值时，对所述图像数量的图像进行拼接，得到第二拼接结果；所述云端输出所述第二拼接结果。
在本申请的一些实施例中，上述云端设备可以是一个服务器，或者一组分布式计算***。
具体地，如图7所示，当无人机在进行图像采集作业时，采集到的图像会暂时存储在相机中，然后无人机内部的相机会将存储的照片发送给无人机内部的本地解算终端，本地解算终端会对发送过来的图片进行解算，即拼接，然后无人机操控人员可以通过遥控器上的APP下载和查看本地终端解算的拼接成果。如操控人员认为本地解算终端拼接的成果不符合要求，则可以通过遥控器上的APP命令无人机将存储在相机内部的图片发送至云端解算终端，由云端解算终端对传输的图片进行拼接。无人机操控人员可以通过遥控器上的APP下载并查看云端解算终端拼接的结果。
在本申请的一些实施例中，当用户认为所述第一拼接结果的拼接效果不好时，还可以通过遥控设备发出第二指令，所述无人机响应第二指令，确定所述目标区域的多个子区域；然后会确定所述多个子区域中每个子区域对应的所述图像，其中，所述图像中的每个图像只对应一个子区域；进而分别拼接所述每个子区域对应的所述图像，得到所述多个子区域中每个子区域的拼接结果；最后对所述多个子区域中每个子区域的拼接结果进行拼接，得到目标区域拼接结果并展示。
上述无人机确定目标区域的多个子区域的方式可以有多种，例如，在本申请的一些实施例中，上述无人机可以直接依据采集的图像数量来讲目标区域划分为多个区域。具体地，上述无人机在作业前已经提前规划好了在目标区域中需要采集的图像总数量，这样可以依据一定数量的连续采集的图片对应一个子区域，比如可以规定十分之一图像总数量的连续采集的图片对应一个子区域，这样将整个目标区域划分成十个子区域，每个子区域对应的图片数量均为图像总数量的十分之一。
在本申请的另一些实施例中，还可以依据无人机沿飞行路径飞行的距离来确定子区域，例如，可以将整个飞行路径依据沿飞行路径划分成多个分段，每个分段的距离均为总距离的十分之一，且每个分段均对应一个字区域。这样无人机在每个分段中采集到的图像就是每个子区域中对应的图像。
需要说明的是，上述划分子区域时，每个子区域所对应的图像数量并不必须相同，例如，无人机的操作人员可以通过遥控器，为每个子区域确定对应的图像，例如，可以确定子区域A对应的图像数量为十分之一总数量，子区域B对应的图像数量为五分之一总数量。
为了避免出现部分图像未被拼接的情况，在对所述多个子区域拼接结果进行拼接，得到目标区域拼接结果前，还需要确定所述图像中是否存在未被拼接的图像，当存在所述未被拼接的图像时，对所述多个子区域拼接结果和所述未被拼接的图像进行拼接，得到所述目标区域拼接结果并展示。
在本申请的一些实施例中，输出所述第一拼接结果的方式至少包括以下两种情况：
当所述无人机与遥控设备之间的网络连接质量不低于预设质量阈值时，所述第一拼接结果通过网络连接传递至所述遥控设备并展示，其中，如图6所示，所述网络连接的连接方式至少包括本地WiFi连接和4G/5G连接；
当所述无人机与所述遥控设备之间的网络连接质量低于质量阈值时，所述无人机响应所述目标对象的提取指令，将存储在所述无人机本地存储模块中的最终拼接结果发送至所述无人机的外接存储设备，其中，所述最终拼接结果为所述无人机拼接在所述飞行过程中获取地全部图像得到的拼接结果。
在本申请的一些实施例中，当遥控设备与无人之间通过4G/5G连接时，具体连接流程如下：
首先，在无人机未开始作业时，遥控设备与无人机通过本地WiFi连接，然后需要近场配对移动基站并设置移动基站与无人机的连接。具体地，需要进行移动基站的基准设置，手工输入移动基站的经度/纬度/海拔等位置信息。然后无人机通过本地WiFi收到RTCM格式的移动基站位置数据进入RTK(real-time kinematic，实时动态)载波相位差分模式。
实施例三
在本申请的一些实施例中，还提供了一种遥控设备，其特征在于，遥控设备用于响应目标对象的指令，生成并向无人机发送控制指令。并且遥控设备还用于向目标对象展示拼接结果。
实施例四
在本申请的一些实施例中，还提供了一种非易失性存储介质，其特征在于，非易失性存储介质包括存储的程序，其中，在程序运行时控制非易失性存储介质所在设备执行图像处理方法，其中，所述图像处理方法为：在飞行过程中，无人机采集目标区域的图像；确定无人机的任务完成进度；比较任务完成进度和预设第一阈值；在任务完成进度大于预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；输出第一拼接结果。
根据本申请实施例的另一方面，还提供了一种处理器，其特征在于，处理器用于运行程序，其中，程序运行时执行图像处理方法，其中，所述图像处理方法为：在飞行过程中，无人机采集目标区域的图像；确定无人机的任务完成进度；比较任务完成进度和预设第一阈值；在任务完成进度大于预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；输出第一拼接结果。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
在飞行过程中，无人机采集目标区域的图像；
确定所述无人机的任务完成进度；
比较所述任务完成进度和预设第一阈值；
在所述任务完成进度大于所述预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；
输出所述第一拼接结果。
2.根据权利要求1所述的方法，其特征在于，所述任务完成进度包括以下至少之一：所述无人机采集的图像数量和预设图像总数量的比值，以及所述无人机沿航线飞行的距离和预设航线总距离的比值。
3.根据权利要求1所述的方法，其特征在于，输出所述第一拼接结果后，所述方法还包括：
所述无人机响应第一指令，将所述图像同步发送至云端；
所述云端确定所述图像的图像数量，并在所述图像数量大于预设第二阈值时，对所述图像数量的图像进行拼接，得到第二拼接结果；
所述云端输出所述第二拼接结果。
4.根据权利要求1所述的方法，其特征在于，输出所述第一拼接结果后，所述方法还包括：
所述无人机响应第二指令，确定所述目标区域中的多个子区域；
确定所述多个子区域中每个子区域对应的所述图像，其中，所述图像中的每个图像只对应一个子区域；
分别拼接所述每个子区域对应的所述图像，得到所述多个子区域中每个子区域的拼接结果；
对所述多个子区域中每个子区域的拼接结果进行拼接，得到目标区域拼接结果并展示。
5.根据权利要求4所述的方法，其特征在于，对所述多个子区域拼接结果进行拼接，得到目标区域拼接结果，包括：
确定所述图像中是否存在未被拼接的图像，当存在所述未被拼接的图像时，对所述多个子区域拼接结果和所述未被拼接的图像进行拼接，得到所述目标区域拼接结果并展示。
6.根据权利要求1所述的方法，其特征在于，无人机采集目标区域的图像，包括：
确定所述无人机的所述目标区域，并依据所述目标区域确定所述无人机的飞行路径信息，其中，所述飞行路径信息中至少包括飞行路径长度信息；
依据所述飞行路径信息和采集间距，确定所述无人机采集的全部图像所需的目标存储空间，其中，所述采集间距至少包括所述无人机采集每张图像所对应的飞行距离；
比较所述目标存储空间和所述无人机的剩余存储空间，当所述目标存储空间不大于所述剩余存储空间时，所述无人机继续执行所述飞行过程，当所述目标存储空间大于所述剩余存储空间时，所述无人机生成存储空间警示信息，其中，所述存储空间警示信息用于提醒所述目标对象，所述无人机的所述剩余存储空间不足。
7.根据权利要求6所述的方法，其特征在于，依据所述飞行路径信息和预设采集间距，确定所述无人机采集的全部图像所需的目标存储空间，包括：
依据所述飞行路径长度信息和所述采集间距，确定所述图像的数量，其中，所述图像的数量为所述无人机在所述飞行路径信息和所述采集间距下需要采集的图像的总数量；
确定所述图像的图像属性，并依据所述图像属性确定所述全部图像中每个图像所需的存储空间；
依据所述图像的数量和所述每个图像所需的存储空间，确定所述全部图像所需的目标存储空间，其中，所述目标存储空间通过以下公式确定：
M＝A×N+K，
上述公式中M表示所述目标存储空间，A表示所述每个图像所需的存储空间，N表示所述图像的数量，K表示预设存储空间剩余量。
8.根据权利要求6所述的方法，其特征在于，当所述目标存储空间大于所述剩余存储空间时，所述无人机生成存储空间警示信息，所述方法还包括：
所述无人机响应目标对象的第三指令，继续执行所述飞行过程，并在所述剩余存储空间小于预设存储空间阈值时返航。
9.根据权利要求1所述的方法，其特征在于，所述无人机在飞行过程中，当检测到故障发生时，所述无人机会暂停采集图像，并在所述故障消除后，从所述故障的发生处继续飞行并采集所述图像。
10.根据权利要求1所述的方法，其特征在于，输出所述第一拼接结果，包括：
当所述无人机与遥控设备之间的网络连接质量不低于预设质量阈值时，所述第一拼接结果通过网络连接传递至所述遥控设备并展示；
当所述无人机与所述遥控设备之间的网络连接质量低于质量阈值时，所述无人机响应所述目标对象的提取指令，将存储在所述无人机本地存储模块中的最终拼接结果发送至所述无人机的外接存储设备，其中，所述最终拼接结果为所述无人机拼接在所述飞行过程中获取地全部图像得到的拼接结果。
11.根据权利要求1所述的方法，其特征在于，在飞行过程中，无人机采集目标区域的图像，包括：
所述无人机响应目标对象的第四指令，删除所述目标区域中的指定区域的图像，并重新采集所述指定区域的图像。
12.一种图像处理装置，其特征在于，包括：
采集模块，用于在飞行过程中，采集目标区域的图像；
进度确定模块，用于确定无人机的任务完成进度；
比较模块，比较所述任务完成进度和预设第一阈值；
拼接模块，在所述任务完成进度大于所述预设第一阈值时，对采集到的图像进行拼接，得到第一拼接结果；
输出模块，输出所述第一拼接结果。
13.一种无人机，其特征在于，所述无人机包括权利要求12所述的图像处理装置。
14.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至11中任意一项所述的图像处理方法。
CN202110595195.9A 2021-05-28 2021-05-28 图像处理方法及装置 Active CN113329191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110595195.9A CN113329191B (zh) 2021-05-28 2021-05-28 图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110595195.9A CN113329191B (zh) 2021-05-28 2021-05-28 图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN113329191A true CN113329191A (zh) 2021-08-31
CN113329191B CN113329191B (zh) 2022-09-13

Family

ID=77422444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110595195.9A Active CN113329191B (zh) 2021-05-28 2021-05-28 图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN113329191B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114007044A (zh) * 2021-10-28 2022-02-01 安徽奇智科技有限公司 一种基于opencv的图像拼接***及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105611170A (zh) * 2015-12-31 2016-05-25 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和***
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法
CN107123090A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于图像拼接技术的自动合成农田全景图***及方法
US20170337672A1 (en) * 2016-05-20 2017-11-23 Shenyang Neusoft Medical Systems Co., Ltd. Image splicing
CN110718137A (zh) * 2018-07-13 2020-01-21 广州极飞科技有限公司 目标物密度分布地图的构建方法及装置、终端、移动装置
CN111738918A (zh) * 2020-05-08 2020-10-02 普宙机器人科技(武汉)有限公司 一种基于无人机云端服务器计算的全景拼接方法和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法
CN105611170A (zh) * 2015-12-31 2016-05-25 深圳市道通智能航空技术有限公司 一种无人机及其全景拼接方法、装置和***
US20170337672A1 (en) * 2016-05-20 2017-11-23 Shenyang Neusoft Medical Systems Co., Ltd. Image splicing
CN107123090A (zh) * 2017-04-25 2017-09-01 无锡中科智能农业发展有限责任公司 一种基于图像拼接技术的自动合成农田全景图***及方法
CN110718137A (zh) * 2018-07-13 2020-01-21 广州极飞科技有限公司 目标物密度分布地图的构建方法及装置、终端、移动装置
CN111738918A (zh) * 2020-05-08 2020-10-02 普宙机器人科技(武汉)有限公司 一种基于无人机云端服务器计算的全景拼接方法和***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114007044A (zh) * 2021-10-28 2022-02-01 安徽奇智科技有限公司 一种基于opencv的图像拼接***及方法

Also Published As

Publication number Publication date
CN113329191B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
US20230236611A1 (en) Unmanned Aerial Vehicle Sensor Activation and Correlation System
US10902566B2 (en) Methods for agronomic and agricultural monitoring using unmanned aerial systems
CN107765709B (zh) 基于飞行器实现自拍的方法及装置
KR101797006B1 (ko) 드론을 이용한 토지 조사 시스템 및 방법
CN104118561B (zh) 一种基于无人机技术的大型濒危野生动物监测的方法
CN110716586A (zh) 无人机的拍照控制方法、装置、无人机和存储介质
CN113260939B (zh) 无人机的控制方法、终端设备、无人机和存储介质
CN104792313B (zh) 无人侦查***的测绘控制方法、装置及***
CN113329191B (zh) 图像处理方法及装置
WO2019104678A1 (zh) 一种控制方法、终端、管理平台、***及存储介质
US20220345607A1 (en) Image exposure method and device, unmanned aerial vehicle
CN110519540A (zh) 一种图像处理方法、装置、设备及存储介质
CN110278717B (zh) 控制飞行器飞行的方法及设备
CN112136322A (zh) 一种三维点云的实时显示方法、设备、***及存储介质
CN210007799U (zh) 图像处理***及无人机
CN113874806A (zh) 轨迹生成方法、遥控终端、可移动平台、***及计算机可读存储介质
KR102364615B1 (ko) 무인 비행체의 비행을 위한 경로를 결정하고 무인 비행체를 제어하는 방법 및 장치
CN107624096B (zh) 一种基于飞行器的功能控制方法及装置
KR102364614B1 (ko) 무인 비행체들의 그룹 비행을 위한 그룹 비행 경로를 결정하고, 무인 비행체들을 제어하는 방법 및 장치
JPWO2019235240A1 (ja) 情報処理装置
CN114526709A (zh) 基于无人机的面积测量方法、设备及存储介质
CN115988322A (zh) 生成全景图像的方法、装置、电子设备和存储介质
EP3919374B1 (en) Image capturing method
JP7274978B2 (ja) 飛行体の支援システム
CN113791637A (zh) 一种基于无人机的航测***智能化快速处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant