CN111247389B - 关于拍摄设备的数据处理方法、装置及图像处理设备 - Google Patents

关于拍摄设备的数据处理方法、装置及图像处理设备 Download PDF

Info

Publication number
CN111247389B
CN111247389B CN201980005043.XA CN201980005043A CN111247389B CN 111247389 B CN111247389 B CN 111247389B CN 201980005043 A CN201980005043 A CN 201980005043A CN 111247389 B CN111247389 B CN 111247389B
Authority
CN
China
Prior art keywords
image
coordinate system
rotation
relationship
reference coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201980005043.XA
Other languages
English (en)
Other versions
CN111247389A (zh
Inventor
黄胜
薛唐立
梁家斌
马东东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111247389A publication Critical patent/CN111247389A/zh
Application granted granted Critical
Publication of CN111247389B publication Critical patent/CN111247389B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/12—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken
    • G01C11/14—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection
    • G01C11/16—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection in a common plane
    • G01C11/18—Interpretation of pictures by comparison of two or more pictures of the same area the pictures being supported in the same relative position as when they were taken with optical projection in a common plane involving scanning means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53—Determining attitude
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种关于拍摄设备的数据处理方法，方法应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，拍摄设备设于移动平台上，且移动平台的运动状态为直线运动状态，方法包括：获取拍摄设备采集第一图像时的第一姿态数据(S401)；根据第一姿态数据，确定采集第一图像时拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系(S402)；根据第一旋转关系，确定第一图像上的像素点在参考坐标系中的位置信息(S403)。本发明实施例还提供了关于拍摄设备的数据处理装置及图像处理设备。可以较好地确保了在直线运动状态下，像素点到三维坐标的转换的准确性，从而更好地实现环境监测、制图等任务。

Description

关于拍摄设备的数据处理方法、装置及图像处理设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种关于拍摄设备的数据处理方法、装置及图像处理设备。
背景技术
随着技术的发展，无人机等移动平台得到了极大的利用，可以在移动平台上通过云台等设备搭载拍摄设备，从而使得在移动平台移动的过程中，由拍摄设备拍摄目标环境下的图像，并基于图像进行三维重建，实现环境测绘、制图等功能。
目前，利用拍摄设备拍摄的图像进行三维重建的步骤包括：基于图像，利用运动恢复结构(Structure from motion，SFM)技术恢复出各拍摄设备的正确空间姿态，也即拍摄设备在某一参考坐标系的位姿，包括拍摄的位置和角度信息，角度信息例如可以是俯仰角、横滚角以及偏航角，然后再以拍摄设备在该参考坐标系下的位姿出发，来计算得到图像上的像素点所对应的实际空间的三维点的坐标，完成环境空间的三维重建，进而完成即时定位与地图构建(Simultaneous localization and mapping，SLAM)等任务。
与测绘相关的参考坐标系一般为大地坐标系(Earth-centered，Earth-fixed，ECEF)或者由地面上已知的某点所建立的东北天(简称ENU)坐标系或北东地(简称NED)坐标系等地理坐标系。目前主流的三维建模软件根据在多个方向位置上的图像，可以正确恢复拍摄设备在大地坐标系、或地理坐标系等参考坐标系下的正确位姿，从而确定设备坐标系与参考坐标系之间的关系。
经研究发现，在移动平台处于直线或近似直线运动的情况下，例如无人机单航带飞行的情况，基于直线运动过程中拍摄的图像和SFM来最终得到的设备坐标系与参考坐标系之间的关系不够准确，使得坐标系之间无法准确对齐，像素点的坐标位置转换存在较大的误差。
发明内容
本发明实施例提供了一种关于拍摄设备的数据处理方法、装置及图像处理设备，可以在移动平台处于直线运动状态下，较准确地确定拍摄设备的设备坐标系与参考坐标系之间的旋转关系，进而较为准确地完成像素点的坐标系位置转换。
一方面，本发明实施例提供了一种关于拍摄设备的数据处理方法，其特征在于，所述方法应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述方法包括：
获取所述拍摄设备采集第一图像时的第一姿态数据；
根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；
根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
另一方面，本发明实施例还提供了一种关于拍摄设备的数据处理装置，所述装置应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述装置包括：
获取模块，用于获取所述拍摄设备采集第一图像时的第一姿态数据；
确定模块，用于根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；
处理模块，用于根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
再一方面，本发明实施例还提供了一种图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，该图像处理设备包括：通信接口单元、处理单元；
所述通信接口单元，用于与外部设备通信，获取外部设备的数据；
所述处理单元，用于通过所述通信接口单元获取所述拍摄设备采集第一图像时的第一姿态数据；根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
本发明实施例在移动平台处于直线运动状态时，确定拍摄设备所在的设备坐标系到参考坐标系之间的旋转关系，参考了拍摄设备在采集图像时的姿态数据，这使得在直线运动状态下，可以较为准确地来确定设备坐标系到参考坐标系之间的旋转关系，较好地确保了在直线运动状态下，像素点到三维坐标的转换的准确性，从而更好地实现环境监测、制图等任务。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的通过无人机搭载拍摄设备的任务场景示意图；
图2是本发明实施例的北东地坐标系的示意图；
图3是本发明实施例的图像坐标系与设备坐标系之间的关系的示意图；
图4是本发明实施例的一种关于拍摄设备的数据处理方法的流程示意图；
图5是本发明实施例的一种确定旋转关系的流程示意图；
图6是本发明实施例的一种关于移动平台的多航带运动与直线状态的单航带运动的示意图；
图7是本发明实施例的一种优化得到旋转关系的流程示意图；
图8是本发明实施例的坐标位置转换的流程示意图；
图9是本发明实施例的进行旋转关系优化及坐标位置转换的流程示意图；
图10是本发明实施例的关于拍摄设备的数据处理装置的结构示意图；
图11是本发明实施例的一种图像处理设备的结构示意图。
具体实施方式
在本发明实施例中，用于拍摄图像的拍摄设备可以直接挂载在移动平台上，也可以通过一个云台搭载在移动平台上的。在移动平台在移动的过程中，拍摄设备可以拍摄到多帧当前环境的图像，而针对每一帧图像，都可以读取在拍摄该图像时的姿态数据，这些姿态数据可以包括拍摄设备拍摄时的俯仰Pitch角、横滚Roll角以及偏航Yaw角。在确定移动平台当前处于直线运动状态时，可以触发相应的图像处理设备以图像的姿态数据为中间数据，在设备坐标系、云台坐标系以及参考坐标系进行转换，将拍摄设备拍摄到的图像上的点转换到参考坐标系下，确定这些点在参考坐标系下的三维点，进而实现诸如SLAM环境制图等任务。
请参考图1，其示出了一种通过无人机搭载拍摄设备来获取图像进而进行相应的图像处理，实现诸如SLAM等任务的场景图。在该场景图中包括无人机101、在无人机101底部设置的拍摄设备102，在一个实施例中，无人机101可以设置云台，以及在云台上设置所述拍摄设备102。该无人机可以是图1所示的旋翼无人机，例如四旋翼、六旋翼、或八旋翼等等，在一些实施例中，也可以是固定翼飞行器。所述云台主要是指三轴云台，该云台可以在俯仰Pitch方向、横滚Roll方向以及偏航Yaw方向上转动，从而带动拍摄设备拍摄不同方位的图像。除无人机外，在其他实施例中，移动平台也可以是在陆上行驶的无人驾驶汽车、智能移动机器人等，通过无人驾驶汽车、智能机器人上的云台以及拍摄设备，也可以根据需要拍摄不同方位的图像。基于无人机上的拍摄设备拍摄的图像以及在拍摄设备拍摄图像时的姿态数据，地面端的图像处理设备100可以进行本发明实施例的一系列数据处理。在图1中，无人机101与图像处理设备100是分离设计的，在其他实施例中，图像处理设备100也可以挂载在所述无人机上，接收拍摄设备102拍摄的图像并读取姿态数据；或者图像处理设备100本身作为无人机的一个部件，能够直接或者间接与拍摄设备102和云台相连，获取图像和姿态数据。
请参见图2到图4，是本发明实施例所涉及的坐标系的示意图。其中，图2示出的是北东地坐标系，北东地坐标系属于地理坐标系，是本发明实施例的参考坐标系的一种，北东地坐标系的X轴正方向是指向地理方向的北North、Y轴正方向是指向地理方向的东East、Z轴正方向是指向地Down。
图3示出了设备坐标系与图像坐标系的关系，其中，设备坐标系中的XY平面和图像平面平行，设备坐标系的Z轴为相机主轴，原点O是投影中心(光心)，设备坐标系为三维坐标系。同时，在图3中，图像平面所在的图像坐标系的原点O1为相机主轴和图像平面的交点，也称为像主点，O点和O1点之间的距离为焦距f，成像平面坐标系为二维坐标，可以理解的是，图3仅为示意，例如，在一些实施例中，由于相机制造的原因，像主点通常不在成像平面的正中心。从图3可以看出，图像坐标系上的点(x,y)在设备坐标系上的点Q为(X,Y,Z)。
基于上述的有关坐标系的示意以及描述，再请参见图4，是本发明实施例的一种关于拍摄设备的数据处理方法的流程示意图，本发明实施例的所述方法可以由上述提及的图像处理设备来执行，该图像处理设备例如可以是一个智能移动终端、平板电脑、个人电脑、笔记本电脑等等。该图像处理设备能够获取拍摄设备的姿态数据，而该拍摄设备设于移动平台，图像处理设备可以通过移动平台来获取拍摄设备的姿态数据。在一个实施例中，若移动平台的运动状态为直线运动状态(即移动平台的多个位移点基本在一条直线上)，图像处理设备在S401中获取所述拍摄设备采集第一图像时的第一姿态数据，在移动平台移动的过程中，所述拍摄设备可以拍摄得到多帧图像构成图像集合，所述第一图像可以是该多帧图像中的任意一帧图像。
在拍摄设备拍摄第一图像以及其他图像时，可以记录相应的拍摄设备的姿态数据，这些姿态数据是通过诸如陀螺仪等传感器的感测数据处理得到的，可以包括在拍摄图像时拍摄设备的横滚Roll角、俯仰Pitch角以及偏航Yaw角。在一个实施例中，如果拍摄设备是通过云台搭载在移动平台上的，则可以在第一图像拍摄过程中，将基于设置在云台上的传感器的感测数据确定的云台角信息作为第一姿态数据，并为第一图像记录第一姿态数据，云台角信息包括：Roll角、Pitch角、Yaw角。而如果云台直接固定在无人机等移动平台上，则可以将基于移动平台上的传感器的感测数据确定的移动平台角度数据作为第一姿态数据，并为第一图像记录第一姿态数据，第一姿态数据包括：移动平台的Roll角、Pitch角、Yaw角。从云台上的传感器所在的云台坐标系转换到参考坐标系(地理坐标系或大地坐标系等)的转换过程、与从移动平台的传感器所在的坐标系转换到参考坐标系(地理坐标系或大地坐标系等)的转换过程相同，在此基础上，后续均以云台坐标系为例，来说明拍摄设备的设备坐标系与参考坐标系之间的转换过程。
云台角信息可以记录在对应的环境影像的扩展字段中，以便于图像处理设备在需要时能够直接获取得到。拍摄设备可以自动地从云台中获取这些云台角信息，或者云台主动地将云台角信息发送给拍摄设备，以便于拍摄设备在拍摄到图像后为该图像记录对应的云台角信息。在本发明实施例中，所述第一姿态数据包括：所述云台在采集所述第一图像时对应的云台角信息。云台角信息可以直接从第一图像的扩展字段中读取即可。
本发明实施例具体是在移动平台的运动状态为直线运动状态时，触发执行所述S401的，在本发明实施例中，检测移动平台的运动状态是否为直线运动状态的方式包括多种。在一个实施例中，可以判断为移动平台规划的运动路线是否为直线，例如，无人机在基于设置的航行轨迹飞行时，检测当前一段时间内的航行轨迹是否为直线，若是，则确定移动平台处于直线运动状态。又例如，当用户计划手动控制移动平台沿直线或者近似直线移动时，可以手动触发指令发送给图像处理设备，该指令用于指示移动平台处于直线运动状态。也就是说，所述移动平台的运动状态为直线运动状态主要是说明移动平台会存在一个直线运动状态，并非要求移动平台一定是沿着一条直线运动，在实际处理过程中，移动平台处于直线或者近似直线的运动，或者即使为曲线运动但接收到用户的关于指示移动平台处于直线运动状态的指令时，都可以认为所述移动平台的运动状态为直线运动状态。
第一姿态数据所包括的第一图像的云台角信息可以认为分别是云台相对北东地坐标系X轴、Y轴、Z轴的顺时针旋转的角度，通过这三个轴的旋转可得到云台坐标系到北东地坐标系NED的旋转关系，也就是说，图像处理设备在S402中根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系。所述参考坐标系包括地理坐标系或大地坐标系，在本发明实施例中，以图2示出的北东地坐标系作为参考坐标系为例进行说明。可以理解的是，目前已知的一些坐标系之间都可以通过一些技术手段确定坐标系之间的相对关系，例如旋转关系、平移关系等，基于这些相对关系都可以实现不同坐标系的对齐和位置坐标的转换，在本发明实施例中，在将拍摄设备的设备坐标系与参考坐标系对齐时，参考了第一姿态数据即云台的云台角信息。所述S402的其中一种具体实现方式参考图5所示，具体可以包括如下步骤。
在S501中根据所述第一姿态数据获取所述云台的云台坐标系与所述参考坐标系之间的第二旋转关系，并获取所述拍摄设备的设备坐标系到所述云台坐标系之间的第三旋转关系。
设云台角信息中的Roll角、Pitch角、Yaw角分别对应的角度为θr、θp、θy，则云台坐标系到北东地坐标系(参考坐标系)的旋转矩阵即第二旋转关系为：
Figure BDA0002445870020000071
可以基于拍摄设备与云台之间的装配关系来确定所述第三旋转关系，云台角信息中Roll角、Pitch角、Yaw角分别对应云台坐标系的X轴、Y轴、以及Z轴，根据设备坐标系和云台坐标系的各轴朝向可得设备坐标系到云台坐标系的旋转矩阵即第三旋转关系为下述公式2所述。在一个实施例中，所述第三旋转关系是根据所述拍摄设备与所述云台的装配关系直接配置得到，在确定所述第一旋转关系时直接读取并使用。
Figure BDA0002445870020000072
根据上述公式1和公式2，在S502中根据所述第二旋转关系和所述第三旋转关系，确定采集所述第一图像时所述设备坐标系与参考坐标系之间的第一旋转关系，即可以得设备坐标系到北东地坐标系NED的旋转矩阵即第一旋转关系为：
Rcamera_to_ned＝Rgimbal_to_ned*Rcamera_to_gimbal 公式3；
如果图像中记录的云台角信息完全准确，则每个设备坐标系都可以正确对齐到北东地NED坐标系上。在得到了准确的旋转矩阵Rcamera_to_ned后，图像处理设备在S403中根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。对于第一图像上的某个二维点，可以基于上述所说的图像坐标系与设备坐标系之间的关系，将图像的该二维点从第一图像的图像坐标系转换到设备坐标系，然后基于Rcamera_to_ned结合设备坐标系与北东地坐标系之间平移矩阵t和缩放关系即尺度s，再次从设备坐标系转换到北东地坐标系下。其中，平移矩阵t可以根据多帧图像之间的重叠部分来计算，尺度s表示设备坐标系与参考坐标系之间的缩放关系，设备坐标系需要放大s以便于与北东地坐标系等参考坐标系对齐。例如，对于所述第一图像上的二维点(x,y)转换到设备坐标系上后，为三维点Q(X,Y,Z)，s*Rcamera_to_ned*Q+t即可得到三维点Q在北东地坐标系下的三维点坐标。
在得到了第一图像的第一旋转关系后，基于第一旋转关系也可以得到其他图像(特别是在采集时间上与第一图像邻近的第二图像，例如拍摄了第一图像后紧接着拍摄到的图像)上的点到参考坐标系下的位置信息。具体的，基于第二图像与第一图像的图像重叠部分和/或两个图像对应的云台角信息，可以计算得到第一图像与第二图像之间的相对旋转关系，那么基于第一旋转关系和相对旋转关系，可以得到第二图像的关于设备坐标系到参考坐标系之间的旋转关系，基于第二图像的关于设备坐标系到参考坐标系之间的旋转关系，可以得到第二图像上的像素点在参考坐标系下的位置信息。在一个实施例中，第二图像的关于设备坐标系到参考坐标系之间平移关系也可以基于第一图像对应的平移关系和第一图像与第二图像之间的相对平移关系得到，第二图像的缩放关系s则与第一图像的缩放关系相同。
在本发明实施例中是以北东地坐标系为例进行的说明，其他类型的参考坐标系进行相同的处理。或者说，其他类型的参考坐标系都可以与北东地坐标系之间存在已知的转换关系，在能够确定Rcamera_to_ned的基础上，可以进一步地基于其他坐标系例如东北天坐标系(另一种地理坐标系)与北东地坐标系之间的转换关系，得到设备坐标系到这些坐标系之间的旋转矩阵，旋转矩阵用于表征坐标系之间的旋转关系。
在一个实施例中，若所述移动平台的运动状态不为直线运动状态，例如确定无人机是在多航带运动时，则可以通过现有的基于图像来确定第一图像对应的第一旋转关系及其他图像的相关旋转关系。在一个实施例中，如图6所示，示出了无人机的单航带和多航带运动的运动路线，黑点表示在执行某项任务时自动规划的航点或者用户手动点击设置的航点，将这些航点连接即构成了无人机飞行的航线。
其中，在多航带的情况下，可以基于视觉算法直接计算得到图像对应的旋转关系、平移关系以及尺度。具体的，利用多航带进行SFM或SLAM，由于计算出的视觉坐标中心和每帧图像拍摄时拍摄设备对应的GPS中心均处在多条直线上(参考图6)，可以利用下式解算出一个正确的相似变换矩阵，即解算得到旋转矩阵R，平移矩阵t，以及尺度s。在下述公式中，n是指在多航带运动过程中拍摄的图像的帧数，yi是指拍摄设备在参考坐标系下实际的中心坐标，xi是指拍摄设备的设备坐标系的中心坐标。
Figure BDA0002445870020000091
在得到这个相似变换矩阵后，拍摄设备的设备坐标系可以利用这个相似变换矩阵对齐到北东地坐标系等参考坐标系下。单航带由于缺少一个自由度，求解相似变换矩阵的这个问题时会出现异常，因为若给定一个旋转矩阵R满足条件，则绕着这条单航带所在的直线进行旋转后得到的新旋转矩阵也符合条件，而每一个R又对应一个t，因此存在无数组满足条件的解，即无法准确从理论上算出一个正确的相似变换矩阵。所以，在图6所示的单航带移动的情况下，需要借助本发明上述实施例中提及的拍摄设备的姿态数据，或者说云台角信息，基于上述提及的方式计算第一旋转关系，进而将设备坐标系正确对齐到北东地坐标系等参考坐标系。
本发明实施例在移动平台处于直线运动状态时，确定拍摄设备所在的设备坐标系到参考坐标系之间的旋转关系，参考了拍摄设备在采集图像时的姿态数据，这使得在直线运动状态下，可以较为准确地来确定设备坐标系到参考坐标系之间的旋转关系，较好地确保了在直线运动状态下，像素点到三维坐标的转换的准确性，从而更好地实现环境监测、制图等任务。
如上述，Rcamera_to_ned是建立在Roll角、Pitch角以及Yaw角为准确值的基础上进行的计算。在一些场景下，云台角信息中的Roll角、Pitch角是比较准确的，可以直接使用，但是Yaw角则还有可能存在较大的偏差，此时，在执行S403时，图像处理设备具体可以按照预设的优化算法，对第一旋转关系进行优化，以基于优化后的第一旋转关系来确定第一图像上的像素点在参考坐标系下的位置信息。
所述优化算法可以是一些最小化求解算法，在一个实施例中，上述的S403可以包括：按照预设的第一算法，对所述第一旋转关系进行优化处理；根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。所述第一算法的思路是：使得基于优化后的第一旋转关系确定的各个图像对应的中心坐标在所述参考坐标系中的第二坐标、与基于传感器数据确定的拍摄设备在参考坐标系下的第一坐标之间的差异和满足预设的第一最小化条件，所述中心坐标是指设备坐标系的中心坐标。如上所述，所述第一姿态数据包括俯仰角、横滚角、偏航角，而由于第一姿态数据中Roll角、Pitch角被认为是准确的，因此，所述第一旋转关系的优化处理包括对所述偏航角进行优化处理。
在一个实施例中，如图7所示，所述按照预设的第一算法，对所述第一旋转关系进行优化处理，包括：S701：获取所述拍摄设备采集的第一图像集合中每一帧图像采集时，所述设备坐标系的中心坐标以及利用传感器数据确定的所述中心坐标在所述参考坐标系中的第一坐标；S702：基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，以使得基于优化后的第一旋转关系确定的各个所述中心坐标在所述参考坐标系中的第二坐标与对应的第一坐标之间的差异和满足预设的第一最小化条件；其中，所述第一图像集合包括所述第一图像以及至少一帧第二图像。所述第一图像集合中包括了所述第一图像在内的多帧图像，例如在一段时间内连续拍摄的三帧图像、五帧图像甚至更多的图像，除所述第一图像外的其他图像可以理解为第二图像，所述第二图像为在采集时间上邻近所述第一图像的图像，例如第二图像是指拍摄得到第一图像后，紧接着拍摄得到的第二张图像、或第三张图像等等。每一帧图像的设备坐标系的中心坐标在经过各帧图像对应的旋转关系、平移关系以及缩放关系进行坐标系转换后，均会得到一个在参考坐标系下的位置坐标即所述第二坐标，满足第一最小化条件就是所有的第二坐标与基于传感器感测到的各帧图像对应的实际坐标即所述第一坐标之间的差值的和最小。所述第一坐标是拍摄设备在拍摄相应的图像时，通过GPS传感器和高度计感测得到的三维坐标。
在一个实施例中，所述第一算法的具体表现形式可参考下述公式4，其中，s*Rcamera_to_ned*Cv+t是转换位置坐标，其中的Cv是指拍摄设备的设备坐标系的中心坐标，即上述的第二坐标，Cw是对应于上述的第一坐标。
Figure BDA0002445870020000101
其中，Rcamera_to_ned可以基于Pitch角、Roll角以及Yaw角，采用上述的公式1、公式2以及公式3计算得到。n值取3、4、5或者其他数值，是指第一图像集合中包括的3帧图像、4帧图像、5帧图像。所述第一坐标是根据在拍摄图像时所述拍摄设备的空间位置信息，是利用利用传感器数据计算得到，所述传感数据包括全球定位传感器的采集数据和高度传感器的采集数据，也就是说，所述第一坐标主要是根据设置在无人机等移动平台或拍摄设备上的GPS等定位装置与高度计等装置的感测到的数据来确定，利用GPS和高度计，可以得到相机的中心在北东地坐标系等参考坐标系下的位置坐标(GPS坐标加高度)。
在一个实施例中，公式4中Cv、Cw可以直接得到，Rcamera_to_ned可以基于Pitch角、Roll角直接使用云台角信息中的值，而Yaw角可以作为待优化的一个参数，当然，云台角信息中的Yaw角的值可以作为一个初值。而其中的平移关系即平移矩阵t和缩放关系即尺度s可以通过现有的其他方式计算得到。在一个实施例中，t和s也可以认为是一个待优化的参数，从而仅仅提供一个初值加入到公式4中的计算。在公式4最小化求解的过程不断更新Yaw角的数值，并且，t和s的值也会不断更新优化，最后Yaw角、t、s更新后的值可以使得上述的公式4的结果最小化。也就是说，所述基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，可以包括：基于所述中心坐标以及所述第一坐标，对所述第一旋转关系、所述设备坐标系与所述参考坐标系之间的平移关系、所述设备坐标系与所述参考坐标系之间的缩放关系进行优化处理。
进一步说明的是，针对上述公式中的Rcamera_to_ned，如上所述是可以基于第一图像的云台角信息计算得到的，因此，对于第一图像，基于第一图像的云台角信息以及t、s、Cv、Cw可以计算第一图像所对应的第二坐标与在拍摄第一图像时传感器数据确定的第一坐标之间的差值；
针对第二图像，则可根据第二图像的云台角信息计算第二图像相对于第一图像的相对旋转关系，该相对旋转关系可以基于两帧图像对应的云台角信息的差异来计算得到，因此，可以在第一图像的Rcamera_to_ned基础上、基于相对旋转关系确定第二图像对应的设备坐标系到参考坐标系之间的旋转关系，通过上述的关于第一图像的相同计算方式，同样可以计算第二图像所对应的第二坐标与在拍摄第二图像时传感器数据确定的第一坐标之间的差值；以此类推，可以得到n帧图像的各自的第二坐标与第一坐标之间的差值，对n个差值进行求和最小化计算，即可得到第一图像的Rcamera_to_ned。也就是说，基于云台的转动角度，可以得出各第二图像与第一图像之间的相对旋转关系，因此，上述公式4中可以只需要用到第一图像的Rcamera_to_ned，而非需要直接第二图像对应的设备坐标系到参考坐标系之间的旋转关系，进而在最优化求解的过程中能够得到Rcamera_to_ned，或者说其中的Yaw角的角度值。同理，当t作为待优化的参数也需要优化时，t值也是可以基于各个第二图像与第一图像对应的云台角的差异计算得到相对平移关系，进而仅优化得出第一图像的平移关系。而对于尺度s，第一图像和所有的第二图像均对应相同的s。
在基于上述的公式优化得到第一旋转关系、平移关系以及缩放关系后，可以根据优化后的第一旋转关系、优化后的平移关系以及优化后的缩放关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。具体可以是先将所述第一图像上的二维点(x,y)转换到设备坐标系上为三维点Q(X,Y,Z)，基于(优化后的s)*(优化后的Rcamera_to_ned)*Q+(优化后的t)，即可计算得到三维点Q在北东地坐标系下的三维点坐标，进而确定第一图像上的像素点在参考坐标系下的位置坐标。
在一个实施例中，所述第一图像是所述第一图像集合中的第一帧图像，经过优化处理可得到优化后的Yaw角(或第一旋转关系)、t以及s后，将得到的Yaw角(或第一旋转关系)、平移矩阵t以及尺度s均与第一帧图像关联，这样一来，可以根据第一旋转关系、优化后的第一平移矩阵以及优化后的尺度，确定所述第一图像集合中各个图像上的像素点在参考坐标系中的位置坐标；前述描述了第一图像上的像素点在参考坐标系的位置坐标。在计算后续的第二图像时，只需要计算第二图像与第一图像之间的相对旋转关系和相对平移关系，即可得到第二图像对应的设备坐标系到参考坐标系下的旋转关系和平移关系，由此可以计算得到各个第二图像上的像素点到参考坐标系下的位置坐标。在一个实施例中，可以利用PNP(Perspecitve-n-Point)方法(一种计算机视觉算法)解算出各第二图像的相对第一图像的旋转矩阵(相对旋转关系)和平移矩阵(相对平移关系)。
简单来说，旋转矩阵和平移矩阵可以使得两个坐标系的原点和坐标轴对齐，尺度可以对其中的一个坐标系进行缩小或放大，使得两个坐标系的尺度对齐。在一个实施例中，所述第一图像也可以是所述图像集合中的任意一帧图像。
通过上述提及的优化方式，使得拍摄设备所在的设备坐标系与参考坐标系之间的旋转关系更加准确，使得在直线运动状态下，像素点到三维坐标的转换的更加准确性。
在一个实施例中，在得到第一旋转关系后，还可以基于该第一旋转关系对第二图像集合中的图像上的像素点进行位置转换。在本发明实施例中的第一旋转关系可以是指通过上述的公式1、公式2以及公式3得到的旋转关系，也可以是在上述的公式1、公式2以及公式3的基础上，通过第一算法例如公式4优化后的旋转关系。所述第二图像集合可以包括第一图像以及在得到第一旋转关系后再次拍摄得到的图像，或者所述第二图像集合所包括的图像实际上与上述涉及的第一图像集合的图像一致。在本发明实施例中，根据所述第一旋转关系，可以确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息；而所述第二图像集合包括所述第一图像以及至少一帧第三图像，在一个实施例中，所述第一图像可以是指所述第二图像集合中的第一帧由拍摄设备拍摄到的图像。
利用第一旋转关系计算第二图像集合中其他图像的像素点在参考坐标系的位置信息时，主要利用了其他图像与第一图像之间的相对变换关系。具体的请参见图8，是本发明实施例的一种位置变换的流程示意图，以第二图像集合中的第三图像进行说明，根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息可以包括：S801：利用视觉算法确定所述第三图像与所述第一图像之间的相对变换关系；S802：基于所述第一旋转关系以及所述相对变换关系，确定采集所述第三图像时所述设备坐标系与所述参考坐标系之间的第四旋转关系；S803：根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
可以采用上述提及的PNP方法来计算第一图像和第三图像之间的相对变换关系，该相对变换关系包括第一图像与第三图像之间的相对旋转关系，还可以包括第一图像与第三图像之间的相对平移关系。在第一旋转关系的基础上，加上相对变换关系，可以得到第三图像对应的设备坐标系到参考坐标系的所述第四旋转关系。在得到第四旋转关系后，再结合第三图像对应的设备坐标系到参考坐标系的平移关系以及尺度，即可将第三图像上的像素点转换到参考坐标系上，得到像素点在参考坐标系上的位置坐标。可以是通过视觉算法直接得到所述第三图像对应的设备坐标系到参考坐标系的平移关系以及尺度；或者也可以是基于第三图像与第一图像对应的相对变换关系中的相对平移关系结合第一图像通过前述方式优化得到的平移关系、以及优化得到的尺度来计算得到所述第三图像对应的设备坐标系到参考坐标系的平移关系以及尺度。
进一步地，在基于第一旋转关系确定第一图像上的像素点在参考坐标系下的位置信息、基于第四旋转关系确定第三图像上的像素点在参考坐标系下的位置信息的过程中，可以先对第一旋转关系和第四旋转关系进行优化，按照优化的第一旋转关系和第四旋转关系，确定对应图像上的像素点在参考坐标系下的位置。在一个实施例中，请参考图9，图像处理设备在执行所述S803时具体可以包括：S901：按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理；S902：根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据优化后的第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述S901可以包括：获取所述拍摄设备采集所述第二图像集合中每一帧图像时的第二姿态数据；根据所述第二姿态数据，确定所述第二图像集合中每一帧图像在采集时所述设备坐标系与所述参考坐标系之间的第五旋转关系；对所述第一旋转关系以及所述第四旋转关系进行优化处理，以使得优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件。所述第二姿态数据包括第二图像集合中每一帧图像在拍摄时云台的姿态角信息，具体可以包括各帧图像拍摄时的Pitch角、Roll角以及Yaw角。
所述第二算法主要是将第二图像集合中的图像在拍摄时的云台角信息作为参考，对于基于视觉算法得到的第四旋转关系来进行优化。可以在对图像集合中的图像做光束法平差方法(Bundle Adjustment，BA)等视觉算法的相关处理时，加入在图像拍摄时的云台角信息作为参考进行约束，进一步优化相应的旋转关系。优化的依据是在图像拍摄时的云台角信息虽然不是非常精确，但是还是可以作为参考，即通过BA视觉算法等方式优化的旋转关系和基于云台角信息算出来的旋转关系不能偏离太大。起到将优化后的旋转关系固定在云台角信息提供的旋转矩阵附近的作用。
在一个实施例中，具体的优化方式参考下述公式5。
Figure BDA0002445870020000141
其中，||uij-vij||是指在BA算法下，基于所述第二图像集合中的图像上的像素点计算的重投影误差，δidiff(Ri-Rref_i)是指旋转关系偏差，该旋转关系偏差主要是指：基于第二图像集合中第i帧图像在拍摄时的云台角信息对待优化的旋转关系Ri进行约束，Rref_i是通过上述的公式1、公式2、公式3计算得到，Rref_i完全基于第i帧图像的对应第二姿态数据计算得到。δi是消除量纲系数，为了和重投影误差相适应，一般取值是图像特征点提取的误差方差大小，在一个实施例中，δi可以等于4。Xj代表第j个三维点，Pi代表第二图像集合中第i帧图像上与Xj对应的像素点，当三维点Xj在第二图像集合的图像中有投影Pi时σij＝1，否则σij＝0。
当i＝1时，为第一帧图像即上述的第一图像，R1为上述提及的第一旋转关系，可以直接是由上述公式1、公式2以及公式3计算得到的第一旋转关系或者公式4优化得到的第一旋转关系作为第一图像的旋转关系，第一图像的R1可以不用优化。对后续的i-1帧图像，再通过公式5结合R1优化得到各个其他图像的Ri。例如，针对i＝2时的第三图像，是基于该两帧图像中每一图像的BA算法计算的重投影误差之和、与该两帧图像中每一图像的旋转关系偏差之和，在R1已知的情况，来优化得到R2。
具体的，基于第二姿态数据参考前述的公式1、公式2以及公式3，可以得到第二图像集合中的每一帧图像对应的从所述设备坐标系到所述参考坐标系之间的第五旋转关系，该第五旋转关系即为公式5中的Rref_i。对第二图像集合中的每一帧图像而言，都会对应计算得到一个Rref_i，通过在拍摄这些图像时的姿态数据来进行优化约束。
进一步地，在一个实施例中，所述优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件的确定方式，包括：确定第一数据与第二数据之间的和满足预设的第三最小化条件；其中，所述第一数据为基于所述第二图像集合中每一帧图像上的像素点计算得到的重投影误差之和，即公式5中∑i，jσij·||uij-vij||求和部分，所述第二数据为所述第二图像集合中每一帧图像对应的旋转关系偏差之和，即公式5中的∑iδidiff(Ri-Rref_i)求和部分，所述旋转关系偏差是指所述第一旋转关系或所述第四旋转关系与对应的第五旋转关系之间的差异。在一个实施例中，所述旋转关系偏差的计算方法可以是通过对待优化的旋转关系与对应的云台旋转关系进行点乘即
Figure BDA0002445870020000151
再转换成角向量后的模长值。如上述，R1可通过上述的公式1到公式3直接计算得到，或者通过公式4优化得到。也可以在通过公式4优化得到后再通过公式5优化计算i＝1时的R1。在得到第一旋转关系R1后，可以优化计算得到i＝2时的第三图像的第四旋转关系即R2，在R1和R2为已知，可以进一步优化得到i＝3时的图像的旋转关系，以此类推。这样一来，即使优化得到的第一旋转关系R1不是特别准确，后面的图像由于加入了关于第五旋转关系Rref_i的约束，在公式5的优化下，后续的图像也能够得到较为准确的旋转关系，从而在S902中，能够更为准确地确定第二图像集合中第三图像上像素点在所述参考坐标系中的位置信息，而不会因为第一旋转关系不是足够准确而受到太大的影响。
通过上述提及的优化方式，使得拍摄设备所在的设备坐标系与参考坐标系之间的旋转关系更加准确，使得在直线运动状态下，像素点到三维坐标的转换的更加准确性。并且也较好地保证了拍摄设备后续拍摄到的图像对应的旋转关系的准确性，从而保证了环境监测、制图等任务能够较好地完成。
再请参见图10，是本发明实施例的关于拍摄设备的数据处理装置的结构示意图，所述装置设置于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态。该图像处理设备可以是能够处理上述各个实施例中的相关内容的智能设备。所述装置包括如下结构。
获取模块1001，用于获取所述拍摄设备采集第一图像时的第一姿态数据；确定模块1002，用于根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；处理模块1003，用于根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述参考坐标系是指：地理坐标系、或大地坐标系。
在一个实施例中，所述拍摄设备设于所述移动平台的云台上。
在一个实施例中，所述确定模块1002，具体用于根据所述第一姿态数据获取所述云台的云台坐标系与所述参考坐标系之间的第二旋转关系，并获取所述拍摄设备的设备坐标系到所述云台坐标系之间的第三旋转关系；根据所述第二旋转关系和所述第三旋转关系，确定采集所述第一图像时所述设备坐标系与参考坐标系之间的第一旋转关系。
在一个实施例中，所述第三旋转关系是根据所述拍摄设备与所述云台的装配关系配置的。
在一个实施例中，所述处理模块1003，具体用于按照预设的第一算法，对所述第一旋转关系进行优化处理；根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述第一姿态数据包括俯仰角、横滚角、偏航角；所述第一旋转关系的优化处理包括对所述偏航角进行优化处理。
在一个实施例中，所述处理模块1003，具体用于获取所述拍摄设备采集的第一图像集合中每一帧图像采集时，所述设备坐标系的中心坐标以及利用传感器数据确定的所述中心坐标在所述参考坐标系中的第一坐标；基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，以使得基于优化后的第一旋转关系确定的各个所述中心坐标在所述参考坐标系中的第二坐标与所述第一坐标之间的差异和满足预设的第一最小化条件；其中，所述第一图像集合包括所述第一图像以及至少一帧第二图像。
在一个实施例中，所述第二图像为在采集时间上邻近所述第一图像的图像。
在一个实施例中，所述处理模块1003，具体用于基于所述中心坐标以及所述第一坐标，对所述第一旋转关系、所述设备坐标系与所述参考坐标系之间的平移关系、所述设备坐标系与所述参考坐标系之间的缩放关系进行优化处理。
在一个实施例中，所述处理模块1003，具体用于根据优化后的第一旋转关系、优化后的平移关系以及优化后的缩放关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述传感数据包括全球定位传感器的采集数据和高度传感器的采集数据。
在一个实施例中，所述处理模块1003，用于根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息；其中，所述第二图像集合包括所述第一图像以及至少一帧第三图像。
在一个实施例中，所述第一图像是所述第二图像集合中的第一帧图像。
在一个实施例中，所述处理模块1003，具体用于利用视觉算法确定所述第三图像与所述第一图像之间的相对变换关系；基于所述第一旋转关系以及所述相对变换关系，确定采集所述第三图像时所述设备坐标系与所述参考坐标系之间的第四旋转关系；根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述处理模块1003，具体用于按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理；根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据优化后的第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述处理模块1003，具体用于获取所述拍摄设备采集所述第二图像集合中每一帧图像时的第二姿态数据；根据所述第二姿态数据，确定所述第二图像集合中每一帧图像在采集时所述设备坐标系与所述参考坐标系之间的第五旋转关系；对所述第一旋转关系以及所述第四旋转关系进行优化处理，以使得优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件。
在一个实施例中，所述处理模块1003，具体用于确定第一数据与第二数据之间的和满足预设的第三最小化条件；其中，所述第一数据为基于所述第二图像集合中每一帧图像上的像素点计算得到的重投影误差之和，所述第二数据为所述第二图像集合中每一帧图像对应的旋转关系偏差之和，所述旋转关系偏差是指所述第一旋转关系或所述第四旋转关系与对应的第五旋转关系之间的差异。
本发明实施例中，所述装置中各个模块的具体实现可参考前述实施例中相关内容的描述，在此不赘述。本发明实施例在移动平台处于直线运动状态时，确定拍摄设备所在的设备坐标系到参考坐标系之间的旋转关系，参考了拍摄设备在采集图像时的姿态数据，这使得在直线运动状态下，可以较为准确地来确定设备坐标系到参考坐标系之间的旋转关系，较好地确保了在直线运动状态下，像素点到三维坐标的转换的准确性，从而更好地实现环境监测、制图等任务。
再请参见图11，是本发明实施例的一种图像处理设备的结构示意图，该图像处理设备为一个智能设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，例如，在图1的场景中，所述图像处理设备为地面端的设备，其能够通过飞行器接收拍摄设备拍摄到的图像，也能够接收拍摄设备在拍摄图像时的姿态数据，例如挂载拍摄设备的云台的云台角信息等数据。在其他实施例中，所述拍摄设备也可以搭载在移动平台上，通过与移动平台的拍摄设备、云台等设备相连，来获取图像处理所需的数据。当然，所述图像处理设备本身也可以作为移动平台的一个部件，用于与拍摄设备、云台等设备相连。
所述图像处理设备包括：通信接口单元1101、处理单元1102，并且包括其他的一些诸如供电模块、壳体等结构；所述图像处理设备可以根据需要包括：用户接口单元1103、存储单元1104。该用户接口单元1103例如可以是触摸显示屏，能够获取用户的指令并且能够向用户呈现相应的原始数据(例如接收到的图像数据)、处理后的数据(例如基于图像处理后制作的环境监测地图)等数据。
所述存储单元1104可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储单元1104也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储单元1104还可以包括上述种类的存储器的组合。
所述处理单元1102可以是由中央处理器(central processing unit，CPU)构成。所述处理单元1102还可以包括硬件芯片。上述硬件芯片例如可以是专用集成电路(application-specific integrated circuit，ASIC)，亦或是可编程逻辑器件(programmable logic device，PLD)等。该PLD可以是诸如现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic，GAL)等。
在一个实施例中，所述存储单元1104可用于存储一些数据，例如上述提及的环境的图像数据、处理后的制图数据等等，所述存储单元1104还可以用于存储程序指令。所述处理单元1102可以调用所述程序指令，实现前述实施例中相应的功能以及步骤。
在一个实施例中，所述通信接口单元1101，用于与外部设备通信，获取外部设备的数据；所述处理单元1102，用于通过所述通信接口单元1101获取所述拍摄设备采集第一图像时的第一姿态数据；根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述参考坐标系是指：地理坐标系、或大地坐标系。
在一个实施例中，所述拍摄设备设于所述移动平台的云台上。
在一个实施例中，所述处理单元1102，用于根据所述第一姿态数据获取所述云台的云台坐标系与所述参考坐标系之间的第二旋转关系，并获取所述拍摄设备的设备坐标系到所述云台坐标系之间的第三旋转关系；根据所述第二旋转关系和所述第三旋转关系，确定采集所述第一图像时所述设备坐标系与参考坐标系之间的第一旋转关系。
在一个实施例中，所述第三旋转关系是根据所述拍摄设备与所述云台的装配关系配置的。
在一个实施例中，所述处理单元1102，用于按照预设的第一算法，对所述第一旋转关系进行优化处理；根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述第一姿态数据包括俯仰角、横滚角、偏航角；所述第一旋转关系的优化处理包括对所述偏航角进行优化处理。
在一个实施例中，所述处理单元1102，用于获取所述拍摄设备采集的第一图像集合中每一帧图像采集时，所述设备坐标系的中心坐标以及利用传感器数据确定的所述中心坐标在所述参考坐标系中的第一坐标；基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，以使得基于优化后的第一旋转关系确定的各个所述中心坐标在所述参考坐标系中的第二坐标与所述第一坐标之间的差异和满足预设的第一最小化条件；其中，所述第一图像集合包括所述第一图像以及至少一帧第二图像。
在一个实施例中，所述第二图像为在采集时间上邻近所述第一图像的图像。
在一个实施例中，所述处理单元1102，用于基于所述中心坐标以及所述第一坐标，对所述第一旋转关系、所述设备坐标系与所述参考坐标系之间的平移关系、所述设备坐标系与所述参考坐标系之间的缩放关系进行优化处理。
在一个实施例中，所述处理单元1102，用于根据优化后的第一旋转关系、优化后的平移关系以及优化后的缩放关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述传感数据包括全球定位传感器的采集数据和高度传感器的采集数据。
在一个实施例中，所述处理单元1102，用于根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息；其中，所述第二图像集合包括所述第一图像以及至少一帧第三图像。
在一个实施例中，所述第一图像是所述第二图像集合中的第一帧图像。
在一个实施例中，所述处理单元1102，用于利用视觉算法确定所述第三图像与所述第一图像之间的相对变换关系；基于所述第一旋转关系以及所述相对变换关系，确定采集所述第三图像时所述设备坐标系与所述参考坐标系之间的第四旋转关系；根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述处理单元1102，用于按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理；根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据优化后的第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
在一个实施例中，所述处理单元1102，用于获取所述拍摄设备采集所述第二图像集合中每一帧图像时的第二姿态数据；根据所述第二姿态数据，确定所述第二图像集合中每一帧图像在采集时所述设备坐标系与所述参考坐标系之间的第五旋转关系；对所述第一旋转关系以及所述第四旋转关系进行优化处理，以使得优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件。
在一个实施例中，所述处理单元1102，用于确定第一数据与第二数据之间的和满足预设的第三最小化条件；其中，所述第一数据为基于所述第二图像集合中每一帧图像上的像素点计算得到的重投影误差之和，所述第二数据为所述第二图像集合中每一帧图像对应的旋转关系偏差之和，所述旋转关系偏差是指所述第一旋转关系或所述第四旋转关系与对应的第五旋转关系之间的差异。
本发明实施例中，所述处理单元的具体实现可参考前述实施例中相关内容的描述，在此不赘述。本发明实施例在移动平台处于直线运动状态时，确定拍摄设备所在的设备坐标系到参考坐标系之间的旋转关系，参考了拍摄设备在采集图像时的姿态数据，这使得在直线运动状态下，可以较为准确地来确定设备坐标系到参考坐标系之间的旋转关系，较好地确保了在直线运动状态下，像素点到三维坐标的转换的准确性，从而更好地实现环境监测、制图等任务。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (35)

1.一种关于拍摄设备的数据处理方法，其特征在于，所述方法应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述方法包括：
获取所述拍摄设备采集第一图像时的第一姿态数据；
根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；
根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息；
所述根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，包括：
根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息；
其中，所述第二图像集合包括所述第一图像以及至少一帧第三图像。
2.如权利要求1所述的方法，其特性在于，所述参考坐标系是指：地理坐标系、或大地坐标系。
3.如权利要求1所述的方法，其特征在于，所述拍摄设备设于所述移动平台的云台上。
4.如权利要求3所述的方法，其特征在于，所述根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系，包括：
根据所述第一姿态数据获取所述云台的云台坐标系与所述参考坐标系之间的第二旋转关系，并获取所述拍摄设备的设备坐标系到所述云台坐标系之间的第三旋转关系；
根据所述第二旋转关系和所述第三旋转关系，确定采集所述第一图像时所述设备坐标系与参考坐标系之间的第一旋转关系。
5.如权利要求4所述的方法，其特征在于，所述第三旋转关系是根据所述拍摄设备与所述云台的装配关系配置的。
6.根据权利要求2所述的方法，其特征在于，所述根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，包括：
按照预设的第一算法，对所述第一旋转关系进行优化处理；
根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
7.根据权利要求6所述的方法，其特征在于，所述第一姿态数据包括俯仰角、横滚角、偏航角；
所述第一旋转关系的优化处理包括对所述偏航角进行优化处理。
8.如权利要求7所述的方法，其特征在于，所述按照预设的第一算法，对所述第一旋转关系进行优化处理，包括：
获取所述拍摄设备采集的第一图像集合中每一帧图像采集时，所述设备坐标系的中心坐标以及利用传感器数据确定的所述中心坐标在所述参考坐标系中的第一坐标；
基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，以使得基于优化后的第一旋转关系确定的各个所述中心坐标在所述参考坐标系中的第二坐标与对应的第一坐标之间的差异和满足预设的第一最小化条件；
其中，所述第一图像集合包括所述第一图像以及至少一帧第二图像。
9.如权利要求8所述的方法，其特征在于，所述第二图像为在采集时间上邻近所述第一图像的图像。
10.如权利要求8所述的方法，其特征在于，所述基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，包括：
基于所述中心坐标以及所述第一坐标，对所述第一旋转关系、所述设备坐标系与所述参考坐标系之间的平移关系、所述设备坐标系与所述参考坐标系之间的缩放关系进行优化处理。
11.如权利要求10所述的方法，其特征在于，所述根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，包括：
根据优化后的第一旋转关系、优化后的平移关系以及优化后的缩放关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
12.如权利要求8所述的方法，其特征在于，所述传感数据包括全球定位传感器的采集数据和高度传感器的采集数据。
13.如权利要求1-12任一项所述的方法，其特征在于，所述第一图像是所述第二图像集合中的第一帧图像。
14.如权利要求1-12任一项所述的方法，其特征在于，所述根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息，包括：
利用视觉算法确定所述第三图像与所述第一图像之间的相对变换关系；
基于所述第一旋转关系以及所述相对变换关系，确定采集所述第三图像时所述设备坐标系与所述参考坐标系之间的第四旋转关系；
根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
15.如权利要求14所述的方法，其特征在于，所述根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息，包括：
按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理；
根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据优化后的第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
16.如权利要求15所述的方法，其特征在于，所述按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理，包括：
获取所述拍摄设备采集所述第二图像集合中每一帧图像时的第二姿态数据；
根据所述第二姿态数据，确定所述第二图像集合中每一帧图像在采集时所述设备坐标系与所述参考坐标系之间的第五旋转关系；
对所述第一旋转关系以及所述第四旋转关系进行优化处理，以使得优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件。
17.如权利要求16所述的方法，其特征在于，所述优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件的确定方式，包括：
确定第一数据与第二数据之间的和满足预设的第三最小化条件；
其中，所述第一数据为基于所述第二图像集合中每一帧图像上的像素点计算得到的重投影误差之和，所述第二数据为所述第二图像集合中每一帧图像对应的旋转关系偏差之和，所述旋转关系偏差是指所述第一旋转关系或所述第四旋转关系与对应的第五旋转关系之间的差异。
18.一种关于拍摄设备的数据处理装置，其特征在于，所述装置应用于图像处理设备，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述装置包括：
获取模块，用于获取所述拍摄设备采集第一图像时的第一姿态数据；
确定模块，用于根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；
处理模块，用于根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息；
其中，所述处理模块，在用于根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，被允许用于根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息；
其中，所述第二图像集合包括所述第一图像以及至少一帧第三图像。
19.一种图像处理设备，其特征在于，该图像处理设备能够获取拍摄设备的姿态数据，所述拍摄设备设于移动平台上，且所述移动平台的运动状态为直线运动状态，所述图像处理设备包括：通信接口单元、处理单元；
所述通信接口单元，用于与外部设备通信，获取外部设备的数据；
所述处理单元，用于通过所述通信接口单元获取所述拍摄设备采集第一图像时的第一姿态数据；根据所述第一姿态数据，确定采集所述第一图像时所述拍摄设备的设备坐标系与参考坐标系之间的第一旋转关系；根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息；
其中，所述处理单元，在用于根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息时，被允许用于根据所述第一旋转关系，确定所述拍摄设备采集的第二图像集合中每一帧图像上的像素点在所述参考坐标系中的位置信息；其中，所述第二图像集合包括所述第一图像以及至少一帧第三图像。
20.如权利要求19所述的图像处理设备，其特性在于，所述参考坐标系是指：地理坐标系、或大地坐标系。
21.如权利要求19所述的图像处理设备，其特征在于，所述拍摄设备设于所述移动平台的云台上。
22.如权利要求21所述的图像处理设备，其特征在于，所述处理单元，用于
根据所述第一姿态数据获取所述云台的云台坐标系与所述参考坐标系之间的第二旋转关系，并获取所述拍摄设备的设备坐标系到所述云台坐标系之间的第三旋转关系；
根据所述第二旋转关系和所述第三旋转关系，确定采集所述第一图像时所述设备坐标系与参考坐标系之间的第一旋转关系。
23.如权利要求22所述的图像处理设备，其特征在于，所述第三旋转关系是根据所述拍摄设备与所述云台的装配关系配置的。
24.根据权利要求20所述的图像处理设备，其特征在于，所述处理单元，用于
按照预设的第一算法，对所述第一旋转关系进行优化处理；
根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
25.根据权利要求24所述的图像处理设备，其特征在于，所述第一姿态数据包括俯仰角、横滚角、偏航角；
所述第一旋转关系的优化处理包括对所述偏航角进行优化处理。
26.如权利要求25所述的图像处理设备，其特征在于，所述处理单元，用于
获取所述拍摄设备采集的第一图像集合中每一帧图像采集时，所述设备坐标系的中心坐标以及利用传感器数据确定的所述中心坐标在所述参考坐标系中的第一坐标；
基于所述中心坐标以及所述第一坐标，对所述第一旋转关系进行优化处理，以使得基于优化后的第一旋转关系确定的各个所述中心坐标在所述参考坐标系中的第二坐标与对应的第一坐标之间的差异和满足预设的第一最小化条件；
其中，所述第一图像集合包括所述第一图像以及至少一帧第二图像。
27.如权利要求26所述的图像处理设备，其特征在于，所述第二图像为在采集时间上邻近所述第一图像的图像。
28.如权利要求26所述的图像处理设备，其特征在于，所述处理单元，用于
基于所述中心坐标以及所述第一坐标，对所述第一旋转关系、所述设备坐标系与所述参考坐标系之间的平移关系、所述设备坐标系与所述参考坐标系之间的缩放关系进行优化处理。
29.如权利要求28所述的图像处理设备，其特征在于，所述处理单元，用于
根据优化后的第一旋转关系、优化后的平移关系以及优化后的缩放关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息。
30.如权利要求26所述的图像处理设备，其特征在于，所述传感数据包括全球定位传感器的采集数据和高度传感器的采集数据。
31.如权利要求19-30任一项所述的图像处理设备，其特征在于，所述第一图像是所述第二图像集合中的第一帧图像。
32.如权利要求19-30任一项所述的图像处理设备，其特征在于，所述处理单元，用于
利用视觉算法确定所述第三图像与所述第一图像之间的相对变换关系；
基于所述第一旋转关系以及所述相对变换关系，确定采集所述第三图像时所述设备坐标系与所述参考坐标系之间的第四旋转关系；
根据所述第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据所述第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
33.如权利要求32所述的图像处理设备，其特征在于，所述处理单元，用于
按照预设的第二算法，对所述第一旋转关系以及所述第四旋转关系进行优化处理；
根据优化后的第一旋转关系，确定所述第一图像上的像素点在所述参考坐标系中的位置信息，并根据优化后的第四旋转关系，确定所述第三图像上的像素点在所述参考坐标系中的位置信息。
34.如权利要求33所述的图像处理设备，其特征在于，所述处理单元，用于
获取所述拍摄设备采集所述第二图像集合中每一帧图像时的第二姿态数据；
根据所述第二姿态数据，确定所述第二图像集合中每一帧图像在采集时所述设备坐标系与所述参考坐标系之间的第五旋转关系；
对所述第一旋转关系以及所述第四旋转关系进行优化处理，以使得优化后的第一旋转关系以及优化后的第四旋转关系与对应的第五旋转关系之间的差异满足预设的第二最小化条件。
35.如权利要求32所述的图像处理设备，其特征在于，所述处理单元，用于
确定第一数据与第二数据之间的和满足预设的第三最小化条件；
其中，所述第一数据为基于所述第二图像集合中每一帧图像上的像素点计算得到的重投影误差之和，所述第二数据为所述第二图像集合中每一帧图像对应的旋转关系偏差之和，所述旋转关系偏差是指所述第一旋转关系或所述第四旋转关系与对应的第五旋转关系之间的差异。
CN201980005043.XA 2019-03-29 2019-03-29 关于拍摄设备的数据处理方法、装置及图像处理设备 Expired - Fee Related CN111247389B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/080500 WO2020198963A1 (zh) 2019-03-29 2019-03-29 关于拍摄设备的数据处理方法、装置及图像处理设备

Publications (2)

Publication Number Publication Date
CN111247389A CN111247389A (zh) 2020-06-05
CN111247389B true CN111247389B (zh) 2022-03-25

Family

ID=70879115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980005043.XA Expired - Fee Related CN111247389B (zh) 2019-03-29 2019-03-29 关于拍摄设备的数据处理方法、装置及图像处理设备

Country Status (2)

Country Link
CN (1) CN111247389B (zh)
WO (1) WO2020198963A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202200002258A1 (it) 2022-02-08 2023-08-08 Stefano Revel Metodo di rilevazione delle misure fisiche corporee mediante fotogrammetria
CN114827730B (zh) * 2022-04-19 2024-05-31 咪咕文化科技有限公司 视频封面选取方法、装置、设备及存储介质
CN114812513A (zh) * 2022-05-10 2022-07-29 北京理工大学 一种基于红外信标的无人机定位***及方法
CN115222814B (zh) * 2022-06-02 2023-09-01 珠海云洲智能科技股份有限公司 救援设备导引方法、装置、终端设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
KR101128913B1 (ko) * 2009-05-07 2012-03-27 에스엔유 프리시젼 주식회사 비전 검사시스템 및 이를 이용한 좌표변환방법
CN101922930B (zh) * 2010-07-08 2013-11-06 西北工业大学 一种航空偏振多光谱图像配准方法
US9160980B2 (en) * 2011-01-11 2015-10-13 Qualcomm Incorporated Camera-based inertial sensor alignment for PND
CN102359780B (zh) * 2011-10-26 2014-04-23 中国科学技术大学 一种应用于视频监控***中的定位地面目标的方法
CN103822615B (zh) * 2014-02-25 2016-01-20 北京航空航天大学 一种多控制点自动提取与聚合的无人机地面目标实时定位方法
CN105678754B (zh) * 2015-12-31 2018-08-07 西北工业大学 一种无人机实时地图重建方法
CN105698762B (zh) * 2016-01-15 2018-02-23 中国人民解放军国防科学技术大学 一种单机航迹上基于不同时刻观测点的目标快速定位方法
CN105758426B (zh) * 2016-02-19 2019-07-26 深圳市杉川机器人有限公司 移动机器人的多传感器的联合标定方法
CN105825518B (zh) * 2016-03-31 2019-03-01 西安电子科技大学 基于移动平台拍摄的序列图像快速三维重建方法
CN106097304B (zh) * 2016-05-31 2019-04-23 西北工业大学 一种无人机实时在线地图生成方法
CN106500669A (zh) * 2016-09-22 2017-03-15 浙江工业大学 一种基于四旋翼imu参数的航拍图像矫正方法
CN107314771B (zh) * 2017-07-04 2020-04-21 合肥工业大学 基于编码标志点的无人机定位以及姿态角测量方法
CN108645398A (zh) * 2018-02-09 2018-10-12 深圳积木易搭科技技术有限公司 一种基于结构化环境的即时定位与地图构建方法及***
CN108845335A (zh) * 2018-05-07 2018-11-20 中国人民解放军国防科技大学 一种基于图像和导航信息的无人机地面目标定位方法
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和***
CN108933896B (zh) * 2018-07-30 2020-10-02 长沙全度影像科技有限公司 基于惯性测量单元的全景视频稳像的方法及***

Also Published As

Publication number Publication date
WO2020198963A1 (zh) 2020-10-08
CN111247389A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN111247389B (zh) 关于拍摄设备的数据处理方法、装置及图像处理设备
US10515458B1 (en) Image-matching navigation method and apparatus for aerial vehicles
US20190385339A1 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
EP3158417B1 (en) Sensor fusion using inertial and image sensors
JP2008186145A (ja) 空撮画像処理装置および空撮画像処理方法
JP5748561B2 (ja) 航空写真撮像方法及び航空写真撮像装置
EP3734394A1 (en) Sensor fusion using inertial and image sensors
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
WO2018193574A1 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
WO2021217371A1 (zh) 可移动平台的控制方法和装置
CN113875222B (zh) 拍摄控制方法和装置、无人机及计算机可读存储介质
Caballero et al. Improving vision-based planar motion estimation for unmanned aerial vehicles through online mosaicing
CN112363176B (zh) 电梯井道巡检及建模方法、装置和巡检建模***
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
KR101806402B1 (ko) 인공 위성을 제어하는 방법
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
WO2020038720A1 (en) Apparatus, method and computer program for detecting the form of a deformable object
Klingbeil et al. Towards autonomous navigation of an UAV-based mobile mapping system
CN111699454B (zh) 一种飞行规划方法及相关设备
CN110720113A (zh) 一种参数处理方法、装置及摄像设备、飞行器
WO2019189381A1 (ja) 移動体、制御装置、および制御プログラム
CN109725340B (zh) 直接地理定位方法及装置
CN110720023B (zh) 一种对摄像机的参数处理方法、装置及图像处理设备
US20210229810A1 (en) Information processing device, flight control method, and flight control system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220325

CF01 Termination of patent right due to non-payment of annual fee