CN111213159A - 一种图像处理方法、装置及*** - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、装置及***，其中方法包括：对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合；根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集；将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果，第一子集为第一特征点集合中的任一子集，第二子集包括所述第二特征点集合中与所述第一子集对应的目标子集。本发明实施例可在确保匹配精度的情况下，有效提高匹配速度。

Description

一种图像处理方法、装置及***

技术领域

本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置及***。

背景技术

图像匹配包括在两个或多个图像之间识别同名点的过程。同名点是指对应于三维空间中同一个点的特征点。现有的匹配过程在获取两个或多个图像的同名点时，是将图像中的任一特征点与其他图像中所有的特征点进行匹配。该方法计算复杂，匹配速度较慢。基于此，如何在确保匹配精度的情况下，提高匹配速度是当前亟需解决的技术问题。

发明内容

有鉴于此，本发明实施例提供一种图像处理方法、装置及***，可在确保匹配精度的情况下，有效提高匹配速度。

本发明实施例的第一方面是提供的一种图像处理方法，包括：

对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合；

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集；

将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果，所述第一子集为第一特征点集合中的任一子集，所述第二子集包括所述第二特征点集合中与所述第一子集对应的目标子集。

本发明实施例的第二方面是提供的一种图像处理装置，包括存储器、处理器；

所述存储器用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合；

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集；

将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果，所述第一子集为第一特征点集合中的任一子集，所述第二子集包括所述第二特征点集合中与所述第一子集对应的目标子集。

本发明实施例的第三方面是提供的一种图像处理***，包括：

可移动平台，所述可移动平台上设置有图像拍摄装置；

如第二方面所述的图像处理装置；

所述可移动平台用于通过所述图像拍摄装置在所述可移动平台移动的过程中采集多个图像，并将采集到的所述多个图像发送给所述图像处理装置，所述多个图像包括第一图像和第二图像。

在本发明实施例中，图像处理装置可根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集，可确保匹配精度。另外，图像匹配设备将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，减少了特征点的匹配数量，可有效提高匹配速度。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种成像示意图；

图2是本发明实施例提供的一种图像示意图；

图3是本发明实施例提供的一种图像处理方法的示意流程图；

图4A是本发明实施例提供的一种子集的排列示意图；

图4B是本发明实施例提供的另一种子集的排列示意图；

图4C是本发明实施例提供的另一种子集的排列示意图；

图5是本发明实施例提供的一种基准极平面的确定方法的示意流程图；

图6A是本发明实施例提供的一种基准极平面的示意图；

图6B是本发明实施例提供的另一种基准极平面的示意图；

图7是本发明实施例提供的一种子集的划分方法的示意流程图；

图8是本发明实施例提供的另一种图像示意图；

图9是本发明实施例提供的一种图片匹配设备的示意框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在图像处理中，特征点指的是图像灰度值发生剧烈变化的像素点或者在图像边缘上曲率较大的像素点(即两个边缘的交点)。特征点能够反映图像本质特征，能够标识图像中的目标物体，通过特征点的匹配能够完成图像匹配。可以通过预设特征点检测算法对图像进行特征提取，得到特征点集合。预设特征点检测算法可以包括但不限于Harris，Fast(Features fromaccelerated segment test)，DOG(Difference of Gaussian)，或者SURF(Speeded Up Robust Features)等算法。

特征描述子指的是对特征点的局部描述，示例性的，特征描述子可以包括DAISY描述子，尺度不变特征变换(SIFT，Scale-invariant feature transform)描述子，SURF描述子，或者ORB描述子等。通过特征描述子的计算能够完成特征点的匹配，例如将特征描述子作为一个高维度的向量，计算两个向量之间的距离，基于该距离得到特征描述子对应的特征点之间的匹配结果，该距离可以为欧式距离或者汉明距离等。

以图1所示的成像示意图为例，图像拍摄装置可以以不同角度对物体X进行图像拍摄，得到第一图像和第二图像。图像拍摄装置在图像拍摄时，图像拍摄装置所包含的镜头中心在世界坐标系中的位置称为光心，例如图像拍摄装置在采集第一图像时，光心在世界坐标系中的位置为C点(即第一光心)；图像拍摄装置在采集第二图像时，光心在世界坐标系中的位置为C′点(即第二光心)。第一光心C以及第二光心C′所组成的直线为基线。任一图像中的任一像素点和基线所组成的平面为极平面。示例性的，图像拍摄装置可以为相机或者摄像头等。

以图2所示的图像示意图为例，(x，y，f)所在的坐标系为像空间坐标系，像空间坐标系中的xy平面和图像平面平行，z轴为相机主轴，原点O是投影中心(即光心)。相机主轴和图像平面之间的交点，称为像主点，O点和O1点之间的距离为焦距f。

本发明实施例提供一种图像处理***，图像处理***包括可移动平台和图像处理装置。可移动平台配置有定位模块和云台，云台上挂载有图像拍摄装置。图像拍摄装置可以以不同角度对被拍摄物体进行图像拍摄，得到第一图像和第二图像。然后，可移动平台可将第一图像和第二图像发送给图像处理装置。图像处理装置可对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合。可移动平台还可以通过定位模块获取图像拍摄装置在采集第一图像和第二图像时的定位信息，并获取图像拍摄装置在采集第一图像和第二图像时的姿态信息，并将定位信息和姿态信息发送给图像处理装置。由此，图像处理装置可以根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集，将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果。

可选的，图像处理装置与可移动平台分离设置，或者图像处理装置设置在可移动平台中。可选的，可移动平台可为无人飞行器，无人车，移动机器人。

示例性的，定位模块可以包括但不限于全球定位***(GPS)定位装置、北斗定位装置或实时动态(Real-time kinematic，RTK)载波相位差分定位装置(简称RTK定位装置)。RTK载波相位差分技术是实时处理两个测量站载波相位观测量的差分方法，将基准站采集的载波相位发给用户接收机，进行求差解算坐标。RTK载波相位差分技术采用了载波相位动态实时差分方法，RTK载波相位差分技术能够在野外实时得到厘米级定位精度，而不需要事后进行解算才能获得厘米级的精度，采用RTK定位装置检测可移动平台的定位信息，可以有效提高图像匹配的精度。

可选的，可移动平台是通过控制云台控制图像拍摄装置的姿态，所述姿态信息包括云台角信息。可选的，可移动平台是通过控制自身姿态控制图像拍摄装置的姿态，所述姿态信息包括可移动平台的姿态信息。

云台角信息可以包括图像拍摄装置在采集第一图像和第二图像时云台的姿态信息，例如云台的横滚角(roll)、俯仰角(pitch)或者偏航角(yaw)。

示例性的，得到图像匹配结果之后，基于图像匹配结果可以识别第一图像和第二图像中的连接点，进而基于该连接点进行影像拼接。或者基于图像匹配结果可以识别第一图像和第二图像中的连接点，进而基于该连接点生成二维地图。或者基于图像匹配结果可以识别第一图像和第二图像中的同名点，进而在无人驾驶***中基于同名点进行目标跟踪或者重定位。或者基于图像匹配结果可以识别第一图像和第二图像中的同名点，进而基于同名点进行三维重建，等等，具体不受本申请实施例的限定。

请参见图3，是本发明实施例提出的一种图像处理方法的示意流程图，所述方法包括：

S301，对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合。

图像处理装置获取到第一图像之后，可以使用预设特征点检测算法对第一图像进行特征提取，得到第一特征点集合，第一特征点集合可以包括至少两个特征点。图像处理装置获取到第二图像之后，可以使用预设特征点检测算法对第二图像进行特征提取，得到第二特征点集合，第二特征点集合可以包括至少两个特征点。

示例的，可移动平台挂载有图像拍摄装置，可移动平台通过图像拍摄装置采集到第一图像和第二图像之后，可以将第一图像和第二图像发送给图像处理装置。图像处理装置可以对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合。

S302，根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集。

图像处理装置可以根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合划分为多个子集，并将第二特征点集合划分为多个子集。

需要说明的是，子集的排列方式不受本申请实施例的限定，以图4A为例，划分得到的子集的排列方式可以为横向排列。以图4B为例，划分得到的子集的排列方式可以为纵向排列。以图4C为例，划分得到的子集的排列方式可以为发散排列。

在一种实现方式中，拍摄装置在采集第一图像和第二图像时姿态信息包括云台角信息，图像处理装置根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集的具体方式可以为：图像处理装置根据图像拍摄装置在采集第一图像和第二图像时的定位信息和云台角信息，确定基准极平面，然后根据每个极平面和基准极平面之间的夹角，将第一特征点集合和第二特征点集合分别划分为多个子集。

在一种实现方式中，图像处理装置根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集之前，可以获取图像拍摄装置的畸变参数和内参数，根据畸变参数和内参数，对第一图像和第二图像的特征点进行畸变校正。

具体实现中，图像处理装置可先获取第一图像所包含的每个像素点的坐标，并根据每个像素点的坐标，图像拍摄装置的畸变参数和内参数对第一图像的特征点进行畸变校正。图像处理装置可先获取第二图像所包含的每个像素点的坐标，并根据每个像素点的坐标，图像拍摄装置的畸变参数和内参数对第二图像的特征点进行畸变校正。其中，畸变参数可以包括径向畸变参数和切向畸变参数中的至少一种，内参数可以包括像主点坐标和焦距中的至少一种。

该实施例中，在位姿绝对精确以及图像畸变完全去除的情况下，同名点位于被拍摄物体与两个光心所确定的平面上，同名点即为被拍摄物体与光心的连线和像平面的交点。拍摄得到的第一图像和第二图像存在畸变，畸变后的像素坐标可能偏离原始位置多达300个像素，为了获取理想的畸变矫正结果，本发明实施例可以对图像拍摄装置的镜头进行出厂前标定，得到畸变参数和内参数，用畸变参数和内存数对特征点进行畸变矫正，从而去除畸变对图像匹配的影响。

S303，将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果，第一子集为第一特征点集合中的任一子集，第二子集包括第二特征点集合中与第一子集对应的目标子集。

图像处理装置将第一特征点集合和第二特征点集合分别划分为多个子集之后，可以将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果。例如，图像处理装置将第一特征点集合划分为十个子集，并将第二特征点集合划分为十个子集。子集的排列方式如图4C所示，假设第一特征点集合的子集0和第一特征点集合的子集1和子集9相邻，第二特征点集合的子集0和第二特征点集合的子集1和子集9相邻。如果第一子集为第一特征点集合的子集0，则第二特征点集合中与第一子集对应的目标子集可以为第二特征点集合的子集0，即第二子集可以为第二特征点集合的子集0，图像处理装置可以将第一特征点集合的子集0所包含的特征点和第二特征点集合的子集0所包含的特征点进行匹配。

在一种实现方式中，第二子集还包括与目标子集相邻的子集。例如，第一子集为第一特征点集合的子集0，目标子集为第二特征点集合的子集0，第二特征点集合的子集0和第二特征点集合的子集1和子集9相邻，则第二子集可以包括第二特征点集合的子集0、子集1和子集9，图像处理装置可以将第一特征点集合的子集0所包含的特征点和第二特征点集合的子集0所包含的特征点进行匹配，将第一特征点集合的子集0所包含的特征点和第二特征点集合的子集1所包含的特征点进行匹配，并将第一特征点集合的子集0所包含的特征点和第二特征点集合的子集9所包含的特征点进行匹配。

在该实施例中，由于定位信息和姿态信息存在一定的误差，同名点不一定在同一个极平面上，而是在第一特征点集合的第一子集和第二特征点集合中与目标子集相邻的子集上。基于此，将第一特征点集合的第一子集所包含的特征点和第二特征点集合的目标子集以及与目标子集相邻的子集所包含的特征点进行匹配，可提高图像匹配的精准度。

在一种实现方式中，图像处理装置将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配的方式可以为：将第一子集包含的特征点的特征描述子和第二子集包含的特征点的特征描述子进行计算。

在本发明实施例中，图像处理装置可根据图像拍摄装置在采集第一图像和第二图像时的定位信息和姿态信息，将第一特征点集合和第二特征点集合分别划分为多个子集，可确保匹配精度。另外，图像处理装置将第一特征点集合的第一子集所包含的特征点和第二特征点集合的第二子集所包含的特征点进行匹配，减少了特征点的匹配数量，可有效提高匹配速度。

结合图3所示的图像处理方法，请参见图5，图5是本发明实施例提出的一种基准极平面的确定方法的示意流程图，所述方法包括：

S501，根据定位信息，确定图像拍摄装置在采集第一图像时的第一光心在世界坐标系中的第一坐标，以及图像拍摄装置在采集第二图像时的第二光心在世界坐标系中的第二坐标。

在一种实现方式中，定位模块可以和图像拍摄装置集成在可移动平台的同一位置。则图像拍摄装置在采集第一图像时，可移动平台可以通过定位模块获取图像拍摄装置所包含的镜头中心在世界坐标系中的位置，可移动平台将该位置发送给图像处理装置，图像处理装置将该位置作为第一光心在世界坐标系中的第一坐标。图像拍摄装置在采集第二图像时，可移动平台可以通过定位模块获取图像拍摄装置所包含的镜头中心在世界坐标系中的位置，可移动平台将该位置发送给图像处理装置，图像处理装置将该位置作为第二光心在世界坐标系中的第二坐标。在该实施例中，定位模块可以和图像拍摄装置集成在可移动平台的同一位置，则定位模块检测到的位置即图像拍摄装置所包含的镜头中心在世界坐标系中的位置，可提高第一坐标和第二坐标的精确度。

在一种实现方式中，定位模块可以和图像拍摄装置集成在可移动平台的不同位置。则图像拍摄装置在采集第一图像时，可移动平台可以通过定位模块获取定位模块在世界坐标系中的位置，可移动平台将该位置和图像拍摄装置相对定位模块的位置发送给图像处理装置，图像处理装置根据该位置和图像拍摄装置相对定位模块的位置，得到第一光心在世界坐标系中的第一坐标。图像拍摄装置在采集第二图像时，可移动平台可以通过定位模块获取定位模块在世界坐标系中的位置，可移动平台将该位置发送给图像处理装置，图像处理装置根据该位置和图像拍摄装置相对定位模块的位置，得到第二光心在世界坐标系中的第二坐标。在该实施例中，定位模块可以和图像拍摄装置集成在可移动平台的不同位置，则定位模块检测到的位置即定位模块在世界坐标系中的位置，根据该位置和图像拍摄装置相对定位模块的位置，得到第一坐标和第二坐标，可提高第一坐标和第二坐标的精确度。

S502，根据第一坐标、第二坐标以及云台角信息，确定第一图像和第二图像在世界坐标系中的位姿。

图像处理装置根据第一坐标和图像拍摄装置在采集第一图像时的云台角信息，可以确定第一图像在世界坐标系中的位姿。图像处理装置根据第二坐标和图像拍摄装置在采集第二图像时的云台角信息，可以确定第二图像在世界坐标系中的位姿。

以图2为例，图像处理装置可以根据第一坐标和图像拍摄装置在采集第一图像时的云台角信息，建立像空间坐标系，其中第一坐标为原点O，像空间坐标系的x轴、y轴和z轴可由云台角信息得到。由于像空间坐标系中的xy平面和图像平面平行，则图像处理装置根据像空间坐标系和焦距可以得到第一图像在世界坐标系中的位姿。同理，图像处理装置可以根据第二坐标和图像拍摄装置在采集第二图像时的云台角信息，建立像空间坐标系，其中第二坐标为原点O，像空间坐标系的x轴、y轴和z轴可由云台角信息得到。由于像空间坐标系中的xy平面和图像平面平行，则图像处理装置根据像空间坐标系和焦距可以得到第二图像在世界坐标系中的位姿。

S503，根据第一图像和第二图像在世界坐标系中的位姿确定基准极平面。

在一种实现方式中，当第一光心和第一图像的像主点所组成的直线与基线之间的夹角大于预设阈值时，图像处理装置可以将直线和基线所组成的平面作为基准极平面。

以图6A所示的基准极平面的示意图为例，图像处理装置可以确定第一光心在世界坐标系中的位置，根据第一图像在世界坐标系中的位姿得到第一图像的像主点在世界坐标系中的位置，进而根据第一光心在世界坐标系中的位置和第一图像的像主点在世界坐标系中的位置，确定第一光心和第一图像的像主点所组成的直线。图像处理装置还可以根据第一光心在世界坐标系中的位置和第二光心在世界坐标系中的位置确定基线。然后，图像处理装置可以获取第一光心和第一图像的像主点所组成的直线与基线之间的夹角，将该夹角与预设阈值进行比较，当第一光心和第一图像的像主点所组成的直线与基线之间的夹角大于预设阈值时，图像处理装置可以将直线和基线所组成的平面作为基准极平面。

在一种实现方式中，当直线与基线之间的夹角小于或者等于预设阈值时，图像处理装置可以将基线和第一图像中的行方向向量所确定的平面作为基准极平面。以图2为例，第一图像中的行方向向量和第一图像的像空间坐标系中的X轴平行。

以图6B所示的基准极平面的示意图为例，图像处理装置可以确定第一光心在世界坐标系中的位置，根据第一图像在世界坐标系中的位姿得到第一图像的像主点在世界坐标系中的位置，进而根据第一光心在世界坐标系中的位置和第一图像的像主点在世界坐标系中的位置，确定第一光心和第一图像的像主点所组成的直线。图像处理装置还可以根据第一光心在世界坐标系中的位置和第二光心在世界坐标系中的位置确定基线。然后，图像处理装置可以获取第一光心和第一图像的像主点所组成的直线与基线之间的夹角，将该夹角与预设阈值进行比较，当第一光心和第一图像的像主点所组成的直线与基线之间的夹角小于或者等于预设阈值时，图像处理装置可以将根据基线和第一图像中的行方向向量所确定的平面作为基准极平面。

在本发明实施例中，图像处理装置根据定位信息，确定图像拍摄装置在采集第一图像时的第一光心在世界坐标系中的第一坐标，以及图像拍摄装置在采集第二图像时的第二光心在世界坐标系中的第二坐标，根据第一坐标、第二坐标以及云台角信息，确定第一图像和第二图像在世界坐标系中的位姿，根据第一图像和第二图像在世界坐标系中的位姿确定基准极平面，可提高基准极平面的准确度。

结合图3所示的图像处理方法，请参见图7，图7是本发明实施例提出的一种子集的划分方法的示意流程图，所述方法包括：

S701，根据每个极平面和基准极平面之间的夹角，确定夹角区间。

其中，夹角区间所包含的最小夹角小于或者等于第一夹角和第二夹角中的最大值，夹角区间所包含的最大夹角大于或者等于第三夹角和第四夹角中的最小值。

第一夹角为第一特征点集合中的特征点所对应的极平面和基准极平面之间的最小夹角，第二夹角为第二特征点集合中的特征点所对应的极平面和基准极平面之间的最小夹角，第三夹角为第一特征点集合中的特征点所对应的极平面和基准极平面之间的最大夹角，第四夹角为第二特征点集合的特征点所对应的极平面和基准极平面之间的最大夹角。

第一特征点集合中的特征点所对应的极平面，即第一图像的特征点和基线所组成的的平面。第二特征点集合中的特征点所对应的极平面，即第二图像的特征点和基线所组成的的平面。

具体实现中，图像处理装置可以获取第一图像的每个特征点，第一图像的每个特征点和基线所组成的的平面为极平面。图像处理装置可以获取每个极平面和基准极平面之间的夹角，在获取到的夹角中确定第一夹角min1和第三夹角max1。

同理，图像处理装置可以获取第二图像的每个特征点，第二图像的每个特征点和基线所组成的的平面为极平面。图像处理装置可以获取每个极平面和基准极平面之间的夹角，在获取到的夹角中确定第二夹角min2和第四夹角max2。

进一步的，图像处理装置可以在第一夹角和第二夹角中确定最大值max(min1,min2)，在第三夹角和第四夹角中确定最小值min(max1,max2)，图像处理装置可以将[max(min1,min2)，min(max1,max2)]作为夹角区间。

在一种实现方式中，考虑到夹角存在误差，图像处理装置可以将max(min1,min2)与第一预设数值相减，得到夹角区间的最小值，并将min(max1,max2)与第二预设数值相加，得到夹角区间的最大值。第一预设数值和第二预设数值可以相同，也可以不相同，具体不受本发明实施例的限定。例如，第一预设数值为k1,第二预设数值为k2，则图像处理装置可以将[max(min1,min2)-k1，min(max1,max2)+k2]作为夹角区间。

在一种实现方式中，图像的每个特征点在世界坐标系中的坐标可以通过如下方式得到：

(1)图像处理装置获取到图像之后，可以得到图像的每个特征点在像素坐标系中的坐标，其中像素坐标系与图像平面重合。以图8所示的图像示意图为例，像素坐标系包括u轴和v轴，原点O₀为图像平面的左上角顶点，像主点O₁在像素坐标系中的坐标为(u₀，v₀)，像素坐标系为二维坐标，单位是像素，图像的每个特征点在像素坐标系中的坐标表示特征点在图像中的位置。

(2)图像处理装置可以将图像的每个特征点在像素坐标系中的坐标转换为在图像坐标系中的坐标。图像坐标系包括x轴和y轴，原点O₁为图像的像主点。

图像处理装置可以通过如下公式得到图像的每个特征点在图像坐标系中的坐标：

其中，u为图像的任一特征点在像素坐标系中的横坐标，v为该特征点在像素坐标系中的纵坐标，dx为x轴上像素的物理尺寸，dy为y轴上像素的物理尺寸，u₀为像主点在像素坐标系中的横坐标，v₀为像主点在像素坐标系中的纵坐标，x为该特征点在图像坐标系中的横坐标，y为该特征点在图像坐标系中的纵坐标。

(3)图像处理装置可以将图像的每个特征点在图像坐标系中的坐标转换为在像空间坐标系中的坐标。图像坐标系包括x轴和y轴，原点O₁为图像的像主点。像空间坐标系包括x轴、y轴和z轴。以图2为例，像空间坐标系中的xy平面和图像平面平行，z轴为相机主轴，原点O是投影中心(即光心)，像空间坐标系为三维坐标系，像空间坐标系的单位与世界坐标系一致。(x，y)所在的坐标系为图像坐标系，图像坐标系中的xy平面与图像平面重合，原点O1为相机主轴和图像平面的交点，也称为像主点，O点和O1点之间的距离为焦距f，图像坐标系为二维坐标，图像坐标系的单位与像空间坐标系一致。

假设图像的任一特征点在图像坐标系中的坐标为(x，y)，则该特征点在像空间坐标系中的坐标为(x，y，f)。

(4)图像处理装置可以将图像的每个特征点在像空间坐标系中的坐标转换为在世界坐标系中的坐标。

图像处理装置可以通过如下公式得到图像的每个特征点在世界坐标系中的坐标：

其中，x为图像的任一特征点在像空间坐标系的x轴上的坐标，y为该特征点在像空间坐标系的y轴上的坐标，z为该特征点在像空间坐标系的z轴上的坐标，x_w为该特征点在世界坐标系的x轴上的坐标，y_w为该特征点在世界坐标系的y轴上的坐标，z_w为该特征点在世界坐标系的z轴上的坐标，R为旋转矩阵，T为平移变换矩阵。

旋转矩阵可以通过如下公式得到：

其中，α、β以及γ可以根据图像拍摄装置在采集图像时的云台角信息得到。以三轴云台为例，即为俯仰角、横滚角和平移角。

平移变换矩阵可以通过如下公式得到：

T＝-R(α，β，Y)*(x，y，z)^T

其中，(x，y，z)为图像拍摄装置在采集图像时的光心在世界坐标系中的坐标。

其中，上述图像可以为第一图像或第二图像。

S702，根据夹角区间，将第一特征点集合和第二特征点集合分别划分为多个子集。

图像处理装置可以根据夹角区间，将第一特征点集合划分为多个子集，并将第二特征点集合划分为多个子集。第一特征点集合划分得到的子集数量或者第二特征点集合划分得到的子集数量可以根据RTK或云台角的精度调整，RTK或云台角的精度越高，子集数量可以设置得更大。

在一种实现方式中，图像处理装置可以将夹角区间划分为多个单元区间，确定同一单元区间所包含的夹角对应的目标极平面，将目标极平面所包含的第一特征点集合中的特征点划分为第一子集，将目标极平面所包含的第二特征点集合中的特征点划分为目标子集。目标子集以及与目标子集相邻的子集可以作为第二子集。

例如，假设夹角区间为[-30°，60°]，子集数量为3，则图像处理装置可以确定与基准极平面之间的夹角为[-30°，0)这一区间范围内的第一极平面，将第一极平面所包含的第一特征点集合中的特征点划分为子集1，将第一极平面所包含的第二特征点集合中的特征点划分为子集2。图像处理装置还可以确定与基准极平面之间的夹角为[0，30°)这一区间范围内的第二极平面，将第二极平面所包含的第一特征点集合中的特征点划分为子集3，将第二极平面所包含的第二特征点集合中的特征点划分为子集4。图像处理装置还可以确定与基准极平面之间的夹角为[30°，60°]这一区间范围内的第三极平面，将第三极平面所包含的第一特征点集合中的特征点划分为子集5，将第三极平面所包含的第二特征点集合中的特征点划分为子集6。基于此，图像处理装置根据夹角区间，将第一特征点集合划分为子集1、子集3和子集5，且图像处理装置根据夹角区间，将第二特征点集合划分为子集2、子集4和子集6。若第一子集为子集1，则目标子集可以为子集2；若第一子集为子集3，则目标子集可以为子集4；若第一子集为子集5，则目标子集可以为子集6。

示例性的，设置第一特征点集合划分得到的子集数量或者第二特征点集合划分得到的子集数量均为100时，通过本发明实施例的图像处理方法匹配两张图像中大约20000个特征点耗时小于3.5ms，同时保证相对于现有匹配方法找到的匹配的数量更多，且匹配结果均满足极线约束，误匹配率更低。

在本发明实施例中，图像处理装置根据每个极平面和基准极平面之间的夹角，确定夹角区间，根据夹角区间，将第一特征点集合和第二特征点集合分别划分为多个子集，提高子集划分的精确度，确保位于第一子集的特征点和位于第二子集的特征点是同名点的可能性较大。

本发明实施例提供了一种图像处理装置，图9是本发明实施例提供的图像处理装置的示意框架图，如图9所示，图像处理装置包括存储器901和处理器902，存储器用于存储程序代码；

所述处理器902，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合；

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集；

将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果，所述第一子集为第一特征点集合中的任一子集，所述第二子集包括所述第二特征点集合中与所述第一子集对应的目标子集。

在一种实现方式中，所述姿态信息包括云台角信息，所述处理器902根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集时，执行如下操作：

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和云台角信息，确定基准极平面；

根据每个极平面和所述基准极平面之间的夹角，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集。

在一种实现方式中，所述处理器902根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和云台角信息，确定基准极平面时，执行如下操作：

根据所述定位信息，确定所述图像拍摄装置在采集所述第一图像时的第一光心在世界坐标系中的第一坐标，以及所述图像拍摄装置在采集所述第二图像时的第二光心在所述世界坐标系中的第二坐标；

根据所述第一坐标、所述第二坐标以及所述云台角信息，确定所述第一图像和所述第二图像在所述世界坐标系中的位姿；

根据所述第一图像和所述第二图像在所述世界坐标系中的位姿确定所述基准极平面。

在一种实现方式中，所述处理器902根据所述第一图像和所述第二图像在所述世界坐标系中的位姿确定所述基准极平面时，执行如下操作：

当所述第一光心和所述第一图像的像主点所组成的直线与基线之间的夹角大于预设阈值时，将所述直线和所述基线所组成的平面作为所述基准极平面；

当所述直线与所述基线之间的夹角小于或者等于所述预设阈值时，则根据所述基线和所述第一图像中的行方向向量确定所述基准极平面；

所述基线为所述第一光心和所述第二光心所组成的直线。

在一种实现方式中，所述处理器902根据每个极平面和所述基准极平面之间的夹角，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集时，执行如下操作：

根据每个极平面和所述基准极平面之间的夹角，确定夹角区间；

根据所述夹角区间，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集。

在一种实现方式中，所述夹角区间所包含的最小夹角小于或者等于第一夹角和第二夹角中的最大值，所述夹角区间所包含的最大夹角大于或者等于第三夹角和第四夹角中的最小值；

其中，所述第一夹角为所述第一特征点集合中的特征点所对应的极平面和所述基准极平面之间的最小夹角，所述第二夹角为所述第二特征点集合中的特征点所对应的极平面和所述基准极平面之间的最小夹角，所述第三夹角为所述第一特征点集合中的特征点所对应的极平面和所述基准极平面之间的最大夹角，所述第四夹角为所述第二特征点集合的特征点所对应的极平面和所述基准极平面之间的最大夹角。

在一种实现方式中，所述处理器902根据所述夹角区间，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集时，执行如下操作：

将所述夹角区间划分为多个单元区间；

确定同一单元区间所包含的夹角对应的目标极平面；

将所述目标极平面所包含的第一特征点集合中的特征点划分为所述第一子集；

将所述目标极平面所包含的第二特征点集合中的特征点划分为所述目标子集。

在一种实现方式中，所述第二子集还包括与所述目标子集相邻的子集。

在一种实现方式中，所述处理器902根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集之前，还执行如下操作：

获取所述图像拍摄装置的畸变参数和内参数；

根据所述畸变参数和内参数，对所述第一图像和所述第二图像的特征点进行畸变校正。

在一种实现方式中，所述处理器902将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配时，执行如下操作：

将所述第一子集包含的特征点的特征描述子和所述第二子集包含的特征点的特征描述子进行匹配。

在一种实现方式中，所述处理器902还执行如下操作：

将所述第一图像或所述第二图像的任一像素点和基线所组成的平面确定为极平面。

本实施例提供的图像处理装置能够执行前述实施例提供的如图3、图5和图7所示的方法，其执行方式和有益效果类似，在这里不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (23)

1.一种图像处理方法，其特征在于，包括：

对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合；

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集；

将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果，所述第一子集为第一特征点集合中的任一子集，所述第二子集包括所述第二特征点集合中与所述第一子集对应的目标子集。

2.如权利要求1所述的方法，其特征在于，所述姿态信息包括云台角信息，所述根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集，包括：

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和云台角信息，确定基准极平面；

根据每个极平面和所述基准极平面之间的夹角，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集。

3.如权利要求2所述的方法，其特征在于，所述根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和云台角信息，确定基准极平面，包括：

根据所述定位信息，确定所述图像拍摄装置在采集所述第一图像时的第一光心在世界坐标系中的第一坐标，以及所述图像拍摄装置在采集所述第二图像时的第二光心在所述世界坐标系中的第二坐标；

根据所述第一坐标、所述第二坐标以及所述云台角信息，确定所述第一图像和所述第二图像在所述世界坐标系中的位姿；

根据所述第一图像和所述第二图像在所述世界坐标系中的位姿确定所述基准极平面。

4.如权利要求3所述的方法，其特征在于，所述根据所述第一图像和所述第二图像在所述世界坐标系中的位姿确定所述基准极平面，包括：

当所述第一光心和所述第一图像的像主点所组成的直线与基线之间的夹角大于预设阈值时，将所述直线和所述基线所组成的平面作为所述基准极平面；

当所述直线与所述基线之间的夹角小于或者等于所述预设阈值时，则根据所述基线和所述第一图像中的行方向向量确定所述基准极平面；

所述基线为所述第一光心和所述第二光心所组成的直线。

5.如权利要求2所述的方法，其特征在于，所述根据每个极平面和所述基准极平面之间的夹角，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集，包括：

根据每个极平面和所述基准极平面之间的夹角，确定夹角区间；

根据所述夹角区间，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集。

6.如权利要求5所述的方法，其特征在于，

所述夹角区间所包含的最小夹角小于或者等于第一夹角和第二夹角中的最大值，所述夹角区间所包含的最大夹角大于或者等于第三夹角和第四夹角中的最小值；

其中，所述第一夹角为所述第一特征点集合中的特征点所对应的极平面和所述基准极平面之间的最小夹角，所述第二夹角为所述第二特征点集合中的特征点所对应的极平面和所述基准极平面之间的最小夹角，所述第三夹角为所述第一特征点集合中的特征点所对应的极平面和所述基准极平面之间的最大夹角，所述第四夹角为所述第二特征点集合的特征点所对应的极平面和所述基准极平面之间的最大夹角。

7.如权利要求5所述的方法，其特征在于，所述根据所述夹角区间，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集，包括：

将所述夹角区间划分为多个单元区间；

确定同一单元区间所包含的夹角对应的目标极平面；

将所述目标极平面所包含的第一特征点集合中的特征点划分为所述第一子集；

将所述目标极平面所包含的第二特征点集合中的特征点划分为所述目标子集。

8.如权利要求1所述的方法，其特征在于，所述第二子集还包括与所述目标子集相邻的子集。

9.如权利要求1所述的方法，其特征在于，所述根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集之前，还包括：

获取所述图像拍摄装置的畸变参数和内参数；

根据所述畸变参数和内参数，对所述第一图像和所述第二图像的特征点进行畸变校正。

10.如权利要求1所述的方法，其特征在于，所述将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配，包括：

将所述第一子集包含的特征点的特征描述子和所述第二子集包含的特征点的特征描述子进行匹配。

11.如权利要求1-10任一项所述的方法，其特征在于，所述方法还包括：

将所述第一图像或所述第二图像的任一像素点和基线所组成的平面确定为极平面。

12.一种图像处理装置，其特征在于，包括存储器、处理器；

所述存储器用于存储程序代码；

所述处理器，调用所述程序代码，当程序代码被执行时，用于执行以下操作：

对第一图像进行特征提取，得到第一特征点集合，并对第二图像进行特征提取，得到第二特征点集合；

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集；

将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配，得到图像匹配结果，所述第一子集为第一特征点集合中的任一子集，所述第二子集包括所述第二特征点集合中与所述第一子集对应的目标子集。

13.根据权利要求12所述的装置，其特征在于，所述姿态信息包括云台角信息，所述处理器根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集时，执行如下操作：

根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和云台角信息，确定基准极平面；

根据每个极平面和所述基准极平面之间的夹角，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集。

14.根据权利要求13所述的装置，其特征在于，所述处理器根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和云台角信息，确定基准极平面时，执行如下操作：

根据所述定位信息，确定所述图像拍摄装置在采集所述第一图像时的第一光心在世界坐标系中的第一坐标，以及所述图像拍摄装置在采集所述第二图像时的第二光心在所述世界坐标系中的第二坐标；

根据所述第一坐标、所述第二坐标以及所述云台角信息，确定所述第一图像和所述第二图像在所述世界坐标系中的位姿；

根据所述第一图像和所述第二图像在所述世界坐标系中的位姿确定所述基准极平面。

15.根据权利要求14所述的装置，其特征在于，所述处理器根据所述第一图像和所述第二图像在所述世界坐标系中的位姿确定所述基准极平面时，执行如下操作：

当所述第一光心和所述第一图像的像主点所组成的直线与基线之间的夹角大于预设阈值时，将所述直线和所述基线所组成的平面作为所述基准极平面；

当所述直线与所述基线之间的夹角小于或者等于所述预设阈值时，则根据所述基线和所述第一图像中的行方向向量确定所述基准极平面；

所述基线为所述第一光心和所述第二光心所组成的直线。

16.根据权利要求13所述的装置，其特征在于，所述处理器根据每个极平面和所述基准极平面之间的夹角，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集时，执行如下操作：

根据每个极平面和所述基准极平面之间的夹角，确定夹角区间；

根据所述夹角区间，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集。

17.根据权利要求16所述的装置，其特征在于，所述夹角区间所包含的最小夹角小于或者等于第一夹角和第二夹角中的最大值，所述夹角区间所包含的最大夹角大于或者等于第三夹角和第四夹角中的最小值；

其中，所述第一夹角为所述第一特征点集合中的特征点所对应的极平面和所述基准极平面之间的最小夹角，所述第二夹角为所述第二特征点集合中的特征点所对应的极平面和所述基准极平面之间的最小夹角，所述第三夹角为所述第一特征点集合中的特征点所对应的极平面和所述基准极平面之间的最大夹角，所述第四夹角为所述第二特征点集合的特征点所对应的极平面和所述基准极平面之间的最大夹角。

18.根据权利要求16所述的装置，其特征在于，所述处理器根据所述夹角区间，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集时，执行如下操作：

将所述夹角区间划分为多个单元区间；

确定同一单元区间所包含的夹角对应的目标极平面；

将所述目标极平面所包含的第一特征点集合中的特征点划分为所述第一子集；

将所述目标极平面所包含的第二特征点集合中的特征点划分为所述目标子集。

19.根据权利要求12所述的装置，其特征在于，所述第二子集还包括与所述目标子集相邻的子集。

20.根据权利要求12所述的装置，其特征在于，所述处理器根据图像拍摄装置在采集所述第一图像和所述第二图像时的定位信息和姿态信息，将所述第一特征点集合和所述第二特征点集合分别划分为多个子集之前，还执行如下操作：

获取所述图像拍摄装置的畸变参数和内参数；

根据所述畸变参数和内参数，对所述第一图像和所述第二图像的特征点进行畸变校正。

21.根据权利要求12所述的装置，其特征在于，所述处理器将所述第一特征点集合的第一子集所包含的特征点和所述第二特征点集合的第二子集所包含的特征点进行匹配时，执行如下操作：

将所述第一子集包含的特征点的特征描述子和所述第二子集包含的特征点的特征描述子进行匹配。

22.根据权利要求12-21任一项所述的装置，其特征在于，所述处理器还执行如下操作：

将所述第一图像或所述第二图像的任一像素点和基线所组成的平面确定为极平面。

23.一种图像处理***，其特征在于，所述图像处理***包括：

可移动平台，所述可移动平台上设置有图像拍摄装置；

如权利要求12-22中任一项所述的图像处理装置；

所述可移动平台用于通过所述图像拍摄装置在所述可移动平台移动的过程中采集多个图像，并将采集到的所述多个图像发送给所述图像处理装置，所述多个图像包括第一图像和第二图像。

Images