CN118038098A - 一种图像处理方法、装置、设备、存储介质及程序产品 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置、设备、存储介质及程序产品，应用于云技术、人工智能、机器人、虚拟现实、游戏和自动驾驶等各种图像处理场景；该图像处理方法包括：响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，多目采集设备包括多个图像采集设备；获取场景基底面的基底面图像，基底面图像是通过多目采集设备对场景基底面进行图像采集得到的，待处理场景包括场景基底面；获取基底面图像与待处理场景图像之间的图像差；将图像差确定为待处理场景图像的图像处理结果，图像处理结果表示待处理场景中除场景基底面之外的场景成像信息。通过本申请，能够提升图像处理效率。

Description

一种图像处理方法、装置、设备、存储介质及程序产品

技术领域

本申请涉及计算机应用领域中的图像处理技术，尤其涉及一种图像处理方法、装置、设备、存储介质及程序产品。

背景技术

场景基底面是指场景中用于承载场景对象的基础表面，比如，自动驾驶场景中的地面，桌面清洁场景中的桌面等。为了对场景信息进行识别，通常需要从应用场景中过滤掉场景基底面；然而，在相关技术中，通常在点云空间中过滤应用场景中的场景基底面，影响了图像处理的效率。

发明内容

本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提升图像处理效率。

本申请实施例的技术方案是这样实现的：

本申请实施例提供一种图像处理方法，所述方法包括：

响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，所述多目采集设备包括多个图像采集设备；

获取场景基底面的基底面图像，所述基底面图像是通过所述多目采集设备对所述场景基底面进行图像采集得到的，所述待处理场景包括所述场景基底面；

获取所述基底面图像与所述待处理场景图像之间的图像差；

将所述图像差确定为所述待处理场景图像的图像处理结果，所述图像处理结果表示所述待处理场景中除所述场景基底面之外的场景成像信息。

本申请实施例提供一种图像处理装置，所述图像处理装置包括：

请求响应模块，用于响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，所述多目采集设备包括多个图像采集设备；

图像获取模块，用于获取场景基底面的基底面图像，所述基底面图像是通过所述多目采集设备对所述场景基底面进行图像采集得到的，所述待处理场景包括所述场景基底面；

图像处理模块，用于获取所述基底面图像与所述待处理场景图像之间的图像差；

结果获取模块，用于将所述图像差确定为所述待处理场景图像的图像处理结果，所述图像处理结果表示所述待处理场景中除所述场景基底面之外的场景成像信息。

在本申请实施例中，所述图像获取模块，还用于读取预存的所述场景基底面的所述基底面图像，所述基底面图像是在响应于所述场景采集请求之前通过所述多目采集设备对所述场景基底面进行图像采集得到的。

在本申请实施例中，所述图像处理装置还包括信息更新模块，用于响应于更新事件触发的针对所述基底面图像的图像更新请求，采集基底面更新图像，所述更新事件包括以下中的至少一种：更新周期到达，基底面法向量偏离值大于偏离阈值，所述图像采集设备发生位置变动；响应于下一场景采集请求，采集下一待处理场景图像；将所述基底面更新图像和所述下一待处理场景图像之间的差值，确定为所述下一待处理场景图像的待应用图像。

在本申请实施例中，所述图像获取模块，还用于对所述场景基底面进行位置点采样，得到目标采样点；将所述目标采样点投影至目标成像平面，得到目标投影点，所述目标成像平面为所述多目采集设备的目标图像采集设备的成像平面；基于所述目标投影点，确定所述目标图像采集设备的目标物理焦距；基于所述目标物理焦距进行光线投射，得到所述基底面图像。

在本申请实施例中，所述图像处理装置还包括数据标定模块，用于在标定对象置于所述场景基底面上时，控制所述多目采集设备对所述标定对象进行图像采集，得到第一待处理图像；对所述第一待处理图像进行特征点提取，得到多个第一特征点；基于多个所述第一特征点和所述标定对象，确定所述场景基底面与所述目标图像采集设备的空间相对关系。

在本申请实施例中，所述图像获取模块，还用于基于所述空间相对关系，将所述目标采样点投影至所述目标成像平面，得到所述目标投影点。

在本申请实施例中，所述图像获取模块，还用于基于所述目标图像采集设备的目标内参，获取所述目标投影点对应于所述目标图像采集设备的设备位置点；基于所述目标内参，确定所述目标投影点在所述目标图像采集设备的物理成像平面的物理成像点；结合所述设备位置点和所述物理成像点，计算所述目标图像采集设备的所述目标物理焦距。

在本申请实施例中，所述数据标定模块，还用于在标定对象的多个放置方式中，针对每个所述放置方式执行以下处理：控制所述多目采集设备对所述放置方式下的所述标定对象进行图像采集，得到第二待处理图像；对所述第二待处理图像进行特征点提取，得到多个第二特征点；对多个所述第二特征点与所述标定对象进行匹配，得到特征点匹配结果；基于多个所述放置方式对应的多个所述特征点匹配结果，确定所述多目采集设备的设备参数，所述设备参数包括所述目标内参。

在本申请实施例中，所述图像获取模块，还用于基于所述目标物理焦距，确定所述目标图像采集设备的物理成像平面；在所述物理成像平面上确定与指定图像尺寸对应的待成像区域；对所述待成像区域中的每个待成像像素点执行以下处理：从所述目标图像采集设备的目标光心处向所述待成像像素点投射光线，得到投射的光线与所述场景基底面的交点像素值，所述交点像素值为以下中的任一种：深度值，视差值；由每个所述待成像像素点的所述交点像素值，得到与所述待成像区域对应的交点像素值阵列；将所述交点像素值阵列确定为所述基底面图像。

在本申请实施例中，所述待处理场景图像的图像类型和所述基底面图像的图像类型分别为以下中的任一种：深度图像类型，视差图像类型，所述深度图像类型表示图像的像素值为深度值，所述视差图像类型表示图像的像素值为视差值。

在本申请实施例中，所述图像处理模块，还用于当所述待处理场景图像的图像类型和所述基底面图像的图像类型相同时，将所述待处理场景图像和所述基底面图像的图像类型确定为目标图像类型；基于所述目标图像类型，计算所述基底面图像与所述待处理场景图像之间的差值，得到所述图像差。

在本申请实施例中，所述图像处理模块，还用于当所述目标图像类型为深度图像类型时，计算所述基底面图像减去所述待处理场景图像的第一差值；将所述第一差值确定为所述图像差。

在本申请实施例中，所述图像处理模块，还用于当所述目标图像类型为视差图像类型时，计算所述待处理场景图像减去所述基底面图像的第二差值；将所述第二差值确定为所述图像差。

在本申请实施例中，所述图像处理模块，还用于当所述待处理场景图像的图像类型和所述基底面图像的图像类型不同时，从所述待处理场景图像的图像类型和所述基底面图像的图像类型中，确定基准图像类型；从所述待处理场景图像和所述基底面图像中选择图像类型与所述基准图像类型相同的一种，得到基准类型图像；从所述待处理场景图像和所述基底面图像中选择图像类型与所述基准图像类型不同的一种，得到待转换图像；将所述待转换图像转换为所述基准图像类型的图像，得到待计算图像；计算所述待计算图像与所述基准类型图像之间的差值，得到所述图像差。

在本申请实施例中，所述图像处理装置还包括结果应用模块，用于基于所述图像处理结果，确定所述待处理场景的障碍物信息；基于所述障碍物信息，确定所述多目采集设备所挂载的应用设备的待运动信息；基于所述待运动信息，控制所述应用设备在所述待处理场景中运动。

本申请实施例提供一种用于图像处理的电子设备，所述电子设备包括：

存储器，用于存储计算机可执行指令或者计算机程序；

处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现本申请实施例提供的图像处理方法。

本申请实施例提供一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，所述计算机可执行指令或者计算机程序用于被处理器执行时，实现本申请实施例提供的图像处理方法。

本申请实施例提供一种计算机程序产品，包括计算机可执行指令或者计算机程序，所述计算机可执行指令或者计算机程序被处理器执行时，实现本申请实施例提供的图像处理方法。

本申请实施例至少具有以下有益效果：在响应于场景采集请求采集到了待处理场景图像时，通过获取场景基底面的基底面图像，使得通过获取基底面图像与待处理场景图像之间的图像差，就完成了从待处理场景中过滤掉场景基底面的处理，提升了场景基底面的过滤效率；进而能够提升图像处理效率。

附图说明

图1是本申请实施例提供的图像处理***的架构示意图；

图2是本申请实施例提供的一种图1中的终端的结构示意图；

图3是本申请实施例提供的图像处理方法的流程示意图一；

图4是本申请实施例提供的图像处理方法的流程示意图二；

图5是本申请实施例提供的获取目标物理焦距的流程示意图；

图6是本申请实施例提供的图像处理方法的流程示意图三；

图7是本申请实施例提供的图像处理方法的流程示意图四；

图8是本申请实施例提供的一种示例性的双目***的成像示意图；

图9是本申请实施例提供的另一种示例性的双目***的成像示意图；

图10是本申请实施例提供的一种示例性的过滤地面点的流程图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二”用于区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。

本申请实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。

除非另有定义，本申请实施例所使用的所有的技术和科学术语与所属技术领域的技术人员通常理解的含义相同。本申请实施例中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

本申请实施例中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理。

对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。

1）人工智能（Artificial Intelligence，AI），是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。也就是说，人工智能是计算机科学的一个综合技术，用于了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能通过研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

需要说明的是，人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互***、机电一体化等。其中，预训练模型又称为大模型，基础模型；预训练模型经过微调后可以广泛应用于人工智能各方向下游任务。人工智能软件技术包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。在本申请实施例中，应用设备在待处理场景的运动，可以通过人工智能技术实现。

2）机器学习（Machine Learning，ML），是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析和算法复杂度理论等多门学科。用于研究计算机模拟或实现人类的学习行为，以获取新的知识或技能；重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，机器学习应用遍及人工智能的各个领域。机器学习/深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习和归纳学习等技术，大模型是机器学习/深度学习的最新发展成果，融合了以上技术。在本申请实施例中，应用设备在待处理场景的运动可以结合机器学习/深度学习实现。

3）图像采集设备内参，简称为内参，是指图像采集设备的内部特性，包括焦距、主点位置和畸变等。焦距，是指从光学中心到成像平面的距离，表示图像采集设备的聚焦能力；主点位置表示图像采集设备的光学中心在成像平面中对应的点；畸变是指由于图像采集设备镜头等因素引起的图像形变度。图像采集设备内参用于确定图像采集设备成像的几何特性和畸变情况。在图像采集设备为相机时，图像采集设备内参为相机内参。

4）图像采集设备外参，简称为外参，是指图像采集设备的位置和姿态，其中，位置是指图像采集设备在世界坐标系中的位置，姿态是指图像采集设备在世界坐标系中的朝向。外参包括图像采集设备的平移向量和旋转矩阵（或欧拉角），用于将图像采集设备坐标系与世界坐标系进行对应。在图像采集设备为相机时，图像采集设备外参为相机外参。

5）世界坐标系，是指真实世界的坐标系，原点为真实世界的一点，通常基于应用领域确定；比如，在机器人应用领域中，机器人的基座可以为世界坐标系原点。

6）图像采集设备坐标系，以图像采集设备的光学中心为原点，以图像采集设备的光轴为Z轴；图像采集设备的成像平面与图像采集设备坐标系的X轴和Y轴均平行，与图像采集设备坐标系的Z轴垂直；图像采集设备坐标系用于描述图像采集设备内部的几何关系，比如，焦距，主点位置等。在图像采集设备为相机时，图像采集设备坐标系为相机坐标系。

7）图像采集设备标定，是指确定图像采集设备内参和图像采集设备外参的过程；通过图像采集设备标定获得了图像采集设备内参和图像采集设备外参之后，也就获得了世界坐标系和图像坐标系之间的对应关系。在图像采集设备为相机时，图像采集设备标定为相机标定。

8）图像坐标系，又称为UV坐标系，为成像平面上的二维坐标系，用于描述图像中的像素位置；图像坐标系的原点为图像的左上角，在图像坐标系中，U轴表示图像平面上的水平方向，V轴表示图像平面上的垂直方向，其中，左上角、水平方向和垂直方向是以图像呈现视角为基准确定的。图像坐标系可用于图像处理和计算机图形学中，用于定位和处理图像中的像素。

9）场景基底面标定，是指确定图像采集设备传感器与地面之间的几何关系的过程，用于将图像数据与真实世界中的场景基底面坐标系进行对应而进行的校准过程。在场景基底面标定中，通常采用标定对象（比如，标定板）来捕捉图像数据，通过分析捕捉到的数据，可以计算出图像采集设备传感器和地面之间的空间相对关系。在场景基底面为地面时，场景基底面标定为地面标定。

10）成像平面，是指计算机视觉中用于成像的平面，为一个虚拟的平面，用于表示图像在计算机中的二维矩阵，二维矩阵用于存储图像的像素值。

11）自校准，是指自动调整和校准内参和外参的处理过程；通过自校准，能够提高图像采集设备的成像准确性。

12）双目***（Binocular Stereo Vision），一种基于视差、并利用两个图像采集设备从不同的位置获取待成像对象的两幅图像，通过计算两幅图像对应点间的位置偏差，来获取待成像对象的三维几何信息的方法。双目***为本申请实施例中多目采集设备的示例。

13）视差（Disparity），又称为视差值，在双目***中，经过极线校正后的左右目图像的对应点会分布在同一条线（称为极线）上。当一物体的一点在左右目上的成像点水平方向上的坐标分别为l和r，则该点的视差为l-r。

14）视差图像（Disparity Map），尺寸和目标视图（多目***中任一图像采集设备的视图）一致，像素值表示像素点对应的视差值的图像称为视差图像。融合多个图像采集设备获得的图像，可以获得待成像对象的深度特征，建立特征间的对应关系，以获得待成像对象的视差图像。

15）基线（Baseline），在双目***中，基线是指左右目光心之间的距离。

需要说明的是，场景基底面是指场景中用于承载场景对象的基础表面，比如，自动驾驶场景中的地面，桌面清洁场景中的桌面等。为了对场景信息进行识别，通常需要从应用场景中过滤掉场景基底面；然而，在相关技术中，通常在点云空间中过滤应用场景中的场景基底面，影响了图像处理的效率。

示例性地，以场景基底面是指地面为例说明场景基底面的过滤过程。为了过滤地面，可以采用随机抽样一致性的方法（RanSac）、基于高度阈值的方法、基于法向量的方法和基于聚类的方法实现。

随机抽样一致性的方法是一种迭代算法，用于拟合模型并从点云中识别地面点；通过随机选择一组点来拟合地面模型，并计算其他点到该地面模型的距离，根据距离阈值，排除非地面点，得到地面点云。虽然随机抽样一致性的方法适用于各种模型拟合问题，包括地面拟合，能够通过迭代过程找到最佳拟合模型，但是计算复杂度高于计算复杂度阈值，并且通过多次迭代才能得到最佳拟合模型。此外，对于地面点密度低于密度阈值或存在离群点的情况，影响了随机抽样一致性的方法的拟合结果的准确度，进而影响了过滤准确度。

基于高度阈值的方法，基于地面点的高度信息实现，通过设定一个高度阈值，将低于该高度阈值的点视为地面点。虽然基于高度阈值的方法简单直观，易于实现和调整，但适用于平坦的地面，只能处理相机光心和成像平面中心连线和地面平行的情况，影响了场景的适用性。

基于法向量的方法，通过计算点云中每个点的法向量，并根据法向量的特征将地面点和非地面点进行区分。虽然基于法向量的方法对于地面和非地面之间的差异大于差异阈值的情况，能够利用点云的几何信息，对地面点和非地面点进行区分；但对于地面和非地面之间的差异小于差异阈值的情况，常常产生误判；比如，将地面上存在颗粒障碍物或地面上的噪声点误判为非地面点。此外，计算法向量增加了计算资源的消耗。

基于聚类的方法，通过将点云进行聚类，将相邻的地面点分为同一簇。聚类算法比如为基于密度的空间聚类算法，可以用于地面点的分割和过滤，但基于聚类的方法影响了地面点过滤的适用性和准确度。

此外，随机抽样一致性的方法、基于高度阈值的方法、基于法向量的方法和基于聚类的方法，均是在点云空间进行的地面点过滤，因此，需要将图像转换为点云后再进行处理，增加了计算复杂度。

基于此，本申请实施例提供一种图像处理方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提升场景基底面过滤的效率、准确度和适用范围，提升图像处理效率。下面说明本申请实施例提供的用于图像处理的电子设备（以下简称为图像处理设备）的示例性应用，本申请实施例提供的图像处理设备可以实施为机器人、智能手机、智能手表、笔记本电脑、平板电脑、台式计算机、智能家电、机顶盒、智能车载设备、便携式音乐播放器、个人数字助理、专用消息设备、智能语音交互设备、便携式游戏设备和智能音箱等各种类型的终端，也可以实施为服务器。下面，将说明图像处理设备实施为终端时的示例性应用。

参见图1，图1是本申请实施例提供的图像处理***的架构示意图；如图1所示，为支撑一个图像处理应用，在图像处理***100中，终端400（示例性示出了终端400-1和终端400-2）通过网络300连接服务器200；网络300可以是广域网或者局域网，又或者是二者的组合；服务器200用于通过网络300向终端400提供服务计算。另外，该图像处理***100中还包括数据库500，用于向服务器200提供数据支持；并且，图1中示出的为数据库500独立于服务器200的一种情况，此外，数据库500还可以集成在服务器200中，本申请实施例对此不作限定。

终端400，用于响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，多目采集设备包括多个图像采集设备；获取场景基底面的基底面图像，基底面图像是通过多目采集设备对场景基底面进行图像采集得到的，待处理场景包括场景基底面；获取基底面图像与待处理场景图像之间的图像差；将图像差确定为待处理场景图像的图像处理结果，图像处理结果表示待处理场景中除场景基底面之外的场景成像信息，基于图像处理结果进行应用（示例性示出了车辆自动驾驶和扫地机器人移动的应用示例）。

在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（ContentDelivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不作限制。

参见图2，图2是本申请实施例提供的一种图1中的终端的结构示意图；如图2所示，终端400包括：至少一个处理器410、存储器450、至少一个网络接口420和用户接口430。终端400中的各个组件通过总线***440耦合在一起。可理解，总线***440用于实现这些组件之间的连接通信。总线***440除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线***440。

处理器410可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（Digital Signal Processor，DSP），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。

用户接口430包括使得能够呈现媒体内容的一个或多个输出装置431，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口430还包括一个或多个输入装置432，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。

存储器450可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器450可选地包括在物理位置上远离处理器410的一个或多个存储设备。

存储器450包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器（Read Only Memory，ROM），易失性存储器可以是随机存取存储器（Random Access Memory，RAM）。本申请实施例描述的存储器450旨在包括任意适合类型的存储器。

在一些实施例中，存储器450能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作***451，包括用于处理各种基本***服务和执行硬件相关任务的***程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；

网络通信模块452，用于经由一个或多个（有线或无线）网络接口420到达其他电子设备，示例性的网络接口420包括：蓝牙、无线相容性认证（Wi-Fi）、和通用串行总线（Universal Serial Bus，USB）等；

呈现模块453，用于经由一个或多个与用户接口430相关联的输出装置431（例如，显示屏、扬声器等）使得能够呈现信息（例如，用于操作***设备和显示内容和信息的用户接口）；

输入处理模块454，用于对来自一个或多个输入装置432之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。

在一些实施例中，本申请实施例提供的图像处理装置可以采用软件方式实现，图2示出了存储在存储器450中的图像处理装置455，其可以是程序和插件等形式的软件，包括以下软件模块：请求响应模块4551、图像获取模块4552、图像处理模块4553、结果获取模块4554、信息更新模块4555、数据标定模块4556和结果应用模块4557，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

在一些实施例中，本申请实施例提供的图像处理装置可以采用硬件方式实现，作为示例，本申请实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的图像处理方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（Application Specific Integrated Circuit，ASIC）、DSP、可编程逻辑器件（Programmable Logic Device，PLD）、复杂可编程逻辑器件（Complex Programmable Logic Device，CPLD）、现场可编程门阵列（Field-ProgrammableGate Array，FPGA）或其他电子元件。

在一些实施例中，终端或服务器可以通过运行各种计算机可执行指令或者计算机程序来实现本申请实施例提供的图像处理方法。举例来说，计算机可执行指令可以是微程序级的命令、机器指令或软件指令。计算机程序可以是操作***中的原生程序或软件模块；可以是本地（Native）应用程序（Application，APP），即需要在操作***中安装才能运行的程序，如自动驾驶APP或者清扫APP；也可以是能够嵌入至任意APP中的小程序，即只需要下载到浏览器环境中就可以运行的程序。总而言之，上述的计算机可执行指令可以是任意形式的指令，上述计算机程序可以是任意形式的应用程序、模块或插件。

下面，将结合本申请实施例提供的图像处理设备的示例性应用和实施，说明本申请实施例提供的图像处理方法。另外，本申请实施例提供的图像处理方法应用于云技术、人工智能、机器人、虚拟现实、游戏和自动驾驶等各种图像处理场景。

参见图3，图3是本申请实施例提供的图像处理方法的流程示意图一，其中，图3中各步骤的执行主体为图像处理设备；下面将结合图3示出的步骤进行说明。

步骤101、响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像。

在本申请实施例中，当对待处理场景中的信息进行处理时，图像处理设备也就接收到了场景采集请求；此时，图像处理设备响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，所获得的图像采集结果即为待处理场景图像。

需要说明的是，场景采集请求用于请求对待处理场景进行图像采集，是在请求对待处理场景中的信息进行处理时生成的；比如，在请求识别待处理场景中的障碍物信息时，在请求识别待处理场景中的待进行虚拟现实增强的信息时，等等。待处理场景为待进行信息处理的场景，比如，待清扫的场景，待自动驾驶的场景，待进行虚拟现实增强的场景，等等。多目采集设备包括多个图像采集设备，多目采集设备用于采用多个图像采集设备对同一待采集对象进行图像采集；其中，多个图像采集设备之间的相对位置固定，多个图像采集设备用于对同一待采集对象进行图像采集；另外，图像采集设备用于对待采集对象进行图像采集，比如，相机，摄像头等；此外，多个图像采集设备可以为相同的设备，也可以为不同的设备，又可以为两者的结合，等等，本申请实施例对此不作限定。待处理场景图像为待处理场景的成像信息，可以为深度图像，也可以为视差图像，也可以为两者的结合，等等，本申请实施例对此不作限定；其中，深度图像的像素值为深度值，视差图像的像素值为视差值。

在本申请实施例中，图像处理设备响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，包括：图像处理设备响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到与多个图像采集设备一一对应的多张初始场景图像，基于多个图像采集设备之间的参数，将多张初始场景图像整合为待处理场景图像。其中，初始场景图像是指每个图像采集设备对待处理场景进行图像采集获得的结果。

步骤102、获取场景基底面的基底面图像。

在本申请实施例中，图像处理设备在获取场景基底面的基底面图像时，可以实时采集场景基底面的基底面图像，还可以读取预先采集的场景基底面的基底面图像，本申请实施例对此不作限定。

需要说明的是，基底面图像是通过多目采集设备对场景基底面进行图像采集得到的，为场景基底面的成像信息；场景基底面，是指待处理场景中用于承载场景信息的基础表面，比如，地面，桌面，水面等；待处理场景包括场景基底面。另外，基底面图像可以为深度图像，也可以为视差图像，也可以为两者的结合，等等，本申请实施例对此不作限定。

在本申请实施例中，当图像处理设备通过读取预先采集的信息获得场景基底面的基底面图像时，图像处理设备获取场景基底面的基底面图像，包括：图像处理设备读取预存的场景基底面的基底面图像。

需要说明的是，基底面图像是在响应于场景采集请求之前通过多目采集设备对场景基底面进行图像采集得到的，图像处理设备将响应于场景采集请求之前所采集到的基底面图像存储起来，以在响应于场景采集请求时，读取该预存的基底面图像。

可以理解的是，通过预先存储待处理场景的基底面图像，使得在对待处理场景进行信息处理时，通过读取预先存储的基底面图像，就能够基于基底面图像和待处理场景图像实现；提升了待处理场景的信息处理效率。

还可以理解的是，本申请实施例在响应于场景采集请求之前，预先对基底面图像进行获取，使得图像处理设备在响应于场景采集请求对待处理场景图像进行基底面过滤时，能够直接基于预先获得的基底面图像实现基底面过滤；如此，一方面，减少了基底面图像的获取时长，进而能够适用于实时性要求较高（实时耗时小于指定耗时阈值）的应用场景，比如，扫地机器人清扫场景，自动驾驶场景，虚拟现实增强场景等；另一方面，降低了对图像处理设备的资源消耗，进而能够适用于计算资源或计算力较低（计算资源或计算力低于计算指标阈值）的设备，比如，家用扫地机器人，自动驾驶车辆，虚拟现实增强设备等；综上，本申请实施例提供的图像处理方法，能够提升图像处理应用场景的宽泛性。

在本申请实施例中，当图像处理设备通过实时采集获得场景基底面的基底面图像时，参见图4，图4是本申请实施例提供的图像处理方法的流程示意图二，其中，图4中各步骤的执行主体为图像处理设备；如图4所示，步骤102可通过步骤1021至步骤1024实现，也就是说，图像处理设备获取场景基底面的基底面图像，包括步骤1021至步骤1024，下面对各步骤分别进行说明。

步骤1021、对场景基底面进行位置点采样，得到目标采样点。

在本申请实施例中，图像处理设备对场景基底面进行建模，并将所获得的建模结果称为基底面模型，基底面模型用于确定场景基底面的位置点在世界坐标系中的位置信息；比如，当场景基底面为地面时，基底面模型为地面方程（称为地面模型）。当获得了基底面模型时，图像处理设备可以通过基底面模型对场景基底面上的位置点进行采样，并将采样到的场景基底面上的位置点称为目标采样点。

步骤1022、将目标采样点投影至目标成像平面，得到目标投影点。

在本申请实施例中，图像处理设备将目标采样点投影至多目采集设备的目标图像采集设备的成像平面，即为将目标采样点投影至目标成像平面；此时，图像处理设备所获得的目标采样点在目标成像平面对应的位置点即为目标投影点。

需要说明的是，目标成像平面为多目采集设备的目标图像采集设备的成像平面，目标图像采集设备为多目采集设备的多个图像采集设备中的任一个。

在本申请实施例中，由于图像处理设备预先对场景基底面和多目采集设备进行了标定，获得了场景基底面与多目采集设备中的目标图像采集设备的空间相对关系；因此，图像处理设备在将目标采样点投影至目标成像平面时，能够基于空间相对关系，将目标采样点投影至目标成像平面，得到目标投影点。

步骤1023、基于目标投影点，确定目标图像采集设备的目标物理焦距。

需要说明的是，目标投影点为目标图像采集设备的目标成像平面对应的图像坐标系下的位置点；图像处理设备基于目标图像采集设备的目标内参和目标投影点，能够计算出目标图像采集设备的物理焦距；这里，将目标图像采集设备的物理焦距称为目标物理焦距。其中，目标内参是指目标图像采集设备的内参，为目标图像采集设备自身与目标成像平面之间的标定结果。

参见图5，图5是本申请实施例提供的获取目标物理焦距的流程示意图，其中，图5中各步骤的执行主体为图像处理设备；如图5所示，在本申请实施例中，步骤1023可通过步骤10231至步骤10233实现，也就是说，图像处理设备基于目标投影点，确定目标图像采集设备的目标物理焦距，包括步骤10231至步骤10233，下面对各步骤分别进行说明。

步骤10231、基于目标图像采集设备的目标内参，获取目标投影点对应于目标图像采集设备的设备位置点。

在本申请实施例中，图像处理设备能够获得目标内参，由于目标内参表示目标图像采集设备与目标成像平面之间的标定关系，目标投影点为目标成像平面中的位置点，从而，图像处理设备能够基于目标内参，在以目标图像采集设备为基准的坐标系中确定出与目标投影点对应的位置点，也就获得了设备位置点。

步骤10232、基于目标内参，确定目标投影点在目标图像采集设备的物理成像平面的物理成像点。

在本申请实施例中，图像处理设备基于目标内参，能够计算出目标投影点在目标图像采集设备的物理成像平面上的位置点，并将计算出的该位置点称为物理成像点。

需要说明的是，当目标内参包括第一维度焦距、第二维度焦距、第一维度旋转信息和第二维度旋转信息时，图像处理设备获取目标投影点的第一维度位置信息与第一维度旋转信息的差值，并将该差值与第一维度焦距的比值作为物理成像点的第一维度位置信息；图像处理设备获取目标投影点的第二维度位置信息与第二维度旋转信息的差值，并将该差值与第二维度焦距的比值作为物理成像点的第二维度位置信息。示例性地，第一维度比如为X轴，第二维度比如为Y轴。

步骤10233、结合设备位置点和物理成像点，计算目标图像采集设备的目标物理焦距。

在本申请实施例中，图像处理设备可以获取设备位置点的第一维度位置信息与物理成像点的第一维度位置信息的第一比值，并获取设备位置点的第二维度位置信息与物理成像点的第二维度位置信息的第二比值，再将第一比值与第二比值的平均值作为目标图像采集设备的初始的物理焦距。这里，图像处理设备可以将该初始的物理焦距直接作为目标物理焦距；还可以获取多个初始的物理焦距，结合多个初始的物理焦距获得目标物理焦距；等等，本申请实施例对此不作限定；另外，在图像处理设备结合多个初始的物理焦距确定目物理焦距时，可以采用最小二乘法对多个初始的物理焦距进行处理，还可以获取多个初始的物理焦距的均值，等等，本申请实施例对此不作限定。

步骤1024、基于目标物理焦距进行光线投射，得到基底面图像。

需要说明的是，图像处理设备获得了目标物理焦距之后，也就获得了目标图像采集设备的物理成像平面；从而，图像处理设备通过对物理成像平面进行光线投射，来获得场景基底面的成像信息，也就获得了基底面图像。

在本申请实施例中，图像处理设备基于目标物理焦距进行光线投射，得到基底面图像，包括：图像处理设备先基于目标物理焦距，确定目标图像采集设备的物理成像平面；再在物理成像平面上确定与指定图像尺寸对应的待成像区域；接着，对待成像区域中的每个待成像像素点执行以下处理：从目标图像采集设备的目标光心处向待成像像素点投射光线，得到投射的光线与场景基底面的交点像素值；由每个待成像像素点的交点像素值，得到与待成像区域对应的交点像素值阵列；最后，将交点像素值阵列确定为基底面图像。

需要说明的是，交点像素值是指投射的光线与场景基底面的交点的像素值，图像处理设备基于场景基底面，能够确定该交点在场景基底面坐标系下的位置信息；再基于空间相对关系，能够确定目标成像平面对应的坐标系中与交点在场景基底面坐标系下的位置信息对应的深度值；而基于深度值与设备参数中的基线、第一维度焦距，能够获得与基线和第一维度焦距正相关、且与深度值负相关的视差值；从而，图像处理设备将获得的深度值和视差值中的至少一种，作为交点像素值，故交点像素值为以下中的一种或两种：深度值，视差值。

在本申请实施例中，图像处理设备读取预存的场景基底面的基底面图像之前，该图像处理方法还包括：对场景基底面进行位置点采样，得到待处理采样点（对应于目标采样点），将待处理采样点投影至目标成像平面，得到待处理投影点（对应于目标投影点），基于待处理投影点，确定目标图像采集设备的目标物理焦距，基于目标物理焦距进行光线投射，得到基底面图像，预存基底面图像。由于，图像处理设备预先获取基底面图像的过程与实时采集基底面图像的过程类似，本申请实施例在此不再重复描述。

步骤103、获取基底面图像与待处理场景图像之间的图像差。

在本申请实施例中，图像处理设备通过对基底面图像和待处理场景图像进行减法操作，也就从待处理场景图像中过滤掉了场景基底面的成像信息；其中，所执行的减法操作的处理结果即为基底面图像与待处理场景图像之间的图像差。这里，图像处理设备还可以对基底面图像与待处理场景图像之间的作差结果进行取绝对值处理，并将绝对值处理结果确定为图像差。

需要说明的是，待处理场景图像的图像类型和基底面图像的图像类型分别为以下中的任一种：深度图像类型，视差图像类型；深度图像类型表示图像的像素值为深度值，视差图像类型表示图像的像素值为视差值。

参见图6，图6是本申请实施例提供的图像处理方法的流程示意图三，其中，图6中各步骤的执行主体为图像处理设备；如图6所示，在本申请实施例中，步骤103可通过步骤1031A和步骤1032A实现，也就是说，图像处理设备获取基底面图像与待处理场景图像之间的图像差，包括步骤1031A和步骤1032A，下面对各步骤分别进行说明。

步骤1031A、当待处理场景图像的图像类型和基底面图像的图像类型相同时，将待处理场景图像和基底面图像的图像类型确定为目标图像类型。

需要说明的是，当待处理场景图像和基底面图像均为深度图像时，表明待处理场景图像的图像类型和基底面图像的图像类型均为深度图像类型，此时，待处理场景图像的图像类型和基底面图像的图像类型相同，并且，目标图像类型为深度图像类型；当待处理场景图像和基底面图像均为视差图像时，表明待处理场景图像的图像类型和基底面图像的图像类型均为视差图像类型，此时，待处理场景图像的图像类型和基底面图像的图像类型也相同，并且，目标图像类型为视差图像类型。

步骤1032A、基于目标图像类型，计算基底面图像与待处理场景图像之间的差值，得到图像差。

需要说明的是，图像处理设备基于目标图像类型的不同，采用不同的减法操作计算基底面图像与待处理场景图像之间的差值。从而，在本申请实施例中，图像处理设备基于目标图像类型，计算基底面图像与待处理场景图像之间的差值，得到图像差，包括：当目标图像类型为深度图像类型时，图像处理设备计算基底面图像减去待处理场景图像的第一差值；将第一差值确定为图像差。或者，当目标图像类型为视差图像类型时，图像处理设备计算待处理场景图像减去基底面图像的第二差值；将第二差值确定为图像差。其中，基底面图像和待处理场景图像均为指定图像尺寸，基底面图像和待处理场景图像的像素点一一对应，在计算差值时，获取对应像素点对之间的差值；从而，第一差值和第二差值均包括各个像素点差值。

继续参见图6，在本申请实施例中，步骤103还可通过步骤1031B至步骤1035B实现，也就是说，图像处理设备获取基底面图像与待处理场景图像之间的图像差，包括步骤1031B至步骤1035B，下面对各步骤分别进行说明。

步骤1031B、当待处理场景图像的图像类型和基底面图像的图像类型不同时，从待处理场景图像的图像类型和基底面图像的图像类型中，确定基准图像类型。

在本申请实施例中，当待处理场景图像的图像类型和基底面图像的图像类型不同时，图像处理设备将待处理场景图像的图像类型或基底面图像的图像类型作为基准图像类型。易知，基准图像类型可以为深度图像类型，也可以为视差图像类型。

步骤1032B、从待处理场景图像和基底面图像中选择图像类型与基准图像类型相同的一种，得到基准类型图像。

需要说明的是，基准类型图像是指待处理场景图像和基底面图像中图像类型为基准图像类型的一个；也就是说，当待处理场景图像的图像类型为基准图像类型时，待处理场景图像为基准类型图像；当基底面图像的图像类型为基准图像类型时，基底面图像为基准类型图像。

步骤1033B、从待处理场景图像和基底面图像中选择图像类型与基准图像类型不同的一种，得到待转换图像。

需要说明的是，待转换图像是指待处理场景图像和基底面图像中除基准类型图像之外的一个；从而，当基准类型图像为待处理场景图像时，待转换图像为基底面图像；而当基准类型图像为基底面图像时，待转换图像为待处理场景图像。

步骤1034B、将待转换图像转换为基准图像类型的图像，得到待计算图像。

在本申请实施例中，为了获取待处理场景图像和基底面图像之间的差值，将待处理场景图像和基底面图像统一至同一图像类型下再进行差值计算；从而，图像处理设备在确定了基准图像类型之后，将待转换图像转换为基准图像类型的图像，以将待处理场景图像和基底面图像统一至同一图像类型下。这里，转换后的待转换图像即为待计算图像。

步骤1035B、计算待计算图像与基准类型图像之间的差值，得到图像差。

需要说明的是，由于待计算图像和基准类型图像均为基准图像类型的图像，从而图像处理设备能够计算待计算图像与基准类型图像之间的差值，并将计算出的差值作为基底面图像与待处理场景图像之间的图像差。

在本申请实施例中，图像处理设备基于基准图像类型，计算待计算图像与基准类型图像之间的差值，得到图像差；也就是说，当基准图像类型为深度图像类型时，图像处理设备采用基底面图像对应的图像（待计算图像或基准类型图像）减去待处理场景图像对应的图像（基准类型图像或待计算图像）的第一差值；而当基准图像类型为视差图像类型时，图像处理设备采用待处理场景图像对应的图像（待计算图像或基准类型图像）减去基底面图像对应的图像（基准类型图像或待计算图像）。

可以理解的是，在基底面图像与待处理场景图像在图像类型上不同时，通过图像类型转换之后再计算基底面图像与待处理场景图像的图像差，降低了对待处理场景图像的图像类型的限定，能够提升图像处理的灵活性和适用范围。

步骤104、将图像差确定为待处理场景图像的图像处理结果。

需要说明的是，可以是待处理场景图像的图像处理结果即为图像差，从而，图像处理结果表示待处理场景中除场景基底面之外的场景成像信息；进而，图像处理设备能够基于图像处理结果实现待处理场景的各种应用，比如，待处理场景中的运动控制，待处理场景的虚拟现实处理等。还可以是图像处理设备将图像差中像素值大于像素阈值的各个像素确定为待处理场景图像的图像处理结果。

在本申请实施例中，图像处理设备还可以将图像差中像素值小于或等于像素阈值的各个像素确定为待处理场景图像中的场景基底面信息。

可以理解的是，在响应于场景采集请求采集到了待处理场景图像时，通过获取场景基底面的基底面图像，使得通过获取基底面图像与待处理场景图像之间的图像差，就完成了从待处理场景中过滤掉场景基底面的处理，提升了场景基底面的过滤效率；进而能够提升图像处理效率。另外，通过获取基底面图像与待处理场景图像之间的图像差过滤待处理场景中的场景基底面，降低了对场景基底面的限制，进而能够提升图像处理的适用范围。

在本申请实施例中，当图像处理设备获得的基底面图像为预存的场景基底面的成像信息时，步骤104之后还包括动态更新基底面图像的处理；也就是说，图像处理设备将图像差确定为待处理场景图像的图像处理结果之后，该图像处理方法还包括：图像处理设备响应于更新事件触发的针对基底面图像的图像更新请求，采集基底面更新图像；并响应于下一场景采集请求，采集下一待处理场景图像；最后，将基底面更新图像和下一待处理场景图像之间的差值，确定为下一待处理场景图像的待应用图像。其中，待应用图像用于应用至后续的运动信息或待增强信息的确定中。

需要说明的是，触发基底面图像动态更新的更新事件包括以下中的至少一种：更新周期到达，基底面法向量偏离值大于偏离阈值，图像采集设备发生位置变动；其中，更新周期可通过更新频率确定，更新频率与图像处理设备的性能正相关。基底面法向量偏离值是指场景基底面的法向量的偏离值，当基底面法向量偏离值大于偏离阈值时，表明场景基底面变化较大，从而触发基底面图像的更新。图像采集设备发生位置变动，可以是多个图像采集设备之间的位置关系发生变动，也可以是图像采集设备与场景基底面之间的位置关系发生变动，还可以是两者的结合，本申请实施例对此不作限定。另外，图像处理设备获取基底面更新图像的过程与获取基底面图像的过程类似，获取基底面更新图像和下一待处理场景图像之间的差值的过程，与获取基底面图像和待处理场景图像之间的差值的过程类似，本申请实施例在此不再重复描述。

可以理解的是，针对预先存储的基底面图像，基于更新事件触发基底面图像的动态更新，提升了基底面图像的准确度，进而能够提升图像处理的准确度。

在本申请实施例中，在步骤1022之前还包括通过场景基底面标定获取空间相对关系的过程；也就是说，图像处理设备将目标采样点投影至目标成像平面，得到目标投影点之前，该图像处理方法还包括：图像处理设备先在多目采集设备所挂载的应用设备和标定对象均置于场景基底面上时，控制多目采集设备对标定对象进行图像采集，得到第一待处理图像；再对第一待处理图像进行特征点提取，得到多个第一特征点；最后，基于多个第一特征点和标定对象，确定场景基底面与目标图像采集设备的空间相对关系。

需要说明的是，标定对象是指用于对多目采集设备进行标定的对象，是一种带有固定间距图案阵列的对象；比如，棋盘格、圆形板等标定板。

在本申请实施例中，步骤10231之前还包括多目采集设备的标定过程；也就是说，图像处理设备基于目标图像采集设备的目标内参，获取目标投影点对应于目标图像采集设备的设备位置点之前，该图像处理方法还包括：图像处理设备在标定对象的多个放置方式中，针对每个放置方式执行以下处理：先控制多目采集设备对放置方式下的标定对象进行图像采集，得到第二待处理图像；再对第二待处理图像进行特征点提取，得到多个第二特征点；接着，对多个第二特征点与标定对象进行匹配，得到特征点匹配结果；最后，基于多个放置方式对应的多个特征点匹配结果，确定多目采集设备的设备参数。

需要说明的是，设备参数包括多个图像采集设备各自的内参，还包括多个图像采集设备各自的外参，又包括多个图像采集设备之间的参数；从而，设备参数包括目标图像采集设备的目标内参。

参见图7，图7是本申请实施例提供的图像处理方法的流程示意图四，其中，图7中各步骤的执行主体为图像处理设备；如图7所示，在本申请实施例中，步骤104之后还包括步骤105至步骤107；也就是说，图像处理设备将图像差确定为待处理场景图像的图像处理结果之后，该图像处理方法还包括步骤105至步骤107，下面对各步骤分别进行说明。

步骤105、基于图像处理结果，确定待处理场景的障碍物信息。

需要说明的是，图像处理设备对图像处理结果中的信息进行识别，并将识别出的信息作为待处理场景的障碍物信息。

步骤106、基于障碍物信息，确定多目采集设备所挂载的应用设备的待运动信息。

需要说明的是，图像处理设备获得了待处理场景的障碍物信息之后，就能够确定多目采集设备所挂载的应用设备在待处理场景中的运动信息，即为待运动信息。其中，应用设备可以集成于图像处理设备中，也可以独立于图像处理设备，本申请实施例对此不作限定。

示例性地，应用设备比如为扫地机器人，自动驾驶车辆，虚拟现实设备，等等。

步骤107、基于待运动信息，控制应用设备在待处理场景中运动。

需要说明的是，当应用设备集成于图像处理设备中时，图像处理设备基于待运动信息控制应用设备在待处理场景中运动，是指图像处理设备基于待运动信息控制自身在待处理场景中运动。当应用设备独立于图像处理设备时，图像处理设备基于待运动信息控制应用设备在待处理场景中运动，是指图像处理设基于待运动信息向应用设备发送运动指令，应用设备执行所接收到的运动指令，以在待处理场景中运动。

可以理解的是，在控制应用设备在待处理场景中运动的应用场景中，通过获取基底面图像与待处理场景图像之间的图像差，就能够实现对场景基地面的过滤，降低了资源消耗，提升了运动控制效率。

在本申请实施例中，图像处理设备将图像差确定为待处理场景图像的图像处理结果之后，该图像处理方法还包括：基于图像处理结果，确定待处理场景的待增强信息；对待增强信息进行虚拟现实增强。

可以理解的是，在虚拟现实增强应用场景中，通过获取基底面图像与待处理场景图像之间的图像差，就能够实现对场景基地面的过滤，降低了资源消耗，提升了虚拟现实增强的效率。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用，该示例性应用描述了在自动驾驶场景（称为待处理场景）中预先获取地面深度图（称为基底面图像）的过程。易知，本申请实施例提供的图像处理方法适用于任一对场景基底面进行过滤的场景中，这里以自动驾驶场景为例进行说明。

参见图8，图8是本申请实施例提供的一种示例性的双目***的成像示意图；如图8所示，在双目***8-1中，真实世界中的对象8-21在第一相机的成像平面8-31的位置为位置8-22（记为 ），在第二相机的成像平面8-41的位置为位置8-23（记为/>）；第一相机的光心8-32记为/>，第二相机的光心8-42记为/>；第二相机的光心8-42在第一相机的成像平面8-31的位置为极点8-33，记为/>，第一相机的光心8-32在第二相机的成像平面8-41的位置为极点8-43，记为/>；另外，从光心8-32出发、透过位置8-22所对应的真实世界中位置序列（即为（/>）），在成像平面8-41上所对应的成像点序列位于极线8-5上。

需要说明的是，极线校正用于将第一相机的图像和第二相机的图像的对应点的极线重合；在极线校正之后，参见图9，图9是本申请实施例提供的另一种示例性的双目***的成像示意图；如图9所示，第一相机9-1的光心9-11和第二相机9-2的光心9-21之间的距离为基线9-3，记为；第一相机9-1和第二相机9-2的焦距相同，记为/>；从而，当真实世界中的位置点P在第一相机9-1的成像平面中的水平（对应于X轴）距离9-12为/>、且位置点P（/>）在第二相机9-2的成像平面中的水平距离9-22为/>时，能够得到如式（1）和式（2）所示的关系，式（1）和式（2）如下所示。

（1）；

（2）；

其中，表示位置点P与第一相机9-1的光心9-11的水平距离，/>表示位置点P与第一相机9-1的光心9-11的深度值（对应于Z轴）。

由式（1）和式（2），可得到深度值，如式（3）所示。

（3）；

其中，表示位置点P的视差值。/>

下面说明基于双目***预先获取地面深度图，以实现地面点过滤的过程。

参见图10，图10是本申请实施例提供的一种示例性的过滤地面点的流程图；如图10所示，该示例性的过滤地面点的流程包括步骤201至步骤205，下面对各步骤分别进行说明。

步骤201、对双目相机（称为多目采集设备）进行相机标定。

需要说明的是，在双目相机的相对位置固定时，先采用双目相机对不同位置和不同角度下的标定板（称为标定对象）进行拍摄，得到多张左右目匹配图像（称为第二待处理图像）；再对每张左右目匹配图像进行特征点提取，并对提取出的特征点（称为多个第二特征点）进行匹配，得到匹配的特征点对；接着，基于匹配的特征点对标定出相机内参和相机外参、以及两个相机之间的相机间参数。

步骤202、对双目相机进行地面标定。

需要说明的是，在承载已完成相机标定的双目相机的设备（比如，扫地机等）置于地面上时，对平放于地面上的标定板进行拍摄，得到多张标定板图像；再对每张标定板图像进行特征点提取，基于提取出的特征点（称为多个第一特征点）计算目标相机和地面之间的位置关系（称为空间相对关系）。其中，目标相机为双目相机中的任一个。

步骤203、计算目标相机的等效物理焦距（称为目标物理焦距）。

需要说明的是，通过建立地面方程对地面上的地面点进行采样，基于目标相机与地面之间的位置关系，将采样的地面点（称为目标采样点）投影至目标相机的成像平面，去除投影至目标相机的成像平面外边的地面点，得到投影至目标相机的成像平面上的有效成像点（称为目标投影点）；基于采样的地面点和有效成像点计算目标相机的等效物理焦距。

示例性地，当有效成像点在目标相机的成像平面上的坐标为（，/>）、深度值为/>时，基于目标相机的相机内参对应的内参变换矩阵将该有效成像点转换至目标相机的相机坐标系下，如式（4）所示；从而，得到对应于目标相机的相机坐标系下的坐标（/>，/>，/>），如式（5）所示。

（4）；

（5）；

其中，为内参变换矩阵，/>、/>、/>和/>为目标相机的相机内参（称为第一维度焦距、第二维度焦距、第一维度旋转信息和第二维度旋转信息）。

这里，基于目标相机的相机内参，可以获得（，/>）在目标相机的等效成像平面上的坐标（/>）（称为物理成像点），如式（6）所示。

（6）；

基于式（5）和式（6），确定目标相机的等效物理焦距，如式（7）所示。/>

（7）；

需要说明的是，由于基于每个有效成像点能够计算出一个等效物理焦距，从而最后，可以通过最小二乘法对多个等效物理焦距进行处理，以获得最终的等效物理焦距。

步骤204、基于等效物理焦距，获取地面深度图。

需要说明的是，先基于等效物理焦距，从目标相机的光心处向等效成像平面的每个像素点投射光线。然后计算经过每个像素点的射线与步骤203所建立的地面方程的交点。如果两者存在交点，那么将交点的深度值作为该像素点的像素值，从而得到地面深度图。这里，当待获取地面视差图时，通过步骤201中得到的相机内参的，获取与地面深度图对应的地面视差图（称为基底面图像）；其中，地面视差图中每个像素点的视差值/>如式（8）所示。

（8）；

其中，为地面深度图中的深度值。

步骤205、基于地面深度图对场景深度图进行地面点过滤。

需要说明的是，在获得了相对于目标相机的地面深度图之后，在通过双目相机获得了相对于目标相机的实际场景深度图/>之后，通过式（9）过滤地面信息，得到过滤结果/>（称为图像差），式（9）如下所示。

（9）；

其中，为可选的修正值（称为像素阈值），可根据实际情况选取。

还需要说明的是，在双目相机和地面的相对位置发生偏差时，可以通过记录地面方程的法向量和地面点的方式，在后续使用中通过自校正的方式更新地面方程的法向量和地面点，以更新地面深度图，实现自校准；这里，还可以通过控制更新频率提升过滤效率。

可以理解的是，本申请实施例提供的图像处理方法可以应用于嵌入式***中的双目视觉任务，例如，扫地机器人和自动驾驶等领域；由于该图像处理方法通过空间代价换取计算效率，因此能够提升图像处理的实时性。另外，本申请实施例通过作差运算就能够实现地面点的过滤，降低了将数据转换至点云空间的资源消耗，提升了图像处理效率，进而提升图像渲染帧率。以及，本申请实施例提供的图像处理方法可以预先获取地面深度图，还可以实时动态地面深度图，能够在确保图像处理精准度的情况下提升图像处理效率，还能够适用于各种地面，提升图像处理的场景适用性。

下面继续说明本申请实施例提供的图像处理装置455的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器450的图像处理装置455中的软件模块可以包括：

请求响应模块4551，用于响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，所述多目采集设备包括多个图像采集设备；

图像获取模块4552，用于获取场景基底面的基底面图像，所述基底面图像是通过所述多目采集设备对所述场景基底面进行图像采集得到的，所述待处理场景包括所述场景基底面；

图像处理模块4553，用于获取所述基底面图像与所述待处理场景图像之间的图像差；

结果获取模块4554，用于将所述图像差确定为所述待处理场景图像的图像处理结果，所述图像处理结果表示所述待处理场景中除所述场景基底面之外的场景成像信息。

在本申请实施例中，所述图像获取模块4552，还用于读取预存的所述场景基底面的所述基底面图像，所述基底面图像是在响应于所述场景采集请求之前通过所述多目采集设备对所述场景基底面进行图像采集得到的。

在本申请实施例中，所述图像处理装置455还包括信息更新模块4555，用于响应于更新事件触发的针对所述基底面图像的图像更新请求，采集基底面更新图像，所述更新事件包括以下中的至少一种：更新周期到达，基底面法向量偏离值大于偏离阈值，所述图像采集设备发生位置变动；响应于下一场景采集请求，采集下一待处理场景图像；将所述基底面更新图像和所述下一待处理场景图像之间的差值，确定为所述下一待处理场景图像的待应用图像。

在本申请实施例中，所述图像获取模块4552，还用于对所述场景基底面进行位置点采样，得到目标采样点；将所述目标采样点投影至目标成像平面，得到目标投影点，所述目标成像平面为所述多目采集设备的目标图像采集设备的成像平面；基于所述目标投影点，确定所述目标图像采集设备的目标物理焦距；基于所述目标物理焦距进行光线投射，得到所述基底面图像。

在本申请实施例中，所述图像处理装置455还包括数据标定模块4556，用于在标定对象置于所述场景基底面上时，控制所述多目采集设备对所述标定对象进行图像采集，得到第一待处理图像；对所述第一待处理图像进行特征点提取，得到多个第一特征点；基于多个所述第一特征点和所述标定对象，确定所述场景基底面与所述目标图像采集设备的空间相对关系。

在本申请实施例中，所述图像获取模块4552，还用于基于所述空间相对关系，将所述目标采样点投影至所述目标成像平面，得到所述目标投影点。

在本申请实施例中，所述图像获取模块4552，还用于基于所述目标图像采集设备的目标内参，获取所述目标投影点对应于所述目标图像采集设备的设备位置点；基于所述目标内参，确定所述目标投影点在所述目标图像采集设备的物理成像平面的物理成像点；结合所述设备位置点和所述物理成像点，计算所述目标图像采集设备的所述目标物理焦距。

在本申请实施例中，所述数据标定模块4556，还用于在标定对象的多个放置方式中，针对每个所述放置方式执行以下处理：控制所述多目采集设备对所述放置方式下的所述标定对象进行图像采集，得到第二待处理图像；对所述第二待处理图像进行特征点提取，得到多个第二特征点；对多个所述第二特征点与所述标定对象进行匹配，得到特征点匹配结果；基于多个所述放置方式对应的多个所述特征点匹配结果，确定所述多目采集设备的设备参数，所述设备参数包括所述目标内参。

在本申请实施例中，所述图像获取模块4552，还用于基于所述目标物理焦距，确定所述目标图像采集设备的物理成像平面；在所述物理成像平面上确定与指定图像尺寸对应的待成像区域；对所述待成像区域中的每个待成像像素点执行以下处理：从所述目标图像采集设备的目标光心处向所述待成像像素点投射光线，得到投射的光线与所述场景基底面的交点像素值，所述交点像素值为以下中的任一种：深度值，视差值；由每个所述待成像像素点的所述交点像素值，得到与所述待成像区域对应的交点像素值阵列；将所述交点像素值阵列确定为所述基底面图像。

在本申请实施例中，所述待处理场景图像的图像类型和所述基底面图像的图像类型分别为以下中的任一种：深度图像类型，视差图像类型，所述深度图像类型表示图像的像素值为深度值，所述视差图像类型表示图像的像素值为视差值。

在本申请实施例中，所述图像处理模块4553，还用于当所述待处理场景图像的图像类型和所述基底面图像的图像类型相同时，将所述待处理场景图像和所述基底面图像的图像类型确定为目标图像类型；基于所述目标图像类型，计算所述基底面图像与所述待处理场景图像之间的差值，得到所述图像差。

在本申请实施例中，所述图像处理模块4553，还用于当所述目标图像类型为深度图像类型时，计算所述基底面图像减去所述待处理场景图像的第一差值；将所述第一差值确定为所述图像差。

在本申请实施例中，所述图像处理模块4553，还用于当所述目标图像类型为视差图像类型时，计算所述待处理场景图像减去所述基底面图像的第二差值；将所述第二差值确定为所述图像差。

在本申请实施例中，所述图像处理模块4553，还用于当所述待处理场景图像的图像类型和所述基底面图像的图像类型不同时，从所述待处理场景图像的图像类型和所述基底面图像的图像类型中，确定基准图像类型；从所述待处理场景图像和所述基底面图像中选择图像类型与所述基准图像类型相同的一种，得到基准类型图像；从所述待处理场景图像和所述基底面图像中选择图像类型与所述基准图像类型不同的一种，得到待转换图像；将所述待转换图像转换为所述基准图像类型的图像，得到待计算图像；计算所述待计算图像与所述基准类型图像之间的差值，得到所述图像差。

在本申请实施例中，所述图像处理装置455还包括结果应用模块4557，用于基于所述图像处理结果，确定所述待处理场景的障碍物信息；基于所述障碍物信息，确定所述多目采集设备所挂载的应用设备的待运动信息；基于所述待运动信息，控制所述应用设备在所述待处理场景中运动。

本申请实施例提供了一种计算机程序产品，该计算机程序产品包括计算机可执行指令或者计算机程序，该计算机可执行指令或者计算机程序存储在计算机可读存储介质中。图像处理设备的处理器从计算机可读存储介质读取该计算机可执行指令或者计算机程序，处理器执行该计算机可执行指令或者计算机程序，使得该图像处理设备执行本申请实施例上述的图像处理方法。

本申请实施例提供一种计算机可读存储介质，其中存储有计算机可执行指令或者计算机程序，当计算机可执行指令或者计算机程序被处理器执行时，将引起处理器执行本申请实施例提供的图像处理方法，例如，如图3示出的图像处理方法。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，计算机可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，计算机可执行指令可以但不一定对应于文件***中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（Hyper TextMarkup Language，HTML）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。

作为示例，计算机可执行指令可被部署为在一个电子设备上执行（此时，这一个电子设备即为图像处理设备），或者在位于一个地点的多个电子设备上执行（此时，位于一个地点的多个电子设备即为图像处理设备），又或者，在分布在多个地点且通过通信网络互连的多个电子设备上执行（此时，分布在多个地点且通过通信网络互连的多个电子设备即为图像处理设备）。

可以理解的是，在本申请实施例中，涉及到待处理场景图像等相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。另外，本申请实施例中相关数据收集处理在实例应用时应该严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理。

综上所述，本申请实施例在响应于场景采集请求采集到了待处理场景图像时，通过获取场景基底面的基底面图像，使得通过获取基底面图像与待处理场景图像之间的图像差，就完成了从待处理场景中过滤掉场景基底面的处理，提升了场景基底面的过滤效率；进而能够提升图像处理效率。并且，通过获取基底面图像与待处理场景图像之间的图像差过滤待处理场景中的场景基底面，降低了对场景基底面的限制，进而能够提升图像处理的适用范围。此外，在响应于场景采集请求之前预先获取基底面图像，能够提升基底面图像获取效率，进而能够提升场景基底面的过滤效率；以及，动态更新基底面图像的更新，能够提升图像处理的准确度。

以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (18)

1.一种图像处理方法，其特征在于，所述方法包括：

响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，所述多目采集设备包括多个图像采集设备；

获取场景基底面的基底面图像，所述基底面图像是通过所述多目采集设备对所述场景基底面进行图像采集得到的，所述待处理场景包括所述场景基底面；

获取所述基底面图像与所述待处理场景图像之间的图像差；

将所述图像差确定为所述待处理场景图像的图像处理结果，所述图像处理结果表示所述待处理场景中除所述场景基底面之外的场景成像信息。

2.根据权利要求1所述的方法，其特征在于，所述获取场景基底面的基底面图像，包括：

读取预存的所述场景基底面的所述基底面图像，所述基底面图像是在响应于所述场景采集请求之前通过所述多目采集设备对所述场景基底面进行图像采集得到的。

3.根据权利要求2所述的方法，其特征在于，所述将所述图像差确定为所述待处理场景图像的图像处理结果之后，所述方法还包括：

响应于更新事件触发的针对所述基底面图像的图像更新请求，采集基底面更新图像，所述更新事件包括以下中的至少一种：更新周期到达，基底面法向量偏离值大于偏离阈值，所述图像采集设备发生位置变动；

响应于下一场景采集请求，采集下一待处理场景图像；

将所述基底面更新图像和所述下一待处理场景图像之间的差值，确定为所述下一待处理场景图像的待应用图像。

4.根据权利要求1所述的方法，其特征在于，所述获取场景基底面的基底面图像，包括：

对所述场景基底面进行位置点采样，得到目标采样点；

将所述目标采样点投影至目标成像平面，得到目标投影点，所述目标成像平面为所述多目采集设备的目标图像采集设备的成像平面；

基于所述目标投影点，确定所述目标图像采集设备的目标物理焦距；

基于所述目标物理焦距进行光线投射，得到所述基底面图像。

5.根据权利要求4所述的方法，其特征在于，所述将所述目标采样点投影至目标成像平面，得到目标投影点之前，所述方法还包括：

在标定对象置于所述场景基底面上时，控制所述多目采集设备对所述标定对象进行图像采集，得到第一待处理图像；

对所述第一待处理图像进行特征点提取，得到多个第一特征点；

基于多个所述第一特征点和所述标定对象，确定所述场景基底面与所述目标图像采集设备的空间相对关系；

所述将所述目标采样点投影至目标成像平面，得到目标投影点，包括：

基于所述空间相对关系，将所述目标采样点投影至所述目标成像平面，得到所述目标投影点。

6.根据权利要求4或5所述的方法，其特征在于，所述基于所述目标投影点，确定所述目标图像采集设备的目标物理焦距，包括：

基于所述目标图像采集设备的目标内参，获取所述目标投影点对应于所述目标图像采集设备的设备位置点；

基于所述目标内参，确定所述目标投影点在所述目标图像采集设备的物理成像平面的物理成像点；

结合所述设备位置点和所述物理成像点，计算所述目标图像采集设备的所述目标物理焦距。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标图像采集设备的目标内参，获取所述目标投影点对应于所述目标图像采集设备的设备位置点之前，所述方法还包括：

在标定对象的多个放置方式中，针对每个所述放置方式执行以下处理：

控制所述多目采集设备对所述放置方式下的所述标定对象进行图像采集，得到第二待处理图像；

对所述第二待处理图像进行特征点提取，得到多个第二特征点；

对多个所述第二特征点与所述标定对象进行匹配，得到特征点匹配结果；

基于多个所述放置方式对应的多个所述特征点匹配结果，确定所述多目采集设备的设备参数，所述设备参数包括所述目标内参。

8.根据权利要求4或5所述的方法，其特征在于，所述基于所述目标物理焦距进行光线投射，得到所述基底面图像，包括：

基于所述目标物理焦距，确定所述目标图像采集设备的物理成像平面；

在所述物理成像平面上确定与指定图像尺寸对应的待成像区域；

对所述待成像区域中的每个待成像像素点执行以下处理：

从所述目标图像采集设备的目标光心处向所述待成像像素点投射光线，得到投射的光线与所述场景基底面的交点像素值，所述交点像素值为以下中的任一种：深度值，视差值；

由每个所述待成像像素点的所述交点像素值，得到与所述待成像区域对应的交点像素值阵列；

将所述交点像素值阵列确定为所述基底面图像。

9.根据权利要求1所述的方法，其特征在于，所述待处理场景图像的图像类型和所述基底面图像的图像类型分别为以下中的任一种：深度图像类型，视差图像类型，所述深度图像类型表示图像的像素值为深度值，所述视差图像类型表示图像的像素值为视差值。

10.根据权利要求1至5、9任一项所述的方法，其特征在于，所述获取所述基底面图像与所述待处理场景图像之间的图像差，包括：

当所述待处理场景图像的图像类型和所述基底面图像的图像类型相同时，将所述待处理场景图像和所述基底面图像的图像类型确定为目标图像类型；

基于所述目标图像类型，计算所述基底面图像与所述待处理场景图像之间的差值，得到所述图像差。

11.根据权利要求10所述的方法，其特征在于，所述基于所述目标图像类型，计算所述基底面图像与所述待处理场景图像之间的差值，得到所述图像差，包括：

当所述目标图像类型为深度图像类型时，计算所述基底面图像减去所述待处理场景图像的第一差值；

将所述第一差值确定为所述图像差。

12.根据权利要求10所述的方法，其特征在于，所述基于所述目标图像类型，计算所述基底面图像与所述待处理场景图像之间的差值，得到所述图像差，包括：

当所述目标图像类型为视差图像类型时，计算所述待处理场景图像减去所述基底面图像的第二差值；

将所述第二差值确定为所述图像差。

13.根据权利要求1至5、9任一项所述的方法，其特征在于，所述获取所述基底面图像与所述待处理场景图像之间的图像差，包括：

当所述待处理场景图像的图像类型和所述基底面图像的图像类型不同时，从所述待处理场景图像的图像类型和所述基底面图像的图像类型中，确定基准图像类型；

从所述待处理场景图像和所述基底面图像中选择图像类型与所述基准图像类型相同的一种，得到基准类型图像；

从所述待处理场景图像和所述基底面图像中选择图像类型与所述基准图像类型不同的一种，得到待转换图像；

将所述待转换图像转换为所述基准图像类型的图像，得到待计算图像；

计算所述待计算图像与所述基准类型图像之间的差值，得到所述图像差。

14.根据权利要求1至5、9任一项所述的方法，其特征在于，所述将所述图像差确定为所述待处理场景图像的图像处理结果之后，所述方法还包括：

基于所述图像处理结果，确定所述待处理场景的障碍物信息；

基于所述障碍物信息，确定所述多目采集设备所挂载的应用设备的待运动信息；

基于所述待运动信息，控制所述应用设备在所述待处理场景中运动。

15.一种图像处理装置，其特征在于，所述图像处理装置包括：

请求响应模块，用于响应于场景采集请求，控制多目采集设备对待处理场景进行图像采集，得到待处理场景图像，所述多目采集设备包括多个图像采集设备；

图像获取模块，用于获取场景基底面的基底面图像，所述基底面图像是通过所述多目采集设备对所述场景基底面进行图像采集得到的，所述待处理场景包括所述场景基底面；

图像处理模块，用于获取所述基底面图像与所述待处理场景图像之间的图像差；

结果获取模块，用于将所述图像差确定为所述待处理场景图像的图像处理结果，所述图像处理结果表示所述待处理场景中除所述场景基底面之外的场景成像信息。

16.一种用于图像处理的电子设备，其特征在于，所述电子设备包括：

存储器，用于存储计算机可执行指令或者计算机程序；

处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现权利要求1至14任一项所述的图像处理方法。

17.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时，实现权利要求1至14任一项所述的图像处理方法。

18.一种计算机程序产品，包括计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时，实现权利要求1至14任一项所述的图像处理方法。