CN110889890A - 图像处理方法及装置、处理器、电子设备及存储介质 - Google Patents

Abstract

本公开公开了一种图像处理方法及装置。该方法包括：获取第一待处理图像、所述第一待处理图像的第一深度图像、第二待处理图像和所述第二待处理图像的第二深度图像；所述第一待处理图像中包含待处理虚拟对象，所述第二待处理图像中包含第一物体；对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像。还公开了相应的装置。以实现基于深度图像获得可显示待处理虚拟对象和第一物体之间的位置关系的渲染图像。

Description

图像处理方法及装置、处理器、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、处理器、电子设备及存储介质。

背景技术

增强现实(augmented reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，该技术可以将虚拟信息与真实环境实时地叠加到一个画面。虽然AR在过去数年间已经取得了长足的进步，但是在AR体验中可以发现，虚拟模型始终显示在真实环境的前面，无法反映虚拟模型和真实环境之间正确的位置关系，不能将虚拟模型和真实环境融为一体，导致用户的AR体验不够真实。

发明内容

本公开提供一种图像处理方法及装置、处理器、电子设备及存储介质。

第一方面，提供了一种图像处理方法，所述方法包括：获取第一待处理图像、所述第一待处理图像的第一深度图像、第二待处理图像和所述第二待处理图像的第二深度图像；所述第一待处理图像中包含待处理虚拟对象，所述第二待处理图像中包含第一物体；对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像。

在该方面中，通过将第一深度图像中的像素点的值作为第一待处理图像的深度值、将第二深度图像中的像素点的值作为第二待处理图像的深度值，可以确定第一待处理图像和第二待处理图像的深度信息，然后，根据第一待处理图像和第二待处理图像之间的相对深度信息来进行渲染处理，得到渲染图像，以实现准确显示待处理虚拟对象和第一物体之间的位置关系。

在一种可能实现的方式中，所述对所述待处理虚拟对象和所述第一物体进行渲染处理之前，所述方法还包括：对所述第二待处理图像和所述第二深度图像进行三维重建处理，获得所述第一物体的三维模型；所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像，包括：将所述第二待处理图像中根据所述第二深度图像确定的深度值大于第一阈值的像素点作为待更新像素点；将所述三维模型的第三深度图像中的候补像素点的像素值作为所述待更新像素点的深度信息，获得所述第一物体的更新后的深度信息；所述候补像素点在所述第三深度图像中的位置与所述待更新像素点在所述第二待处理图像中的位置相同；对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第一物体的更新后的深度信息确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到所述渲染图像。

在该种可能实现的方式中，通过获取第一物体的更新后的深度信息，并将第一深度图像中的像素点的值作为第一待处理图像的深度值，以确定第一待处理图像和第二待处理图像之间的相对深度信息，然后根据该相对深度信息进行渲染处理，得到渲染图像，以提升显示待处理虚拟对象和第一物体之间的位置关系时的准确性。

在另一种可能实现的方式中，所述对所述第二待处理图像和所述第二深度图像进行三维重建处理，获得所述第一物体的三维模型，包括：确定所述第二待处理图像中深度值小于或等于所述第一阈值的待处理像素点，所述深度值根据所述第二深度图像确定；获取所述待处理像素点在相机坐标系下的三维坐标；将由所述相机坐标系下的三维坐标所确定的点作为三维点云数据；对所述三维点云数据进行三维建模处理，获得所述第一物体的三维模型。

在该种可能实现的方式中，在获取三维点云数据时只选择第二待处理图像中根据第二深度图像确定的深度值小于或等于所述第一阈值的像素点，剔除了第二深度图像中可能出现的深度值缺失的像素点，从而获得更加精准的三维点云数据。

在又一种可能实现的方式中，所述对所述三维点云数据进行三维建模处理，获得所述第一物体的三维模型，包括：对所述三维点云数据进行三角剖分处理，以建立所述三维点云数据之间的拓扑连接关系，获得初始三维网格；获取相机的位姿信息，所述相机用于采集所述第二待处理图像；使用所述位姿信息将所述初始三维网格转换为世界坐标系下的目标三维网格；对所述世界坐标系下的目标三维网格进行渲染处理，获得所述第一物体的三维模型。

在该种可能实现的方式中，通过对三维点云数据进行三角剖分处理以获得初始三维网格，并将初始三维网格转换为世界坐标系下的目标三维网格，然后对目标三维网格进行渲染处理，获得所述第一物体的三维模型，实现了将空间中离散的点转化为三维模型的过程。

在又一种可能实现的方式中，所述获取相机的位姿信息之前，所述方法还包括获取参考图像，所述参考图像中包含至少两个参考特征点；所述获取所述相机的位姿信息，包括：确定所述第二待处理图像中的至少两个待配准特征点；所述参考特征点与所述待配准特征点一一对应；依据所述参考特征点在所述相机坐标系下的参考三维坐标和所述待配准特征点在所述相机坐标系下的待配准三维坐标，得到旋转矩阵和平移向量，作为所述相机的位姿信息；通过所述旋转矩阵和平移向量对所述参考三维坐标进行转换得到的中间三维坐标与所述待配准三维坐标之间的重合度大于或等于第二阈值。

在该种可能实现的方式中，首先，确定第二待处理图像中的待配准特征点，待配准特征点与参考特征点一一对应；然后，依据参考特征点在相机坐标系下的参考三维坐标和待配准特征点在相机坐标系下的待配准三维坐标，得到旋转矩阵和平移向量，可以准确描述相机的位姿信息。

在又一种可能实现的方式中，所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像之前，所述方法还包括：在确定所述第二待处理图像中包含第二物体的情况下，确定所述第二物体覆盖的图像区域；依据所述第一深度图像和所述第二深度图像，确定所述第二物体覆盖的图像区域中的目标像素点；所述目标像素点的深度值小于所述待处理虚拟对象覆盖的图像区域中的待比较像素点的深度值；所述目标像素点在所述第二待处理图像中的位置与所述待比较像素点在所述第一待处理图像中的位置相同；所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像，包括：在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下，对所述待处理虚拟对象、所述第一物体和所述第二物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及显示所述第二物体，得到所述渲染图像。

在该种可能实现的方式中，通过确定第二待处理图像中包含的第二物体以及确定第二物体覆盖的图像区域，并在第二物体覆盖的图像区域中的目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下，确定渲染时显示整个第二物体，该方案可以减小因第二深度图像中可能存在的深度值缺失的像素点而引起的误差，以提升显示待处理虚拟对象和第二物体之间的位置关系时的准确性。

在又一种可能实现的方式中，所述方法还包括：在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于所述第三阈值的情况下，对所述待处理虚拟对象、所述第一物体和所述第二物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及所述待处理虚拟对象和所述第二物体之间的位置关系，得到所述渲染图像。

在该种可能实现的方式中，通过在目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于第三阈值的情况下，将第一深度图像中的像素点的值作为第一待处理图像的深度值、将第二深度图像中的像素点的值作为第二待处理图像的深度值，可以确定第一待处理图像和第二待处理图像的深度信息，然后，根据第一待处理图像和第二待处理图像之间的相对深度信息来进行渲染处理，得到渲染图像，以实现准确显示待处理虚拟对象和第一物体之间的位置关系以及待处理虚拟对象和第二物体之间的位置关系。

在又一种可能实现的方式中，所述在确定所述第二待处理图像中包含第二物体的情况下，所述方法还包括：确定与所述第二物体具有映射关系的虚拟对象为所述待处理虚拟对象。

在该种可能实现的方式中，在确定第二待处理图像中包含第二物体的情况下，将与第二物体具有映射关系的虚拟对象确定为待处理虚拟对象，可以实现待处理虚拟对象的类别随着第二物体的类别不同而变化，并同时准确显示待处理虚拟对象和第二物体之间的位置关系。

第二方面，提供了一种图像处理装置，所述装置包括：获取单元，用于获取第一待处理图像、所述第一待处理图像的第一深度图像、第二待处理图像和所述第二待处理图像的第二深度图像；所述第一待处理图像中包含待处理虚拟对象，所述第二待处理图像中包含第一物体；渲染处理单元，用于对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像。

在一种可能实现的方式中，所述装置还包括：三维重建处理单元，用于对所述待处理虚拟对象和所述第一物体进行渲染处理之前，对所述第二待处理图像和所述第二深度图像进行三维重建处理，获得所述第一物体的三维模型；所述渲染处理单元具体用于：将所述第二待处理图像中根据所述第二深度图像确定的深度值大于第一阈值的像素点作为待更新像素点；将所述三维模型的第三深度图像中的候补像素点的像素值作为所述待更新像素点的深度信息，获得所述第一物体的更新后的深度信息；所述候补像素点在所述第三深度图像中的位置与所述待更新像素点在所述第二待处理图像中的位置相同；对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第一物体的更新后的深度信息确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到所述渲染图像。

在另一种可能实现的方式中，所述三维重建处理单元具体用于：确定所述第二待处理图像中深度值小于或等于所述第一阈值的待处理像素点，所述深度值根据所述第二深度图像确定；获取所述待处理像素点在相机坐标系下的三维坐标；将由所述相机坐标系下的三维坐标所确定的点作为三维点云数据；对所述三维点云数据进行三维建模处理，获得所述第一物体的三维模型。

在又一种可能实现的方式中，所述三维重建处理单元具体还用于：对所述三维点云数据进行三角剖分处理，以建立所述三维点云数据之间的拓扑连接关系，获得初始三维网格；获取相机的位姿信息，所述相机用于采集所述第二待处理图像；使用所述位姿信息将所述初始三维网格转换为世界坐标系下的目标三维网格；对所述世界坐标系下的目标三维网格进行渲染处理，获得所述第一物体的三维模型。

在又一种可能实现的方式中，所述获取单元，还用于在所述获取相机的位姿信息之前，获取参考图像，所述参考图像中包含至少两个参考特征点；所述三维重建处理单元具体还用于：确定所述第二待处理图像中的至少两个待配准特征点；所述参考特征点与所述待配准特征点一一对应；依据所述参考特征点在所述相机坐标系下的参考三维坐标和所述待配准特征点在所述相机坐标系下的待配准三维坐标，得到旋转矩阵和平移向量，作为所述相机的位姿信息；通过所述旋转矩阵和平移向量对所述参考三维坐标进行转换得到的中间三维坐标与所述待配准三维坐标之间的重合度大于或等于第二阈值。

在又一种可能实现的方式中，所述装置还包括：确定单元，用于在所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像之前，在确定所述第二待处理图像中包含第二物体的情况下，确定所述第二物体覆盖的图像区域；依据所述第一深度图像和所述第二深度图像，确定所述第二物体覆盖的图像区域中的目标像素点；所述目标像素点的深度值小于所述待处理虚拟对象覆盖的图像区域中的待比较像素点的深度值；所述目标像素点在所述第二待处理图像中的位置与所述待比较像素点在所述第一待处理图像中的位置相同；所述渲染处理单元具体用于：在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下，对所述待处理虚拟对象、所述第一物体和所述第二物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及显示所述第二物体，得到所述渲染图像。

在又一种可能实现的方式中，所述渲染处理单元具体还用于：在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于所述第三阈值的情况下，对所述待处理虚拟对象、所述第一物体和所述第二物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及所述待处理虚拟对象和所述第二物体之间的位置关系，得到所述渲染图像。

在又一种可能实现的方式中，所述确定单元，还用于所述在确定所述第二待处理图像中包含第二物体的情况下，确定与所述第二物体具有映射关系的虚拟对象为所述待处理虚拟对象。

第三方面，提供了一种处理器，所述处理器用于执行上述第一方面及其任一种可能的实现方式的方法。

第四方面，提供了一种电子设备，包括：处理器、输入装置、输出装置和存储器，所述处理器、输入装置、输出装置和存储器相互连接，所述存储器中存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行上述第一方面及其任一种可能的实现方式的方法。

第五方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行上述第一方面及其任一种可能的实现方式的方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

为了更清楚地说明本公开实施例或背景技术中的技术方案，下面将对本公开实施例或背景技术中所需要使用的附图进行说明。

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1为本公开实施例提供的一种图像处理方法的流程示意图；

图2为本公开实施例提供的一种虚拟对象的场景示意图；

图3为本公开实施例提供的一种图像的像素点对应关系的示意图；

图4为本公开实施例提供的另一种图像的像素点对应关系的示意图；

图5为本公开实施例提供的一种渲染处理过程的示意图；

图6为本公开实施例提供的另一种图像处理方法的流程示意图；

图7为本公开实施例提供的一种更新图像深度信息的流程示意图；

图8为本公开实施例提供的另一种图像处理方法的流程示意图；

图9为本公开实施例提供的另一种图像处理方法的流程示意图；

图10为本公开实施例提供的另一种图像处理方法的流程示意图；

图11为本公开实施例提供的一种渲染图像的场景示意图；

图12为本公开实施例提供的另一种渲染图像的场景示意图；

图13为本公开实施例提供的一种应用场景示意图；

图14为本公开实施例提供的一种图像处理装置的结构示意图；

图15为本公开实施例提供的一种图像处理装置的硬件结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本公开的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了更清楚地介绍本公开实施例，本文先对AR开发中常用的一种物理引擎接口Unity3D进行相关介绍。Unity3D是一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，Unity3D中存在一个“虚拟照相机”的概念，“虚拟照相机”可以对Unity3D中创建的三维虚拟场景或虚拟模型进行“拍照”，从而获得该三维虚拟场景或虚拟模型的颜色信息和深度信息。颜色信息被保存在颜色缓冲区中，深度信息被保存在深度缓冲区中，深度缓冲区还会将深度信息中的每一个深度值与“虚拟照相机”成像平面中的每个像素点进行相应的关联，这里的深度值是指三维虚拟场景或虚拟模型离“虚拟照相机”的距离，深度值越小则代表三维虚拟场景或虚拟模型距离“虚拟照相机”越近。进一步地，“虚拟照相机”可以从颜色缓冲区中获取颜色信息在屏幕上绘制彩色图，也可以从深度缓冲区中获取深度信息在屏幕上绘制深度图。而且，当移动终端调用Unity3D接口实现AR应用时，配置在移动终端上的真实照相机或摄像头在世界坐标系下的位姿信息会应用于“虚拟照相机”，也就是说“虚拟照相机”和真实照相机或摄像头在世界坐标系下的位置坐标会始终保持同步。

但是，需要注意的是，“虚拟照相机”并不是实际的硬件，“虚拟照相机”进行“拍照”和真实世界中真实照相机或摄像头进行图像采集或拍照的原理类似，只不过其具体过程是通过软模拟来实现的。具体地，可以把“虚拟照相机”对虚拟模型进行“拍照”理解为是将把三维模型投影到二维平面的一个过程，“虚拟照相机”的成像平面由多个像素点构成，“虚拟照相机”在每个像素点的位置发射出一条射线，比如，从像素点A发出的A射线与虚拟模型有接触，那么像素点A就是针对虚拟模型的成像像素点，A射线与虚拟模型的接触点离“虚拟照相机”的距离即为像素点A的深度值；从像素点B发出的B射线与虚拟模型无接触，那么像素点B就是针对“背景层”的成像像素点，“背景层”可以看作是距离“虚拟照相机”无穷远的虚拟模型，那么像素点B的深度值就是一个无穷大的值。另外，“虚拟照相机”和真实照相机一样，可以实现视角的自由旋转，上述提及的深度值均是指“虚拟照相机”在某一视角下对三维虚拟场景或虚拟模型成像时，三维虚拟场景或虚拟模型的表面与“虚拟照相机”的距离。

Unity3D接口在初次创建一个虚拟模型时，会为该虚拟模型初始化一个具体的世界坐标系下的位姿，当移动终端不断移动时，真实照相机或摄像头在世界坐标系下的位置坐标会不断改变，而“虚拟照相机”在世界坐标系下的位姿也会随之变化，相应地，虚拟模型距离虚拟照相机的距离也在变化。Unity3D接口具有一些简单的建模功能，比如建立最基本的几何体(立方体、球体、平面等)，但是该接口并不具备复杂的建模功能，实际应用中需要先通过其他方式建立复杂的三维模型，然后利用该接口进行进一步的渲染等处理以构建三维模型对应的虚拟形象。目前物体的建模方法大概可以分为三种，第一种方式是利用三维软件建模，第二种方式是通过仪器设备测量建模，第三种方式是通过图像或视频来建模。

下面结合本公开实施例中的附图对本公开实施例进行描述。

请参阅图1，图1是本公开实施例(一)提供的一种图像处理方法的流程示意图。

101、获取第一待处理图像、第一待处理图像的第一深度图像、第二待处理图像和第二待处理图像的第二深度图像。

第一待处理图像中包含待处理虚拟对象，第二待处理图像中包含第一物体。

本公开实施例中，第一待处理图像和第二待处理图像中的像素点的值代表颜色信息，第一深度图像和第二深度图像中的像素点的值代表深度信息，即从图像采集器到场景中各点的距离。第一待处理图像和第一深度图像由物理引擎中的“虚拟照相机”创建(物理引擎可以使用上述介绍的Unity3D，也可以使用其他物理引擎，本公开不作限定)，第二待处理图像和第二深度图像由真实照相机创建(此处的真实照相机是相对“虚拟照相机”而言，实际应用中真实照相机也可以是摄像头、图像传感器等)，比如，第二待处理图像可以为RGB摄像头采集到的RGB图像(RGB是一种色彩模式)，第二深度图像可以为深度摄像头采集到的深度图像。

第一待处理图像中包含待处理虚拟对象，待处理虚拟对象是指通过三维制作软件在虚拟三维空间中构建出的具有三维数据的三维模型，比如，3D游戏画面中的场景、人、物等等都是虚拟的三维模型，只不过被显示在二维的显示屏幕上，也就是说，待处理虚拟对象相对真实的物质世界是不存在的。比如，如图2所示，图2为虚拟对象的场景示意图，图2中图A所示的恐龙和图B所示的小鹿均为虚拟对象，图A中的椅子是真实世界中存在的物体，但是在真实场景中椅子前面并没有恐龙，恐龙只是被渲染在显示屏幕上呈现一种视觉效果，同样地，图B中的魔方是真实世界中存在的物体，但是在真实场景中魔方上面是没有任何东西的，小鹿只是被渲染在显示屏幕上呈现“小鹿站在魔方上面”的一种视觉效果。第二待处理图像中包含第一物体，第一物体是指真实世界中存在的并且在真实照相机处于某一固定位置时在图像采集的过程中相对真实照相机处于静止状态的物体，比如图A中的椅子和图B中的魔方，以及真实场景中的桌子、沙发、书桌、地面等等。

以第一深度图像中的像素点的值作为第一待处理图像中的像素点的深度值，同样地，以第二深度图像中的像素点的值作为第二待处理图像中的像素点的深度值。第一待处理图像与第一深度图像的尺寸可以相同也可以不同，同样地，第二待处理图像与第二深度图像的尺寸可以相同也可以不同，本公开不作限定。以第二待处理图像与第二深度图像为例，一种可能的实现方式是，第二待处理图像与第二深度图像的尺寸相同，并且第二待处理图像中的像素点与第二深度图像中的像素点一一对应，如图3所示，图3为第二待处理图像和第二深度图像的像素点对应关系的示意图，以图3中的A代表第二待处理图像、图3中的B代表第二深度图像，也就是说，以像素点D1的像素值作为像素点S1的深度值、以像素点D2的像素值作为像素点S2的深度值、以像素点D3的像素值作为像素点S3的深度值以及以像素点D4的像素值作为像素点S4的深度值。另一种可能的实现方式是，第二待处理图像与第二深度图像的尺寸不相同，但是第二待处理图像中的像素点与第二深度图像中的像素点具有对应关系，根据对应关系，仍然可以将第二深度图像中的像素点的值作为第二待处理图像中的对应像素点的深度值，如图4所示，图4为第二待处理图像和第二深度图像的另一种像素点对应关系的示意图，以图4中的A代表第二待处理图像、图4中的B代表第二深度图像，第二待处理图像的尺寸比第二深度图像的尺寸大，那么第二深度图像中的一个像素点的值可能会作为第二待处理图像中的多个像素点的值，比如，以B中的像素点D1的像素值作为A中的像素点S1、像素点S2、像素点S5以及像素点S6的深度值，也就是说，第二待处理图像中的一个包含多个像素点的区域对应第二深度图像中的一个像素点。待处理图像中的像素点与深度图像中的像素点之间的对应关系，本公开不作限定。

可选地，如前所述，第二待处理图像和第二深度图像由真实照相机创建，当硬件采集到的第二待处理图像和第二深度图像的格式不符合后续处理过程中所采用的图像格式时，需要对该图像进行格式转换，图像的格式包括jpeg格式、gif格式、png格式、bmp格式等等。对该图像具体进行何种格式转换，与实际应用中所使用的硬件采集装置和实际处理中所采用的图像格式有关，本公开不作限定。

102、对待处理虚拟对象和第一物体进行渲染处理，以显示依据第一深度图像和第二深度图像确定的待处理虚拟对象和第一物体之间的位置关系，得到渲染图像。

如101中所述，以第一深度图像中的像素点的值作为第一待处理图像中的像素点的深度值，那么依据第一深度图像可以确定第一待处理图像中的每一像素点的深度值，同样地，以第二深度图像中的像素点的值作为第二待处理图像中的像素点的深度值，那么依据第二深度图像可以确定第二待处理图像中的每一像素点的深度值。本公开实施例中，第一待处理图像的尺寸和第二待处理图像的尺寸相同，那么通过比较第一待处理图像和第二待处理图像中的位置相同的像素点对的深度值，就可以确定第一待处理图像和第二待处理图像之间的相对深度信息，其中，相对深度信息包括了待处理虚拟对象和第一物体之间的位置关系，此处的位置关系具体呈现的是一种视觉效果上的“遮挡关系”。然后，将像素点对中的深度值较小的像素点进行渲染，处理完所有像素点对以后，相应地也完成了对待处理虚拟对象和第一物体的渲染处理，得到渲染图像。

比如，如图5所示，图5本公开实施例提供的一种渲染处理过程的示意图，以图A代表第一待处理图像、图B代表第二待处理图像、图C代表渲染图像，比较第一待处理图像和第二待处理图像中的位置相同的像素点对的深度值，也就是比较像素点A1的深度值和像素点B1的深度值、像素点A2的深度值和像素点B2的深度值、像素点A3的深度值和像素点B3的深度值以及像素点A4的深度值和像素点B4的深度值。当像素点A1的深度值小于像素点B1的深度值时，对像素点A1进行渲染，也就是将像素点A1作为即将显示在屏幕上的渲染图像的对应位置处的像素点；同理，当像素点A2的深度值大于像素点B2的深度值时，对像素点B2进行渲染；当像素点A3的深度值大于像素点B3的深度值时，对像素点B3进行渲染；当像素点A4的深度值小于像素点B4的深度值时，对像素点A4进行渲染。最终，获得了如图C所示的渲染图像。

在现实生活中，一件物品遮挡住另一件物品的事情十分常见。这种遮挡可以帮助人们的眼睛和大脑判断物品在空间中的位置，并且令人们相信眼前的物品确实存在。然而，要体现虚拟对象和真实环境之间的遮挡关系，对AR而言仍是一个巨大的挑战。本实施例通过将第一深度图像中的像素点的值作为第一待处理图像的深度值、将第二深度图像中的像素点的值作为第二待处理图像的深度值，可以确定第一待处理图像和第二待处理图像的深度信息，然后，根据第一待处理图像和第二待处理图像之间的相对深度信息来进行渲染处理，得到渲染图像，以实现准确显示待处理虚拟对象和第一物体之间的位置关系。

请参阅图6，图6是本公开实施例(二)提供的另一种图像处理方法的流程示意图。

601、获取第一待处理图像、第一待处理图像的第一深度图像、第二待处理图像和第二待处理图像的第二深度图像。

第一待处理图像中包含待处理虚拟对象，第二待处理图像中包含第一物体。

602、对第二待处理图像和第二深度图像进行三维重建处理，获得第一物体的三维模型。

如前所述，物体的建模方法大概可以分为三种，本公开实施例使用的是第三种方式，即通过图像来建模。利用第二待处理图像包含的颜色信息和第二深度图像包含的深度信息，对

第二待处理图像包含的现实世界中的真实场景进行三维重建处理，获得真实场景的三维模型，真实场景中包含第一物体，那么真实场景的三维模型中也就包含了第一物体的三维模型。需要理解的是，第一物体的三维模型也是一种虚拟对象，和101中提及的待处理虚拟对象的含义相同，第一物体的三维模型相对真实的物质世界是不存在的。不同的是，101中提及的待处理虚拟对象可能是通过三维建模软件进行点、线、面的勾画以及后期的建模处理、纹理填充处理等获得的，第一物体的三维模型是通过对第二待处理图像和第二深度图像进行三维建模处理获得的，而第二待处理图像和第二深度图像是通过对真实场景进行拍摄获得的。

603、将第二待处理图像中根据第二深度图像确定的深度值大于第一阈值的像素点作为待更新像素点。

如前所述，可以将第二深度图像中的像素点的值作为第二待处理图像中的像素点的深度值。但是，第二深度图像是通过硬件采集获得的，在实际采集过程中，由于视差、镜面反射、物体吸光、物体过远等原因，可能导致采集到的第二深度图像中产生大量深度值缺失的“空洞”，“空洞”具体是指第二深度图像中像素值异常大的像素点。那么，直接将第二深度图像中的像素点的值作为第二待处理图像中的像素点的深度值进行后续的处理很可能产生误差。因此，为了减小误差，首先，本公开实施例确定第二深度图像中深度值缺失的异常像素点，即像素值大于第一阈值的像素点，第一阈值的选取具体和硬件采集设备有关，本公开不作限定；然后，确定第二待处理图像中与异常像素点对应的待更新像素点，也就是说，第二待处理图像中的待更新像素点不再采用第二深度图像中的像素点的值作为深度值。

604、将三维模型的第三深度图像中的候补像素点的像素值作为待更新像素点的深度信息，获得第一物体的更新后的深度信息。

候补像素点在第三深度图像中的位置与待更新像素点在第二待处理图像中的位置相同。

如前所述，三维模型是一个虚拟对象，那么通过物理引擎中的“虚拟照相机”同样可以创建三维模型的第三深度图像。需要理解的是，第三深度图像中的像素点的值可以作为三维模型的深度值，也就是三维模型到“虚拟照相机”的距离。而“虚拟照相机”和真实照相机在世界坐标系下的位置坐标会始终保持同步，在对真实场景进行三维重建处理获得真实场景的三维模型时，同样会保留真实场景在世界坐标系下的位置坐标，并应用于三维模型。也就是说，通过“虚拟照相机”获得的三维模型的第三深度图像中的像素点的值可以作一种近似值，近似地表示真实场景下真实物体到真实照相机的距离。并且，通过“虚拟照相机”获得的第三深度图像的尺寸和第二待处理图像的尺寸相同。

所以，在第二待处理图像中的待更新像素点不再采用第二深度图像中的像素点的值作为深度值的情况下，就可以使用三维模型的第三深度图像中的候补像素点的像素值作为待更新像素点的深度信息，候补像素点在第三深度图像中的位置与待更新像素点在第二待处理图像中的位置相同。在实施例(一)中，第二待处理图像中的每一像素点的深度值都是来自第二深度图像，而在本公开实施例(二)，第二待处理图像中有一部分像素点的深度值来自第二深度图像，剩余部分的像素点的深度值来自第三深度图像，也就是说，获得了第二待处理图像的更新后的深度信息，第二待处理图像中包含第一物体，那么也获得了第一物体的更新后的深度信息。

比如，如图7所示，图A代表第三深度图像、图B代表第二待处理图像、图C代表第二深度图像。如603中所述，先确定第二深度图像中深度值缺失的异常像素点，即像素值大于第一阈值的像素点，假设图C代表的第二深度图像中的像素点N1和像素点N4的值大于第一阈值，那么就将像素点N1和像素点N4作为异常像素点；然后，确定图B代表的第二待处理图像中与像素点N1和像素点N4对应的待更新像素点，可选地，假设此时第二待处理图像中的像素点与第二深度图像中的像素点一一对应，那么第二待处理图像中的待更新像素点包括像素点P1和像素点P4；其次，确定图A代表的第三深度图像中位置与待更新像素点位置相同的候补像素点，以候补像素点的值作为待更新像素点的深度值，具体地，像素点M1在第三深度图像中的位置和像素点P1在第二待处理图像中的位置相同，像素点M4在第三深度图像中的位置和像素点P4在第二待处理图像中的位置相同，所以，图A代表的第三深度图像中的候补像素点包括像素点M1和像素点M4，并且以像素点M1的值作为像素点P1的深度值，以像素点M4的值作为像素点P4的深度值；最后，获得图B代表的第二待处理图像的更新后的深度信息。

605、对待处理虚拟对象和第一物体进行渲染处理，以显示依据第一深度图像和第一物体的更新后的深度信息确定的待处理虚拟对象和第一物体之间的位置关系，得到渲染图像。

本公开实施例中，依据第一深度图像和第一物体的更新后的深度信息确定的待处理虚拟对象和第一物体之间的位置关系，是指依据第一深度图像来确定第一待处理图像中的每一像素点的深度值，同样地，依据604中获得的第二待处理图像的更新后的深度信息(其中包含了第一物体的更新后的深度信息)来确定第二待处理图像中的每一像素点的深度值。接着，比较第一待处理图像和第二待处理图像中的位置相同的像素点对的深度值，以确定第一待处理图像和第二待处理图像之间的相对深度信息，其中，相对深度信息包括了待处理虚拟对象和第一物体之间的位置关系，此处的位置关系具体呈现的是一种视觉效果上的“遮挡关系”。然后，将像素点对中的深度值较小的像素点进行渲染，处理完所有像素点对以后，相应地也完成了对待处理虚拟对象和第一物体的渲染处理，得到渲染图像。具体实施例的渲染过程与102中相同，此处不再赘述。

本实施例通过获取第一物体的更新后的深度信息，并将第一深度图像中的像素点的值作为第一待处理图像的深度值，以确定第一待处理图像和第二待处理图像之间的相对深度信息，然后根据该相对深度信息进行渲染处理，得到渲染图像，以提升显示待处理虚拟对象和第一物体之间的位置关系时的准确性。

请参阅图8，图8是本公开实施例(三)提供的实施例(二)中的602的一种可能实现的方式的流程示意图。

801、确定第二待处理图像中深度值小于或等于第一阈值的待处理像素点，深度值根据第二深度图像确定；获取待处理像素点在相机坐标系下的三维坐标。

如前所述，第二深度图像中可能产生大量深度值缺失的“空洞”，即像素值异常大的像素点，所以在进行三维重建处理时，需要剔除这些异常像素点，相应地也要剔除第二待处理图像中与这些异常像素点对应的像素点。因此，第二待处理图像中可以用于三维重建处理的像素点，即为根据第二深度图像确定的深度值小于或等于第一阈值的像素点；然后，获取这些像素点在相机坐标系下的三维坐标，即二维图像中的像素点投影至相机坐标系下的三维空间里的投影点的坐标，这样就建立了第二待处理图像中用于三维重建处理的像素点，与相机坐标系下的三维空间中的点之间的一一映射的关系。

802、将由相机坐标系下的三维坐标所确定的点作为三维点云数据。

本公开实施例中，根据801中获取到的相机坐标系下的三维坐标，对应地可以确定三维空间中的多个点，比如相机坐标系下的三维坐标(X₁，Y₁，Z₁)、(X₂，Y₂，Z₂)等，然后将相机坐标系下的这些点所构成的集合作为三维点云数据。

803、对三维点云数据进行三角剖分处理，以建立三维点云数据之间的拓扑连接关系，获得初始三维网格。

可以理解的是，三维点云数据本质上还是空间中的一个个离散的点，并不能作为一个三维模型。所以，需要建立三维点云数据之间的拓扑连接关系，将一个个离散的点连接起来，得到一个“连续”(相对于离散而言)的表面，用来模拟物体的表面。

在实际建立三维点云数据之间的拓扑连接关系时，可以将这些离散的点连接成一个个的三角形网格，也可以连接成一个个的四角形网格，其中，用三角形表示网格也叫三角剖分。本公开实施例中，对三维点云数据进行三角剖分处理，以建立三维点云数据之间的拓扑连接关系，也就是将三维点云数据中的离散的点连接成一个个的三角形网格。之所以采用三角形网格，是因为它具有如下优点：稳定性强；可以非常方便并且快速地生成；有助于恢复模型的表面细节。

804、获取相机的位姿信息，相机用于采集第二待处理图像。

相机的位姿信息用于描述世界坐标系与相机坐标系之间的转换关系，如前所述，此处的相机可以是摄像头、图像传感器等用于采集图像的装置。

805、使用位姿信息将初始三维网格转换为世界坐标系下的目标三维网格。

如803中所述，由三维点云数据可以获得初始三维网格，而三维点云数据是由相机坐标系下的点构成，那么获得的初始三维网格同样也位于相机坐标系下。然后，利用804中获得的相机的位姿信息，即世界坐标系与相机坐标系之间的转换关系，可以将初始三维网格转换至世界坐标系下，从而获得目标三维网格。

806、对世界坐标系下的目标三维网格进行渲染处理，获得第一物体的三维模型。

世界坐标系下的目标三维网格虽然可以大致描绘物体的轮廓信息，但仍然不是一个三维模型，因此，还需要利用物理引擎对目标三维网格进行渲染处理，从而获得第一物体的三维模型。

本实施例在获取三维点云数据时，只选择第二待处理图像中根据第二深度图像确定的深度值小于或等于所述第一阈值的像素点，剔除了第二深度图像中可能出现的深度值缺失的像素点，从而获得更加精准的三维点云数据；然后，通过对三维点云数据进行三角剖分处理以获得初始三维网格，并将初始三维网格转换为世界坐标系下的目标三维网格，然后对目标三维网格进行渲染处理，获得所述第一物体的三维模型，实现了将空间中离散的点转化为三维模型的过程。

请参阅图9，图9是本公开实施例(四)提供的实施例(三)中的804的一种可能实现的方式的流程示意图。

901、获取参考图像，参考图像中包含至少两个参考特征点。

本公开实施例中，相机在采集第二待处理图像之前需要采集参考图像，并且参考图像中包含至少两个参考特征点。

902、确定第二待处理图像中的至少两个待配准特征点。

一种可能的实现方式是，至少两个待配准特征点在第二待处理图像中的位置通过光流法跟踪至少两个参考特征点所确定；参考特征点与待配准特征点一一对应。采用光流法跟踪特征点的方式来确定第二待处理图像中的至少两个待配准特征点，无需对第二待处理图像进行特征提取处理。光流是一种描述像素点随时间在图像之间运动的方法，使用光流法跟踪至少两个参考特征点，就可以确定至少两个参考特征点运动至第二待处理图像中的位置，将第二待处理图像中该位置处的像素点作为特征点，即至少两个待配准特征点。

903、依据参考特征点在相机坐标系下的参考三维坐标和待配准特征点在相机坐标系下的待配准三维坐标，得到旋转矩阵和平移向量，作为相机的位姿信息。

通过旋转矩阵和平移向量对参考三维坐标进行转换得到的中间三维坐标与待配准三维坐标之间的重合度大于或等于第二阈值。本公开实施例中，根据参考特征点在相机坐标系下的参考三维坐标，对应地可以确定三维空间中的一组点集P，同样地，根据待配准特征点在相机坐标系下的待配准三维坐标，对应地可以确定三维空间中的一组点集Q；然后，可选地，使用迭代就近点(iterative closest point，ICP)算法确定点集P和点集Q之间的一种变换关系，即旋转矩阵和平移向量，使得通过旋转矩阵和平移向量对参考三维坐标进行转换得到的中间三维坐标与待配准三维坐标之间的重合度大于或等于第二阈值，也就是说，通过旋转矩阵和平移向量使得三维空间点集P中各点经过三维空间变换后与点集Q中的点尽可能地一一对应，即通过旋转矩阵和平移向量对三维空间点集P中的点进行转换得到中间点集M，中间点集M中与点集Q中的三维坐标重合的点的数量与点集Q中的点的数量之间的比值大于或等于第二阈值，第二阈值的具体数值可以根据实际应用进行选取。

本公开实施例通过光流法确定第二待处理图像中的待配准特征点，可以避免对第二待处理图像进行特征提取处理，以简化处理过程并提高计算效率；然后，依据参考特征点在相机坐标系下的参考三维坐标和待配准特征点在相机坐标系下的待配准三维坐标，得到旋转矩阵和平移向量，可以准确描述相机的位姿信息。

请参阅图10，图10是本公开实施例(五)提供的又一种图像处理方法的流程示意图。

1001、获取第一待处理图像、第一待处理图像的第一深度图像、第二待处理图像和第二待处理图像的第二深度图像。

第一待处理图像中包含待处理虚拟对象，第二待处理图像中包含第一物体。

1002、在确定第二待处理图像中包含第二物体的情况下，确定第二物体覆盖的图像区域。

本公开实施例中，第二物体是相对于“第一物体”而言的，如实施例(一)中所述，第一物体是指真实世界中存在的并且相对真实照相机处于静止状态的物体，那么第二物体是指真实世界中存在的并且相对真实照相机处于运动状态的物体，具体是指，在真实照相机处于某一固定位置时，在对图像采集的过程中，第二物体可能随时产生位移变化甚至突然从真实照相机的镜头前消失。第二物体可以是人的手部、人的脸部、行人等等。又如实施例(二)中所述，针对第二深度图像可能出现部分像素点深度值缺失而产生的误差，通过获得第一物体的三维模型并使用三维模型的深度图像来减小误差，但是，在获得第一物体的三维模型时需要建立三维网格，而三维网格只能应用于第一物体，不适用于第二物体。比如，将真实照相机位置固定，然后进行图像采集，那么真实场景中的桌子、椅子、沙发、电视等相对真实照相机是静止的，可以对其建立三维网格；但是，真实场景中人的手部、人的脸部、行人等相对真实照相机可能随时移动且运动速度过快，甚至突然从镜头前消失，不能对其建立三维网格。

因此，在第二深度图像可能出现部分像素点深度值缺失而产生误差并且又无法对第二物体建立三维网格的情况下，本公开实施例提出了新的方案来对待处理虚拟对象和第二物体进行渲染，以显示待处理虚拟对象和第二物体之间的位置关系。首先，可以通过对第二待处理图像进行物体识别处理，来确定第二待处理图像中是否包含第二物体，比如，物体识别处理具体可以为人脸识别、手势识别、行人识别等；然后，在确定第二待处理图像中包含第二物体时，可以通过图像分割处理来分割出第二待处理图像中的目标图像区域，目标图像区域具体可以为人脸区域、手势区域、行人区域等。

1003、依据第一深度图像和第二深度图像，确定第二物体覆盖的图像区域中的目标像素点；目标像素点的深度值小于待处理虚拟对象覆盖的图像区域中的待比较像素点的深度值。

目标像素点与待比较像素点一一对应，目标像素点在第二待处理图像中的位置与待比较像素点在第一待处理图像中的位置相同。

本公开实施例中，在第二待处理图像中确定第二物体覆盖的图像区域后，还需要将该区域内的像素点的深度值与第一待处理图像中待处理虚拟对象覆盖的图像区域内对应位置的像素点的深度值进行比较。其中，第二物体覆盖的图像区域内的像素点的深度值由第一深度图像确定，待处理虚拟对象覆盖的图像区域内的像素点的深度值由第二深度图像确定。然后，确定第二物体覆盖的图像区域中的目标像素点，其深度值小于待处理虚拟对象覆盖的图像区域内对应位置的待比较像素点的深度值。

1004、在目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下，对待处理虚拟对象、第一物体和第二物体进行渲染处理，以显示依据第一深度图像和第二深度图像确定的待处理虚拟对象和第一物体之间的位置关系以及显示第二物体，得到渲染图像。

本公开实施例中，目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值，第三阈值的具体数值可以根据实际应用进行选取，比如，第三阈值可以选取75％、80％、90％等等，以75％为例，当目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于75％，也就是说，第二物体覆盖的图像区域中有大量像素点的深度值比待处理虚拟对象覆盖的图像区域内对应位置的像素点的深度值小，可以近似地理解为，从整体上看，第二物体的深度信息比待处理虚拟对象的深度信息小，第二物体比待处理虚拟对象到相机的距离更近，那么在视觉效果上应该呈现“第二物体遮挡待处理虚拟对象”的位置关系，即在渲染图像中会显示整个第二物体，比如，如图11所示，图11为一种渲染图像的场景示意图，图11中呈现整个手部“遮挡”虚拟箱子的视觉效果。关于确定待处理虚拟对象和第一物体之间的位置关系的过程与实施例(一)相同，此处不再赘述。

1005、在目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于第三阈值的情况下，对待处理虚拟对象、第一物体和第二物体进行渲染处理，以显示依据第一深度图像和第二深度图像确定的待处理虚拟对象和第一物体之间的位置关系以及待处理虚拟对象和第二物体之间的位置关系，得到渲染图像。

本公开实施例中，在目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于第三阈值的情况下，也就是说，从整体上看，在不满足第二物体的深度信息比待处理虚拟对象的深度信息小的条件时，按照将第一深度图像的像素值作为第一待处理图像的深度值、将第二深度图像的像素值作为第二待处理图像的深度值的方式，通过比较第一待处理图像和第二待处理图像中的位置相同的像素点对的深度值，就可以确定第一待处理图像和第二待处理图像之间的相对深度信息，其中，相对深度信息包括了待处理虚拟对象和第一物体之间的位置关系，以及待处理虚拟对象和第二物体之间的位置关系，从而得到渲染图像，比如，如图12所示，图12为另一种渲染图像的场景示意图，图12中呈现虚拟小羊“遮挡”手部的视觉效果。

1006、在确定第二待处理图像中包含第二物体的情况下，确定与第二物体具有映射关系的虚拟对象为待处理虚拟对象。

本公开实施例中，可以对第二待处理图像进行物体识别处理，在确定第二待处理图像中包含第二物体时，可以将与第二物体具有映射关系的虚拟对象确定为待处理虚拟对象，比如，当识别出第二物体为手部且手势为“石头”时，确定为待处理虚拟对象为“虚拟小羊”，当识别手势为“剪刀”时，确定为待处理虚拟对象为“虚拟球”。也就是说，可以实现待处理虚拟对象的类别随着第二物体的类别不同而变化，并同时准确显示待处理虚拟对象和第二物体之间的位置关系。

本实施例通过识别第二待处理图像中包含的第二物体以及对第二待处理图像进行图像分割处理以确定第二物体覆盖的图像区域，并在第二物体覆盖的图像区域中的目标像素点的数量与第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下，确定渲染时显示整个第二物体，此外，识别第二待处理图像中包含的第二物体时，还可以将与第二物体具有映射关系的虚拟对象确定为待处理虚拟对象。该方案不仅可实现待处理虚拟对象的类别随着第二物体的类别不同而变化，以提升显示待处理虚拟对象和第二物体之间的位置关系时的准确性。

请参阅图13，图13是本公开实施例(六)提供的一种应用场景示意图。

以终端为例进行说明，假设该终端上安装有摄像头，当摄像头采集到第二待处理图像和第二深度图像时，由终端对该图像进行处理，具体过程为：终端对第二待处理图像进行手势识别处理，在确定第二待处理图像中不包含手部时，终端结合第二深度图像中的深度信息，对第二待处理图像进行三维重建处理；在三维重建处理过程中需要使用摄像头的位姿信息，因此，终端还需要根据第二待处理图像和第二深度图像计算该摄像头的位姿信息；终端进行三维重建处理后可获得三维模型，通过比较虚拟对象的深度信息、三维模型的深度信息以及第二深度图像中的深度信息，对虚拟对象和第二待处理图像中的物体进行渲染，获得渲染图像。在确定第二待处理图像中包含手部时，终端还可以进一步识别该手部的手势类别，根据手势类别，确定待渲染的虚拟对象的具体模型，比如，当终端识别该手部的手势为“石头”，那么终端就相应地触发将“虚拟小羊”作为待渲染的虚拟对象的指令；其次，终端还可以通过比较虚拟对象的深度信息、手部的深度信息，确定渲染时显示整个手部区域还是部分区域，对虚拟对象和手部进行渲染，获得渲染图像。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

上述详细阐述了本公开实施例的方法，下面提供了本公开实施例的装置。

请参阅图14，图14为本公开实施例提供的一种图像处理装置1的结构示意图，该装置1包括：获取单元11、渲染处理单元12、三维重建处理13以及确定单元14。其中：

获取单元11，用于获取第一待处理图像、所述第一待处理图像的第一深度图像、第二待处理图像和所述第二待处理图像的第二深度图像；所述第一待处理图像中包含待处理虚拟对象，所述第二待处理图像中包含第一物体；

渲染处理单元12，用于对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像。

在一种可能实现的方式中，所述装置还包括：三维重建处理单元13，用于对所述待处理虚拟对象和所述第一物体进行渲染处理之前，对所述第二待处理图像和所述第二深度图像进行三维重建处理，获得所述第一物体的三维模型；所述渲染处理单元12具体用于：将所述第二待处理图像中根据所述第二深度图像确定的深度值大于第一阈值的像素点作为待更新像素点；将所述三维模型的第三深度图像中的候补像素点的像素值作为所述待更新像素点的深度信息，获得所述第一物体的更新后的深度信息；所述候补像素点在所述第三深度图像中的位置与所述待更新像素点在所述第二待处理图像中的位置相同；对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第一物体的更新后的深度信息确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到所述渲染图像。

在另一种可能实现的方式中，所述三维重建处理单元13具体用于：确定所述第二待处理图像中深度值小于或等于所述第一阈值的待处理像素点，所述深度值根据所述第二深度图像确定；获取所述待处理像素点在相机坐标系下的三维坐标；将由所述相机坐标系下的三维坐标所确定的点作为三维点云数据；对所述三维点云数据进行三维建模处理，获得所述第一物体的三维模型。

在又一种可能实现的方式中，所述三维重建处理单元具体13还用于：对所述三维点云数据进行三角剖分处理，以建立所述三维点云数据之间的拓扑连接关系，获得初始三维网格；获取相机的位姿信息，所述相机用于采集所述第二待处理图像；使用所述位姿信息将所述初始三维网格转换为世界坐标系下的目标三维网格；对所述世界坐标系下的目标三维网格进行渲染处理，获得所述第一物体的三维模型。

在又一种可能实现的方式中，所述获取单元11，还用于在所述获取相机的位姿信息之前，获取参考图像，所述参考图像中包含至少两个参考特征点；所述三维重建处理单元13具体还用于：确定所述第二待处理图像中的至少两个待配准特征点；所述参考特征点与所述待配准特征点一一对应；依据所述参考特征点在所述相机坐标系下的参考三维坐标和所述待配准特征点在所述相机坐标系下的待配准三维坐标，得到旋转矩阵和平移向量，作为所述相机的位姿信息；通过所述旋转矩阵和平移向量对所述参考三维坐标进行转换得到的中间三维坐标与所述待配准三维坐标之间的重合度大于或等于第二阈值。

在又一种可能实现的方式中，所述装置还包括：确定单元14，用于在所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像之前，在确定所述第二待处理图像中包含第二物体的情况下，确定所述第二物体覆盖的图像区域；依据所述第一深度图像和所述第二深度图像，确定所述第二物体覆盖的图像区域中的目标像素点；所述目标像素点的深度值小于所述待处理虚拟对象覆盖的图像区域中的待比较像素点的深度值；所述目标像素点在所述第二待处理图像中的位置与所述待比较像素点在所述第一待处理图像中的位置相同；所述渲染处理单元12具体用于：在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下，对所述待处理虚拟对象、所述第一物体和所述第二物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及显示所述第二物体，得到所述渲染图像。

在又一种可能实现的方式中，所述渲染处理单元12具体还用于：在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值小于所述第三阈值的情况下，对所述待处理虚拟对象、所述第一物体和所述第二物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及所述待处理虚拟对象和所述第二物体之间的位置关系，得到所述渲染图像。

在又一种可能实现的方式中，所述确定单元14，还用于所述在确定所述第二待处理图像中包含第二物体的情况下，确定与所述第二物体具有映射关系的虚拟对象为所述待处理虚拟对象。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

图15为本公开实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21，还可以包括输入装置22、输出装置23和存储器24。该输入装置22、输出装置23、存储器24和处理器21之间通过总线相互连接。

处理器21可以是一个或多个图形处理器(graphics processing unit，GPU)，在处理器21是一个GPU的情况下，该GPU可以是单核GPU，也可以是多核GPU。示例性的，处理器21可以是多个GPU构成的处理器组，多个处理器之间通过一个或多个总线彼此耦合。示例性的，该处理器还可以为其他类型的处理器等等，本公开实施例不作限定。应当理解，本公开的各个实施例中，耦合是指通过特定方式的相互联系，包括直接相连或者通过其他设备间接相连，例如可以通过各类接口、传输线、总线等相连。

输入装置22用于输入数据和/或信号，以及输出装置23用于输出数据和/或信号。输出装置22和输入装置23可以是独立的器件，也可以是一个整体的器件。

存储器24可用于存储计算机程序指令，以及用于执行本公开方案的程序代码在内的各类计算机程序代码。可选地，存储器包括但不限于是随机存储记忆体(random accessmemory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器用于相关指令及数据。

可理解，本公开实施例中，存储器24不仅可用于存储相关指令，还可用于存储相关图像以及视频，如该存储器可用于存储通过输入装置22获取的第一待处理图像、第一深度图像、第二待处理图像以及第二深度图像，又或者该存储器24还可用于存储通过处理器21而生成的渲染图像等等，本公开实施例对于该存储器中具体所存储的数据不作限定。

可以理解的是，图15仅仅示出了图像处理装置的简化设计。在实际应用中，图像处理装置还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出装置、处理器、控制器、存储器等，而所有可以实现本公开实施例的图像处理装置都在本公开的保护范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。所属领域的技术人员还可以清楚地了解到，本公开各个实施例描述各有侧重，为描述的方便和简洁，相同或类似的部分在不同实施例中可能没有赘述，因此，在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。

在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字通用光盘(digital versatiledisc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：只读存储器(read-only memory，ROM)或随机存储存储器(random access memory，RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一待处理图像、所述第一待处理图像的第一深度图像、第二待处理图像和所述第二待处理图像的第二深度图像；所述第一待处理图像中包含待处理虚拟对象，所述第二待处理图像中包含第一物体；

对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像。

2.根据权利要求1所述的方法，其特征在于，所述对所述待处理虚拟对象和所述第一物体进行渲染处理之前，所述方法还包括：

对所述第二待处理图像和所述第二深度图像进行三维重建处理，获得所述第一物体的三维模型；

所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像，包括：

将所述第二待处理图像中根据所述第二深度图像确定的深度值大于第一阈值的像素点作为待更新像素点；

将所述三维模型的第三深度图像中的候补像素点的像素值作为所述待更新像素点的深度信息，获得所述第一物体的更新后的深度信息；所述候补像素点在所述第三深度图像中的位置与所述待更新像素点在所述第二待处理图像中的位置相同；

对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第一物体的更新后的深度信息确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到所述渲染图像。

3.根据权利要求2所述的方法，其特征在于，所述对所述第二待处理图像和所述第二深度图像进行三维重建处理，获得所述第一物体的三维模型，包括：

确定所述第二待处理图像中深度值小于或等于所述第一阈值的待处理像素点，所述深度值根据所述第二深度图像确定；

获取所述待处理像素点在相机坐标系下的三维坐标；

将由所述相机坐标系下的三维坐标所确定的点作为三维点云数据；

对所述三维点云数据进行三维建模处理，获得所述第一物体的三维模型。

4.根据权利要求3所述的方法，其特征在于，所述对所述三维点云数据进行三维建模处理，获得所述第一物体的三维模型，包括：

对所述三维点云数据进行三角剖分处理，以建立所述三维点云数据之间的拓扑连接关系，获得初始三维网格；

获取相机的位姿信息，所述相机用于采集所述第二待处理图像；

使用所述位姿信息将所述初始三维网格转换为世界坐标系下的目标三维网格；

对所述世界坐标系下的目标三维网格进行渲染处理，获得所述第一物体的三维模型。

5.根据权利要求4所述的方法，其特征在于，所述获取相机的位姿信息之前，所述方法还包括获取参考图像，所述参考图像中包含至少两个参考特征点；

所述获取所述相机的位姿信息，包括：

确定所述第二待处理图像中的至少两个待配准特征点；所述参考特征点与所述待配准特征点一一对应；

依据所述参考特征点在所述相机坐标系下的参考三维坐标和所述待配准特征点在所述相机坐标系下的待配准三维坐标，得到旋转矩阵和平移向量，作为所述相机的位姿信息；通过所述旋转矩阵和平移向量对所述参考三维坐标进行转换得到的中间三维坐标与所述待配准三维坐标之间的重合度大于或等于第二阈值。

6.根据权利要求1所述的方法，其特征在于，所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像之前，所述方法还包括：

在确定所述第二待处理图像中包含第二物体的情况下，确定所述第二物体覆盖的图像区域；

依据所述第一深度图像和所述第二深度图像，确定所述第二物体覆盖的图像区域中的目标像素点；所述目标像素点的深度值小于所述待处理虚拟对象覆盖的图像区域中的待比较像素点的深度值；所述目标像素点在所述第二待处理图像中的位置与所述待比较像素点在所述第一待处理图像中的位置相同；

所述对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像，包括：

在所述目标像素点的数量与所述第二物体覆盖的图像区域中的全部像素点的数量之间的比值大于或等于第三阈值的情况下，对所述待处理虚拟对象、所述第一物体和所述第二物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系以及显示所述第二物体，得到所述渲染图像。

7.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取第一待处理图像、所述第一待处理图像的第一深度图像、第二待处理图像和所述第二待处理图像的第二深度图像；所述第一待处理图像中包含待处理虚拟对象，所述第二待处理图像中包含第一物体；

渲染处理单元，用于对所述待处理虚拟对象和所述第一物体进行渲染处理，以显示依据所述第一深度图像和所述第二深度图像确定的所述待处理虚拟对象和所述第一物体之间的位置关系，得到渲染图像。

8.一种处理器，其特征在于，所述处理器用于执行权利要求1至6任一项所述的方法。

9.一种电子设备，其特征在于，包括：处理器、输入装置、输出装置和存储器，所述处理器、输入装置、输出装置和存储器相互连接，所述存储器中存储有程序指令；所述程序指令被所述处理器执行时，使所述处理器执行权利要求1至6任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被电子设备的处理器执行时，使所述处理器执行权利要求1至6任一项所述的方法。

Images