CN113301320B - 图像信息处理方法、装置和电子设备 - Google Patents

Abstract

本申请公开了一种图像信息处理方法、装置和电子设备，属于通信技术领域。该方法包括：电子设备获取第一图像和第二图像；电子设备根据第一图像和第二图像，获取与第一图像对应的第一深度图；电子设备获取第二深度图；电子设备将第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为第二深度图中目标深度点对应的深度信息，以得到第三深度图；电子设备根据第三深度图，确定目标图像中的虚化范围；电子设备对目标图像中虚化范围内的图像进行虚化处理，得到虚化后的图像。

Description

图像信息处理方法、装置和电子设备

技术领域

本申请属于通信技术领域，具体涉及一种图像信息处理方法、装置和电子设备。

背景技术

随着电子技术的发展，电子设备(例如，手机)的拍摄方式也越来越丰富，其中，虚化拍摄(即拍摄的图像可以突出主体对象，背景虚化的拍摄方式)已经是一种常用的拍摄方式。

在相关技术中，电子设备可以通过双摄技术完成虚化拍摄，即利用电子设备的两个镜头，同时对某一场景进行拍摄，在拍摄结束后，根据两个镜头的拍摄角度以及两张照片上相同特征的位置差异，电子设备可以获取照片中不同特征对应的深度信息，进而根据深度信息确定虚化的范围，从而对拍摄的照片进行虚化处理。

然而，当所拍摄的场景中存在暗光、遮挡等其他问题时，由于难以区分所拍摄照片中的不同特征，因此，可能无法准确地获取这些特征的深度信息，从而使得上述双摄技术可能无法准确的确定虚化的范围，进而导致照片的虚化效果较差。

发明内容

本申请实施例的目的是提供一种图像信息处理方法、装置和电子设备，能够解决当所拍摄的场景中存在暗光、遮挡等其他问题时，由于难以区分所拍摄照片中的不同特征，因此，可能无法准确地获取这些特征的深度信息，从而使得上述双摄技术可能无法准确的确定虚化的范围，进而导致照片的虚化效果较差的问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种图像信息处理方法，该方法包括：电子设备获取第一图像和第二图像，上述第一图像和上述第二图像为电子设备的不同摄像头采集的同一拍摄对象的图像；电子设备根据上述第一图像和上述第二图像，获取与上述第一图像对应的第一深度图；电子设备获取第二深度图，上述第二深度图包括上述电子设备的多点激光器采集的深度信息，上述第一深度图和上述第二深度图为同一对象的深度信息，上述第二深度图包括N个深度点；电子设备将上述第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，以得到第三深度图，上述目标深度区域与上述目标深度点相匹配；电子设备根据上述第三深度图，确定目标图像中的虚化范围，其中，上述目标图像为以下任一项：上述第一图像，上述第二图像和根据上述第一图像与上述第二图像得到的第三图像；电子设备对上述目标图像中上述虚化范围内的图像进行虚化处理，得到虚化后的图像。

第二方面，本申请实施例提供了一种图像信息处理装置，上述装置包括获取模块、更新模块和确定模块：上述获取模块，获取第一图像和第二图像，上述第一图像和上述第二图像为电子设备的不同摄像头采集的同一拍摄对象的图像；上述获取模块，还用于根据上述第一图像和上述第二图像，获取与上述第一图像对应的深度信息图；上述获取模块，还用于获取第二深度图，上述第二深度图包括上述电子设备的多点激光器采集的深度信息，上述第一深度图和上述第二深度图为同一对象的深度信息，上述第二深度图包括N个深度点；上述更新模块，用于将上述获取模块获取的第一深度图中的目标深度区域中的每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，以得到第三图像，上述目标深度区域与上述目标深度点相匹配；上述确定模块，用于根据上述第三深度图，确定上述目标图像中的虚化范围，其中，上述目标图像为以下任一项：上述第一图像，上述第二图像和根据上述第一图像与上述第二图像得到的第三图像；上述处理模块，还用于对上述目标图像中上述虚化范围内的图像进行虚化处理，得到虚化后的图像。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，电子设备在获取由电子设备的不同摄像头采集的同一拍摄对象的第一图像和第二图像后，电子设备将根据上述第一图像和第二图像，获取与上述第一图像对应的第一深度图，电子设备还获取第二深度图(上述第二深度图包括多点激光器采集的深度信息，并且第一深度图和第二深度图为同一对象的深度信息)，然后，电子设备可以将第一深度图中目标深度区域中每个像素点对应的深度信息均更新为所述第二深度图中目标深度点对应的深度信息，以得到第三深度图，最后根据第三深度图确定第一图像、第二图像或者第三图像中的虚化范围。如此，通过低成本的多点激光器，可以矫正、改善所拍摄图像中的深度信息，进而更加准确地获知电子设备所拍摄图像中各个特征的深度信息，从而能够在节约成本的情况下精准地获取图像的深度信息，确定准确地虚化范围，最终得到效果更好更精准地虚化图像。

附图说明

图1是本申请实施例提供的一种图像信息处理方法的流程示意图；

图2为本申请实施例提供的一种图像信息处理方法的示意图；

图3为本申请实施例提供的一种图像信息处理装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图之一；

图5为本申请实施例提供的一种电子设备的结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像信息处理方法进行详细地说明。

本申请实施例提供的图像信息处理方法可以应用于虚化拍摄场景。

针对虚化拍摄场景，电子设备在通过两个不同角度的摄像头拍摄同一场景后，根据两个摄像头的两张图像(分别为图像A和图像B)的视差值获取其中一张图像(即图像A)中每个特征的深度信息，然后根据图像A的深度信息确定虚化范围，然后对图像A进行虚化，得到一张具有虚化效果的图像。在这一过程中，电子设备主要通过识别图像的边缘线参数等计算确定图像中不同物体之间的距离关系。然而，当电子设备拍摄的场景出现稀疏纹理(例如，大面积白墙或者相同颜色的物体)、重复纹理(例如，格子衬衫上的格子)，暗光、遮挡时，图像识别的过程容易出现错误，导致计算的深度信息不准确，进而导致虚化的范围确定失误，最终呈现的虚化图像中就会出现漏虚化或者误虚化的效果。

本申请实施例中，电子设备在获取图像A和图像B后，通过双摄视差技术，获取图像A的深度信息图1，之后，将通过多点激光器也对上述同一场景进行信息采集，得到深度信息图2，然后，根据深度信息图1中目标深度区域中每个像素点对应的深度信息均更新为深度信息图2中目标深度点对应的深度信息，得到深度信息图3，之后，根据深度信息图3，确定图像A的虚化范围，最终对虚化范围内的图像进行虚化处理，得到虚化后的图像。如此，通过低成本的多点激光器，可以矫正、改善所拍摄图像中的深度信息，进而更加准确地获知电子设备所拍摄图像中各个特征的深度信息，从而能够在节约成本的情况下精准地获取图像的深度信息，确定准确地虚化范围，最终得到效果更好更精准地虚化图像。

本实施例提供一种图像信息处理方法，如图1所示，该图像信息处理方法包括以下步骤301至步骤306：

步骤301：图像信息处理装置获取第一图像和第二图像。

在本申请实施例中，上述第一图像和上述第二图像为电子设备的不同摄像头采集的同一拍摄对象的图像。

在本申请实施例中，电子设备中包含至少两个摄像头，上述第一图像为电子设备上任意一个摄像头拍摄的图像。一般的，第一图像为电子设备中的主摄像头拍摄的主图。

示例性的，电子设备可以通过接收拍摄输入，从而获取上述第一图像和第二图像。

需要说明的是，上述第一图像和第二图像可以为同一时间拍摄的图像，也可以为不同时间拍摄的图像，本申请实施例对此不作限定。

示例性的，上述拍摄对象可以为任意对象，拍摄对象中的物体个数或者人物个数可以为一个，也可以为多个，本申请实施例对此不作限定。

步骤302：图像信息处理装置根据上述第一图像和上述第二图像，获取与上述第一图像对应的第一深度图。

示例性的，电子设备可以通过立体成像原理处理第一图像和第二图像，从而获取第一图像的深度信息，进而得到第一图像的第一深度图。

在一种示例中，由于第一图像和第二图像的拍摄角度并不相同，因此电子设备首先需要在第一图像和第二图像上找到匹配物点的对应位置关系(即相同物体或者人物)，然后，根据第一图像和第二图像上相同物点的视差值，计算出第一图像的深度信息，也即，获取了第一图像对应的第一深度图。

在本申请实施例中，上述第一图像的深度信息，即第一深度图可以为第一图像中所有像素窗口对应的深度信息。例如，电子设备可以将第一图像划分为9╳9的像素窗口，每个像素窗口均具有相应的深度信息。

需要说明的是：

第一：为了降低第一图像和第二图像匹配物点时的计算量，电子设备需要先将第一图像和第二图像的成像平面调整为同一平面。也即，如图2中的(a)所示，第一图像31，第二图像为32，第一图像31的X-Y-Z坐标轴均未对齐，则如图2中的(b)所示，电子设备需要先将第一图像31的X-Y-Z坐标轴和第二图像32的X-Y-Z坐标轴对齐，从而，减少第一图像31和第二图像32匹配物点的计算量。

第二：电子设备在找到第一图像和第二图像之间的对应位置关系之后，可以计算第一图像和第二图像之间各个匹配的物点的视差值，进而计算出各个物点所在像素点为中心的像素窗口的深度值。例如，在第一图像上的像素点A为中心的像素窗口1和第二图像上的像素点B为中心的像素窗口2匹配的情况下，可以将像素窗口1中的像素点与像素窗口2中的像素点之间视差值的绝对值的和，获取像素窗口1和像素窗口2之间的视差值。

第三：电子设备在计算第一图像和第二图像中相匹配的像素窗口之间的视差值的置信度低于预设阈值时，将舍弃该视差值。

如此，电子设备可以通过获取第一图像和第二图像之间的深度值，进而获取第一图像的深度信息，从而先行根据拍摄的图像获取预估的深度信息，以便于后续与多点激光器获取图像的深度值进行比较，最终获取第一图像中最准确的深度信息。

步骤303：图像信息处理装置获取第二深度图。

在本申请实施例中，上述第二深度图包括上述电子设备的多点激光器采集的深度信息，上述第一深度图和上述第二深度图包括同一对象的深度信息，上述第二深度图包括N个深度点。

步骤304：图像信息处理装置将上述第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，以得到第三深度图。

在本申请实施例中，上述目标深度区域与上述目标深度点相匹配。

在本申请实施例中，电子设备可以对比第一深度图和第二深度图中各自的深度信息，根据第二深度图中的深度信息与第一深度图中的深度信息之间的区别，对第一深度图中的深度信息进行调整。

可以理解的，通过第一深度图与第二深度图进行的深度信息的对比，对第一深度图中由于遮挡、暗光、稀疏问题或者稠密纹理造成的不够准确的深度信息进行了矫正和改善。

在本申请实施例中，第一深度图和第二深度图中可以包含若干个深度区域，上述深度区域可以为电子设备根据多点激光器的各个激光点为中心位置的图像窗口。例如，多点激光器包含81个激光点，其分布形式为9╳9，则第二深度图可以包含9╳9个区域的深度信息，即包含81个区域的深度信息，并根据上述81个深度信息，将第二深度图划分为以81个激光点为中心的81个图像窗口，相对应的，电子设备可以根据第二深度图的激光点分布情况，将第一深度图对应的划分为与第二深度图对应的81个像素窗口，以便于后续电子设备将第一深度图的深度信息和第二深度图的深度信息融合处理(例如，电子设备采纳第二深度图的深度信息更新第一深度图的深度信息)。

进一步的，上述每个像素点对应的深度信息可以包括该像素点对应的深度区域的深度值及与深度值对应的相关参数。

在本申请实施例中，上述目标深度区域可以为上述若干个深度区域中的全部深度区域或者部分深度区域。

示例性的，电子设备可以根据第一深度图的深度信息和第二深度图的深度信息的差异，矫正部分或者全部第一深度图的深度信息，具体的，可以使用第二深度图的深度信息替换部分或第一深度图的深度信息。

需要说明的是，在本申请实施例中，在电子设备根据第一深度图的深度信息和第二深度图的深度信息，处理上述第一深度图的深度信息后，所得到的第三深度图，该第三深度图的为稀疏深度图。可以理解的，由于电子设备使用多点激光器获取了第二深度图的深度信息，第二图深度图的深度信息相较于相关技术中稠密激光器获取的图像的深度信息，相对稀疏，可以称之为稀疏深度图，因此，电子设备在使用第一深度图的深度信息和第二深度图的深度信息处理第一深度图的深度信息后，所得出的第三深度图的深度信息也相应的为稀疏深度图。

如此，电子设备可以使用第二深度图的深度信息矫正第一深度图的深度信息中不准确的部分，从而在后续虚化处理图像的过程中，获取更加准确地图像信息。

步骤305：图像信息处理装置根据上述第三深度图，确定上述目标图像中的虚化范围。

在本申请实施例中，上述目标图像为以下任一项：上述第一图像，上述第二图像和根据上述第一图像与上述第二图像得到的第三图像。

在本申请实施例中，电子设备可以在获取第三深度图后，根据的第三深度图的焦点位置，获取焦点位置的深度值，然后根据焦点位置的深度值，得到第三深度图中清晰部分的深度范围，然后，电子设备可以结合该第三深度图中清晰部分部分的深度范围，通过确定虚化半径进而确定上述虚化范围。

示例性的，电子设备在获取焦点位置的深度值的情况下，可以通过查询电子设备中预设的焦点深度值表，获取上述第三深度图中清晰部分的深度范围可以通过数值范围标识，例如，清晰部分的最小深度为near，最远深度为far，则深度范围为【near，far】。

示例性的，上述虚化半径是虚化或模糊图像的圆的半径，虚化半径越小，模糊程度越轻，虚化半径越大，模糊程度越重。

例如，在目标图像为第一图像的情况下，虚化半径可以由第一图像中的任意像素点的深度(即d)与清晰部分的深度范围的关系(例如，d是否在【near，far】的范围内以及d和near或者d和far之间的距离差)、光圈大小，以及与第一图像和对应的场景的前景与背景的虚化距离决定。其中，第一深度图中的最小深度值mindist，第一深度图中最远或最大深度值是maxdist，第一图像的背景虚化值时background_length，则background_length＝near–mindist，前景虚化距离foreground_length＝maxdist-far，选择的光圈(例如F2.0)对应的最大虚化半径可以用max_bokeh_r表示。

前景虚化半径＝(near-d)*max_bokeh_r/background_length 公式1

背景虚化半径＝(d-far)*max_bokeh_r/foreground_length 公式2

步骤306：图像信息处理装置对上述目标图像中上述虚化范围内的图像进行虚化处理，得到虚化后的图像。

示例性的，在确定上述虚化范围后，将对虚化范围内的图像像素进行模糊处理，一般的虚化范围越小，模糊程度越轻，虚化范围越大，模糊程度越重。

在一种示例中，虚化半径越小，模糊程度越轻，虚化半径越大，模糊程度越重。一般的，电子设备通常使用圆形滤波器设置虚化半径从而进行模糊。

本申请实施例提供的图像信息处理方法，图像信息处理装置获取由电子设备的不同摄像头采集的同一拍摄对象的第一图像和第二图像后，图像信息处理装置将根据上述第一图像和第二图像，获取与上述第一图像对应的第一深度图，图像信息处理装置还获取第二深度图(上述第二深度图包括多点激光器采集的深度信息，并且第一深度图和第二深度图为同一对象的深度信息)，然后，图像信息处理装置可以将第一深度图中目标深度区域中每个像素点对应的深度信息均更新为所述第二深度图中目标深度点对应的深度信息，以得到第三深度图，最后根据第三深度图确定第一图像、第二图像或者第三图像中的虚化范围。如此，通过低成本的多点激光器，可以矫正、改善所拍摄图像中的深度信息，进而更加准确地获知电子设备所拍摄图像中各个特征的深度信息，从而能够在节约成本的情况下精准地获取图像的深度信息，确定准确地虚化范围，最终得到效果更好更精准地虚化图像。

可选的，在本申请实施例中，上述步骤304中的将上述第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，本申请实施例提供的图像信息处理方法还可以包括如下步骤A1和步骤A2：

步骤A1：图像信息处理装置在目标深度区域中的深度信息的个数超出预设范围时，更新上述目标深度区域中每个像素点对应的深度信息。

步骤A2：图像信息处理装置在目标深度区域中的深度信息的个数在上述预设范围内时，保持上述目标深度区域中每个像素点对应的深度信息。

示例性的，在电子设备统计第一深度图中目标深度区域的深度信息时，若目标深度区域对应的深度信息的个数大于预设个数范围内，例如，目标深度区域对应的深度信息的个数少于5个或者多于15个，则可以判断该目标深度区域有可能为稀疏纹理或者暗光区域(即目标深度区域的对应的深度信息过少)，或者重复纹理(即目标深度区域的对应的深度值过多)。在这种情况下，将该目标深度区域可以进行深度信息缺失的标记，也即不采纳该目标深度区域中原本的深度信息，然后将第二深度图中与目标深度区域相对应的区域的深度信息信息对应的补充为该缺失的深度信息。

示例性的，上述预设范围可以为电子设备预设的范围数值，也可以为用户自定义的范围数值，本申请实施例对此不作限定。

如此，图像信息处理装置可以通过对比每个区域中的深度信息个数是否在预设范围内，判断出每个区域中的深度信息个数是否有异常，进而对深度信息个数不在预设范围内的目标深度区域中的深度信息进行更新，而其他区域的深度信息进行保持不更换，进而电子设备可以在矫正深度信息的同时，还能够节约矫正深度信息消耗的资源。

可选的，在本申请实施例中，上述步骤304中的将上述第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，本申请实施例提供的图像信息处理方法还可以包括如下步骤B1和步骤B5：

步骤B1：图像信息处理装置将上述第一深度图划分为N个深度区域。

步骤B2：图像信息处理装置计算上述N个深度区域中每个深度区域的深度均值。

步骤B3：图像信息处理装置确定上述N个深度区域中与上述第二深度图相匹配的至少两个匹配区域。

步骤B4：图像信息处理装置根据上述匹配区域中每个深度区域的深度均值与上述第二深度图中的对应深度点的深度值的比值，确定深度拉升比例。

步骤B5：图像信息处理装置按照上述深度拉升比例调整上述每个深度区域的深度值。

示例性的，上述深度区域可以参照前述描述，此处不再赘述。

示例性的，电子设备可以先行统计第一深度图的深度区域对应深度值的均值和方差，以及第二深度图中，与第一深度图的每个深度区域对应的每个深度区域对应深度值的均值和方差，然后，根据第一深度图的每个深度区域的深度值和第二深度图的每个深度区域的深度值，计算第一深度图的每个深度区域的深度值和第一深度图的每个深度区域的深度值之间的比例关系(例如，第二深度图的每个深度区域的深度值/第一深度图的每个深度区域的深度值)，最后对第一深度图的深度值对应的所有像素点的深度信息与该比例关系相乘，也即对第一深度图的深度值对应的所有像素点的深度信息均进行比例拉升或者降低。

如此，电子设备通过设置第一深度图的深度信息目标参数的预设范围，可以准确且方便、快速地判定第一深度图的深度信息的准确度和采纳概率，进而快速且准确地使用第二深度图的深度信息修正第一图的深度深度信息，使得电子设备能够在后续更加准确地确定出图像的虚化范围，进而对图像完成虚化处理，呈现出符合用户需求的虚化图像。

可选的，在本申请实施例中，在上述步骤B3中，本申请实施例提供的图像信息处理方法还可以包括如下步骤C1和步骤C2：

步骤C1：图像信息处理装置针对每个深度区域，在上述深度区域中的深度信息方差大于预设阈值的情况下，确定上述深度区域与上述深度点不匹配。

步骤C2：图像信息处理装置在上述深度区域中的深度信息方差小于或者等于预设阈值的情况下，确定上述深度区域与上述深度点相匹配。

示例性的，上述预设阈值电子设备预设的，也可以为用户自定义设置的。一般的，上述预设阈值可以为电子设备中预存的图像中任意特征区域的方差。

示例性的，电子设备在统计第一深度图的每个深度区域的深度值时，在第一深度图中的任一深度区域的深度值的方差大于预定阈值的情况下，则可以认为该深度区域的深度过大，则不再使用第二深度图中与该深度区域对应深度区域的深度值来调整该第一深度图中该深度区域的深度值。相反的，在第一深度图中的任一深度区域的深度值的方差小于或者等于预定阈值的情况下，则可以认为该深度区域的深度较为平稳，能够使用第二深度图中与该深度区域对应深度区域的深度值来调整该第一深度图中该深度区域的深度值。

可以理解的是，在调整第一深度图的深度值的过程中，电子设备会调整深度较为平稳的特征区域。

可选的，在本申请实施例中，在上述步骤305中的得到第三图像中，本申请实施例提供的图像信息处理方法可以包括如下步骤D1和步骤D2：

步骤D1：图像信息处理装置采用稠密算法，处理上述第三深度图，得到第四深度图。

步骤D2：图像信息处理装置根据上述第四深度图的深度信息，确定上述目标图像中的虚化范围。

可以理解的是，由于第三深度图为稀疏深度图，而稀疏深度图中的深度信息不够丰富，为了完善深度信息，需要通过稠密算法将上述稀疏深度图转换为稠密深度图。

示例性的，上述稠密算法可以为深度滤波方法，例如，导向保边滤波算法。

示例性的，上述稠密算法可以为电子设备中预设的，可以为用户根据自身需求自定义设置的，本申请实施例对此不作限定。

在一种示例中，电子设备需要对第三深度图的深度信息和RGB信息结合进行深度滤波。例如，当第三深度图为人物图像，可以将人像的分割边界，作为稠密生长的约束，即提前为电子设备设置人像区域所在的分割边界，进而更加准确地对第三深度图使用稠密算法，获取第四深度图。

如此，通过对电子设备获取的第三深度图进行稠密处理，获取第四深度图，从而在后续进行虚化处理时，可以更加准确的完成虚化处理，并且可以丰富图像的细节内容，使得用户获取效果更好的虚化图像。

可选的，在本申请实施例中，在上述步骤304之前，本申请实施例提供的图像信息处理方法可以包括如下步骤E：

步骤E：图像信息处理装置将上述第一深度图中的每个深度区域与上述第二深度图像的对应深度区域进行配准。

示例性的，第一深度图为RGB图像的深度图，图像信息处理装置将上述第一深度图中的每个深度区域与上述第二图像中的对应深度区域进行配准，实质上为将深度3D点阵配准至RGB图像的过程。

示例性的，第一深度图中的每个深度区域与上述第二深度图中的对应深度区域进行配准后，可以采用标定好的旋转参数和平移参数，对深度3D点阵先进行平移，然后进行旋转。

可以理解的是，上述平移是为了消除深度3D点阵与RGB图像之间的视差，平移可以使得深度3D点阵的坐标系可以平移至RGB图像在X-Y-Z坐标系上。上述旋转是为了改变深度3D点阵的像素焦距，使得深度3D点阵的像素焦距与RGB图像相匹配，对深度3D点阵进行畸变处理，一般的，电子设备会将深度3D点阵中每个深度区域的中心点与RGB图像中每个深度区域的中心点进行配准，从而完成上述对深度3D点阵进行畸变处理。

需要说明的是，上述旋转参数和平移参数为电子设备中预存的参数，一般的，电子设备在出厂时，可以根据多点激光器和第一图像对应的RGB像机之间的距离，提前在电子设备中预存旋转参数和平移参数。

在一种示例中，上述平移过程为电子设备对深度3D点阵中的Y和Z方向进行平移。一般的，X方向为多点激光器和获取第一图像的RGB相机间距最大的方向，电子设备可以将X方向作为基准线，通过双摄三角原理，可以获取到多点激光器平移至RGB像机位置的视差偏移，进而将多点激光器对应的坐标系。

在一种示例中，电子设备可以通过重投影，可以将多点激光的深度3D点阵的点投影到RGB图像，具体的，可以将深度3D点阵每个深度区域的中心点就配准到RGB图像中对应深度区域的中心点上，之后，电子设备可以依据RGB图像与深度3D点阵的配准情况对深度3D点阵进行畸变处理。

需要说明的是，由于多点激光器的一个激光点对应一个RGB图像窗口的像素点，因此，在上述配准深度3D点阵的过程中，电子设备需要计算与深度3D点阵的中心点对应的像素窗口的大小，从而精确地完成配准。

如此，电子设备可以通过对第二深度图进行平移和旋转，从而完成第一深度图和第二深度图之间的配准，从而在后续更加精准的完成图像虚化处理。

本实施例中各种实现方式具有的有益效果具体可以参见上述方法实施例中相应实现方式所具有的有益效果，为避免重复，此处不再赘述。

需要说明的是，本申请实施例提供的图像信息处理方法，执行主体可以为图像信息处理装置，或者该图像信息处理装置中的用于执行图像信息处理方法的控制模块。本申请实施例中以图像信息处理装置执行图像信息处理方法为例，说明本申请实施例提供的图像信息处理装置。

图3为实现本申请实施例提供的图像信息处理装置的可能的结构示意图。如图3所示，上述装置包括获取模块601、更新模块602、确定模块603和处理模块604：上述获取模块601，获取第一图像和第二图像，上述第一图像和上述第二图像为电子设备的不同摄像头采集的同一拍摄对象的图像；上述获取模块601，还用于根据上述第一图像和上述第二图像，获取与上述第一图像对应的深度信息图；上述获取模块601，还用于获取第二深度图，上述第二深度图包括上述电子设备的多点激光器采集的深度信息，上述第一深度图和上述第二深度图为同一对象的深度信息，上述第二深度图包括N个深度点；上述更新模块602，用于将上述获取模块601获取的第一深度图中的目标深度区域中的每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，以得到第三图像，上述目标深度区域与上述目标深度点相匹配；上述确定模块603，用于根据上述第三深度图，确定上述目标图像中的虚化范围，其中，上述目标图像为以下任一项：上述第一图像，上述第二图像和根据上述第一图像与上述第二图像得到的第三图像；上述处理模块604，还用于对上述确定模块603确定的上述目标图像中上述虚化范围内的图像进行虚化处理，得到虚化后的图像。

在本申请实施例提供的图像信息处理装置，图像信息处理装置在获取由电子设备的不同摄像头采集的同一拍摄对象的第一图像和第二图像后，图像信息处理装置将根据上述第一图像和第二图像，获取与上述第一图像对应的第一深度图，图像信息处理装置还获取第二深度图(上述第二深度图包括多点激光器采集的深度信息，并且第一深度图和第二深度图为同一对象的深度信息)，然后，图像信息处理装置可以将第一深度图中目标深度区域中每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，以得到第三深度图，最后根据第三深度图确定第一图像、第二图像或者第三图像中的虚化范围。如此，通过低成本的多点激光器，可以矫正、改善所拍摄图像中的深度信息，进而更加准确地获知电子设备所拍摄图像中各个特征的深度信息，从而能够在节约成本的情况下精准地获取图像的深度信息，确定准确地虚化范围，最终得到效果更好更精准地虚化图像。

可选的，在本申请实施例中，上述更新模块602，具体用于在目标深度区域中的深度信息的个数少于预设个数时，更新上述目标深度区域中每个像素点对应的深度信息；上述更新模块602，具体还用于在目标深度区域中的深度信息的个数大于等于预设个数时，保持上述目标深度区域中每个像素点对应的深度信息。

可选的，在本申请实施例中，上述装置600还包括划分模块605、计算模块606和调整模块607；上述划分模块605，用于将上述第一深度图划分为N个深度区域；上述计算模块606，用于计算上述划分模块605划分的上述N个深度区域中每个深度区域的深度均值；上述确定模块603，具体用于确定上述划分模块605划分的上述N个深度区域中与上述第二深度图相匹配的至少两个匹配区域；上述确定模块603，具体用于根据上述匹配区域中每个深度区域的深度均值与上述第二深度图中的对应深度点的深度值的比值，确定深度拉升比例；上述调整模块607，用于按照上述确定模块603确定的上述深度拉升比例调整上述每个深度区域的深度值。

可选的，在本申请实施例中，上述确定模块603，具体用于针对每个深度区域，在上述深度区域中的深度信息方差大于预设阈值的情况下，确定上述深度区域与上述深度点不匹配；上述确定模块603，具体用于在上述深度区域中的深度信息方差小于或者等于预设阈值的情况下，确定上述深度区域与上述深度点相匹配。

可选的，在本申请实施例中，上述处理模块604，还用于采用稠密算法，处理上述第三深度图，得到第四深度图；上述确定模块603，具体用于根据上述处理模块604处理的上述第四深度图的深度信息，确定上述目标图像中的虚化范围。

本申请实施例中的图像信息处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像信息处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像信息处理装置能够实现图1至图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。

需要说明的是，如图3所示，图像信息处理装置600中一定包括的模块用实线框示意，如获取模块601；图像信息处理装置600中可以包括也可以不包括的模块用虚线框示意，如划分模块605。

可选的，如图4所示，本申请实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述图像信息处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图5为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备100包括但不限于：射频单元101、网络模块102、音频输出单元103、输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、以及处理器110等部件。其中，用户输入单元107包括：触控面板1071和其他输入设备1072，显示单元106包含显示面板1061，输入单元104包括图像处理器1041和麦克风1042，存储器109可用于存储软件程序(如，操作***、至少一个功能所需的应用程序)以及各种数据。

本领域技术人员可以理解，电子设备100还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器110逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器110，获取第一图像和第二图像，上述第一图像和上述第二图像为电子设备的不同摄像头采集的同一拍摄对象的图像；处理器110，还用于根据上述第一图像和上述第二图像，获取与上述第一图像对应的第一深度图；处理器110，还用于获取第二深度图，上述第二深度图包括上述电子设备的多点激光器采集的深度信息，上述第一深度图和上述第二深度图包括同一对象的深度信息，上述第二深度图包括N个深度点；处理器110，还用于将上述第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，以得到第三深度图，上述目标深度区域与上述目标深度点相匹配；处理器110，还用于根据上述第三深度图，确定目标图像中的虚化范围，其中，上述目标图像为以下任一项：上述第一图像，上述第二图像和根据上述第一图像与上述第二图像得到的第三图像；处理器110，还用于对上述目标图像中上述虚化范围内的图像进行虚化处理，得到虚化后的图像。

在本申请实施例提供的电子设备，电子设备在获取由电子设备的不同摄像头采集的同一拍摄对象的第一图像和第二图像后，电子设备将根据上述第一图像和第二图像，获取与上述第一图像对应的第一深度图，电子设备还获取第二深度图(上述第二深度图包括多点激光器采集的深度信息，并且第一深度图和第二深度图为同一对象的深度信息)，然后，电子设备可以将第一深度图中目标深度区域中每个像素点对应的深度信息均更新为上述第二深度图中目标深度点对应的深度信息，以得到第三深度图，最后根据第三深度图确定第一图像、第二图像或者第三图像中的虚化范围。如此，通过低成本的多点激光器，可以矫正、改善所拍摄图像中的深度信息，进而更加准确地获知电子设备所拍摄图像中各个特征的深度信息，从而能够在节约成本的情况下精准地获取图像的深度信息，确定准确地虚化范围，最终得到效果更好更精准地虚化图像。

可选的，处理器110，具体用于在目标深度区域中的深度信息的个数超出预设范围时，更新上述目标深度区域中每个像素点对应的深度信息；处理器110，具体用于在目标深度区域中的深度信息的个数在上述预设范围内时，保持上述目标深度区域中每个像素点对应的深度信息。

可选的，处理器110，具体用于将上述第一深度图划分为N个深度区域；处理器110，具体用于计算上述N个深度区域中每个深度区域的深度均值；处理器110，具体用于确定上述N个深度区域中与上述第二深度图相匹配的至少两个匹配区域；处理器110，具体用于根据上述匹配区域中每个深度区域的深度均值与上述第二深度图中的对应深度点的深度值的比值，确定深度拉升比例；处理器110，具体用于按照上述深度拉升比例调整上述每个深度区域的深度值。

可选的，处理器110，具体用于针对每个深度区域，在上述深度区域中的深度信息方差大于预设阈值的情况下，确定上述深度区域与上述深度点不匹配；处理器110，具体用于在上述深度区域中的深度信息方差小于或者等于预设阈值的情况下，确定上述深度区域与上述深度点相匹配。

可选的，处理器110，具体用于采用稠密算法，处理上述第三深度图，得到第四深度图；处理器110，具体用于根据上述第四深度图的深度信息，确定上述目标图像中的虚化范围。

应理解的是，本申请实施例中，输入单元104可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元106可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元107包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器109可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像信息处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像信息处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像信息处理方法，其特征在于，所述方法包括：

获取第一图像和第二图像，所述第一图像和所述第二图像为电子设备的不同摄像头采集的同一拍摄对象的图像；

根据所述第一图像和所述第二图像，获取与所述第一图像对应的第一深度图；

获取第二深度图，所述第二深度图包括所述电子设备的多点激光器采集的深度信息，所述第一深度图和所述第二深度图包括同一对象的深度信息，所述第二深度图包括N个深度点；

将所述第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为所述第二深度图中目标深度点对应的深度信息，以得到第三深度图，所述目标深度区域与所述目标深度点相匹配；

根据所述第三深度图，确定目标图像中的虚化范围，其中，所述目标图像为以下任一项：所述第一图像，所述第二图像和根据所述第一图像与所述第二图像得到的第三图像；

对所述目标图像中所述虚化范围内的图像进行虚化处理，得到虚化后的图像；

所述将所述第一深度图中的目标深度区域中的每个像素点对应的深度信息均更新为所述第二深度图中目标深度点对应的深度信息，包括：

将所述第一深度图划分为N个深度区域；

计算所述N个深度区域中每个深度区域的深度均值；

确定所述N个深度区域中与所述第二深度图相匹配的至少两个匹配区域；

根据所述匹配区域中每个深度区域的深度均值与所述第二深度图中的对应深度点的深度值的比值，确定深度拉升比例；

按照所述深度拉升比例调整所述每个深度区域的深度值。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一深度图中的目标深度区域中每个像素点对应的深度信息均更新为所述第二深度图中目标深度点对应的深度信息，具体包括：

在目标深度区域中的深度信息的个数超出预设范围时，更新所述目标深度区域中每个像素点对应的深度信息；

在目标深度区域中的深度信息的个数在所述预设范围内时，保持所述目标深度区域中每个像素点对应的深度信息。

3.根据权利要求1所述的方法，其特征在于，所述确定所述N个深度区域中与所述第二深度图相匹配的至少两个匹配区域，具体包括：

针对每个深度区域，在所述深度区域中的深度信息方差大于预设阈值的情况下，确定所述深度区域与所述深度点不匹配；

在所述深度区域中的深度信息方差小于或者等于预设阈值的情况下，确定所述目标深度区域与所述目标深度点相匹配。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第三深度图，确定所述第三深度图对应的目标图像中的虚化范围，具体包括：

采用稠密算法，处理所述第三深度图，得到第四深度图；

根据所述第四深度图的深度信息，确定所述目标图像中的虚化范围。

5.一种图像信息处理装置，其特征在于，所述装置包括获取模块、更新模块、确定模块和处理模块：

所述获取模块，获取第一图像和第二图像，所述第一图像和所述第二图像为电子设备的不同摄像头采集的同一拍摄对象的图像；

所述获取模块，还用于根据所述第一图像和所述第二图像，获取与所述第一图像对应的第一深度图；

所述获取模块，还用于获取第二深度图，所述第二深度图包括所述电子设备的多点激光器采集的深度信息，所述第一深度图和所述第二深度图为同一对象的深度信息，所述第二深度图包括N个深度点；

所述更新模块，用于将所述获取模块获取的第一深度图中的目标深度区域中的每个像素点对应的深度信息均更新为所述第二深度图中目标深度点对应的深度信息，以得到第三深度图，所述目标深度区域与所述目标深度点相匹配；

所述确定模块，用于根据所述第三深度图，确定目标图像中的虚化范围，其中，所述目标图像为以下任一项：所述第一图像，所述第二图像和根据所述第一图像与所述第二图像得到的第三图像；

所述处理模块，还用于对所述确定模块确定的所述目标图像中所述虚化范围内的图像进行虚化处理，得到虚化后的图像；

所述装置还包括划分模块、计算模块和调整模块；

所述划分模块，用于将所述第一深度图划分为N个深度区域；

所述计算模块，用于计算所述划分模块划分的所述N个深度区域中每个深度区域的深度均值；

所述确定模块，具体用于确定所述划分模块划分的所述N个深度区域中与所述第二深度图相匹配的至少两个匹配区域；

所述确定模块，具体用于根据所述匹配区域中每个深度区域的深度均值与所述第二深度图中的对应深度点的深度值的比值，确定深度拉升比例；

所述调整模块，用于按照所述确定模块确定的所述深度拉升比例调整所述每个深度区域的深度值。

6.根据权利要求5所述的装置，其特征在于，

所述更新模块，具体用于在目标深度区域中的深度信息的个数少于预设个数时，更新所述目标深度区域中每个像素点对应的深度信息；

所述更新模块，具体还用于在目标深度区域中的深度信息的个数大于等于预设个数时，保持所述目标深度区域中每个像素点对应的深度信息。

7.根据权利要求5所述的装置，其特征在于，

所述确定模块，具体用于针对每个深度区域，在所述深度区域中的深度信息方差大于预设阈值的情况下，确定所述深度区域与所述深度点不匹配；

所述确定模块，具体用于在所述深度区域中的深度信息方差小于或者等于预设阈值的情况下，确定所述目标深度区域与所述目标深度点相匹配。

8.根据权利要求5所述的装置，其特征在于，

所述处理模块，还用于采用稠密算法，处理所述第三深度图，得到第四深度图；

所述确定模块，具体用于根据所述处理模块处理的所述第四深度图的深度信息，确定所述目标图像中的虚化范围。

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-4任一项所述的图像信息处理方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-4任一项所述的图像信息处理方法的步骤。

Images