CN112887614A - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置及电子设备，属于图像技术领域。该方法包括：获取N个摄像头采集的N张图像；基于N‑1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N‑1张参考图像，N为大于1的整数。本发明实施例中，无需用户手动去除，电子设备可以通过N个摄像头自动获取1张基准图像和N‑1张参考图像，并基于参考图像中的参考区域的图像，去除基准图像中的反光区域，进而可以简化用户操作，提高处理效率。

Description

图像处理方法、装置及电子设备

技术领域

本发明属于图像技术领域，具体涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

目前，当隔着玻璃等反射光源的透明物体拍摄照片时，会导致所拍摄的照片上会存在反光区域，进而会导致照片上的景物或人物变得模糊。

现有技术中，为了消除图像中的反光区域往往在拍摄之后，通过人工修图的方式，对图像进行后期处理，以去除反光区域。这种处理方式中，操作较为繁琐，处理效率较低。

发明内容

本发明实施例的目的是提供一种图像处理方法、装置、电子设备及存储介质，能够解决现有技术中消除图像中的反光区域时操作较为繁琐，处理效率较低的技术问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种图像处理方法，该方法包括：

获取N个摄像头采集的N张图像；

基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；

其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。

第二方面，本发明实施例提供了一种图像处理装置，该装置包括：

获取模块，获取N个摄像头采集的N张图像；

处理模块，用于基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。

第三方面，本发明实施例提供了一种电子设备，该电子设备包括至少两个摄像头、处理器、存储器，存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。

第四方面，本发明实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像处理方法的步骤。

第五方面，本发明实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像处理方法。

在本发明实施例中，获取N个摄像头采集的N张图像；基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。本发明实施例中，无需用户手动去除，电子设备可以通过N个摄像头自动获取1张基准图像和N-1张参考图像，并基于参考图像中的参考区域的图像，去除基准图像中的反光区域，进而可以简化用户操作，提高处理效率。

同时，由于反光的物理特性，存在重合拍摄视角的不同摄像头获取的N张图像中存在反光的地方也不同，因此，本发明实施例中通过从这N张图像中确定基准图像以及参考图像，基于参考图像中的参考区域的图像对反光区域进行图像处理，可以确保反光区域的去除效果。

附图说明

图1示出了本发明实施例的一种凹凸不平的平面上光线的反射示意图；

图2示出了本发明实施例的一种光滑平面上光线的反射示意图；

图3示出了本发明实施例的一种图像处理方法的步骤流程图；

图4示出了本发明实施例的一种摄像头的排列方式示意图；

图5示出了本发明实施例的一种强光源照射在物体光滑的表面的反射示意图；

图6示出了本发明实施例的一种虚拟摄像头的移动方式示意图；

图7示出了本发明实施例的一种图像处理装置的结构框图；

图8示出了本发明实施例的一种电子设备的结构框图；

图9示出了本发明各个实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。

正常的物体表面都是比较粗糙的，参照图1，由于物体表明凹凸不平，就算周围光源亮度较高，反射的光线的角度也不会一致，光线比较分散，同一角度反射光量小，不会出现反光的问题。而像玻璃这种光滑的平面，参照图2，光线的反射角基本一致，在周围光源亮度较高的情况下，光线会集中从同一个角度反射回来，此时电子设备的摄像头如果顺着这个反射角度去拍摄物体，就会因为拍摄物体表面存在大量反射光而出现反光区域。

现有技术中，消除手机拍照存在的反光现象主要有两种方式：一种是通过前期拍摄手法，消除手机拍照过程中的部分反光现象；一种是使用图像处理软件对手机拍摄的照片做后期处理，去除所拍摄照片上的所有反光区域。这样，通过前期拍摄手法降低手机拍照过程中反光影响的方法，需要用户人为贴近玻璃等反光物体，操作较繁琐，而且不能完全消除手机拍照过程中的预览图像的反光区域，仅仅只是减少的反光区域；而对手机拍摄的照片做后期图像处理，虽然可以完全去除手机所拍摄照片的反光区域，但是操作繁琐，并且无法消除手机拍照过程中的预览图像的反光区域。

为了在消除这种反光区域时简化操作，提高处理效率，本发明提供一种图像处理方法、装置、电子设备及存储介质。

下面结合附图，通过具体的实施例及其应用场景对本发明实施例提供的一种图像处理方法、装置、电子设备及存储介质进行详细地说明。

参照图3，示出了本发明实施例的一种图像处理方法的步骤流程图，该方法包括：

步骤301、获取N个摄像头采集的N张图像。

本发明实施例中，参照图4，N个摄像头400可以位于电子设备的同一平面上，该摄像头之间的间距可以是相等的，也可以是不相等的；N个摄像头也可以不位于电子设备的同一平面上，但存在有重合的拍摄视角，例如，在电子设备的屏幕为柔性屏的情况下，这N个摄像头可以包括分别位于电子设备正面和反面的摄像头，进一步地，可以通过弯折该电子设备，使得正面的摄像头和反面的摄像头有重合的拍摄视角。电子设备具体可以是智能手机、平板电脑、柔性设备、曲面屏设备等，本发明实施例对此不作限定。此外，每个摄像头可以多次获取多张图像，也可以只获取一次得到一张图像，本发明实施例对此不作限定。

需要说明的是，参照图5，由于N个摄像头的拍摄角度不同，如果存在一个强光源照射在物体光滑的表面反射回来，反射的光线会集中在一个反射角度进行反射，不会同时传入到所有的摄像头中，所以一般情况下是不会出现所有图像中同样位置的亮度过高以形成反光区域。

值得注意的是，本发明实施例中，具体在基于N个摄像头采集的N张图像时，N个摄像头可以默认同时开启，以保证拍摄角度的完整性，确保有足够数量的参考图像；也可以根据用户的实际需求，将电子设备设置为默认开启两个摄像头以减少电子设备的耗电量，后续可以基于需求开启更多的摄像头，本发明实施例对此不作限定。

本步骤中，可以是通过智能手机的至少两个后置摄像头，获取一次图像，得到N张图像。例如，智能手机设置有2个后置摄像头，通过这2个后置摄像头获取一次图像，可以得到了2张图像。

步骤302、基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。

本发明实施例中，基准图像可以是N张图像中反光区域面积最小的图像，也可以是在所有N张图像之中随机选择一张作为基准图像，则可以将剩余的N-1张图像全部作为参考图像，也可以将剩余的N-1张图像中的一部分作为参考图像，本发明实施例对此不作限定。另外，参考图像是用于对基准图像中的反光区域进行像素替换等图像处理的图像。此外，确定基准图像之后，基准图像将不再改变；而确定参考图像之后，参考图像可以作以改变，也可以不再改变参考图像，本发明实施例对此不作限定。

本步骤中，可以从智能手机的至少2个后置摄像头所获取的至少2张图像中，确定一张基准图像，将剩余的N-1张图像全部作为参考图像。例如，参照图4，示出了一种智能手机后置摄像头的排列方式，当用户打开这个智能手机的相机软件后进入相机预览界面，此时将这个智能手机的后置摄像头400所获取的16张图像中的一张作为基准图像，并显示在相机预览界面之上，将剩余的15张图像作为参考图像，可以不显示在相机预览界面之上。

本发明实施例中，反光区域可包括M个反光子区域，M为正整数。每个反光子区域的大小可以是相同的，也可以不相同的，本发明实施例对此不作限定。相应地，参考区域包括M个参考子区域，由于参考区域与反光区域相对应，因此参考子区域的数量以及大小，取决于反光子区域的数量以及大小。

本步骤中，可以是确定基准图像以及参考图像后，确定该基准图像中的反光区域，以及参考图像中与反光区域对应的参考区域，然后基于该参考区域对反光区域进行像素替换等图像处理。例如，参照图4，从该智能手机后置摄像头400所获取的16张图像中，确定了1张基准图像，15张参考图像，则对这张基准图像确定其中的反光区域，从15张参考图像中确定与反光区域对应的参考区域，然后基于该参考区域对反光区域进行替换处理。

本发明实施例中，根据参考区域对反光区域进行替换处理时，反光区域的大小可以是不相同的，相应地反光区域对应的参考区域，可以与反光区域大小相同，也可以与反光区域大小不同，即可以是以较大的参考区域对反光区域进行替换处理。因此，可以是使用参考区域全部替换其对应的反光区域，也可以是使用参考区域中的一部分替换其对应的反光区域，本发明实施例对此不作限定。

本步骤中，可以是使用参考图像中与反光区域对应的参考区域，对所确定的基准图像中的反光区域做替换处理，以去除所确定的基准图像中的反光区域，得到去除了反光区域的基准图像作为要输出的目标图像。例如，对于智能手机后置摄像头获取的16张第一预览图像，确定了1张基准图像，15张参考图像，然后又确定了1张基准图像中的反光区域、15张参考图像中与反光区域对应的参考区域，将该反光区域使用参考区域进行替换处理，则可以去除这张基准图像中的反光区域，得到去除了反光区域的基准图像作为目标图像，最后可以将该目标图像作为该智能手机后置摄像头拍摄的照片。

本发明实施例提供的一种图像处理方法，获取N个摄像头采集的N张图像；基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。本发明实施例中，无需用户手动去除，电子设备可以通过N个摄像头自动获取1张基准图像和N-1张参考图像，并基于参考图像中的参考区域的图像，去除基准图像中的反光区域，进而可以简化用户操作，提高处理效率。

同时，由于反光的物理特性，存在重合拍摄视角的不同摄像头获取的N张图像中存在反光的地方也不同，因此，本发明实施例中通过从这N张图像中确定基准图像以及参考图像，基于参考图像中的参考区域的图像对反光区域进行图像处理，可以确保反光区域的去除效果。

可选地，本发明实施例中，反光区域可以是基于用户的输入所获取的。

本发明实施例中，反光区域可以是由用户所圈出的区域组成的，也可以是由用户所点击的基准子区域组成的，其中，圈出的区域是用户通过预设手势在基准图像上所选择出的区域，基准子区域是基准图像中预先划分的子区域，本发明实施例对此不作限定。

需要注意的是，基准图像预先划分的基准子区域的大小可以是相同的，也可以不相同的，本发明实施例对此不作限定。

本步骤中，用户可以通过在相机预览界面上，选择预设手势圈出每个反光子区域，以组成反光区域。例如，当用户打开一个智能手机的相机软件后进入相机预览界面，该相机预览界面上显示的是所确定的基准图像，用户点击相机预览界面上的去除反光按钮后，弹出预设手势对话框，用户通过选择一种预设手势可以圈出每个反光子区域。

本发明实施例中，基于用户的输入获取反光区域，无需进行计算，可以快速确定反光区域，可以在摄像头拍照过程中快速去除基准图像中的反光区域，提高了处理效率。

可选地，本发明实施例中，反光区域包括M个反光子区域，M为正整数；所述基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理的操作之前，所述图像处理方法还可以包括步骤(1)～(3)实现：

步骤(1)、将所述基准图像划分为T个基准子区域。

其中，T为大于1的整数。

本发明实施例中，基准子区域的大小可以是相同的，也可以不相同的，本发明实施例对此不作限定。

本步骤中，可以是确定基准图像之后，将该基准图像划分为相同大小的T个基准子区域。例如，将从一个智能手机后置摄像头所获取的N张图像中确定的基准图像，划分为50*50像素大小的T个基准子区域。

步骤(2)、确定T个所述基准子区域中每个基准子区域的灰度值大于第一阈值的像素点的第一数量。

本发明实施例中，可以通过浮点法、整数法、移位法、平均值法、仅取绿色法、Gamma校正算法等方法，将基准子区域中的像素值转换为灰度值，本发明实施例对此不作限定。而第一阈值可以是用户基于实际调整经验进行设置，也可以是***默认的数值，本发明实施例对此不作限定。

本步骤中，可以是将该基准图像划分为相同大小的T个基准子区域后，先通过平均值法确定每个基准子区域的灰度值，然后检测每个基准子区域的灰度值大于第一阈值的像素点的第一数量。例如，第一阈值取值为200，M为100；将基准图像划分为100个2*2像素大小的基准子区域，分别对这100个基准子区域，通过平均值法确定每个基准子区域中的灰度值；若基准子区域J₁中的灰度值为210、190、230、150，对比基准子区域J₁中的灰度值与第一阈值可知210<200、190>200、230<200、150>200，则基准子区域J₁对应的第一数量为2；其他的99个基准子区域对应的第一数量确定方法与基准子区域J₁对应的第一数量确定方法类似，此处不再一一赘述。

步骤(3)、基于每个基准子区域的第一数量，确定M个反光子区域。

本发明实施例中，反光子区域是从所有基准子区域中选择的，因此反光子区域的大小，取决于基准子区域的大小，即基准子区域若大小不相同，则第一反光子区域也大小不相同，反之亦然。

本步骤中，可以是在确定各个基准子区域的第一数量后，根据预设灰度值要求，从基准子区域中确定M个反光子区域。例如，将基准图像划分为6个相同大小的基准子区域J₁、J₂、J₃、J₄、J₅、J₆，确定基准子区域J₁对应的第一数量为70，J₂对应的第一数量为90，J₃对应的第一数量为85，J₄对应的第一数量为60，J₅对应的第一数量为80，J₆对应的第一数量为95，若基准子区域J₆满足预设灰度值要求，则确定将基准子区域J₆作为反光子区域，因此基准图像的反光区域为{J₆}。

本发明实施例中，通过将基准图像划分为T个基准子区域，可以从所有基准子区域中自动选择出反光子区域，以去除基准图像的反光子区域，无需用户进行操作，提高了处理效率。仅通过第一数量，确定反光子区域，可以减少计算量，进一步提高了处理效率。

可选地，本发明实施例中，所述基于每个基准子区域的第一数量，确定M个反光子区域的操作，具体可以通过以下子步骤A实现：

子步骤A、对于每个基准子区域，在第一比值大于第二阈值的情况下，将所述基准子区域确定为反光子区域；其中，所述第一比值是每个基准子区域的第一数量与每个基准子区域的像素总量的比值。

本发明实施例中，第二阈值可以是用户基于实际调整经验进行设置，也可以是***默认的数值，本发明实施例对此不作限定。

本步骤中，可以是在将该基准图像划分为相同大小的M个基准子区域，并确定了每个基准子区域对应的第一数量后，对于每个基准子区域，先计算每个基准子区域的第一数量与每个基准子区域的像素总量的第一比值，然后再对比第一比值与第二阈值，确定是否将该基准子区域作为反光子区域。例如，第二阈值是90％，M是6；将基准图像划分为6个50*50像素大小的基准子区域J₁、J₂、J₃、J₄、J₅、J₆，则每个基准子区域的第一总像素数量均为100，确定这6个基准子区域的第一数量分别为70、90、85、60、80、95，可计算得到这6个基准子区域的第一比值分别为70％、90％、85％、60％、80％、95％，然后将这6个基准子区域的第一比值分别与第二阈值对比，可得知70％<90％、90％＝90％、85％<90％、60％<90％、80％<90％、95％>90％，则可以确定基准子区域J₆内存在反光区域，因此将基准子区域J₆确定为反光子区域

本发明实施例中，在基准图像划分为T个基准子区域后，仅通过第一比值与第二阈值的关系确定反光子区域的操作简单，而且还可以减小确定反光子区域的计算量，能够提高处理效率。

可选地，本发明实施例中，所述基于每个基准子区域的第一数量，确定M个反光子区域的操作，具体可以通过以下子步骤B～C实现：

子步骤B、确定所述T个基准子区域中每个基准子区域的相邻基准子区域中灰度值小于第三阈值的像素点的数量，得到所述基准子区域对应的第二数量；

本发明实施例中，可以通过浮点法、整数法、移位法、平均值法、仅取绿色法、Gamma校正算法等方法，确定基准子区域的相邻基准子区域中的灰度值，本发明实施例对此不作限定。而第三阈值可以是用户基于实际调整经验进行设置，也可以是***默认的数值，本发明实施例对此不作限定。

本步骤中，可以是将该基准图像划分为相同大小的M个基准子区域后，首先确定每个基准子区域的相邻基准子区域，然后对每个相邻基准子区域分别通过平均值法确定其中的灰度值，并检测其中的灰度值小于第三阈值的像素点的第二数量。例如，第三阈值取值为50，M取值为100；将基准图像划分为100个2*2像素大小的基准子区域，分别对这100个基准子区域确定相邻基准子区域；若基准子区域J₁的相邻基准子区域为J₂、J₁₁、J₁₂，则对相邻基准子区域J₂、J₁₁、J₁₂分别通过平均值法确定每个基准子区域中的灰度值；若相邻基准子区域J₂中的灰度值为110、90、30、70，对比相邻基准子区域J₂中的灰度值与第三阈值可知110>50、90>50、30<50、70>50，则相邻基准子区域J₂中灰度值小于第三阈值的像素点的数量为1；若相邻基准子区域J₁₁、J₁₂采用同样的方法，确定相邻基准子区域J₁₁中灰度值小于第二灰度值阈值的像素点的数量为3、相邻基准子区域J₁₂中灰度值小于第二灰度值阈值的像素点的数量为2；则可以确定基准子区域J₁对应的第二数量是：1+3+2＝6；其他的99个基准子区域对应的第二数量确定方法与基准子区域J₁对应的第二数量确定方法类似，此处不再一一赘述。

子步骤C、基于每个所述基准子区域的第一数量和第二数量，从所述基准子区域中，确定M个反光子区域。

本步骤中，可以是在确定每个基准子区域的第一数量和第二数量后，根据预设灰度值要求，从基准子区域中确定M个反光子区域。例如，将基准图像划分为6个50*50像素大小的基准子区域J₁、J₂、J₃、J₄、J₅、J₆，确定这6个基准子区域对应的第一数量分别为70、90、85、60、80、95，确定这6个基准子区域对应的第二数量分别为300、480、260、285、490、300，根据6个基准子区域对应的第一数量和第二数量，可以确定将基准子区域J₆作为反光子区域，则基准图像的第一反光区域为{J₆}。

本发明实施例中，在基准图像划分为T个基准子区域后，通过第一数量和第二数量的关系，确定第一反光子区域，虽然增加了计算量，但是提高了所确定的反光子区域的精确度，可以提高该图像处理方法去除反光区域的可靠性，提高了处理效率。

可选地，本发明实施例中，所述基于每个所述基准子区域的第一数量和第二数量，从所述基准子区域中，确定M个反光子区域的操作，具体可以通过以下子步骤D实现：

子步骤D、对于每个基准子区域，在第一比值大于第二阈值，且所述第二数量与所述相邻基准子区域的像素总量相等的情况下，将所述基准子区域确定为反光子区域；其中，所述第一比值是所述基准子区域对应的第一数量与每个基准子区域的像素总量的比值。

本发明实施例中，一个基准子区域的相邻基准子区域的像素总量，指的是该基准子区域的所有相邻基准子区域内像素数量的总和。例如，将基准图像划分为6个50*50像素大小的基准子区域，则每个基准子区域内像素数量均为100；其中基准子区域J₁的相邻基准子区域为J₂、J₄、J₅，则基准子区域J₁的相邻基准子区域的像素总量为100+100+100＝300。

本步骤中，可以是在将基准图像划分为相同大小的M个基准子区域，并确定了每个基准子区域的第一数量和第二数量后，对于每个基准子区域，先计算该基准子区域的第一数量与该基准子区域的第一总像素数量的第一比值、以及该基准子区域的相邻基准子区域的像素总量，然后再对比第一比值与第二阈值、以及第二数量与该基准子区域的相邻基准子区域的像素总量，确定是否将该基准子区域作为反光子区域。

示例性地，第二阈值是90％，M是6；将基准图像划分为6个50*50像素大小的基准子区域J₁、J₂、J₃、J₄、J₅、J₆，则每个基准子区域的像素数量均为100，基准子区域J₁的相邻基准子区域为J₂、J₄、J₅，基准子区域J₂的相邻基准子区域为J₁、J₃、J₄、J₅、J₆，基准子区域J₃的相邻基准子区域为J₂、J₅、J₆，基准子区域J₄的相邻基准子区域为J₁、J₂、J₅，基准子区域J₅的相邻基准子区域为J₁、J₂、J₃、J₄、J₆，基准子区域J₆的相邻基准子区域为J₂、J₃、J₅，确定这6个基准子区域的第一数量分别为70、90、85、60、80、95，确定这6个基准子区域的第二数量分别为300、480、260、285、490、300，确定这6个基准子区域的相邻基准子区域的像素总量分别为300、500、300、300、500、300，通过对比第一比值与第二阈值可知70％<90％、90％＝90％、85％<90％、60％<90％、80％<90％、95％>90％，对比每个基准子区域的第二数量与每个基准子区域的相邻基准子区域的像素总量可知300＝300、480<500、260<300、285<300、490<500、300＝300，则满足“第一比值大于第二阈值且第二数量等于所述相邻基准子区域的像素总量”的是基准子区域J₆，则可以确定将基准子区域J₆确定为反光子区域。

本发明实施例中，对于每个基准子区域，通过第一比值与第二阈值的关系、以及第二数量与其相邻基准子区域的像素总量的关系，确定反光子区域，虽然计算较复杂，但是能够保证所确定的反光子区域的准确率，可以提高该图像处理方法的可靠性。

可选地，本发明实施例中，所述参考区域包括M个参考子区域，所述图像处理方法还可以包括以下步骤(4)～(5)：

步骤(4)、对于所述反光区域中的每个反光子区域，确定每张参考图像中与每个所述反光子区域所处位置相匹配的子区域，得到T个备选子区域；其中，T为正整数。

本发明实施例中，步骤(4)可以是在步骤(3)或子步骤A之后实现，子步骤(4)也可以是在子步骤C或子步骤D之后实现，用于确定参考图像中与反光区域对应的参考区域，本发明实施例对此不作限定。

需要注意的是，若以基准图像和参考图像的左下角的第一个像素点为原点建立坐标系，反光子区域在基准图像中所处位置的坐标为(X，Y)，则每个备选子区域在其所对应的参考图像中所处位置的坐标也为(X，Y)，其中每个反光子区域和备选子区域均以其区域中心像素点的坐标作为该区域的坐标。

本步骤中，可以是在确定基准图像的反光区域后，对于该反光区域中的每个反光子区域，在各个参考图像中确定与每个反光子区域所处位置相匹配的区域，得到每个反光子区域的备选子区域。例如，确定了1张基准图像和3张参考图像，且该基准图像的反光区域为{J₂，J₆}；对于该反光区域中的反光子区域J₂，在3个参考图像中确定与该反光子区域所处位置相匹配的区域有3个：F₁₂、F₂₂、F₃₂，则反光子区域J₂对应的备选子区域有F₁₂、F₂₂、F₃₂；对于该反光区域中的反光子区域J₆，在3个参考图像中确定与该反光子区域所处位置相匹配的子区域有3个：F₁₆、F₂₆、F₃₆，则第一反光子区域J₆对应的备选子区域有F₁₆、F₂₆、F₃₆。

步骤(5)、根据每个所述备选子区域的清晰度，选择清晰度满足预设清晰度条件的备选子区域作为所述参考子区域。

本发明实施例中，备选子区域的清晰度可以通过Brenner梯度函数、Laplacian梯度函数、灰度方差函数、灰度方差乘积函数、方差函数、能量梯度函数、Vollath函数、熵函数、EAV点锐度算法函数、Reblur二次模糊、NRSS梯度结构相似度等等得到；且预设清晰度条件可以是用户基于实际调整经验进行设置，也可以是***默认的数值，本发明实施例对此不作限定。

本步骤中，可以是在确定每个反光子区域对应的备选子区域之后，根据该反光子区域的每个备选子区域的清晰度，选择清晰度满足预设清晰度条件的备选子区域作为该反光子区域对应的参考子区域。例如，确定了1张基准图像和3张非基准图像，且该基准图像的反光区域为{J₂，J₆}；其中反光子区域J₂对应的备选子区域有F₁₂、F₂₂、F₃₂，反光子区域J₆对应的备选子区域有F₁₆、F₂₆、F₃₆；备选子区域F₁₂的清晰度是100、备选子区域F₂₂的清晰度是150、备选子区域F₃₂的清晰度是200，若反光子区域J₂对应的备选子区域中清晰度满足预设清晰度条件的是备选子区域F₃₂，则将备选子区域F₃₂作为反光子区域J₂对应的参考子区域；备选子区域F₁₆的清晰度是400、备选子区域F₂₆的清晰度是90、备选子区域F₃₆的清晰度是70，若反光子区域J₆对应的备选子区域中清晰度满足预设清晰度条件的是备选子区域F₁₆，则将备选子区域F₁₆作为反光子区域J₆对应的参考子区域。

本发明实施例中，从参考图像中选择与反光子区域所处位置相匹配的子区域作为备选子区域，能够保证使用所选择的备选子区域替换反光子区域时，不改变基准图像中人或物的位置和空间关系；通过预设清晰度条件从每个备选子区域中选择满足预设清晰度要求条件的备选子区域作为所述参考子区域，能够保证替换后的基准图像的清晰度，以达到优化拍摄效果的目的。

可选地，本发明实施例中，所述根据每个所述备选子区域的清晰度，选择清晰度满足预设清晰度条件的备选子区域作为所述参考子区域的操作，具体可以通过以下子步骤E～F实现：

子步骤E、根据每个所述备选子区域的清晰度，确定清晰度最大的备选子区域。

本发明实施例中，可以通过对每个备选子区域的清晰度进行排序，得到清晰度最大的备选子区域，也可以通过数学函数得到清晰度最大的备选子区域，本发明实施例对此不作限定。

本步骤中，可以是在确定每个备选子区域的清晰度后，通过对每个备选子区域的清晰度按照从大到小进行排序，得到清晰度最大的备选子区域。例如，反光子区域J₂对应的备选子区域有F₁₂、F₂₂、F₃₂，备选子区域F₁₂的清晰度是100、备选子区域F₂₂的清晰度是150、备选子区域F₃₂的清晰度是200，对备选子区域F₁₂、F₂₂、F₃₂的清晰度按照从大到小进行排序，可以得到序列200、100、150，则可以确定清晰度最大的是备选子区域F₃₂。

子步骤F、将所述清晰度最大的备选子区域作为所述参考子区域。

本步骤中，可以是在一个反光子区域对应的所有备选子区域中，确定了清晰度最大的备选子区域后，将该清晰度最大的备选子区域作为这个反光子区域对应的参考子区域。例如，反光子区域J₂对应的清晰度最大的是备选子区域F₃₂，则将备选子区域F₃₂作为反光子区域J₂对应的参考子区域。

本发明实施例中，通过将清晰度最大的备选子区域作为参考子区域，可以提高通过该图像处理方法去除反光区域的可靠性，能够保证使用参考子区域替换反光子区域后的基准图像的清晰度，以达到优化拍摄效果的目的。

可选地，本发明实施例中，所述根据每个所述备选子区域的清晰度，选择清晰度满足预设清晰度条件的备选子区域作为所述参考子区域的操作，具体可以通过以下子步骤G～H实现：

子步骤G：根据每个所述备选子区域的清晰度，确定所述备选子区域的清晰度大于或等于预设清晰度的目标备选子区域。

本发明实施例中，预设清晰度可以是用户基于实际调整经验进行设置，也可以是***默认的数值，本发明实施例对此不作限定。

本步骤中，可以是在确定每个备选子区域的清晰度后，通过对比备选子区域的清晰度与预设清晰度，确定备选子区域的清晰度大于或等于预设清晰度的目标备选子区域。例如，预设清晰度是200，反光子区域J₂对应的备选子区域有F₁₂、F₂₂、F₃₂，备选子区域F₁₂的清晰度是150、备选子区域F₂₂的清晰度是250、备选子区域F₃₂的清晰度是200，对比备选子区域的清晰度与预设清晰度可知150<200、250>200、200＝200，则目标备选子区域有F₂₂、F₃₂。

子步骤H、从所述目标备选子区域中，选择一个所述目标备选子区域作为所述参考子区域。

本发明实施例中，从所述目标备选子区域中选择一个目标备选子区域，可以是随机选择的，也可以是根据预设要求选择的，本发明实施例对此不作限定。

本步骤中，可以是在确定目标备选子区域后，在目标备选子区域中，根据预设要求选择一个目标备选子区域作为参考子区域。例如，预设要求是：不满足“第三比值大于第二阈值，且第四数量等于第四像素总量”，其中，第三比值是目标备选子区域中灰度值大于第五阈值的像素点的数量与目标备选子区域的像素总量的比值，第四数量是目标备选子区域对应的反光子区域的相邻基准子区域中灰度值小于第二阈值的像素点的数量，第四像素总量是目标备选子区域对应的反光子区域的所有相邻基准子区域的像素数量的总和，第二阈值可取值90％；目标备选子区域有F₂₂、F₃₂，目标备选子区域对应的是第一反光子区域J₂；目标备选子区域有F₂₂对应的第三比值是95％，目标备选子区域有F₂₂对应的第四数量是500，目标备选子区域有F₂₂对应的第四像素总量是500，则通过对比发现第三比值95％大于第二阈值90％，且第四数量500等于第四像素总量500；目标备选子区域有F₂₃对应的第三比值是93％，目标备选子区域有F₂₃对应的第四数量是450，目标备选子区域有F₂₃对应的第四像素总量是500，则通过对比发现第三比值93％大于第二阈值90％，且第四数量450不等于第四像素总量500；综上可知不满足预设要求的是目标备选子区域F₂₃，确定选择目标备选子区域有F₂₃作为反光子区域J₂对应的参考子区域时不会存在反光区域，则选择目标备选子区域F₂₃作为反光子区域J₂对应的参考子区域。

可以理解的是，第五阈值可以是用户基于实际调整经验进行设置，也可以是***默认的数值；且第五阈值可以是与第一阈值相等的，也可以是与第一阈值不相等的，本发明实施例对此不作限定。

本发明实施例中，通过选择满足预设要求的目标备选子区域作为第一替换子区域，可以进一步提高该图像处理方法的可靠性，保证基准图像去除第一反光区域的效果，优化拍摄效果。

可选地，本发明实施例中，所述对于所述反光区域中的每个反光子区域，确定每张参考图像中与每个所述反光子区域所处位置相匹配的子区域，得到T个备选子区域的操作之前，该图像处理方法还可以包括以下步骤(6)：

步骤(6)、对于每张参考图像，基于预设的图像对齐算法，将所述参考图像与所述基准图像对齐。

本发明实施例中，子步骤(6)可以是在步骤(3)或子步骤A之后步骤(4)之前实现的，也可以是在子步骤C或子步骤D之后步骤(4)之前实现的，本发明实施例对此不作限定。此外，预设的图像对齐算法可以是SAT算法(Spatial alignment transform)，用于将不同摄像头从不同角度拍摄同一物体的图像画面进行对齐，使得不同摄像头输出的图像看上去就跟同一个摄像头输出的图像一样。

需要说明的是，对于智能手机的后置摄像头，由于摄像头的排列不同，因而会输出拍摄角度各异的图像，因此不同的图像反光的区域也会有所不同，同时由于N个摄像头的位置差异不大，因此可以通过SAT算法将不同摄像头的参考图像向基准图像对齐。

本步骤中，可以是在确定基准图像以及参考图像之后，使用SAT算法将所述参考图像与所述基准图像对齐。例如，确定了1张基准图像和3张参考图像，对于这3张参考图像，分别采用SAT算法将其与所述基准图像对齐，使得每张参考图像中和基准子区域位置相匹配的子区域中的图像画面，与基准图像中基准子区域的图像画面是一致的，而且在所有N张图像中，对齐后的参考图像中参考区域的图像坐标与基准图像中反光区域的图像坐标是一致的。

本发明实施例中，通过预设的图像对齐算法，将所述参考图像与所述基准图像对齐，可以保证与基准子区域位置相匹配的子区域的图像画面和基准子区域的图像画面一致，以确保从这些子区域中所选择的参考子区域替换其对应反光子区域后，参考子区域的图像画面与反光子区域的相邻基准子区域的图像画面连续，不影响拍摄效果。

可选地，本发明实施例中，所述基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理的操作，具体可以通过以下子步骤I实现：

子步骤I、对于所述反光区域中的每个反光子区域，将每个所述反光子区域中像素点的像素值替换为第一目标像素值；其中，所述第一目标像素值为每个所述反光子区域对应的每个参考子区域中像素点的像素值。

本发明实施例中，第一目标像素值可以是参考子区域中的所有像素点，也可以是参考子区域中的部分像素点，本发明实施例对此不作限定。

本步骤中，可以是确定了反光区域和参考区域后，将反光区域中的每个反光子区域内像素点的像素值，均替换为与其对应的参考子区域内像素点的像素值。例如，反光区域是{J₂，J₆}，参考区域是{F₃₂，F₁₆}，反光子区域J₂对应的参考子区域是F₃₂，反光子区域J₆对应的参考子区域是F₁₆，则将反光子区域J₂内像素点的像素值全部替换为参考子区域F₃₂内像素点的像素值，将反光子区域J₆内像素点的像素值全部替换为参考子区域F₁₆内像素点的像素值。

示例性的，基准图像的反光子区域中的其中一个图像坐标是(x,y)，它的像素值是A(x,y)，则可以直接将基准图像中坐标(x,y)的像素值A(x,y)替换成参考图像在同样坐标(x,y)的像素值B(x,y)，以此类推，将基准图像中的所有反光子区域中所有像素值用其对应参考子区域的像素值进行替换。对于存在多个反光子区域的基准图像，对每个反光子区域，都可以将该反光子区域中所有像素值用其对应参考子区域的像素值进行替换。

本发明实施例中，通过将反光子区域内像素点的像素值全部替换为其对应的参考子区域内像素点的像素值，可以去除基准图像的反光区域，保证了去除反光区域的基准图像的清晰度，优化了摄像头拍摄效果。

可选地，本发明实施例中，该图像处理方法还可以包括以下步骤：

步骤(7)、检测替换后的所述基准图像中是否存在第二反光区域。

可以理解的是，第二反光区域可以包括第二反光子区域。

本步骤中，确定替换后的基准图像的第二反光区域，与确定基准图像的反光区域类似，此处不再一一赘述。

步骤(8)、若不存在第二反光区域，则将替换后的所述基准图像确定为所述目标图像。

本发明实施例中，由于第二反光区域是从替换后的基准图像中确定的，因此第二反光区域可以是参考区域中的全部或者一部分参考子区域，也可以不是第一替换区域中的任一参考子区域，本发明实施例对此不作限定。

本步骤中，可以是在确定替换后的基准图像的第二反光区域后，检测第二反光区域是否为空，若第二反光区域为空则确定不存在第二反光区域，将替换后的基准图像确定为目标图像。例如，基准图像中的第一反光区域被第一替换区域替换后，得到替换后的基准图像，对替换后的基准图像划分子区域，确定任一子区域都不存在反光区域，因此任一子区域都不是第二反光子区域，则第二反光区域为空，即不存在第二反光区域。

步骤(9)、若存在第二反光区域，则调整目标摄像头的拍摄角度，并根据所述目标摄像头获取修正图像；根据所述修正图像对所述第二反光区域进行替换处理；其中，所述目标摄像头为用于拍摄所述参考图像的摄像头。

本发明实施例中，第二反光区域可以是参考区域中的一部分参考子区域，确定这部分参考子区域对应的参考图像后，目标摄像头则可以是输出该参考图像的摄像头。

本步骤中，可以是在确定替换后的基准图像的第二反光区域后，检测第二反光区域是否为空，若第二反光区域不为空则确定存在第二反光区域，则调整目标摄像头的拍摄角度，并根据所述目标摄像头获取修正图像；根据所述修正图像对所述第二反光区域进行替换处理。

可以理解的是，根据所述目标摄像头获取修正图像，与获取N个摄像头采集的N张图像类似，此处不再一一赘述；根据所述修正图像对所述第二反光区域进行替换处理，可以是根据所述修正图像确定指定区域、以及根据指定区域对第二反光区域进行图像处理，其中根据所述修正图像确定指定区域与确定参考图像中与反光区域对应的参考区域类似，根据指定区域对第二反光区域进行图像处理与根据参考区域对反光区域进行图像处理类似，此处不再一一赘述。

本发明实施例中，通过检测替换后的基准图像中是否存在第二反光区域，可以确定是否需要继续对替换后的基准图像去除反光区域，以保证得到的目标图像不存在反光区域，确保了基准图像去除反光区域的效果。

可选地，本发明实施例中，所述图像处理方法还包括以下步骤(10)～(11)：

步骤(10)、在不存在清晰度满足预设清晰度条件的备选子区域的情况下，调整目标摄像头的拍摄角度，并再控制所述目标摄像头拍摄目标图像；其中，所述目标摄像头为用于拍摄所述参考图像的摄像头。

本发明实施例中，预设清晰度条件可以是用户基于实际调整经验进行设置，也可以是***默认的数值。例如，预设清晰度条件可以是所述备选子区域的清晰度大于或等于预设清晰度，也可以是清晰度最大等。因此，步骤(10)可以是在步骤(5)、子步骤F或子步骤H之后实现的，本发明实施例对此不作限定。

值得注意的是，子步骤(10)中的参考图像指的是步骤302中的参考图像。因此，目标摄像头就可以是步骤302中拍摄N-1张参考图像的摄像头。

本步骤中，可以是对步骤302中所拍摄N-1张参考图像，确定与步骤302中所拍摄的基准图像中反光区域的每个反光子区域所处位置相匹配的T个备选子区域之后，确定不存在清晰度满足预设清晰度条件的备选子区域的情况下，可以调整拍摄所述参考图像的目标摄像头的拍摄角度，以再次控制所述目标摄像头拍摄图像作为目标图像。

示例性的，智能手机设置有4个后置摄像头，通过这4个后置摄像头获取了1张基准图像和3张参考图像，将拍摄3张参考图像的3个摄像头作为目标摄像头，预设清晰度条件是所述备选子区域的清晰度大于或等于预设清晰度，预设清晰度是300，反光子区域J₂对应的备选子区域有F₁₂、F₂₂、F₃₂，备选子区域F₁₂的清晰度是150、备选子区域F₂₂的清晰度是250、备选子区域F₃₂的清晰度是200，对比备选子区域的清晰度与预设清晰度可知150<300、250<300、200<300，因此不存在清晰度满足预设清晰度条件的备选子区域，则调整3个目标摄像头的拍摄角度，控制这3个目标摄像头重新拍摄图像作为目标图像。

步骤(11)、根据所述目标图像，对所述反光区域进行替换图像处理。

可以理解的是，步骤(11)的详细描述与步骤302类似，此处不再赘述。

本发明实施例中，在不存在清晰度满足预设清晰度要求条件的备选子区域的情况下，调整目标摄像头的拍摄角度，控制所述目标摄像头重新拍摄图像作为目标图像，并根据所述目标图像，对所述反光区域进行替换图像处理。这样，可以保证对所述反光区域进行替换图像处理后，基准图像不存在反光区域，可以确保基准图像去除反光区域的效果。

可选地，本发明实施例中，所述调整目标摄像头的拍摄角度，并再控制所述目标摄像头拍摄目标图像的操作，具体可以通过以下子步骤J～K实现：

子步骤J、调整所述目标摄像头的拍摄角度，并在调整过程中，检测目标摄像头采集的预览图像是否存在清晰度满足预设清晰度条件的备选子区域。

需要说明的是，如果出现N个摄像头采集的N张图像都存在同一个区域亮度值过高的情况，此时说明用户很可能是背光拍摄，而且还是强光源，所以才会出现不同排列位置的N个摄像头都有同一个反光的区域。对于这种情况，可以在添加摄像头可动的功能，即在摄像头的底部增加一个球状的底盘，使得摄像头可以像人眼一样灵活地上下左右转动。

本发明实施例中，摄像头底部可以设置有一个用于移动摄像头的球状底盘。相应地，可以是当用户点击相机预览界面上的自动去除反光按钮后，摄像头逆时针或顺时针360°转动以调整目标摄像头的拍摄角度；也可以是当用户点击相机预览界面上的去除反光按钮后，参照图6，用户在虚拟摄像头对话框600中选中一个虚拟摄像头并或上、或下、或左、或右划动以调整目标摄像头的拍摄角度，本发明实施例对此不作限定。此外，输出基准图像的摄像头对应的虚拟摄像头是不会转动的或是无法划动的，以保证所确定的基准图像在该图像处理方法中不做改变。

值得注意的是，子步骤J中的调整所述目标摄像头的拍摄角度的操作，可以是确定反光区域替换为参考区域的替换后基准图像中存在第二反光区域时执行，也可以是不存在清晰度满足预设清晰度条件的备选子区域的情况下执行。

本步骤中，可以是用户点击相机预览界面上的去除反光按钮，确定不存在清晰度满足预设清晰度条件的备选子区域的情况下，在相机预览界面上弹出虚拟摄像头对话框，用户可以在虚拟摄像头对话框中选中一个虚拟摄像头，使得该虚拟摄像头或上、或下、或左、或右划动，以调整该虚拟摄像头对应的目标摄像头的拍摄角度，然后在调整过程中，需要实时检测目标摄像头采集的预览图像是否存在清晰度满足预设清晰度条件的备选子区域。例如，参照图6，预设清晰度条件是所述备选子区域的清晰度大于或等于预设清晰度，预设清晰度是300，用户点击相机预览界面上的去除反光按钮，确定不存在备选子区域的清晰度大于或等于预设清晰度的情况下，相机预览界面上弹出虚拟摄像头对话框600，用户在虚拟摄像头对话框600中选中一个虚拟摄像头601，使得该虚拟摄像头601向上或下或左或右划动，并在调整过程中，实时检测该虚拟摄像头601对应的目标摄像头所采集的预览图像是否存在清晰度满足预设清晰度条件的备选子区域。

可以理解的是，检测目标摄像头采集的预览图像是否存在清晰度满足预设清晰度条件的备选子区域：首先，是获取目标摄像头采集的预览图像；然后，是确定每张所述预览图像中与每个所述反光子区域所处位置相匹配的子区域得到T个备选子区域；最后，是根据每个所述备选子区域的清晰度，检测是否存在清晰度满足预设清晰度条件的备选子区域。其中，获取目标摄像头采集的预览图像，与获取N个摄像头采集的N张图像类似；确定每张所述预览图像中与每个所述反光子区域所处位置相匹配的子区域得到T个备选子区域，与确定每张所述参考图像中与每个所述反光子区域所处位置相匹配的子区域得到T个备选子区域类似；根据每个所述备选子区域的清晰度检测是否存在清晰度满足预设清晰度条件的备选子区域，与根据每个所述备选子区域的清晰度选择清晰度满足预设清晰度条件的备选子区域类似，此处不再一一赘述。

本发明实施例中，在摄像头拍摄的图像不满足预设清晰度要求的情况下，也能通过用户划动虚拟摄像头或摄像头自动逆时针或顺时针360°转动，以得到需要的图像，保证任何情况下都能去除反光，保证了对基准图像消除反光区域的效果，确保通过摄像头拍摄所得到的最终照片的清晰度，以优化拍摄效果。

子步骤K、在检测到所述目标摄像头采集的预览图像的指定区域的清晰度满足预设清晰度条件，且预览图像的指定区域的第二比值小于或等于所述第二阈值的情况下，停止调整所述拍摄角度，并控制所述目标摄像头拍摄目标图像；其中，所述指定区域是与所述反光区域所处位置相匹配的区域；所述第二比值是第三数量与所述指定区域的像素总量的比值，所述第三数量是所述指定区域中灰度值大于第四阈值的像素点的数量。

本发明实施例中，可以通过浮点法、整数法、移位法、平均值法、仅取绿色法、Gamma校正算法等方法，确定指定区域中像素点的灰度值；可以通过Brenner梯度函数、Laplacian梯度函数、灰度方差函数、灰度方差乘积函数、方差函数、能量梯度函数、Vollath函数、熵函数、EAV点锐度算法函数、Reblur二次模糊、NRSS梯度结构相似度等确定预览图像的指定区域的清晰度；第四阈值可以是用户基于实际调整经验进行设置，也可以是***默认的数值；且第四阈值可以是与第一阈值相等的，也可以是与第一阈值不相等的，本发明实施例对此不作限定。

本发明实施例中，停止调整拍摄角度的条件是，选择预览图像中指定区域对反光区域进行像素替换等图像处理后不存在反光区域。而反光区域中每个反光子区域相邻基准子区域的像素总量已经在子步骤D中确定等于第二数量，则只需第二比值小于或等于第二阈值就可确定停止调整拍摄角度。

本步骤中，可以是通过Brenner梯度函数，确定所述目标摄像头采集的预览图像的指定区域的清晰度，以及通过平均值法确定指定区域中像素点的灰度值后，确定指定区域中像素点的灰度值大于第四阈值的像素点的数量得到第三数量，然后计算第三数量与所述指定区域的像素总量的比值得到第二比值；接着检测指定区域的清晰度是否满足预设清晰度条件，以及第二比值是否小于或等于所述第二阈值，若满足则停止调整拍摄角度，并控制所述目标摄像头拍摄目标图像。

可以理解的是，确定指定区域中像素点的灰度值，与确定基准子区域中像素点的灰度值类似；控制所述目标摄像头拍摄目标图像，与获取N个摄像头采集的N张图像类似；对比第二比值和第二阈值，与对比第一比值和第二阈值类似，此处不再一一赘述。

本发明实施例中，在备选子区域不满足预设清晰度要求的情况下，首先，通过实时检测用户划动虚拟摄像头或摄像头自动逆时针或顺时针360°转动过程中，目标摄像头采集的预览图像的指定区域的清晰度是否满足预设清晰度条件，以得到满足预设清晰度条件的预览图像；然后，再对比预览图像的指定区域的第二比值与第二阈值，以保证该预览图像的指定区域任何情况下都能去除基准图像中的反光区域，确保了去除基准图像反光区域的效果，保证了通过摄像头拍摄所得到的最终照片的清晰度，可以优化拍摄效果。

可选地，本发明实施例中，所述图像处理方法还包括步骤(12)：

步骤(12)、确定所述N张图像中反光区域的面积最小的图像，以作为所述基准图像。

本发明实施例中，所述步骤(12)可以是在步骤301之后步骤302之前实现的。

本步骤中，可以是在所述N张图像中，通过数学函数确定反光区域的面积最小的图像，并将该图像作为所述基准图像。例如，参照图4，在该智能手机后置摄像头400所获取的16张图像中，通过数学函数确定反光区域的面积最小的图像是第三张，则将第三张图像作为基准图像，将第三张图像之外的15张作为参考图像。

本发明实施例中，将N个摄像头采集的N张图像中，反光区域的面积最小的图像作为基准图像，可以减小确定反光区域的计算量，以提高反光区域的确定速度，进而可以提高反光区域对应的参考区域的基准图像的确定速度，从而可以提高基于参考区域的图像对反光区域进行图像处理的速度。

需要说明的是，本发明实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行加载图像处理方法的控制模块。本发明实施例中以图像处理装置执行图像处理方法为例，说明本发明实施例提供的图像处理装置。

参照图7，示出了本发明实施例的一种图像处理装置的结构框图，该装置700包括：

获取模块701，获取N个摄像头采集的N张图像。

处理模块702，用于基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。

可选地，所述反光区域包括M个反光子区域，M为正整数；所述装置还包括反光区域确定模块，所述反光区域确定模块，用于将所述基准图像划分为T个基准子区域；确定所述T个基准子区域中每个基准子区域的灰度值大于第一阈值的像素点的第一数量；基于每个基准子区域的第一数量，确定M个反光子区域；其中，T为大于1的整数。

可选地，所述反光区域确定模块，还具体用于：

对于每个基准子区域，在第一比值大于第二阈值的情况下，则将所述基准子区域确定为反光子区域；其中，所述第一比值是每个基准子区域的第一数量与每个基准子区域的像素总量的比值。

可选地，所述反光区域确定模块，还具体用于：

确定所述T个基准子区域中每个基准子区域的相邻基准子区域中灰度值小于第三阈值的像素点的数量，得到所述基准子区域的第二数量；基于每个所述基准子区域的第一数量和第二数量，从所述基准子区域中，确定M个反光子区域。

可选地，所述反光区域确定模块，还具体用于：

对于每个所述基准子区域，在第一比值大于第二阈值，且所述第二数量与所述相邻基准子区域的像素总量相等的情况下，将所述基准子区域确定为反光子区域；其中，所述第一比值是每个基准子区域的第一数量与每个基准子区域的像素总量的比值。

可选地，所述参考区域包括M个参考子区域；所述装置还包括参考区域确定模块，所述参考区域确定模块，用于对于所述反光区域中的每个反光子区域，确定每张参考图像中与每个所述反光子区域所处位置相匹配的子区域，得到T个备选子区域；根据每个所述备选子区域的清晰度，选择清晰度满足预设清晰度条件的备选子区域作为所述参考子区域；其中，T为正整数。

可选地，所述处理模块702，还具体用于：

对于所述反光区域中的每个反光子区域，将每个所述反光子区域中像素点的像素值替换为第一目标像素值；其中，所述第一目标像素值为所述反光子区域对应的每个参考子区域中像素点的像素值。

可选地，所述装置还包括调整模块，所述调整模块，用于在不存在清晰度满足预设清晰度条件的备选子区域的情况下，调整目标摄像头的拍摄角度，并在再控制所述目标摄像头拍摄目标图像；根据所述目标图像，对所述反光区域进行图像处理；其中，所述目标摄像头为用于拍摄所述参考图像的摄像头。

可选地，所述调整模块，还具体用于：

调整所述目标摄像头的拍摄角度，并在调整过程中，检测目标摄像头采集的预览图像是否存在清晰度满足预设清晰度条件的备选子区域；在检测到所述目标摄像头采集的预览图像的指定区域的清晰度满足预设清晰度条件，且所述预览图像的指定区域的第二比值小于或等于所述第二阈值的情况下，停止调整所述拍摄角度，并控制所述目标摄像头拍摄目标图像；其中，所述指定区域是与所述反光区域所处位置相匹配的区域；所述第二比值是第三数量与所述指定区域的像素总量的比值，所述第三数量是所述指定区域中灰度值大于第四阈值的像素点的数量。

可选地，所述装置还包括基准图像确定模块，所述基准图像确定模块，用于确定所述N张图像中反光区域的面积最小的图像，以作为所述基准图像。

综上所述，本发明实施例提供的图像处理装置，获取N个摄像头采集的N张图像；基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。本发明实施例中，无需用户手动去除，电子设备可以通过N个摄像头自动获取1张基准图像和N-1张参考图像，并基于参考图像中的参考区域的图像，去除基准图像中的反光区域，进而可以简化用户操作，提高处理效率，还可去除拍照过程中的摄像头预览图像的反光区域，优化拍摄效果。

同时，由于反光的物理特性，存在重合拍摄视角的不同摄像头获取的N张图像中存在反光的地方也不同，因此，本发明实施例中通过从这N张图像中确定基准图像以及参考图像，基于参考图像中的参考区域的图像对反光区域进行图像处理，可以确保反光区域的去除效果。

本发明实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。

本发明实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本发明实施例不作具体限定。

本发明实施例提供的图像处理装置能够实现图3的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图8所示，本发明实施例还提供一种电子设备800，包括至少两个摄像头801、存储器802、处理器803，存储在所述存储器802上并可在所述处理器803上运行的程序或指令，该程序或指令被处理器803执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本发明实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

参照图9，示出了实现本申请各个实施例的一种电子设备的硬件结构示意图。

该电子设备900包括但不限于：射频单元901、网络模块902、图像输入单元903、传感器904、显示单元905、用户输入单元906、接口单元907、存储器908、以及处理器909等部件。

本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器909逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，图像输入单元903，用于获取N个摄像头采集的N张图像。

处理器909，用于基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。

本发明实施例中，电子设备可以获取N个摄像头采集的N张图像；基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。本发明实施例中，无需用户手动去除，电子设备可以通过N个摄像头自动获取1张基准图像和N-1张参考图像，并基于参考图像中的参考区域的图像，去除基准图像中的反光区域，进而可以简化用户操作，提高处理效率，还可去除拍照过程中的摄像头预览图像的反光区域，优化拍摄效果。

同时，由于反光的物理特性，存在重合拍摄视角的不同摄像头获取的N张图像中存在反光的地方也不同，因此，本发明实施例中通过从这N张图像中确定基准图像以及参考图像，基于参考图像对中的参考区域的图像反光区域进行图像处理，可以确保反光区域的去除效果。

应理解的是，本申请实施例中，输入单元903可以包括图形处理器(GraphicsProcessing Unit，GPU)9031，图形处理器9031对至少两个摄像头获取的至少两张第一预览图像进行处理。显示单元905可包括显示面板9051，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9051。用户输入单元906包括触控面板9061以及其他输入设备9062。触控面板9061，也称为触摸屏。触控面板9061可包括触摸检测装置和触摸控制器两个部分。其他输入设备9062可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器908可用于存储软件程序以及各种数据，包括但不限于应用程序和操作***。处理器909可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器909中。

本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述显示控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本发明实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述显示控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本发明实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本发明实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：

获取N个摄像头采集的N张图像；

基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；

其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。

2.根据权利要求1所述的方法，其特征在于，所述反光区域包括M个反光子区域，M为正整数；所述基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理之前，还包括：

将所述基准图像划分为T个基准子区域；

确定所述T个基准子区域中每个基准子区域的灰度值大于第一阈值的像素点的第一数量；

基于每个基准子区域的第一数量，确定M个反光子区域；

其中，T为大于1的整数。

3.根据权利要求2所述的方法，其特征在于，所述基于每个基准子区域的第一数量，确定M个反光子区域，包括：

对于每个基准子区域，在第一比值大于第二阈值的情况下，将所述基准子区域确定为反光子区域；

其中，所述第一比值是每个基准子区域的第一数量与每个基准子区域的像素总量的比值。

4.根据权利要求2所述的方法，其特征在于，所述基于每个基准子区域的第一数量，确定M个反光子区域，包括：

确定所述T个基准子区域中每个基准子区域的相邻基准子区域中灰度值小于第三阈值的像素点的数量，得到所述基准子区域的第二数量；

基于每个所述基准子区域的第一数量和第二数量，从所述基准子区域中，确定M个反光子区域。

5.根据权利要求4所述的方法，其特征在于，所述基于每个所述基准子区域的第一数量和第二数量，从所述基准子区域中，确定M个反光子区域，包括：

对于每个所述基准子区域，在第一比值大于第二阈值，且所述第二数量与所述相邻基准子区域的像素总量相等的情况下，将所述基准子区域确定为反光子区域；

其中，所述第一比值是每个基准子区域的第一数量与每个基准子区域的像素总量的比值。

6.根据权利要求1至5任一所述的方法，其特征在于，所述参考区域包括M个参考子区域；所述方法还包括：

对于所述反光区域中的每个反光子区域，确定每张参考图像中与每个所述反光子区域所处位置相匹配的子区域，得到T个备选子区域；

根据每个所述备选子区域的清晰度，选择清晰度满足预设清晰度条件的备选子区域作为所述参考子区域；

其中，T为正整数。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

在不存在清晰度满足预设清晰度条件的备选子区域的情况下，调整目标摄像头的拍摄角度，并再控制所述目标摄像头拍摄目标图像；

根据所述目标图像，对所述反光区域进行图像处理；

其中，所述目标摄像头为用于拍摄所述参考图像的摄像头。

8.根据权利要求7所述的方法，其特征在于，所述调整目标摄像头的拍摄角度，并再控制所述目标摄像头拍摄目标图像，包括：

调整所述目标摄像头的拍摄角度，并在调整过程中，检测目标摄像头采集的预览图像是否存在清晰度满足预设清晰度条件的备选子区域；

在检测到所述目标摄像头采集的预览图像的指定区域的清晰度满足预设清晰度条件，且所述预览图像的指定区域的第二比值小于或等于所述第二阈值的情况下，停止调整所述拍摄角度，并控制所述目标摄像头拍摄目标图像；

其中，所述指定区域是与所述反光区域所处位置相匹配的区域；所述第二比值是第三数量与所述指定区域的像素总量的比值，所述第三数量是所述指定区域中灰度值大于第四阈值的像素点的数量。

9.根据权利要求1所述的方法，其特征在于，所述基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理，包括：

对于所述反光区域中的每个反光子区域，将每个所述反光子区域中像素点的像素值替换为第一目标像素值；

其中，所述第一目标像素值为每个所述反光子区域对应的每个参考子区域中像素点的像素值。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述N张图像中反光区域的面积最小的图像，以作为所述基准图像。

11.一种图像处理装置，其特征在于，所述装置包括：

获取模块，获取N个摄像头采集的N张图像；

处理模块，用于基于N-1张参考图像中的参考区域的图像，对基准图像中的反光区域进行图像处理；其中，所述N张图像包括所述基准图像和所述N-1张参考图像，N为大于1的整数。

12.根据权利要求11所述的装置，其特征在于，所述摄像头的底部设置有一个球状的底盘，所述底盘用于移动所述摄像头。

13.一种电子设备，其特征在于，包括至少两个摄像头、处理器、存储器，存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至10中任一项所述的图像处理方法的步骤。

Images