CN109191441B - 图像处理方法、设备、***及存储介质 - Google Patents

Abstract

本发明提供的一种图像处理方法、设备、***及存储介质，通过接收光场相机阵列拍摄的第一图像集，并任选其中一相机为标准相机，然后依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内以得到第二图像集，再将所述第二图像集中各图像所对应的焦平面统一对焦至亮面后方任一平面以得到第三图像集，最后各图像通过差值计算得到完成图像。本发明能够解决拍摄照片出现的高光问题，并且还原出去除高光的场景。

Description

图像处理方法、设备、***及存储介质

技术领域

本发明涉及图像处理领域。尤其是涉及一种图像处理方法、设备、***及存储介质。

背景技术

在日常拍摄中我们会经常遇到，如果场景中出现玻璃类物体时，例如车辆挡风玻璃、玻璃橱窗、眼镜等等，拍摄出来的照片常会出现一片亮度非常高的区域，导致其后的物体细节无法很好的得到，这种亮度非常高的区域，呈现在图像中为像素色调较亮的区域，通常称之为高光问题。现有去除高光问题的方法较多，但效果皆不尽人意，这些方法往往对高光区域后的物体很难清楚的还原，仍有细节损失或纹理信息丢失。因此，一方面亟需一种能够采集至少部分不具有高光问题的设备，另一方面还需要在后期修正时不仅能够有效去除照片中的高光区域，而且还能够高效还原被告光遮挡场景的技术。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供图像处理方法、设备、***及存储介质，用于解决现有技术中拍摄照片出现的高光问题，以及还原出没有高光的清晰场景的问题。

为实现上述目的及其他相关目的，本发明提供一种图像处理方法，方法包括：接收光场相机阵列拍摄的第一图像集，并任选其中一相机为标准相机；所述光场相机阵列中各光场相机安装有偏振镜，每个所述光场相机与其所安装的所述偏振镜之间设有安装角度，各所述光场相机之间的所述安装角度不同；依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内以得到第二图像集；将所述第二图像集中各图像所对应的焦平面统一对焦至亮面后方任一平面以得到第三图像集；所述第三图像集中各图像通过差值计算得到完成图像。

于本发明的一实施例中，所述依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内的方法包括：依据各相机所标定的内参数将各相机对应的图像物理坐标转换为相机坐标；依据各相机所标定的外参数将各相机对应的相机坐标转换至世界坐标系内；根据所述世界坐标系内各相机的对应关系将所述第一图像集中各图像投影至所述标准相机对应的图像物理坐标系内。

于本发明的一实施例中，所述统一对焦至亮面后方任一平面的方法包括：判断所述第二图像集中各图像所对应的焦平面是否平行于所述光场相机阵列平面；若是，则对焦平行于所述光场相机阵列平面的焦平面至亮面后方任一平面；若否，则调整非平行于所述光场相机阵列平面的焦平面至与所述光场相机阵列平面平行，再对焦至亮面后方任一平面。

于本发明的一实施例中，所述调整非平行于所述光场相机阵列平面的焦平面至与所述光场相机阵列平面平行的方法包括：选取所述非平行于所述光场相机阵列平面的焦平面上一点，平移所述焦平面至该点与所述光场相机阵列原点重合；将所述焦平面旋转至与所述光场相机阵列平面平行；移回所述焦平面。

于本发明的一实施例中，所述差值计算方法包括：在重新对焦后的图像中任取两张图像，将各个在同一像素坐标下在像素值相减得到第一差值图像；将所述第一差值图像中的各像素坐标下的像素值与预设阈值比较，若小于阈值，则标记为无效；若否，则标记为有效；将两张图像中作为被减数的被减图像与所述第一差值图像各个在同一像素坐标下的像素值相减得到第二差值图像；其中，对应于所述第一差值图像中标记为有效的部分，取值为所述被减图像与所述第一差值图像各个在同一像素坐标下的像素值的差值；对应于所述差值图像中标记为无效的部分，取值为所述被减图像中各像素坐标下的像素值；将所述第二差值图像放回所述第三图像集中，再任取两张图像重复上述步骤；当所述第三图像集剩余一张图像时，则得到所述完成图像。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有图像处理程序，该程序被处理器执行时实现所述的图像处理方法。

为实现上述目的及其他相关目的，本发明提供一种图像处理设备，包括：通信器、处理器、及存储器；所述通信器通信连接外部设备；所述存储器用于存储图像处理程序；所述处理器运行图像处理程序实现所述的图像处理方法。

为实现上述目的及其他相关目的，本发明提供一种光场相机阵列，包括：多个光场相机；所述多个光场相机按一定排布方式组成阵列；各所述光场相机安装有偏振镜，每个所述光场相机与其所安装的所述偏振镜之间设有安装角度，各所述光场相机之间的所述安装角度不同。

于本发明的一实施例中，所述偏振镜为圆偏振镜。

于本发明的一实施例中，每个所述光场相机与其所安装的偏振镜之间设有的安装角度是按一定比例由外向内依次递减，所述安装角度分布在0-180度范围内。

于本发明的一实施例中，各所述光场相机的镜头所处平面分别与亮面的夹角度数满足布儒斯特角范围。

为实现上述目的及其他相关目的，本发明提供一种图像处理***，包括：所述的图像处理设备、及所述的光场相机阵列；所述图像处理设备通信连接所述光场相机阵列，以实现所述的图像处理方法。

如上所述，本发明的图像处理方法、设备、***及存储介质，通过接收光场相机阵列拍摄的第一图像集，并任选其中一相机为标准相机，然后依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内以得到第二图像集，再将所述第二图像集中各图像所对应的焦平面统一对焦至亮面后方任一平面以得到第三图像集，最后各图像通过差值计算得到完成图像。具有以下有益效果：

能够解决拍摄照片出现的高光问题，并且清晰还原去除高光的场景。

附图说明

图1显示为本发明于一实施例中的图像处理方法的流程示意图。

图2显示为本发明于一实施例中的图像处理设备示意图。

图3显示为本发明于一实施例中的光场相机阵列及其场景示意图。

图4显示为本发明于一实施例中的各相机与其所安装的偏振镜的结构示意图。

图5显示为本发明于一实施例中的图像处理***示意图。

元件标号说明

S101～S104 方法步骤

200 图像处理设备

201 存储器

202 处理器

203 通信器

300 光场相机阵列

301 光场相机

401 光场相机

402 偏振镜

501 图像处理设备

502 光场相机阵列

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，展示本发明于一实施例中的图像处理方法的流程示意图，所述图像处理方法包括：

步骤S101：接收光场相机阵列拍摄的第一图像集，并任选其中一相机为标准相机；所述光场相机阵列中各光场相机安装有偏振镜，每个所述光场相机与其所安装的所述偏振镜之间设有安装角度，各所述光场相机之间的所述安装角度不同。

于本发明的一实施例中，所述各相机与其所安装的偏振镜的角度是按一定比例由外向内依次递增，所述角度分布在0-180度范围内。

其中，各所述光场相机与其所安装的偏振镜的角度各不相同，并且按一定比例依次变化，包括由外向内依次递增，其目的是尽可能多的接收来自不同方向的偏振光线。

举例来说，选取所述光场相机阵列中心一相机为0号相机，这台相机的偏振镜片角度为0°，假设光场相机阵列共有n台，则根据到0号相机的距离，由外向内将周围相机的偏振镜安装角度依次按照180/n°，180/n*2°，180/n*3°…进行设置。最后偏振光在不同相机中的强度会呈现不同的亮暗变化。

步骤S102：依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内以得到第二图像集。

于本发明的一实施例中，所述标定的内参数形成一内参矩阵为：

其中，K为内参数矩阵；fx，fy分别表示x轴和y轴上的归一化焦距；其中，fx＝f/dx，fy＝f/dy，f为相机的焦距，dx，dy分别表示x方向和y方向的一个像素所占的长度单位，即一个像素代表的实际物理值的大小尺寸；x0，y0，分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数，s表示扭曲因子或坐标轴倾斜参数，一般情况下为0。

举例来说，如一相机的焦距：f＝35mm，最高分辨率：4256×2832，传感器尺寸：36.0×23.9mm。

根据上述信息该相机相应内参数为：x0＝4256/2＝2128，y0＝2832/2＝1416，dx＝36.0/4256，dy＝23.9/2832，fx＝f/dx＝4137.8，fy＝f/dy＝4147.3。

于本发明的一实施例中，所述标定的外参数形成一外参数矩阵为：[R T]。

其中，R为旋转矩阵，表示图像绕x，y，z轴旋转的度数。例如绕x轴旋转：

T为评议矩阵，表示图像沿x，y，z轴平移的距离。如：

需要说明的是，相机标定的内参数及外参数，是求最终的投影矩阵的过程。其中包含四个基本的坐标系：世界坐标系、相机坐标系、图像物理坐标系(成像平面坐标系)、以及像素坐标系。

于本发明的一实施例中，所述依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内的方法包括：依据各相机所标定的内参数将各相机对应的图像物理坐标转换为相机坐标；依据各相机所标定的外参数将各相机对应的相机坐标转换至世界坐标系内；根据所述世界坐标系内各相机的对应关系将所述第一图像集中各图像投影至所述标准相机对应的图像物理坐标系内。

举例来说，假设1号相机为标准相机，则对于第m号相机拍摄的图像投影至标准相机对应的图像物理坐标系的变换公式为：

其中，x_m，y_m是m号相机对应图像物理坐标系下的二维坐标，等式右边的d是(x_m，y_m)这个点在m号相机视角下的深度，但实际无法从二维图像中得到深度信息，因此只能假定所有点的深度值是一样的。

等式左边的d′是投影后的深度值，对于每个点来说都是不同的。x_m′，y_m′是经过投影后的平面坐标，w′表示归一化参数。

于本发明的一实施例中，经过上述公式投影后，所有图像均在同一坐标系下，以用于光场渲染中的重新对焦。

步骤S103：将所述第二图像集中各图像所对应的焦平面统一对焦至亮面后方任一平面以得到第三图像集。

于本发明的一实施例中，所述亮面表示在所拍摄场景中形成有亮度较高区域或高光区的物体平面，如形成有高光区域的前车窗玻璃，或形成有高光区域的橱窗玻璃面。

于本发明的一实施例中，所述统一对焦至亮面后方任一平面的方法包括：判断所述第二图像集中各图像所对应的焦平面是否平行于所述光场相机阵列平面；若是，则对焦至亮面后方任一平面；若否，则选取所述非平行于所述光场相机阵列平面的焦平面上一点，平移所述焦平面至该点与所述光场相机阵列原点重合；将所述焦平面旋转至与所述光场相机阵列平面平行；移回所述焦平面；对焦至亮面后方任一平面。

需要说明的是，重对焦指通过改变光场处理时的设定深度来改变虚拟相机的实际对焦深度以及实际位置，从而得到最多的所需物体的图像信息，具体为通过进行更大距离的位移来消除对应像素之间的相对距离，然后叠加得到新的对焦于的图像。而重对焦需要所有图像在同一坐标系下。

于本发明的一实施例中，在焦平面平行于所述光场相机阵列平面的情况下，依据设定对焦深度值，即可改变对焦深度。

但在焦平面未平行于所述光场相机阵列平面的情况下，则需要先调整至平行，再调整对焦深度。上述调整的过程可以用公式表达为：

其中，XYZ为各相机在世界坐标系下的真是坐标。

步骤S104：所述第三图像集中各图像通过差值计算得到完成图像。

于本发明的一实施例中，所述差值计算方法包括：在重新对焦后的图像中任取两张图像，将各个在同一像素坐标下在像素值相减得到第一差值图像；将所述第一差值图像中的各像素坐标下的像素值与预设阈值比较，若小于阈值，则标记为无效；若否，则标记为有效；将两张图像中作为被减数的被减图像与所述第一差值图像各个在同一像素坐标下的像素值相减得到第二差值图像；其中，对应于所述第一差值图像中标记为有效的部分，取值为所述被减图像与所述第一差值图像各个在同一像素坐标下的像素值的差值；对应于所述差值图像中标记为无效的部分，取值为所述被减图像中各像素坐标下的像素值；将所述第二差值图像放回所述第三图像集中，再任取两张图像重复上述步骤；当所述第三图像集剩余一张图像时，则得到所述完成图像。

于本发明的一实施例中，所述通过差值计算的前提是需各图像处在同一图像物理坐标下。在同一坐标下多张图像会重叠，而该图像物理坐标下对应有统一的图像像素坐标系，所述像素坐标系下包含每个图像的像素坐标。

其中，其中每个像素坐标包含多个像素点，每个像素点由r、g、b三通道的像素值组成，任意选取两张图像各个像素坐标下的像素值逐个相减，这里的减法是将两张图像对应r、g、b三通道的像素值作减法，能够得到该像素点三个通道的像素值的差值，从而进一步可得到差值图像。

举例来说，在重新对焦后的图像中任取两张图像im₁、im₂，将同一像素坐标下的像素值相减得到第一差值图像im_d1，即im_d1＝im₁–im₂。

将所述第一差值图像中的像素坐标下各像素值与预设阈值e比较，若小于阈值，则标记为无效；若否，则标记为有效。

将两张图像中作为被减数的被减图像im₁与所述第一差值图像im_d1的同一像素坐标下的像素值相减得到第二差值图像im_d2。

将所述第二差值图像im_d2放回所述第三图像集中，再任取两张图像重复上述步骤；

当所述第三图像集剩余一张图像时，则得到所述完成图像im_result，即为去除高光的图像。

于本发明的一实施例中，因为任取的两张图像不放回图像集，仅将所述第二差值图像im_d2放回所述第三图像集，因此所述第三图像集中图像会逐渐减少，所以结束条件是图像集中所有图像经过处理，即最后一次处理时所述第三图像集中仅剩一张图像。

需要说明的是，预设阈值e也是包括三通道，其中一像素点内三通道的阈值没有必然联系，需要根据实际场景的光照、反光强烈程度以及白平衡进行相应调整。

举例来说，假设预设阈值e为0，则通过上述差值计算，不同图像两两相减，会得到各自图像在像素坐标下像素值较低的部分，最终会得到综合像素值降低的完成图像。

而在差值计算的过程中，设预设阈值e更像是敏感系数，而e值越大，越不敏感。另举例来说，当在光照条件好、反光强烈的场景中，在亮面中，非高光区域的亮度也非常高，如果设预设阈值e较低，即较为敏感，则有可能通过差值计算无法有效准确地去除想要去除的高光区域，反而可能非高光区域因亮度较高，也别去除，从而影响图像整体画面。

所以，一般来说，光照条件好、反光强烈的场景需要更大的预设阈值。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有图像处理程序，该程序被处理器执行时实现如图1展示本发明于一实施例中的图像处理方法。

所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的图像处理程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

这些计算机程序程序也可装载到计算机或其他可编程数据处理设备上，使在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

如图2所示，展示本发明于一实施例中的图像处理设备示意图，所述图像处理设备200包括：通信器203、处理器202、及存储器201；所述通信器203通信连接外部设备；所述存储器201用于存储图像处理程序；所述处理器202运行图像处理程序实现如图1展示本发明于一实施例中的图像处理方法。

所述通信器203用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接，所述通信连接可以是一个或多个有线和/或无线网络的任何合适的组合形式。例如，通信方式可以包括互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。

所述存储器201可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

所述处理器202可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图3所示，展示本发明于一实施例中的光场相机阵列及其示意图。如图所示，所述光场相机阵列300包括：多个光场相机301；所述多个光场相机301按一定排布方式组成阵列.

于本发明的一实施例中，所述光场相机301优选为复数RGB光场相机。

其中，RGB的色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色***之一。

于本发明的一实施例中，所述光场相机阵列300设有一个刚性的支架，从而保证搭建完以后各光场相机301之间的相对位置不发生移动。

于本发明的一实施例中，所述光场相机阵列300的各光场相机301排布方式比较灵活，可呈m×n的矩阵排列，可呈m×n的蜂窝状排列，也可呈环绕中心的排列，即一个光场相机在中心，再用其他光场相机围绕其排布，形成一个n环的光场相机阵列300。

需要说明的是，每两台光场相机301的间距大小会影响最后的去高光效果，如果光场相机301间距较大，那么光场重建时非设定焦平面深度的物体就会模糊，但对于不同角度的光线的适应性更好，而密集的相机排布会使得非设定焦平面深度的物体更清晰，从而扩大可用数据范围。所以要根据具体的使用场景来决定光场相机301的间距，一般来说，对于室外阳光，应该选取尽可能小的相机间距。

于本发明的一实施例中，各所述光场相机301的镜头所处平面分别与亮面的夹角度数满足布儒斯特角范围。

需要说明的是，所述各光场相机301的镜头所处平面分别与亮面的夹角度数满足布儒斯特角范围，其目的是保证进入相机的大部分光线具有偏振的特性。

于本发明的一实施例中，虽然选取的布儒斯特角具有不确定性，但在本发明一实施例中，所述各光场相机301的镜头所处平面分别与亮面的夹角度应保持一致。可通过整体调整光场相机阵列300与所述亮面的夹角实现各光场相机301的镜头所处平面分别与亮面的夹角度保持一致。

其中，布儒斯特角又称为起偏振角，当入射自然光以此角度射入界面时，反射光是线偏振光，并且与折射光线互相垂直。当光线从空气射入介质时，布儒斯特角的正切值等于介质的折射率n。由于介质的折射率是与光波长有关的，对同样的介质，布儒斯特角的大小也是与光波长有关的。

举例来说，以光学玻璃折射率为1.4-1.9计算，布儒斯特角大约为54-62度左右。

如图4所示，展示本发明于一实施例中的各相机与其所安装的偏振镜的结构示意图。如图所示，各所述光场相机401安装有偏振镜402。

于本发明的一实施例中，所述偏振镜402优选圆偏振镜。

需要说明的是，一般偏振镜分为线偏振镜和圆偏振镜。通常线偏振镜和圆偏振镜都可以满足摄影的基本要求，但线偏振镜会影响测光和自动聚焦，不适合自动化程度较高的数码相机使用。因现在的数码相机都具有自动对焦和自动曝光的功能，线偏振镜可能导致自动曝光不准，自动对焦有可能失控，然而圆偏振镜在这类相机上却能工作地很好，所以在本发明实施例中所述偏振镜402优选为圆偏振镜。

需要说明的是，振动方向对于传播方向的不对称性叫做偏振，只有横波才能产生偏振现象。光波电矢量振动的空间分布对于光的传播方向失去对称性的现象叫做光的偏振。光波包含一切可能方向的横振动，但不同方向上的振幅不等，在两个互相垂直的方向上振幅具有最大值和最小值，这种光称为部分偏振光。自然光和部分偏振光实际上是由许多振动方向不同的线偏振光组成。

于本发明的一实施例中，每个所述光场相机401与其所安装的所述偏振镜402之间设有安装角度，各所述光场相机401之间的所述安装角度不同。

于本发明的一实施例中，每个所述光场相机401与其所安装的偏振镜402之间设有的安装角度是按一定比例由外向内依次递减，所述安装角度分布在0-180度范围内。。

其中，各所述光场相机401与其所安装的偏振镜402的安装角度各不相同，并且按一定比例依次变化，包括由外向内依次递增，其目的是尽可能多的接收来自不同方向的偏振光线。

举例来说，选取光场相机阵列中心一光场相机401为0号相机，这台相机的偏振镜片安装角度为0°，假设光场相机阵列共有n台，则根据到0号相机的距离，由外向内将周围光场相机的偏振镜安装角度依次按照180/n°，180/n*2°，180/n*3°…进行设置。最后偏振光在不同相机中的强度会呈现不同的亮暗变化。

如图5所示，展示本发明于一实施例中的图像处理***示意图，包括：如图2展示本发明于一实施例中的图像处理设备501、及如图3展示本发明于一实施例中的光场相机阵列502；所述图像处理设备通信连接所述光场相机阵列，以实现如图1所述的图像处理方法。

于本发明的一实施例中，所述图像处理设备501与图2所展示本发明于一实施例中的图像处理设备相同，所述光场相机阵列502与图3所展示本发明于一实施例中的光场相机阵列相同，故这里不再赘述。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同要素。

综上所述，本发明的一种图像处理方法、设备、***及存储介质，通过接收光场相机阵列拍摄的第一图像集，并任选其中一相机为标准相机，然后依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内以得到第二图像集，再将所述第二图像集中各图像所对应的焦平面统一对焦至亮面后方任一平面以得到第三图像集，最后各图像通过差值计算得到完成图像。

本发明能够解决拍摄照片出现的高光问题，并且清晰还原出去除高光的场景。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种图像处理方法，其特征在于，方法包括：

接收光场相机阵列拍摄的第一图像集，并任选其中一相机为标准相机；所述光场相机阵列中各光场相机安装有偏振镜，每个所述光场相机与其所安装的所述偏振镜之间设有安装角度，各所述光场相机之间的所述安装角度不同；

依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内以得到第二图像集；

将所述第二图像集中各图像所对应的焦平面统一对焦至亮面后方任一平面以得到第三图像集；

所述第三图像集中各图像通过差值计算得到完成图像；其中，在重新对焦后的图像中任取两张图像，将各个在同一像素坐标下在像素值相减得到第一差值图像；将所述第一差值图像中的各像素坐标下的像素值与预设阈值比较，若小于阈值，则标记为无效；若否，则标记为有效；将两张图像中作为被减数的被减图像与所述第一差值图像各个在同一像素坐标下的像素值相减得到第二差值图像；其中，对应于所述第一差值图像中标记为有效的部分，取值为所述被减图像与所述第一差值图像各个在同一像素坐标下的像素值的差值；对应于所述差值图像中标记为无效的部分，取值为所述被减图像中各像素坐标下的像素值；将所述第二差值图像放回所述第三图像集中，再任取两张图像重复上述步骤；当所述第三图像集剩余一张图像时，则得到所述完成图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述依据各相机所标定的内参数和外参数将所述第一图像集中各图像分别投影至所述标准相机对应的图像物理坐标系内的方法包括：

依据各相机所标定的内参数将各相机对应的图像物理坐标转换为相机坐标；

依据各相机所标定的外参数将各相机对应的相机坐标转换至世界坐标系内；

根据所述世界坐标系内各相机的对应关系将所述第一图像集中各图像投影至所述标准相机对应的图像物理坐标系内。

3.根据权利要求1所述的图像处理方法，其特征在于，所述统一对焦至亮面后方任一平面的方法包括：

判断所述第二图像集中各图像所对应的焦平面是否平行于所述光场相机阵列平面；

若是，则对焦平行于所述光场相机阵列平面的焦平面至亮面后方任一平面；

若否，则调整非平行于所述光场相机阵列平面的焦平面至与所述光场相机阵列平面平行，再对焦至亮面后方任一平面。

4.根据权利要求3所述的图像处理方法，其特征在于，所述调整非平行于所述光场相机阵列平面的焦平面至与所述光场相机阵列平面平行的方法包括：

选取所述非平行于所述光场相机阵列平面的焦平面上一点，平移所述焦平面至该点与所述光场相机阵列原点重合；

将所述焦平面旋转至与所述光场相机阵列平面平行；

移回所述焦平面。

5.一种计算机可读存储介质，其上存储有图像处理程序，其特征在于，该程序被处理器执行时实现权利要求1至4中任一项所述的图像处理方法。

6.一种图像处理设备，其特征在于，包括：通信器、处理器、及存储器；

所述通信器通信连接外部设备；所述存储器用于存储图像处理程序；所述处理器运行图像处理程序实现权利要求1至4中任一项所述的图像处理方法。

7.一种图像处理***，其特征在于，包括：如权利要求6所述的图像处理设备、及光场相机阵列；所述图像处理设备通信连接所述光场相机阵列，以实现权利要求1至4中任一项所述的图像处理方法。

8.根据权利要求7所述的图像处理***，其特征在于，所述光场相机阵列包括：多个光场相机；所述多个光场相机按一定排布方式组成阵列；各所述光场相机安装有偏振镜，每个所述光场相机与其所安装的所述偏振镜之间设有安装角度，各所述光场相机之间的所述安装角度不同。

9.根据权利要求8所述的图像处理***，其特征在于，所述偏振镜为圆偏振镜。

10.根据权利要求8所述的图像处理***，其特征在于，每个所述光场相机与其所安装的偏振镜之间设有的安装角度是按一定比例由外向内依次递减，所述安装角度分布在0-180度范围内。

11.根据权利要求8所述的图像处理***，其特征在于，各所述光场相机的镜头所处平面分别与亮面的夹角度数满足布儒斯特角范围。

Images