CN113808024A - 幻影反射补偿方法及设备 - Google Patents

Abstract

本公开涉及幻影反射补偿方法及装置。提供了一种用于补偿通过摄像装置拍摄的图像中的幻影反射的电子设备，包括处理电路，被配置为：通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权，其中所述幻影反射补偿模型与进行拍摄时所述摄像装置中的光反射导致的幻影反射在图像中的强度分布有关；以及组合待补偿图像和经加权的图像以消除图像中的幻影反射。

Description

幻影反射补偿方法及设备

技术领域

本公开涉及图像处理，特别涉及图像补偿处理。

背景技术

近年来，静态图像或一系列运动图像(诸如视频)中的对象检测/识别/比对/跟踪被普遍地和重要地应用于图像处理、计算机视觉和图案识别领域，并且在其中起到重要作用。对象可以是人的身体部位，诸如脸部、手部、身体等，其它生物或者植物，或者任何其它希望检测的物体。对象识别是最重要的计算机视觉任务之一，其目标是根据输入的照片/视频来识别或验证特定的对象，继而准确地获知对象的相关信息。特别地，在一些应用场景中，在基于通过摄像装置拍摄的对象图像进行对象识别时，需要能够从图像中准确识别对象的细节信息，继而准确地识别对象。

然而，当前摄像装置所获得的图像中往往会包含各种噪声，而噪声的存在使得图像质量变差，可能会导致得到不准确甚至是错误的细节信息，继而会影响对象的成像和识别。

因此，需要改进的技术来改进图像处理以进一步抑制噪声。

除非另有说明，否则不应假定本节中描述的任何方法仅仅因为包含在本节中而成为现有技术。同样，除非另有说明，否则关于一种或多种方法所认识出的问题不应在本节的基础上假定在任何现有技术中都认识到。

发明内容

本公开的一个目的是改进图像处理以进一步抑制图像中的噪声，尤其是与幻影反射有关的噪声，继而提高图像质量。

特别地，拍摄的图像可能会存在幻影，继而导致图像质量差。本公开能够利用幻影反射补偿模型对图像进行补偿，有效地去除图像中的幻影，获得高质量的图像。

在一个方面，提供了一种用于补偿通过摄像装置拍摄的图像中的幻影反射的电子设备，包括处理电路，被配置为：通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权，其中所述幻影反射补偿模型与进行拍摄时所述摄像装置中的光反射导致的幻影反射在图像中的强度分布有关；以及组合待补偿图像和经加权的图像以消除图像中的幻影反射。

在另一方面，提供了一种用于补偿通过摄像装置拍摄的图像中的幻影反射的方法，包括以下步骤：计算步骤，用于通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权，其中所述幻影反射补偿模型与进行拍摄时所述摄像装置中的光反射导致的幻影反射在图像中的强度分布有关；以及补偿步骤，用于组合待补偿图像和经加权的图像以消除图像中的幻影反射。

在还另一方面，提供了一种包括至少一个处理器和至少一个存储设备，所述至少一个存储设备其上存储有指令，该指令在由所述至少一个处理器执行时可使得所述至少一个处理器执行如本文所述的方法。

在仍另一方面，提供了一种存储有指令的存储介质，该指令在由处理器执行时可以使得执行如本文所述的方法。

从参照附图的示例性实施例的以下描述，本发明的其它特征将变得清晰。

附图说明

并入说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描述一起用于解释本发明的原理。在附图中，相似的附图标记指示相似的项目。

图1示出了ToF技术的概述图。

图2A示出了近距物体拍摄中的近距物体导致的光反射。

图2B示出了照相滤光器导致的光反射。

图3示出了图像中的幻影现象的示意图。

图4A到4C示出了置信度图像和深度图像中的幻影反射的示例。

图5A示出了本公开方案中的包含散射补偿的图像处理流程。

图5B示出了本公开方案中的示例性的散射补偿操作。

图5C示出了本公开方案中的散射补偿的结果。

图6示出了根据本公开的实施例的幻影反射补偿方法的流程图。

图7示出了根据本公开的实施例的能够进行幻影反射补偿的电子设备的框图。

图8示出了根据本公开的实施例的幻影反射补偿模型的图示。

图9示出了根据本公开的实施例的幻影反射补偿模型的提取。

图10A示出了根据本公开的实施例的由校准用图像提取幻影反射补偿模型的示例性基本流程，图10B和10C示出了根据本公开的实施例的示例性图像旋转操作的示意图。

图11示出了包含根据本公开的实施例的幻影反射补偿的图像处理流程。

图12示出了包含根据本公开的实施例的幻影反射补偿的图像处理流程。

图13示出了根据本公开的实施例的幻影反射补偿的执行结果。

图14A和14B示出了根据本公开的实施例的对于dToF传感器的幻影反射补偿。

图15示出了根据本公开的实施例的对于点ToF的幻影反射补偿。

图16示出了根据本公开的实施例的拍摄装置。

图17示出了示出了能够实现本发明的实施例的计算机***的示例性硬件配置的框图。

虽然在本公开内容中所描述的实施例可能易于有各种修改和另选形式，但是其具体实施例在附图中作为例子示出并且在本文中被详细描述。但是，应当理解，附图以及对其的详细描述不是要将实施例限定到所公开的特定形式，而是相反，目的是要涵盖属于权利要求的精神和范围内的所有修改、等同和另选方案。

具体实施方式

在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实施例的所有特征。然而，应该了解，在对实施例进行实施的过程中必须做出很多特定于实施方式的设置，以便实现开发人员的具体目标，例如，符合与装置及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还应当注意，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与至少根据本公开的方案密切相关的处理步骤和/或设备结构，而省略了与本公开关系不大的其他细节。

以下将参照附图来详细描述本发明的实施例。应注意，在附图中相似的附图标记和字母指示相似的项目，并且因此一旦一个项目在一个附图中被定义，则对于随后的附图无需再对其进行论述。

在本公开中，术语“第一”、“第二”等仅仅用于区分元件或者步骤，而不是要指示时间顺序、优先选择或者重要性。

在本公开的上下文中，图像可指的是多种图像中的任一种，诸如彩色图像、灰度图像等。应指出，在本说明书的上下文中，图像的类型未被具体限制，只要这样的图像可经受处理以便进行信息提取或检测即可。此外，图像可以是原始图像或者该图像的经处理的版本，诸如在对图像执行本申请的操作之前已经经受了初步的过滤或者预处理的图像的版本。

在通过摄像装置拍摄场景时，得到的图像中通常会存在噪声，例如可能包括散射和幻影反射(ghost reflection)现象。虽然在一些情况下这些噪声现象可以增加拍摄图像的艺术效果，例如通过RGB传感器拍摄的一些风景照等的情况，但是在很多情况下，相比于RGB传感器而言，这种噪声对于使用光来测量距离的所有传感器(例如基于ToF技术的传感器，用于3D测量的结构光传感器等等)特别有害。以下将结合附图简单描述飞行时间(ToF，Time to Fight)技术以及ToF传感器拍照时所出现的噪声问题。需注意，这些噪声问题对于基于其他技术的图像传感器，例如结构光传感器以及RGB传感器也因相同的原理而存在，简洁起见本公开不再分别描述。

在飞行时间技术中，使用光发射器来照亮场景，并且测量光返回到传感器所花费的时间，即光从发射到接收的时间差，从而基于所测量的时间可计算距场景的距离，距离d＝ct/2，其中c是光速，t是所测量的时间，如图1所示。可例如通过脉冲(直接飞行时间)或连续波(间接飞行时间)来完成光发射。然而，对于采用基于ToF的传感器的相机，在进行拍照时会出现噪声现象，例如可能包括散射和幻影反射现象。这样的噪声现象可能是由于相机中的光反射导致的。

特别地，在使用相机对于近距物体进行拍摄时，这个接近的物体将向着相机返回大量的活动光，对于相机而言就类似于一个明亮光源，从而在相机中产生大量的光反射而导致散射。以下将参照附图对此进行描述。如图2A所示，通过摄像模块对包含三个物体的场景进行拍照，该摄像模块包括透镜和传感器，也就是成像器，物体1,2和3距成像器的距离分别为r(1)，r(2)和r(3)，朝这三个物体发射的光被物体反射并返回到摄像模块中成像器的相应位置，即成像位置S(1)，S(2)和S(3)。物体1非常靠近摄像模块，使得反射光强度高，会在模块内部(例如透镜和成像器件之间)反弹。在拍摄的图像中，来自物体1的信号将在其的位置周围散射，并将与来自物体2和3的信号混合。ToF传感器会将这些信号合并，而对于物体2和3提供错误的深度(测量深度在距离r(1)和距离r(2)或r(3)之间)。

此外，在相机中往往会在透镜之前设置照相滤光器(photographic filter)，这样可能导致产生幻影反射。如图2B所示，通常情况下，光线会经由滤光器和透镜入射到传感器上的成像点，如实线及其上的箭头所示，但是部分光线会从成像点朝向透镜反射并且透射通过透镜，如反向箭头所示。此时，由于设置有照相滤光器，信号会被滤光器朝着透镜反射，继而经由透镜入射到传感器上，如虚线箭头所示，就如同来自不同方向的光在传感器上成像，从而在除成像点之外另外产生作为幻影图像。

尽管此现象在RGB传感器上也可见，例如当拍摄近距物体或者明亮物体时，会在其附近或者中心对称位置处出现幻影图像，如图3中圆圈部分所指示的，相比于明亮白色斑块的浅色图像，但是ToF传感器会检测到该幻影，这意味着在传感器前面检测到错误的深度。以下将结合附图来说明相机拍摄的图片中的幻影反射现象带来的影响。

图4A示出了手机拍摄的场景图的RGB图像，拍摄模式是背景虚化模式(bokehmode)，积分时间是300μs。其中在图像右侧存在近距物体。图4B示出了该场景图的置信度图(confidence image)，该置信度图指示场景图中的深度信息的置信度，特别地，置信度图中的各像素指示场景图中的各像素提供的深度的置信度。从中可见，右侧指示近距对象，其由于近距离而显示为明亮的白色，由于如上所述的近距物体的影响，在图像中间部分反映出散射效果(靠近白色的杂乱的白点)，而在图像左侧反映出幻影反射(暗色背景上的杂乱白色区域)。图4C示出了该场景图的深度图(depth image)，该深度图指示场景中的物体的深度信息，其中深度图中的各像素指示相机到场景中的物体的距离。其中可见，在深度图的左侧会出现幻影反射导致的类似于物体的灰色阴影部分，其往往会被误认为提供深度信息。由上可见，在拍摄图像中，散射部分是位于物体图像和幻影反射部分之间的。由于幻影反射的存在，将在图像的左侧提供该近距物体的错误的深度信息，深度通常非常浅，从而导致无法正确识别近距物体的信息，尤其是深度信息。

由上可见，在通过使用包含进行光测距的传感器的相机***(特别是包含ToF传感器等的相机***)来拍摄场景的情况下，这种幻影反射现象是非常有害的，会导致检测到错误的深度，而错误的深度信息对于提供高质量图像以及后续的许多应用来说都会造成不利影响。但是，当前的技术中，对于拍摄图像的处理没有特别针对幻影反射进行补偿，从而无法有效地消除幻影反射以获得正确的物体细节信息，特别是深度信息。

图5A示出了本公开提出的图像处理中的散射补偿流程，其中对于ToF原始数据进行散射补偿，然后对于经散射补偿的数据进行后续数据处理，以得到置信度图像和深度图像。该后续数据处理可包括本领域已知的用于生成置信度图像和深度图像的处理，这里将不再详细描述。

如前所述，散射效果可能是由于摄像装置中来自近距物体的光在传感器和透镜之间反射而导致的。这样会在物体周围产生一些模糊，因此图像的边缘不太清晰。可以通过能够描述由点或像素生成的这种模糊的特性的适当函数来进行建模，该函数可以是例如PSF函数(点扩展函数)。然后根据建模结果，可以应用算法来消除由图像中所有点/像素生成的特定模糊。该算法可以是例如反卷积算法。应指出，散射的建模和补偿可以采用本领域已知的其他合适的函数和算法来进行，这里将不再详细描述。

图5B示出了根据本公开实施例的示例性散射补偿操作。对于在场景中心存在明亮的白色卡作为拍照对象时，该对象周围会出现明显的模糊，而且还可能整个图像中产生模糊，如左侧图像所示。对于此，通过利用与建模函数(例如，PSF函数)相对应(例如，逆变换)的反卷积算法将消除此散射，从而使得白色斑块的边缘会更清晰，图像中的模糊被消除，散射效果得到补偿，如右侧图像所示。

但是，散射补偿并不能有效的消除幻影反射。图5C示出了散射补偿的结果，该图像包含对应于如图4A所示的RGB图像的置信度图和深度图。(a)中自上而下分别指示原始场景图所对应的置信度图和深度图，其中包含了散射和幻影反射，(b)中自上而下分别指示经散射补偿处理后的置信度图和深度图，从中可见，即使通过散射补偿去除了图像中的散射噪声，图像左侧中仍然存在幻影反射(阴影部分)，而该幻影依然会导致错误的深度测量。

因此，本公开的一个目标是能够有效地消除幻影反射。特别地，本公开提出了利用提取到的幻影反射补偿模型来对待处理的数据/图像进行加权，并且通过利用加权后的数据/图像对待处理的数据/图像补偿，从而有效地消除幻影反射。

如上所述，这种幻影反射的现象特别地是由于相机***中滤光器所造成的反射而导致的，因此对于附加地使用滤光器的相机***而言，根据本公开的幻影反射补偿技术是尤其有利的，而不管传感器的类型如何，是ToF传感器，结构光传感器，还是RGB传感器，或者其它类型的传感器。

以下将结合附图详细描述根据本公开的实施例。

图6示出了根据本公开的实施例的用于补偿通过摄像装置拍摄的图像中的幻影反射的方法的流程图。该方法600可包括计算步骤S601，用于通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权；以及补偿步骤S602，用于组合待补偿图像和经加权的图像以消除图像中的幻影反射。

应指出，可以应用本公开的技术方案的摄像装置可包含多种类型的光学摄像装置，只要在该摄像装置拍摄图像时可能会由于光反射而导致产生幻影反射即可。作为示例，该摄像装置可包含前述的使用了照相滤光器的相机。作为示例，该摄像装置可包含前述的用于3D成像的相机。作为示例，该摄像装置可包含前述的包含基于ToF技术的传感器的相机。作为示例，该摄像装置还可对应于前述的用于近景拍摄的相机。诸如此类。

应指出，待补偿图像可以是任何适当的图像，例如由摄像装置获得的原始图像，或者已对原始图像进行过特定处理的图像，例如初步过滤，去混叠，颜色调整，对比度调整，规范化等等。应指出，预处理操作还可以包括本领域已知的其它类型的预处理操作，这里将不再详细描述。

根据本公开的实施例，幻影反射补偿模型实质上反映出的是摄像装置中发生的导致幻影反射的光反射的特性，也即是基于对于导致幻影反射的光反射进行建模而得到的模型。例如，如上所述该光反射可能由照相滤光器和/或透镜导致，即光反射特性与照相滤光器和/或透镜的特性相对应，因此该幻影反射补偿模型实质上是基于对照相滤光器和/或透镜的特性建模而得到的模型。应指出，该模型并不仅限于此，当摄像装置中存在其他部件可能造成导致幻影反射的光反射，甚至存在其他导致幻影反射的光学现象时，该模型同样等同于基于这样的其它部件或者其它光学现象的特性而建模。

根据一个实施例，幻影反射补偿模型可以与图像中的幻影反射强度分布有关。例如，幻影反射补偿模型可以与受幻影反射影响的图像中的强度分布有关，诸如整个图像的强度分布，或者尤其是源物体和幻影位置处的强度分布。

根据一个实施例，幻影反射补偿模型可以指示该图像中特定子区域处的幻影反射强度因子，其中，所述子区域包含至少一个像素。作为示例，该特定子区域可以是覆盖整个图像的各个子区域。作为另一个示例，该特定子区域是图像中的对应于源物体以及幻影反射位置的子区域。

根据本公开的实施例，该幻影反射强度因子可以基于图像中的强度分布得出，优选地基于图像中的幻影反射的强度分布得出，并且可指的是被设定为使得最小化补偿后的场景图像中的变异(variation)、尤其是最小化幻影反射位置处图像的强度与其相邻区域处图像的强度变异以用于去除幻影反射的因子。作为示例，该变异可指的是强度变异，例如幻影反射区域和该幻影反射周边相邻区域相比的图像强度变异。在此情况下该因子可被称为幻影反射补偿因子。

根据本公开的实施例，幻影反射补偿模型可以用各种形式来表示。以下将结合附图来示例性地描述幻影反射补偿模型。图8示出了根据本公开的一个实施例的示例性幻影反射补偿模型，其中(a)示出了该模型的平面化表示，(b)示出了该模型的三维图形表示，其中横轴和纵轴指示模型的平面大小，其对应于图像的尺寸，竖轴指示模型的幻影反射强度因子的数值。

根据实施例，该模型可包含强度因子(intensity factor)、中心偏移(centralshift)、尺寸等有关的各项参数。特别地，这些参数应被设定为使得模型尽可能地匹配拍摄装置中的部件的特性，如上所述。

该中心偏移相关的参数可包括参数cx和cy，它们指示在补偿操作中进行图像变换操作(例如，包括旋转和移位)的基准位置相对于图像中心的偏移，例如分别在水平和垂直方向上。特别地，通过参数cx和cy指示的位置实际上对应于要进行图像旋转的中心轴线，从而意味着图像将进行偏心旋转。作为一个示例，cx和cy可直接指示在后续处理中用于旋转图像的中心轴线相对于图像中心的偏移量，使得在进行旋转之前可以根据该偏移量将该中心轴线移动到图像中心。作为另一示例，cx和cy可对应于该模型图示的中心点位置，如图8中所示的平面化表示的中心点位置，这样在进行旋转之前可以将中心轴线从该位置移动到图像中心。根据实施例，cx和cy至少可依赖于透镜的特性，当然还可能与其它部件的特性有关。确定该中心偏移的目的是对图像进行适当的定位，使得旋转后的图像中的幻影能够和原图像中的目标对齐，具体地，可以例如通过实验或校准测量确定cx和cy的取值。

尺寸相关的参数可包括参数width和length，分别对应于图像的宽度和长度(以像素为单位)。考虑到为了便于应用，模型的图示应该与图像相对应，因此该宽度和高度也可分别指示模型图示的宽度和长度，如图8(b)中的三维图示中的平面所示。width和length可依赖于传感器的像素布置。

强度因子相关的参数可包括指示与图像相对应的强度因子分布的参数。强度因子分布可通过适当的分布函数来表达以指示例如图像的各个像素位置处的幻影反射强度因子，如图8(b)直观可见。

根据实施例，强度因子分布被设置为使得靠近图像中心的子区域处的幻影反射强度因子高于靠近图像边缘的子区域处的幻影反射强度因子。在拍摄图像中存在幻影反射的情况下，幻影反射根据出现位置的不同而会呈现出不同的光强度，特别地从中心向边缘逐渐变弱，而对于深度测量造成的不利影响也会随着强度变小而逐渐变小。因此，通过如上所述地设置强度因子，可以对图像中的幻影反射造成适当地削弱甚至消除，例如幻影反射的强度越大，则通过更大的因子对其进行削弱和消除，从而提供准确且有效的幻影反射补偿。

根据实施例，强度因子分布可以按照特定分布函数被确定。根据实施例，可以包含至少一个特定分布函数，并且每个函数可以具有对应的权重。作为示例，强度因子＝αf(1)+βf(2)+…，其中f(1)，f(2)分别指示特定函数，而α，β分别指示各函数的权重。根据实施例，分布函数的参数以及用于分布函数的权重可以例如根据拍摄装置中造成幻影反射的光反射的特性，尤其是引起该反射的部件的光学特性来设定，以便尽可能地匹配(逼近)该特性。例如，可以根据预先测试或者实验中获得的经验值确定相应参数的取值，也可以通过进一步的校准操作在经验值的基础上进行调整。

优选地，强度因子分布遵循高斯分布。使用2个参数计算高斯函数，第一个参数是std，即高斯函数的标准偏差，mu是高斯函数的平均值。应指出这两个高斯函数参数std，mu可以与拍摄装置中的造成幻影反射的反射光强度有关。特别地，参数std，mu可依赖于拍摄装置中可能引发光反射的部件的特性(例如，光学特性)，例如上述的透镜、照相滤光器等的特性。根据实施例，强度因子的表达式可包含特定数量的高斯函数，各高斯函数可被施加相应的权重。

作为一个示例，该模型例如可如下地表示：

中心偏移：

cx＝-2.5,cy＝-2.5,width＝240,length＝180

强度因子＝

1.3*Gaussian(std＝38,mu＝0)+0.6*Gaussian(std＝50,mu＝60)

应指出，强度因子表达式中所给出的高斯函数的参数，尤其是高斯函数本身的参数以及高斯函数的权重，可依赖于前述光学部件，例如滤光器、透镜，的光学特性曲线而选择，例如使得强度因子分布更好地对应于(例如，反向匹配)光学特性曲线以便消除该光学特性造成的光反射的影响。或者，该参数可根据经验设定初值，然后通过进一步的校准操作在经验值的基础上进行调整。

应指出，上述幻影反射补偿模型中强度因子使用高斯函数表达仅是示例性的，在本公开中还可以采用其他分布函数来表示，只要该分布函数能够使得模型准确地匹配图像中的幻影反射的强度分布，尤其是匹配反映摄像装置中导致幻影反射的光反射的特性，例如是引发导致幻影反射的光反射的部件的特性即可。作为示例，分布函数可以采用具有正态分布的其它函数。作为另一示例，可以采用具有其它分布的函数，例如柯西分布，伽马分布等。

根据一个实施例，该幻影反射补偿模型是从预定数量的校准用图像中提取出的。作为示例，校准用图像是通过拍摄装置拍摄用于进行校准的特定场景而获得的。该预定数量可通过经验指定，或者采用先前校准中所采用的数量。

图9示出了模型是由多个图像提取出的。左侧指示用于从中提取幻影反射补偿模型的图像，它们是针对具有白色测试卡(white chart)的校准场景而获得的图像，各场景中的白色测试卡处于不同的位置，分别位于四个拐角位置和中心位置，每个图像中同时包含指示白色测试卡的亮白色斑块和指示幻影反射的淡色斑块。应指出，校准用图像的数量和布置不限于此，只要能够适当地反映出幻影反射的信息即可。例如，白色测试卡可以布置在更多的位置，获得更多的校准用图像，以便更详细地反映出场景中的幻影反射的信息。

根据本公开的实施例，可以采用各种方式来从校准用图像提取幻影反射补偿模型。根据一个实施例，幻影反射补偿模型可被确定为使得特定数量的校准用图像在应用该模型后的强度变异满足特定要求，如前所述，所述强度变异可以指的是幻影反射区域和该幻影反射周边相邻区域相比的图像强度变异，即幻影反射区域与该幻影反射周边相邻区域的图像强度差异。根据另一个实施例，可选地或者附加地，幻影反射补偿模型还可被确定为使得应用模型后的图像中的幻影反射得以消除或缓解，幻影反射的消除或缓解可以指的是幻影反射所在位置处测得的深度/RGB信息和真实场景一致或接近。也就是说，以强度变异(以及可选地或者附加地，幻影反射消解程度)满足特定要求为条件来提取幻影反射补偿模型。

根据一个实施例，强度变异满足要求可指的是全部特定数量的场景图像或者其中至少一些场景图像所获得的变异的统计值，例如这些场景图像的变异之和，平均值等等，满足要求。作为示例，特定要求可指的是该强度变异小于特定阈值，或者特定要求可指的是图像的变异最小。由此，满足该特定要求意味着幻影反射区域与该幻影反射周边相邻区域强度基本一致，变异小，平滑，没有分界，这样可基本消除幻影反射的影响。

模型提取过程可通过各种方式来执行。根据实施例，可以采用迭代的方式来执行。作为示例，可以设定幻影反射补偿模型的各个参数的初值，利用设定的模型来计算上述的图像强度变异(以及可选地或者附加地，幻影反射消解程度)，并且验证图像强度变异(以及可选地或者附加地，幻影反射消解程度)是否满足特定要求。如果不满足则继续调整参数的设定值，进行下一次操作，直到强度变异满足特定要求，并且确定此时对应的模型为希望的幻影反射补偿模型，以用于后续的图像补偿处理。应指出，可以通过迭代操作被确定的模型参数可以至少包括模型的分布函数的相关参数，例如高斯函数自身的参数以及在存在两个或更多个高斯函数的情况下的各高斯函数的权重。

以下将参照图10A来描述一次模型提取操作中一个校准图像的强度变异的确定过程。其中，该校准图像包含白色测试卡及其幻影反射，可以作为用于提取模型的图像。应指出，这样的确定操作流程可以分别针对每个用于模型提取的图像来执行。

首先，根据幻影反射补偿模型的中心偏移参数来进行图像变换。如前所述中心偏移参数指示了旋转中心相对于图像中心的偏移量，因此图像变换实质上指示图像进行偏心旋转，即围绕偏离图像中心的中心轴线进行旋转。图10B所示直接旋转180度的情况，其中交叉符号的位置对应于由中心偏移指示的偏心轴线位置，图像变换可指的是直接围绕该偏心轴线进行旋转，以得到最终图像。

图像变换还可以通过移位和旋转操作来进行，即移位、旋转、再移位的操作过程。如图10C所示，首先将旋转中心依据该参数值进行移位(例如，根据cx和cy移动到中心)，然后围绕中心处的中心轴线进行旋转，然后根据参数值将移位后的中心反向移位(即，根据-cx和-cy来移动该中心)。

应指出，旋转可以旋转任意角度，只要使得旋转后的图像中的源对象和幻影反射位置分别与之前图像中的幻影反射位置和源对象位置重叠即可。作为一种优选的示例，旋转可以旋转180°。根据一种实现，移位和旋转使得移位和旋转后的图像中的幻影与原图像中的对象的位置相对应，而移位和旋转后的图像中的对象与原图像中的幻影的位置相对应。这样，由于移位和旋转后的图像对象位置与原图像的幻影位置对齐，这样可以利用强度因子对白色斑块的高强度进行加权，用加权强度值来抑制幻影位置处的低强度，从而有效地抑制幻影强度，实现幻影的消除。另一方面，利用强度因子对移位和旋转后的图像中的其他位置所进行的加权得到的加权强度值非常的小，在抑制原图像中的幻影过程中能够保证对原图像除幻影位置外的其他位置的强度值产生较小的影响。

然后，将变换后的图像与幻影反射补偿模型的幻影反射强度因子进行相乘(即上述加权)。特别地，将幻影反射补偿模型中的各位置处的因子与变换后的图像的对应位置的像素强度进行相乘，以得到强度缩放后的图像。

最后，将原始待补偿图像与旋转并强度缩放后的图像相对应地进行强度相减。例如，从原始待补偿图像中的区域处的强度减去强度缩放后的图像的对应区域(例如移位和旋转后对应位置的像素位置处)的强度。从而可以得到经补偿后的图像，并能够计算其中的强度变异，尤其是幻影反射位置和该幻影反射位置周边相邻区域相比的强度变异(以及可选地或者附加地，幻影反射消解程度)。

将上述确定操作过程类似地应用于其他校准用图像，可以得到在此次模型提取操作中各个图像的强度变异(以及可选地或者附加地，幻影反射消解程度)，然后可以判断这些图像的强度变异(以及可选地或者附加地，幻影反射消解程度)的统计数据是否满足特定条件。

作为一个示例，如果是阈值条件，则判断统计图像的强度变异数据是否小于预定阈值，和/或幻影的消解程度是否大于对应预定阈值。如果是，则可以认为当前所采用的补偿模型是所希望，然后停止模型提取操作，并且将该希望的模型作为在实际拍摄过程中使用的幻影反射补偿模型。如果不是，可以步进式地调整模型的参数，然后重复上述过程，直到强度变异的统计数据满足阈值要求即可。

作为另一个示例，如果最小化条件，则如果此次提取操作所确定的强度变异的统计数据相比于前一次不再变小，以及/或者幻影的消解程度的统计数据相比于前一次不再变大，则可以认为强度变异的统计数据被最小化，幻影的消解程度的统计数据被最大化，而停止模型提取操作，并且将前一次操作所对应的补偿模型作为最终的补偿模型。

应指出，上述迭代操作中模型参数的初值、步进大小等等可以被设定为任何适当的值，只要其有助于迭代收敛即可。此外，在迭代操作中，每次可以同时改变全部模型参数，或者每次仅改变一个或者多个参数。前者可以对应于通过迭代来同时确定全部的模型参数的情况，后者可以对应于如下情况，首先通过迭代来确定一个或多个参数，然后在此基础上通过迭代确定其他的参数。

根据另一种实现，可以利用幻影反射补偿模型构建最小化方程，并且当通过求解方程得到使所有场景的幻影得以预定程度的消解而图像强度变异最小的解时，将得到希望的幻影反射补偿模型。作为示例，cx，cy，以及各高斯函数的权重中的至少一个可以作为变量来构建方程组。

作为示例，可以将图像中的强度分布表示成向量或矩阵，则如上参照图10描述的图像与模型相乘可以表示为数学意义上的向量或矩阵乘法，由此可以将图10所描述的确定强度变异的操作用向量或矩阵方式表示出来，从而可以应用适当的方法来进行最小化求解，例如最小二乘法等。

根据本公开的实施例，幻影反射补偿模型可以是在摄像装置被用户使用之前被确定的，例如生产过程，出厂测试时，等等。作为示例，可以是在生产过程中与其它校准工作(例如，对于ToF相机，温度补偿、相位梯度、循环误差等等)一起进行的。这样，该幻影反射补偿模型可以被预定构建好，并存储在图像摄像装置中，例如相机中。

根据本公开的实施例，幻影反射补偿模型可以在摄像装置被用户使用期间被确定。作为示例，在用户初次使用时，可以提示用户进行相机校准。从而用户可以按照操作指示来拍摄校准图像，由此从所拍摄的图像中提取出幻影反射补偿模型。作为另一示例，在用户拍摄了特定数量的图像(例如，快门使用了特定次数等)的情况下，可以提示用户进行模型更新。

根据本公开的实施例，幻影反射补偿模型可以在摄像装置进行产品维护服务中被更新或推送。作为示例，在既有幻影反射补偿功能的摄像装置更换摄像装置的照相滤光器和/或透镜时，或者在未有幻影反射补偿功能的摄像装置进行软件升级等等时，可以执行上述模型提取过程以进行模型更新或建立。

上文已经描述了幻影反射补偿模型可以等同于表征在摄像装置中造成导致幻影反射的光反射的部件的特性，特别地是透镜和摄影滤光器特性。从某种意义上而言，幻影反射补偿模型与摄像装置中的透镜和/或照相滤光器是相对应的。根据一个实施例，如果相机包含的滤光器和透镜、尤其是透镜，是固定不变的情况下，则所构建的幻影反射补偿模型可以相对固定的，尤其是在拍摄过程中保持不变的。根据另一实施例，在相机的滤光器和/或透镜是可更换的情况下，在摄像装置更换这样的部件时，幻影反射补偿模型也需要被相应地更新。根据一个实施例，在更换部件时可以自动或者提示用户来提取与更换后的部件相对应的幻影补偿模型，可以如上所述地执行。根据另一种实施例，可以自动选用与更换后的部件相对应的模型。例如在相机***中预先存储与适用于该相机***的所有滤光器和/或透镜对应的幻影补偿模型的集合。这样，在相机***更换了滤光器和/或透镜之后，可以从所存储的集合中自动选择与更换后的滤光器和/或透镜相对应的幻影反射补偿模型来进行应用。根据还另一实施例，考虑到滤光器和/或透镜的更换往往可能造成光学特性的一定程度的改变，例如透镜特征可能改变，继而影响中心偏移参数，因此在进行滤光器和/或透镜更换时，即使预先存储了对应的模型，仍可自动或者提示用户来提取新的模型，而不进行自动选择。例如可以通过***预先设置，或者用户提示来进行此操作。例如，可以在***中预先设置在任何情况下都自动更新模型。或者例如，可以提示用户是进行模型校准，还是自动选择模型。

在如上所述的确定了根据本公开的幻影反射补偿模型之后，则可以应用该模型来进一步优化拍摄图像，提高图像质量。

根据本公开的实施例，在对图像加权的操作中，可以对于拍摄图像中的每个子区域，利用幻影反射补偿模型中的对应的幻影反射强度缩放因子进行强度缩放，从而获得经强度缩放的图像作为经加权的图像。

根据一个实施例，在对图像加权的操作中，可以将待补偿图像进行旋转；以及使用幻影反射补偿模型对旋转后的图像进行加权(例如，相乘)以得到经加权的图像。根据一种实施例，通过将待补偿图像和经加权的图像中的对应位置处的像素强度进行相减以获得经补偿的图像。

应指出，这里的旋转、相乘和相减等操作可以与上文参照图10描述的方式类似的方式来进行，只是左侧的输入图像为待补偿的拍摄图像，右侧的输出图像为补偿后的拍摄图像，其中幻影发射已经被有效地消除。特别地，依照幻影反射补偿模型的中心参数cx和cy来移位和旋转待补偿图像，也就是说旋转可以是围绕一个偏离图像中心的轴进行的。在进行相乘操作时，将变换后的图像的各位置与相应的幻影反射补偿模型因子进行相乘，例如可以在模型图示与变换后的图像对齐后进行相乘以进行强度缩放。

根据一些实施例，根据本公开的幻影反射补偿操作可以在散射补偿之前或者之后进行，而能够取得基本相似的有利效果。图11(a)示出了在散射补偿之前进行幻影反射补偿，也即是说上述的待补偿图像是由ToF传感器得到的原始图像。而图11(b)示出了在散射补偿之后进行幻影反射补偿，也即是说上述的待补偿图像是已经进行了散射补偿的图像。

根据本公开的实施例，该方法还包括散射补偿步骤，用于补偿图像中的散射。根据一些实施例，根据本公开的摄像装置为使用拍摄滤光器的摄像装置。根据一些实施例，该拍摄装置包括ToF传感器，待补偿的图像包括深度图像。

前述的示例中主要描述了一个场景的待补偿图像是一个图像的情况。但是，本发明的实施例同样可以用于对于一个场景存在至少两个待补偿图像的情况。

根据一些实施例，场景拍摄所获得的原始图像数据可对应于至少两个子图像，并且对于每个子图像执行根据本公开的幻影反射补偿操作，包括上述的计算和补偿步骤，由此得到经补偿的至少两个子图像。可以通过组合经补偿的至少两个子图像来得到最终的对应于该场景的补偿图像。

作为示例，所述至少两个子图像包括待对应于原始图像数据的I图像和Q图像。以下将以I和Q图像为例来说明针对子图像的补偿。图12示出了包含针对I和Q图像进行幻影反射补偿的操作示例。

为了能够测量距离，iToF传感器通常需要捕获4个分量。这些分量是关于在预定义相移的情况下发射器(激光器)之间的相位偏移以及光到传感器的返回。这4个分量分别是针对0度，90度，180度和270度被记录。获得这4个分量作为ToF原始数据。

根据这些原始数据，我们可以计算I和Q图像。其中I可以指示所捕获的同相数据，例如I图像是针对0度的分量和针对180度的分量的组合，Q可以指示所捕获的正交相位的数据，例如Q图像是针对90度的分量和针对270度的分量的组合。作为一个示例，它们的计算如下：

I＝分量(0度)-分量(180度)

Q＝分量(90度)-分量(270度)

然后分别针对I和Q图像进行补偿，具体补偿方式可如上参照图10所描述的方式进行，尤其是分别针对I和Q图像中的每个，分别执行上述的幻影反射补偿操作，这里将不再详细描述。

最后，利用补偿后的I和Q图像用于生成置信度图像，以及深度图像。

作为一个示例，置信度图像是根据I和Q计算的，如下所示：

置信度＝abs(I)+abs(Q)

其中abs()指示绝对值函数，分别指示I图像和Q图像中的各子区域或者像素点的置信度的绝对值。作为示例，置信度图还可以采用本领域已知的其它方式来获得，这里将不再详细描述。

作为示例，深度图可从I和Q图像的至少一者来获得，其可以采用本领域已知的方式来获得，这里将不再详细描述。

但是应指出，I和Q图像仅仅是示例性的。其它的子图像也是可以的，只要其能够从摄像装置拍摄获得并且能够组合得到置信度图像和深度图即可。

图13示出了根据本公开的实施例的幻影反射补偿的有益效果。其中分别示出了对应于图4A中所示的图像的置信度图像和深度图。左侧部分自上而下分别指示原始场景图所对应的置信度图和深度图，其中包含了散射和幻影反射，中间部分自上而下分别指示经补偿处理后的置信度图和深度图，从中可见，由于主要是进行散射补偿，因此即使通过散射补偿去除了图像中的散射噪声，图像左侧中仍然存在幻影反射。右侧部分自上而下分别指示利用本公开的方法进行补偿的置信度图和深度图，从中可见，通过本公开的方法有效去除了图像中的幻影反射，可以获得高质量的输出图像。

上文主要使用iToF传感器中的示例描述了幻影反射的问题以及幻影反射补偿操作。但是如上所述的，幻影反射不取决于发射器或图像传感器，而是主要依赖于摄像装置中的导致光反射的部件，尤其是它主要取决于相机中的照相滤光器和/或透镜的使用。这意味着可以在其他使用光的3D测量***上观察到此现象，包括(但不限于)：

·使用全视场发射器的间接ToF传感器，

·使用点ToF发射器的间接ToF传感器，

·直接ToF传感器，

·结构光传感器，

·其它类型的ToF传感器。

以下将参照附图描述根据本公开的实施例的针对其它类型的ToF传感器的幻影反射补偿。

图14A和14B示出了在利用直接ToF(dToF)传感器进行图像拍摄时的幻影反射补偿。

与iTOF不同，dToF在短时间内集中了光能。它包括通过激光或LED的短脉冲生成光子包，以及直接计算这些光子到达目标并返回的传播时间。然后，可以采用适当的技术用于将多个事件累积到直方图中，以便在通常均匀分布的背景噪声上识别目标峰位置。例如，该技术可以是被称为时间相关单光子计数(TCSPC)的技术，TCSPC技术是本领域已知的技术，这里将不再详细描述

对于dToF而言，幻影反射可表现为受影响像素的直方图中的“幻影峰值”。如图14A所示，上部的直方图对应于视角场(FoV)中具有高强度的对象的直方图，其中高峰值指示其对应深度。下部的直方图对应于出现幻影反射位置处的直方图，其中由于幻影反射的影响也出现深度峰值，从而会导致错误的深度检测。

根据本公开的实施例，可以针对dToF进行幻影反射补偿。特别地，对于由捕获数据得到的像素直方图，利用与前文所述的方式进行幻影反射补偿，例如进行移位和旋转、相乘、相减等操作进行幻影反射补偿，如图14B所示。从右侧的输出直方图可见，通过本公开的幻影反射补偿，幻影反射对应的直方图被显著抑制，其峰值远小于真实对象的峰值，从而不会造成错误的深度检测。

根据一个实施例，对于dToF，其幻影反射补偿模型同样可以如前文参照图10所述的操作来生成，只是输入的是捕获数据得到的像素直方图。而且，上文所述的任何其它的操作同样适用于dToF。根据另一个实施例，考虑到幻影反射补偿模型主要对应于拍摄装置中的引起导致幻影反射的光反射的部件，例如透镜和/或滤光器，因此在使用任一种ToF传感器针对该部件获得了幻影反射补偿模型之后，该模型可以应用于其他类型的ToF传感器，甚至是使用该部件的其它类型的传感器。

图15示出了在利用点ToF(spot ToF)传感器进行图像拍摄时的幻影反射补偿。图15中(a)为在不存在近距物体时拍摄的置信度图，(b)示出了理想的存在近距物体时获取的置信度图，其中即使场景中存在近距物体，除了近距物体本身的点信息之外，不会存在其他的点信息。(c)为存在幻影反射的置信度图，其中可见当在场景的右侧存在近距物体时，在场景的左侧会出现新点，这些新点是通过幻影反射生成的，它们可能会产生错误的深度，或者可能会将信号与当前斑点混合。(d)为利用本公开的方案进行幻影反射补偿后的置信度图，其中幻影反射导致的新点被有效地去除，提高了图像质量。

根据本公开的实施例，根据本公开的幻影反射补偿功能可以自动地使用，或者由用户选择使用。

作为示例，本发明的幻影补偿功能可以自动实现。例如，幻影补偿功能可以与相机的特定拍摄模式进行关联，而在拍摄过程中开启该拍摄模式时会自动启动该幻影补偿功能。例如，在近景拍摄模式，例如微距，人像等模式中会自动开启幻影补偿功能，而在远景拍摄模式，例如风景等模式中则不会自动开启幻影补偿功能。作为另一示例，相机也可以根据与拍摄对象的距离来判断是否自动开启幻影补偿功能。例如，当与拍摄对象的距离大于特定距离阈值时，则可以认为是远景拍摄而不用开启幻影补偿功能，而当与拍摄对象的距离小于特定距离阈值时，则可以认为是近景拍摄而不用开启幻影补偿功能。

作为示例，本发明的幻影补偿功能可以由用户设定。例如，在相机的拍照操作界面上会出现提示，以提示用户是否开启幻影补偿功能。当用户选择该功能时，就可以开启幻影补偿功能以在拍照时进行幻影补偿/消除。例如，在触摸式用户操作界面上出现的按钮，或者在相机上的可以起到幻影补偿功能的按钮。

根据本公开的实施例，根据本公开的幻影反射补偿模型可被多种方式存储。作为以供示例，该模型可以与摄像装置、尤其是包含透镜和滤光器的相机镜头，固化在一起，这样即使相机镜头更换到其它设备上仍可固定地使用该模型，无需在进行模型提取。另一方面，该模型可以存放在能够与摄像装置连接以进行拍照的设备中，例如便携式电子设备等。

如上所述，幻影反射对于获取深度信息是尤其不利的，因此，本公开的技术方案尤其适合于需要获得拍摄场景中对象的深度信息的各种应用，诸如需要测量深度信息的摄像装置等等。例如，本公开的技术方案可适合于采用了基于ToF技术的传感器的摄像装置，诸如iToF、全视场ToF(Full-field ToF)、点ToF(spot ToF)等。例如，本公开的技术方案可以适合于3D摄像装置，因为深度/距离信息对于获得良好的3D图像是非常重要的。

注意，即使在RGB传感器的情况下反射幻影影响不如3D测量***中那么严峻，但是本公开的实施例同样可应用于RGB传感器，尤其是当***中仅存在一个照相滤光器时，例如可以应用于便携式移动设备，其相机配备有盖玻璃(cover glass)，该场景中盖玻璃实现为滤光器。

此外，本公开的方案可以应用于有可能产生幻影反射的某些特定的拍摄模式。例如，鉴于在拍摄近距物体时可能导致大量的光反射，继而可能导致幻影反射，根据本公开的幻影反射补偿方案还尤其适合于摄像装置的与近距物体拍摄相关的模式，例如近景拍摄模式，背景虚化模式等等。

通过本公开的方案，可以有效消除图像中的幻影反射影响。特别地，通过本公开的方案，可以准确确定场景中对象的深度信息，即距离信息，从而可以在拍照时准确对焦，或者获得高质量的图像，以有助于后续的基于图像的应用。

例如，对于背景虚化效果，本公开的方案可以消除错误的深度并获得适当的对象距离。例如，对于自动对焦应用程序，即使物体靠近相机，也可以准确识别物体距离，使用良好的对焦距离来进行拍照。例如，对于面部ID识别，当拍照对象靠近相机(例如桌子)进行面部识别时，本公开的方案可以有效地去除图像中的幻影，继而获得高质量的图像以进行识别。

应指出，本公开的技术方案尤其适用于便携式设备中的相机，例如手机，平板电脑等等设备中的相机。该相机的镜头和/或相机滤光器可以是固定的，也可以是可更换的。

以下将描述根据本公开的能够进行幻影反射补偿的电子设备。图7示出了根据本公开的实施例的能够进行幻影反射补偿的电子设备的框图。电子设备700包括处理电路720，该处理电路720可被配置为通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权；以及组合待补偿图像和经加权的图像以消除图像中的幻影反射。

在上述装置的结构示例中，处理电路720可以是通用处理器的形式，也可以是专用处理电路，例如ASIC。例如，处理电路120能够由电路(硬件)或中央处理设备(诸如，中央处理单元(CPU))构造。此外，处理电路720上可以承载用于使电路(硬件)或中央处理设备工作的程序(软件)。该程序能够存储在存储器(诸如，布置在存储器中)或从外面连接的外部存储介质中，以及经由网络(诸如，互联网)下载。

根据本公开的实施例，处理电路720可以包括用于实现上述功能的各个单元，例如计算单元722，用于通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权；以及幻影反射补偿单元724，用于组合待补偿图像和经加权的图像以消除图像中的幻影反射。特别地，处理电路720还可以包括散射补偿单元726以及数据路径处理单元728。每个单元可以进行如上文所述地操作，这里将不再详细描述。

散射补偿单元726以及数据路径处理单元728用虚线绘出，旨在说明该单元并不一定被包含在处理电路中，作为示例，该单元可以在终端侧电子设备中而处理电路之外，甚至可以位于电子设备700之外。需要注意的是，尽管图7中将各个单元示为分立的单元，但是这些单元中的一个或多个也可以合并为一个单元，或者拆分为多个单元。

应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(CPU或DSP等)、集成电路等)来实现。此外，上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由处理电路本身来实现。

应理解，图7仅仅是终端侧电子设备的概略性结构配置，电子设备700还可以包括其他可能的部件(例如，存储器等)。可选地，终端侧电子设备700还可以包括未示出的其它部件，诸如存储器、网络接口、控制器等。处理电路可以与存储器相关联。例如，处理电路可以直接或间接(例如，中间可能连接有其它部件)连接到存储器，以进行数据的存取。

存储器可以存储由处理电路720产生的各种信息。存储器还可以位于终端侧电子设备内但在处理电路之外，或者甚至位于终端侧电子设备之外。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存储存储器(RAM)、动态随机存储存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、闪存存储器。

以下将描述根据本公开的摄像装置。图16示出了根据本公开的实施例的摄像装置的框图。摄像装置1600包括电子设备700，该电子设备700可如上所述地实现。

该摄像装置1600可以包括透镜单元1602，其可包括本领域中已知的各种光学透镜，用于通过光学成像而在传感器上进行物体成像。

该摄像装置1600可以包括照相滤光器1604，其可以包括本领域已知的各种照相滤光器，其可以安装到透镜前部。

该摄像装置1600还可以包括处理电路1606，其可以用于对获得的图像进行处理。作为示例，可以对进行补偿后的图像进行进一步的处理，或者对于待补偿图像进行预处理。

该摄像装置1600还可以包括各种图像传感器，例如前述的各种基于ToF技术的传感器。但是，这些传感器也可以位于摄像装置1600之外。

应指出，照相滤光器和处理电路用虚线绘出，旨在说明该单元并不一定被包含在摄像装置700中，甚至可以在摄像装置700之外而通过已知的方式进行连接和/或通信。需要注意的是，尽管图16中将各个单元示为分立的单元，但是这些单元中的一个或多个也可以合并为一个单元，或者拆分为多个单元。

在上述装置的结构示例中，处理电路1606可以是通用处理器的形式，也可以是专用处理电路，例如ASIC。例如，处理电路1606能够由电路(硬件)或中央处理设备(诸如，中央处理单元(CPU))构造。此外，处理电路1606上可以承载用于使电路(硬件)或中央处理设备工作的程序(软件)。该程序能够存储在存储器(诸如，布置在存储器中)或从外面连接的外部存储介质中，以及经由网络(诸如，互联网)下载。

本公开的技术能够应用于各种产品。

例如，本公开的技术能够应用于摄像装置本身，例如内置于相机镜头中，与相机镜头集成在一起，这样，本公开的技术可以以软件程序的形式以便由摄像装置的处理器来执行，或者以集成电路、处理器的形式集成在一起；或者用于与摄像装置相连接的设备中，例如安装有该摄像装置的便携式移动设备，这样，本公开的技术可以以软件程序的形式以便由摄像装置的处理器来执行，或者以集成电路、处理器的形式集成在一起，甚至集成在已有的处理电路中，用于在拍照过程中进行幻影反射补偿。

本公开的技术可以应用于各种摄像装置中，例如安装在便携式设备的镜头，无人机上的拍摄装置，监控设备等中的拍摄装置，等等。

本发明可被用于许多应用。例如，本发明可被用于监测、识别、跟踪照相机捕获的静态图像或移动视频中的对象，并且对于配备有相机的便携式设备、(基于相机)的移动电话等等是尤其有利的。

另外，应当理解，上述系列处理和设备也可以通过软件和/或固件实现。在通过软件和/或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机，例如图17所示的通用个人计算机1300安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等等。图17是示出根据本公开的实施例的中可采用的信息处理设备的个人计算机的示例结构的框图。在一个例子中，该个人计算机可以对应于根据本公开的上述示例性发射设备或终端侧电子设备。

在图17中，中央处理单元(CPU)1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU1301执行各种处理等时所需的数据。

CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。

下述部件连接到输入/输出接口1305：输入部分1306，包括键盘、鼠标等；输出部分1307，包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等；存储部分1308，包括硬盘等；和通信部分1309，包括网络接口卡比如LAN卡、调制解调器等。通信部分1309经由网络比如因特网执行通信处理。

根据需要，驱动器1310也连接到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。

在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。

本领域技术人员应当理解，这种存储介质不局限于图17所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

应指出，文中所述的方法和设备可被实现为软件、固件、硬件或它们的任何组合。有些组件可例如被实现为在数字信号处理器或者微处理器上运行的软件。其他组件可例如实现为硬件和/或专用集成电路。

另外，可采用多种方式来实行本发明的方法和***。例如，可通过软件、硬件、固件或它们的任何组合来实行本发明的方法和***。上文所述的该方法的步骤的顺序仅是说明性的，并且除非另外具体说明，否则本发明的方法的步骤不限于上文具体描述的顺序。此外，在一些实施例中，本发明还可具体化为记录介质中记录的程序，包括用于实施根据本发明的方法的机器可读指令。因此，本发明还涵盖了存储用于实施根据本发明的方法的程序的记录介质。这样的存储介质可以包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。

本领域技术人员应当意识到，在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作，单个操作可以分布于附加的操作中，并且操作可以在时间上至少部分重叠地执行。而且，另选的实施例可以包括特定操作的多个实例，并且在其他各种实施例中可以改变操作顺序。但是，其它的修改、变化和替换同样是可能的。因此，本说明书和附图应当被看作是说明性的，而非限制性的。

另外，本公开的实施方式还可以包括以下示意性示例(EE)。

EE 1.一种用于补偿通过摄像装置拍摄的图像中的幻影反射的电子设备，包括处理电路，被配置为：

通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权，其中所述幻影反射补偿模型与进行拍摄时所述摄像装置中的光反射导致的幻影反射在图像中的强度分布有关；以及

组合待补偿图像和经加权的图像以消除图像中的幻影反射。

EE 2、根据EE 1所述的电子设备，其中，所述幻影反射补偿模型是从预定数量的校准图像中训练得到的，并且所述幻影反射补偿模型被训练为使得在应用该幻影反射补偿模型后校准图像中的幻影反射区域相比于幻影反射区域的相邻区域的强度变异小于特定阈值或者最小。

EE 3、根据EE 2所述的电子设备，其中，在幻影反射补偿模型的训练中通过如下操作来确定强度变异：

根据预先设定的待训练的幻影反射补偿模型的中心移位参数将校准图像进行中心移位，以移位后的中心为轴进行旋转，然后根据该参数将旋转后的图像进行反向中心移位；以及

将移位和旋转后的图像乘以使用具有预先设定的强度因子参数的幻影反射补偿模型；以及

将校准图像和乘以模型后得到的图像中的对应位置处的像素强度进行相减以获得强度变异。

EE 4、根据EE 1所述的电子设备，其中，所述幻影反射补偿模型包含对应于该图像中各子区域的幻影反射因子，其中所述子区域包含至少一个像素。

EE 5、根据EE 4所述的电子设备，其中，所述幻影反射补偿模型被设定为使得靠近图像中央的子区域处的幻影反射因子大于靠近图像边缘的子区域处的幻影反射因子。

EE 6、根据EE 4所述的电子设备，其中，所述幻影反射因子是基于高斯分布被确定的。

EE 7、根据EE 4-6中任一项所述的电子设备，其中，所述处理电路被配置为：

对于拍摄图像中的每个子区域，利用幻影反射补偿模型中的对应的幻影反射强度因子进行强度缩放，从而获得经强度缩放的图像作为经加权的图像。

EE 8、根据EE 1所述的电子设备，其中所述幻影反射模型与所述拍摄装置中的在拍照时造成导致幻影反射的光反射的部件的特性相关，并且其中，所述幻影反射模型的参数依赖于该部件的特性。

EE 9、根据EE 8所述的电子设备，其中，所述部件包括透镜和照相滤光器中的至少一个。

EE 10、根据EE 8或9所述的电子设备，其中，所述幻影反射模型的模型至少包括与中心偏移相关的参数，以及用于确定幻影反射因子的高斯分布的相关参数。

EE 11、根据EE 1所述的电子设备，其中，所述幻影反射模型包括与中心偏移相关的参数，并且其中，所述处理电路被配置为：

根据该参数将待补偿图像进行中心移位，以移位后的中心为轴进行旋转，然后根据该参数将旋转后的图像进行反向中心移位；以及

使用幻影反射补偿模型对移位和旋转后的图像进行加权以得到经加权的图像。

EE 12、根据EE 11所述的电子设备，其中，上述移位和旋转使得移位和旋转后的图像中的幻影与原图像中的对象的位置相对应，而移位和旋转后的图像中的对象与原图像中的幻影的位置相对应。

EE 13、根据EE 1所述的电子设备，其中，所述处理电路被配置为：

通过将待补偿图像和经加权的图像中的对应位置处的像素强度进行相减以获得经补偿的图像。

EE 14、根据EE 1所述的电子设备，其中，所述待补偿图像对应于至少两个子图像，

并且对于每个子图像执行幻影反射补偿，由此通过组合补偿后的至少两个子图像来得到补偿的图像。

EE 15、根据EE 14所述的电子设备，其中，所述至少两个子图像包括通过拍摄原始图像数据获得的I图像和Q图像。

EE 16、根据EE 1所述的电子设备，其中，所述摄像装置为使用照相滤光器的光学摄像装置。

EE 17、根据EE 1-16中任一项所述的电子设备，其中，所述摄像装置包括ToF传感器，所述图像包括深度图像。

EE 18、一种用于补偿通过摄像装置拍摄的图像中的幻影反射的方法，包括以下步骤：

计算步骤，用于通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权，其中所述幻影反射补偿模型与进行拍摄时所述摄像装置中的光反射导致的幻影反射在图像中的强度分布有关；以及

补偿步骤，用于组合待补偿图像和经加权的图像以消除图像中的幻影反射。

EE 19、根据EE 18所述的方法，其中，所述幻影反射补偿模型是从预定数量的校准图像中训练得到的，并且所述幻影反射补偿模型被训练为使得在应用该幻影反射补偿模型后校准图像中的幻影反射区域相比于幻影反射区域的相邻区域的强度变异小于特定阈值或者最小。

EE 20、根据EE 19所述的方法，其中，在幻影反射补偿模型的训练中通过如下操作来确定强度变异：

根据预先设定的待训练的幻影反射补偿模型的中心移位参数将校准图像进行中心移位，以移位后的中心为轴进行旋转，然后根据该参数将旋转后的图像进行反向中心移位；以及

将移位和旋转后的图像乘以使用具有预先设定的强度因子参数的幻影反射补偿模型；以及

将校准图像和乘以模型后得到的图像中的对应位置处的像素强度进行相减以获得强度变异。

EE 21、根据EE 18所述的方法，其中，所述幻影反射补偿模型包含对应于该图像中各子区域的幻影反射因子，其中所述子区域包含至少一个像素。

EE 22、根据EE 20所述的方法，其中，所述幻影反射补偿模型被设定为使得靠近图像中央的子区域处的幻影反射因子大于靠近图像边缘的子区域处的幻影反射因子。

EE 23、根据EE 20所述的方法，其中，所述幻影反射因子是基于高斯分布被确定的。

EE 24、根据EE 20-22中任一项所述的方法，其中，所述计算步骤进一步包括：

对于拍摄图像中的每个子区域，利用幻影反射补偿模型中的对应的幻影反射强度因子进行强度缩放，从而获得经强度缩放的图像作为经加权的图像。

EE 25、根据EE 18所述的方法，其中所述幻影反射模型与所述拍摄装置中的在拍照时造成导致幻影反射的光反射的部件的特性相关，并且其中，所述幻影反射模型的参数依赖于该部件的特性。

EE 26、根据EE 24所述的方法，其中，所述部件包括透镜和照相滤光器中的至少一个。

EE 27、根据EE 24或25所述的方法，其中，所述幻影反射模型的模型至少包括与中心偏移相关的参数，以及用于确定幻影反射因子的高斯分布的相关参数。

EE 28、根据EE 18所述的方法，其中，所述幻影反射模型包括与中心偏移相关的参数，并且其中，所述计算步骤进一步包括：

根据该参数将待补偿图像进行中心移位，以移位后的中心为轴进行旋转，然后根据该参数将旋转后的图像进行反向中心移位；以及

使用幻影反射补偿模型对移位和旋转后的图像进行加权以得到经加权的图像。

EE 29、根据EE 28所述的方法，其中，上述移位和旋转使得移位和旋转后的图像中的幻影与原图像中的对象的位置相对应，而移位和旋转后的图像中的对象与原图像中的幻影的位置相对应。

EE 30、根据EE 18所述的方法，其中，所述补偿步骤包括：

通过将待补偿图像和经加权的图像中的对应位置处的像素强度进行相减以获得经补偿的图像。

EE 31、根据EE 18所述的方法，其中，所述待补偿图像对应于至少两个子图像，

并且对于每个子图像执行幻影反射补偿，由此通过组合补偿后的至少两个子图像来得到补偿的图像。

EE 32、根据EE 30所述的方法，其中，所述至少两个子图像包括通过拍摄原始图像数据获得的I图像和Q图像。

EE 33、根据EE 18所述的方法，其中，所述摄像装置为使用照相滤光器的光学摄像装置。

EE 34、根据EE 18-33中任一项所述的方法，其中，所述摄像装置包括ToF传感器，所述图像包括深度图像。

EE 35、一种用于对于利用直接飞行时间(dToF)传感器的图像拍摄进行幻影反射补偿的电子设备，包括处理电路，被配置为：

通过使用幻影反射补偿模型对由拍摄的原始数据得到的包含幻影反射的待补偿的像素直方图进行加权；以及

组合待补偿的像素直方图和经加权的像素直方图以消除幻影反射。

EE 36、根据EE 35所述的电子设备，其中，所述幻影反射模型包括与中心偏移相关的参数，并且其中，所述处理电路被配置为：

根据该参数将待补偿直方图进行中心移位，以移位后的中心为轴进行旋转，然后根据该参数将旋转后的直方图进行反向中心移位；以及

使用幻影反射补偿模型对移位和旋转后的直方图进行加权以得到经加权的直方图。

EE 37、根据EE 35所述的电子设备，其中，上述移位和旋转使得移位和旋转后的直方图中的幻影反射峰值与原直方图中的对象峰值相对应。

EE 38、根据EE 35所述的电子设备，其中，所述处理电路被配置为：

通过将待补偿的直方图和经加权的直方图中的对应位置处的值进行相减以获得经补偿的直方图。

EE 39、一种用于对于利用直接飞行时间(dToF)传感器的图像拍摄进行幻影反射补偿的方法，包括：

计算步骤，通过使用幻影反射补偿模型对由拍摄的原始数据得到的包含幻影反射的待补偿的像素直方图进行加权；以及

补偿步骤，组合待补偿的像素直方图和经加权的像素直方图以消除幻影反射。

EE 40、根据EE 39所述的方法，其中，所述幻影反射模型包括与中心偏移相关的参数，并且其中，所述计算步骤进一步包括：

根据该参数将待补偿直方图进行中心移位，以移位后的中心为轴进行旋转，然后根据该参数将旋转后的直方图进行反向中心移位；以及

使用幻影反射补偿模型对移位和旋转后的直方图进行加权以得到经加权的直方图。

EE 41、根据EE 39所述的方法，其中，上述移位和旋转使得移位和旋转后的直方图中的幻影反射峰值与原直方图中的对象峰值相对应。

EE 42、根据EE 39所述的电子设备，其中，所述补偿步骤进一步包括：通过将待补偿的直方图和经加权的直方图中的对应位置处的值进行相减以获得经补偿的直方图。

EE 43.一种设备，包括

至少一个处理器；和

至少一个存储设备，所述至少一个存储设备在其上存储指令，该指令在由所述至少一个处理器执行时，使所述至少一个处理器执行根据EE 17-32和39-42中任一项所述的方法。

EE 44.一种存储指令的存储介质，该指令在由处理器执行时能使得执行根据EE17-32和39-42所述的方法。

虽然已经详细说明了本公开及其优点，但是应当理解在不脱离由所附的权利要求所限定的本公开的精神和范围的情况下可以进行各种改变、替代和变换。而且，本公开实施例的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然已详细描述了本公开的一些具体实施例，但是本领域技术人员应当理解，上述实施例仅是说明性的而不限制本公开的范围。本领域技术人员应该理解，上述实施例可以被组合、修改或替换而不脱离本公开的范围和实质。本公开的范围是通过所附的权利要求限定的。

Claims (10)

1.一种用于补偿通过摄像装置拍摄的图像中的幻影反射的电子设备，包括处理电路，被配置为：

通过使用幻影反射补偿模型对包含幻影反射的待补偿图像进行加权，其中所述幻影反射补偿模型与进行拍摄时所述摄像装置中的光反射导致的幻影反射在图像中的强度分布有关；以及

组合待补偿图像和经加权的图像以消除图像中的幻影反射。

2.根据权利要求1所述的电子设备，其中，所述幻影反射补偿模型是从预定数量的校准图像中训练得到的，并且所述幻影反射补偿模型被训练为使得在应用该幻影反射补偿模型后校准图像中的幻影反射区域相比于幻影反射区域的相邻区域的强度变异小于特定阈值或者最小。

3.根据权利要求2所述的电子设备，其中，在幻影反射补偿模型的训练中通过如下操作来确定强度变异：

根据预先设定的待训练的幻影反射补偿模型的中心移位参数将校准图像进行中心移位，以移位后的中心为轴进行旋转，然后根据该参数将旋转后的图像进行反向中心移位；以及

将移位和旋转后的图像乘以使用具有预先设定的强度因子参数的幻影反射补偿模型；以及

将校准图像和乘以模型后得到的图像中的对应位置处的像素强度进行相减以获得强度变异。

4.根据权利要求1所述的电子设备，其中，所述幻影反射补偿模型包含对应于该图像中各子区域的幻影反射因子，其中所述子区域包含至少一个像素。

5.根据权利要求4所述的电子设备，其中，所述幻影反射补偿模型被设定为使得靠近图像中央的子区域处的幻影反射因子大于靠近图像边缘的子区域处的幻影反射因子。

6.根据权利要求4所述的电子设备，其中，所述幻影反射因子是基于高斯分布被确定的。

7.根据权利要求4-6中任一项所述的电子设备，其中，所述处理电路被配置为：

对于拍摄图像中的每个子区域，利用幻影反射补偿模型中的对应的幻影反射强度因子进行强度缩放，从而获得经强度缩放的图像作为经加权的图像。

8.根据权利要求1所述的电子设备，其中所述幻影反射模型与所述拍摄装置中的在拍照时造成导致幻影反射的光反射的部件的特性相关，并且其中，所述幻影反射模型的参数依赖于该部件的特性。

9.根据权利要求8所述的电子设备，其中，所述部件包括透镜和照相滤光器中的至少一个。

10.根据权利要求8或9所述的电子设备，其中，所述幻影反射模型的模型至少包括与中心偏移相关的参数，以及用于确定幻影反射因子的高斯分布的相关参数。

Images