CN110023957B - 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备 - Google Patents

用于估计图像中的投射阴影区域和/或加亮区域的方法和设备 Download PDF

Info

Publication number
CN110023957B
CN110023957B CN201780074790.XA CN201780074790A CN110023957B CN 110023957 B CN110023957 B CN 110023957B CN 201780074790 A CN201780074790 A CN 201780074790A CN 110023957 B CN110023957 B CN 110023957B
Authority
CN
China
Prior art keywords
image
ldr
hdr
luminance
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780074790.XA
Other languages
English (en)
Other versions
CN110023957A (zh
Inventor
J.斯陶德
P.罗伯特
D.根德隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
InterDigital Madison Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital Madison Patent Holdings SAS filed Critical InterDigital Madison Patent Holdings SAS
Publication of CN110023957A publication Critical patent/CN110023957A/zh
Application granted granted Critical
Publication of CN110023957B publication Critical patent/CN110023957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于估计场景中的投射阴影区域和加亮区域的方法，所述场景由称为LDR图像的低动态范围图像和称为HDR图像的高动态范围表示，所述方法包括以下步骤：‑计算(S1)被称为LDR细节图的LDR图像的细节图，所述LDR细节图将细节级别与LDR图像的每个像素相关联，‑计算(S2)被称为HDR细节图的HDR图像的细节图，所述HDR细节图将细节级别与HDR图像的每个像素相关联，以及‑检测(S3)场景中HDR细节图中的细节级别大于LDR细节图中的细节级别的区域，所检测到的区域对应于场景的投射阴影区域或加亮区域。

Description

用于估计图像中的投射阴影区域和/或加亮区域的方法和 设备
技术领域
本发明一般涉及用于估计图像中的投射阴影区域和/或加亮区域的图像处理的领域。
背景技术
相机将光刺激转换为颜色坐标。更准确地说，入射光的光谱由相机传感器集成的滤色器加权，以产生红色、绿色和蓝色的颜色坐标RGB。
图像处理的各个领域中的问题是图像分析。从图像分析估计的特定类型的信息是加亮和投射阴影。加亮是明亮的图像区域，例如由镜面(specular)反射产生。镜面反射通常因为入射光量很大在加亮区域内导致颜色坐标在其最大合法级别(legal level)处的剪切。例如，如果颜色坐标范围为0到255等，如在LDR(低动态范围)图像或SDR(标准动态范围)图像中，加亮区域中的颜色坐标通常被剪裁为255或至少强烈地动态压缩到接近255的值。另一种类型的剪切是软剪切，其中大范围的光强度值(例如从1000Cd/m2)被映射或软剪切成小范围的代码值或颜色坐标，例如从250到255。此处光分布的细节，诸如有光泽的对象的纹理，使得质量松散。在这些区域的颜色坐标分布在多个代码级别或颜色坐标而不仅仅是一个或几个代码级别的意义上，镜面反射的相同加亮区域一般更好地以HDR(高动态范围)图像表示。
如果第一对象阻碍光源的光到达第二对象，则出现投射阴影。在该第二对象上的投射阴影通常比周围场景暗得多，并导致图像区域具有非常小的颜色坐标。颜色坐标甚至可以被剪切为零或被动态强烈压缩到接近零的值。
通过大量众所周知的方法已经解决了在图像中检测加亮区域和/或投影阴影区域的问题。这些方法应用于LDR(低动态范围)图像或HDR(高动态范围)图像。
例如，用于估计投射阴影的方法在“The Shadow meets the Mask：Pyramid-BasedShadow Removal”，Y.Shor和D.Lischinski，Eurographics 2008，以及“IlluminationEstimation and Cast Shadow Detection through a Higher-order Graphical Model”，A.Panagopoulos等人，CVPR 2011中公开。
同样，用于估计加亮的方法在“Automatic detection and elimination ofspecular reflectance in color images by means of ms diagram and vectorconnected filters”，F Ortiz和F Torres，IEEE Transactions on Systems Man andCybernetics Part C Applications and Reviews，36(5)：681-687,2006和“Real-TimeSurface Light-field Capture for Augmentation of Planar Specular Surfaces”，J.Jachnik等，ISMAR 2012中公开。
这样的方法一般实现复杂和/或要求多个图像和/或使用复杂的模型或操作。这样的方法不能同时利用来自不同动态范围级别的信息，例如来自SDR和HDR图像的信息。
发明内容
根据本发明的方法是这些已知方法的替代方案。
本发明利用以下事实：视频序列在至少两个版本，一个LDR(低动态范围)版本和一个HDR(高动态范围)版本，并将被同时越来越多地广播。这些版本可以存在于相同的视频流中，例如多层视频流。接收这两个版本的显示设备将根据其显示HDR或LDR图像的能力选择要显示的版本。
本发明利用以下事实：当相同视频序列的两个版本可用时，这两个版本的存在可用于检测视频序列的图像中的投射阴影和/或加亮。投影阴影(非常少量的光)和加亮(非常大量的光)在HDR图像和LDR图像中被不同地表示。投影阴影或加亮的细节级别，诸如时空图像细节的数量，质量或分辨率在HDR图像中比在LDR图像中更高。本发明利用HDR图像和LDR图像之间的细节级别的这种差异来识别投射阴影区域和加亮区域。
因此，本发明涉及一种用于估计场景中的投射阴影区域或加亮区域的方法，所述场景由称为LDR图像的低动态范围图像和称为HDR图像的高动态范围图像表示，所述方法包括以下步骤：
-计算被称为LDR细节图的LDR图像的细节图，所述LDR细节图将细节级别与LDR图像的每个像素相关联，
-计算被称为HDR细节图的HDR图像的细节图，所述HDR细节图将细节级别与HDR图像的每个像素相关联，以及
-检测场景中HDR细节图中的细节级别大于LDR细节图中的细节级别的区域，所检测到的区域对应于场景的投射阴影区域或加亮区域。
HDR图像的动态范围高于LDR图像的动态范围。HDR图像可以由一系列LDR图像构建。可以从LDR图像的逆色调映射获得HDR图像。HDR图像和LDR图像可以彼此独立地提供。
注意，可以通过适当的已知软件自动生成表示相同场景的LDR图像和HDR图像。
图像的细节图表示图像的高频层和/或对应于该图像的精细细节。
注意，US2011/245976公开了一种检测根据在不同曝光下捕获的一系列K个LDR图像构建的HDR图像中的重影(ghost)并且从该HDR图像中去除这些重影的方法。这样的重影通过该系列的图像之间的运动导致。根据该文献的[00107]，通过计算该系列的K个图像上的亮度值的方差图来检测这些重影。在该文献的段落[0108]末尾公开的该方法的改进中，通过从该HDR图像中减去作为参考图像的该系列的一个图像来检测重影残差。没有公开HDR图像的方差图和另一个图之间的差异。
在特定实施例中，该方法还包括用于区分投影阴影区域与加亮区域的步骤。在该实施例中，该方法还包括在检测到的区域中，指定其中LDR图像或HDR图像的像素具有大于亮度阈值的亮度值的区域作为加亮区域并且指定其中所述LDR图像或HDR图像的像素具有低于所述亮度阈值的亮度值的区域作为投射阴影区域。
亮度阈值例如等于128用于具有8比特颜色坐标的LDR图像。
在特定实施例中，通过计算HDR细节图和LDR细节图之间的差异来检测场景中HDR细节图中的细节级别大于LDR细节图中的细节级别的区域。
在特定实施例中，LDR细节图通过以下计算：
-定义用于LDR图像的每个像素的亮度值，以获得LDR图像的亮度图，
-将低通滤波器应用于LDR图像的亮度图，以获得滤波后的亮度图，以及
-计算亮度图和滤波后的亮度图之间的差异，以获得LDR细节图。
例如，空间低通滤波器至少部分地去除空间图像细节。因此，由亮度图和滤波后的亮度图之间的差异产生的图是表示LDR图像的细节的图。另一种类型的低通滤波器可以是用于过滤时间细节(例如振动的对象)的时间低通滤波器。
在另一实施例中，通过轮廓检测、通过锐度分析、通过分析LDR图像中的颜色的局部分布、通过应用于该LDR图像的对比度拉伸算子，或通过用于检测图像中的细节的任何其他已知方法，而以本身已知的方式计算LDR细节图。
在特定实施例中，计算LDR细节图的步骤还包括将亮度加权函数应用于LDR细节图，以减少与LDR图像中具有中等亮度值的像素对应的LDR细节图的像素的细节级别。
在特定实施例中，计算LDR细节图的步骤还包括将中值滤波器应用于LDR细节图以减少LDR细节图中的噪声。
通过应用于HDR图像的等效步骤来计算HDR细节图。
更具体地，HDR细节图通过以下计算：
-定义用于HDR图像的每个像素的亮度值，以获得HDR图像的亮度图，
-将低通滤波器应用于HDR图像的亮度图，以获得滤波后的亮度图，以及
-计算亮度图和滤波后的亮度图之间的差异，以获得HDR细节图。
在另一个实施例中，通过轮廓检测，通过锐度分析，通过分析HDR图像中的颜色的局部分布，通过应用于该LDR图像的对比度拉伸算子，或通过用于检测图像中的细节的任何其他已知方法，而以本身已知的方式计算HDR细节图。
在特定实施例中，计算HDR细节图的步骤还包括将亮度加权函数应用于HDR细节图，以减少与HDR图像中具有中等亮度值的像素对应的HDR细节图的像素的细节级别。
本发明还关注一种包括上述方法的图像处理方法。这样的图像处理方法可以例如专用于控制阴影和被***自然图像中的虚拟对象的阴影呈现。
本发明还关注一种用于估计场景中投射阴影区域和加亮区域的设备，所述场景由称为LDR图像的低动态范围图像和称为HDR图像的高动态范围表示，所述设备包括：
-用于计算被称为LDR细节图的LDR图像的细节图的部件，所述LDR细节图将细节级别与LDR图像的每个像素相关联，
-用于计算被称为HDR细节图的HDR图像的细节图的部件，所述HDR细节图将细节级别与HDR图像的每个像素相关联，以及
-用于检测场景中HDR细节图中的细节级别大于LDR细节图中的细节级别的区域的检测部件，所检测到的区域对应于场景的投射阴影区域或加亮区域。
在特定实施例中，检测部件被配置为在检测到的区域中，指定其中LDR图像或HDR图像的像素具有大于亮度阈值的亮度值的区域作为加亮区域并且指定其中所述LDR图像或HDR图像的像素具有低于所述亮度阈值的亮度值的区域作为投射阴影区域。
本发明还关注一种包含用于估计场景中的投射阴影区域和加亮区域的上述设备的电子设备。优选地，该电子设备是照相机，电视机，监视器，头戴式显示器，机顶盒，网关，智能电话或平板电脑。
本发明还关注一种承载程序代码的指令的非暂时性存储介质，用于当在计算设备上执行所述程序时执行上述方法的步骤。
附图说明
参考以下通过示例给出并且不限制保护范围的描述和附图可以更好地理解本发明，并且其中：
-图1是本发明的方法的连续步骤的流程图；
-图2是示出根据本发明的实施例的用于计算LDR图像的LDR细节图的步骤的流程图；
-图3是图示图2的流程图的亮度加权函数的图；
-图4A至4C图示本发明方法对包括投影阴影区域的图像的结果；
-图5A至5C图示本发明方法对包括投影阴影区域的图像的结果；
-图6是实现本发明方法的设备的示意图。
具体实施方式
虽然示例实施例能够具有各种修改和替代形式，但是其实施例在附图中以示例的方式示出并且将在本文中详细描述。然而，应该理解，并不意图将示例实施例限制于所公开的特定形式，而相反，示例实施例要覆盖落入权利要求的范围内的所有修改、等同物和替代物。在整个附图的描述中，相同的数字指代相同的要素。
在更详细地讨论示例实施例之前，要注意，一些示例实施例被描述为描绘为流程图的处理或方法。尽管流程图将操作描述为顺序处理，但是一些操作可以并行，并发或同时执行。另外，可以重新安排操作的顺序。处理可以在其操作完成时终止，但也可以具有未包括在附图中的附加步骤。处理可以对应于方法，函数，过程，子例程，子程序等。
下面讨论的方法(其中一些由流程图例示)可以通过硬件，软件，固件，中间件，微代码，硬件描述语言或其任何组合来实现。当在软件，固件，中间件或微代码中实现时，用于执行必要任务的程序代码或代码段可以存储在诸如存储介质的机器或计算机可读介质中。(多个)处理器可以执行必要的任务。本文公开的具体结构和功能细节仅仅是为了表示描述本发明的示例实施例的目的。然而，本发明可以以许多替代形式实施，并且不应该被解释为仅限于本文阐述的实施例。
本发明利用相同场景的至少两个图像的存在，至少一个LDR图像和一个HDR图像，以确定该场景中的投射阴影区域和/或加亮区域。HDR图像指定具有高于LDR图像的动态范围的图像。将通过使用其颜色由8比特颜色坐标表示的LDR图像和其颜色由10比特颜色坐标表示的HDR图像来说明本发明方法。这些颜色坐标将例如以RGB颜色空间表示。
参考图1，本发明方法包括以下步骤：
-步骤S1：生成称为LDR细节图的细节图用于LDR图像；该LDR细节图为LDR图像的每个像素分配细节级别；
-步骤S2：生成称为HDR细节图的细节图用于HDR图像；该HDR细节图为HDR图像的每个像素分配细节级别。
-步骤S3：检测LDR细节图中的细节级别大于LDR细节图中的细节级别的场景的区域；检测到的区域对应于场景的投射阴影区域或加亮区域；
-步骤S4：有利地将投射阴影区域与加亮区域相区别。
以下详细描述上述步骤中的每一个。
图2示出步骤S1的可能实现方式。参考图2，通过以下子步骤计算LDR细节图。
在子步骤S10中，定义亮度值用于LDR图像的每个像素，以获得LDR图像的亮度图。对于RGB颜色空间中具有8比特颜色坐标的当前LDR图像，可以通过以下公式计算亮度Y：
Y＝0.2126*R+0.7152*G+0.0722*B.
由此生成亮度图用于LDR图像。
在子步骤S11中，将低通滤波器应用于LDR图像的亮度图，以获得滤波后的亮度图。该低通滤波器例如是众所周知的高斯低通滤波器，用于将模糊引入图像中。可以使用其他低通滤波器，例如平均化窗口，频域滤波器或FIR(有限脉冲响应)滤波器。
代替低通滤波和差异计算，还可以使用例如高通滤波器或边缘检测算法直接检测细节。
在子步骤S12中，计算亮度图和滤波后的亮度图之间的差异，以获得LDR细节图。该LDR细节图为LDR图像的每个像素分配细节级别。
在优选实施例中，在子步骤S13中将亮度加权函数应用于LDR细节图。加权函数的示例由图3图示。此加权函数的目的是去除加亮区域或阴影区域中不存在的细节。应用于LDR细节图的像素的权重取决于像素的亮度值(亮度图中的像素的值)。在图3中，亮度加权函数的等式，记为W(x)，W(x)＝[(Y(x)-128)/128]2，其中，Y(x)是亮度图中像素x的亮度值并且W(x)是要应用于像素x的细节级别(在LDR细节图中)的权重。根据该函数，基本上保持具有高或低亮度值的像素的细节级别(权重接近1)，而具有接近128的中等亮度值的像素的细节级别基本降低并且甚至设置为零。
当然，可以使用降低具有中等亮度值的像素的细节级别的其他加权函数。
有利地，在附加子步骤S14中，LDR细节图由中值滤波器滤波，以去除LDR图细节中的噪声。
再次参照图1，步骤S2包括对于HDR图像的与S10到S14相同的步骤，以获得HDR细节图。
在步骤S3中，通过计算HDR细节图和LDR细节图之间的差异来检测HDR细节图中的细节级别大于LDR细节图中的细节级别的场景的区域。更具体地，从HDR细节图中减去LDR细节图，以产生差异图。当然，在执行该减法之前，HDR和SDR图的细节级别优选地彼此对齐。例如，由于LDR图像(8比特)和HDR图像(10比特)之间的比特数的差异，HDR细节图的细节级别被除以4。其他类型的对齐是可能的，诸如在减法之前对HDR细节图的色调映射，或者将HDR和LDR图分别除以HDR和LDR漫射白的级别。具有正值的差异图的区域是可能在图像中加亮或投射阴影的区域。
在可选步骤S4中，基于LDR图像或HDR图像的亮度值将加亮区域与投射阴影区域相区分。例如，当使用LDR图像时，差异图中具有正值并且对应于LDR图像中具有亮度值大于128的像素的所有区域被声明为加亮区域，而差异图中具有正值并且对应于LDR图像中具有亮度值小于或等于127的像素的所有区域被声明为投射阴影区域。
在变型中，当多于两个动态范围级别可用时，也可以使用该方法。例如，当低动态范围(LDR)，中间动态范围(MDR)和高动态范围(HDR)图像可用时，所描述的步骤S1至S4可应用于LDR和MDR(代替HDR)，以给出第一检测结果，然后应用于MDR(代替LDR)和HDR，以给出第二检测结果。然后，组合第一和第二检测结果。该组合可以例如使用逻辑AND操作来实现，使得例如如果它包含在第一和第二检测结果中则检测到加亮。另一可能性是另外计算细节图用于MDR图像，然后将步骤S3应用于LDR和MDR(代替HDR)，以给出更多细节的第一区域，然后应用于MDR(代替LDR)和HDR，以给出更多细节的第二区域。然后例如使用逻辑OR运算组合第一和第二区域，使得在那里定义更多细节的区域，其中存在第一或第二区域的细节。然后，将步骤S4应用于这些细节的区域。
图4A至4C和图5A至5C图示本发明方法对两对图像的结果。
图4A和4B是包括投射阴影区域的场景的HDR图像和LDR图像。图4C示出通过本发明方法检测到的投影阴影区域(白色像素)。
图5A和5B是包括加亮区域的场景的HDR图像和LDR图像。图4C示出通过本发明方法检测到的加亮区域(白色像素)。
图6中给出实现该方法的设备的示例。参考图6，该设备包括：
-计算机部件10，用于如步骤S1中描述的计算LDR细节图，
-计算机部件11，用于如描述的计算HDR细节图，和
-检测部件12，用于如步骤S3和S4描述的，检测场景的区域，其中HDR细节图中的细节级别大于LDR细节图中的细节级别，并用于区分加亮区域和投射阴影区域。
根据本发明的方法的优点如下：
-能够同时利用来自SDR和HDR图像的不同动态范围级别的信息，并由此利用新型信息用于加亮和阴影检测；
-只要求两个具有不同动态范围的图像；要求的这两个图像在分层HDR内容的分布中很大程度上可用；
-该方法仅对亮度值起作用，并由此比对颜色坐标起作用的方法简单；以及
-该方法易于实现。
尽管已经在附图中图示并且在前面的具体实施方式中说明了本发明的一些实施例，但是应该理解，本发明不限于所公开的实施例，而是能够在不脱离如下权利要求阐述和限定的本发明的情况下进行大量重新布置，修改和替换。

Claims (15)

1.一种用于检测场景中的投射阴影区域和加亮区域的方法，所述场景由被称为LDR图像的低动态范围图像和具有比LDR图像更高的动态范围的被称为HDR图像的高动态范围图像表示，所述方法包括以下步骤：
-检测(S3)具有从所述HDR图像计算的HDR高频层和从所述LDR图像计算(S1)的LDR高频层之间的正的差异的区域，具有所述正的差异的所检测的区域对应于场景的投射阴影区域或加亮区域。
2.根据权利要求1所述的方法，其中，计算(S1)所述LDR高频层是基于所述LDR图像的亮度图和所述LDR图像的滤波后的亮度图之间的LDR差异，以及计算(S2)所述HDR高频层是基于所述HDR图像的亮度图和所述HDR图像的滤波后的亮度图之间的HDR差异。
3.根据权利要求2所述的方法，其中，通过将低通滤波器应用(S11)到LDR图像的亮度图来获得所述LDR图像的滤波后的亮度图。
4.根据权利要求2至3中任一项所述的方法，其中，计算LDR高频层的步骤还包括：将亮度加权函数应用于LDR差异，以减少对应于LDR图像中具有中等亮度值的像素的LDR高频层的像素的细节级别。
5.根据权利要求2至3中任一项所述的方法，其中，通过将低通滤波器应用于HDR图像的亮度图来获得所述HDR图像的滤波后的亮度图。
6.根据权利要求2至3中任一项所述的方法，其中，计算HDR高频层的步骤还包括：将亮度加权函数应用于HDR差异，以减少对应于HDR图像中具有中等亮度值的像素的HDR高频层的像素的细节级别。
7.根据权利要求1至3中任一项所述的方法，其中，该方法还包括：步骤(S4)，在检测到的区域中，指定其中LDR图像或HDR图像的像素具有大于亮度阈值的亮度值的区域作为加亮区域，并且指定其中所述LDR图像或HDR图像的像素具有低于所述亮度阈值的亮度值的区域作为投射阴影区域。
8.一种图像处理方法，包括根据权利要求1至7中任一项所述的方法。
9.一种用于检测场景中的投射阴影区域和加亮区域的设备，所述场景由被称为LDR图像的低动态范围图像和具有比LDR图像更高的动态范围的被称为HDR图像的高动态范围图像表示，所述设备包括至少一个处理器，被配置为：
-检测(S3)具有HDR高频层和LDR高频层之间的正的差异的区域，具有所述正的差异的所检测的区域对应于场景的投射阴影区域或加亮区域，其中HDR高频层从所述HDR图像计算(S2)以便向该HDR图像的每个像素提供HDR图像的细节级别，LDR高频层从所述LDR图像计算(S1)以便向该LDR图像的每个像素提供LDR图像的细节级别。
10.根据权利要求9所述的设备，其中所述至少一个处理器还被配置为：基于所述LDR图像的亮度图和所述LDR图像的滤波后的亮度图之间的LDR差异计算(S1)所述LDR高频层，以及基于所述HDR图像的亮度图和所述HDR图像的滤波后的亮度图之间的HDR差异计算(S2)所述HDR高频层。
11.根据权利要求9或10所述的设备，其中所述至少一个处理器还被配置为：在检测到的区域中，指定其中LDR图像或HDR图像的像素具有大于亮度阈值的亮度值的区域作为加亮区域，并且指定其中所述LDR图像或HDR图像的像素具有低于所述亮度阈值的亮度值的区域作为投射阴影区域。
12.一种包含根据权利要求9至11中任一项所述的设备的图像处理设备。
13.一种包含根据权利要求12的图像处理设备的电子设备。
14.根据权利要求13所述的电子设备，其从包括相机、电视机、监视器，头戴式显示器、机顶盒、网关、智能电话和平板电脑的组中选择。
15.一种承载程序代码指令的非暂时性存储介质，当在计算设备上执行所述程序时执行根据权利要求1至8之一的方法的步骤。
CN201780074790.XA 2016-11-03 2017-10-26 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备 Active CN110023957B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16306441.3A EP3319013A1 (en) 2016-11-03 2016-11-03 Method and device for estimating cast shadow regions and/or highlight regions in images
EP16306441.3 2016-11-03
PCT/EP2017/077401 WO2018082996A1 (en) 2016-11-03 2017-10-26 Method and device for estimating cast shadow regions and/or highlight regions in images

Publications (2)

Publication Number Publication Date
CN110023957A CN110023957A (zh) 2019-07-16
CN110023957B true CN110023957B (zh) 2023-08-01

Family

ID=57345846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780074790.XA Active CN110023957B (zh) 2016-11-03 2017-10-26 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备

Country Status (6)

Country Link
US (1) US11044409B2 (zh)
EP (2) EP3319013A1 (zh)
JP (1) JP7171559B2 (zh)
KR (1) KR102539381B1 (zh)
CN (1) CN110023957B (zh)
WO (1) WO2018082996A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
JP7373299B2 (ja) * 2019-04-26 2023-11-02 キヤノン株式会社 画像処理装置およびその制御方法
CN110717892B (zh) * 2019-09-18 2022-06-28 宁波大学 一种色调映射图像质量评价方法
KR20220010264A (ko) 2020-07-17 2022-01-25 에스케이하이닉스 주식회사 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002225A (zh) * 2011-04-20 2013-03-27 Csr技术公司 多曝光高动态范围图像捕捉

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5224178A (en) 1990-09-14 1993-06-29 Eastman Kodak Company Extending dynamic range of stored image database
US5235434A (en) 1991-06-27 1993-08-10 Polaroid Corporation Method and apparatus for selectively adjusting the brightness of large regions of an image
JP2872005B2 (ja) * 1993-07-05 1999-03-17 日本電気株式会社 自動画質調整装置
US5828793A (en) 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
JP4696812B2 (ja) * 2005-09-22 2011-06-08 コニカミノルタホールディングス株式会社 撮像装置
JP2008165312A (ja) * 2006-12-27 2008-07-17 Konica Minolta Holdings Inc 画像処理装置及び画像処理方法
US8207931B2 (en) * 2007-05-31 2012-06-26 Hong Kong Applied Science and Technology Research Institute Company Limited Method of displaying a low dynamic range image in a high dynamic range
US8135230B2 (en) * 2007-07-30 2012-03-13 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
KR101633893B1 (ko) 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
US8831340B2 (en) * 2010-01-27 2014-09-09 Adobe Systems Incorporated Methods and apparatus for tone mapping high dynamic range images
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
US8214086B2 (en) 2010-04-01 2012-07-03 Adc Telecommunications, Inc. Systems and methods for retractable fan cooling of electronic enclosures
JP5136664B2 (ja) 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
US8754902B2 (en) * 2011-06-03 2014-06-17 Apple Inc. Color-space selective darkness and lightness adjustment
JP6057630B2 (ja) 2012-09-12 2017-01-11 オリンパス株式会社 撮像装置
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
DE102013110583C5 (de) * 2013-09-24 2017-12-14 Faro Technologies, Inc. Verfahren und Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
EP3072288B1 (en) * 2013-11-22 2019-06-12 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
EP3105926B1 (en) * 2014-02-13 2018-04-11 Dolby International AB Piecewise inter-layer prediction for signals with enhanced dynamic range
WO2015197436A1 (en) * 2014-06-25 2015-12-30 Thomson Licensing Method and device for processing images
EP2961169A1 (en) * 2014-06-25 2015-12-30 Thomson Licensing Method and device for processing images
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images
CN106464815B (zh) * 2014-11-21 2020-01-14 深圳市大疆创新科技有限公司 高动态范围成像的快速自适应混合的***以及方法
RU2661309C1 (ru) * 2015-02-17 2018-07-13 Долби Лэборетериз Лайсенсинг Корпорейшн Межслойное предсказание для сигналов с улучшенным динамическим диапазоном
WO2016176209A1 (en) * 2015-04-28 2016-11-03 Dolby Laboratories Licensing Corporation Image highlight detection and rendering
US10572983B2 (en) * 2015-08-31 2020-02-25 Interdigital Vc Holdings, Inc. Method and apparatus for inverse tone mapping
US9697592B1 (en) * 2015-12-30 2017-07-04 TCL Research America Inc. Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image
US9900527B2 (en) * 2016-03-08 2018-02-20 Omnivision Technologies, Inc. Enhanced high dynamic range
US10699391B2 (en) * 2016-04-29 2020-06-30 Disney Enterprises, Inc. Dynamic range expansion highlight information restoration
US9800796B1 (en) * 2016-06-06 2017-10-24 Omnivision Technologies, Inc. Apparatus and method for low dynamic range and high dynamic range image alignment
JP6824817B2 (ja) * 2017-05-17 2021-02-03 キヤノン株式会社 画像処理装置および画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002225A (zh) * 2011-04-20 2013-03-27 Csr技术公司 多曝光高动态范围图像捕捉

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Sigmoid函数拟合的多曝光图像直接融合算法;付争方等;《仪器仪表学报》;20151015(第10期);全文 *

Also Published As

Publication number Publication date
CN110023957A (zh) 2019-07-16
KR20190084068A (ko) 2019-07-15
EP3535691B1 (en) 2024-04-24
US11044409B2 (en) 2021-06-22
KR102539381B1 (ko) 2023-06-05
US20190281201A1 (en) 2019-09-12
EP3319013A1 (en) 2018-05-09
WO2018082996A1 (en) 2018-05-11
EP3535691A1 (en) 2019-09-11
JP2020503587A (ja) 2020-01-30
JP7171559B2 (ja) 2022-11-15

Similar Documents

Publication Publication Date Title
KR101662846B1 (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
CN110023957B (zh) 用于估计图像中的投射阴影区域和/或加亮区域的方法和设备
JP6225256B2 (ja) 画像処理システム及びコンピュータ読み取り可能な記録媒体
KR101518722B1 (ko) 안개 등의 대기 산란 입자로 인한 왜곡 보정용 영상 처리 방법 및 장치
CN109997351B (zh) 用于生成高动态范围图像的方法和装置
JP2008252911A (ja) 画像ノイズ除去の方法及び装置
JP2004522372A (ja) 時空間適応的雑音除去／高画質復元方法及びこれを応用した高画質映像入力装置
KR102567860B1 (ko) 개선된 역 톤 매핑 방법 및 대응하는 디바이스
WO2015146111A1 (ja) 検知装置、検知方法、及びプログラム記憶媒体
JP2015092643A (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP2019047336A5 (zh)
CN101510306A (zh) 一种视频图像照度分布估计方法
CN111368785A (zh) 一种摄像头遮挡判断方法、装置、设备及存储介质
CN109982012B (zh) 图像处理方法及装置、存储介质、终端
CN116468636A (zh) 低照度增强方法、装置、电子设备和可读存储介质
CA3009694C (en) Noise-cancelling filter for video images
EP3547251A1 (en) Dynamic range extension of partially clipped pixels in captured images
KR20150069343A (ko) 영상 노이즈 제거 방법 및 시스템
Granados et al. Contrast-use metrics for tone mapping images
JP2015092301A (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
Reddy et al. Video quality assessment metrics for infrared video frames using different edge detection algorithms
KR20110056092A (ko) 피사체 부각 정보를 제공하는 방법 및 이를 위한 디지털 촬영 장치
CN111507358A (zh) 一种人脸图像的处理方法、装置、设备和介质
KR20110064081A (ko) 정규 상관도와 누적영상을 이용한 고속 그림자 제거 방법
Seybold et al. Denoising camera data: Shape-adaptive noise reduction for color filter array image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210525

Address after: Paris France

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Paris France

Applicant before: Interactive Digital CE Patent Holding Co.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant