CN110418081B - 高动态范围图像全分辨率重建方法、装置及电子设备 - Google Patents

高动态范围图像全分辨率重建方法、装置及电子设备 Download PDF

Info

Publication number
CN110418081B
CN110418081B CN201810394367.4A CN201810394367A CN110418081B CN 110418081 B CN110418081 B CN 110418081B CN 201810394367 A CN201810394367 A CN 201810394367A CN 110418081 B CN110418081 B CN 110418081B
Authority
CN
China
Prior art keywords
exposure
interpolation
current pixel
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810394367.4A
Other languages
English (en)
Other versions
CN110418081A (zh
Inventor
霍星
蔡进
孟春芝
李怀东
王微
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ziguang Zhanrui Communication Technology Co Ltd
Original Assignee
Beijing Ziguang Zhanrui Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ziguang Zhanrui Communication Technology Co Ltd filed Critical Beijing Ziguang Zhanrui Communication Technology Co Ltd
Priority to CN201810394367.4A priority Critical patent/CN110418081B/zh
Publication of CN110418081A publication Critical patent/CN110418081A/zh
Application granted granted Critical
Publication of CN110418081B publication Critical patent/CN110418081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种高动态范围图像全分辨率重建方法，包括：采集同时包含长曝光像素和短曝光像素的图像；计算当前像素点所在区域各方向的梯度值，得到四个方向上的梯度信息；根据梯度信息判断当前像素点所在区域的方向，在当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向；当该方向为非优先插值方向时，判断非优先插值方向与优先插值方向的梯度的比例是否小于设定阈值；根据判断结果对当前像素点进行优先插值方向或非优先插值方向插值计算；对当前像素所在区域进行运动检测，对发生运动的像素值进行运动补偿处理；对当前像素所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。

Description

高动态范围图像全分辨率重建方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种高动态范围图像全分辨率重建方法、装置及电子设备。
背景技术
由于普通图像传感器的动态范围要小于真实场景的动态范围，拍摄的图像就会造成高亮或者低亮地方的信息损失。使用高动态范围(High Dynamic Range，HDR)技术能够大大增加生成图像的动态范围，目前高动态范围技术已经广泛应用在智能手机、平板电脑等电子设备中。
手机中最常见的高动态范围技术是多重曝光合成技术，这种技术一般由软件实现，使用前后两帧长、短曝光的图像，或者前后三帧长、中、短曝光的图像进行融合，高亮处利用短曝光图像，阴暗处利用长曝光图像来呈现细节，达到提升图像动态范围的目的。但是这种方法存在一些缺点：前后拍摄的图像存在时间差，融合时会遇到图像对齐的问题，且多帧融合软件运算时间较长等因素限制着其在视频高动态范围方面的应用。
发明内容
本发明提供的高动态范围图像全分辨率重建方法、装置及电子设备，能够有效的在视频中实现高动态范围功能，提高图像细节以及运动场景的处理能力，从而提高动态范围图像的质量。
第一方面，本发明提供一种高动态范围图像全分辨率重建方法，所述方法包括：
通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；
计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；
根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向；
当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；
根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；
对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；
对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。
可选地，通过所述高动态范围传感器采集到的图像的曝光比例为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。
可选地，所述计算当前像素点所在区域各方向的梯度值包括：
将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；
使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。
可选地，所述将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值包括：将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值；
所述将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值包括：将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。
可选地，所述当前像素点所在区域不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向包括：
当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；
当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。
可选地，所述根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算包括：
当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；
当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：
如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。
可选地，所述当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算包括：
当所述当前像素点为长曝光像素时，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；
当所述当前像素点为短曝光像素时，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；
所述当所述需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向的插值计算包括：
当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；
当所述当前像素点为短曝光像素时，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。
可选地，所述方法还包括：
当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；
当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
可选地，所述对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理包括：
计算当前素点所在区域的亮度值；
将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；
当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝光像素值进行图像融合。
第二方面，本发明提供一种高动态范围图像全分辨率重建装置，所述装置包括：
采集单元，用于通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；
第一计算单元，用于计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；
第一判断单元，用于根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域；
第二判断单元，用于当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向；
第三判断单元，用于当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；
第二计算单元，用于根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；
第一处理单元，用于对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；
第二处理单元，用于对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。
可选地，通过所述高动态范围传感器采集到的图像的曝光比例设定为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。
可选地，所述第一计算单元包括：
转换模块，用于将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；
获取模块，用于使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。
可选地，所述转换模块，用于将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值，或者，将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。
可选地，所述第二判断单元，用于当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；
当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。
可选地，所述第二计算单元包括：
第一计算模块，用于当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；
第二计算模块，用于当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。
可选地，所述第二计算模块包括：
第一计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；
第二计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；
第三计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；
第四计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。
可选地，所述装置还包括：
第三计算单元，用于当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；
当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
可选地，所述第二处理单元包括：
亮度计算模块，用于计算当前素点所在区域的亮度值；
比较模块，用于将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；
融合处理模块，用于当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝光像素值进行图像融合。
第三方面，本发明提供一种电子设备，所述电子设备包括上述高动态范围图像全分辨率重建装置。
本发明实施例提供的高动态范围图像全分辨率重建方法、装置及电子设备，通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的高动态范围图像，计算当前像素点所在区域各方向的梯度值，判断当前像素点所在区域是否为平坦区域，当不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向以及判断是否满足非优先插值方向的限制条件，根据判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，再对进行插值计算后的像素点所在区域进行运动补偿和融合处理。与现有技术相比，本发明的全分辨率重建算法由硬件实现，可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，从而能够提供更高质量的高动态范围图像。
附图说明
图1为本发明一实施例高动态范围图像全分辨率重建方法的流程图；
图2为高动态范围传感器拍摄的图像的示意图；
图3为本发明一实施例全分辨率重建过程的示意图；
图4为本发明一实施例短曝光像素转换成长曝光像素的示意图；
图5为中心像素分别为R/B通道长曝光像素和G通道长曝光像素的示意图；
图6为本发明一实施例高动态范围图像全分辨率重建装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
高动态范围技术的另一个方向是基于高动态范围传感器由硬件实现的In-cameraHDR技术，如索尼公司开发的第二代堆栈式图像传感器IMX214，支持分区高动态范围曝光，在同一帧内可以精确控制每一行像素的曝光时间，按照长、短曝光每隔两行交替方式，或者zigzag(Z字形)的方式，同一帧内获取不同曝光时间的图像。这种传感器采集的图像因长、短曝光像素各占整图像素总量的一半，需要进行全分辨率重建，通过插值恢复全分辨率长曝光和短曝光图像，再通过融合算法来实现动态范围的提升。
本发明提供一种高动态范围图像全分辨率重建方法，如图1所示，所述方法包括：
S11、通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；
高动态范围传感器拍摄的图像如图2所示，图中白色的像素点代表长曝光像素，灰色的像素点代表短曝光的像素，在整幅图像中长曝光像素与短曝光像素按照zigzag方式交替排列。长曝光像素点拥有较长的曝光时间，在场景低亮部分采集到的图像信号包含更多的有效信息。短曝光像素点由于曝光时间较短，而在图像的高亮部分图像信号尚未饱和，可以保留一些细节信息。对这种同时包含长、短曝光像素值的原始图像进行全分辨率恢复，得到长曝光图像和短曝光图像，再通过融合实现图像动态范围的提升，在同一幅图像中较好的呈现低亮和高亮部分的细节信息。
长曝光时间和短曝光时间存在预设确定的比例关系，曝光时间比值定义为曝光比例(exposure ratio)，可选地，所述曝光比例设定为1:1，1:2，1:4，1:8，1:16等，当设定为1:1的时候，曝光时间相等，相当于普通的图像传感器。
如图3所示，全分辨率重建的过程就是在长曝光位置通过插值的方法补充缺失的短曝光像素值，在短曝光位置通过插值的方法补充缺失的长曝光像素值。插值完成后得到一幅全分辨率的长曝光图像与一幅全分辨率的短曝光图像。
本发明全分辨率重建方法的步骤包括：梯度计算、插值方向选择、插值计算、运动补偿以及图像融合。全分辨率重建算法由硬件实现，可以较好的避免采用软件方案进行多帧融合出现的问题，从而可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，能够提供更高质量的高动态范围图像。
S12、计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；
插值基于原始zigzag方式排列的图像中当前像素点邻域的N×N像素块实现，可选地，计算梯度之前先将原始输入5×5像素块转换5×5长曝光像素块，转换方法是把短曝光位置的像素值乘以相应的曝光比例，如图4所示，把图中所有的灰色位置处的短曝光像素值乘以曝光比例，转换成长曝光像素值。
或者，将原始输入5×5像素块转换5×5短曝光像素块，转换方法是把长曝光位置的像素值除以相应的曝光比例。
基于转换后的5×5长曝光像素块进行梯度计算，梯度信息将指导用于全分辨率重建的方向性插值。可选地，使用相应的梯度检测算子获取当前像素点邻域内的水平梯度值(h)，垂直梯度值(v)，斜45度梯度值(45)，斜135度梯度值(135)，四个方向上的梯度值为当前像素点邻域的梯度信息。
S13、根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向；
根据梯度信息首先进行平坦区域的判断，如果梯度信息满足平坦区域的判断逻辑，插值方向为平坦，平坦区域的插值是非方向性插值，插值方式是计算周围像素值的平均值。
如果梯度信息不符合平坦区域的逻辑，则需要进行方向判断。利用梯度计算提取到的梯度信息(h/v/45/135)进行插值方向判断，插值优先沿着梯度较小的方向进行，有利于对图像高频信息，如边缘、细节的保护，减少图像分辨率的损失。
本发明对插值方向有专门的定义方式，具体如下：
在需要进行的插值方向上存在与当前像素曝光时间不同的像素点，则定义为优先插值方向。在需要进行的插值方向上不存在与当前像素曝光时间不同的像素点，则定义为非优先插值方向。
具体地，由于R/B通道和G通道的长短曝光像素排列的位置不同，因此两种情况下的优先插值方向和非优先插值方向也不一样。
如图5所示，图(a)中的中心像素点p(2,2)为长曝光像素值b，需要插值得到该位置的短曝光像素值B，可以看出在水平方向上存在短曝光像素点p(2,0)和p(2,4)，在垂直方向上存在短曝光像素点p(0,2)和p(4,2)，与中心像素点曝光时间不同，在这些方向上能够直接由这些短曝光像素点插值得到中心像素点的短曝光值，这种可以直接进行插值的方向就是优先插值方向。而在斜向45度或者斜向135度方向，p(0,0)与p(4,4)，p(0,4)与p(4,0)位置都是长曝光像素点，无法利用这些像素值通过直接插值的方式得到中心位置的短曝光像素值，需要通过结合曝光比例进行计算，这种不可以直接进行插值的方向就是非优先插值方向。
对于R/B通道，水平和垂直为优先插值方向，斜45度和135度为非优先插值方向。同理，如图5所示，(b)中对于G通道，斜45度和135度为优先插值方向，水平和垂直为非优先插值方向。
综上，根据当前像素点为R/B通道或者G通道的像素可以得到当前像素点的优先插值方向和非优先插值方向，再根据计算得到的梯度信息确定需要进行插值的方向，即可得知所述需要进行插值的方向是优先插值方向还是非优先插值方向。
S14、当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域或者运动区域，如果满足以上条件则放弃非优先插值方向；
对于非优先插值方向的选择存在一些限制条件，在下列条件下只能选择优先插值方向：
(1)饱和区域、(2)低亮区域、(3)运动区域、(4)非优先插值方向梯度与优先插值方向梯度的比例小于设定的阈值。
因为满足以上条件时，邻域内的长曝光像素值和短曝光像素值不再保持确定的比例关系，选择非优先插值方向进行插值就可能会出现错误的插值。
由步骤S12、S13和S14可得，插值方向判断的具体步骤如下：
计算得到水平方向、垂直方向、斜45度方向以及斜135度方向的梯度信息；
判断像素点所在区域是否为平坦区域；
当判断结果为平坦区域时，选择非方向性插值；
当判断结果不是平坦区域时，判断当前像素点为R/B通道还是G通道；
当当前像素点为R/B通道时，判断当前像素点所在区域是否满足上述非优先插值方向的限制条件之一，满足任意一个限制条件时，选择优先插值方向(水平方向或垂直方向)；否则直接根据需要进行插值的方向为优先插值方向还是非优先插值方向来进行插值方向的选择；
当当前像素点为G通道时，判断当前像素点所在区域是否满足上述非优先插值方向的限制条件之一，满足任意一个限制条件时，选择优先插值方向(斜45度方向或斜135度方向)；否则直接根据需要进行插值的方向为优先插值方向还是非优先插值方向来进行插值方向的选择。
S15、根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；
根据步骤S14的判断结果，对满足任意一个上述非优先插值方向的限制条件之一的像素点进行优先插值计算；对于不满足任意一个上述非优先插值方向的限制条件之一的像素点，当需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向插值计算；当需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向插值计算。
可选地，当所述当前像素点为长曝光像素时，将所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素点的短曝光像素值；
当所述当前像素点为短曝光像素时，将所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素点的长曝光像素值；
所述当所述需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向插值计算包括：
当所述当前像素点为长曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；
当所述当前像素点为短曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。
可选地，所述方法还包括：
当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；
当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
具体地，根据步骤S14判断出的插值方向，在输入的5×5像素块内完成当前像素的插值：
当前像素值为R或者B通道长曝光像素时，如果插值方向是水平方向或者垂直方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。如果插值方向是斜向45度方向或者斜向135度方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素进行插值，需要把参与插值的长曝光像素值换算成短曝光像素值，换算方法是除以曝光比例，然后得到当前长曝光位置的短曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
当前像素值为R或者B通道短曝光像素时，如果插值方向是水平方向或者垂直方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。如果插值方向是斜向45度方向或者斜向135度方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素进行插值，需要把参与插值的短曝光像素值换算成长曝光像素值，换算方法是乘以曝光比例，然后得到当前短曝光位置的长曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。
R/B通道插值计算方法如表1所示：
表1
Figure BDA0001644223300000161
当前像素值为G通道长曝光像素时，如果插值方向是斜向45度方向或者斜向135度方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。如果插值方向是水平方向或者垂直方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素进行插值，需要把参与插值的长曝光像素值换算成短曝光像素值，换算方法是除以曝光比例，然后得到当前长曝光位置的短曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
当前像素值为G通道短曝光像素时，如果插值方向是斜向45度方向或者斜向135度方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。如果插值方向是水平方向或者垂直方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素进行插值，需要把参与插值的短曝光像素值换算成长曝光像素值，换算方法是乘以曝光比例，然后得到当前短曝光位置的长曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。
G通道插值计算方法如表2所示：
表2
Figure BDA0001644223300000171
S16、对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；
运动补偿解决的是场景中存在运动物体时，由于曝光时间不同，参与融合的两帧图像中运动物体的位置不同，融合后的图像出现“鬼影”的问题。
当输入的5×5像素块中心像素为长曝光像素点时，首先在该像素块内进行运动检测计算得到运动信息(motion)，当前像素为长曝光，需要通过完整的全分辨率恢复的插值算法完成对短曝光像素的插值，得到当前像素位置的短曝光像素值，然后使用检测到的运动信息，长曝光像素值(输入)和短曝光(插值)像素值进行运动补偿处理。
当输入的5×5像素块中心像素为短曝光像素点时，同样首先在该像素块内进行运动检测计算得到运动信息(motion)，当前像素为短曝光，需要通过完整的全分辨率恢复的插值算法完成对长曝光像素的插值，就得到当前像素位置的长曝光像素值，然后使用检测到的运动信息、短曝光(输入)像素值和长曝光像素值(插值)进行运动补偿处理。
其中，当前像素为短曝光的情况，需要对短曝光像素需要做降噪处理，具体步骤为：对短曝光像素进行频率检测、降噪处理和纹理增强处理；再将处理过的短曝光像素进行运动补偿。
S17、对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。
基于长曝光图像3×3的像素块进行亮度估计，亮度值L与设定的融合阈值S1和S2进行比较，决定最终融合策略：
当L<S1时，像素点所在区域亮度较低，完全采用长曝光像素值能有效提升该区域的亮度，降低噪声水平。
当L>S2时，像素点所在区域亮度较高，完全采用短曝光像素值能减少亮度饱和，增加高亮区域的图像细节。
当S1<L<S2时，像素点所在区域为正常亮度，融合值为长曝光像素值与短曝光像素值线性加权平均(L＝((S2-L)*T1+(L-S1)*T2))/((S2-S1))，能够实现融合图像平滑过渡，防止出现明显的融合分界线。
本发明提出的融合方法，参考长曝光图像亮度域指导融合策略，能够有效的抑制高亮与低亮区域分界处出现伪彩色。
本发明实施例提供的高动态范围图像全分辨率重建方法，通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的高动态范围图像，计算当前像素点所在区域各方向的梯度值，判断当前像素点所在区域是否为平坦区域，当不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向以及判断是否满足非优先插值方向的限制条件，根据判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，再对进行插值计算后的像素点所在区域进行运动补偿和融合处理。与现有技术相比，本发明的全分辨率重建算法由硬件实现，可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，从而能够提供更高质量的高动态范围图像。
本发明实施例还提供一种高动态范围图像全分辨率重建装置，如图6所示，所述装置包括：
采集单元11，用于通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；
第一计算单元12，用于计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；
第一判断单元13，用于根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域；
第二判断单元14，用于当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向；
第三判断单元15，用于当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果满足以上条件则放弃非优先插值方向；
第二计算单元16，用于根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算；
第一处理单元17，用于对当前像素所在的区域进行运动检测，判断运动信息是否超过预设的阈值，对发生运动的像素值进行运动补偿处理，去除鬼影；
第二处理单元18，用于对当前像素的所在区域进行亮度估计，使用当前像素点所在区域的亮度值与预设的融合阈值对图像进行融合决策和处理。
可选地，通过所述高动态范围传感器采集到的图像的曝光比例设定为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的长曝光时间和短曝光时间的比例。
可选地，所述第一计算单元12包括：
转换模块，用于将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；
获取模块，用于使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。
可选地，所述转换模块，用于将当前像素点所在区域短曝光位置的像素值乘以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值，或者，将当前像素点所在区域长曝光位置的像素值除以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。
可选地，所述第二判断单元14，用于当在需要进行插值的方向上存在与当前像素曝光时间不同的像素点时，判定插值方向为优先插值方向；
当在需要进行插值的方向上不存在与当前像素曝光时间不同的像素点时，判定插值方向为非优先插值方向。
可选地，所述第二计算单元16包括：
第一计算模块，用于当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；
第二计算模块，用于当所述需要进行插值的方向为非优先插值方向时，非优先插值方向的选择有如下的限制：如果所述当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域是饱和区域、低亮区域以及运动区域中的任意一种，放弃选择非优先插值方向，对当前像素点进行优先插值方向的插值计算。
可选地，所述第二计算模块包括：
第一计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；
第二计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；
第三计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值除以曝光比例；
第四计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值乘以曝光比例。
可选地，所述装置还包括：
第三计算单元，用于当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；
当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
可选地，所述第二处理单元18包括：
亮度计算模块，用于计算当前素点所在区域的亮度值；
比较模块，用于将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；
融合处理模块，用于当所述亮度值小于所述第一阈值时，对当前像素点所在区域采用长曝光像素值进行图像融合；当所述亮度值在第一阈值和第二阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值进行图像融合；当所述亮度值大于所述第二阈值时，对当前像素点所在区域采用短曝光像素值进行图像融合。
本发明实施例提供的高动态范围图像全分辨率重建装置，通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的高动态范围图像，计算当前像素点所在区域各方向的梯度值，判断当前像素点所在区域是否为平坦区域，当不是平坦区域时，判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向以及判断是否满足非优先插值方向的限制条件，根据判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，再对进行插值计算后的像素点所在区域进行运动补偿和融合处理。与现有技术相比，本发明的全分辨率重建算法由硬件实现，可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，从而能够提供更高质量的高动态范围图像。
本发明实施例还提供一种电子设备，所述电子设备包括上述高动态范围图像全分辨率重建装置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (15)

1.一种高动态范围图像全分辨率重建方法，其特征在于，所述方法包括：
通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；
计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；
根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域，当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断该方向为优先插值方向还是非优先插值方向，具体为：当在需要进行插值的方向上存在与当前像素点曝光时间不同的像素点时，判定插值方向为优先插值方向；当在需要进行插值的方向上不存在与当前像素点曝光时间不同的像素点时，判定插值方向为非优先插值方向；
当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域为饱和区域、低亮区域或者运动区域，则放弃非优先插值方向；
根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，得到当前像素点长曝光位置的短曝光像素值，或者短曝光位置的长曝光像素值，插值完成后得到一幅全分辨率的长曝光图像和一幅全分辨率的短曝光图像；
对当前像素点所在的区域进行运动检测，得到运动信息，使用检测得到的运动信息、输入的长曝光像素值和插值得到的短曝光像素值进行运动补偿处理，或者使用检测得到的运动信息、输入的短曝光像素值和插值得到的长曝光像素值进行运动补偿处理；
对所述长曝光图像的当前像素点所在区域进行亮度估计，使用所述长曝光图像的当前像素点所在区域的亮度值与预设的融合阈值以及运动补偿结果对长曝光图像和短曝光图像进行融合决策和处理；
所述对所述长曝光图像的当前像素点所在区域进行亮度估计，使用所述长曝光图像的当前像素点所在区域的亮度值与预设的融合阈值以及运动补偿结果对长曝光图像和短曝光图像进行融合决策和处理包括：计算所述长曝光图像的当前像素点所在区域的亮度值；将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；当所述亮度值小于所述第一融合阈值时，对当前像素点所在区域采用长曝光像素值作为图像融合结果；当所述亮度值在第一融合阈值和第二融合阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值作为图像融合结果；当所述亮度值大于所述第二融合阈值时，对当前像素点所在区域采用短曝光像素值作为图像融合结果。
2.根据权利要求1所述的方法，其特征在于，通过所述高动态范围传感器采集到的图像的曝光比例为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的短曝光时间和长曝光时间的比例。
3.根据权利要求2所述的方法，其特征在于，所述计算当前像素点所在区域各方向的梯度值包括：
将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；
使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。
4.根据权利要求3所述的方法，其特征在于，所述将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值包括：将当前像素点所在区域短曝光位置的像素值除以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值；
所述将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值包括：将当前像素点所在区域长曝光位置的像素值乘以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。
5.根据权利要求1所述的方法，其特征在于，所述根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算包括：
当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；
当所述需要进行插值的方向为非优先插值方向，且满足上述放弃非优先插值方向的条件时，对当前像素点进行优先插值方向的插值计算。
6.根据权利要求5所述的方法，其特征在于，所述当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算包括：
当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；
当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素位置的长曝光像素值；
所述当所述需要进行插值的方向为非优先插值方向时，对当前像素点进行非优先插值方向的插值计算包括：
当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值乘以曝光比例；
当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值除以曝光比例。
7.根据权利要求1所述的方法，其特征在于，在所述根据所述梯度信息判断当前像素点所在区域的方向之后，所述方法还包括：
当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；
当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
8.一种高动态范围图像全分辨率重建装置，其特征在于，所述装置包括：
采集单元，用于通过高动态范围传感器采集同时包含长曝光像素和短曝光像素的图像；
第一计算单元，用于计算当前像素点所在区域各方向的梯度值，得到当前像素点所在区域四个方向上的梯度信息；
第一判断单元，用于根据所述梯度信息判断当前像素点所在区域的方向，如果四个方向的梯度值均小于设定的阈值，则所述区域为平坦区域；
第二判断单元，用于当所述当前像素点所在区域不是平坦区域时，初步确定梯度值较小的方向为插值方向，进一步判断当前像素点需要进行插值的方向为优先插值方向还是非优先插值方向，具体为：当在需要进行插值的方向上存在与当前像素点曝光时间不同的像素点时，判定插值方向为优先插值方向；当在需要进行插值的方向上不存在与当前像素点曝光时间不同的像素点时，判定插值方向为非优先插值方向；
第三判断单元，用于当梯度较小的方向为非优先插值方向时，判断当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例是否小于设定的阈值，以及判断当前像素点所在区域是否为饱和区域、低亮区域以及运动区域，如果当前像素点的非优先插值方向的梯度与优先插值方向的梯度的比例小于设定的阈值，或者当前像素点所在区域为饱和区域、低亮区域或者运动区域，则放弃非优先插值方向；
第二计算单元，用于根据插值方向判断结果对当前像素点进行优先插值方向插值计算或者非优先插值方向插值计算，得到当前像素点长曝光位置的短曝光像素值，或者短曝光位置的长曝光像素值，插值完成后得到一幅全分辨率的长曝光图像和一幅全分辨率的短曝光图像；
第一处理单元，用于对当前像素点所在的区域进行运动检测，得到运动信息，使用检测得到的运动信息、输入的长曝光像素值和插值得到的短曝光像素值进行运动补偿处理，或者使用检测得到的运动信息、输入的短曝光像素值和插值得到的长曝光像素值进行运动补偿处理；
第二处理单元，用于对所述长曝光图像的当前像素点所在区域进行亮度估计，使用所述长曝光图像的当前像素点所在区域的亮度值与预设的融合阈值以及运动补偿结果对长曝光图像和短曝光图像进行融合决策和处理；
所述第二处理单元包括：亮度计算模块，用于计算所述长曝光图像的当前像素点所在区域的亮度值；比较模块，用于将所述亮度值与设定的第一融合阈值和第二融合阈值进行比较；融合处理模块，用于当所述亮度值小于所述第一融合阈值时，对当前像素点所在区域采用长曝光像素值作为图像融合结果；当所述亮度值在第一融合阈值和第二融合阈值之间时，对当前像素点所在区域采用长曝光像素值与短曝光像素值的线性加权平均值作为图像融合结果；当所述亮度值大于所述第二融合阈值时，对当前像素点所在区域采用短曝光像素值作为图像融合结果。
9.根据权利要求8所述的装置，其特征在于，通过所述高动态范围传感器采集到的图像的曝光比例为1:1、1:2、1:4、1:8或1:16，所述曝光比例为图像在同一帧内的短曝光时间和长曝光时间的比例。
10.根据权利要求9所述的装置，其特征在于，所述第一计算单元包括：
转换模块，用于将当前像素点所在区域短曝光位置的像素值根据曝光比例转换成长曝光像素值，或者将当前像素点所在区域长曝光位置的像素值根据曝光比例转换成短曝光像素值；
获取模块，用于使用相应的梯度检测算子获取转换后的当前像素点所在区域的水平梯度值、垂直梯度值、斜45度梯度值以及斜135度梯度值。
11.根据权利要求10所述的装置，其特征在于，所述转换模块，用于将当前像素点所在区域短曝光位置的像素值除以所述曝光比例，得到像当前素点所在区域短曝光位置的长曝光像素值，或者，将当前像素点所在区域长曝光位置的像素值乘以所述曝光比例，得到当前像素点所在区域长曝光位置的短曝光像素值。
12.根据权利要求8所述的装置，其特征在于，所述第二计算单元包括：
第一计算模块，用于当所述需要进行插值的方向为优先插值方向时，对当前像素点进行优先插值方向的插值计算；
第二计算模块，用于当所述需要进行插值的方向为非优先插值方向，且满足上述放弃非优先插值方向的条件时，对当前像素点进行优先插值方向的插值计算。
13.根据权利要求12所述的装置，其特征在于，所述第二计算模块包括：
第一计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，使用所述需要进行插值的方向上的短曝光像素直接进行插值，得到当前像素位置的短曝光像素值；
第二计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，使用所述需要进行插值的方向上的长曝光像素直接进行插值，得到当前像素点位置的长曝光像素值；
第三计算子模块，用于当所述当前像素点为长曝光像素，待插值像素为短曝光像素时，将所述需要进行插值的方向上的长曝光像素值转换算成短曝光像素值，再进行插值计算，换算方法为长曝光像素值乘以曝光比例；
第四计算子模块，用于当所述当前像素点为短曝光像素，待插值像素为长曝光像素时，将所述需要进行插值的方向上的短曝光像素值转换算成长曝光像素值，再进行插值计算，换算方法为短曝光像素值除以曝光比例。
14.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第三计算单元，用于当所述当前像素点所在区域为平坦区域时，且当前像素点为长曝光像素，待插值像素为短曝光像素时，将当前像素点周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值；
当所述当前像素点所在区域为平坦区域时，且当前像素点为短曝光像素，待插值像素为长曝光像素时，将当前像素点周围的所有长曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
15.一种电子设备，其特征在于，所述电子设备包括如权利要求8至14中任一项所述的高动态范围图像全分辨率重建装置。
CN201810394367.4A 2018-04-27 2018-04-27 高动态范围图像全分辨率重建方法、装置及电子设备 Active CN110418081B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810394367.4A CN110418081B (zh) 2018-04-27 2018-04-27 高动态范围图像全分辨率重建方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810394367.4A CN110418081B (zh) 2018-04-27 2018-04-27 高动态范围图像全分辨率重建方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110418081A CN110418081A (zh) 2019-11-05
CN110418081B true CN110418081B (zh) 2021-12-24

Family

ID=68346743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810394367.4A Active CN110418081B (zh) 2018-04-27 2018-04-27 高动态范围图像全分辨率重建方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110418081B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114450934B (zh) * 2020-08-31 2023-06-09 华为技术有限公司 获取图像的方法、装置、设备及计算机可读存储介质
CN112689100B (zh) * 2020-12-25 2022-08-02 北京灵汐科技有限公司 图像检测方法、装置、设备和存储介质
WO2023094870A1 (en) * 2021-11-29 2023-06-01 Weta Digital Limited Increasing dynamic range of a virtual production display

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101755286A (zh) * 2007-07-24 2010-06-23 夏普株式会社 基于方向性插值的图像升频
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
CN102647565A (zh) * 2012-04-18 2012-08-22 格科微电子（上海）有限公司 像素阵列的排列方法、图像传感器及图像传感方法
CN102868890A (zh) * 2011-07-06 2013-01-09 索尼公司 图像处理设备、成像设备、图像处理方法和程序
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN104349069A (zh) * 2013-07-29 2015-02-11 广达电脑股份有限公司 拍摄高动态范围影片的方法
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法
CN105430402A (zh) * 2010-04-12 2016-03-23 松下电器（美国）知识产权公司 图像编码方法以及图像编码装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4358055B2 (ja) * 2004-07-21 2009-11-04 株式会社東芝 補間画素生成回路
CN102075688B (zh) * 2010-12-28 2012-07-25 青岛海信网络科技股份有限公司 单帧双曝光图像宽动态处理方法
JP2013026722A (ja) * 2011-07-19 2013-02-04 Toshiba Corp 画像処理装置
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9007488B2 (en) * 2012-03-08 2015-04-14 Semiconductor Components Industries, Llc Systems and methods for generating interpolated high-dynamic-range images
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101755286A (zh) * 2007-07-24 2010-06-23 夏普株式会社 基于方向性插值的图像升频
CN101816171A (zh) * 2007-10-03 2010-08-25 诺基亚公司 用于增强图像动态范围的多重曝光模式
CN105430402A (zh) * 2010-04-12 2016-03-23 松下电器（美国）知识产权公司 图像编码方法以及图像编码装置
CN102868890A (zh) * 2011-07-06 2013-01-09 索尼公司 图像处理设备、成像设备、图像处理方法和程序
CN102647565A (zh) * 2012-04-18 2012-08-22 格科微电子（上海）有限公司 像素阵列的排列方法、图像传感器及图像传感方法
CN104253946A (zh) * 2013-06-27 2014-12-31 聚晶半导体股份有限公司 产生高动态范围图像的方法及其图像传感器
CN104349069A (zh) * 2013-07-29 2015-02-11 广达电脑股份有限公司 拍摄高动态范围影片的方法
CN104639920A (zh) * 2013-11-13 2015-05-20 上海微锐智能科技有限公司 基于单帧双次曝光模式的宽动态融合方法

Also Published As

Publication number Publication date
CN110418081A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
US10424049B2 (en) Image processing device, method, and recording medium
CN110418065B (zh) 高动态范围图像运动补偿方法、装置及电子设备
US6445833B1 (en) Device and method for converting two-dimensional video into three-dimensional video
US7764827B2 (en) Multi-view image generation
US9262811B2 (en) System and method for spatio temporal video image enhancement
KR101460688B1 (ko) 화상처리장치 및 그 제어 방법
US8503531B2 (en) Image processing apparatus and method, recording medium, and program
CN110418081B (zh) 高动态范围图像全分辨率重建方法、装置及电子设备
JP4578566B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
US20100067818A1 (en) System and method for high quality image and video upscaling
US8411205B2 (en) Noise reducing image processing apparatus
JP3674186B2 (ja) 画像情報変換装置および方法
US9007494B2 (en) Image processing apparatus, method for controlling the same and storage medium
JP2014006614A (ja) 画像処理装置、画像処理方法、並びにプログラム
CN111294545A (zh) 图像数据插值方法及装置、存储介质、终端
KR101158847B1 (ko) 에지맵을 이용한 디인터레이싱 장치 및 방법
CN115035013A (zh) 图像处理方法、图像处理装置、终端及可读存储介质
KR100741517B1 (ko) 잡음에 강한 채널 간 상관관계를 고려한 고해상도 색상보간 방법
JP5933690B2 (ja) 画像処理装置及び方法、並びに画像処理プログラム
KR101299196B1 (ko) 동영상 신호의 프레임율을 증가 변환하기 위한 장치 및 그 방법
KR20090020918A (ko) 영상 보간 방법 및 장치
GB2514557A (en) Image processing
CN109754370B (zh) 图像去噪方法及装置
TWI386868B (zh) 使用內容調適懲罰函數的移動偵測方法
KR20070070692A (ko) 에지 향상과 노이즈 제거를 위한 컬러 보간 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block B, 18

Applicant after: Beijing Ziguang zhanrui Communication Technology Co.,Ltd.

Address before: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block B, 18

Applicant before: BEIJING SPREADTRUM HI-TECH COMMUNICATIONS TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant