CN105898148A - 监控宽动态摄像机的图像合成方法及装置 - Google Patents

监控宽动态摄像机的图像合成方法及装置 Download PDF

Info

Publication number
CN105898148A
CN105898148A CN201610368641.1A CN201610368641A CN105898148A CN 105898148 A CN105898148 A CN 105898148A CN 201610368641 A CN201610368641 A CN 201610368641A CN 105898148 A CN105898148 A CN 105898148A
Authority
CN
China
Prior art keywords
value
threshold
factor
upper limit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610368641.1A
Other languages
English (en)
Other versions
CN105898148B (zh
Inventor
杨兵
张潇飞
陈剑武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Infinova Ltd
Original Assignee
Shenzhen Infinova Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Infinova Ltd filed Critical Shenzhen Infinova Ltd
Priority to CN201610368641.1A priority Critical patent/CN105898148B/zh
Publication of CN105898148A publication Critical patent/CN105898148A/zh
Application granted granted Critical
Publication of CN105898148B publication Critical patent/CN105898148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种监控宽动态摄像机的图像合成方法及装置，通过实时地修改每帧图片在合成中所占的合成权重，达到整体视频画面的优化，避免和减少伪灰度现象的影响。

Description

监控宽动态摄像机的图像合成方法及装置
技术领域
本发明涉及一种视频处理技术，尤其是指一种监控宽动态摄像机的图像合成方法及装置。
背景技术
在安防领域，尤其是银行，楼宇应用这样的高动态范围场景，对宽动态摄像机需求以及要求越来越高。伪灰度现象以及整体对比度表现不佳一直是针对宽动态摄像机视频质量提出的挑战，尤其是24h工作、场景多样化的监控摄像机。而这样的问题的产生，往往是宽动态摄像机的多帧合成处理上的控制适应性差导致。
发明内容
本发明所要解决的技术问题是：提供了一种能够适应场景变化的监控宽动态摄像机的图像合成方法及装置。
为了解决上述技术问题，本发明采用的技术方案为：一种监控宽动态摄像机的图像合成方法，包括步骤，
S1)获取图像的亮度信息；
S2)计算长曝光帧图像中高亮部分比重；
S3)设定合成权重的下限因子的取值；
S4)根据高亮部分比重确定合成权重的上限因子的取值；
S5)根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
S6)对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，
若像素的亮度大于上限阈值则合成权重取上限因子的值，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值；
S7)图像合成，图像合成的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到。
本发明还涉及一种监控宽动态摄像机的图像合成方法，包括步骤，
S0)获取所需图像合成的数量；
S1)获取图像的亮度信息；
S2)计算长曝光帧图像中高亮部分比重；
S3)设定合成权重的下限因子的取值；
S4)根据高亮部分比重确定合成权重的上限因子的取值；
S5)根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
S6)对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，
若像素的亮度大于上限阈值则合成权重取上限因子的值，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值；
S8)合成图像，合成图像的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到；
S9)图像合成的数量减1；
S10)判断图像合成的数量是否大于1，否则输出合成图像，是则转到步骤S11；
S11)将合成图像作为长曝光帧，而后获取短曝光帧的亮度信息，转回步骤S2。
上述中，所述步骤S3中，设定合成权重的下限因子的取值为0；所述步骤S4中，根据下表所列判断并计算确定上限因子取值：
上述中，所述步骤S5中，像素亮度范围为0-255；步骤S5进一步通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
上述中，所述步骤S2中，根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重；所述上限因子的最大取值为1000。
一种监控宽动态摄像机的图像合成装置，其特征在于：包括步骤，
获取单元，用于获取图像的亮度信息，转到高亮计算单元；
高亮计算单元，用于计算长曝光帧图像中高亮部分比重，转到因子设定单元；
因子设定单元，用于设定合成权重的下限因子的取值，转到因子确定单元；
因子确定单元，用于根据高亮部分比重确定合成权重的上限因子的取值，转到阈值确定单元；
阈值确定单元，用于根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值，转到合成权重确定单元；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
合成权重确定单元，用于对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，转到图像合成单元，
若像素的亮度大于上限阈值则合成权重取上限因子的值，转到图像合成单元，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值，转到图像合成单元；
图像合成单元，用于图像合成的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到。
本发明还涉及一种监控宽动态摄像机的图像合成装置，包括步骤，
合成获取单元，用于获取所需图像合成的数量，转到获取单元；
获取单元，用于获取获取图像的亮度信息，转到高亮计算单元；
高亮计算单元，用于计算长曝光帧图像中高亮部分比重，转到因子设定单元；
因子设定单元，用于设定合成权重的下限因子的取值，转到因子确定单元；
因子确定单元，用于根据高亮部分比重确定合成权重的上限因子的取值，转到阈值确定单元；
阈值确定单元，用于根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值，转到合成权重确定单元；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
合成权重确定单元，用于对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，转到图像合成单元，
若像素的亮度大于上限阈值则合成权重取上限因子的值，转到图像合成单元，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值，转到图像合成单元；
图像合成单元，用于合成图像的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到，转到合成减少单元；
合成减少单元，用于图像合成的数量减1，而后转到合成判断单元；
合成判断单元，用于判断图像合成的数量是否大于1，否则输出合成图像，是则转到循环单元；
循环单元，用于将合成图像作为长曝光帧，而后获取短曝光帧的亮度信息，转到高亮计算单元。
上述中，所述因子设定单元，用于设定合成权重的下限因子的取值为0；所述因子确定单元，用于根据下表所列判断并计算确定上限因子取值：
上述中，所述阈值确定单元中，像素亮度范围为0-255；阈值确定单元，用于通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
上述中，所述高亮计算单元，用于根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重，而后转到因子设定单元；所述上限因子的最大取值为1000。
本发明的有益效果在于：通过实时地修改每帧图片在合成中所占的合成权重，达到整体视频画面的优化，避免和减少伪灰度现象的影响
附图说明
下面结合附图详述本发明的具体结构
图1为本发明的方案一的方法流程图；
图2为本发明具体实施示例中所用三阶曲线取样示意图；
图3为本发明的方案二的方法流程图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，一种监控宽动态摄像机的图像合成方法，包括步骤，
S1)获取图像的亮度信息；
根据监控宽动态摄像机工作的合成模式不同，此处至少会自监控宽动态摄像机直接获取至少两帧曝光量不同的图像的亮度信息，且通常第一帧图像的快门慢于第二帧图像(既第一帧图像的曝光量长于第二帧)。S2)计算长曝光帧图像中高亮部分比重；
S3)设定合成权重的下限因子的取值；
S4)根据高亮部分比重确定合成权重的上限因子的取值；
S5)根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
S6)对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，
若像素的亮度大于上限阈值则合成权重取上限因子的值，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值；
S7)图像合成，图像合成的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到。
本发明的效果就在于提供了一种监控宽动态摄像机的图像合成方法，通过实时地修改每帧图片在合成中所占的合成权重，达到整体视频画面的优化，避免和减少伪灰度现象的影响。
需要说明的是，本方案适于图像双帧合成。在双帧合成中，用于合成两帧图像往往其中一帧的是长曝光，下一帧是短曝光。可见，通过采用本发明方法，对于长曝光帧在图像合成过程中，若不同亮度的像素点的合成权重都是最大时，则合成会全部的像素点取长曝光帧数据(若对前后帧合成权重做归一化处理，则权重数值越大处理后比重越小，此时会取短曝光帧数据)短曝光帧数据，这样合成输出就是短曝光的图片，高亮部分合理曝光，其他区域欠曝，整个图像整理偏暗。反之，不同亮度的像素点合成权重都是0时，全部的点取短曝光帧数据(同样归一化处理情况下刚好相反，会取长曝光帧数据)。这样合成输出就是长曝光的图片，暗处合理曝光，两处部分过曝。整体图像过曝。
可见，有了权重，还需要对合成权重进行有效的控制方可实现高效果的合成，为此本发明控制如下：
1、按照亮度值不同，不同的像素采用不同的权重分配，暗处更多地采用长曝光帧，也就是合成权重较小。而亮处更多地采用短曝光帧，合成权重较大。
2、针对不同明暗分别比例的场景，需要修改分配的策略。当高亮部分比重高的时候。短曝光帧的有效数据相对增多，需要合成权重更多往短曝光倾斜，也就是更多点的合成权重要增加，这样保证了合成后高亮部分不过曝，保证宽动态效果。
3、当高亮部分比重较小的时候。就需要和上面处理做相反的处理，合成权重更多往长曝光倾斜，高亮部分的合成权重也不能过大，需要相应的减小，根据比例越小，权重越小，这里如果权重过大，合成图像在明暗交界部分就会产生影响图像质量的伪灰度现象，这个现象在处理过程中是尽量避免的。
实施例1
上述中，所述步骤S3中，设定合成权重的下限因子的取值为0；所述步骤S4中，根据下表所列判断并计算确定上限因子取值：
本实施例中，将下限因子的取值为0可大幅简化合成过程的计算量。而在上限因子取值的设计机制上，当长曝光帧图像超过20％的部分为高亮，则整体曝光个过度的可能行大，因此选最大值的上限因子，降低其在前后两帧图像和承重的权重，降低该区域由于过曝对最终合成带来的伪灰度效果。
实施例2
上述中，所述步骤S5中，像素亮度范围为0-255；步骤S5进一步通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
本实施例中，通过固定下限阈值，而后计算上限阈值的方式使得处理和计算过程更为高效。而下限阈值额设定是经过发明人大量实验后选择的，当像素亮度范围在0-255时，下限阈值设置在亮度总体范围总体20％-30％效果最佳。
实施例3
上述中，所述步骤S2中，根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重；所述上限因子的最大取值为1000。
本实施例中，首先对计算出来的占比(小数点或百分数)转化为整数，可提高后续计算效率。此外乘于大于1000的值，可进一步对高亮部分比重进行细分，以便增加后续权重计算的精密度。
具体示例：
针对framei、framei+1两帧进行合成。通常，在单次合成中framei是长曝光帧，framei+1是短曝光帧。合成过程如下，一种监控宽动态摄像机的图像合成方法，包括步骤，
S1)获取frame1图像的亮度信息；
S2)计算长曝光帧图像中高亮部分比重precent_high1，将precent_high1取值范围转化为(0～1000)；
S3)设定合成权重的下限因子的取值factor0＝0；
S4)根据下表确定合成权重的上限因子的取值；
表中，Max_factor＝1000。
S5)设定合成权重的上限阈值thr0＝64，根据式子thr1＝240+2*(ratio1-8)计算下限阈值thr1。式中，ratio1为长曝光帧与短曝光帧的曝光比，ratio1＝shutter1/shutter2(shutter1/shutter2为长曝光帧与短曝光帧的快门速)。
由于本方法对合成因子的设定，采用三阶曲线取样的方式，其包括分别包括两个阈值下限阈值thr0，上限阈值thr1，两个因子取值：下限因子factor0，上限因子factor1。因此到此步就得到了frame1图像的合成因子Alpha1的所有Fr1.factor0,Fr1.factor1,Fr1.thr0,Fr1.thr1。
S6)对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，参见图2，
若像素的亮度小于下限阈值则合成权重取下限因子的值，
若像素的亮度大于上限阈值则合成权重取上限因子的值，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值；
S7)图像合成，根据下式进行图像合成
output i + 1 = W i * frame i + W i + 1 * frame i + 1 W i + W i + 1 i = 1
式中：outputi+1为最终输出像素，Wi为长曝光帧图像的合成权重，Wi+1为短曝光帧的合成权重。Frame1为长曝光帧图像的每个像素，frame2为短曝光帧的每个像素。
由此，图像合成的每个像素通过长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到。
参见图3，本发明还涉及一种适合于多帧图像合成的监控宽动态摄像机的图像合成方法，包括步骤，
S0)获取所需图像合成的数量；
S1)获取图像的亮度信息；
根据监控宽动态摄像机工作的合成模式不同，此处至少会自监控宽动态摄像机直接获取到多帧曝光量不同的图像的亮度信息，而不论是多少帧的图像，其一帧图像的快门永远慢于下一帧图像的快门(既一帧图像的曝光量长于下一帧，下一帧曝光量长于再下一帧，以此类推)。
S2)计算长曝光帧图像中高亮部分比重；
S3)设定合成权重的下限因子的取值；
S4)根据高亮部分比重确定合成权重的上限因子的取值；
S5)根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
S6)对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，
若像素的亮度大于上限阈值则合成权重取上限因子的值，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值；
S8)合成图像，合成图像的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到；
S9)图像合成的数量减1；
S10)判断图像合成的数量是否大于1，否则输出合成图像，是则转到步骤S11；
S11)将合成图像作为长曝光帧，而后获取短曝光帧的亮度信息，转回步骤S2。
本发明的效果就在于提供了一种监控宽动态摄像机的图像合成方法，通过实时地修改每帧图片在合成中所占的合成权重，达到整体视频画面的优化，避免和减少伪灰度现象的影响。
需要说明的是，本方案适于图像多帧合成(2帧以上)。在多帧合成中，首先会进行双帧合成，双帧合成用到的用于合成两帧图像往往其中一帧的是长曝光，下一帧是短曝光。待合成后，再将合成图像作为一帧图像与短曝光帧同样循环步骤进行按合成权重进一步合成，如此往复循环知道所有图像完成合成。
同样的，通过采用本发明方法，对于长曝光帧在图像合成过程中，若不同亮度的像素点的合成权重都是最大时，则合成会全部的像素点取长曝光帧数据(若对前后帧合成权重做归一化处理，则权重数值越大处理后比重越小，此时会取短曝光帧数据)短曝光帧数据，这样合成输出就是短曝光的图片，高亮部分合理曝光，其他区域欠曝，整个图像整理偏暗。反之，不同亮度的像素点合成权重都是0时，全部的点取短曝光帧数据(同样归一化处理情况下刚好相反，会取长曝光帧数据)。这样合成输出就是长曝光的图片，暗处合理曝光，两处部分过曝。整体图像过曝。
可见，有了权重，还需要对合成权重进行有效的控制方可实现高效果的合成，为此本发明控制如下：
1、按照亮度值不同，不同的像素采用不同的权重分配，暗处更多地采用长曝光帧，也就是合成权重较小。而亮处更多地采用短曝光帧，合成权重较大。
2、针对不同明暗分别比例的场景，需要修改分配的策略。当高亮部分比重高的时候。短曝光帧的有效数据相对增多，需要合成权重更多往短曝光倾斜，也就是更多点的合成权重要增加，这样保证了合成后高亮部分不过曝，保证宽动态效果。
3、当高亮部分比重较小的时候。就需要和上面处理做相反的处理，合成权重更多往长曝光倾斜，高亮部分的合成权重也不能过大，需要相应的减小，根据比例越小，权重越小，这里如果权重过大，合成图像在明暗交界部分就会产生影响图像质量的伪灰度现象，这个现象在处理过程中是尽量避免的。
本方案与上述方案唯一的区别是，本方案是针对多帧图像合成所用，
例如，在三帧合成中运用的话，前两帧合成与上方案相同，而后对第三帧合成则需依据frame2的亮度信息，计算高亮部分的比重precent_high2，在通过和之前一样的方式依据precent_high2，计算得到factor0，factor1的取值，依据曝光比ratio2计算thr0，thr1的取值。最终得到Fr2.factor0,Fr2.factor1,Fr2.thr0,Fr2.thr1。
在通过迭代公式：
(1)
(2)
进行最终的合成。
实施例4
上述中，所述步骤S3中，设定合成权重的下限因子的取值为0；所述步骤S4中，根据下表所列判断并计算确定上限因子取值：
实施例5
上述中，所述步骤S5中，像素亮度范围为0-255；步骤S5进一步通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
实施例6
上述中，所述步骤S2中，根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重；所述上限因子的最大取值为1000。
一种监控宽动态摄像机的图像合成装置，其特征在于：包括步骤，
获取单元，用于获取图像的亮度信息，转到高亮计算单元；
高亮计算单元，用于计算长曝光帧图像中高亮部分比重，转到因子设定单元；
因子设定单元，用于设定合成权重的下限因子的取值，转到因子确定单元；
因子确定单元，用于根据高亮部分比重确定合成权重的上限因子的取值，转到阈值确定单元；
阈值确定单元，用于根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值，转到合成权重确定单元；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
合成权重确定单元，用于对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，转到图像合成单元，
若像素的亮度大于上限阈值则合成权重取上限因子的值，转到图像合成单元，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值，转到图像合成单元；
图像合成单元，用于图像合成的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到。
本发明还涉及一种监控宽动态摄像机的图像合成装置，包括步骤，
合成获取单元，用于获取所需图像合成的数量，转到获取单元；
获取单元，用于获取获取图像的亮度信息，转到高亮计算单元；
高亮计算单元，用于计算长曝光帧图像中高亮部分比重，转到因子设定单元；
因子设定单元，用于设定合成权重的下限因子的取值，转到因子确定单元；
因子确定单元，用于根据高亮部分比重确定合成权重的上限因子的取值，转到阈值确定单元；
阈值确定单元，用于根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值，转到合成权重确定单元；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
合成权重确定单元，用于对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，转到图像合成单元，
若像素的亮度大于上限阈值则合成权重取上限因子的值，转到图像合成单元，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值，转到图像合成单元；
图像合成单元，用于合成图像的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到，转到合成减少单元；
合成减少单元，用于图像合成的数量减1，而后转到合成判断单元；
合成判断单元，用于判断图像合成的数量是否大于1，否则输出合成图像，是则转到循环单元；
循环单元，用于将合成图像作为长曝光帧，而后获取短曝光帧的亮度信息，转到高亮计算单元。
上述中，所述因子设定单元，用于设定合成权重的下限因子的取值为0；所述因子确定单元，用于根据下表所列判断并计算确定上限因子取值：
上述中，所述阈值确定单元中，像素亮度范围为0-255；阈值确定单元，用于通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
上述中，所述高亮计算单元，用于根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重，而后转到因子设定单元；所述上限因子的最大取值为1000。
本发明还涉及一种监控宽动态摄像机的图像合成装置，包括步骤，
合成获取单元，用于获取所需图像合成的数量，转到获取单元；
获取单元，用于获取获取图像的亮度信息，转到高亮计算单元；
高亮计算单元，用于计算长曝光帧图像中高亮部分比重，转到因子设定单元；
因子设定单元，用于设定合成权重的下限因子的取值，转到因子确定单元；
因子确定单元，用于根据高亮部分比重确定合成权重的上限因子的取值，转到阈值确定单元；
阈值确定单元，用于根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值，转到合成权重确定单元；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
合成权重确定单元，用于对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，转到图像合成单元，
若像素的亮度大于上限阈值则合成权重取上限因子的值，转到图像合成单元，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值，转到图像合成单元；
图像合成单元，用于合成图像的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到，转到合成减少单元；
合成减少单元，用于图像合成的数量减1，而后转到合成判断单元；
合成判断单元，用于判断图像合成的数量是否大于1，否则输出合成图像，是则转到循环单元；
循环单元，用于将合成图像作为长曝光帧，而后获取短曝光帧的亮度信息，转到高亮计算单元。
本发明的效果就在于提供了一种监控宽动态摄像机的图像合成方法，通过实时地修改每帧图片在合成中所占的合成权重，达到整体视频画面的优化，避免和减少伪灰度现象的影响。
需要说明的是，本方案适于图像双帧合成。在双帧合成中，用于合成两帧图像往往其中一帧的是长曝光，下一帧是短曝光。可见，通过采用本发明方法，对于长曝光帧在图像合成过程中，若不同亮度的像素点的合成权重都是最大时，则合成会全部的像素点取长曝光帧数据(若对前后帧合成权重做归一化处理，则权重数值越大处理后比重越小，此时会取短曝光帧数据)短曝光帧数据，这样合成输出就是短曝光的图片，高亮部分合理曝光，其他区域欠曝，整个图像整理偏暗。反之，不同亮度的像素点合成权重都是0时，全部的点取短曝光帧数据(同样归一化处理情况下刚好相反，会取长曝光帧数据)。这样合成输出就是长曝光的图片，暗处合理曝光，两处部分过曝。整体图像过曝。
可见，有了权重，还需要对合成权重进行有效的控制方可实现高效果的合成，为此本发明控制如下：
1、按照亮度值不同，不同的像素采用不同的权重分配，暗处更多地采用长曝光帧，也就是合成权重较小。而亮处更多地采用短曝光帧，合成权重较大。
2、针对不同明暗分别比例的场景，需要修改分配的策略。当高亮部分比重高的时候。短曝光帧的有效数据相对增多，需要合成权重更多往短曝光倾斜，也就是更多点的合成权重要增加，这样保证了合成后高亮部分不过曝，保证宽动态效果。
3、当高亮部分比重较小的时候。就需要和上面处理做相反的处理，合成权重更多往长曝光倾斜，高亮部分的合成权重也不能过大，需要相应的减小，根据比例越小，权重越小，这里如果权重过大，合成图像在明暗交界部分就会产生影响图像质量的伪灰度现象，这个现象在处理过程中是尽量避免的。
实施例4
上述中，所述因子设定单元，用于设定合成权重的下限因子的取值为0；所述因子确定单元，用于根据下表所列判断并计算确定上限因子取值：
本实施例中，将下限因子的取值为0可大幅简化合成过程的计算量。而在上限因子取值的设计机制上，当长曝光帧图像超过20％的部分为高亮，则整体曝光个过度的可能行大，因此选最大值的上限因子，降低其在前后两帧图像和承重的权重，降低该区域由于过曝对最终合成带来的伪灰度效果。
实施例5
上述中，所述阈值确定单元中，像素亮度范围为0-255；阈值确定单元，用于通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
本实施例中，通过固定下限阈值，而后计算上限阈值的方式使得处理和计算过程更为高效。而下限阈值额设定是经过发明人大量实验后选择的，当像素亮度范围在0-255时，下限阈值设置在亮度总体范围总体20％-30％效果最佳。
实施例6
上述中，所述高亮计算单元，用于根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重，而后转到因子设定单元；所述上限因子的最大取值为1000。
本实施例中，首先对计算出来的占比(小数点或百分数)转化为整数，可提高后续计算效率。此外乘于大于1000的值，可进一步对高亮部分比重进行细分，以便增加后续权重计算的精密度。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种监控宽动态摄像机的图像合成方法，其特征在于：包括步骤，
S1)获取图像的亮度信息；
S2)计算长曝光帧图像中高亮部分比重；
S3)设定合成权重的下限因子的取值；
S4)根据高亮部分比重确定合成权重的上限因子的取值；
S5)根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
S6)对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，
若像素的亮度大于上限阈值则合成权重取上限因子的值，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值；
S7)图像合成，图像合成的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到。
2.一种监控宽动态摄像机的图像合成方法，其特征在于：包括步骤，
S0)获取所需图像合成的数量；
S1)获取图像的亮度信息；
S2)计算长曝光帧图像中高亮部分比重；
S3)设定合成权重的下限因子的取值；
S4)根据高亮部分比重确定合成权重的上限因子的取值；
S5)根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
S6)对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，
若像素的亮度大于上限阈值则合成权重取上限因子的值，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值；
S8)合成图像，合成图像的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到；
S9)图像合成的数量减1；
S10)判断图像合成的数量是否大于1，否则输出合成图像，是则转到步骤S11；
S11)将合成图像作为长曝光帧，而后获取短曝光帧的亮度信息，转回步骤S2。
3.如权利要求1或2所述的监控宽动态摄像机的图像合成方法，其特征在于：所述步骤S3中，设定合成权重的下限因子的取值为0；所述步骤S4中，根据下表所列判断并计算确定上限因子取值：
4.如权利要求1或2所述的监控宽动态摄像机的图像合成方法，其特征在于：所述步骤S5中，像素亮度范围为0-255；步骤S5进一步通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
5.如权利要求1或2所述的监控宽动态摄像机的图像合成方法，其特征在于：所述步骤S2中，根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重；所述上限因子的最大取值为1000。
6.一种监控宽动态摄像机的图像合成装置，其特征在于：包括步骤，
获取单元，用于获取图像的亮度信息，转到高亮计算单元；
高亮计算单元，用于计算长曝光帧图像中高亮部分比重，转到因子设定单元；
因子设定单元，用于设定合成权重的下限因子的取值，转到因子确定单元；
因子确定单元，用于根据高亮部分比重确定合成权重的上限因子的取值，转到阈值确定单元；
阈值确定单元，用于根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值，转到合成权重确定单元；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
合成权重确定单元，用于对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，转到图像合成单元，
若像素的亮度大于上限阈值则合成权重取上限因子的值，转到图像合成单元，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值，转到图像合成单元；
图像合成单元，用于图像合成的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到。
7.一种监控宽动态摄像机的图像合成装置，其特征在于：包括步骤，
合成获取单元，用于获取所需图像合成的数量，转到获取单元；
获取单元，用于获取获取图像的亮度信息，转到高亮计算单元；
高亮计算单元，用于计算长曝光帧图像中高亮部分比重，转到因子设定单元；
因子设定单元，用于设定合成权重的下限因子的取值，转到因子确定单元；
因子确定单元，用于根据高亮部分比重确定合成权重的上限因子的取值，转到阈值确定单元；
阈值确定单元，用于根据长曝光帧与短曝光帧的曝光比得到合成权重的上限阈值与下限阈值，转到合成权重确定单元；所述上限阈值与下限阈值位于像素亮度范围内，且上限阈值对应的像素亮度大于下限阈值对应的像素亮度；
合成权重确定单元，用于对长曝光帧与短曝光帧的像素的亮度分别与上限阈值、下限阈值进行匹配确定各自的合成权重，
若像素的亮度小于下限阈值则合成权重取下限因子的值，转到图像合成单元，
若像素的亮度大于上限阈值则合成权重取上限因子的值，转到图像合成单元，
若像素的亮度介于上限阈值、下限阈值之间，则合成权重取由亮度对应的上限因子取值、下限因子取值构成的二阶直线上的值，转到图像合成单元；
图像合成单元，用于合成图像的每个像素根据长曝光帧与短曝光帧对应像素乘各自合成权重后处于各自权重之和得到，转到合成减少单元；
合成减少单元，用于图像合成的数量减1，而后转到合成判断单元；
合成判断单元，用于判断图像合成的数量是否大于1，否则输出合成图像，是则转到循环单元；
循环单元，用于将合成图像作为长曝光帧，而后获取短曝光帧的亮度信息，转到高亮计算单元。
8.如权利要求6或7所述的监控宽动态摄像机的图像合成装置，其特征在于：所述因子设定单元，用于设定合成权重的下限因子的取值为0；所述因子确定单元，用于根据下表所列判断并计算确定上限因子取值：
9.如权利要求6或7所述的监控宽动态摄像机的图像合成装置，其特征在于：所述阈值确定单元中，像素亮度范围为0-255；阈值确定单元，用于通过以下方式得到上限阈值与下限阈值，
S51)设定下限阈值为50-76；
S52)上限阈值＝240+2*(长曝光帧与短曝光帧的曝光比-8)。
10.如权利要求6或7所述的监控宽动态摄像机的图像合成装置，其特征在于：所述高亮计算单元，用于根据设定亮度阈值计算出长曝光帧图像中超过亮度阈值的像素占比，并将占比至少乘1000得到所述高亮部分比重，而后转到因子设定单元；所述上限因子的最大取值为1000。
CN201610368641.1A 2016-05-27 2016-05-27 监控宽动态摄像机的图像合成方法及装置 Active CN105898148B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610368641.1A CN105898148B (zh) 2016-05-27 2016-05-27 监控宽动态摄像机的图像合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610368641.1A CN105898148B (zh) 2016-05-27 2016-05-27 监控宽动态摄像机的图像合成方法及装置

Publications (2)

Publication Number Publication Date
CN105898148A true CN105898148A (zh) 2016-08-24
CN105898148B CN105898148B (zh) 2019-02-05

Family

ID=56710599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610368641.1A Active CN105898148B (zh) 2016-05-27 2016-05-27 监控宽动态摄像机的图像合成方法及装置

Country Status (1)

Country Link
CN (1) CN105898148B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320273A (zh) * 2017-01-16 2018-07-24 比亚迪股份有限公司 图片合成方法及图像合成装置
CN111083390A (zh) * 2019-12-27 2020-04-28 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111526298A (zh) * 2020-03-24 2020-08-11 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法
CN111654638A (zh) * 2020-04-30 2020-09-11 深圳英飞拓智能技术有限公司 摄像机宽动态成像曝光调节方法及装置
WO2020248564A1 (en) * 2019-06-14 2020-12-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for automatic exposure control
CN112669241A (zh) * 2021-01-29 2021-04-16 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316326A (zh) * 2007-06-01 2008-12-03 株式会社其恩斯 用于对放大图像摄影的放大观察设备和方法
CN101394485A (zh) * 2007-09-20 2009-03-25 华为技术有限公司 图像生成方法、装置及图像合成设备
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与***
CN101426090A (zh) * 2007-10-31 2009-05-06 欧姆龙株式会社 图像处理装置
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101316326A (zh) * 2007-06-01 2008-12-03 株式会社其恩斯 用于对放大图像摄影的放大观察设备和方法
CN101394485A (zh) * 2007-09-20 2009-03-25 华为技术有限公司 图像生成方法、装置及图像合成设备
CN101426090A (zh) * 2007-10-31 2009-05-06 欧姆龙株式会社 图像处理装置
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与***
CN102420944A (zh) * 2011-04-25 2012-04-18 展讯通信（上海）有限公司 一种高动态范围图像合成方法及装置
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴晓军: "基于多曝光图像的高动态范围图像生成", 《中国优秀硕士学位论文全文数据库》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108320273A (zh) * 2017-01-16 2018-07-24 比亚迪股份有限公司 图片合成方法及图像合成装置
CN108320273B (zh) * 2017-01-16 2020-10-23 比亚迪股份有限公司 图片合成方法及图像合成装置
WO2020248564A1 (en) * 2019-06-14 2020-12-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for automatic exposure control
US11968459B2 (en) 2019-06-14 2024-04-23 Zhejiang Dahua Technology Co., Ltd. Systems and methods for automatic exposure control
CN111083390A (zh) * 2019-12-27 2020-04-28 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111526298A (zh) * 2020-03-24 2020-08-11 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法
CN111526298B (zh) * 2020-03-24 2021-10-19 深圳英飞拓智能技术有限公司 一种改善宽动态多场景适应性的方法
CN111654638A (zh) * 2020-04-30 2020-09-11 深圳英飞拓智能技术有限公司 摄像机宽动态成像曝光调节方法及装置
CN112669241A (zh) * 2021-01-29 2021-04-16 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质
CN112669241B (zh) * 2021-01-29 2023-11-14 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质

Also Published As

Publication number Publication date
CN105898148B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
CN105898148A (zh) 监控宽动态摄像机的图像合成方法及装置
CN104349066B (zh) 一种生成高动态范围图像的方法、装置
US9218653B2 (en) Method and apparatus for dynamic range enhancement of an image
CN102420944B (zh) 一种高动态范围图像合成方法及装置
CN105208360B (zh) 一种智能终端的图像预览方法、装置及终端
CN103095979A (zh) 人脸过曝的影像处理方法及其影像撷取装置
CN100515042C (zh) 多曝光图像增强方法
CN104883504B (zh) 开启智能终端上高动态范围hdr功能的方法及装置
CN101448085B (zh) 一种支持人脸检测的摄像处理方法和***
US20210344826A1 (en) Image Acquisition Method, Electronic Device, andNon-Transitory Computer Readable Storage Medium
DE102019106252A1 (de) Verfahren und System für Lichtquellenschätzung zur Bildverarbeitung
CN107833184A (zh) 一种基于多曝光生成再融合框架的图像增强方法
CN105578068A (zh) 一种高动态范围图像的生成方法、装置及移动终端
CN107534737B (zh) 一种拍摄图片的方法及装置
CN108668093A (zh) Hdr图像的生成方法及装置
CN106961557A (zh) 光场相机及其影像处理方法
CN108734676A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN102143325B (zh) 一种自动曝光装置及其方法
CN107509044A (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
CN103973963A (zh) 图像获取装置及其图像处理方法
CN104954696A (zh) 一种emccd增益自动调节方法
CN106331505A (zh) 拍摄方法及拍摄装置
CN103745430A (zh) 一种数字图像的快速美容方法
CN108616700A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107864335A (zh) 图像预览方法、装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant