CN102427538B - 电影对比度色度自动增强方法 - Google Patents

电影对比度色度自动增强方法 Download PDF

Info

Publication number
CN102427538B
CN102427538B CN2011103046732A CN201110304673A CN102427538B CN 102427538 B CN102427538 B CN 102427538B CN 2011103046732 A CN2011103046732 A CN 2011103046732A CN 201110304673 A CN201110304673 A CN 201110304673A CN 102427538 B CN102427538 B CN 102427538B
Authority
CN
China
Prior art keywords
image
secretly
carry out
enhancing
transmissivity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2011103046732A
Other languages
English (en)
Other versions
CN102427538A (zh
Inventor
许洪腾
杨小康
刘婧
陈立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN2011103046732A priority Critical patent/CN102427538B/zh
Publication of CN102427538A publication Critical patent/CN102427538A/zh
Application granted granted Critical
Publication of CN102427538B publication Critical patent/CN102427538B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开一种电影对比度色度自动增强方法,步骤为:读取视频中同一场景的帧图像序列
Figure DEST_PATH_IMAGE001
,计算每一帧的明通道图像和暗通道图像;对暗通道图像进行直方图分析,判断是否需要进行对比度增强;对明通道图像进行来源分析,判断是否需要进行色度增强;若需要进行对比度色度增强,则通过原始图像和明、暗通道图像进行透射率估计;根据明通道和暗通道确定透射率的阈值;进行对比度色度增强。本发明根据电影胶片的退化原理,可用于自动判别电影是否需要进行对比度、色度增强并对需要增强的图像进行自动增强。

Description

电影对比度色度自动增强方法
技术领域
本发明涉及的是一种图像和视频处理技术领域的***,具体是一种基于胶片退化原理的电影对比度色度自动增强方法。
背景技术
电影艺术是人类文化的重要体现和人类文明的宝贵财富。我们有义务尽力去保护并传承优秀的电影作品。电影的数字化就是其中最主要的保护方式。传统电影以胶片的形式保存,对保存环境的要求较苛刻。随着环境的温度和湿度变化,胶片上的化学涂层会出现氧化现象,导致亮度和色彩失真,严重的还会出现霉斑。此外,胶片电影会随着播放次数的增长出现划痕,色彩退化的现象。相比传统的电影胶片,数字化的电影作品,具有便于携带,便于网络传播,存储方式对环境变化不明感,可大量反复播放等优点,极大地延长了电影的寿命。但是对于年代久远的电影作品,其胶片上已经出现了上述退化现象。所以在数字化之后,我们还要对其进行进一步修复。
经过对现有技术的文献检索发现,现有的方法有两大类:一种是简单的直方图均衡、校正。例如Yeong-Taeg Kim在《IEEE Transactions on Consumer Electronics》(电气与电子工程师协会消费电子类期刊)第43卷第1期的第1页至第8页发表的“Contrastenhancement using brightness preserving bi-histogram equalization”就是这种方法的代表。这种方法的自动化程度高,但是在增强时缺乏理论依据,实际结果往往无法符合主观感受。更糟糕的是对于不同帧直方图均衡的结果不同会导致生成的视频序列会有帧间闪烁,严重降低视频质量。另一种方法是在RGB三通道上由人工进行校正。这种方法得到的结果符合人的主观感受,效果好,但是劳动力成本很高。目前,老电影的对比度和色度增强基本由人工完成,采用一种自动化程度更高但是效果不逊色于人工增强的***将极大地减少人工的工作量,节约成本。上述的两种方法都存在缺乏理论依据,没有良好模型作为基础的缺点。
Kaiming He等人在《IEEE Conference on Computer Vision and PatternRecognition2009》(电气与电子工程师协会2009年度计算机视觉与模式识别大会)的第1956页至第1963页发表的“Single image haze removel using dark channel prior”中提出了一种基于图像暗通道的去雾方法,有效的去除了图像中多余的白光成分。考虑到电影胶片退化的特性之一就是胶片涂层脱落、变性导致对不同通道的色光吸收能力变弱,使得多余的白光分量通过胶片造成对比度下降。此外,由于胶片的最表层的涂层对应图像的蓝色通道。随着时间推移,这个通道的退化较另外两个更加严重,造成图像整体因白光渗入变灰的同时整体变红。根据上述胶片退化原理,本发明设计一种自适应的方法去除电影中多余的白光分量同时进行色度增强。
发明内容
本发明针对现有技术存在的上述不足,提供一种基于胶片退化原理和暗通道模型的电影对比度色度自动增强方法。本发明根据电影胶片的退化原理,结合暗通道模型将胶片中多余的白光成分有效地去除,并提出了基于明暗通道的参数自适应选择,实现了电影对比度色度的自动增强,克服了直方图自动增强造成的帧间闪烁问题。
本发明是通过以下技术方案实现的,本发明包括以下步骤:
第一步、读取视频中同一场景的N帧图像序列I。计算每一帧帧It的明通道图像B和暗通道图像D。
第二步、对暗通道图像进行直方图分析,判断是否需要进行对比度增强。
第三步、对明通道图像进行来源分析,判断是否需要进行色度增强。
第四步、若需要进行对比度色度增强,则通过原始图像和明、暗通道图像进行透射率估计。
第五步、根据明通道和暗通道确定透射率的阈值。
第六步、进行对比度色度增强。
本发明考虑到电影胶片退化的特性之一就是胶片涂层脱落、变性导致对不同通道的色光吸收能力变弱,使得多余的白光分量通过胶片造成对比度下降。此外,由于胶片的最表层的涂层对应图像的蓝色通道。随着时间推移,这个通道的退化较另外两个更加严重,造成图像整体因白光渗入变灰的同时整体变红。根据上述胶片退化原理,结合暗通道模型将胶片中多余的白光成分有效地去除,并提出了基于明暗通道的参数自适应选择,实现了电影对比度色度的自动增强。
附图说明
图1是本发明实施例流程图;
图2是本发明实施例暗通道图像的示意图;其中:图a为原图,图b为暗通道图像;
图3是本发明实施例明通道图像的示意图;其中:图a为原图,图b为明通道图像;
图4是本发明实施例暗通道直方图分析示意图;其中:图a为对应暗通道图像,图b为暗通道图像直方图示意图;
图5是本发明实施例明通道来源通道分析示意图;其中:图a为原图,图b不同灰度代表不同RGB通道;
图6是本发明实施例灰度图像增强结果的比较图;其中:图a为原图,图b为黑白图像增强效果示意图;
图7是本发明实施例彩色图像增强结果的比较图;其中:图a为原图,图b为彩色图像增强效果示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例:
第一步、读取视频中同一场景的N帧图像序列I。计算每一帧帧It的明通道图像Bt和暗通道图像Dt。It表示第t帧图像。
所述的明通道图像,是将It分割成3乘3乘3的块对每一块的RGB三通道求最大值,再从这三个值中求得最大值,记录它来自哪个通道,并将其赋值给中心位置的元素。
所述的暗通道,是将It分割成3乘3乘3的块,对每一块的RGB三通道求最小值,再从这三个值中求最小值,记录下它来自哪个通道,并将其赋值给中心位置的元素。t表示图像帧序号,t={1,2,...,N},(x,y)为中心像素位置。
明、暗通道图Bt,Dt中(x,y)位置处的像素值表示为
Figure GDA00003544314400041
B ( x , y ) t = max z max x , y I ( x , y , z ) t , D ( x , y ) t = min z min x , y I ( x , y , z ) t . min(·)表示最小化操作符。max(·)表示最大化操作符。
明、暗通道图详见图2、3。
第二步、对t帧图像生成的t张暗通道图进行直方图分析,得到t张直方图。若t张直方图的平均方差σ>T,则判为需要进行对比度增强。
所述直方图为统计图像中各像素值出现次数的统计图像。
所述T为判别是否需要进行对比度增强的阈值。
所述平均方差为
σ = Σ i = 1 t σ i t .
若需要进行对比度增强,则生成与It同一尺寸的背景光源图像A。当前所述背景光源图像为白光图像。
直方图分析示意详见图4。
第三步、对明通道图像中各像素值的来源通道进行统计。记所占比例值为{ρRGB}。若来源于某个通道的比例ρi很低,则判为需要进行色度增强。且按如下规则修改A
A j = ( 1 - ρ i ) A j , i = j A j , i ≠ j .
所述i,j=R,G,B对应RGB三通道。Aj表示对应A某一通道的值。来源通道统计图如图5所示
第四步、根据原始图像和明、暗通道图像进行透射率估计。所述透射率p由如下胶片退化模型定义:
It=pJt+(1-p)A
其中It为实际观测到的退化后的图像,Jt为理想的未退化的图像。若图像需要进行对比度增强则A为多余的白光;若图像需要进行色度增强则A为多余的白光分量加上某一色光分量的偏置。透射率p用于控制A进入Jt的比例。p越小,说明图像退化的越厉害。
所述透射率估计分为如下两个步骤:(1)透射率初步估计
I t = pJ t + ( 1 - p ) A ⇒ min I ( x , y , z ) t = p ( x , y ) min J ( x , y , z ) t + ( 1 - p ( x , y ) ) A ⇒ min I ( x , y , z ) t A p ( x , y ) min J ( x , y , z ) t A + 1 - p ( x , y ) ⇒ D ( x , y ) t A = p ( x , y ) d ( x , y ) t A + 1 - p ( x , y ) ≈ 1 - p ( x , y ) ⇒ p ( x , y ) = 1 - D ( x , y ) t A
其中p(x,y)表示(x,y)位置处的透射率。
Figure GDA00003544314400056
表示第t帧退化图像中中心位置为(x,y)的3乘3乘3的图像块。表示第t帧理想图像中中心位置为(x,y)的3乘3乘3的图像块。
Figure GDA00003544314400058
表示退化图像的暗通道图像对应(x,y)位置处的值。
Figure GDA00003544314400059
表示理想图像的暗通道图像对应(x,y)位置处的值。因为理想图像的色彩饱和度高,
Figure GDA00003544314400052
的值趋近于零。
(2)透射率下限估计:
明通道图像与暗通道图像的平均绝对误差e决定透射率的下限pmin
e=E(|Bt-Dt|)
pmin=1-e/max(|Bt-Dt|)。
其中|·|为绝对值操作符。
第五步、按如下公式估计理想图像,得到增强后的结果:
J ( x , y , z ) t = I ( x , y , z ) t - A ( x , y , z ) max ( ρ ( x , y ) , ρ min ) + A ( x , y , z ) .
所述A(x,y,z)为背景光源图像A在z通道(x,y)位置处的像素值。所述
Figure GDA00003544314400054
为第t帧图像在z通道(x,y)位置处的像素值。
Figure GDA00003544314400055
为第t帧增强图像在z通道(x,y)位置处的像素值。ρ(x,y)为对应(x,y)位置处的透射率。增强结果详见图6、7。
实施效果
依据上述步骤,对中国电影档案馆的4部电影,16个片段序列进行修复实验。图像尺寸为1536乘2048。所有实验均在PC计算机上实现,该PC计算机的主要参数为:中央处理器CoreTM2Duo CPU E66002.40GHz,内存3GB。软件平台:MATLAB。
增强结果为:
平均用时143.273秒每帧(彩色图像)。
***流程如图1所示。
本实施例获得的增强结果为:
平均修复用时148.301秒每帧。
其中,生成暗通道图像用时为21.447秒每帧;
生成明通道图像用时为19.289秒每帧;
用于直方图分析的时间为9.721秒每帧;
用于来源通道的时间为5.129秒每帧;
用于透射率估计的用时为63.562秒每帧;
用于对比度色度增强的用时为29.153秒每帧。
增强结果如图6、7所示。
与现有技术相比,本发明不同于简单的直方图均衡,从胶片退化的原理出发,使得对比度和色度增强的结果更为符合人的主观感受,且避免了帧间闪烁。更重要的是,***的参数不需要人工调节,使得***实现了电影的自动化对比度和色度增强。

Claims (2)

1.一种电影对比度色度自动增强方法,其特征在于,包括以下步骤:
第一步、读取视频中同一场景的N帧图像序列I,计算每一帧It的明通道图像B和暗通道图像D;It表示第t帧图像;
所述的明通道图像,是将It分割成3乘3乘3的块
Figure FDA00003603620600011
对每一块的RGB三通道求最大值,再从这三个值中求得最大值,记录它来自哪个通道,并将其赋值给中心位置的元素;
所述的暗通道,是将It分割成3乘3乘3的块,对每一块的RGB三通道求最小值,再从这三个值中求最小值,记录下它来自哪个通道,并将其赋值给中心位置的元素,t表示图像帧序号,t={1,2,…,N},(x,y)为中心像素位置;z为RGB三通道的序号;
第二步、对暗通道图像进行直方图分析,判断是否需要进行对比度增强;
第二步中:对t帧图像生成的t张暗通道图进行直方图分析,得到t张直方图,若t张直方图的平均方差σ>T,则判为需要进行对比度增强;
所述直方图为统计图像中各像素值出现次数的统计图像;所述T为判别是否需要进行对比度增强的阈值;
所述平均方差为
Figure FDA00003603620600012
若需要进行对比度增强,则生成与It同一尺寸的背景光源图像A,当前所述背景光源图像为白光图像;
第三步、对明通道图像进行来源分析,判断是否需要进行色度增强;
第三步中:对明通道图像中各像素值的来源通道进行统计,记所占比例值为{ρRGB},若来源于某个通道的比例ρi很低,则判为需要进行色度增强,且按如下规则修改A:
A j = ( 1 - ρ i ) A j , i = j A j , i ≠ j ;
所述i,j=R,G,B对应RGB三通道,Aj表示对应A某一通道的值;
第四步、若需要进行对比度色度增强,则通过原始图像和明、暗通道图像进行透射率估计;
第四步中:所述透射率初步估计为:
I t = p J t + ( 1 - p ) A
⇒ min I ( x , y , z ) t = p ( x . y ) min J ( x , y , z ) t + ( 1 - p ( x , y ) ) A
⇒ min I ( x , y , z ) t A = p ( x , y ) min J ( x , y , z ) t A + 1 - p ( x , y )
⇒ D ( x , y ) t A = p ( x , y ) d ( x , y ) t A + 1 - p ( x , y ) ≈ 1 - p ( x , y )
⇒ p ( x , y ) = 1 - D ( x , y ) t A
其中p(x,y)表示(x,y)位置处的透射率,
Figure FDA00003603620600026
表示第t帧退化图像中中心位置为(x,y)的5乘5乘3的图像块,
Figure FDA00003603620600027
表示第t帧理想图像中中心位置为(x,y)的5乘5乘3的图像块,
Figure FDA00003603620600028
表示退化图像的暗通道图像对应(x,y)位置处的值,
Figure FDA00003603620600029
表示理想图像的暗通道图像对应(x,y)位置处的值,因为理想图像的色彩饱和度高,
Figure FDA000036036206000210
的值趋近于零;
第五步、根据明通道和暗通道确定透射率的阈值;
第五步中:透射率下限估计为:
明通道图像与暗通道图像的平均绝对误差e决定透射率的下限pmin
e=E(|Bt-Dt|)
pmin=1-e/max(|Bt-Dt|);
其中|·|为绝对值操作符;
第六步、进行对比度色度增强;
第六步中:按如下公式估计理想图像,得到增强后的结果:
J ( x , y , z ) t = I ( x , y , z ) t - A ( x , y , z ) max ( ρ ( x , y ) , ρ min ) + A ( x , y , z )
所述A(x,y,z)为背景光源图像A在z通道(x,y)位置处的像素值,所述为第t帧图像在z通道(x,y)位置处的像素值,为第t帧增强图像在z通道(x,y)位置处的像素值,ρ(x,y)为对应(x,y)位置处的透射率。
2.根据权利要求1所述的电影对比度色度自动增强方法,其特征是,第四步中:所述透射率p由如下胶片退化模型定义:
I t = p J t + ( 1 - p ) A
其中It为实际观测到的退化后的图像,Jt为理想的未退化的图像,若图像需要进行对比度增强则A为多余的白光;若图像需要进行色度增强则A为多余的白光分量加上某一色光分量的偏置,透射率p用于控制A进入Jt的比例,p越小,说明图像退化的越厉害。
CN2011103046732A 2011-10-10 2011-10-10 电影对比度色度自动增强方法 Active CN102427538B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011103046732A CN102427538B (zh) 2011-10-10 2011-10-10 电影对比度色度自动增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011103046732A CN102427538B (zh) 2011-10-10 2011-10-10 电影对比度色度自动增强方法

Publications (2)

Publication Number Publication Date
CN102427538A CN102427538A (zh) 2012-04-25
CN102427538B true CN102427538B (zh) 2013-11-20

Family

ID=45961473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103046732A Active CN102427538B (zh) 2011-10-10 2011-10-10 电影对比度色度自动增强方法

Country Status (1)

Country Link
CN (1) CN102427538B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717473B (zh) * 2013-12-13 2017-01-25 厦门美图移动科技有限公司 一种自动调整对比度的拍摄方法
CN104050645B (zh) * 2014-06-23 2017-01-11 小米科技有限责任公司 图像处理方法及装置
CN105225210B (zh) * 2015-10-14 2018-03-02 南京第五十五所技术开发有限公司 一种基于暗通道的自适应直方图增强去雾方法
CN107844761B (zh) * 2017-10-25 2021-08-10 海信集团有限公司 交通标志的检测方法及装置
WO2020133331A1 (en) 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Systems and methods for exposure control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098411A (zh) * 2006-06-09 2008-01-02 三星电子株式会社 用于对比度增强的图像处理方法和装置
CN101783012A (zh) * 2010-04-06 2010-07-21 中南大学 一种基于暗原色的自动图像去雾方法
CN101950416A (zh) * 2010-09-15 2011-01-19 北京理工大学 基于双边滤波的实时图像去雾增强方法
CN102014279A (zh) * 2010-12-20 2011-04-13 杭州华三通信技术有限公司 一种视频图像对比度增强方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100916073B1 (ko) * 2007-09-27 2009-09-08 삼성전기주식회사 영상의 콘트라스트를 향상시키는 히스토그램 스트레칭 장치및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101098411A (zh) * 2006-06-09 2008-01-02 三星电子株式会社 用于对比度增强的图像处理方法和装置
CN101783012A (zh) * 2010-04-06 2010-07-21 中南大学 一种基于暗原色的自动图像去雾方法
CN101950416A (zh) * 2010-09-15 2011-01-19 北京理工大学 基于双边滤波的实时图像去雾增强方法
CN102014279A (zh) * 2010-12-20 2011-04-13 杭州华三通信技术有限公司 一种视频图像对比度增强方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Kaiming He等.Single image haze removal using dark channel prior.《IEEE Conference on Computer Vision and Pattern Recognition 2009》.2009,1956-1963.
Single image haze removal using dark channel prior;Kaiming He等;《IEEE Conference on Computer Vision and Pattern Recognition 2009》;20091231;全文 *

Also Published As

Publication number Publication date
CN102427538A (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
CN106846263B (zh) 基于融合通道且对天空免疫的图像去雾方法
CN102427538B (zh) 电影对比度色度自动增强方法
US20100166257A1 (en) Method and apparatus for detecting semi-transparencies in video
CN105046653B (zh) 一种视频雨滴去除方法及***
CN103942758A (zh) 基于多尺度融合的暗通道先验图像去雾方法
CN104867121B (zh) 基于暗原色先验和Retinex理论的图像快速去雾法
CN110570365A (zh) 基于先验信息的图像去雾方法
CN113706412B (zh) 一种sdr到hdr转换方法
CN102306307B (zh) 一种彩色显微图像序列中固点噪声的定位方法
CN104021527B (zh) 一种图像中雨雪的去除方法
CN103400367A (zh) 一种无参考型模糊图像质量评价方法
CN107360344A (zh) 监控视频快速去雾方法
He et al. Single image dehazing with white balance correction and image decomposition
CN111192205A (zh) 一种图像去雾方法、***和计算机可读存储介质
CN104809700A (zh) 一种基于亮通道的低照度视频实时增强方法
CN107977941B (zh) 一种明亮区域色彩保真及对比度增强的图像去雾方法
CN104392425A (zh) 一种基于人脸的自动调整对比度的图像增强方法
CN106408520A (zh) 一种高颜色保真度的图像去雾方法
CN105989583A (zh) 一种图像去雾方法
CN102542536B (zh) 基于广义均衡模型的画质增强方法
CN111476744A (zh) 一种基于分类及大气成像模型的水下图像增强方法
CN103379346A (zh) 一种yuv格式图像的色度信息处理方法、装置及***
CN114372990A (zh) 彻底抠除绿幕的图像合成方法、装置、设备及存储介质
CN105184758B (zh) 一种图像去雾增强的方法
CN110852971B (zh) 基于暗原色先验和Retinex的视频去雾方法及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant