CN105678717B - 动态视频图像清晰度强化方法及装置 - Google Patents
动态视频图像清晰度强化方法及装置 Download PDFInfo
- Publication number
- CN105678717B CN105678717B CN201610118121.5A CN201610118121A CN105678717B CN 105678717 B CN105678717 B CN 105678717B CN 201610118121 A CN201610118121 A CN 201610118121A CN 105678717 B CN105678717 B CN 105678717B
- Authority
- CN
- China
- Prior art keywords
- component
- data
- matrix
- current pixel
- fuzzy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 82
- 230000002787 reinforcement Effects 0.000 claims 1
- 230000004075 alteration Effects 0.000 abstract description 7
- 238000004891 communication Methods 0.000 description 25
- 238000003860 storage Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000005728 strengthening Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，公开了一种动态视频图像清晰度强化方法及装置。所述方法包括步骤：获取当前像素的YUV数据，对所述当前像素的YUV数据进行归一化处理；计算归一化后的Y分量的邻域模糊数据和图像纹理数据；使用Y分量的所述邻域模糊数据和所述图像纹理数据进行锐化增强，对锐化增强后的Y分量调整整体对比度；使用调整后的Y分量与当前像素的UV分量计算当前像素的RGB数据，输出所述当前像素的RGB数据。本发明的技术方案通过快速提高图像中不同事物的色差，实现了高效的清晰度强化，可满足动态视频图像的连续处理需求。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种动态视频图像清晰度强化方法及装置。
背景技术
摄影摄像设备可帮助人们记录影像以便在任意时间地点进行查看，但受限于设备和拍摄人的能力，很多影像资料所呈现的画面质量并不理想，很难满足用户需求。在重新拍摄的时间和人力物力成本较高的情况下，通常会选择采用一定的技术手段来增强图像的清晰度。
传统的清晰度增强算法往往针对特定的行业或工作环境，比如计算机中的模式识别、医学X光成像、气象成像等，这些只需对个别的静态图像进行处理，处理的实时性要求不高但处理量通常较大，无法满足连续处理动态图像的效率和性能需求。此外，现有技术中的图像增强方法往往只针对某一特定要求进行片面强化，如增强亮度、增强对比度、增强色度等，其强化幅度虽然较大，但算法一般比较单一，如果要同时对图像的多种参数进行强化则需分别运行多种算法，计算量过大而实时性较差。
发明内容
针对现有技术的缺陷，本发明的目的是提供一种动态视频图像清晰度强化方法及装置，以高效快捷实时地对连续的动态视频图像进行清晰度强化。
根据本发明的一个方面，提供了一种动态视频图像清晰度强化方法，包括步骤：
获取当前像素的YUV数据，对所述当前像素的YUV数据进行归一化处理；
计算归一化后的Y分量的邻域模糊数据和图像纹理数据；
使用Y分量的所述邻域模糊数据和所述图像纹理数据进行锐化增强，对锐化增强后的Y分量调整整体对比度；
使用调整后的Y分量与当前像素的UV分量计算当前像素的RGB数据，输出所述当前像素的RGB数据。
优选地，计算所述邻域模糊数据包括：
以所述当前像素为中心点选取邻近的N×N个像素，构建N×N的模糊矩阵和Y分量矩阵，其中N为大于1的奇数；
将所述模糊矩阵和所述Y分量矩阵进行运算得出所述邻域模糊数据。
优选地，所述方法中：
所述模糊矩阵中各元素取值为各像素距所述当前像素的距离，所述Y分量矩阵中各元素取值为各像素的Y分量。
优选地，计算所述图像纹理数据包括：
构建3×3的梯度算子矩阵；
以当前像素为中心点选取邻近的3×3个像素，构建3×3的Y分量矩阵；
将3×3的Y分量矩阵与所述梯度算子矩阵进行运算得出所述图像纹理数据。
优选地，所述进行锐化增强包括：
使用加强因子控制所述图像纹理数据对所述邻域模糊数据进行修正。
在本发明的另一方面，还同时提供了一种动态视频图像清晰度强化装置，包括：
归一化模块，用于获取当前像素的YUV数据，对所述当前像素的YUV数据进行归一化处理；
数据处理模块，用于计算归一化后的Y分量的邻域模糊数据和图像纹理数据；
图像强化模块，用于使用Y分量的所述邻域模糊数据和所述图像纹理数据进行锐化增强，对锐化增强后的Y分量调整整体对比度；
输出模块，用于使用调整后的Y分量与当前像素的UV分量计算当前像素的RGB数据，输出所述当前像素的RGB数据。
优选地，所述数据处理模块包括邻域模糊模块，其中所述邻域模糊模块包括：
矩阵构建模块，用于以所述当前像素为中心点选取邻近的N×N个像素，构建N×N的模糊矩阵和Y分量矩阵，其中N为大于1的奇数；
模糊运算模块，用于将所述模糊矩阵和所述Y分量矩阵进行运算得出所述邻域模糊数据。
优选地，所述矩阵构建模块包括：
模糊矩阵构建模块，用于以各像素距所述当前像素的距离为各元素取值构建所述模糊矩阵；
Y分量矩阵构建模块，用于以各像素的Y分量为各元素取值构建所述Y分量矩阵。
优选地，所述数据处理模块包括边缘处理模块，其中所述边缘处理模块包括：
梯度矩阵构建模块，用于构建3×3的梯度算子矩阵，并以当前像素为中心点选取邻近的3×3个像素，构建3×3的Y分量矩阵；
纹理运算模块，用于将3×3的Y分量矩阵与所述梯度算子矩阵进行运算得出所述图像纹理数据。
优选地，所述图像强化模块包括：
锐化增强模块，用于使用加强因子控制所述图像纹理数据对所述邻域模糊数据进行修正。
本发明实施例提供了一种动态视频图像清晰度强化方法及装置，通过快速提高图像中不同事物的色差，实现了高效的清晰度强化，可满足动态视频图像的连续处理需求。
附图说明
图1是本发明实施例中动态视频图像清晰度强化方法的流程示意图；
图2是本发明实施例中动态视频图像清晰度强化装置的模块示意图；
图3a和图3b、图4a和图4b以及图5a和图5b分别是采用本发明实施例的技术方案进行清晰度强化前后的图像对比示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
现有技术中的图像增强方法普遍存在计算量大实时性差的缺陷，一般只适用于处理静态图像，加上现有技术的图像增强方案一般只针对一种图像参数进行片面强化，难以满足动态视频图像的清晰度强化的需求。
本发明实施例提供了一种动态视频图像清晰度强化方案，通过快速提高图像中不同事物的色差，实现了高效的清晰度强化，可满足动态视频图像的连续处理需求。如图1所示，本发明实施例中的动态视频图像清晰度强化方法包括步骤：
S1，获取当前像素的YUV数据，对所述当前像素的YUV数据进行归一化处理；
S2，计算归一化后的Y分量的邻域模糊数据和图像纹理数据；
S3，使用所述邻域模糊数据和所述图像纹理数据对所述当前像素归一化后的Y分量进行锐化增强，对锐化增强后的Y分量调整整体对比度；
S4，使用调整后的Y分量与当前像素的UV分量计算当前像素的RGB数据，输出所述当前像素的RGB数据。
其中，在本发明实施例中，上述方法对视频中每一图像帧的每一像素进行遍历处理，处理后数据直接输出到显示设备，从而向用户呈现经过清晰度强化的视频。更进一步地，可利用多个处理设备，比如CPU和GPU，或利用处理设备的多个核心处理单元，比如多核处理器，对多个像素同时采用上述方法进行并行处理，多个像素的处理结果数据按时钟信号的控制输出到显示设备。
在本发明优选实施例中，步骤S1的归一化处理包括：将数据原始值统一除以255，即Ynor＝Ysrc/255.0，其中，Ysrc为原始的Y/U/V数据值，Ynor为归一化后的Y/U/V分量值。所述YUV数据通过解码视频数据后获取。
优选地，步骤S2中计算所述邻域模糊数据包括：
以当前像素为中心点选取邻近的N×N个像素，构建N×N的模糊矩阵和Y分量矩阵；其中N为大于1的奇数；模糊矩阵中各元素取值优选为各像素距中心像素的距离，Y分量矩阵中各元素取值优选为各像素的Y分量(优选为归一化后数值)；N的具体取值根据需求的像素模糊程度来确定，一般N取值越大像素模糊程度越高；
将所述模糊矩阵和所述Y分量矩阵进行运算得出邻域模糊数据(优选为矩阵乘法运算，矩阵对应元素进行相乘，然后整体求和，得出的数据即为Y分量的邻域模糊数据)。
进一步地，步骤S2中，计算所述图像纹理数据包括：
构建一个3×3的梯度算子矩阵；
以当前像素为中心点选取邻近的3×3个像素，构建3×3的Y分量矩阵；
将3×3的Y分量矩阵与梯度算子矩阵进行运算得出图像纹理数据(优选为矩阵乘法运算，矩阵对应元素进行相乘，然后整体求和，得出的数据即为Y分量的图像纹理数据)。
其中，在计算机图像处理领域，图像的边缘通常定义为两个明显不同强度区域的过渡，边缘点对应于一阶微分幅度的极大值点以及二阶微分的零点。因此，利用梯度模的极大值或二阶导数为零点来提取边缘就成为了目前常用的方法，传统的图像边缘检测算法大部分都使用这种方法。具体地，梯度属于一阶微分算子，对应一阶导数；若图像含有较小的噪声并且图像边缘的灰度值过渡较为明显，梯度算子可以得到较好的边缘检测效果。
本发明实施例中优选采用梯度算子计算所述图像纹理数据，目的就是在边缘检测的基础上强化不同事物之间的差异。本发明实施例中采用的梯度算子可基于现有技术成熟图像边缘检测算法的梯度算子或二阶微分算子模板获取，如Roberts算子、Sobel算子、Prewitt算子、Laplace算子和Canny算子等，其中，Sobel算子、Prewitt算子和Laplace算子的卷积模板就是3×3的矩阵；鉴于上述算法及算子的定义较为成熟且内容较为复杂，限于篇幅，本发明中不再逐一展开描述。
步骤S3中，所述进行锐化增强包括：
使用加强因子控制所述图像纹理数据对所述邻域模糊数据进行修正；具体地，采用下式计算锐化增强的Y分量：
Ye＝Yblur+Yt *Fr；其中Ye为锐化增强后的Y分量，Yblur为Y分量的邻域模糊数据，Yt为Y分量的图像纹理数据，Fr为加强因子，取值范围为[0.0-1.0]。
进一步地，所述调整整体对比度包括：
使用调整因子对锐化增强后的Y分量进行调整；具体地，采用下式进行整体对比度(色彩)的调整：
Yout＝(Ye-0.5)*Fr2+0.5；其中Yout为调整后的Y分量，Ye为锐化增强后的Y分量，Fr2为调整因子，取值范围为Fr2≥1.0。
步骤S4中，所述计算当前像素的RGB数据包括：
使用调整后的Y分量与当前像素的UV分量(优选为归一化后数值)进行色彩空间转化，计算RGB数据(前述3个分量构成的向量与转化矩阵的乘积)，其中转化矩阵为
下面进一步来说明本发明实施例方案的实现原理，首先，由于各事物之间存在色差，在视觉***中产生的图像便可根据色差识别不同事物的轮廓，进而产生对不同事物的认知。基于这一现象，本发明实施例的技术方案利用上述方式，通过在空间域对图像进行处理，经过梯度算法计算图像的边缘，并结合邻域模糊对图像进行强化，从而有效提高不同事物之前的色差，拉大各事物之间的对比度，达到提高图像清晰度的目的。
进一步如图2所示，与上述方法一一对应地，本发明实施例还同时提供了一种动态视频图像清晰度强化装置1，包括：
归一化模块101，用于获取当前像素的YUV数据，对所述当前像素的YUV数据进行归一化处理；
数据处理模块102，用于计算归一化后的Y分量的邻域模糊数据和图像纹理数据；
图像强化模块103，用于使用Y分量的所述邻域模糊数据和所述图像纹理数据进行锐化增强，对锐化增强后的Y分量调整整体对比度；
输出模块104，用于使用调整后的Y分量与当前像素的UV分量计算当前像素的RGB数据，输出所述当前像素的RGB数据。
优选地，所述数据处理模块包括邻域模糊模块，其中所述邻域模糊模块包括：
矩阵构建模块，用于以所述当前像素为中心点选取邻近的N×N个像素，构建N×N的模糊矩阵和Y分量矩阵，其中N为大于1的奇数；
模糊运算模块，用于将所述模糊矩阵和所述Y分量矩阵进行运算得出所述邻域模糊数据。
优选地，所述矩阵构建模块包括：
模糊矩阵构建模块，用于以各像素距所述当前像素的距离为各元素取值构建所述模糊矩阵；
Y分量矩阵构建模块，用于以各像素的Y分量为各元素取值构建所述Y分量矩阵。
优选地，所述数据处理模块包括边缘处理模块，其中所述边缘处理模块包括：
梯度矩阵构建模块，用于构建3×3的梯度算子矩阵，并以当前像素为中心点选取邻近的3×3个像素，构建3×3的Y分量矩阵；
纹理运算模块，用于将3×3的Y分量矩阵与所述梯度算子矩阵进行运算得出所述图像纹理数据。
优选地，所述图像强化模块包括：
锐化增强模块，用于使用加强因子控制所述图像纹理数据对所述邻域模糊数据进行修正。
优选地，上述动态视频图像清晰度强化装置可以是处理设备，比如集群、服务器或处理终端等；也可以是相对独立的功能单元，比如GPU、独立芯片或强化软件等，通过处理设备加载后实现清晰度强化。在实际应用中，上述装置中的各模块均可由位于装置设备中的中央处理器(Central Processing Unit，CPU)、微处理器(Micro Processor Unit，MPU)、数字信号处理器(Digital Signal Processor，DSP)、或现场可编程门阵列(FieldProgrammable Gate Array，FPGA)等实现；图像数据(包括但不限于YUV数据、RGB数据、邻域模糊数据、图像纹理数据和锐化增强数据等)优选通过存储设备进行保存并提供给上述处理设备/单元。
在本发明实施例中提及的术语“图像”可以包括二维图像、三维图像、视频帧、计算机文件表示、来自相机的图像、视频帧或者其组合。例如，图像可以是机器可读数字文件、物理照片、数字照片、运动图片帧、视频帧、x射线图像、扫描图像或其组合；图像可以从按矩形阵列排列的像素中生成；图像可以包括沿着行方向的x轴和沿着列方向的y轴形成。
在本发明更优选实施例中，可以形成包含动态视频图像清晰度强化装置在内的具有图像细节创建机制的电子***。其中，电子***优选包括诸如客户端或服务器的第一设备，其连接到诸如客户端或服务器的第二设备；第一设备可以通过通信路径(诸如无线或有线网络)与第二设备通信。
在一个示例中，第一设备可以是各种具有一定清晰度的显示设备中的任何一种，诸如高清电视机、平板设备、智能手机、个人数字助理(PDA)、笔记本计算机、液晶显示器(LCD)***、可穿戴设备、移动计算设备或其它多功能显示器或娱乐设备。第一设备可以直接或间接地耦合到通信路径来与第二设备通信，或者可以是独立的设备。但是本领域相关技术人员也应该理解第一设备还可以是不同类型的设备；例如，第一设备也可以是用于呈现图像或多媒体呈现的设备，如监视器、视频面板、HUD、智能电话机、视频设备、游戏设备等等。多媒体呈现可以是包括声音、流图像序列或视频馈送，或者其组合的呈现。在这里，上述第一设备和多媒体的列举不应理解为对本发明具体实施方式的穷尽。
第二设备可以是各种集中式或分散式计算设备、图像或视频传输设备中的任何一种。例如，第二设备可以是网络服务器、多媒体计算机、平板、膝上型计算机、台式计算机、视频游戏控制台、网格计算资源、虚拟化计算机资源、云计算资源、路由器、交换机、对等分布式计算设备、媒体回放设备、数字视频盘(DVD)播放器、三维功能DVD播放器、记录设备，诸如相机或摄像机，或者其组合。在另一个示例中，第二设备可以是用于接收广播或直播流信号的信号接收器，诸如电视接收器、线缆盒、卫星天线接收器或网络功能设备。第二设备可以集中在单个房间中、分布在不同的房间、分布在不同的地理位置、嵌入在电信网络之内。第二设备可以具有用于与通信路径耦合来与第一设备通信的部件。
通信路径可以是各种网络，如可以包括无线通信、有线通信、光、超声波或其组合，卫星通信、蜂窝通信、蓝牙、红外数据协会标准(IrDA)、无线保真(WiFi)和全球微波接入互联(WiMAX)是可以被包括在通信路径中的无线通信的示例。以太网、数字用户线(DSL)、光纤到户(FTTH)、高清晰度多媒体接口(HDMI)线缆和普通老式电话服务(POTS)是可以包括在通信路径中的有线通信的示例。此外，通信路径可以穿越许多网络拓扑和距离。例如，通信路径可以包括直接连接、个域网(PAN)、局域网(LAN)、城域网(MAN)、宽域网(WAN)或其组合。
在本发明一个实施例中，上述方法或装置可以在上述电子***的任意设备上执行处理和/或显示包括中间处理图像细节在内的各种输入/输出图像。
更进一步地，列举一个对于实现所公开的实施例有用的计算机***，该计算机***可以构成上述电子***或电子***中的任一设备，其包括一个或多个处理器，并且可以进一步包括电子显示设备(用于显示图形、文本和其它数据)，主存储器(例如，随机存取存储器RAM)、存储器件(例如，硬盘驱动器)、可移除存储器件(例如，可移除存储驱动器、可移除存储模块、磁带驱动器、光盘驱动器、在其中存储有计算机软件和/或数据的计算机可读介质)，用户接口设备(例如，键盘、触摸屏、键盘、指点设备)以及通信接口(例如，调制解调器、网络接口(诸如以太网卡)、通信端口或PCMCIA插槽和卡)。通信接口允许在计算机***和外部设备之间传递软件和数据。计算机***还包括连接内外部器件以实现数据交互的通信基础设施(例如，通信总线、转换接头或网络)。
此外，原始的输入视频图像数据和/或用于呈现的输出视频图像可以保存在第一设备和/或第二设备本地；在另一个实施例中，输入视频图像也可以从输入源提供，输出视频图像也可以提供给其他输出源进行呈现和/或存储。输入/输出视频图像可以无线地或通过有线接口被发送/接收，并且可以包括未压缩/压缩的视频内容。在一个实施例中，电子***中的视频成像内容的有线或无线通信可以包括在下面一个或多个上的通信：以太网、电话(例如，POTS)、线缆、电力线和光纤***，和/或包括码分多址(CDMA或CDMA2000)通信***、频分多址(FDMA)***、时分多址(TDMA)***(诸如GSM/GPRS(通用分组无线电服务)/EDGE(增强的数据GSM环境)、TETRA(地面集群无线电)移动电话***)、宽带码分多址(WCDMA)***、高数据速率(1x增强的语音-仅数据(EV-DO)或1xEV-DO黄金组播)***、IEEE802.11***、DMB(数字多媒体广播)***、正交频分多址(OFDM)***、DVB-H(数字视频广播-手持)***等中的一个或多个的无线***。在一个实施例中，输入/输出源可以在无线网络(例如，互联网、局域网(LAN)、宽域网(WAN)、个域网(PAN)、校园无线网(CAN)、城域网(MAN)等)上发送。在一个实施例中，输入/输出源可以来自于基于云的***、服务器、广播站、视频设备/播放器、视频相机、移动设备等等。
在一个实施例中，从输入源输入的视频图像在到达输入节点之前可以被解码/编码(例如，经由解码器/编码器)。在一个实施例中，从输出节点输出到输出源的视频图像在到达输出节点之前可以被编码/解码。在一个实施例中，输出源可以无线地或通过有线接口从输出节点接收输出图像。
在一个实施例中，来自输入源的压缩视频图像内容可以从广播、计算机网络、DVD或者其它计算机可读存储介质或者任何其它合适的视频信号源提供模拟或数字视频。在一个实施例中，来自输入源的压缩视频可以经由射频接口(诸如ATSC广播)、计算机网络或有线或无线连接(诸如分量视频线缆)、DVI或HDMI视频接口等等耦合到接收器。在一个实施例中，来自输入源的未压缩的视频图像可以包括通过任何合适的视频接口耦合到接收器的诸如磁盘驱动器的存储器件或摄像机中的一个或多个。在一个实施例中，来自输入源的未压缩的视频可以提供模拟或数字形式的未压缩的视频，包括亮度和色度的形式，按照诸如红、绿和蓝等的单色强度，或者以任何其它合适的格式。
在某些实施例中，在具有多核处理器的对称多处理计算机可构成上述计算机***；依照某些实施例，图形流水线(pipeline)可包含通过总线耦合到帧缓冲器的图形处理器；在一种实施例中，图形处理器可通过总线耦合到芯片组核心逻辑及主处理器。在某些实施例中，图形处理器或主处理器中之一或多个可使用具有多核的对称多处理来并行计算梯度。存储器可耦合到芯片组核心逻辑，且存储器可例如包含主存储器、硬盘驱动器以及可移动媒介等。
在一种实施例中，上文中的方法的序列可实现为存储在主存储器的部分中的机器可读指令。另外，在主存储器内还可建立连续缓冲器、寄存器、池、堆栈和队列等形式。但是，在其它示例中，实现上述方法的序列的缓冲与存储也可在主处理器、另一存储器或者在图形处理器中实现。
在某些实施例中，实现上述方法的序列可用软件来实现，且在其它实施例中它们可用硬件来实现。在软件实施例中，序列可由对处理器或处理器可执行的指令通过调用存储在计算机可读介质中的指令来实现。计算机可读介质可为任意计算机可读存储介质，包括磁、半导体或者光存储器。
本文所述的图形处理技术可用各种硬件结构来实现。例如，图形功能可集成到芯片组内。备选地，可使用分立图形处理器。作为另一实施例，图形功能可用包括多核处理器的通用目的处理器来实现。
经由通信接口传递的信息可以是信号的形式，诸如电、电磁、光或经由通信链路能够被通信接口接收的其它信号，所述通信链路携载信号并且可以使用线或缆、光纤、电话线、蜂窝式电话链路、射频(RF)链路和/或其它通信信道来实现。本发明实施例所描述的计算机程序指令可以被加载在计算机、可编程数据处理装置或处理设备上，使得在其上执行的一系列操作以产生计算机实现的过程。
术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”用来一般地指代媒体，诸如主存储器、辅存储器、可移除存储器件、安装在硬盘驱动器中的硬盘和信号。这些计算机程序产品是用于向计算机***提供软件的部件。计算机可读介质允许计算机***从计算机可读介质中读取数据、指令、消息或消息包和其它计算机可读信息。例如，计算机可读介质可以包括非易失性存储器，诸如软盘、ROM、闪存、磁盘驱动器存储器、CD-ROM和其它永久性存储装置。例如，它对于在计算机***之间传输诸如数据和计算机指令的信息是有用的。计算机程序指令可以被存储在计算机可读介质中，计算机可读介质可以指导计算机、其它可编程数据处理装置或其它设备按特定的方式起作用，使得被存储在计算机可读介质中的指令产生包括实施在图1流程图和/或图2框图框中指定的功能/行为的指令的制造品。
此外，计算机可读介质可以将计算机可读信息包括在诸如网络链路和/或网络接口的暂态介质中，包括有线网络或无线网络，其允许计算机读取这样的计算机可读信息。计算机程序(即计算机控制逻辑)被存储在主存储器和/或辅存储器中。计算机程序也可以经由通信接口接收。这样的计算机程序当被运行时使得计算机***能够执行如在此讨论的特征。具体地，计算机程序当被运行时，使得多核处理器执行计算机***的特征。这样的计算机程序表示计算机***的控制器。
图3-5为按照本发明实施例进行清晰度强化前后的图像对照，其中计算Y分量增益系数时的参数选取为Thres＝0.04，Rmax＝2.5，图3a、4a、5a为强化前图像，图3b、4b、5b为强化后图像。从图像对比可以看出，图像中各事物的清晰度有较明显提升，故可显著提升用户体验。
本发明实施例提供了一种动态视频图像清晰度强化方法及装置，通过快速提高图像中不同事物的色差，实现了高效的清晰度强化，可满足动态视频图像的连续处理需求。其中，本发明实施例的技术方案通过对表示亮度/灰阶值的Y分量进行邻域模糊，再通过在空间域对图像进行处理，经过梯度算法计算图像的边缘，两者结合对图像进行强化，从而有效提高不同事物之前的色差，拉大各事物之间的对比度，达到提高图像清晰度的目的。本发明实施例的技术方案在不改变视频码率的基础上高效快捷实时地提高图像的清晰度，满足了消费行业中，消费者在视频观看时要求对动态的视频清晰度实时增强的需求，提高了视频观看的用户体验。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种动态视频图像清晰度强化方法，其特征在于，所述方法包括步骤：
获取当前像素的YUV数据，对所述当前像素的YUV数据进行归一化处理；
计算归一化后的Y分量的邻域模糊数据和图像纹理数据；
使用Y分量的所述邻域模糊数据和所述图像纹理数据进行锐化增强，对锐化增强后的Y分量调整整体对比度；
使用调整后的Y分量与当前像素的UV分量计算当前像素的RGB数据，输出所述当前像素的RGB数据；
其中，所述进行锐化增强包括：
采用公式Ye＝Yblur+Yt *Fr计算锐化增强的Y分量；其中Ye为锐化增强后的Y分量，Yblur为Y分量的邻域模糊数据，Yt为Y分量的图像纹理数据，Fr为加强因子，取值范围为[0.0-1.0]。
2.根据权利要求1所述的方法，其特征在于，计算所述邻域模糊数据包括：
以所述当前像素为中心点选取邻近的N×N个像素，构建N×N的模糊矩阵和Y分量矩阵，其中N为大于1的奇数；
将所述模糊矩阵和所述Y分量矩阵进行运算得出所述邻域模糊数据。
3.根据权利要求2所述的方法，其特征在于，所述方法中：
所述模糊矩阵中各元素取值为各像素距所述当前像素的距离，所述Y分量矩阵中各元素取值为各像素的Y分量。
4.根据权利要求1所述的方法，其特征在于，计算所述图像纹理数据包括：
构建3×3的梯度算子矩阵；
以当前像素为中心点选取邻近的3×3个像素，构建3×3的Y分量矩阵；
将3×3的Y分量矩阵与所述梯度算子矩阵进行运算得出所述图像纹理数据。
5.根据权利要求1所述的方法，其特征在于，所述进行锐化增强包括：
使用加强因子控制所述图像纹理数据对所述邻域模糊数据进行修正。
6.一种动态视频图像清晰度强化装置，其特征在于，所述装置包括：
归一化模块，用于获取当前像素的YUV数据，对所述当前像素的YUV数据进行归一化处理；
数据处理模块，用于计算归一化后的Y分量的邻域模糊数据和图像纹理数据；
图像强化模块，用于使用Y分量的所述邻域模糊数据和所述图像纹理数据进行锐化增强，对锐化增强后的Y分量调整整体对比度；
输出模块，用于使用调整后的Y分量与当前像素的UV分量计算当前像素的RGB数据，输出所述当前像素的RGB数据；
其中，所述进行锐化增强包括：
采用公式Ye＝Yblur+Yt *Fr计算锐化增强的Y分量；其中Ye为锐化增强后的Y分量，Yblur为Y分量的邻域模糊数据，Yt为Y分量的图像纹理数据，Fr为加强因子，取值范围为[0.0-1.0]。
7.根据权利要求6所述的装置，其特征在于，所述数据处理模块包括邻域模糊模块，其中所述邻域模糊模块包括：
矩阵构建模块，用于以所述当前像素为中心点选取邻近的N×N个像素，构建N×N的模糊矩阵和Y分量矩阵，其中N为大于1的奇数；
模糊运算模块，用于将所述模糊矩阵和所述Y分量矩阵进行运算得出所述邻域模糊数据。
8.根据权利要求7所述的装置，其特征在于，所述矩阵构建模块包括：
模糊矩阵构建模块，用于以各像素距所述当前像素的距离为各元素取值构建所述模糊矩阵；
Y分量矩阵构建模块，用于以各像素的Y分量为各元素取值构建所述Y分量矩阵。
9.根据权利要求6所述的装置，其特征在于，所述数据处理模块包括边缘处理模块，其中所述边缘处理模块包括：
梯度矩阵构建模块，用于构建3×3的梯度算子矩阵，并以当前像素为中心点选取邻近的3×3个像素，构建3×3的Y分量矩阵；
纹理运算模块，用于将3×3的Y分量矩阵与所述梯度算子矩阵进行运算得出所述图像纹理数据。
10.根据权利要求6所述的装置，其特征在于，所述图像强化模块包括：
锐化增强模块，用于使用加强因子控制所述图像纹理数据对所述邻域模糊数据进行修正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610118121.5A CN105678717B (zh) | 2016-03-02 | 2016-03-02 | 动态视频图像清晰度强化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610118121.5A CN105678717B (zh) | 2016-03-02 | 2016-03-02 | 动态视频图像清晰度强化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105678717A CN105678717A (zh) | 2016-06-15 |
| CN105678717B true CN105678717B (zh) | 2018-10-23 |
Family
ID=56307022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610118121.5A Active CN105678717B (zh) | 2016-03-02 | 2016-03-02 | 动态视频图像清晰度强化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105678717B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108242050A (zh) * | 2016-12-27 | 2018-07-03 | 航天信息股份有限公司 | 电子***的处理方法及装置 |
| CN107239208B (zh) * | 2017-05-27 | 2020-03-27 | 努比亚技术有限公司 | 处理屏幕截图的方法、设备及计算机可读存储介质 |
| CN109120845B (zh) * | 2018-07-18 | 2021-05-28 | 广东数相智能科技有限公司 | 一种多焦距图像拍摄方法、电子设备、存储介质 |
| CN109819553A (zh) * | 2019-03-21 | 2019-05-28 | 马艺 | Led灯自适应模式调节*** |
| CN110400261A (zh) * | 2019-04-04 | 2019-11-01 | 桑尼环保（江苏）有限公司 | 自适应环境清理平台 |
| CN114049732B (zh) * | 2021-09-29 | 2023-07-21 | 国网山东省电力公司郓城县供电公司 | 一种变电站视频监控方法、***及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6642962B1 (en) * | 1999-09-01 | 2003-11-04 | Neomagic Corp. | Merged pipeline for color interpolation and edge enhancement of digital images |
| CN103096035A (zh) * | 2012-12-27 | 2013-05-08 | 广东响石数码科技有限公司 | 一种具有视频优化功能的监视器 |
| CN103440623A (zh) * | 2013-08-02 | 2013-12-11 | 中北大学 | 基于成像模型提高雾天图像清晰度的方法 |
| CN105096280A (zh) * | 2015-06-17 | 2015-11-25 | 浙江宇视科技有限公司 | 处理图像噪声的方法及装置 |
-
2016
- 2016-03-02 CN CN201610118121.5A patent/CN105678717B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6642962B1 (en) * | 1999-09-01 | 2003-11-04 | Neomagic Corp. | Merged pipeline for color interpolation and edge enhancement of digital images |
| CN103096035A (zh) * | 2012-12-27 | 2013-05-08 | 广东响石数码科技有限公司 | 一种具有视频优化功能的监视器 |
| CN103440623A (zh) * | 2013-08-02 | 2013-12-11 | 中北大学 | 基于成像模型提高雾天图像清晰度的方法 |
| CN105096280A (zh) * | 2015-06-17 | 2015-11-25 | 浙江宇视科技有限公司 | 处理图像噪声的方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 智能视频监控中海面舰船目标检测算法研究;臧风妮;《中国博士学位论文全文数据库 工程科技II辑》;20141215(第12期);92-100 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105678717A (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105678717B (zh) | 动态视频图像清晰度强化方法及装置 | |
| US9652829B2 (en) | Video super-resolution by fast video segmentation for boundary accuracy control | |
| US8290295B2 (en) | Multi-modal tone-mapping of images | |
| CN105230033B (zh) | 利用自适应频率强度受控变换来创建图像中的细节 | |
| CN105230032B (zh) | 利用自适应频率提高来创建图像中的细节 | |
| CN104937927A (zh) | 2维图像或视频到3维立体图像或视频的实时自动转换 | |
| CN105210374B (zh) | 利用图像特征对频率提高超分辨率的控制 | |
| JP6841888B2 (ja) | 映像処理装置及び映像処理方法 | |
| JP7359521B2 (ja) | 画像処理方法および装置 | |
| CN105144681B (zh) | 用频率提高来创建图像中的细节 | |
| EP3828812B1 (en) | Electronic apparatus and control method thereof | |
| US20170161875A1 (en) | Video resolution method and apparatus | |
| KR101339785B1 (ko) | 분할 영상 처리 장치 및 방법 그리고 제어 인자 계산 장치 | |
| JP2013235517A (ja) | 画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体 | |
| CN108122216A (zh) | 用于数字图像的动态范围扩展的***和方法 | |
| US20240177409A1 (en) | Image processing method and apparatus, electronic device, and readable storage medium | |
| CN105469367B (zh) | 动态视频图像清晰度强化方法及装置 | |
| US10438328B1 (en) | Chroma blurring reduction in video and images | |
| CN105243652B (zh) | 图像降噪的方法及装置 | |
| KR20210108027A (ko) | 전자 장치 및 그 제어 방법 | |
| KR20210062485A (ko) | 전자 장치 및 그 제어 방법 | |
| US9600868B2 (en) | Image upsampling using local adaptive weighting | |
| Tang et al. | FPGA implementation of glass-free stereo vision | |
| TWI487346B (zh) | Method of hue corresponding to high dynamic range image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100080 A 5 C, block A, China International Steel Plaza, 8 Haidian Avenue, Haidian District, Beijing. Applicant after: Youku network technology (Beijing) Co., Ltd. Address before: 100080 A 5 C, block A, China International Steel Plaza, 8 Haidian Avenue, Haidian District, Beijing. Applicant before: 1Verge Inc. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200426 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Alibaba (China) Co.,Ltd. Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C Patentee before: Youku network technology (Beijing) Co., Ltd |
|
| TR01 | Transfer of patent right |