CN111340732B - 一种低照度视频图像增强方法及装置 - Google Patents
一种低照度视频图像增强方法及装置 Download PDFInfo
- Publication number
- CN111340732B CN111340732B CN202010129793.2A CN202010129793A CN111340732B CN 111340732 B CN111340732 B CN 111340732B CN 202010129793 A CN202010129793 A CN 202010129793A CN 111340732 B CN111340732 B CN 111340732B
- Authority
- CN
- China
- Prior art keywords
- illumination
- image
- frame image
- processing
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 76
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 13
- 238000009432 framing Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005316 response function Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000002708 enhancing effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种低照度视频图像增强方法及装置，涉及图像处理技术领域，能够得到较佳的增强的视频图像，且方法实施步骤简单、效率高。本发明的主要技术方案为：在获取到一段低照度视频图像数据之后，通过对所述视频图像数据进行分帧处理，得到所述视频图像数据对应的多个连续的单帧图像；利用全变分方法对所述单帧图像进行处理，生成所述单帧图像对应的照度图；对所述照度图进行亮度平衡调整，得到对应的曝光率；根据所述曝光率，通过调整所述单帧图像得到对应的增强图像，并利用多个所述增强图像合成增强的视频。本发明主要应用于低照度视频图像执行增强操作。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种低照度视频图像增强方法及装置。
背景技术
当光照不充足时，摄像机获取的图像往往可见度低，噪声大，图像细节被遮盖。这些问题严重影响了许多需要高质量输入图像的计算机视觉算法的性能，如图像分割、目标检测、目标识别等图像处理的需求。对于面向公共安全的视频监控***来说，这些问题更加不容忽视。为了得到明亮、可见度高、噪声减少、细节丰富的高质量图像，研究低照度视频图像增强技术是必须的。
目前，低照度图像增强的方法主要包括：基于深度学习的方法、直方图均衡法、基于Retinex方法、反转去雾算法等。但是，将这些现有方法应用到增强低照度图像处理过程中，还是会存在很多问题，比如：基于深度学习的方法是需要依赖复杂的网络结构和大量样本的，所以训练过程中会占用大量的硬件资源，如图形处理器(Graphics ProcessingUnit，GPU)、随机存取存储器(RandomAccess Memory，RAM)等硬件设备会被占用；使用直方图均衡法，虽然能够将低照度视频图像整体提亮，但是同时也会放大噪声；对于基于Retinex方法实现低照度视频图像的实施手段，它的性能会因照度大小、反射分量估计是否准确而受到影响；利用反转去雾算法执行对低照度视频图像增强，又缺乏物理理论支撑。
以上这些现有方法应用于视频图像增强处理时计算速度慢，或者只考虑全局亮度提升，使得原本高亮区域的细节被淹没，导致对低照度视频图像增强处理效果不佳、效率低。
发明内容
有鉴于此，本发明提供一种低照度视频图像增强方法及装置，主要目的在于对单帧视频图像估算照度分量以及根据照度分量对原单帧图像进行亮度平衡调整校正，从而在提升暗区亮度的同时抑制了强光区域的增强效果，保留了原单帧视频图像高亮度区域的细节，最终得到较佳的增强的视频图像，且方法实施步骤简单、效率高。
为了解决上述问题，本发明主要提供如下技术方案：
一方面，本发明提供了一种低照度视频图像增强方法，该方法包括：
在获取到一段低照度视频图像数据之后，通过对所述视频图像数据进行分帧处理，得到所述视频图像数据对应的多个连续的单帧图像；
利用全变分方法对所述单帧图像进行处理，生成所述单帧图像对应的照度图；
对所述照度图进行亮度平衡调整，得到对应的曝光率；
根据所述曝光率，通过调整所述单帧图像得到对应的增强图像，并利用多个所述增强图像合成增强的视频。
可选的，在所述得到所述视频图像数据对应的多个连续的单帧图像之后，所述方法还包括：
将所述单帧图像从RGB颜色空间转换为HSV颜色空间；
获取所述HSV颜色空间的明度分量；
利用相机响应函数对所述单帧图像的明度分量进行处理，得到所述单帧图像对应的真实场景图像。
可选的，所述利用全变分方法对所述单帧图像进行处理，生成所述单帧图像对应的照度图，包括：
利用全变分方法对所述单帧图像对应的真实场景图像进行处理，估算所述真实场景图像中存在的照度分量；
根据所述照度分量，生成对应的照度图。
可选的，所述对所述照度图进行亮度平衡调整，得到对应的曝光率，包括：
利用自适应伽马校正对所述照度图内不同区域的照度分量进行校正处理，计算经校正处理后得到的曝光率。
可选的，所述根据所述曝光率，通过调整所述单帧图像得到对应的增强图像，包括：
将所述单帧图像和所述曝光率输入预设亮度响应函数模型，输出目标图像；
对所述目标图像进行去噪处理；
将经去噪处理后的目标图像转换为RGB颜色空间，得到增强图像。
另一方面，本发明还提供了一种低照度视频图像增强装置，该装置包括：
第一处理单元，用于在获取到一段低照度视频图像数据之后，通过对所述视频图像数据进行分帧处理，得到所述视频图像数据对应的多个连续的单帧图像；
生成单元，用于利用全变分方法对所述第一处理单元得到的单帧图像进行处理，生成所述单帧图像对应的照度图；
调整单元，用于对所述生成单元生成的照度图进行亮度平衡调整，得到对应的曝光率；
确定单元，用于根据所述曝光率，通过调整所述单帧图像得到对应的增强图像；
合成单元，用于利用多个所述确定单元确定的增强图像合成增强的视频。
可选的，所述装置还包括：
转换单元，用于在所述得到所述视频图像数据对应的多个连续的单帧图像之后，将所述单帧图像从RGB颜色空间转换为HSV颜色空间；
获取单元，用于获取所述转换单元得到的HSV颜色空间的明度分量；
第二处理单元，用于利用相机响应函数对所述获取单元获取的单帧图像的明度分量进行处理，得到所述单帧图像对应的真实场景图像。
可选的，所述生成单元包括：
估算模块，用于利用全变分方法对所述单帧图像对应的真实场景图像进行处理，估算所述真实场景图像中存在的照度分量；
生成模块，用于根据所述估算模块得到的照度分量，生成对应的照度图。
可选的，所述调整单元包括：
计算模块，用于利用自适应伽马校正对所述照度图内不同区域的照度分量进行校正处理，计算经校正处理后得到的曝光率。
可选的，所述确定单元包括：
输入模块，用于将所述单帧图像和所述曝光率输入预设亮度响应函数模型；
输出模块，用于输出目标图像；
处理模块，用于对所述输出模块输出的目标图像进行去噪处理；
转换模块，用于将经去噪处理后的目标图像转换为RGB颜色空间，得到增强图像。
再一方面，本发明还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时，实现如上所述的低照度视频图像增强方法。
又一方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序运行时实现如上所述的低照度视频图像增强方法。
借由上述技术方案，本发明提供的技术方案至少具有下列优点：
本发明提供的一种低照度视频图像增强方法及装置，本发明预先对低照度视频图像进行分帧处理，而后对单帧图像估算照度分量得到照度图，再对照度图进行校正，以进行亮度平衡调整并得到对应的曝光率，进而根据曝光率调整原单帧图像得到对应的增强图像，并利用多个增强图像合成增强的视频。相较于现有技术，解决对低照度视频图像增强处理效果不佳、效率低的问题，本发明结合全变分方法和自适应亮度平衡调整，实施步骤简单，并且在提升暗区亮度的同时抑制了强光区域的增强效果，保留了原单帧视频图像高亮度区域的细节，最终得到较佳的增强的视频图像，也提高了处理效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的一种低照度视频图像增强方法流程图；
图2为本发明实施例提供的另一种低照度视频图像增强方法流程图；
图3为本发明实施例提供的一种低照度视频图像增强装置的组成框图；
图4为本发明实施例提供的另一种低照度视频图像增强装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种低照度视频图像增强方法，如图1所示，该方法是对单帧视频图像估算照度分量以及根据照度分量进行亮度平衡调整校正，得到单帧图像对应的增强图像，再集合多个增强图像得到最终增强的视频，对此本发明实施例提供以下具体步骤：
101、在获取到一段低照度视频图像数据之后，通过对视频图像数据进行分帧处理，得到视频图像数据对应的多个连续的单帧图像。
在本发明实施例中，是预先对低照度视频图像进行分帧处理，得到该段低照度视频图像对应的多个连续的单帧图像，而后对单帧图像进行增强处理。
需要说明的是，采用对单帧图像增强处理方法，能够实现可选择的以下述两种方式对低照度视频图像进行增强，具体包括：可以选择对视频中关键帧图像增强图像细节清晰，得到对比度高，具有一定的亮度平衡能力的高质量关键帧图像；同时也可选择对视频中每个单帧图像进行增强，为提高处理效率，增强过程中可以简化算法，得到视觉效果良好、亮度均衡的整段增强视频。
102、利用全变分方法对单帧图像进行处理，生成单帧图像对应的照度图。
在本发明实施例中，对单帧图像进行增强处理的具体实施步骤，首先是估算该单帧图像中每个单位区域的照度分量，具体的，可以采用全变分方法，集合对单帧图像中每个单位区域的照度分量生成照度图。
103、对照度图进行亮度平衡调整，得到对应的曝光率。
在本发明实施例中，对照度图进行亮度平衡调整，作用是：根据对原单帧图像的照度分量估算，可以确定在原单帧图像中哪些区域原本亮度较低的、哪些区域原本就是亮度较高的，通过亮度平衡调整，提升该原本亮度较低的区域，而抑制对原本亮度较高区域过度增强，避免出现因对原单帧图像整体提亮而未考虑原本亮度较高区域也会被提亮所导致细节被淹没情况。对于本发明实施例，进行亮度平衡调整相当于有针对性地区分高亮区域和低暗区域而进行地适应性调整亮度操作，经亮度平衡调整操作后，得到曝光率，该曝光率用于表示经亮度平衡调整后不同区域对应的曝光程度。
104、根据曝光率，通过调整单帧图像得到对应的增强图像，并利用多个增强图像合成增强的视频。
在本发明实施例中，根据经亮度平衡调整后不同区域对应的曝光程度，有针对性地对原单帧图像高亮区域或低暗区域进行亮度增强操作，如：对高亮区域微弱增量或抑制增量，对低暗区域增量操作，得到增强图像，进一步的，根据每个单帧图像在原低照度视频图像中的排序，将每个单帧图像对应的增强图像进行相应排序，得到增强的视频，也就是对原低照度视频图像增强后处理结果。
本发明实施例提供的一种低照度视频图像增强方法，本发明实施例是预先对低照度视频图像进行分帧处理，而后对单帧图像估算照度分量得到照度图，再对照度图进行校正，以进行亮度平衡调整并得到对应的曝光率，进而根据曝光率调整原单帧图像得到对应的增强图像，并利用多个增强图像合成增强的视频。相较于现有技术，解决对低照度视频图像增强处理效果不佳、效率低的问题，本发明实施例结合全变分方法和自适应亮度平衡调整，实施步骤简单，并且在提升暗区亮度的同时抑制了强光区域的增强效果，保留了原单帧视频图像高亮度区域的细节，最终得到较佳的增强的视频图像，也提高了处理效率。
为了对上述实施例做出更加详细的说明，本发明实施例还提供了另一种低照度视频图像增强方法，如图2所示，该方法是利用全变分方法对单帧视频图像V分量进行处理估算照度分量以及自适应伽马校正对原单帧图像进行亮度平衡调整校正，对此本发明实施例提供以下具体步骤：
201、在获取到一段低照度视频图像数据之后，通过对视频图像数据进行分帧处理，得到视频图像数据对应的多个连续的单帧图像。
在本发明实施例中，是预先对低照度视频图像进行分帧处理，得到该段低照度视频图像对应的多个连续的单帧图像，而后对单帧图像进行增强处理。
202、将单帧图像从RGB颜色空间转换为HSV空间。
其中，RGB颜色空间以红(Red，R)、绿(Green，G)、蓝(Blue，B)三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。
HSV颜色空间是根据颜色的直观特性创建的一种颜色空间,也称六角锥体模型(Hexcone Model)，这个模型中颜色的参数分别是：色调(Hue，H)，饱和度(Saturation，S)，明度(Value，V)。
在本发明实施例中，当光照不充足时，摄像机获取的图像往往可见度低、噪声大、图像细节被遮盖，因而得到本发明实施例所指的低照度视频图像，所以对于低照度视频图像增强处理与图像颜色无关，而是从图像中单位区域的明度检测并进行增强，所以在本发明实施例可以对单帧图像执行预处理为：将单帧图像从RGB颜色空间转换为HSV空间，从而滤掉对增强操作无关的冗余、干扰信息，而仅获取经转换后单帧图像HSV空间的V分量进行分析哪些区域的亮度应该被增强或被抑制增强。
203、获取HSV空间的V分量。
对于本发明实施例中，获取单帧图像HSV颜色空间的明度分量，是根据该明度分量进行分析哪些区域的亮度应该被增强或被抑制增强。
204、利用相机响应函数对单帧图像的V分量进行处理，得到单帧图像对应的真实场景图像。
在本发明实施例中，是考虑到相机响应函数对单帧图像处理的作用，还原单帧图像对应的真实场景图像，以便后续利用该真实场景图像估算照度分量而生成照度图，方便于更加准确地根据照度图分析图像中哪些区域的亮度应该被增强或被抑制增强。
205、利用全变分方法对单帧图像进行处理，生成单帧图像对应的照度图。
在本发明实施例中，估算单帧图像对应的照度图的具体实施步骤可以为：首先，利用全变分方法对单帧图像对应的真实场景图像进行处理，估算真实场景图像中存在的照度分量；其次，根据照度分量，生成对应的照度图。
进一步的，为了得到更加准确的照度图，使用严谨的照度估计全变分方程，如下公式：
其中，
为初始粗略估计的照度分量，T为理想照度分量，D为
与T之间的误差。1为元素全为1的矩阵。▽T和▽D分别为T和D的梯度。c,λ和τ1为各项权重。
进一步的，在不造成较大失真的情况下降低了计算量，应用简化版本的全变分算法估算照度分量，为有助于最终提高增强低照度视频图像实施过程处理效率，对于本发明实施例，采用简化的照度估计全变分方程，如：下公式：
其中，T为求得的照度分量，
初始估计的照度分量，▽T为T的梯度，λ1为权重。
206、对照度图进行亮度平衡调整，得到对应的曝光率。
在本发明实施例中，利用自适应伽马校正对照度图内不同区域的照度分量进行校正处理，计算经校正处理后得到的曝光率。对照度分量亮度调整时，发现高亮度区域的细节会被过度增强或者增强后的图像整体亮度不足，故自适应伽马校正能获取亮度均衡的照度图，具体的，自适应伽马校正算法，如下公式：
γ＝α·βθT 公式(3)
其中，α，β和θ为相关参数，具体数值由实验获取；T为照度分量。
207、根据曝光率，通过调整单帧图像得到对应的增强图像，并利用多个增强图像合成增强的视频。
对于本发明实施例，具体的，可以利用预设的亮度响应函数模型，输入待处理的单帧图像和得到的曝光率，以输出被增强的目标图像。
之后，再对被增强的目标图像进行高斯滤波处理，将经去噪处理后的被增强的目标图像转换为RGB颜色空间，得到对原单帧图像的最终处理结果，即：增强图像。进一步的，根据每个单帧图像在原低照度视频图像中的排序，将每个单帧图像对应的增强图像进行相应排序，得到增强的视频，也就是对原低照度视频图像增强后处理结果。
进一步的，作为对上述图1、图2所示方法的实现，本发明实施例提供了一种低照度视频图像增强装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于对低照度视频图像执行增强操作，具体如图3所示，该装置包括：
第一处理单元31，用于在获取到一段低照度视频图像数据之后，通过对所述视频图像数据进行分帧处理，得到所述视频图像数据对应的多个连续的单帧图像；
生成单元32，用于利用全变分方法对所述第一处理单元31得到的单帧图像进行处理，生成所述单帧图像对应的照度图；
调整单元33，用于对所述生成单元32生成的照度图进行亮度平衡调整，得到对应的曝光率；
确定单元34，用于根据所述曝光率，通过调整所述单帧图像得到对应的增强图像；
合成单元35，用于利用多个所述确定单元34确定的增强图像合成增强的视频。
进一步的，如图4所示，所述装置还包括：
转换单元36，用于在所述得到所述视频图像数据对应的多个连续的单帧图像之后，将所述单帧图像从RGB颜色空间转换为HSV颜色空间；
获取单元37，用于获取所述转换单元36得到的HSV颜色空间的明度分量；
第二处理单元38，用于利用相机响应函数对所述获取单元37获取的单帧图像的明度分量进行处理，得到所述单帧图像对应的真实场景图像。
进一步的，如图4所示，所述生成单元32包括：
估算模块321，用于利用全变分方法对所述单帧图像对应的真实场景图像进行处理，估算所述真实场景图像中存在的照度分量；
生成模块322，用于根据所述估算模块321得到的照度分量，生成对应的照度图。
进一步的，如图4所示，所述调整单元33包括：
计算模块331，用于利用自适应伽马校正对所述照度图内不同区域的照度分量进行校正处理，计算经校正处理后得到的曝光率。
进一步的，如图4所示，所述确定单元34包括：
输入模块341，用于将所述单帧图像和所述曝光率输入预设亮度响应函数模型；
输出模块342，用于输出目标图像；
处理模块343，用于对所述输出模块342输出的目标图像进行去噪处理；
转换模块344，用于将经去噪处理后的目标图像转换为RGB颜色空间，得到增强图像。
综上所述，本发明实施例提供的一种低照度视频图像增强方法及装置，本发明实施例预先对低照度视频图像进行分帧处理，而后对单帧图像估算照度分量得到照度图，再对照度图进行校正，以进行亮度平衡调整并得到对应的曝光率，进而根据曝光率调整原单帧图像得到对应的增强图像，并利用多个增强图像合成增强的视频。相较于现有技术，解决对低照度视频图像增强处理效果不佳、效率低的问题，本发明实施例结合全变分方法和自适应亮度平衡调整，实施步骤简单，并且在提升暗区亮度的同时抑制了强光区域的增强效果，保留了原单帧视频图像高亮度区域的细节，最终得到较佳的增强的视频图像，也提高了处理效率。
本发明实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时，实现如上所述的低照度视频图像增强方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序运行时实现如上所述的低照度视频图像增强方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(traHsitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (5)
1.一种低照度视频图像增强方法，其特征在于，所述方法包括：
在获取到一段低照度视频图像数据之后，通过对所述视频图像数据进行分帧处理，得到所述视频图像数据对应的多个连续的单帧图像；
将所述单帧图像从RGB颜色空间转换为HSV颜色空间；获取所述HSV颜色空间的明度分量；利用相机响应函数对所述单帧图像的明度分量进行处理，得到所述单帧图像对应的真实场景图像；
利用全变分方法对所述单帧图像进行处理，生成所述单帧图像对应的照度图，包括：利用全变分方法对所述单帧图像对应的真实场景图像进行处理，估算所述真实场景图像中存在的照度分量；根据所述照度分量，生成对应的照度图；
其中，使用照度估计全变分方程，如下公式：
其中，
为初始粗略估计的照度分量，T为理想照度分量，D为
与T之间的误差；1为元素全为1的矩阵；
和
分别为T和D的梯度；c,λ和τ1为各项权重；
对所述照度图进行亮度平衡调整，得到对应的曝光率，包括：利用自适应伽马校正对所述照度图内不同区域的照度分量进行校正处理，计算经校正处理后得到的曝光率；
根据所述曝光率，通过调整所述单帧图像得到对应的增强图像，并利用多个所述增强图像合成增强的视频。
2.根据权利要求1所述的方法，其特征在于，所述根据所述曝光率，通过调整所述单帧图像得到对应的增强图像，包括：
将所述单帧图像和所述曝光率输入预设亮度响应函数模型，输出目标图像；
对所述目标图像进行去噪处理；
将经去噪处理后的目标图像转换为RGB颜色空间，得到增强图像。
3.一种低照度视频图像增强装置，其特征在于，所述装置包括：
第一处理单元，用于在获取到一段低照度视频图像数据之后，通过对所述视频图像数据进行分帧处理，得到所述视频图像数据对应的多个连续的单帧图像；
转换单元，用于在所述得到所述视频图像数据对应的多个连续的单帧图像之后，将所述单帧图像从RGB颜色空间转换为HSV颜色空间；
获取单元，用于获取所述转换单元得到的HSV颜色空间的明度分量；
第二处理单元，用于利用相机响应函数对所述获取单元获取的单帧图像的明度分量进行处理，得到所述单帧图像对应的真实场景图像；
生成单元，用于利用全变分方法对所述第一处理单元得到的单帧图像进行处理，生成所述单帧图像对应的照度图；
估算模块，用于利用全变分方法对所述单帧图像对应的真实场景图像进行处理，估算所述真实场景图像中存在的照度分量；
生成模块，用于根据所述估算模块得到的照度分量，生成对应的照度图；
其中，使用照度估计全变分方程，如下公式：
其中，
为初始粗略估计的照度分量，T为理想照度分量，D为
与T之间的误差；1为元素全为1的矩阵；
和
分别为T和D的梯度；c,λ和τ1为各项权重；
调整单元，用于对所述生成单元生成的照度图进行亮度平衡调整，得到对应的曝光率；
所述调整单元包括：计算模块，用于利用自适应伽马校正对所述照度图内不同区域的照度分量进行校正处理，计算经校正处理后得到的曝光率；
确定单元，用于根据所述曝光率，通过调整所述单帧图像得到对应的增强图像；
合成单元，用于利用多个所述确定单元确定的增强图像合成增强的视频。
4.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时，实现如权利要求1或2所述的低照度视频图像增强方法。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序运行时实现如权利要求1或2所述的低照度视频图像增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010129793.2A CN111340732B (zh) | 2020-02-28 | 2020-02-28 | 一种低照度视频图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010129793.2A CN111340732B (zh) | 2020-02-28 | 2020-02-28 | 一种低照度视频图像增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111340732A CN111340732A (zh) | 2020-06-26 |
| CN111340732B true CN111340732B (zh) | 2022-10-14 |
Family
ID=71182031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010129793.2A Active CN111340732B (zh) | 2020-02-28 | 2020-02-28 | 一种低照度视频图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111340732B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508814B (zh) * | 2020-12-07 | 2022-05-20 | 重庆邮电大学 | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 |
| CN113961746B (zh) * | 2021-09-29 | 2023-11-21 | 北京百度网讯科技有限公司 | 视频生成方法、装置、电子设备及可读存储介质 |
| CN114049732B (zh) * | 2021-09-29 | 2023-07-21 | 国网山东省电力公司郓城县供电公司 | 一种变电站视频监控方法、***及存储介质 |
| CN117197004B (zh) * | 2023-11-08 | 2024-01-26 | 广东鸿威国际会展集团有限公司 | 一种低光照图像优化增强方法及*** |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050073702A1 (en) * | 2003-10-02 | 2005-04-07 | Doron Shaked | Robust recursive envelope operators for fast retinex-type processing |
| CN103593830B (zh) * | 2013-11-29 | 2016-07-06 | 大连理工大学 | 一种低照度视频图像增强方法 |
| CN104700364A (zh) * | 2013-12-05 | 2015-06-10 | 大连掌控科技有限公司 | 应用于播放器中的视频图像增强方法 |
| CN104700378A (zh) * | 2013-12-05 | 2015-06-10 | 大连掌控科技有限公司 | 基于遗传算法的低照度视频图像处理方法 |
| US10416087B2 (en) * | 2016-01-01 | 2019-09-17 | Kla-Tencor Corporation | Systems and methods for defect detection using image reconstruction |
| CN107180418A (zh) * | 2017-06-29 | 2017-09-19 | 新疆大学 | 一种基于Tetrolet变换的遥感图像增强方法及装置 |
| CN109801238B (zh) * | 2019-01-10 | 2023-05-23 | 南京信息职业技术学院 | 一种基于简化大气散射模型的弱光照图像增强方法 |
| CN109872285B (zh) * | 2019-01-21 | 2022-06-10 | 电子科技大学 | 一种基于变分约束的Retinex低照度彩色图像增强方法 |
| CN110136081A (zh) * | 2019-05-13 | 2019-08-16 | 北京邮电大学 | 一种基于高斯核偏态校正弥撒滤波器的图像增强方法 |
| CN110706180B (zh) * | 2019-10-09 | 2022-02-11 | 山东大学 | 一种极暗图像视觉质量提升方法、***、设备及介质 |
| CN110827225A (zh) * | 2019-11-13 | 2020-02-21 | 山东科技大学 | 一种基于双重曝光框架的非均匀光照水下图像增强方法 |
-
2020
- 2020-02-28 CN CN202010129793.2A patent/CN111340732B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111340732A (zh) | 2020-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340732B (zh) | 一种低照度视频图像增强方法及装置 | |
| US10719918B2 (en) | Dynamically determining filtering strength for noise filtering in image processing | |
| CN107527332B (zh) | 基于改进Retinex的低照度图像色彩保持增强方法 | |
| CN108205804B (zh) | 图像处理方法、装置及电子设备 | |
| US10580120B2 (en) | Image filtering based on image gradients | |
| CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
| EP2187620B1 (en) | Digital image processing and enhancing system and method with function of removing noise | |
| US20170365046A1 (en) | Algorithm and device for image processing | |
| JP4460839B2 (ja) | デジタル画像鮮鋭化装置 | |
| CN106846270B (zh) | 一种图像边缘增强方法及装置 | |
| CN110276767A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| US20150109321A1 (en) | Tone Mapping | |
| CN112734650A (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
| CN108133463B (zh) | 一种直方图均衡化图像的降噪方法及*** | |
| US8831346B2 (en) | Image processing apparatus and method, and program | |
| JP2009093323A (ja) | 画像処理装置およびプログラム | |
| CN103310430A (zh) | 对非均匀运动模糊进行去模糊的方法和设备 | |
| CN106412448B (zh) | 一种基于单帧图像的宽动态范围处理方法与*** | |
| CN112819721B (zh) | 一种图像彩色噪声降噪的方法和*** | |
| CN114862725B (zh) | 基于光流法实现运动感知模糊特效的方法及装置 | |
| Wang et al. | Enhancement for dust-sand storm images | |
| Tan et al. | A real-time video denoising algorithm with FPGA implementation for Poisson–Gaussian noise | |
| WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 | |
| US9715720B1 (en) | System and method for reducing image noise | |
| CN113011433B (zh) | 一种滤波参数调整方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |