CN113706393A - 视频增强方法、装置、设备及存储介质 - Google Patents

视频增强方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113706393A
CN113706393A CN202010430940.XA CN202010430940A CN113706393A CN 113706393 A CN113706393 A CN 113706393A CN 202010430940 A CN202010430940 A CN 202010430940A CN 113706393 A CN113706393 A CN 113706393A
Authority
CN
China
Prior art keywords
video frame
target
video
enhanced
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010430940.XA
Other languages
English (en)
Inventor
张传昊
滕健
刘阳兴
林染染
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010430940.XA priority Critical patent/CN113706393A/zh
Publication of CN113706393A publication Critical patent/CN113706393A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请适用于图像处理技术领域，提供了一种视频增强方法、装置、设备及存储介质。方法包括获取待处理视频中的目标视频帧，对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像；根据目标增强图像，确定待处理视频帧对应的增强图像；将待处理视频帧作为目标视频帧，以及将待处理视频帧对应的增强图像作为目标增强图像，返回执行根据目标增强图像，确定待处理视频帧对应的增强图像的步骤，直至获得待处理视频中预设数量的视频帧各自分别对应的增强图像；根据待处理视频中视频帧对应的增强图像，确定待处理视频对应的增强视频。

Description

视频增强方法、装置、设备及存储介质
技术领域
本申请属于图像处理技术领域，尤其涉及一种视频增强方法、装置、设备及存储介质。
背景技术
视频拍摄中，受到视频拍摄设备质量以及拍摄环境的影响，拍摄的视频中的画面经常会出现质量较差的情况，例如，画面整体偏暗、对比度低等，导致视频中感兴趣对象的可识别性很低，大大降低了视频的应用价值。因此，对视频进行增强处理，以有选择的突出视频中感兴趣对象的特征已经成为提高视频质量的必要手段。
目前的视频增强方式通常是基于图像增强技术实现的，该方法没有考虑视频中多帧图像之间的关联关系，增强的视频中容易出现亮度抖动和闪烁等现象，导致视频增强效果不稳定。
发明内容
有鉴于此，本申请实施例提供了一种视频增强方法、装置、设备及存储介质，以解决现有技术中视频增强方法容易出现亮度抖动的技术问题。
第一方面，本申请实施例提供了一种视频增强方法，包括：
获取待处理视频中的目标视频帧；
对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像；
根据目标增强图像，确定待处理视频帧对应的增强图像；其中，待处理视频帧为根据目标视频帧所确定的待进行图像增强处理的视频帧；
将待处理视频帧作为目标视频帧，以及将待处理视频帧对应的增强图像作为目标增强图像，返回执行根据目标增强图像，确定待处理视频帧对应的增强图像的步骤，直至获得待处理视频中预设数量视频帧各自分别对应的增强图像；
根据待处理视频中视频帧对应的增强图像，确定待处理视频对应的增强视频。
在第一方面的一种可能的实现方式中，待处理视频帧为与目标视频帧相邻的视频帧。
在第一方面的一种可能的实现方式中，对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像，包括：
获取目标视频帧的亮度通道；
根据目标视频帧的亮度通道，确定目标视频帧的多个光照分量；
根据目标视频帧的多个光照分量，确定目标视频帧对应的融合光照分量；
根据融合光照分量对目标视频帧进行处理，生成目标视频帧对应的目标增强图像。
在第一方面的一种可能的实现方式中，根据目标视频帧的亮度通道，确定目标视频帧的多个光照分量，包括：
对亮度通道进行低通滤波处理，获得第一光照分量；
对亮度通道进行变分运算，获得第二光照分量。
在第一方面的一种可能的实现方式中，根据目标视频帧的多个光照分量，确定目标视频帧对应的融合光照分量，包括：
确定第一光照分量的第一梯度和第二光照分量的第二梯度；
基于第一梯度和所述第二梯度，对第一光照分量和第二光照分量进行融合处理，获得融合光照分量。
在第一方面的一种可能的实现方式中，根据融合光照分量对目标视频帧进行处理，生成目标视频帧对应的目标增强图像，包括：
根据融合光照分量和亮度通道，确定亮度通道的反射分量；
对反射分量进行校正，生成校正后的反射分量；
对融合光照分量进行非线性拉伸，生成拉伸后融合光照分量；
根据拉伸后的融合光照分量和校正后的反射分量，获得增强亮度通道；
根据增强亮度通道对目标视频帧进行处理，生成目标视频帧对应的目标增强图像。
在第一方面的一种可能的实现方式中，根据增强亮度通道对目标视频帧进行处理，生成目标视频帧对应的目标增强图像，包括：
获取目标视频帧的饱和度通道以及色度通道；
根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像；
将RGB彩色图像作为目标视频帧对应的目标增强图像。
在第一方面的一种可能的实现方式中，根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像，包括：
将增强亮度通道划分为多个图像块；
针对每一个图像块，对图像块的亮度进行对比度增强处理，获得图像块对应的增强图像块；
将相邻的增强图像块进行拼接，获得更新后的增强亮度通道；
根据更新后的增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像。
在第一方面的一种可能的实现方式中，根据目标增强图像，确定待处理视频帧对应的增强图像，包括：
确定待处理视频帧的像素点中相对于目标视频帧的不动点集和运动点集；
针对不动点集中每个不动点，将目标增强图像中与不动点对应的像素点的像素值作为不动点的像素值；
针对运动点集中每个运动点，确定运动点在目标增强图像中的对应像素点，并根据对应像素点所在的预设区域内的多个像素点的像素值确定运动点的像素值；
根据不动点集所有不动点的像素值和运动点集中所有运动点的像素值，获得待处理视频帧的增强图像。
在第一方面的一种可能的实现方式中，确定待处理视频帧的像素点中相对于目标视频帧的不动点集和运动点集，包括：
针对待处理视频帧中的每个像素点，获取像素点的光流矢量，并根据像素点的光流矢量，确定像素点的运动速度；
将运动速度大于预设值的像素点确定为运动点，并根据所有的运动点确定运动点集；
将运动速度小于或等于预设值的像素点确定为不动点，并根据所有的不动点确定不动点集。
在第一方面的一种可能的实现方式中，根据对应像素点所在的预设区域内的多个像素点的像素值确定运动点的像素值，包括：
确定对应像素点所在的预设区域内的多个像素点；
确定多个像素点的像素值的平均值；
将平均值作为运动点的像素值。
第二方面，本申请实施例提供了一种视频增强装置，包括：
获取模块，用于获取待处理视频中的目标视频帧；
第一增强模块，用于对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像；
第一确定模块，用于根据目标增强图像，确定待处理视频帧对应的增强图像；其中，待处理视频帧为根据目标视频帧所确定的待进行图像增强处理的视频帧；
执行模块，用于将待处理视频帧作为目标视频帧，以及将待处理视频帧对应的增强图像作为目标增强图像，返回执行根据目标增强图像，确定待处理视频帧对应的增强图像的步骤，直至获得待处理视频中预设数量视频帧各自分别对应的增强图像；
第二确定模块，用于根据待处理视频中视频帧对应的增强图像，确定待处理视频对应的增强视频。
第三方面，本申请实施例提供了一种视频处理设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述第一方面任一项方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述第一方面任一项方法的步骤。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项的方法。
本申请实施例提供的视频增强方法中，每个待处理视频帧对应的增强图像，均基于与目标视频帧的目标增强图像获得，保障了待处理视频帧和目标视频帧各自对应的增强图像上的各个像素点的像素值均具备关联性，因此在待处理视频帧和目标视频帧各自对应的增强图像之间不会产生亮度抖动；本方法获得的增强视频中每一组相邻的视频帧为待处理视频中一组待处理视频帧和目标视频帧各自对应的增强图像，因此增强视频中的相邻视频帧上的各个像素点的像素值也均具备关联性，不会产生亮度抖动。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的视频增强方法的流程示意图；
图2是本申请一实施例提供的目标视频帧颜色信息的模型示意图；
图3是本申请一实施例提供的获取目标增强图像的流程示意图；
图4是本申请一实施例提供的获取目标增强图像的原理图；
图5是本申请一实施例提供的确定目标视频帧的融合光照分量的流程示意图；
图6是本申请另一实施例提供的生成目标增强图像的流程示意图；
图7是本申请又一实施例提供的生成目标增强图像的流程示意图；
图8是本申请一实施例提供的确定待处理视频帧对应的增强图像的流程示意图；
图9是本申请一实施例提供的视频增强装置的结构示意图；
图10是本申请一实施例提供的视频处理设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
视频增强技术在城市交通、视频监控、智能车辆等计算机视觉领域具有广泛的应用。目前，视频增强通常是通过对视频中各个视频帧的单独图像增强来实现整个视频段的增强处理，视频帧的图像增强方法包括下述的一种或者多种：直方图均衡、色度映射、基于Retinex理论方法、小波变化方法、图像融合。
但是上述这些图像增强算法均是对视频中的每一帧视频帧单独进行增强，没有考虑视频中多帧视频帧之间的关联关系，容易导致相邻视频帧之间相同位置像素点的亮度变化较大，从而出现亮度抖动或闪烁等问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行示例性说明。值得说明的是，下文中列举的具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图1为本申请一实施例提供的视频增强方法的流程示意图，本实施例的执行主体为视频处理设备；视频处理设备包括但不限于智能手机、平板电脑、可穿戴设备等移动终端，还可以是台式电脑、机器人、服务器等。如图1所示的视频增强方法可包括：
S10、获取待处理视频中的目标视频帧。
在本实施例中，待处理视频可以为视频处理设备从视频采集设备等移动终端获取的视频，也可以为视频处理设备从服务器端获取的视频，还可以为预先存储在视频处理设备上的视频。
其中，视频采集设备可以为视频摄像装置，以及带有视频摄像功能的移动终端、平板电脑、智能机器人等。
其中，服务器可以为云端服务器。
可选地，待处理视频可以为获取到的完整视频，也可以获取到的视频中预设时间范围内的视频段。
例如，视频处理设备获取监控设备发送的3月20日的24个小时的监控视频，截取起始时间为18:00，结束时间为19:00之间的视频段为待处理视频。
本实施例中，待处理视频中包含连续的N个视频帧，其中，N大于等于2且N为整数；目标视频帧可以为待处理视频中的任意一帧视频帧；例如，目标视频帧为待处理视频中第r帧，其中r大于等于1且小于等于N。
例如，视频处理设备获得待处理视频后，可以根据增强视频的帧率确定待处理视频的切分时间间隔，并根据该时间间隔将待处理视频中划分为N个连续视频帧，然后从该N个连续视频帧中随机选取一个视频帧作为目标视频帧。其中，帧率为增强视频每一秒播放的视频帧的个数，增强视频的帧率为用户预设值。
示例性的，待处理视频为起始时间为17:00，结束时间为17:10的视频段，若增强视频的帧率为24，则切分时间时间间隔为1/24s；以1/24s为时间间隔对待处理视频进行切分，获得14400(对600s的待处理视频切分获得)个连续视频帧，然后选取14400个视频帧中的任意一帧作为目标视频帧。
S20、对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像。
本实施例中，视频处理设备可以根据目标视频帧的图像增强要求选择不同的图像增强处理方式。
例如，待处理视频为夜间等低照度条件下拍摄获得的视频，此时目标视频帧的大部分像素点的像素值集中在低灰度区域，目标视频帧的图像增强要求为提高图像的对比度。则视频处理设备可以对目标视频帧中像素点的灰度值进行非线性拉伸，使得目标视频帧的灰度均匀分布，从而提高了目标视频帧的对比度。
例如，待处理视频帧为光照不均匀的条件下拍摄获得的视频，此时目标视频帧由于光照不均匀存在伪影，目标视频帧的图像增强要求为消除伪影。由于物体能够被观察到的颜色信息是由物体对于不同光波的反射能力(反射属性)和照射在物体上的入射光强度决定的，其中物体对于不同光波的反射能力不受入射光强度的变化而变化，物体对不同的光波的反射能力决定了物体本身的颜色。因此，为了消除目标视频帧由于光照不均匀带来的伪影，则视频处理设备可以通过对目标视频帧进行滤波处理，去除目标视频帧中入射光的影响，保留物体自身的反射属性，从而实现目标视频帧的图像增强。
在一个示例性中，目标视频帧颜色信息的模型示意图可以图2所示，目标视频帧可以理解为视频采集设备采集获得原始图像S’，目标视频帧上的颜色信息是由目标视频帧中物体对于入射光的反射能力和照射在物体上的入射光强度决定的，则S’的表达式可以为
S'＝L'×R' (1)
其中，S’为目标视频帧，L’为表征入射光光照强度信息的光照分量，R’为表征物体对入射光反射能力的反射分量。
当入射光光照不均匀时，目标视频帧上会出现伪影，此时将无法获得目标视频帧中物体的真实颜色信息。
为了消除目标视频帧上的伪影，视频处理设备首先对目标视频帧S’进行平滑滤波处理以尽可能的恢复出目标视频帧的光照分量L’，然后将光照分量和目标视频帧作为输入，通过公式(1)确定目标视频帧的S’反射分量L’，并将反射分量L’确定为目标视频帧对应的目标增强图像。
上述方法通过去除目标视频帧的光照分量得到反应物体反射能力的反射分量，能够有效的消除因光照(光照分量)不均匀产生的伪影从而实现目标视频帧中物体)的增强。
本实施例中，目标视频帧的图像增强处理方法还可以为直方图均衡、小波变换、色度映射、图像融合成像中的一种或者多种，在此不做限定。
S30、根据目标增强图像，确定待处理视频帧对应的增强图像。
本实施例中，待处理视频帧为根据目标视频帧所确定的待进行图像增强处理的视频帧。
其中，需进行图像增强处理的视频帧可以为与目标视频帧相隔预设帧数的视频帧，也可以为与目标视频帧相邻的视频帧。
可选地，需进行图像增强处理的视频帧可以为与目标视频帧相隔预设帧数的视频帧。其中，预设帧数的数值可以通过待处理视频的帧率和增强视频的帧率的比值确定。
示例性的，假设待处理视频为视频处理设备根据步骤10中的切分时间间隔对采集到的视频划分得到，则可以根据增强视频的帧率设置切分时间间隔，使得待处理视频的帧率为增强视频的帧率的n倍，其中n为大于或等于1的整数。
具体地，切分时间间隔t可以表示为：
t＝1/nfv (2)
其中，fv为增强视频的帧率。则待处理视频的帧率为1/t，即nfv，使得处理视频的帧率为增强视频的帧率的n倍。
若待处理视频的帧率和增强视频的帧率的比值为n，则预设帧数为n-1。
例如，若n为2，则表示待处理视频中每2个视频帧获得一个增强图像，即待处理视频帧每隔一个视频帧进行一次图像增强处理，故预设帧数为1。
本实施例中，与目标视频帧相隔预设帧数的视频帧可以为与目标视频帧相隔预设帧数且播放时间晚于目标视频帧的视频帧，也可以为与目标视频帧相隔预设帧且播放时间早于目标视频帧的视频帧。
一个示例性中，若目标视频帧为待处理视频的第一个视频帧(即待处理视频的首帧视频帧)，则待处理视频帧为与目标视频帧相隔预设帧数且播放时间晚于目标视频帧的视频帧。例如，待处理视频包含有256个连续视频帧，256个视频帧按照播放顺序依次编号依次为1、2…256；假设目标视频帧为待处理视频中第1个视频帧，预设帧数为1，则待处理视频帧为待处理视频中第3个视频帧。
另一个示例性中，若目标视频帧为待处理视频最后一个视频帧(例如待处理视频中播放时间最晚的视频帧)，则待处理视频帧为与目标视频帧相隔预设帧数且播放时间早于目标视频帧的视频帧。例如，待处理视频包含有256个连续视频帧，256个视频帧按照播放顺序依次编号依次为1、2…256；假设目标视频帧为待处理视频中第256个视频帧，预设帧数为1，则待处理视频帧为待处理视频中第254个视频帧。
又一个示例性中，若目标视频帧与最后一个视频帧之间的视频帧个数大于预设帧数，且目标视频帧与第一个视频帧之间的视频帧个数大于预设帧数时，则待处理视频帧即可以为与目标视频帧相隔预设帧数且播放时间晚于目标视频帧的视频帧，也可以为与目标视频帧相隔预设帧且播放时间早于目标视频帧的视频帧。例如，待处理视频包含有256个连续视频帧，256个视频帧按照播放顺序依次编号依次为1、2…256；假设目标视频帧为待处理视频中第100个视频帧，预设帧数为1，则待处理视频帧为待处理视频中第102个视频帧或第98个视频帧。
本实施例中，需进行图像增强处理的视频帧还可以为与目标视频帧相邻的视频帧。与目标视频帧相邻的视频帧可以理解为与目标视频帧相隔帧数为0的视频帧；即在预设帧数为0时，待处理视频帧为与目标视频帧相邻的视频帧。
基于此，与目标视频帧相邻的视频帧可以为与目标视频帧相邻且播放时间晚于目标视频帧的视频帧，也可以为与目标视频帧相邻且播放时间早于目标视频帧的视频帧。
本实施例中，视频处理设备根据目标增强图像，确定待处理视频帧对应的增强图像的目的在于，根据已经进行了图像增强处理的目标增强图像上像素点的像素值，对还未进行图像增强图像处理的待处理视频帧上的像素点的像素值进行更新，获得待处理视频帧的增强图像，以使得待处理视频帧和目标视频帧各自对应的增强图像上的各个像素点的像素值具备关联性。
例如，若待处理视频包括连续的N个视频帧，其中，N大于等于2且N为整数；目标视频帧为待处理视频中第r帧，其中r大于2且小于N-1，待处理视频帧为与目标视频帧相邻的视频帧；则可以根据目标视频帧的增强图像同时获得与目标视频帧(第r帧)相邻的两个视频帧(第r+1帧和第r-1帧)各自分别对应的增强图像；其中，获取第r+1帧和第r-1帧各自分别对应的增强图像的方法可以相同。下面对根据第r个视频帧的增强图像(目标增强图像)，确定第r+1个视频帧(待处理视频帧)对应的增强图像进行示例性描述。
示例性的，根据第r个视频帧的增强图像，确定第r+1个视频帧对应的增强图像可以包括：
步骤A1:获取第r+1个视频帧的各像素点中相对于第r个视频帧的不动点集和运动点集。
可选地，针对第r+1个视频帧上每个像素点，将该像素点相对于第r个视频帧上相同坐标位置像素点的亮度变化率作为该像素点的速度矢量，将速度矢量大于预设值的像素点确定为运动点，将速度矢量小于或等于预设值的像素点确定为不动点。基于上述方法，确定第r+1个视频帧上每个像素点为相对于第r个视频帧的不动点或运动点，然后根据第r+1个视频帧上所有的运动点确定运动点集，根据第r+1个视频帧上所有不动点确定不动点集。
另一个示例中，对第r+1个视频帧和第r个视频帧上相同坐标位置的像素点的像素值进行作差处理，获得第r+1个视频帧上各个像素点对应的像素差值。由于视频拍摄过程中，拍摄的对象在相邻两个视频帧可能是静止的，也可能是移动的，其中用于表征静止的对象的像素点在相邻两个视频帧上的位置以及像素值相同，用于表征移动的对象轮廓的像素点在相邻两个视频帧上的位置以及像素值不同。
因此，可以根据像素差值不为0的像素点确定第r+1个视频帧相对于第r个视频帧上多个移动的对象的位置和轮廓。
然后，将移动的对象轮廓上以及内部的像素点作为第r+1个视频帧相对于第r个视频帧的运动点，并根据所有运动点确定运动点集；将移动的对象轮廓外部的像素点作为第r+1个视频帧相对于第r个视频帧的不动点，并根据所有不动点确定不动点集。
步骤A2:针对不动点集中每个不动点，将第r个视频帧的增强图像中与不动点对应的像素点的像素值作为不动点的像素值
其中，第r个视频的增强图像中与不动点对应的像素点是指与不动点在第r+1个视频帧中的坐标相同的像素点。
示例性的，假设不动点SP1在第r+1个视频帧的坐标为(Xp1,Yp1)，则不动点SP1对应的像素点为第r个视频帧的增强图像上坐标为(Xp1,Yp1)的像素点。
本步骤中，将第r个视频帧的增强图像中与不动点对应的像素点的像素值作为不动点的像素值，可以是指，确定第r个视频帧的增强图像中与不动点的坐标相同的像素点，将该像素点的像素值作为不动点的像素值。
示例性的，假设不动点SP1在第r+1个视频帧的坐标为(Xp1,Yp1)，则不动点SP1的像素值为第r个视频帧的增强图像上坐标为(Xp1,Yp1)的像素点的像素值。
步骤A3:针对运动点集中每个运动点，确定运动点在第r个视频帧的增强图像中的对应像素点，并根据与对应像素点相邻的两个像素点的像素值确定运动点的像素值。
其中，运动点在第r个视频帧的增强图像中的对应像素点的坐标可以根据运动点的速度矢量以及运动点在第r+1个视频帧的坐标计算获得。
示例性的，假设运动点JP1在第r+1个视频帧上的坐标为(xp1,yp1),速度矢量为(vx，vy)，则运动点JP1在第r个视频帧的增强图像中对应的像素点的坐标为(xp1+vx×△t，yp1+vy×△t)。其中，△t是第r+1个视频帧和第r个视频帧之间的时间间隔。
本步骤中，根据与对应像素点相邻的两个像素点的像素值确定运动点的像素值，可以是指将与对应像素点相邻的两个像素点的像素值的平均值作为运动点的像素值。
其中，与对应像素点相邻的两个像素点，可以为沿X方向与对应像素点相邻的两个像素点，也可以为沿Y方向与对应像素点相邻的两个像素点。
示例性的，假设运动点JP1在第r个视频帧的增强图像中对应的像素点JP1’的坐标为(xp1’,yp1′)，第r个视频帧的增强图像的沿X方向的分辨率为i,沿Y方向的分辨率为j，则与JP1’相邻的两个像素点的坐标可以为(xp1′+i,yp1)和(xp1′-i,yp1)，或者还可以为(xp1′,yp1′+j)和(xp1′，yp1′-j)。
在获得与JP1’相邻的两个像素点的坐标后，将该两个像素点的像素值的平均值作为运动点JP1的像素值。
步骤A4:视频处理设备将不动点集所有不动点和运动点集中所有运动点进行组合，获得第r+1个视频帧的增强图像。
本步骤中的目的是在获取不动点集每个不动点的像素值以及获取运动点集中每个运动点的像素值后，按照各像素点(包括不动点和运动点)的坐标进行组合，获得第r+1个视频帧的增强图像。
示例性的，不动点集中包括6个不动点，6个不动点的像素值分别表示为Sp1(1,1)、Sp2(1,2)、Sp3(1,3)、Sp4(2,1)、Sp5(3,1)以及Sp6(3,2)；运动点集中包含3个运动点，3个运动点的像素值分别为Jp1(2,2)、Jp2(2,3)、Jp3(3,3)；其中，(x,y)为各像素点的坐标。
则按照坐标位置对上述9个像素点进行组合，获得第r+1个视频帧的增强图像可以参见下表1：
表1增强图像的像素点组成表
Sp1(1,1) Sp2(1,2) Sp3(1,3)
Sp4(2,1) Jp1(2,2) Jp2(2,3)
Sp5(3,1 Sp6(3,2) Jp3(3,3)
S40、将待处理视频帧作为目标视频帧，以及将待处理视频帧对应的增强图像作为目标增强图像，返回执行根据目标增强图像，确定待处理视频帧对应的增强图像的步骤，直至获得待处理视频中预设数量视频帧各自分别对应的增强图像。
本实施例中，返回执行根据目标增强图像，确定待处理视频帧对应的增强图像的步骤中，待处理视频帧为与目标增强视频相隔预设帧数的，且还未进行图像增强处理的视频帧。
示例性的，待处理视频包含256个视频帧，步骤30中首次获得的目标视频帧为第100个视频帧，预设帧数为1。
在第一次循环中，目标视频帧为第100个视频帧，待处理视频帧为第102个视频帧或第98个视频帧。
若待处理视频帧为第102个视频帧；则第二次循环中，目标视频帧为第102个视频帧，此时待处理视频帧仅可以为第104个视频帧(与第102个视频帧相隔1帧，且还未进行图像增强处理的视频帧)。后续的循环中，目标视频帧均为与目标增强视频相隔1个视频帧且播放时间晚于目标视频帧的视频帧。
若待处理视频帧为第98个视频帧；则第二次循环中，目标视频帧为第98个视频帧，此时待处理视频帧仅可以为第96个视频帧(与第98个视频帧相隔1帧，且还未进行图像增强处理的视频帧)；后续的循环中，目标视频帧均为与目标增强视频相隔1个视频帧且播放时间早于目标视频帧的视频帧。
若在第一次循环中，若视频处理设备通过两个线程同时获取第102个视频帧和第98个视频帧的增强图像，例如线程1用于获取第102个视频帧的增强图像，线程2的用户获取目标视频帧为第98个视频帧；则在第二次循环中，线程1的目标视频帧为第102个视频帧，待处理视频帧为第104个视频帧；线程2的目标视频帧为第98个视频帧，待处理视频帧为第96个视频帧。在后续的循环中，线程1中的目标视频帧均为与目标增强视频相隔1个视频帧，且播放时间晚于目标视频帧的视频帧；线程2中的目标视频帧均为与目标增强视频相隔1个视频帧，且播放时间早于目标视频帧的视频帧。
本实施例中，预设数量可以由待处理视频中的视频帧数以及预设帧数确定。
例如，待处理视频包含了N个视频帧，N大于等于2且N为整数。假设预设帧数为1，即每隔1帧确定一个待处理视频帧；若N可以被2整除，则可以获得N/2个视频帧的增强图像；若N不可以被2整除，可以获得N-1/2个待处理视频帧的增强图像。
本实施例中，视频处理设备获得待处理视频中预设数量视频帧各自分别对应的增强图像。
示例性的，待处理视频包含256个视频帧，256个视频帧的编号依次为1、2、3…256，预设帧数为1，则预设数量为128。假设视频处理设备首次获得的目标视频帧为第100个视频帧，在第一次循环中，视频处理设备通过线程1获取第102个视频帧的增强图像，线程2获取第98个视频帧的增强图像。
则线程1在第二次循环中，获取第104个视频帧的增强图像；在第三次循环中获取第106个视频帧的增强图像；以此类推，线程1在多次循环中依次获得编号为102、104…256的视频帧对应的增强视频。即线程1共获得78个视频帧各自分别对应的增强图像。
线程2在第二次循环中，获取第98个视频帧的增强图像；在第三次循环中获取第96个视频帧的增强图像；以此类推，线程2在多次循环中依次获得编号为98、96、…2的视频帧对应的增强视频。即线程2共获得49个视频帧各自分别对应的增强图像。
此时视频处理设备共获得1+78+49共计128(预设数量)个视频帧各自分别对应的增强图像。
S50、根据待处理视频中视频帧对应的增强图像，确定待处理视频对应的增强视频。
其中，待处理视频中视频帧对应的增强图像是指步骤40获得预设数量视频帧各自分别对应的增强图像。
本实施例中，视频处理设备在获得预设数量视频帧各自分别对应的增强图像后，将预设数量的视频帧按照各视频帧的标识进行排序，得到由预设数量视频帧组成的视频段，然后将该视频段中的每个视频帧替换为对应的增强图像，获得增强视频。
其中，视频帧标识可以为播放时间、顺序编号等。
示例性的，待处理视频中包含了32个连续的视频帧，32个视频帧的顺序编号依次为1、2…32。其中，顺序编号用于表征N个视频帧在待处理视频中播放先后顺序，顺序编号越小则表示播放时间越早。
假设待处理视频帧为与目标视频帧相隔一帧的视频帧，视频处理设备首次获得的目标视频帧为第16个视频帧，在第一次循环中，视频处理设备通过线程1获取第18个视频帧的增强图像，线程2获取第14个视频帧的增强图像。则经过多次迭代后，线程1获得顺序编号为18、20、22….30、32的视频帧各自分别对应的增强图像，线程2获得顺序编号为14、12、10、…2的视频帧各自分别对应的增强图像，即视频处理设备共获得16个视频帧各自分别对应的增强图像，该16个视频帧的顺序编号为2、4、6、…30、32；然后将该16个视频帧按照顺序编号排序，获得一个中间视频；最后将该中间视频中每个视频帧替换为对应的增强图像，得到增强视频。
本申请实施例提供的视频增强方法中，每个待处理视频帧对应的增强图像，均基于与该待处理视频帧相隔预设帧数的目标视频帧的目标增强图像获得，保障了待处理视频帧和目标视频帧各自对应的增强图像上的各个像素点的像素值均具备关联性，因此在待处理视频帧和目标视频帧各自对应的增强图像之间不会产生亮度抖动；由于增强视频中每一组相邻的视频帧对应为，待处理视频中一组待处理视频帧和目标视频帧各自对应的增强图像，因此增强视频中的相邻视频帧上的各个像素点的像素值也均具备关联性，不会产生亮度抖动。
图3是本申请一实施例提供的获取目标增强图像的流程示意图，描述了图1实施例中步骤20中获取目标视频帧对应的目标增强图像的一种可能实施方式。如图3所示，对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像，包括：
S201、获取目标视频帧的亮度通道。
视频采集设备采集获得的待处理视频中的视频帧通常为RGB(Red、Green、Blue)彩色图像，包含红R、绿G、蓝B三个颜色通道，三个颜色通道均包含有亮度信息，且三个颜色通道的亮度不同，若对三个通道分别进行图像增强处理，容易改变R、G、B的比例从而导致获得的增强图像颜色失真。为了避免增强图像的颜色失真，通常仅对目标视频帧的亮度通道进行增强处理，故需首先获取目标视频帧的亮度通道。
本实施例中，视频处理设备获取目标视频帧的亮度通道，可以包括下述步骤：
步骤D1、将目标视频帧从RGB颜色空间转换至包含亮度通道的颜色空间，获得转换后的目标视频帧。
本步骤中，包含亮度通道的颜色空间可以为HSV颜色空间、YCbCr颜色空间等，在此不做具体限定。
其中，HSV颜色空间中，H为Hue，表示色度；S为Saturation，表示饱和度，V为Value，表示亮度。YCbCr颜色空间中，Y是亮度分量，Cb指蓝色色度分量，Cr指红色色度分量。
本步骤中，将目标视频帧从RGB颜色空间转换至包含亮度通道的颜色空间(可以称为目标颜色空间)，可以是指获取目标视频帧中各个像素点在目标颜色空间对应的参数值。
示例性的，目标视频帧包含了多个像素点，每个像素点在RGB颜色空间的像素值可以表示为(R，G，B)，其中R、G、B均为0-255之间的值。例如，像素点f的像素点值为(0，100，255)。
假设目标颜色空间为HSV颜色空间，则可以依次确定目标视频帧每个像素点在HSV颜色空间对应的参数值(H，S，V)。
其中，像素点在RGB颜色空间的像素值为(R，G，B)，则像素点的色度值H可以参见下式(3)
Figure BDA0002500561040000151
其中，R'、G'、B'为分别对像素点的R值、G值和B值进行归一化处理后获得的参考值，R'＝R/255；G'＝G/255；B'＝B/255；
Cmax为参考值中的最大值，Cmax＝max(R',G',B')；
Cmin为参考值中的最小值，Cmin＝min(R',G',B')；
Δ＝Cmax-Cmin。
像素点的饱和度值S可以参考下式(4)
Figure BDA0002500561040000161
其中，Cmax、Δ与式(3)中解释相同。
像素点f的亮度值V可以参考下式(5)
V＝Cmax (5)
其中，Cmax与式(3)中解释相同。
基于公式(3)、(4)、(5)获得目标视频帧每个像素点在HSV颜色空间对应的H值、S值和V值，从而实现了目标视频帧从RGB颜色空间到HSV颜色空间的转换。
步骤D2、根据转换后的目标视频帧，提取获得目标视频帧的亮度通道。
本步骤中，可以将转换后的目标视频帧的亮度通道作为目标视频帧的亮度通道。
示例性的，假设转换后的目标视频帧为HSV颜色空间，则转换后的目标视频帧包含有色度H、饱和度S以及亮度V三个通道，将该亮度通道V作为目标视频帧的亮度通道。
视频处理设备在获得目标视频帧的亮度通道后，可以根据目标视频帧的图像增强要求对亮度通道进行图像增强处理以获得增强后的亮度通道。然后根据增强后的亮度通道、目标视频帧初始的色度通道H、初始的饱和度S，转换至RGB颜色通道，获得目标视频帧的增强图像。
其中，对目标视频帧的亮度通道进行图像增强处理的方法可以为直方图均衡法、基于小波变化的方法等。视频处理设备可以根据目标视频帧的图像增强要求选择不同的图像增强处理方式。下面通过步骤202至步骤204对去除伪影的一种图像增强方式进行示例性描述。
S202、根据目标视频帧的亮度通道，确定目标视频帧的多个光照分量。
由图2可知，去除目标视频帧中伪影的核心思想就是尽可能准确的估计出亮度通道的光照分量，并根据该估计得到的光照分量对亮度通道进行增强处理。
目标光照分量的估计方法通常为对原始图像进行平滑滤波获得的，此时的光照分量具有较多的图像细节，但是亮度会偏低。为此可以采用多种方式对亮度通道进行处理，获得亮度通道的多个光照分量；然后对多个光照分量进行融合处理，使得获得的融合光照分量即具备较高的亮度又拥有较多的图像细节。本步骤的目的是获得亮度通道的多个光照分量。
在一种可行的实施方式中，对亮度通道进行滤波处理，获得亮度通道的第一光照分量L1。
例如，对亮度通道进行引导滤波处理，或者高斯滤波处理。
示例性的，高斯函数G(x,y)可以如式(6)所示：
Figure BDA0002500561040000171
其中，x、y表示亮度通道上像素点的坐标值，λ为常数，σ为尺度参数。
当σ较小时，获得的光照分量可以保持较好的边缘细节；σ值可以由用户预先进行设定。可选地，可以将尺度参数σ设置一个较小值，使得第一光照分量L1可以保持较好的边缘细节。
在另一种可行的实施方式中，为了使得估计得到的光照分量具有较高的亮度，可以对亮度通道进行变分运算，获得亮度通道的第二光照分量L2。经由变分法估计的第二光照分量拥有较高的亮度，但可能会损失一定的细节信息。
变分运算中，将亮度通道的光照分量估计转换为二次规划的最优解问题，设置目标函数后通过梯度下降的方法来估计第二光照分量L2。
可选地，变分运算的目标函数如式(7)所示：
Figure BDA0002500561040000172
其中，α、β和γ均为权重系数，D*是差分算子，L为亮度通道V的光照分量，R为亮度通道V的反射分量。
S203、根据目标视频帧的多个光照分量，确定目标视频帧对应的融合光照分量。
通过步骤202获得的第一光照分量L1具有可以较好的边缘细节信息，获得的第二光照分量L2拥有较高的亮度，本步骤的目的在于对第一光照分量L1和第二光照分量L2进行融合处理，获得融合光照分量，以使得获得融合光照分量即具有较好的细节信息，又具有较高的亮度。
应理解的是，若步骤202获得多于两个的光照分量，则可以对该多于两个光照分量进行融合处理，获得目标视频帧的融合光照分量。
本实施例中，根据目标视频帧的多个光照分量，确定目标视频帧对应的融合光照分量，可以是指分别获取第一光照分量L1和第二光照分量L2各自分别对应的梯度，将该梯度作为权重值，对第一光照分量L1和第二光照分量L2进行融合处理，获得目标视频帧对应的融合光照分量。
其中，第一光照分量L1的梯度可以是指第一光照分量L1的平均梯度，也可以为第一光照分量L1上每个像素点的梯度。第二光照分量L2的梯度可以是指第二光照分量L2的平均梯度，也可以为第二光照分量L2上每个像素点的梯度。
示例性的，L1和L2的梯度均为每个像素点的梯度。
则以像素点O为例，该像素点O在L1上的梯度为J，像素值为f1；该像素点O在L2上的梯度为K，像素值为f2，则该像素点融合后的像素值f3为：
f3＝f1×J+f2×K (8)
根据公式(8)对每个像素点进行处理，获得每个像素点融合后的像素值。然后将第一光照分量或第二光照分量上的每个像素点的像素值变更为融合后的像素值，获得目标视频帧对应的融合光照分量。
S204、根据融合光照分量对目标视频帧进行处理，生成目标视频帧对应的目标增强图像。
在获得融合光照分量后，可以基于该融合光照分量与目标视频帧的的亮度通道，确定目标视频帧的反射分量，并将该反射分量作为目标视频帧的增强后的亮度通道；需要说明的是，由于融合光照分量既具有较好的细节信息，又具有较高的亮度，因此基于该融合光照分量确定的反射分量能准确地体现视频帧中对象的特征，从而实现了对目标视频帧的亮度通道的增强。
由于目标视频帧与目标增强图像所处的颜色空间需要保持不变，在获得目标视频帧的增强后的亮度通道后，需要基于该增强后的亮度通道，以及该增强后的亮度通道所处颜色空间中的其他通道，转换获得与目标视频帧处于相同颜色空间的目标增强图像。
例如，目标视频帧为RGB颜色空间的图像，增强后的亮度通道所处的颜色空间为HSV颜色空间，增强后的亮度通道为HSV颜色空间中的亮度通道V，则视频处理设备需要进一步获取目标视频帧的色度通道H以及目标视频帧的饱和度通道S，并根据上述亮度通道V、色度通道H以及饱和度通道S转换生成对应的RGB颜色空间的彩色图像，将该彩色图像作为目标视频帧对应的目标增强图像。
为了更清楚的说明本实施例，请一并参阅图4，图4为生成目标增强图像的原理图。如图4所示，目标视频帧中为RGB颜色空间的彩色图像，目标视频帧可以表示为f(R,G,B)，首先将目标视频帧从RGB颜色空间转换至HSV颜色空间，得到色度通道H，饱和度通道S和亮度通道V；对亮度通道V进行增强处理获得增强后的亮度通道V’,然后对色度通道H，饱和度通道S和亮度通道V’进行颜色空间的转换，转换至RGB颜色空间，得到R1,G1,B1,其中R1表示红色通道，G1表示绿色通道，B1表示蓝色通道，将R1,G1,B1组合生成目标增强图像f(R1,G1,B1)。
其中，对色度通道H，饱和度通道S和亮度通道V’进行颜色空间的转换，转换至RGB颜色空间，得到R1,G1,B1的过程可以基于公式(3)、(4)、(5)确定。
本实施例中应用于去除目标视频帧的伪影的应用场景，通过多种方式(两种)对亮度通道进行处理，估计多个光照分量，并对该多个光照分量进行融合处理得到融合光照分量，使得融合光照分量即具有较好的细节信息，又具有较高的亮度，因此基于该融合光照分量确定的反射分量能准确地反应对象的特征，从而实现了对目标视频帧的增强。
图5为本申请一实施例提供的确定目标视频帧的融合光照分量的流程示意图，描述了图3实施例中步骤S203的对两个光照分量进行融合处理的一种可能的实施方式。如图5所述，根据目标视频帧的多个光照分量，确定目标视频帧对应的融合光照分量，包括：
S2031、确定第一光照分量的第一梯度和第二光照分量的第二梯度。
其中，第一光照分量L1可以为对亮度通道进行平滑滤波处理获得的。第二光照分量L2可以为对亮度通道进行变分运算获得的。
本实施例中，第一光照分量L1的梯度为第一光照分量中所有像素点的平均梯度；第二光照分量的梯度为第二光照分量中所有像素点的平均梯度。
示例性的，计算第一光照分量L1平均梯度的式可以参见式(9)：
Figure BDA0002500561040000191
其中，
Figure BDA0002500561040000192
为第一光照分量的平均梯度，M和N是第一光照分量的宽度和高度，F(i,j)是第一光照分量中像素点(i,j)的亮度值。
计算第二光照分量平均梯度的步骤与计算第一光照分量平均梯度的步骤相同，具体可以参见式(10)：
Figure BDA0002500561040000193
其中，
Figure BDA0002500561040000194
为第二光照分量的平均梯度，m和n是第二光照分量的宽度和高度，f(i,j)是第二光照分量中像素点(i,j)的亮度值。
S2032、基于第一梯度和第二梯度，对第一光照分量和第二光照分量进行融合处理，获得融合光照分量。
本实施例中，视频处理设备可以基于加权平均值法对第一光照分量和第二光照分量进行融合处理，使得融合光照分量可以提供更多的目标信息，以根据该融合光照分量实现对亮度通道的增强处理，进而根据增强后的亮度通道实现目标视频帧的增强处理。
示例性的，视频处理设备首先根据第一梯度和第二梯度确定第一光照分量的权重和第二光照分量的权重。
其中，根据第一梯度和第二梯度确定第一光照分量的权重和第二光照分量的权重，可以分别参见式(11)和(12)：
Figure BDA0002500561040000201
Figure BDA0002500561040000202
其中，GGF表示第一光照分量的权重，
Figure BDA0002500561040000203
表示第一光照分量的平均梯度(第一梯度)；GVF表示第二光照分量的权重，
Figure BDA0002500561040000204
表示第二光照分量的平均梯度(第二梯度)。
视频处理设备在获得第一光照分量的权重和第二光照分量的权重后，根据第一光照分量的权重和第二光照分量的权重对第一光照分量和第二光照分量进行加权求和，获得融合光照分量。
其中，根据第一光照分量的权重和第二光照分量的权重对第一光照分量和第二光照分量进行加权求和，获得融合光照分量的方式可以参见式(13)：
L3＝L1×GGF+L2×GVF (13)
其中，L1表示第一光照分量，L2表示第二光照分量，L3表示融合光照分量GGF表示第一光照分量的权重，GVF表示第二光照分量的权重。
当待处理视频为夜间等低照度条件下拍摄获得的视频时，由于光照不均匀存的情况待处理视频存在伪影，同时又由于低照度导致视频中各个视频帧偏暗，不利于后期的处理，如果仅仅基于去除光照分量的方式获得各个视频帧的增强图像，虽然可以较好的解决伪影的问题，但是会导致处理后的图像进一步变暗，基于此，可以在获得反射分量后，对光照分量进行校正处理(消除光照不均匀的影响)，获得校正后的光照分量，并根据校正后的光照分量和图3实施例中获得反射分量确定最终的增强图像。该增强图像中通过校正后的光照分量进行了光照补偿，可以同时解决低照度条件下拍摄获得的视频存在伪影和亮度较低的问题。下面通过图6所示实施例进行示例性描述。
图6为本申请另一实施例提供生成目标增强图像的流程示意图，描述了图3实施例中步骤S204的一种可能的实施方式。如图6所示，根据融合光照分量对目标视频帧进行处理，生成目标视频帧对应的目标增强图像，包括：
S2041、根据融合光照分量和亮度通道，确定亮度通道的反射分量。
本步骤的融合光照分量可以为图5所示实施例中的融合光照分量L3。
本步骤的亮度通道为图3实施例中步骤201的亮度通道。
将亮度通道作为原始图像S，融合光照分量为光照分量，基于公式(1)确定亮度通道的反射分量。
S2042、对反射分量进行校正，生成校正后的反射分量。
当待处理视频为夜间等低照度条件下拍摄获得的视频时，目标视频帧经常会存在曝光不足的情况，此时图像的对比度较低，具体体现在目标视频帧的反射分量的对比度较低，为了提高了反射分量的图像对比度，在获得反射分量后，可以对反射分量进行校正处理。
示例性的，校正处理的方法可以为伽玛校正。
S2043、对融合光照分量进行非线性拉伸，生成拉伸后融合光照分量。
本步骤的目的在于对融合光照分量进行非线性拉伸。可选地，可以通过预设的两个灰度阈值将融合光照分量的灰度进行分级，得到低灰度级、中灰度级和高灰度级的三段灰度级；然后对三段灰度级分别进行灰度拉伸，通过设置不同的拉伸参数(即非线性拉伸)，以有效的增强低灰度级(即低亮度)区域中的亮度，降低光照不均匀的影响。
示例性的，预设的两个灰度阈值分别为第一灰度阈值和第二灰度阈值，其中第二灰度阈值大于第一灰度阈值且小于融合光照分量的最大灰度值，第一灰度阈值大于融合光照分量的最小灰度值；则将融合光分量中小于第一灰度阈值的灰度作为低灰度级，将融合光照分量中小于第二灰度阈值的灰度作为中灰度级，将融合光照分量中大于或等于第二灰度阈值的灰度作为高灰度级。可选地，可以通过设置第一灰度阈值和第二灰度阈值对融合光照分量的灰度进行三等分。
本步骤中，对不同灰度级设置不同的拉伸参数可以通过arctan函数实现。
示例性的，融合光照分量非线性拉伸的表达式可以参见式(14)：
Figure BDA0002500561040000211
其中，a和b是常数，L3表示融合光照分量，Lfinal为拉伸后的融合光照分量。arctan函数曲线是一个非线性的曲线，它的作用是对低像素值(低灰度级)的区域进行拉伸，从而有效的增强低亮度区域中的亮度。
S2044、根据拉伸后的融合光照分量和校正后的反射分量，获得增强亮度通道。
在获得拉伸后的融合光照分量和校正后的反射分量后，可以利用拉伸后的融合光照分量和校正后的反射分量，确定一亮度通道，需要说明的是，由于该拉伸后的融合光照分量降低了光照不均匀性的影响，并且校正后的反射分量增强了图像对比度，故此，该亮度通道与之前的亮度通道相比，可以同时解决低照度条件下拍摄获得的视频中图像存在伪影和曝光不足的问题；为了便于描述，在本实施例中，可以将该亮度通道称之为增强亮度通道。例如，在一种实现方式中，根据拉伸后的融合光照分量和校正后的反射分量，获得增强亮度通道的方式可以为根据公式(1)，对拉伸后的融合光照分量和校正后的反射分量进行求积处理，获得调整后的亮度通道，并将调整后的亮度通道作为增强亮度通道，当然，还可以通过其他方式根据拉伸后的融合光照分量和校正后的反射分量，确定增强亮度通道。
S2045、根据增强亮度通道对目标视频帧进行处理，生成目标视频帧对应的目标增强图像。
由于目标视频帧与目标增强图像所处的颜色空间需要保持不变，在获得目标视频帧的增强亮度通道后，需要基于该增强亮度通道，以及该增强亮度通道所处颜色空间中的其他通道，转换获得与目标视频帧处于相同颜色空间的目标增强图像。
例如，视频采集设备采集获得的待处理视频中的视频帧为RGB(Red、Green、Blue)彩色图像，即目标视频帧一般为RGB彩色图像，因此目标增强图像也对应为RGB彩色图像。
可选地，若增强亮度通道所处的颜色空间为HSV颜色空间，增强亮度通道为HSV颜色空间中亮度通道V，则需要进一步获取目标视频帧的S饱和度通道以及色度通道H，然后根据增强亮度通道、饱和度通道以及色度通道，转换生成RGB彩色图像，并将该RGB彩色图像作为目标增强图像。
示例性的，目标增强图像为RGB颜色空间，增强亮度通道所处的颜色空间为HSV颜色空间，则生成目标视频帧对应的目标增强图像可以包括步骤：
步骤E1、获取目标视频帧的饱和度通道以及色度通道。
其中，获取目标视频帧的饱和度通道以及色度通道的步骤具体可参见图3实施例中的步骤S204的相关说明，再此不赘述。
步骤E2、根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像。
本步骤中，根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像，可以是指将每个像素点从HSV颜色空间转换至RGB颜色空间，通过每个像素点上的R值、G值、B值表达该像素点的像素值，其中R值、G值以及B值均为0-255之间的值。
其中，将每个像素点从HSV颜色空间转换至RGB颜色空间的过程可以基于公式(3)、(4)、(5)确定。
步骤E3、将RGB彩色图像作为目标视频帧对应的目标增强图像。
实际应用中，在步骤2045将增强亮度通道、饱和度通道以及色度通道转换生成RGB彩色图像之前，可以首先对增强亮度通道进行预处理，以使得增强亮度通道能更清晰的表征目标视频帧的真实亮度。下面通过图7所示的实施例进行示例性描述。
图7为本申请又一实施例提供生成目标增强图像的流程示意图，描述了图6实施例中步骤S2045中根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像的一种可能的实施方式。如图7所示，根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像，可以是指：
S2061、将增强亮度通道划分为多个图像块。
本步骤中，视频处理设备可以根据增强亮度通道的图像尺寸大小对亮度通道进行等分，将亮度通道划分为多个图像块。
示例性的，增强亮度通道为大小为64×64的图像，将亮度通道划分为64个8×8的图像块。
S2062、针对每一个图像块，对图像块的亮度进行对比度增强处理，获得图像块对应的增强图像块。
本步骤中的目标在于增强每个图像块的对比度。
其中，对图像块的亮度进行对比度增强处理可以是指，针对每个图像块，视频处理设备统计得到该图像块的灰度分布直方图，基于该灰度分布直方图确定该图像块对应的映射函数；基于该映射函数对该图像块进行灰度变换，获得图像块对应的增强图像块，以达到提高该图像块的对比度的目的。
可选地，为了避免每个图像块对比度提高的过大，需要对每个图像块对应的增强图像块的对比度进行限制。
例如，在统计得到每个图像块的灰度分布直方图后，根据预设的上限值对每个图像块中统计得到的灰度分布直方图进行裁剪，并将裁剪掉掉的灰度值均匀地分布在该图像块的整个灰度区间上得到更新后的灰度分布直方图，再根据更新后的灰度分布直方图确定对应的映射函数。
S2063、将相邻的增强图像块进行拼接，获得更新后的增强亮度通道。
本实施例中将增强亮度通道进行分块处理，可以提高增强亮度通道的局部对比度，但是若每个图像块的像素点仅通过该图像块中的映射函数进行变换，则会导致增强亮度通道的处理结果呈块状效应(例如亮度突变)，本步骤的目的是避免处理后的增强亮度通道出现块状效应。
可选地，可以基于差值运算将相邻的增强图像块进行拼接，获得更新后的增强亮度通道。
例如，针对图像块上的像素点J，可以首先获得与该像素点J所属图像块左右相邻和上下相邻的四个图像块，确定该四个图像块各自分别对应的映射函数，基于该四个映射函数对该像素点的灰度值分别做变换得到四个映射值，再对这四个值做双线性插值获得像素点J更新后的灰度值。重复上述过程直至获得该图像块上所有像素点的更新后的灰度值。
应理解的是，对于处于增强亮度通道边界上的图像块的像素点，则可以仅通过与该像素点所在图像块相邻的两个或三个图像块进行拼接，获得该像素点的更新后的灰度值。例如针对增强亮度通道的角点，可以直接以该角点所在图像块相邻的两个图像块的映射函数做变换。角点可以为左上角、左下角、右上角、右下角中任意一个。
S2064、根据更新后的增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像。
本步骤中，可以将更新后的增强亮度通道作为图6实施例中步骤2045的增强亮度通道，然后基于图6实施例中步骤2045的实施方式，获得RGB彩色图像。
图8为本申请一实施例提供的确定待处理视频帧对应的增强图像的流程示意图，描述了图1实施例中步骤30中根据目标增强图像，确定待处理视频帧对应的增强图像的一种可能性实施方式。如图8所示，根据目标增强图像，确定待处理视频帧对应的增强图像，包括：
S301、确定待处理视频帧的像素点中相对于目标视频帧的不动点集和运动点集。
本步骤的目的在于确定待处理视频帧的像素点中相对于目标视频帧(相邻视频帧之间)的不动点集和运动点集，以便后续分别对不动点集和运动点集中的像素点采用不同的像素值赋值方法。
可选地，确定待处理视频帧的像素点中相对于目标视频帧的不动点集和运动点集可以是指，针对待处理视频帧上每个像素点，将该像素点相对于目标视频帧上相同坐标位置像素点的亮度变化率作为该像素点的速度矢量，将速度矢量大于预设值的像素点确定为运动点，并根据所有运动点确定运动点集；将速度矢量小于或等于预设值的像素点确定为不动点，并根据所有不动点确定运动点集。
其中，像素点的速度矢量可以包括待处理视频帧所在图像平面上X方向的速度矢量u和Y方向的速度矢量v,其中X方向和Y方向为待处理视频帧所在图像平面的坐标轴的方向。
可选地，像素点的速度矢量可以表示为(u，v)，则速度矢量与预设值之间的比较可以是指速度矢量的矢量值与预设值之间的比较。其中，速度矢量的矢量值可以表征为像素点的运动速度。
示例性的，确定待处理视频帧的像素点中相对于目标视频帧的不动点集和运动点集，可以包括如下步骤：
步骤1、针对待处理视频帧中的每个像素点，获取该像素点的速度矢量，并根据像素点的速度矢量，确定像素点的运动速度。
其中，速度矢量包括了待处理视频帧图像平面上X方向的速度矢量u和Y方向的速度矢量v,其中X方向和Y方向为像素点的坐标轴的方向。
示例性的，假设目标视频帧为待处理视频的第一个视频帧，待处理视频帧为待处理视频的第二视频帧，则获取第二帧图像中每个像素点相对于第一帧图像的速度矢量可以为：
针对每个像素点，分别获取该像素点在第二个视频帧和第一个视频帧上的像素值，对两个像素值的差值进行时空微分处理，获得像素值在X方向的变化率和在Y方向的变化率，将像素值在X方向的变化率作为速度矢量u，将像素值在Y方向的变化率作为速度矢量v。
在获得每个像素点在X方向的速度矢量u和在Y方向的速度矢量v后，每个像素点的运动速度可参见式(15)：
Figure BDA0002500561040000251
其中，S(x,y)为像素点的运动速度，u为像素点在X方向的速度矢量，v为像素点在Y方向上的速度矢量。其中，(x、y)为像素点的坐标。
步骤2、将运动速度大于预设值的像素点确定为运动点，并根据所有的运动点生成运动点集。
步骤3、将运动速度小于或等于预设值的像素点确定为不动点，并根据所有的不动点生成不动点集。
其中预设值可以由用户预先设定，也可以是由***预先设置的，经过步骤2和步骤3之后得到所有不动点构成的不动点集FP，将所有运动点构成的运动点集DP。
S302、针对所不动点集中每个不动点，将目标增强图像中与不动点对应的像素点的像素值作为不动点的像素值。
其中，目标增强图像中与不动点对应的像素点是指与不动点在待处理视频帧中的坐标相同的像素点。
示例性的，假设不动点FP1在待处理视频帧的坐标为(Fx1，Fy1)，则不动点FP1对应的像素点为目标增强图像上坐标为(Fx1，Fy1)的像素点。
本步骤中，将第r个视频帧的增强图像中与不动点对应的像素点的像素值作为不动点的像素值，可以是指，确定第r个视频帧的增强图像中与不动点的坐标相同的像素点，将该像素点的像素值作为不动点的像素值。
例如，目标视频帧对应的目标增强图像为It，待处理视频帧为It+1，则待处理视频帧It+1上不动点P的像素值可以参见式(16)：
Figure BDA0002500561040000261
其中，
Figure BDA0002500561040000262
为待处理视频帧It+1的增强图像中中不动点P的像素值，
Figure BDA0002500561040000263
为目标增强图像It中与P位置相同的像素点的像素值。
示例性的，目标视频帧为待处理视频的第一个视频帧，待处理视频帧为待处理视频的第二个视频帧。P点为第二个视频帧相对于第一个视频帧的不动点，则第二个视频帧的增强图像中，P点的像素值与第一个视频帧的增强图像中与P点位置相同的像素点的像素值相同，均为
Figure BDA0002500561040000264
S303、针对运动点集中每个运动点，确定运动点在目标增强图像中的对应像素点，并根据对应像素点所在的预设区域内的多个像素点的像素值确定运动点的像素值。
本实施例中，运动点Q在目标增强图像中的对应像素点可以是指运动点在目标视频帧中的对应像素点。
可选地，待处理视频帧与目标视频帧为相邻帧，可以根据运动点Q的速度矢量以及运动点在待处理视频帧的坐标确定该运动点在目标视频帧中的对应像素点Q’的坐标。
其中，运算点的运算速度可以参考式(15)获得。
示例性的，运动点Q在待处理视频帧的坐标为(x，y)，速度矢量为(ux，vy)，则运动点Q在目标视频帧中对应的像素点Q’的坐标为(x+ux×△t，y+vy×△t)；即运动点在目标增强图像中的对应像素点Q’的坐标为(x+ux×△t，y+vy×△t)。
其中，△t为待处理视频帧与目标视频帧之间的时间间隔。
本实施例中，根据对应像素点所在的预设区域内的多个像素点的像素值确定运动点的像素值，具体可以是指确定对应像素点所在的预设区域内的多个像素点，确定该多个像素点的像素值的平均值，将该平均值作为运动点的像素值。
其中，预设区域的大小可以根据图像增强的效果进行调整。
示例性的，
Figure BDA0002500561040000271
为运动点Q的像素值，
Figure BDA0002500561040000272
为Q点在目标视频帧对应的目标增强图像中的像素值，则
Figure BDA0002500561040000273
的值可以参考下式(17)：
Figure BDA0002500561040000274
其中，(x,y)为像素点Q的坐标值，(ux,vy)代表像素点Q的速度矢量。(x+ux×△t，y+vy×△t))为像素点Q在目标视频帧It中对应的像素点坐标，(x+ux×△t+i，y+vy×△t+j)为该对应像素点所在的预设区域内多个像素点的坐标；2n为预设区域内像素点的个数；△t为待处理视频帧与目标视频帧之间的时间间隔。
例如，取n为2，则2n为4，即根据对应像素点所在的预设区域内四个像素点像素值确定
Figure BDA0002500561040000275
的值：
Figure BDA0002500561040000276
S304、根据不动点集所有不动点的像素值和运动点集中所有运动点的像素值，获得待处理视频帧的增强图像。
本步骤中，根据不动点集所有不动点的像素值和运动点集中所有运动点的像素值，对待处理视频帧上各个像素点的像素值进行调整，获得待处理视频帧的增强图像。
例如，针对待处理视频帧中的每个像素点，若该像素点属于不动点集，则该像素点的像素值调整为不动点集中与该像素点坐标相同的不动点的像素值；若该像素点属于运动点集，则将该像素点的像素值调整为运动点集中与该像素点坐标相同的运动点的像素值。
示例性的，待处理视频帧包括M个像素点，M个像素点的坐标值分别为f1、、f2……fM，M个像素点被划分为不动点集FP和运动点集DP，不动点集FP中各不动点的像素值预先确定，运动点集DP中各运动点的像素值预先确定。则针对待处理视频帧中每个像素点fk，其中，k大于等于1且小于等于M，若该像素点属于不动点集FP，则将像素点fk的像素值变更为不动点集FP中坐标为fk的不动点的像素值；若该像素点属于运动点集DP，则将像素点fk的像素值变更运动点集DP中坐标为fk的运动点的像素值；对待处理视频帧的M个像素点均执行上述步骤，获得变更后的图像，将该变更后的图像作为待处理视频帧的增强图像。对待处理视频帧中的每个像素点的像素值进行上述的调整，获得调整后的待处理视频帧，并将该调整后的待处理视频帧作为待处理视频帧的增强图像。
本申请实施例提供的视频增强方法，将待处理视频帧的像素点中划分为相对于目标视频帧的不动点集和运动点集，不动点集中的不动点的像素值与目标增强图像中对应的像素点的像素值相同，运动点集中运动点由目标增强图像中对应的像素点所在的预设区域内的多个像素点的像素值更新获得。保障了每个像素点的像素值的相关性，进而保障了相邻视频帧的时空一致性，有效地避免相邻视频帧图像增强后的亮度抖动。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
基于上述实施例所提供的视频增强方法，本发明实施例进一步给出实现上述方法实施例的装置实施例。
图9为本申请一实施例提供的视频增强装置的结构示意图。包括的各单元用于执行图1、图3、图5至图8对应的实施例中的各步骤，具体请参阅图1、图3、图5至图8各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图9，视频增强装置60包括获取模块601、第一增强模块602、第一确定模块603、执行模块604以及第二确定模块605。
获取模块601，用于获取待处理视频中的目标视频帧。
第一增强模块602，用于对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像。
第一确定模块603，用于根据目标增强图像，确定待处理视频帧对应的增强图像；其中，待处理视频帧为根据目标视频帧所确定的待进行图像增强处理的视频帧。
执行模块604，用于将待处理视频帧作为目标视频帧，以及将待处理视频帧对应的增强图像作为目标增强图像，返回执行根据目标增强图像，确定待处理视频帧对应的增强图像的步骤，直至获得待处理视频中预设数量视频帧各自分别对应的增强图像。
第二确定模块605，用于根据待处理视频中视频帧的增强图像，确定待处理视频对应的增强视频。
可选地，待处理视频帧为与目标视频帧相邻的视频帧。
可选地，第一增强模块602对目标视频帧进行图像增强处理，得到目标视频帧对应的目标增强图像，包括：
获取目标视频帧的亮度通道；
根据目标视频帧的亮度通道，确定目标视频帧的多个光照分量；
根据目标视频帧的多个光照分量，确定目标视频帧对应的融合光照分量；
根据融合光照分量对目标视频帧进行处理，生成目标视频帧对应的目标增强图像。
可选地，第一增强模块602根据目标视频帧的亮度通道，确定目标视频帧的多个光照分量，包括：
对亮度通道进行低通滤波处理，获得第一光照分量；
对亮度通道进行变分运算，获得第二光照分量。
可选地，第一增强模块602根据目标视频帧的多个光照分量，确定目标视频帧对应的融合光照分量，包括：
确定第一光照分量的第一梯度和第二光照分量的第二梯度；
基于第一梯度和所述第二梯度，对第一光照分量和第二光照分量进行融合处理，获得融合光照分量。
可选地，第一增强模块602根据融合光照分量对目标视频帧进行处理，生成目标视频帧对应的目标增强图像，包括：
根据融合光照分量和所述亮度通道，确定亮度通道的反射分量；
对反射分量进行校正，生成校正后的反射分量；
对融合光照分量进行非线性拉伸，生成拉伸后融合光照分量；
根据拉伸后的融合光照分量和校正后的反射分量，获得增强亮度通道；
根据增强亮度通道对目标视频帧进行处理，生成目标视频帧对应的目标增强图像。
可选地，第一增强模块602根据增强亮度通道对目标视频帧进行处理，生成目标视频帧对应的目标增强图像，包括：
获取目标视频帧的饱和度通道以及色度通道；
根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像；
将RGB彩色图像作为目标视频帧对应的目标增强图像。
可选地，第一增强模块602根据增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像，包括：
将增强亮度通道划分为多个图像块；
针对每一个图像块，对图像块的亮度进行对比度增强处理，获得图像块对应的增强图像块；
将相邻的增强图像块进行拼接，获得更新后的增强亮度通道；
根据更新后的增强亮度通道、饱和度通道以及色度通道，生成RGB彩色图像。
可选地，第一确定模块603根据目标增强图像，确定待处理视频帧对应的增强图像，包括：
确定待处理视频帧的像素点中相对于目标视频帧的不动点集和运动点集；
针对不动点集中每个不动点，将目标增强图像中与不动点对应的像素点的像素值作为不动点的像素值；
针对运动点集中每个运动点，确定运动点在目标增强图像中的对应像素点，并根据对应像素点所在的预设区域内的多个像素点的像素值确定运动点的像素值；
根据不动点集所有不动点的像素值和运动点集中所有运动点的像素值，获得待处理视频帧的增强图像。
可选地，第一确定模块603确定待处理视频帧的像素点中相对于目标视频帧的不动点集和运动点集，包括：
针对待处理视频帧中的每个像素点，获取像素点的光流矢量，并根据像素点的光流矢量，确定像素点的运动速度；
将运动速度大于预设值的像素点确定为运动点，并根据所有的运动点生成运动点集；
将运动速度小于或等于预设值的像素点确定为不动点，并根据所有的不动点生成不动点集。
可选地，第一确定模块603根据对应像素点所在的预设区域内的多个像素点的像素值确定运动点的像素值，包括：
确定对应像素点所在的预设区域内的多个像素点；
确定多个像素点的像素值的平均值；
将平均值作为运动点的像素值。
图10是本申请一实施例提供的视频处理设备的示意图。如图10所示，该实施例的视频处理设备70包括：至少一个处理器701、存储器702以及存储在所述存储器702中并可在所述处理器701上运行的计算机程序。视频处理设备还包括通信部件703，其中，处理器701、存储器702以及通信部件703通过总线704连接。
处理器701执行所述计算机程序时实现上述各个视频增强方法实施例中的步骤，例如图1所示实施例中的步骤S10至步骤S50。或者，处理器701执行计算机程序时实现上述各装置实施例中各模块/单元的功能，例如图9所示模块601至605的功能。
本领域技术人员可以理解，图10仅仅是视频处理设备的示例，并不构成对视频处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如输入输出设备、网络接入设备、总线等。
所称处理器701可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器702可以是视频处理设备的内部存储单元，也可以是视频处理设备的外部存储设备，所述存储器702用于存储所述计算机程序以及视频处理设备所需的其他程序和数据。存储器702还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种视频增强方法，其特征在于，包括：
获取待处理视频中的目标视频帧，并对所述目标视频帧进行图像增强处理，得到所述目标视频帧对应的目标增强图像；
根据所述目标增强图像，确定待处理视频帧对应的增强图像；其中，所述待处理视频帧为根据所述目标视频帧所确定的待进行图像增强处理的视频帧；
将所述待处理视频帧作为目标视频帧，以及将所述待处理视频帧对应的增强图像作为目标增强图像，返回执行所述根据所述目标增强图像，确定待处理视频帧对应的增强图像的步骤，直至获得所述待处理视频中预设数量的视频帧各自分别对应的增强图像；
根据所述待处理视频中视频帧对应的增强图像，确定所述待处理视频对应的增强视频。
2.如权利要求1所述的视频增强方法，其特征在于，所述待处理视频帧为与所述目标视频帧相邻的视频帧。
3.如权利要求1所述的视频增强方法，其特征在于，所述对所述目标视频帧进行图像增强处理，得到所述目标视频帧对应的目标增强图像，包括：
获取所述目标视频帧的亮度通道；
根据所述目标视频帧的亮度通道，确定所述目标视频帧的多个光照分量；
根据所述目标视频帧的多个光照分量，确定所述目标视频帧对应的融合光照分量；
根据所述融合光照分量对所述目标视频帧进行处理，生成所述目标视频帧对应的目标增强图像。
4.如权利要求3所述的视频增强方法，其特征在于，所述根据所述目标视频帧的亮度通道，确定所述目标视频帧的多个光照分量，包括：
对所述亮度通道进行低通滤波处理，获得第一光照分量；
对所述亮度通道进行变分运算，获得第二光照分量。
5.如权利要求4所述的视频增强方法，其特征在于，所述根据所述目标视频帧的多个光照分量，确定所述目标视频帧对应的融合光照分量，包括：
确定所述第一光照分量的第一梯度和所述第二光照分量的第二梯度；
基于所述第一梯度和所述第二梯度，对所述第一光照分量和所述第二光照分量进行融合处理，获得所述融合光照分量。
6.如权利要求3所述的视频增强方法，其特征在于，所述根据所述融合光照分量对所述目标视频帧进行处理，生成所述目标视频帧对应的目标增强图像，包括：
根据所述融合光照分量和所述亮度通道，确定所述亮度通道的反射分量；
对所述反射分量进行校正，生成校正后的反射分量；
对所述融合光照分量进行非线性拉伸，生成拉伸后融合光照分量；
根据所述拉伸后的融合光照分量和所述校正后的反射分量，获得增强亮度通道；
根据所述增强亮度通道对所述目标视频帧进行处理，生成所述目标视频帧对应的目标增强图像。
7.如权利要求6所述的视频增强方法，其特征在于，所述根据所述增强亮度通道对所述目标视频帧进行处理，生成所述目标视频帧对应的目标增强图像，包括：
获取所述目标视频帧的饱和度通道以及色度通道；
根据所述增强亮度通道、所述饱和度通道以及所述色度通道，生成RGB彩色图像；
将所述RGB彩色图像作为所述目标视频帧对应的目标增强图像。
8.如权利要求7所述的视频增强方法，其特征在于，所述根据所述增强亮度通道、所述饱和度通道以及所述色度通道，生成RGB彩色图像，包括：
将所述增强亮度通道划分为多个图像块；
针对每一个图像块，对所述图像块的亮度进行对比度增强处理，获得所述图像块对应的增强图像块；
将相邻的增强图像块进行拼接，获得更新后的增强亮度通道；
根据所述更新后的增强亮度通道、所述饱和度通道以及所述色度通道，生成所述RGB彩色图像。
9.如权利要求1至8任一项所述的视频增强方法，其特征在于，所述根据所述目标增强图像，确定待处理视频帧对应的增强图像，包括：
确定所述待处理视频帧的像素点中相对于所述目标视频帧的不动点集和运动点集；
针对所述不动点集中每个不动点，将所述目标增强图像中与所述不动点对应的像素点的像素值作为所述不动点的像素值；
针对所述运动点集中每个运动点，确定所述运动点在所述目标增强图像中的对应像素点，并根据所述对应像素点所在的预设区域内的多个像素点的像素值确定所述运动点的像素值；
根据所述不动点集所有不动点的像素值和所述运动点集中所有运动点的像素值，获得所述待处理视频帧的增强图像。
10.如权利要求9所述的视频增强方法，其特征在于，所述确定所述待处理视频帧的像素点中相对于所述目标视频帧的不动点集和运动点集，包括：
针对所述待处理视频帧中的每个像素点，获取所述像素点的光流矢量，并根据所述像素点的光流矢量，确定所述像素点的运动速度；
将运动速度大于预设值的像素点确定为运动点，并根据所有运动点确定所述运动点集；
将运动速度小于或等于所述预设值的像素点确定为不动点，并根据所有不动点确定所述不动点集。
11.如权利要求9所述的视频增强方法，其特征在于，所述根据所述对应像素点所在的预设区域内的多个像素点的像素值确定所述运动点的像素值，包括：
确定所述对应像素点所在的预设区域内的多个像素点；
确定所述多个像素点的像素值的平均值；
将所述平均值作为所述运动点的像素值。
12.一种视频处理设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至11任一项所述方法的步骤。
13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至11任一项所述方法的步骤。
CN202010430940.XA 2020-05-20 2020-05-20 视频增强方法、装置、设备及存储介质 Pending CN113706393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010430940.XA CN113706393A (zh) 2020-05-20 2020-05-20 视频增强方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010430940.XA CN113706393A (zh) 2020-05-20 2020-05-20 视频增强方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113706393A true CN113706393A (zh) 2021-11-26

Family

ID=78645682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010430940.XA Pending CN113706393A (zh) 2020-05-20 2020-05-20 视频增强方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113706393A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902651A (zh) * 2021-12-09 2022-01-07 环球数科集团有限公司 一种基于深度学习的视频画质增强***
CN116051403A (zh) * 2022-12-26 2023-05-02 新奥特(南京)视频技术有限公司 一种视频图像处理方法、装置及一种视频处理设备
CN116612060A (zh) * 2023-07-19 2023-08-18 腾讯科技（深圳）有限公司 视频信息处理方法、装置及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures
US20110091127A1 (en) * 2008-06-20 2011-04-21 Pavel Kisilev Method and system for efficient video processing
CN103578084A (zh) * 2013-12-09 2014-02-12 西安电子科技大学 基于亮通道滤波的彩色图像增强方法
CN109272464A (zh) * 2018-09-10 2019-01-25 厦门理工学院 一种基于指数运算的低照度视频实时增强方法与装置
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN109961404A (zh) * 2017-12-25 2019-07-02 沈阳灵景智能科技有限公司 一种基于gpu并行计算的高清视频图像增强方法
CN110992287A (zh) * 2019-12-03 2020-04-10 中国电子科技集团公司信息科学研究院 一种非均匀光照视频的清晰化方法
CN111031346A (zh) * 2019-10-28 2020-04-17 网宿科技股份有限公司 一种增强视频画质的方法和装置
CN111062926A (zh) * 2019-12-18 2020-04-24 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110091127A1 (en) * 2008-06-20 2011-04-21 Pavel Kisilev Method and system for efficient video processing
US20100183071A1 (en) * 2009-01-19 2010-07-22 Segall Christopher A Methods and Systems for Enhanced Dynamic Range Images and Video from Multiple Exposures
CN103578084A (zh) * 2013-12-09 2014-02-12 西安电子科技大学 基于亮通道滤波的彩色图像增强方法
CN109961404A (zh) * 2017-12-25 2019-07-02 沈阳灵景智能科技有限公司 一种基于gpu并行计算的高清视频图像增强方法
CN109272464A (zh) * 2018-09-10 2019-01-25 厦门理工学院 一种基于指数运算的低照度视频实时增强方法与装置
CN109934776A (zh) * 2018-12-25 2019-06-25 北京奇艺世纪科技有限公司 模型生成方法、视频增强方法、装置及计算机可读存储介质
CN111031346A (zh) * 2019-10-28 2020-04-17 网宿科技股份有限公司 一种增强视频画质的方法和装置
CN110992287A (zh) * 2019-12-03 2020-04-10 中国电子科技集团公司信息科学研究院 一种非均匀光照视频的清晰化方法
CN111062926A (zh) * 2019-12-18 2020-04-24 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113902651A (zh) * 2021-12-09 2022-01-07 环球数科集团有限公司 一种基于深度学习的视频画质增强***
CN116051403A (zh) * 2022-12-26 2023-05-02 新奥特(南京)视频技术有限公司 一种视频图像处理方法、装置及一种视频处理设备
CN116612060A (zh) * 2023-07-19 2023-08-18 腾讯科技（深圳）有限公司 视频信息处理方法、装置及存储介质
CN116612060B (zh) * 2023-07-19 2023-09-22 腾讯科技（深圳）有限公司 视频信息处理方法、装置及存储介质

Similar Documents

Publication Publication Date Title
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN113706393A (zh) 视频增强方法、装置、设备及存储介质
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
CN113129391B (zh) 基于多曝光图像特征分布权重的多曝光融合方法
CN110211077B (zh) 一种基于高阶奇异值分解的多曝光图像融合方法
CN113781320A (zh) 一种图像处理方法、装置、终端设备及存储介质
US9014503B2 (en) Noise-reduction method and apparatus
CN111260580A (zh) 一种基于图像金字塔的图像去噪方法、计算机装置及计算机可读存储介质
CN111489322A (zh) 给静态图片加天空滤镜的方法及装置
US20210279851A1 (en) Manufacturing method of learning data, learning method, learning data manufacturing apparatus, learning apparatus, and memory medium
JP2007507810A (ja) 高速なレティネックス型処理のための強靭な再帰エンベロープ演算子
CN111383181A (zh) 图像增强方法及装置、存储介质、终端
KR20230146974A (ko) 영상의 밝기 개선 방법 및 장치
CN110807735A (zh) 图像处理方法、装置、终端设备及计算机可读存储介质
CN110175967B (zh) 图像去雾处理方法、***、计算机设备和存储介质
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
Zhang et al. Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video
US20210125318A1 (en) Image processing method and apparatus
CN114037641A (zh) 一种低照度图像增强方法、装置、设备及介质
CN110838088A (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
CN111861899A (zh) 一种基于光照不均匀的图像增强方法及***
CN114663300A (zh) 基于dce的低照度图像增强方法、***及相关设备
CN115937029A (zh) 一种水下图像增强方法
CN113409196B (zh) 一种用于实时视频拼接的高速全局色差矫正方法
Terai et al. Color image contrast enhancement by retinex model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination