CN112488933B - 一种视频的细节增强方法、装置、移动终端和存储介质 - Google Patents

一种视频的细节增强方法、装置、移动终端和存储介质 Download PDF

Info

Publication number
CN112488933B
CN112488933B CN202011348089.2A CN202011348089A CN112488933B CN 112488933 B CN112488933 B CN 112488933B CN 202011348089 A CN202011348089 A CN 202011348089A CN 112488933 B CN112488933 B CN 112488933B
Authority
CN
China
Prior art keywords
video
parameter
parameters
detail enhancement
enhancement processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011348089.2A
Other languages
English (en)
Other versions
CN112488933A (zh
Inventor
杨敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
You Peninsula Beijing Information Technology Co ltd
Original Assignee
You Peninsula Beijing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by You Peninsula Beijing Information Technology Co ltd filed Critical You Peninsula Beijing Information Technology Co ltd
Priority to CN202011348089.2A priority Critical patent/CN112488933B/zh
Publication of CN112488933A publication Critical patent/CN112488933A/zh
Priority to PCT/CN2021/129369 priority patent/WO2022111269A1/zh
Application granted granted Critical
Publication of CN112488933B publication Critical patent/CN112488933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种视频的细节增强方法、装置、移动终端和存储介质，该方法包括：采集视频数据，在采集视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数，从视频数据中采集与细节增强处理相关的参数，作为视频参数，根据环境参数与视频参数确定对视频数据执行细节增强处理的状态，在移动终端所处的环境、移动终端拍摄的对象与细节增强处理不匹配的情况下，禁止执行细节增强处理，降低细节增强处理的频次，节省细节增强处理的算力，减轻对CPU、内存等资源的占用，保留更多的算力保证业务操作的正常执行，最终提高细节增强处理的灵活程度，提高细节增强处理的鲁棒性。

Description

一种视频的细节增强方法、装置、移动终端和存储介质
技术领域
本发明实施例涉及计算机视觉的技术领域，尤其涉及一种视频的细节增强方法、装置、移动终端和存储介质。
背景技术
随着移动互联网与移动终端的迅速发展，移动终端中的视频数据已成为许多业务操作常用的信息载体，如直播、视频通话等，它们包含着物体的大量信息，成为人们获取外界原始信息的途径之一。
视频数据的清晰度是视频质量的一个评价指标，因此，在业务操作中会对改善视频数据的清晰度，而改善清晰度的方法大部分是细节增强处理(detail enhancement)，在采集到视频数据之后，通常对视频数据执行细节增强处理。
但是，在某些情况下细节增强处理会带来失真等负向影响，并且，细节增强处理是持续进行，消耗的算力较多，在移动终端的性能受限的情况下，将会导致细节增强处理的鲁棒性较低。
发明内容
本发明实施例提出了一种视频的细节增强方法、装置、移动终端和存储介质，以解决在性能受限的情况下对视频数据进行细节增强处理，如何减缓负向影响并提高鲁棒性的问题。
第一方面，本发明实施例提供了一种视频的细节增强方法，应用于移动终端中，所述方法包括：
采集视频数据；
在采集所述视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数；
从所述视频数据中采集与细节增强处理相关的参数，作为视频参数；
根据所述环境参数与所述视频参数确定对所述视频数据执行所述细节增强处理的状态。
第二方面，本发明实施例还提供了一种视频的细节增强装置，应用于移动终端中，所述装置包括：
视频数据采集模块，用于采集视频数据；
环境参数采集模块，用于在采集所述视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数；
视频参数采集模块，用于从所述视频数据中采集与细节增强处理相关的参数，作为视频参数；
增强状态确定模块，用于根据所述环境参数与所述视频参数确定对所述视频数据执行所述细节增强处理的状态。
第三方面，本发明实施例还提供了一种移动终端，所述移动终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的视频的细节增强方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方所述的视频的细节增强方法。
在本实施例中，采集视频数据，在采集视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数，从视频数据中采集与细节增强处理相关的参数，作为视频参数，根据环境参数与视频参数确定对视频数据执行细节增强处理的状态，一方面，在移动终端所处的环境、移动终端拍摄的对象与细节增强处理匹配的情况下，保证细节增强处理的正常执行，从而保证视频数据的质量，另一方面，在移动终端所处的环境、移动终端拍摄的对象与细节增强处理不匹配的情况下，禁止执行细节增强处理，降低细节增强处理的频次，节省细节增强处理的算力，减轻对CPU、内存等资源的占用，保留更多的算力保证业务操作的正常执行，最终提高细节增强处理的灵活程度，提高细节增强处理的鲁棒性。
附图说明
图1为本发明实施例一提供的一种视频的细节增强方法的流程图；
图2为本发明实施例一提供的一种业务操作的流程图；
图3为本发明实施例一提供的一种视频数据与环境参数的频率对比图；
图4是本发明实施例二提供的一种视频的细节增强方法的流程图；
图5是本发明实施例二提供的一种细节增强处理的对比示例图；
图6为本发明实施例三提供的一种视频的细节增强装置的结构示意图；
图7为本发明实施例四提供的一种移动终端的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
针对图像数据的细节增强处理作为计算机视觉从发展到繁荣的过程中一直以来都备受关注，从一开始的基于单帧图像数据的细节增强算法，发展到现在由于各种平台的算力飞速提升而出现的基于视频数据的细节增强算法。
对于这些细节增强处理，可根据时间线将梳理为基于模板的细节增强处理、基于滤波算法的细节增强处理和基于深度学习的细节增强处理。
随着直播、短视频等业务操作的飞速发展，视频数据的质量成为了不可忽视的问题，针对移动终端采集的视频数据进行清晰度改善成为了提高视频数据质量的重要一环。
针对移动终端的细节增强处理与传统的单帧图像数据或者视频数据的暗光增强相比，有着更为苛刻的计算复杂度的要求，那么如何权衡效果与性能就成为了一个新的难题。现有大多数的细节增强算法都还是基于PC(personal computer，个人电脑)或者是带GPU(Graphics Processing Unit，图形处理器)的服务器提出，计算量较大，一般无法迁移到计算资源非常有限的移动终端来执行。
本实施例提出一种兼顾性能和效果的算法，将细节增强处理应用到移动终端的视频采集，在保留细节增强处理的效果的同时，适应复杂多样的环境，过滤容易产生artifact现象的，即在图像处理的过程中，出现不自然的、反常的、能让人看出是人为处理过的痕迹、区域、瑕疵等，从而提到实现提高视频数据的质量。
实施例一
图1为本发明实施例一提供的一种视频的细节增强方法的流程图，本实施例可适用于根据移动终端的环境、视频数据本身的特性决策是否执行细节增强处理的情况，该方法可以由视频的细节增强装置来执行，该视频的细节增强装置可以由软件和/或硬件实现，可配置在移动终端中，例如，手机、平板电脑、智能穿戴设备(如智能手表、智能眼镜等)，等等，具体包括如下步骤：
步骤101、采集视频数据。
在本实施例中，移动终端配置有一个或多个摄像头(Camera)，该摄像头可用于拍照、录像，一般情况下，该摄像头可以是设置在移动终端的背部(又称后置摄像头)，也可以设置在移动终端的正面(又称前置摄像头)，等等，本发明实施例对此也不加以限制。
此外，移动终端的操作***包括Android(安卓)、iOS、Windows等等，可以支持多种应用的运行，例如，购物应用、即时通讯应用、直播应用、视频会议应用、短视频应用，等等。
如图2所示，在S201中，这些应用执行业务操作，在S202中，通过调用摄像头采集视频数据，从而进行相关的业务操作，例如，在Android***中，可调用MediaRecorder采集视频数据，在iOS***中，可调用AVFoundation下的AVCaptureFileOutputRecordingDelegate采集视频数据，等等。
需要说明的是，因业务场景不同，这些应用采集的视频数据所承担的业务操作也有所不同。
一般而言，这些应用采集的视频数据可以用于承担具有实时性的业务操作。
例如，在购物的业务场景中，购物应用采集的视频数据可以用于承载销售商品的业务操作，即主播用户进行商品的解说、演示等，并在视频数据中提供购物的链接。
又例如，在即时通讯的业务场景中，即时通讯工具采集的视频数据可以用于承载视频通话的业务操作，即通讯的多方用户进行会话。
又例如，在直播的业务场景中，直播应用采集的视频数据可以用于承载直播的业务操作，即主播用户进行才艺表演、游戏评述等。
又例如，在会议的业务场景中，视频会议应用采集的视频数据可以用于承载会议的业务操作，即参与会议的多方用户依次作为主持人进行发言等。
当然，这些应用采集的视频数据也可以承担实时性要求较低的业务操作，例如，短视频应用采集视频数据作为短视频，等等，本实施例对此不加以限制。
步骤102、在采集视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数。
如图2所示，在移动终端采集视频数据的同时，在S203中，针对移动终端所处的环境，采集与细节增强处理相关的参数，作为环境参数。
在本发明的一个实施例中，该环境参数可以为移动终端所处环境中光线的亮度值。
在暗光的环境下，采集的视频数据噪声水平比较高，若此时进行细节增强处理，在噪声集中的区域容易出现artifact现象，细节增强处理增加移动终端中CPU(centralprocessing unit，中央处理器)、内存等资源的占用，但是未有明显的实际收益。
若移动终端中配置有检测光的传感器，如光照强度传感器等，并且开放了其API(Application Programming Interface，应用程序接口)，则可以直接调用该传感器检测移动终端所处环境中光线的亮度值。
例如，在Android***中，可通过SensorManager注册监听光照强度传感器(LIGHT)检测到光线的亮度值。
若移动终端中配置有检测光的传感器，但未开放其API，则可以根据移动终端根据光线的亮度值自动调节屏幕亮度、开启摄像头时根据光线的亮度值自动调节白平衡等关系，检测屏幕的亮度值并映射为移动终端所处环境中光线的亮度值，或者，从摄像头处检测移动终端所处环境中光线的亮度值，等等。
当然，上述环境参数及其采集方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他环境参数及其采集方式，例如，CPU占用率、内存占用率等，本实施例对此不加以限制。另外，除了上述环境参数及其采集方式外，本领域技术人员还可以根据实际需要采用其它环境参数及其采集方式，本实施例对此也不加以限制。
在实际应用中，移动终端采集视频数据的帧率与采集环境参数的帧率一般不相同，采集环境参数的帧率一般大于采集视频数据的帧率，即视频数据中、每两帧图像数据之间通常存在多个环境参数。
如图3所示，移动终端采集视频数据的帧率低于传感器采集环境参数的帧率，在第1帧视频数据与第2帧视频数据之间存在7帧环境参数。
因此，为了保证细节增强处理和环境参数的稳定性，在本实施例中，可采用分段式来对齐图像数据以及环境参数。
在具体实现中，在环境中获取在当前帧图像数据与上一帧图像数据之间采集的、与细节增强处理相关的参数，作为环境参数，从而以视频数据作为参考，将环境参数切分为多段。
针对每段环境参数，对环境参数进行平滑处理，作为当前帧图像数据对应的环境参数，从而凸显时间序列上不同时间点的图像数据与环境参数相关性的差异，后续使用该环境参数对该帧图像数据执行细节增强处理，提高细节增强处理的质量。
在一种平滑处理的方式中，可对环境参数配置参数权重，该环境权重可体现环境参数的重要程度，即，越重要的环境参数，其环境权重越大。
在一个示例中，可确定采集环境参数的时间戳，基于时间戳对环境参数设置参数权重，其中，参数权重与时间戳正相关，即采集环境参数的时间越靠近当前时间，该环境参数与当前帧图像数据的相关性越强，配置的参数权重越大，反之，采集环境参数的时间越远离当前时间，该环境参数与当前帧图像数据的相关性越差，配置的参数权重越小，从而使得参数权重自当前帧图像数据向上一帧图像数据单调递减。
当然，除了采集时间之外，还可以采用其他方式配置参数权重，例如，以环境参数的数量的倒数作为参数权重，等等，本实施例对此不加以限制。
若每个环境参数已配置相应的参数权重，可计算第一目标值与第二目标值之间的比值，作为当前帧图像数据对应的环境参数，其中，第一目标值为所有环境参数与所有参数权重之间乘积的和值，第二目标值为所有参数权重之间的和值，则环境参数表示如下：
其中，为第t帧图像数据对应的环境参数，第t帧图像数据与第t-1帧图像数据之间存在n个环境参数，yt-i为位于第t帧图像数据之前第i帧环境参数，wi为第i个参数权重。
步骤103、从视频数据中采集与细节增强处理相关的参数，作为视频参数。
如图2所示，针对移动终端采集的视频数据，在S204中，可以从其自身采集与细节增强处理相关的参数，作为视频参数，从而表征拍摄对象的特性。
在本发明的一个实施例中，该视频参数可以为视频数据中的分辨率、像素点属于皮肤的第一概率、表示皮肤的像素点的数量。
一方面，可从MediaRecorder对象等方式可读取在视频数据的分辨率，该分辨率体现了图像数据中细节的精细程度，通常情况下，分辨率越高，所包含的像素点就越多，图像数据就越清晰，反之，分辨率越低，所包含的像素点就越少，图像数据就越模糊，在分辨率较低的情况下，图像数据较为模糊，若此时进行细节增强处理，在模糊的区域容易出现artifact现象，细节增强处理增加移动终端中CPU、内存等资源的占用，但是未有明显的实际收益
另一方面，在直播、短视频等业务操作中，通常会对视频数据进行美颜处理，如对皮肤进行磨皮处理等，若此时进行细节增强处理，在皮肤所处的区域容易出现artifact现象，细节增强处理增加移动终端中CPU、内存等资源的占用，但是未有明显的实际收益。
在具体实现中，视频数据具有多帧图像数据，针对每帧图像数据，可通过参数化模型、非参数化模型等方式对每帧图像数据进行肤色检测，对图像数据中的各个像素点计算属于皮肤的第一概率，若该第一概率大于预设的肤色阈值，则确定像素点表示皮，统计表示皮肤的像素点的数量，作为肤色数量。
其中，参数化模型基于肤色能够服从高斯概率分布模型的假设，非参数化模型估测肤色直方图，并且和训练集的直方图进行比较。
在一个肤色检测的示例中，对于摄像头采集的视频数据，多为YUV(“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色)格式，为便于肤色检测，可将图像数据中从YUV颜色空间转换至RGB(Red Green Blue，红绿蓝)颜色空间。
例如，通过如下转换关系式可以将图像数据从YUV颜色空间转换至RGB颜色空间：
R＝Y+1.4075*(V-128)
G＝Y-0.3455*(U-128)-0.7169*(V-128)
B＝Y+1.779*(U-128)
在RGB颜色空间中，遍历图像数据中的各个像素点的R(红色)分量、G(绿色)分量、B(蓝色)分量，判断该像素点是否符合预设的阈值条件。
若图像数据中的像素点符合预设的阈值条件，则将像素点属于皮肤的第一概率设置为1。
若图像数据中的像素点不符合预设的阈值条件，则将像素点属于皮肤的第一概率设置为0。
其中，阈值条件包括：
R分量大于第一颜色阈值，G分量大于第二颜色阈值，B分量大于第三颜色阈值，R分量大于G分量，R分量大于B分量；
R分量、G分量、B分量中的最大值与R分量、G分量、B分量中的最小值之间的差值大于第四颜色阈值；
R分量与G分量之间的差值大于第五颜色阈值。
假设第一颜色阈值为95、第二颜色阈值为40、第三颜色阈值为20、第四颜色阈值为15、第五颜色阈值为5，则阈值条件表示如下：
R＞95,G＞40,B＞20,R＞G,R＞B
(Max(R,G,B)-Min(R,G,B))＞15
Abs(R-G)＞5
需要说明的是，除了在RGB颜色空间进行肤色检测之外，也可以通过BT601.FullRange等转换公式将阈值条件等价至YUV颜色空间，在YUV颜色空间中进行肤色检测，此时，阈值条件为Cb＞77、Cb＜127、133＜Cr＜173，等等，本实施例对此不加以限制。
在本示例中，肤色检测作为判断是否对视频数据执行细节增强处理的一个条件，对肤色检测的精确度要求并非很高，因此，通过阈值条件可满足要求，并且，阈值条件简单，使用统计的方式即可，操作简便，能有效的降低肤色检测的执行时间。
当然，上述视频参数及其检测方式只是作为示例，在实施本实施例时，可以根据实际情况设置其他视频参数及其检测方式，例如，图像数据的平均亮度值，等等，本实施例对此不加以限制。另外，除了上述视频参数及其检测方式外，本领域技术人员还可以根据实际需要采用其它视频参数及其检测方式，本实施例对此也不加以限制。
步骤104、根据环境参数与视频参数确定对视频数据执行细节增强处理的状态。
在本实施例中，如图2所示，在S206中，将与细节增强处理相关的环境参数与视频参数进行结合，预估当前移动终端所处的环境及拍摄的对象与细节增强处理之间的适配程度，从而基于该适配程度对进行决策，确定对视频数据执行细节增强处理的状态，即决定是否执行细节增强处理，在满足一定的条件时，可允许对视频数据执行细节增强处理，未满足该条件时，禁止对视频数据执行细节增强处理。
在本发明的一个实施例中，步骤104包括如下步骤：
步骤1041、针对视频数据中的多帧图像数据，分别将环境参数与预设的环境条件进行比较、将视频参数与预设的视频条件进行比较。
在本实施例中，一方面，针对环境参数可以预设设置相应的环境条件，该环境条件用于表示移动终端所处环境与细节增强处理之间的适配程度，另一方面，针对视频参数可预先设置视频条件，该视频条件用于表示移动终端拍摄的对象与细节增强处理之间的适配程度。
在一个示例中，环境参数包括光线的亮度值，视频参数包括视频数据的分辨率、肤色数量，该肤色数量为表示皮肤的像素点的数量。
则在此示例中，将亮度值与预设的亮度阈值进行比较。
若亮度值大于预设的亮度阈值，则表示移动终端所处环境并非属于暗光环境，此时，可确定满足环境条件；若亮度值小于或等于预设的亮度阈值，则表示移动终端所处环境属于暗光环境，此时，可确定未满足环境条件。
此外，将视频数据的分辨率与预设的分辨率阈值进行比较，计算肤色数量与视频数据的分辨率之间的比值，作为肤色占比，将肤色占比与预设的肤色阈值进行比较。
若视频数据的分辨率大于预设的分辨率阈值、肤色占比小于预设的肤色阈值，则表示视频数据较为清晰、移动终端拍摄的对象并非以人物为主，此时，可确定满足视频条件；若视频数据的分辨率小于或等于预设的分辨率阈值、和/或、肤色占比大于或等于预设的肤色阈值，则表示视频数据较为模糊、移动终端拍摄的对象以人物为主，此时，可未确定满足视频条件。
在本示例中，环境条件f1、视频条件f2表示如下：
其中，为光线的亮度值，S1为肤色数量，R1为视频数据的分辨率，τ1为亮度阈值，τ2为分辨率阈值，τ3为肤色阈值。
当然，上述环境条件、视频条件只是作为示例，在实施本实施例时，可以根据环境参数、视频参数的实际情况设置其他环境条件、视频条件，例如，若环境参数为CPU占用率，则在CPU占用率小于预设的占用阈值时，确定满足环境条件，若视频参数为平均亮度值，则在平均亮度值大于预设的视频亮度阈值时，确定满足视频条件，等等，本实施例对此不加以限制。另外，除了上述环境条件、视频条件外，本领域技术人员还可以根据实际需要采用其它环境条件、视频条件，本实施例对此也不加以限制。
步骤1042、若满足环境条件、视频条件，则确定图像数据匹配细节增强处理。
如果拍摄某帧图像数据时的环境参数满足环境条件、视频参数满足视频条件，则表示在拍摄该帧图像数据时，移动终端所处环境与细节增强处理之间的适配程度较高，移动终端拍摄的对象与细节增强处理之间的适配程度较高。
步骤1043、基于匹配细节增强处理的图像数据的分布，设置对视频数据执行细节增强处理的状态。
由于采集视频数据是一个连续性的行为，考虑到视频数据的连续性，可以针对初始采集视频数据时的部分图像数据(如前80-120帧图像数据)，识别匹配细节增强处理的图像数据在该部分图像数据中的分布，从而设置对视频数据执行细节增强处理的状态，即确定是否对对视频数据执行细节增强处理。
在具体实现中，可计算匹配细节增强处理的图像数据在该部分图像数据中的占比，作为匹配比例，并将该匹配比例与预设的匹配阈值进行比较。
若该匹配比例大于或等于预设的匹配阈值，则表示移动终端所处环境较为稳定地与细节增强处理适配，移动终端拍摄的对象较为稳定地与细节增强处理适配，此时，允许对视频数据执行细节增强处理。
若匹配比例小于预设的匹配阈值，则表示移动终端所处环境与细节增强处理适配的波动较大，移动终端拍摄的对象与细节增强处理适配的波动较大，此时，此时，禁止对视频数据执行细节增强处理。
此外，对于直播等业务操作，移动终端所处的环境、移动终端拍摄的对象较为稳定，在设置了对视频数据执行细节增强处理的状态之后，可以不再检测环境参数、视频参数，根据环境参数与视频参数确定对视频数据执行细节增强处理的状态，避免频繁开关细节增强处理，造成视频数据的画面骤变。
在本实施例中，对于禁止细节增强处理的情况，该视频数据可以根据业务场景进行后续的处理，本实施例对此不加以限制。
例如，如图2所示，对于S206中禁止细节增强处理的视频数据，在S208中，可将视频数据显示在屏幕，以及，在S209中，可对视频数据进行编码，如按照H.264的格式编码，并封装为FLV(Flash Video，流媒体)格式，等待传输至播放该视频数据的设备。
在本实施例中，采集视频数据，在采集视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数，从视频数据中采集与细节增强处理相关的参数，作为视频参数，根据环境参数与视频参数确定对视频数据执行细节增强处理的状态，一方面，在移动终端所处的环境、移动终端拍摄的对象与细节增强处理匹配的情况下，保证细节增强处理的正常执行，从而保证视频数据的质量，另一方面，在移动终端所处的环境、移动终端拍摄的对象与细节增强处理不匹配的情况下，禁止执行细节增强处理，降低细节增强处理的频次，节省细节增强处理的算力，减轻对CPU、内存等资源的占用，保留更多的算力保证业务操作的正常执行，最终提高细节增强处理的灵活程度，提高细节增强处理的鲁棒性。
实施例二
图4为本发明实施例二提供的一种视频的细节增强方法的流程图，本实施例以前述实施例为基础，进一步增加细节增强处理的操作，将细节增强处理部署在移动终端录制视频数据的过程中，可以让用户能实时感知细节增强处理的效果，可以最大化改善用户在拍摄视频数据的画质体验，并且，当录制视频数据的过程执行细节增强处理可以为后续的编解码提供一个较好的输入，改善观看体验，该方法具体包括如下步骤：
步骤401、采集视频数据。
步骤402、在采集视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数。
步骤403、从视频数据中采集与细节增强处理相关的参数，作为视频参数。
步骤404、根据环境参数与视频参数确定对视频数据执行细节增强处理的状态。
步骤405、在回显视频数据的过程中，采集与细节增强处理相关的参数，作为回显参数。
在直播、短视频等业务操作中，可执行回显操作，即在移动终端的屏幕上显示摄像头采集的视频数据，如图2所示，在S205中，可在回显视频数据的过程中，针对回显采集与细节增强处理相关的参数，作为回显参数。
在本发明的一个实施例中，回显参数包括屏幕的分辨率，此时，可通过调用DisplayMetries对象等方式读取屏幕的分辨率。
此外，将环境参数、视频参数、回显参数通过JNI(Java Native Interface，Java本地接口)等形式将传递到细节增强处理对应的代码中，等待对视频数据中的各帧图像数据执行细节增强处理。
步骤406、若状态为允许对视频数据执行细节增强处理，则根据环境参数、视频参数与回显参数计算调节参数。
如图2所示，在S207中，在允许对视频数据执行细节增强处理的情况下，可以综合衡量环境参数、视频参数与回显参数，从而计算调节细节增强处理的参数，作为调节参数，该调节参数可用于调节细节增强处理的强度，即调节每帧图像数据中每个像素点在执行细节增强处理的强度，从而调节细节增强处理，使得细节增强处理在移动终端所处的环境、移动终端拍摄的对象、移动终端的回显效果之间取得一个较佳的综合表现。
在本发明的一个实施例中，步骤406包括如下步骤：
步骤4061、将视频参数转换为参与细节增强处理的第一目标参数。
步骤4062、将回显参数转换为参与细节增强处理的第二目标参数。
在本实施例中，对环境参数、视频参数、回显参数转进行归一化，将视频参数转换为参与细节增强处理的第一目标参数，将回显参数转换为参与细节增强处理的第二目标参数，从而在相同的尺度下与环境参数与第二目标参数进行线性融合。
在一个示例中，视频参数包括像素点属于皮肤的第一概率、视频数据的分辨率，则在此示例中，可将一减去第一概率，获得像素点属于非皮肤的第二概率，该第二概率为第一目标参数。
在此示例中，由于肤色区域在用户主观审美的角度上是认为尽可能平滑，如果对肤色区域进行细节增强，容易进入artifact，虽然清晰度提升了，但视频数据的质量反而下降了，统计出像素点属于非皮肤的第二概率，可在细节增强处理中减弱对皮肤的细节增强，加大对非皮肤的细节增强。
在另一个示例中，回显参数包括屏幕的分辨率，则在此示例中，计算视频数据的分辨率与屏幕的分辨率之间的比值，作为显示比例，该显示比例为第二目标参数。
在此示例中，如果显示比例较小，在回显操作时通常会执行较大尺度的上采样，细节增强处理容易导致不均匀的细节表现。
步骤4063、对环境参数、第一目标参数与第二目标参数进行线性融合，获得调节参数。
在本实施例中，可对环境参数、第一目标参数与第二目标参数进行线性融合，获得调节参数，即调节参数与环境参数、第一目标参数、第二目标参数均正相关，即环境参数、第一目标参数、第二目标参数越大，调节参数越大，细节增强处理的强度越强，反之，环境参数、第一目标参数、第二目标参数越小，调节参数越小，细节增强处理的强度越弱。
在一个示例中，环境参数包括光线的亮度值，第一目标参数包括像素点属于非皮肤的第二概率、第二目标参数包括显示比例，则在本示例中，对亮度值配置第一调节权重，对第二概率配置第二调节权重，对显示比例配置第三调节权重。
需要说明的是，第一调节权重、第二调节权重、第三调节权重可以由本领域技术人员根据实际情况进行设置，例如，以第二调节权重为主导，即第二调节权重均大于第一调节权重、第三调节权重，等等，本实施例对此不加以限制。
计算第一调节值、第二调节值、第三调节值之间的和值，作为第四调节值，第一调节值表示亮度值与第一调节权重之间的乘积，第二调节值表示第二概率与第二调节权重之间的乘积，第三调节值表示显示比例率与第三调节权重之间的乘积。
在第四调节值与预设的第一调节系数之间乘积的基础上加上预设的第二调节系数，作为调节参数。
在本示例中，调节参数示如下：
p2＝1-p1
其中，Sti表为第t帧第i个像素点的调节参数，为亮度值、p1为第一概率、p2为第二概率、R1为视频数据的分辨率、R2为屏幕的分辨率、r为显示比例、α为第一调节权重、β为第二调节权重、γ为第三调节权重、k为第一调节系数、b为第二调节系数。
步骤407、按照调节参数对视频数据执行细节增强处理。
在确定当前细节增强处理的强度(即调节参数)之后，则可按照该强度(即调节参数)对细节增强处理中的相关参数进行调节，从而对视频数据进行细节增强处理。
在本发明的一个实施例中，步骤407可以包括如下步骤：
步骤4071、从视频数据的图像数据中提取细节，获得原始细节数据。
在具体实现中，可以通过盒式滤波、均值滤波等方法对视频数据进行滤波处理，从而从视频数据的图像数据中提取细节，作为原始细节数据。
步骤4072、基于调节参数调整原始细节数据，获得目标细节数据。
将调节参数应用于原始细节数据，对其进行调整，实现细节增强处理的强度调节。
在一个示例中，可查询调整权重，将调整权重、调节参数与原始细节数据相乘，获得目标细节数据。
当然，除了调整权重之外，也可以将调节参数与原始细节数据相乘，获得目标细节数据，等等，本实施例对此不加以限制。
步骤4073、将目标细节数据叠加至图像数据。
可通过USM锐化等方式将调节参数调整之后的目标细节数据叠加到原始的图像数据上，可以得到细节增强后的图像数据，此时，细节增强处理表示如下：
yt(i,j)＝yt(i,j)+λ*Sti*Dt(i,j)
其中，yt(i,j)为细节增强后的图像数据、yt(i,j)为细节增强前的图像数据、λ为调整权重、Sti为调节参数、Dt(i,j)为原始细节数据。
为降低细节增强处理的运算量，可在用户敏感的某个通道(如YUV颜色空间中的Y通道、RGB颜色空间中G通道)下执行细节增强处理，将得到的细节增强后的通道(如Yt)与其他通道(如UtVt)进行融合得到清晰度改善过后的视频数据。
如图5所示，左侧为原始的图像数据，右侧为应用本实施例执行细节增强处理之后的图像数据，对比而言，右侧的图像数据相比左侧的图像数据在背景中植物所在的区域，人物的衣领区域有明显的清晰度改善。
当然，上述细节增强处理只是作为示例，在实施本实施例时，可以根据实际情况设置其细节增强处理，例如，若使用卷积执行细节增强处理时，该调节参数可调节卷积核的大小，等等，本实施例对此不加以限制。另外，除了上述细节增强处理外，本领域技术人员还可以根据实际需要采用其它细节增强处理，本实施例对此也不加以限制。
对于细节增强处理之后的视频数据，可以根据业务场景进行后续的处理，本实施例对此不加以限制。
例如，如图2所示，在S208中将细节增强处理之后的视频数据显示在屏幕，以及，在S209中对细节增强之后的视频数据进行编码，如按照H.264的格式编码，并封装为FLV格式，等待传输至播放该视频数据的设备。
在本实施例中，若允许对视频数据执行细节增强处理，则在回显视频数据的过程中，针对回显采集与细节增强处理相关的参数，作为回显参数，根据环境参数、视频参数与回显参数计算调节参数，按照调节参数对视频数据执行细节增强处理，使得细节增强强度与移动终端所处的环境、移动终端拍摄的对象、移动终端的回显效果整体相适配，提高算力的利用效率，由于兼顾细节增强处理的效果的同时考虑了计算的复杂度，使得细节增强处理在移动终端实时视频通信或者是采集短视频采集的过程中应用成为可能。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
实施例三
图6为本发明实施例三提供的一种视频的细节增强装置的结构框图，应用于移动终端中，该装置具体可以包括如下模块：
视频数据采集模块601，用于采集视频数据；
环境参数采集模块602，用于在采集所述视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数；
视频参数采集模块603，用于从所述视频数据中采集与细节增强处理相关的参数，作为视频参数；
增强状态确定模块604，用于根据所述环境参数与所述视频参数确定对所述视频数据执行所述细节增强处理的状态。
在本发明的一个实施例中，所述视频数据具有多帧图像数据；所述环境参数采集模块602包括：
参数采集子模块，用于在环境中获取在当前帧所述图像数据与上一帧所述图像数据之间采集的、与细节增强处理相关的参数，作为环境参数；
平滑处理子模块，用于对所述环境参数进行平滑处理，作为当前帧所述图像数据对应的环境参数。
在本发明的一个实施例中，所述平滑处理子模块包括：
参数权重配置单元，用于对所述环境参数配置参数权重；
比值计算单元，用于计算第一目标值与第二目标值之间的比值，作为当前帧所述图像数据对应的环境参数，其中，所述第一目标值为所有所述环境参数与所有所述参数权重之间乘积的和值，所述第二目标值为所有所述参数权重之间的和值。
在本发明的一个实施例中，所述参数权重配置单元包括：
时间戳确定子单元，用于确定采集所述环境参数的时间戳；
参数权重设置子单元，用于基于所述时间戳对所述环境参数设置参数权重，所述参数权重与所述时间戳正相关。
在本发明的一个实施例中，所述视频数据具有多帧图像数据；所述视频参数采集模块603包括：
第一概率计算子模块，用于对所述图像数据中的各个像素点计算属于皮肤的第一概率；
肤色像素点确定子模块，用于若所述第一概率大于预设的肤色阈值，则确定所述像素点表示皮肤；
肤色数量统计子模块，用于统计表示皮肤的所述像素点的数量，作为肤色数量。
在本发明的一个实施例中，所述第一概率计算子模块包括：
颜色空间转换单元，用于将所述图像数据中从YUV颜色空间转换至RGB颜色空间；
第一数值设置单元，用于在所述RGB颜色空间中，若所述图像数据中的像素点符合预设的阈值条件，则将所述像素点属于皮肤的第一概率设置为1；
第二数值设置单元，用于若所述图像数据中的像素点不符合预设的阈值条件，则将所述像素点属于皮肤的第一概率设置为0；
其中，所述阈值条件包括：
R分量大于第一颜色阈值，G分量大于第二颜色阈值，B分量大于第三颜色阈值，R分量大于G分量，R分量大于B分量；
R分量、G分量、B分量中的最大值与R分量、G分量、B分量中的最小值之间的差值大于第四颜色阈值；
R分量与G分量之间的差值大于第五颜色阈值。
在本发明的一个实施例中，所述增强状态确定模块604包括：
条件比较子模块，用于针对所述视频数据中的多帧图像数据，分别将所述环境参数与预设的环境条件进行比较、将所述视频参数与预设的视频条件进行比较；
图像匹配子模块，用于若满足所述环境条件、所述视频条件，则确定所述图像数据匹配所述细节增强处理；
分布设置子模块，用于基于匹配所述细节增强处理的所述图像数据的分布，设置对所述视频数据执行所述细节增强处理的状态。
在本发明的一个实施例中，所述环境参数包括光线的亮度值，所述视频参数包括所述视频数据的分辨率、肤色数量，所述肤色数量为表示皮肤的所述像素点的数量；
所述条件比较子模块包括：
环境条件满足确定单元，用于若所述亮度值大于预设的亮度阈值，则确定满足环境条件；
分辨率比较单元，用于将所述视频数据的分辨率与预设的分辨率阈值进行比较；
肤色占比计算单元，用于计算所述肤色数量与所述视频数据的分辨率之间的比值，作为肤色占比；
视频条件满足确定单元，用于若所述视频数据的分辨率大于预设的分辨率阈值、所述肤色占比小于预设的肤色阈值，则确定满足视频条件。
在本发明的一个实施例中，所述分布设置子模块包括：
匹配比例计算单元，用于计算匹配所述细节增强处理的所述图像数据的占比，作为匹配比例；
允许增强单元，用于若所述匹配比例大于或等于预设的匹配阈值，则允许对所述视频数据执行所述细节增强处理；
禁止增强单元，用于若所述匹配比例小于预设的匹配阈值，则禁止对所述视频数据执行所述细节增强处理。
在本发明的一个实施例中，还包括：
回显参数采集模块，用于在回显所述视频数据的过程中，采集与所述细节增强处理相关的参数，作为回显参数；
调节参数计算模块，用于若所述状态为允许对所述视频数据执行细节增强处理，则根据所述环境参数、所述视频参数与所述回显参数计算调节参数，所述调节参数用于调节所述细节增强处理的强度；
细节增强处理执行模块，用于按照所述调节参数对所述视频数据执行所述细节增强处理。
在本发明的一个实施例中，所述调节参数计算模块包括：
第一目标参数转换子模块，用于将所述视频参数转换为参与所述细节增强处理的第一目标参数；
第二目标参数转换子模块，用于将所述回显参数转换为参与所述细节增强处理的第二目标参数；
线性融合子模块，用于对所述环境参数、所述第一目标参数与所述第二目标参数进行线性融合，获得调节参数。
在本发明的一个实施例中，所述视频参数包括像素点属于皮肤的第一概率、所述视频数据的分辨率，所述回显参数包括屏幕的分辨率；
所述第一目标参数转换子模块包括：
第二概率计算单元，用于将一减去所述第一概率，获得所述像素点属于非皮肤的第二概率；
所述第二目标参数转换子模块包括：
显示比例计算单元，用于计算所述视频数据的分辨率与所述屏幕的分辨率之间的比值，作为显示比例。
在本发明的一个实施例中，所述环境参数包括光线的亮度值；
所述线性融合子模块包括：
第一调节权重配置单元，用于对所述亮度值配置第一调节权重；
第二调节权重配置单元，用于对所述第二概率配置第二调节权重；
第三调节权重配置单元，用于对所述显示比例配置第三调节权重；
调节值计算单元，用于计算第一调节值、第二调节值、第三调节值之间的和值，作为第四调节值，所述第一调节值表示所述亮度值与所述第一调节权重之间的乘积，所述第二调节值表示所述第二概率与所述第二调节权重之间的乘积，所述第三调节值表示所述显示比例率与所述第三调节权重之间的乘积；
调节值调整单元，用于在所述第四调节值与预设的第一调节系数之间乘积的基础上加上预设的第二调节系数，作为调节参数。
在本发明的一个实施例中，所述细节增强处理执行模块包括：
原始细节数据提取子模块，用于从所述视频数据的图像数据中提取细节，获得原始细节数据；
原始细节数据调整子模块，用于基于所述调节参数调整所述原始细节数据，获得目标细节数据；
目标细节数据叠加子模块，用于将所述目标细节数据叠加至所述图像数据。
在本发明的一个实施例中，所述原始细节数据调整子模块包括：
调整权重查询单元，用于查询调整权重；
细节相乘单元，用于将所述调整权重、所述调节参数与所述原始细节数据相乘，获得目标细节数据。
本发明实施例所提供的视频的细节增强装置可执行本发明任意实施例所提供的视频的细节增强方法，具备执行方法相应的功能模块和有益效果。
实施例四
图7为本发明实施例四提供的一种移动终端的结构示意图。图7示出了适于用来实现本发明实施方式的示例性移动终端12的框图。图7显示的移动终端12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，移动终端12以通用计算设备的形式表现。移动终端12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，***存储器28，连接不同***组件(包括***存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，***总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
移动终端12典型地包括多种计算机***可读介质。这些介质可以是任何能够被移动终端12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
***存储器28可以包括易失性存储器形式的计算机***可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。移动终端12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例，存储***34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
移动终端12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该移动终端12交互的设备通信，和/或与使得该移动终端12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，移动终端12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与移动终端12的其它模块通信。应当明白，尽管图中未示出，可以结合移动终端12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理单元16通过运行存储在***存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的视频的细节增强方法。
实施例五
本发明实施例五还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频的细节增强方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种视频的细节增强方法，其特征在于，应用于移动终端中，所述方法包括：
采集视频数据；
在采集所述视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数；
从所述视频数据中采集与细节增强处理相关的参数，作为视频参数；
根据所述环境参数与所述视频参数确定对所述视频数据执行所述细节增强处理的状态；
所述视频数据具有多帧图像数据；所述从所述视频数据中采集与细节增强处理相关的参数，作为视频参数，包括：
将所述图像数据从YUV颜色空间转换至RGB颜色空间；
在所述RGB颜色空间中，若所述图像数据中的像素点符合预设的阈值条件，则将所述像素点属于皮肤的第一概率设置为1；
若所述图像数据中的像素点不符合预设的阈值条件，则将所述像素点属于皮肤的第一概率设置为0；
若所述第一概率大于预设的肤色阈值，则确定所述像素点表示皮肤；
统计表示皮肤的所述像素点的数量，作为肤色数量；
其中，所述阈值条件包括：
R分量大于第一颜色阈值，G分量大于第二颜色阈值，B分量大于第三颜色阈值，R分量大于G分量，R分量大于B分量；
R分量、G分量、B分量中的最大值与R分量、G分量、B分量中的最小值之间的差值大于第四颜色阈值；
R分量与G分量之间的差值大于第五颜色阈值；
所述视频参数包括像素点属于皮肤的第一概率，和表示皮肤的像素点的数量。
2.根据权利要求1所述的方法，其特征在于，所述从环境中采集与细节增强处理相关的参数，作为环境参数，包括：
在环境中获取在当前帧所述图像数据与上一帧所述图像数据之间采集的、与细节增强处理相关的参数，作为环境参数；
对所述环境参数进行平滑处理，作为当前帧所述图像数据对应的环境参数。
3.根据权利要求2所述的方法，其特征在于，所述对所述环境参数进行平滑处理，作为当前帧所述图像数据对应的环境参数，包括：
对所述环境参数配置参数权重；
计算第一目标值与第二目标值之间的比值，作为当前帧所述图像数据对应的环境参数，其中，所述第一目标值为所有所述环境参数与所有所述参数权重之间乘积的和值，所述第二目标值为所有所述参数权重之间的和值。
4.根据权利要求3所述的方法，其特征在于，所述对所述环境参数配置参数权重，包括：
确定采集所述环境参数的时间戳；
基于所述时间戳对所述环境参数设置参数权重，所述参数权重与所述时间戳正相关。
5.根据权利要求1所述的方法，其特征在于，所述根据所述环境参数与所述视频参数确定对所述视频数据执行所述细节增强处理的状态，包括：
针对所述视频数据中的多帧图像数据，分别将所述环境参数与预设的环境条件进行比较、将所述视频参数与预设的视频条件进行比较；
若满足所述环境条件、所述视频条件，则确定所述图像数据匹配所述细节增强处理；
基于匹配所述细节增强处理的所述图像数据的分布，设置对所述视频数据执行所述细节增强处理的状态。
6.根据权利要求5所述的方法，其特征在于，所述环境参数包括光线的亮度值，所述视频参数还包括所述视频数据的分辨率；
所述分别将所述环境参数与预设的环境条件进行比较、将所述视频参数与预设的视频条件进行比较，包括：
若所述亮度值大于预设的亮度阈值，则确定满足环境条件；
将所述视频数据的分辨率与预设的分辨率阈值进行比较；
计算所述肤色数量与所述视频数据的分辨率之间的比值，作为肤色占比；
若所述视频数据的分辨率大于预设的分辨率阈值、所述肤色占比小于预设的肤色阈值，则确定满足视频条件。
7.根据权利要求5所述的方法，其特征在于，所述基于匹配所述细节增强处理的所述图像数据的分布，设置对所述视频数据执行所述细节增强处理的状态，包括：
计算匹配所述细节增强处理的所述图像数据的占比，作为匹配比例；
若所述匹配比例大于或等于预设的匹配阈值，则允许对所述视频数据执行所述细节增强处理；
若所述匹配比例小于预设的匹配阈值，则禁止对所述视频数据执行所述细节增强处理。
8.根据权利要求1-7任一项所述的方法，其特征在于，还包括：
在回显所述视频数据的过程中，采集与所述细节增强处理相关的参数，作为回显参数；
若所述状态为允许对所述视频数据执行细节增强处理，则根据所述环境参数、所述视频参数与所述回显参数计算调节参数，所述调节参数用于调节所述细节增强处理的强度；
按照所述调节参数对所述视频数据执行所述细节增强处理。
9.根据权利要求8所述的方法，其特征在于，所述根据所述环境参数、所述视频参数与所述回显参数计算调节参数，包括：
将所述视频参数转换为参与所述细节增强处理的第一目标参数；
将所述回显参数转换为参与所述细节增强处理的第二目标参数；
对所述环境参数、所述第一目标参数与所述第二目标参数进行线性融合，获得调节参数。
10.根据权利要求9所述的方法，其特征在于，所述视频参数还包括所述视频数据的分辨率，所述回显参数包括屏幕的分辨率；
所述将所述视频参数转换为参与所述细节增强处理的第一目标参数，包括：
将一减去所述第一概率，获得所述像素点属于非皮肤的第二概率；
所述将所述回显参数转换为参与所述细节增强处理的第二目标参数，包括：
计算所述视频数据的分辨率与所述屏幕的分辨率之间的比值，作为显示比例。
11.根据权利要求10所述的方法，其特征在于，所述环境参数包括光线的亮度值；
所述对所述环境参数、所述第一目标参数与所述第二目标参数进行线性融合，获得调节参数，包括：
对所述亮度值配置第一调节权重；
对所述第二概率配置第二调节权重；
对所述显示比例配置第三调节权重；
计算第一调节值、第二调节值、第三调节值之间的和值，作为第四调节值，所述第一调节值表示所述亮度值与所述第一调节权重之间的乘积，所述第二调节值表示所述第二概率与所述第二调节权重之间的乘积，所述第三调节值表示所述显示比例率与所述第三调节权重之间的乘积；
在所述第四调节值与预设的第一调节系数之间乘积的基础上加上预设的第二调节系数，作为调节参数。
12.根据权利要求8所述的方法，其特征在于，所述按照所述调节参数对所述视频数据执行所述细节增强处理，包括：
从所述视频数据的图像数据中提取细节，获得原始细节数据；
基于所述调节参数调整所述原始细节数据，获得目标细节数据；
将所述目标细节数据叠加至所述图像数据。
13.根据权利要求12所述的方法，其特征在于，所述基于所述调节参数调整所述原始细节数据，获得目标细节数据，包括：
查询调整权重；
将所述调整权重、所述调节参数与所述原始细节数据相乘，获得目标细节数据。
14.一种视频的细节增强装置，其特征在于，应用于移动终端中，所述装置包括：
视频数据采集模块，用于采集视频数据；所述视频数据具有多帧图像数据；
环境参数采集模块，用于在采集所述视频数据的过程中，从环境中采集与细节增强处理相关的参数，作为环境参数；
视频参数采集模块，用于从所述视频数据中采集与细节增强处理相关的参数，作为视频参数；
增强状态确定模块，用于根据所述环境参数与所述视频参数确定对所述视频数据执行所述细节增强处理的状态；
所述视频参数采集模块包括：
颜色空间转换子模块，用于将所述图像数据从YUV颜色空间转换至RGB颜色空间；
第一数值设置子模块，用于在所述RGB颜色空间中，若所述图像数据中的像素点符合预设的阈值条件，则将所述像素点属于皮肤的第一概率设置为1；
第二数值设置子模块，用于若所述图像数据中的像素点不符合预设的阈值条件，则将所述像素点属于皮肤的第一概率设置为0；
肤色像素点确定子模块，用于若所述第一概率大于预设的肤色阈值，则确定所述像素点表示皮肤；
肤色数量统计子模块，用于统计表示皮肤的所述像素点的数量，作为肤色数量；
其中，所述阈值条件包括：
R分量大于第一颜色阈值，G分量大于第二颜色阈值，B分量大于第三颜色阈值，R分量大于G分量，R分量大于B分量；
R分量、G分量、B分量中的最大值与R分量、G分量、B分量中的最小值之间的差值大于第四颜色阈值；
R分量与G分量之间的差值大于第五颜色阈值；
所述视频参数包括像素点属于皮肤的第一概率，和表示皮肤的像素点的数量。
15.一种移动终端，其特征在于，所述移动终端包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-13中任一所述的视频的细节增强方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1-13中任一项所述的视频的细节增强方法。
CN202011348089.2A 2020-11-26 2020-11-26 一种视频的细节增强方法、装置、移动终端和存储介质 Active CN112488933B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011348089.2A CN112488933B (zh) 2020-11-26 2020-11-26 一种视频的细节增强方法、装置、移动终端和存储介质
PCT/CN2021/129369 WO2022111269A1 (zh) 2020-11-26 2021-11-08 视频的细节增强方法、装置、移动终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011348089.2A CN112488933B (zh) 2020-11-26 2020-11-26 一种视频的细节增强方法、装置、移动终端和存储介质

Publications (2)

Publication Number Publication Date
CN112488933A CN112488933A (zh) 2021-03-12
CN112488933B true CN112488933B (zh) 2024-06-18

Family

ID=74935828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011348089.2A Active CN112488933B (zh) 2020-11-26 2020-11-26 一种视频的细节增强方法、装置、移动终端和存储介质

Country Status (2)

Country Link
CN (1) CN112488933B (zh)
WO (1) WO2022111269A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112488933B (zh) * 2020-11-26 2024-06-18 有半岛(北京)信息科技有限公司 一种视频的细节增强方法、装置、移动终端和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915529A (zh) * 2020-08-05 2020-11-10 广州市百果园信息技术有限公司 一种视频的暗光增强方法、装置、移动终端和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056566A1 (en) * 2006-09-01 2008-03-06 Texas Instruments Incorporated Video processing
CN103226808B (zh) * 2012-01-30 2016-09-21 深圳迈瑞生物医疗电子股份有限公司 一种图像增强方法和***
CN105894458A (zh) * 2015-12-08 2016-08-24 乐视移动智能信息技术（北京）有限公司 一种具有人脸的图像处理方法和装置
CN108848318A (zh) * 2018-05-30 2018-11-20 苏州树云网络科技有限公司 一种自适应监控方法
CN111447374B (zh) * 2020-05-13 2021-01-26 重庆紫光华山智安科技有限公司 补光调节方法、装置、电子设备及存储介质
CN111696058A (zh) * 2020-05-27 2020-09-22 重庆邮电大学移通学院 图像处理方法、装置及存储介质
CN112488933B (zh) * 2020-11-26 2024-06-18 有半岛(北京)信息科技有限公司 一种视频的细节增强方法、装置、移动终端和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915529A (zh) * 2020-08-05 2020-11-10 广州市百果园信息技术有限公司 一种视频的暗光增强方法、装置、移动终端和存储介质

Also Published As

Publication number Publication date
WO2022111269A1 (zh) 2022-06-02
CN112488933A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN110163810B (zh) 一种图像处理方法、装置以及终端
EP3039864B1 (en) Automatic white balancing with skin tone correction for image processing
CN107680056B (zh) 一种图像处理方法及装置
JP4234195B2 (ja) 画像分割方法および画像分割システム
US8311355B2 (en) Skin tone aware color boost for cameras
CN113518185B (zh) 视频转换处理方法、装置、计算机可读介质及电子设备
CN111899197B (zh) 一种图像增亮去噪方法、装置、移动终端和存储介质
WO2022121893A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN112712569B (zh) 一种肤色检测方法、装置、移动终端和存储介质
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
CN111918095A (zh) 一种暗光增强方法、装置、移动终端和存储介质
US7885458B1 (en) Illuminant estimation using gamut mapping and scene classification
Liba et al. Sky optimization: Semantically aware image processing of skies in low-light photography
CN116188296A (zh) 图像优化方法及其装置、设备、介质、产品
CN112488933B (zh) 一种视频的细节增强方法、装置、移动终端和存储介质
US7796827B2 (en) Face enhancement in a digital video
CN112822413B (zh) 拍摄预览方法、装置、终端和计算机可读存储介质
CN111915529B (zh) 一种视频的暗光增强方法、装置、移动终端和存储介质
CN113422893B (zh) 图像采集方法、装置、存储介质及移动终端
CN115239578A (zh) 图像处理方法及装置、计算机可读存储介质、终端设备
CN113298753A (zh) 敏感肌的检测方法、图像处理方法、装置及设备
CN111970501A (zh) 纯色场景ae色彩处理方法、装置、电子设备及存储介质
KR101039404B1 (ko) 이미지 시그널 프로세서, 스마트폰 및 자동 노출 제어 방법
CN114945087B (zh) 基于人脸特征的图像处理方法、装置、设备及存储介质
CN114565506B (zh) 图像颜色迁移方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant