CN113225620B - 视频处理方法和视频处理装置 - Google Patents

视频处理方法和视频处理装置 Download PDF

Info

Publication number
CN113225620B
CN113225620B CN202110475702.5A CN202110475702A CN113225620B CN 113225620 B CN113225620 B CN 113225620B CN 202110475702 A CN202110475702 A CN 202110475702A CN 113225620 B CN113225620 B CN 113225620B
Authority
CN
China
Prior art keywords
pixel value
scaling
value
pixel
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110475702.5A
Other languages
English (en)
Other versions
CN113225620A (zh
Inventor
李福林
戴宇荣
于冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110475702.5A priority Critical patent/CN113225620B/zh
Publication of CN113225620A publication Critical patent/CN113225620A/zh
Application granted granted Critical
Publication of CN113225620B publication Critical patent/CN113225620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本公开提供一种视频处理方法和视频处理装置，所述视频处理方法可包括以下步骤：获取待处理视频；确定所述待处理视频的当前帧的各像素值的缩放比例；基于所述当前帧的先前帧的缩放信息来校正所述当前帧的各像素值的缩放比例；通过对所述当前帧的各像素值应用校正后的缩放比例来获得调光后的视频帧。本公开可在录制视频时调节视频画面亮度分布，并保持原画面色彩不失真。

Description

视频处理方法和视频处理装置
技术领域
本公开涉及图像处理技术领域，尤其涉及一种用于对视频画面进行调光的视频处理方法和视频处理装置。
背景技术
近来，多媒体技术极大地丰富了现代社会人们的生活，尤其是视频技术，满足了人们多方面的需求，是社会发展和生产生活中必不可少的工具，也是极为常见的记录与分享生活的手段。数码相机与智能手机等终端设备是视频录制的重要工具，而各种社交娱乐软件的发展又给智能手机增添了更多灵活性，尤其是直播行业的发展产生了巨大的视频直播的需求，而直播场景对实时性与低功耗要求极高。利用这些终端设备进行实时视频录制时，无法避免所处环境光线对视频质量的影响。所处录制环境或直播环境较差时，如环境昏暗不明晰，会造成实时录制的视频存在低质量问题，例如，画面曝光不足、不明晰等，从而画面不能满足录制者或者观看者的需求。
实时视频录制要求极低延迟、极低功耗，否则会造成画面卡顿延迟大或者设备发热影响录制等情况。因此，解决录制环境造成的影响对实时处理方法提出了较高的要求。
发明内容
本公开提供一种视频处理方法和视频处理装置，以至少解决上述提及的问题。
根据本公开实施例的第一方面，提供一种视频处理方法，可包括以下步骤：获取待处理视频；确定所述待处理视频的当前帧的各像素值的缩放比例；基于所述当前帧的先前帧的缩放信息来校正所述当前帧的各像素值的缩放比例；通过对所述当前帧的各像素值应用校正后的缩放比例来获得调光后的视频帧。
可选地，基于所述当前帧的先前帧的缩放信息来校正所述当前帧的各像素值的缩放比例的步骤可包括：从所述当前帧的各像素值的缩放比例中确定所述当前帧的最大缩放比例和第一缩放比例平均值，根据所述最大缩放比例和第一缩放比例平均值计算针对所述当前帧的各像素值的缩放比例的第一校正参数；基于所述先前帧的缩放信息中包括的第二校正参数来调整第一校正参数；利用调整后的第一校正参数对所述当前帧的各像素值的缩放比例进行校正。
可选地，基于所述先前帧的缩放信息中包括的第二校正参数来调整第一校正参数的步骤可包括：计算第一校正参数与第二校正参数之间的第一相对差值；在第二校正参数大于或等于第一校正参数的情况下，通过将第二校正参数缩小与第一相对差值相应的值来获得第一校正参数；在第二校正参数小于第一校正参数的情况下，通过将第二校正参数增大与第一相对差值相应的值来获得第一校正参数。
可选地，从所述当前帧的各像素值的缩放比例中确定所述当前帧的最大缩放比例和第一缩放比例平均值的步骤可包括：确定所述当前帧的最大像素值；基于所述最大像素值确定所述当前帧的最大像素比值；在第一缩放比例平均值小于或等于所述最大像素比值的情况下，将所述最大像素比值确定为第一缩放比例平均值。
可选地，根据所述最大缩放比例和第一缩放比例平均值计算针对所述当前帧的各像素值的缩放比例的第一校正参数的步骤可包括：基于所述先前帧的缩放信息中包括的第二缩放比例平均值来调整第一缩放比例平均值；根据所述最大缩放比例和调整后的第一缩放比例平均值来计算第一校正参数。
可选地，基于所述先前帧的缩放信息中包括的第二缩放比例平均值来调整第一缩放比例平均值的步骤可包括：计算第一缩放比例平均值与第二缩放比例平均值之间的第二相对差值；在第二缩放比例平均值大于或等于第一缩放比例平均值的情况下，通过将第二缩放比例平均值缩小与第二相对差值相应的值来获得第一缩放比例平均值；在第二缩放比例平均值小于第一缩放比例平均值的情况下，通过将第二缩放比例平均值增大与第二相对差值相应的值来获得第一缩放比例平均值。
可选地，确定所述待处理视频的当前帧的各像素值的缩放比例的步骤可包括：确定所述当前帧的像素值概率分布；根据所述像素值概率分布确定所述当前帧的像素值拉伸参数；基于所述像素值拉伸参数确定针对所述当前帧的各像素值的缩放比例。
可选地，根据所述像素值概率分布确定所述当前帧的像素值拉伸参数的步骤可包括：根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组；基于第一像素值组的大小来确定所述当前帧的像素值拉伸参数。
可选地，根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组的步骤可包括：对于所述当前帧的各像素值中的每个像素值，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则将该像素值选为第一像素值组中的元素；如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则不将该像素值选为第一像素值组中的元素。
可选地，根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组的步骤可包括：如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则基于该概率残差、当前像素值概率和所述阈值确定用于下一像素值的概率残差；如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则将该概率残差与当前像素值概率之和确定为用于下一像素值的概率残差。
可选地，基于所述像素值拉伸参数确定针对所述当前帧的各像素值的缩放比例的步骤可包括：将第一像素值组中的每个像素值按照从小到大的顺序进行排序；将所述像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组；基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对所述各像素值的缩放比例。
根据本公开实施例的第二方面，提供一种视频处理装置，可包括：获取模块，被配置为获取待处理视频；确定模块，被配置为确定所述待处理视频的当前帧的各像素值的缩放比例；校正模块，被配置为基于所述当前帧的先前帧的缩放信息来校正所述当前帧的各像素值的缩放比例；处理模块，被配置为通过对所述当前帧的各像素值应用校正后的缩放比例来获得调光后的视频帧。
可选地，校正模块可被配置为：从所述当前帧的各像素值的缩放比例中确定所述当前帧的最大缩放比例和第一缩放比例平均值，根据所述最大缩放比例和第一缩放比例平均值计算针对所述当前帧的各像素值的缩放比例的第一校正参数；基于所述先前帧的缩放信息中包括的第二校正参数来调整第一校正参数；利用调整后的第一校正参数对所述当前帧的各像素值的缩放比例进行校正。
可选地，校正模块可被配置为：计算第一校正参数与第二校正参数之间的第一相对差值；在第二校正参数大于或等于第一校正参数的情况下，通过将第二校正参数缩小与第一相对差值相应的值来获得第一校正参数；在第二校正参数小于第一校正参数的情况下，通过将第二校正参数增大与第一相对差值相应的值来获得第一校正参数。
可选地，校正模块可被配置为：确定所述当前帧的最大像素值；基于所述最大像素值确定所述当前帧的最大像素比值；在第一缩放比例平均值小于或等于所述最大像素比值的情况下，将所述最大像素比值确定为第一缩放比例平均值。
可选地，校正模块可被配置为：基于所述先前帧的缩放信息中包括的第二缩放比例平均值来调整第一缩放比例平均值；根据所述最大缩放比例和调整后的第一缩放比例平均值来计算第一校正参数。
可选地，校正模块可被配置为：计算第一缩放比例平均值与第二缩放比例平均值之间的第二相对差值；在第二缩放比例平均值大于或等于第一缩放比例平均值的情况下，通过将第二缩放比例平均值缩小与第二相对差值相应的值来获得第一缩放比例平均值；在第二缩放比例平均值小于第一缩放比例平均值的情况下，通过将第二缩放比例平均值增大与第二相对差值相应的值来获得第一缩放比例平均值。
可选地，确定模块可被配置为：确定所述当前帧的像素值概率分布；根据所述像素值概率分布确定所述当前帧的像素值拉伸参数；基于所述像素值拉伸参数确定针对所述当前帧的各像素值的缩放比例。
可选地，确定模块可被配置为：根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组；基于第一像素值组的大小来确定所述当前帧的像素值拉伸参数。
可选地，确定模块可被配置为：对于所述当前帧的各像素值中的每个像素值，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则将该像素值选为第一像素值组中的元素；如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则不将该像素值选为第一像素值组中的元素。
可选地，确定模块可被配置为：如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则基于该概率残差、当前像素值概率和所述阈值确定用于下一像素值的概率残差；如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则将该概率残差与当前像素值概率之和确定为用于下一像素值的概率残差。
可选地，确定模块可被配置为：将第一像素值组中的每个像素值按照从小到大的顺序进行排序；将所述像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组；基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对所述各像素值的缩放比例。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备可包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。
根据本公开实施例的第四方面，提供一种存储指令的计算机可读存储介质，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的视频处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中的指令被电子装置中的至少一个处理器运行以执行如上所述的视频处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开可根据视频画面自动调节视频画面的光线，在调节画面亮度的同时保持了原始画面色彩不失真。此外，对于视频画面可进行实时处理，并且考虑到视频画面间的相关性，从而避免出现调光后的视频画面间出现闪动跳变的现象，保证视频画面的平滑流畅。此外，本公开提供的方法和装置易于实现、复杂度低，具有高实时性、低延迟的特点，在普通视频录制或实时视频录制时都具有良好的实用性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据本公开的实施例的视频处理方法的流程图；
图2是根据本公开的另一实施例的视频处理方法的流程图；
图3是根据本公开的实施例的视频处理装置的框图；
图4是根据本公开的实施例的图像处理设备的结构示意图；
图5是根据本公开的实施例的电子设备的框图。
在整个附图中，应注意，相同的参考标号用于表示相同或相似的元件、特征和结构。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
提供参照附图的以下描述以帮助对由权利要求及其等同物限定的本公开的实施例的全面理解。包括各种特定细节以帮助理解，但这些细节仅被视为是示例性的。因此，本领域的普通技术人员将认识到在不脱离本公开的范围和精神的情况下，可对描述于此的实施例进行各种改变和修改。此外，为了清楚和简洁，省略对公知的功能和结构的描述。
以下描述和权利要求中使用的术语和词语不限于书面含义，而仅由发明人用来实现本公开的清楚且一致的理解。因此，本领域的技术人员应清楚，本公开的各种实施例的以下描述仅被提供用于说明目的而不用于限制由权利要求及其等同物限定的本公开的目的。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在相关技术中，通常可采用在拍照时加入简单的直方图均衡或拉伸、伽马映射等方式来对画面进行实时处理。例如，通过采集环境参数与辅助参数，来计算调节参数，基于调节参数来计算伽马参数，利用伽马参数对画面内容进行伽马校正，以达到提高画面亮度的目的。但是采用伽马校正方式对整体图像数据进行简单的映射往往不能达到很好的效果，并且可能导致色彩失真、画面失调等问题，一方面不能满足人们对高质量视频画面的需要，另一方面也背离了原始的录制场景。
实时视频录制容易受到所处录制环境的影响，造成实时视频画面质量较差，因此需要一种低延迟、低功耗方法来对实时录制画面进行处理。
本公开提出了一种对在实时视频录制时根据录制画面自动调节画面光线亮度的方法，通过该方法可对录制画面进行实时处理，从而获得高质量的视频画面，避免了对良好录制场景的依赖。此外，由于对视频中的每一画面的调节与前一画面的调节紧密相关，可通过考虑画面间的相关性来避免相邻画面出现跳变现象，保证视频画面的平滑流畅。因此，可实现在诸如RGB的色彩空间内调节画面亮度分布并且通过维持色彩的相对分布来保证画面色彩的不失真。
在下文中，根据本公开的各种实施例，将参照附图对本公开的方法、装置以及***进行详细描述。
图1是根据本公开的实施例的视频处理方法的流程图。根据本公开的视频处理方法可适用于普通视频录制或直播(即实时视频录制)场景，通过实时智能调光，以解决在较差的录制环境(诸如光线不充足、环境对比度低等)下拍摄图像或录制视频的问题。
根据本公开的视频处理方法可由任意具有图像处理功能的电子设备执行。电子设备可以是用户所在终端，例如，主播进行直播时所使用的终端。电子设备可以是智能手机、平板电脑、便携式计算机和台式计算机等中的至少一种。电子设备可安装有目标应用，用于对图像或实时录制的视频进行调光处理。
参照图1，在步骤S101，可获取待处理视频。这里，待处理视频可指录制好的一段视频，或者可指实时录制的视频，即直播数据。
在步骤S102，可确定待处理视频的当前帧的各像素值的缩放比例。对于待处理视频中的每一帧，可执行以下操作：确定当前帧的像素值概率分布，根据该像素值概率分布确定当前帧的像素值拉伸参数，基于该像素值拉伸参数确定针对当前帧的各像素值的缩放比例。下面将针对视频中的一个帧来详细描述如何确定该帧的各像素值的缩放比例。
可确定当前帧的像素值概率分布。这里，像素值概率分布可以是指图像的整体概率分布。以RGB三通道的24比特图像(其中每通道为8比特)为例，图像的像素值的取值范围为[0，255]，像素值i的像素值概率分布为pi，其中，0≤i≤255，
Figure BDA0003047318540000081
应注意的是，此处的概率分布是三通道整体概率分布，三通道整体概率分布可保证RGB色彩的相对分布，这样可避免色彩失真的问题。然而，上述示例仅是示例性的，本公开不限于上述类型图像。
接下来可根据像素值概率分布确定当前帧的像素值拉伸参数。这里，像素值拉伸参数也可被称为像素值拉伸间距。像素值拉伸的目的在于使图像像素值更加均匀的分布在整个画面区间内，例如，在像素值拉伸之前，原始图像像素值可能集中分布在某一狭小区域内，通过像素值拉伸后可使这一狭小区域被放大到整个画面区间内。
根据本公开的实施例，首先可根据像素值概率分布从当前帧的像素值中选择用于对当前帧进行补光处理的一个或多个像素值，以组成第一像素值组。
作为示例，针对当前帧中的全部像素值，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则将该像素值选为第一像素值组中的元素，并且基于该概率残差、当前像素值概率和所述阈值确定用于下一像素值的概率残差。如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则不将该像素值选为第一像素值组中的元素，并且将该概率残差与当前像素值概率之和确定为用于下一像素值的概率残差。
在确定第一像素值组时，可从当前帧中的最小像素值开始执行上述处理以确定该像素值是否满足上述条件，即针对当前像素值的概率残差与当前像素值概率之和大于阈值。对于第一个进行处理的像素值，可将该概率残差预先设置为0，然后在后续处理中，概率残差根据上述处理而改变。
以RGB图像为例，初始化r＝0，s＝[0]，t＝1/255，其中，s表示第一像素值组，r表示初始概率残差，t表示预设阈值。对于1≤i≤255，若r+pi＞t，则s＝[s，i]，并且r＝mod(r+pi，t)，否则像素值i不被选入第一像素值组中，并且r＝r+pi，其中，mod(a，b)表示a对b取模运算。可按照上述方式遍历当前帧中的所有像素值，从而获得第一像素值组s。通过生成第一像素值组s，可排除小概率的像素值，而选择具有统计意义的像素值，这样能够确定合适的拉伸参数，使其满足拉伸像素值分布的要求。
对于不属于第一像素值组的像素值，将这些像素值并入相邻像素。
在获得第一像素值组后，可根据第一像素值组的大小来计算相应的像素值拉伸参数。以RGB图像为例，假设图像的第一像素值组的大小为w，则该图像的像素值拉伸参数为g＝255/w。然而，上述示例仅是示例行的，本公开不限于此。
可基于像素值拉伸参数确定针对当前帧的各像素值的缩放比例。作为示例，可将第一像素值组中的每个像素值按照从小到大的顺序进行排序，将像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组，基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对当前帧的各像素值的缩放比例。
作为示例，可根据以下等式(1)对第一像素值组s中的像素值进行映射：
sj＝j*g，其中，1≤j≤w (1)
其中，j为第一像素值组s中的排序序号，sj为映射后的第二像素值组中的第j个元素值。按照等式(1)逐个对第一像素值组s中的像素值进行映射以获得第二像素值组。
基于第二像素值组中的每个元素与第一像素值组中的相应像素值的比值来获得针对当前帧的各个像素值的缩放比例，可记为缩放比例组all_ratio。在第一像素值组不包括图像的全部像素值的情况下，对于不属于第一像素值组中的像素值，可将属于第一像素值组的与该像素值相邻的像素值的缩放比例作为该像素值的缩放比例。
在步骤S103，基于当前帧的先前帧的缩放信息来校正当前帧的各像素值的缩放比例。具体地，从当前帧的各像素值的缩放比例中确定当前帧的最大缩放比例和第一缩放比例平均值，根据该最大缩放比例和第一缩放比例平均值计算针对该缩放比例的第一校正参数，基于先前帧的缩放信息中包括的第二校正参数来调整第一校正参数，利用调整后的第一校正参数对当前帧的各像素值的缩放比例进行校正。
作为另一示例，首先可确定当前帧的最大像素值，基于该最大像素值确定当前帧的最大像素比值，在第一缩放比例平均值小于或等于最大像素比值的情况下，将最大像素比值确定为第一缩放比例平均值。
然后，可基于先前帧的缩放信息中包括的第二缩放比例平均值来调整第一缩放比例平均值，并且根据当前帧的最大缩放比例和调整后的第一缩放比例平均值来计算第一校正参数。
可选地，在调整第一缩放比例平均值时，可计算第一缩放比例平均值与第二缩放比例平均值之间的第二相对差值，在第二缩放比例平均值大于或等于第一缩放比例平均值的情况下，可通过将第二缩放比例平均值缩小与第二相对差值相应的值来获得第一缩放比例平均值；在第二缩放比例平均值小于第一缩放比例平均值的情况下，可通过将第二缩放比例平均值增大与第二相对差值相应的值来获得第一缩放比例平均值。
接下来，可计算当前帧的第一校正参数与先前帧的第二校正参数之间的第一相对差值，在第二校正参数大于或等于第一校正参数的情况下，通过将第二校正参数缩小与第一相对差值相应的值来获得调整后的第一校正参数。在第二校正参数小于第一校正参数的情况下，通过将第二校正参数增大与第一相对差值相应的值来获得调整后的第一校正参数。
在步骤S104，可通过对当前帧的各像素值应用校正后的缩放比例来获得调光后的视频帧。通过对待处理视频中的每个视频帧进行上述处理，可获得调光后的视频。
在本公开中，对于待处理视频中的第一帧(即首先被处理的帧)，在第一帧没有参考的先前帧的情况下，可对第一帧的各像素值的缩放比例不进行校正，而第一帧之后的所有帧可通过参考先前帧的缩放信息(即如上述在计算每一帧时使用的信息以及计算出的信息)来进行校正操作。下面将针对如何参考先前帧来确定当前帧的校正信息进行详细描述。
根据本公开的实施例，可根据录制画面调整画面光线，在调节画面亮度的基础上保持原图色彩，从而解决了在较差环境下录制视频时出现的画面失真、实时性差以及延迟问题。此外，本公开的方法实现简单复杂度低，在普通视频录制与实时直播场景都具备实用性。
图2是根据本公开的另一实施例的视频处理方法的流程图。对于普通视频录制或直播(即实时视频录制)的视频，根据本公开的实施例考虑到视频画面间的相关性，以避免出现调光处理后的视频画面之间的闪动跳变现象。
参照图2，在步骤S201，可获取视频数据。这里，视频数据可指录制好的一段视频，或者可指实时录制的视频，即直播数据。
在步骤S202，对于视频数据中的每帧图像，可确定帧图像的像素值概率分布。这里，像素值概率分布可以是指图像的整体概率分布。以RGB三通道的24比特图像(其中每通道为8比特)为例，图像的像素值的取值范围为[0，255]，像素值i的像素值概率分布为pi，其中，0≤i≤255，
Figure BDA0003047318540000111
应注意的是，此处的概率分布是三通道整体概率分布，三通道整体概率分布可保证RGB色彩的相对分布，这样可避免色彩失真的问题。然而，上述示例仅是示例性的，本公开不限于上述类型图像。
在步骤S203，可根据像素值概率分布确定每个图像的像素值拉伸参数。例如，对于每帧图像，首先可根据像素值概率分布从该图像的像素值中选择用于对该图像进行补光处理的一个或多个像素值，以组成第一像素值组。
在确定第一像素值组时，可从帧图像中的最小像素值开始执行处理以确定该像素值是否满足条件，即针对当前像素值的概率残差与当前像素值概率之和大于阈值。对于第一个进行处理的像素值，可将该概率残差预先设置为0，然后在后续处理中，概率残差根据上述处理而改变。
以一帧RGB图像为例，初始化r＝0，s＝[0]，t＝1/255，其中，s表示第一像素值组，r表示初始概率残差，t表示预设阈值。对于1≤i≤255，若r+pi＞t，则s＝[s，i]，并且r＝mod(r+pi，t)，否则像素值i不被选入第一像素值组中，并且r＝r+pi，其中，mod(a，b)表示a对b取模运算。可按照上述方式遍历视频的每帧图像中的所有像素值，从而获得第一像素值组s。通过生成第一像素值组s，可排除小概率的像素值，而选择具有统计意义的像素值，这样能够确定合适的拉伸参数，使其满足拉伸像素值分布的要求。对于不属于第一像素值组的像素值，将这些像素值并入相邻像素。
在获得第一像素值组后，可根据第一像素值组的大小来计算相应的像素值拉伸参数。以一帧RGB图像为例，假设图像的第一像素值组的大小为w，则该图像的像素值拉伸参数为g＝255/w。然而，上述示例仅是示例行的，本公开不限于此。
在步骤S204，可基于像素值拉伸参数确定针对帧图像的各像素值的缩放比例。作为示例，可将第一像素值组中的每个像素值按照从小到大的顺序进行排序，将像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组，基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对帧图像的各像素值的缩放比例。例如，可根据上述等式(1)对第一像素值组中的每个像素值进行映射以获得第二像素值组。
接下里，基于第二像素值组中的每个元素与第一像素值组中的相应像素值的比值来获得针对帧图像的各个像素值的缩放比例，可记为缩放比例组all_ratio。在第一像素值组不包括图像的全部像素值的情况下，对于不属于第一像素值组中的像素值，可将属于第一像素值组的与该像素值相邻的像素值的缩放比例作为该像素值的缩放比例。
在步骤S205，可对每个帧图像的缩放比例进行校正。
作为示例，可从帧图像的缩放比例中确定最大缩放比例max_ratio和第一缩放比例平均值mean_ratio，根据最大缩放比例和第一缩放比例平均值计算针对该帧图像的缩放比例的第一校正参数，并且基于第一校正参数对该帧缩放比例进行校正。
例如，可确定帧图像的最大像素值v，并基于最大像素值v确定最大像素比值q1和最小像素比值q2。这里，以一帧RGB图像为例，q1＝255/v，并且q2＝q1/1.5。然而，上述示例仅是示例性的，本公开不限于此。
在第一缩放比例平均值mean_ratio小于或等于最大像素比值q1的情况下，可将最大像素比值q1确定为第一缩放比例平均值mean_ratio，即q1≥mean_ratio，mean_ratio＝q1。
在第一缩放比例平均值mean_ratio大于最小像素比值q2的情况下，可从第一缩放比例平均值mean_ratio和最小像素比值q2中选择相对大的值作为第一缩放比例平均值mean_ratio，即q2＜mean_ratio，mean_ratio＝max(mean_ratio，q2)，其中，max算子表示取最大值。也就是说，在任何情况下，将选择相对大的值作为第一缩放比例平均值。
接下来，根据scale＝mean_ratio/max_ratio来计算第一校正参数，并使用第一校正参数对图像的像素值的缩放比例进行校正。
作为另一示例，可考虑当前图像的前一图像的缩放比例平均值来调整当前图像的缩放比例。
例如，可基于当前图像的前一帧图像的第二缩放比例平均值来计算当前图像的第一缩放比例平均值与前一图像的第二缩放比例平均值之间的第二相对差值，并根据第二相对差值来调整当前图像的第一缩放比例平均值。
例如，当前画面的前一画面的第二缩放比例平均值为mean_ratio_prev，根据d＝|mean_ratio_prev-mean_ratio|/mean_ratio_prev来计算相对差值，根据相对差值计算新的缩放比例平均值作为第一缩放比例平均值。例如，如果mean_ratio_prev-mean_ratio≥0，则mean_ratio＝mean_ratio_prev-mean_ratio_prev×da，如果mean_ratio_prev-mean_ratio＜0，则mean_ratio＝mean_ratio_prev+mean_ratio_prev×da，其中，a为大于1的参数。此时，新的缩放比例依赖于前一画面缩放比例，从而避免造成缩放比例跳动。然而，上述调整第一缩放比例平均值的示例仅是示例性的，本公开不限于此。
作为另一示例，可基于当前图像的前一帧图像的第二校正参数来计算当前图像的第一校正参数和前一图像的第二校正参数之间的第一相对差值，并根据第一相对差值来调整当前图像的第一校正参数。
例如，当前图像的第一校正参数为scale＝mean_ratio/max_ratio，这里，mean_ratio可以是根据原缩放比例组计算的第一缩放比例平均值，或者是校正后的第一缩放比例平均值。当前画面的前一画面的第二校正参数为scale_prev，根据e＝|scale_prev-scale|/scale_prev计算第一校正参数与第二校正参数的相对差值，根据相对差值计算新的校正参数作为第一校正参数，如果scale_prev-scale≥0，则scale＝scale_prev-scale_prev×eb，如果scale_prev-scale＜0，则scale＝scale_prev+scale_prev×eb，其中，b为大于1参数。此时，新的校正参数依赖于前一画面的校正参数，这样可避免画面间的跳变现象。然而，上述调整校正参数的示例仅是示例性的，本公开不限于此。
本剧本公开的实施例，可单独地或组合地对第一缩放比例平均值进行校正、对第一校正参数进行校正。
在获得最终的校正参数后，可将最终的校正参数应用到帧图像的缩放比例(缩放比例组all_ratio)中，以得到针对该帧图像的新的缩放比例组new_ratio。这样，可保持原缩放比例组的大小关系，以保留画面内容细节。
在步骤S206，通过对视频数据中的各像素值应用校正后的相应缩放比例来获得调光后的视频数据。例如，可将新的缩放比例组new_ratio应用到原画面对应像素(诸如将各缩放比例乘以原像素值)，即可获得调光后的帧图像。通过对视频数据中的每帧图像进行上述处理来获得调光后的视频。
本公开可根据图像或视频画面自动调节图像或视频画面的光线，在调节画面亮度的同时保持了原始画面色彩不失真。此外，对于视频画面可进行实时处理，并且考虑到视频画面间的相关性，从而避免出现调光后的视频画面间出现闪动跳变的现象。此外，本公开提供的方法和装置易于实现、复杂度低，具有高实时性、低延迟的特点，在普通视频录制或实时视频录制时都具有良好的实用性。
图3是根据本公开的实施例的视频处理装置的框图。
参照图3，视频处理装置300可包括获取模块301、确定模块302、处理模块303以及校正模块304。视频处理装置300中的每个模块可由一个或多个模块来实现，并且对应模块的名称可根据模块的类型而变化。在各种实施例中，可省略视频处理装置300中的一些模块，或者还可包括另外的模块。此外，根据本公开的各种实施例的模块/元件可被组合以形成单个实体，并且因此可等效地执行相应模块/元件在组合之前的功能。
获取模块301可获取待处理图像或视频数据。当获取模块301获取一张图像时，可单独地对该图像进行调光处理，例如，采用图1所述的步骤S102获得的缩放比例，对该图像进行缩放处理。当获取模块301获取视频数据时，可针对视频中的每个帧图像进行调光处理。下面以处理视频中的一个帧为例进行解释说明。
确定模块302可确定当前帧的像素值概率分布，根据像素值概率分布确定当前帧的像素值拉伸参数，基于像素值拉伸参数确定针对当前帧的各像素值的缩放比例。
可选地，确定模块302可根据像素值概率分布确定用于对当前帧进行补光处理的第一像素值组，并基于第一像素值组的大小来确定像素值拉伸参数。
可选地，对于当前帧的各像素值中的每个像素值，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则确定模块302可将该像素值选为第一像素值组中的元素；如果针对当前像素值的概率残差与当前像素值概率之和小于或等于阈值，则确定模块302可不将该像素值选为第一像素值组中的元素。
可选地，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则确定模块302可基于该概率残差、当前像素值概率和阈值确定用于下一像素值的概率残差。如果针对当前像素值的概率残差与当前像素值概率之和小于或等于阈值，则确定模块302可将该概率残差与当前像素值概率之和确定为用于下一像素值的概率残差。
可选地，确定模块302可将第一像素值组中的每个像素值按照从小到大的顺序进行排序，将像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组，基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对各像素值的缩放比例。
校正模块304可基于当前帧的先前帧的缩放信息来校正当前帧的缩放比例。
可选地，校正模块304可从当前帧的缩放比例中确定当前帧的最大缩放比例和第一缩放比例平均值，根据最大缩放比例和第一缩放比例平均值计算针对缩放比例的第一校正参数，基于第一校正参数对所述缩放比例进行校正。
可选地，校正模块304可确定当前帧的最大像素值，基于所述最大像素值确定当前帧的最大像素比值，在第一缩放比例平均值小于或等于最大像素比值的情况下，将最大像素比值确定为第一缩放比例平均值。
可选地，校正模块304可基于视频中的当前帧的前一帧图像的第二缩放比例平均值来计算第一缩放比例平均值与第二缩放比例平均值之间的第二相对差值，根据第二相对差值来调整第一缩放比例平均值。
可选地，校正模块304可基于视频中的当前帧的前一帧图像的第二校正参数来计算第一校正参数和第二校正参数之间的第一相对差值，根据第一相对差值来调整第一校正参数。
然后，处理模块303可将校正后的缩放比例应用于当前帧的像素值。
图4是本公开实施例的硬件运行环境的图像处理设备的结构示意图。
如图4所示，图像处理设备400可包括：处理组件401、通信总线402、网络接口403、输入输出接口404、存储器405以及电源组件404。其中，通信总线402用于实现这些组件之间的连接通信。输入输出接口404可以包括视频显示器(诸如，液晶显示器)、麦克风和扬声器以及用户交互接口(诸如，键盘、鼠标、触摸输入装置等)，可选地，输入输出接口404还可包括标准的有线接口、无线接口。网络接口403可选的可包括标准的有线接口、无线接口(如无线保真接口)。存储器405可以是高速的随机存取存储器，也可以是稳定的非易失性存储器。存储器405可选的还可以是独立于前述处理组件401的存储装置。
本领域技术人员可以理解，图4中示出的结构并不构成对图像处理设备400的限定，可包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种存储介质的存储器405中可包括操作***(诸如MAC操作***)、数据存储模块、网络通信模块、用户接口模块、图像处理程序以及数据库。
在图4所示的图像处理设备400中，网络接口403主要用于与外部电子设备/终端进行数据通信；输入输出接口404主要用于与用户进行数据交互；图像处理设备400中的处理组件401、存储器405可被设置在图像处理设备400中，图像处理设备400通过处理组件401调用存储器405中存储的图像处理程序以及由操作***提供的各种API，执行本公开实施例提供的视频处理方法。
处理组件401可以包括至少一个处理器，存储器405中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器执行时，执行根据本公开实施例的视频处理方法。此外，处理组件401可执行编码操作和解码操作等。然而，上述示例仅是示例性的，本公开不限于此。
处理组件401可获取待处理图像。这里，待处理图像可以是单独的一个图像，或者是录制视频中的一帧图像。处理组件401可确定待处理图像的像素值概率分布，根据像素值概率分布确定待处理图像的像素值拉伸参数，基于像素值拉伸参数确定针对待处理图像的各像素值的缩放比例，通过对各像素值应用相应的缩放比例来获得调光后的图像。
作为一种可选的实施方式，处理组件401可根据像素值概率分布确定用于对待处理图像进行补光处理的第一像素值组，并基于第一像素值组的大小来确定像素值拉伸参数。
作为一种可选的实施方式，对于一帧图像的各像素值中的每个像素值，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则处理组件401可将该像素值选为第一像素值组中的元素；如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则处理组件401可不将该像素值选为第一像素值组中的元素。
作为一种可选的实施方式，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则处理组件401可基于该概率残差、当前像素值概率和所述阈值确定用于下一像素值的概率残差；如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则处理组件401可将该概率残差与当前像素值概率之和确定为用于下一像素值的概率残差。
作为一种可选的实施方式，处理组件401可将第一像素值组中的每个像素值按照从小到大的顺序进行排序，将像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组，并且基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对帧图像的各像素值的缩放比例。
作为一种可选的实施方式，处理组件401可从帧图像的缩放比例中确定最大缩放比例和第一缩放比例平均值，根据最大缩放比例和第一缩放比例平均值计算针对所述缩放比例的第一校正参数，基于第一校正参数对所述缩放比例进行校正，并使用校正后的缩放比例执行对该帧图像的像素值的缩放处理。
作为一种可选的实施方式，处理组件401可确定待处理图像的最大像素值，基于最大像素值确定当前帧的最大像素比值。在第一缩放比例平均值小于或等于最大像素比值的情况下，处理组件401可将最大像素比值确定为第一缩放比例平均值。
在待处理图像为视频中的一帧图像的情况下，处理组件401可基于视频中的待处理图像的前一帧图像的第二缩放比例平均值来计算第一缩放比例平均值与第二缩放比例平均值之间的第二相对差值，根据第二相对差值来调整第一缩放比例平均值。
在待处理图像为视频中的一帧图像的情况下，处理组件401可基于视频中的待处理图像的前一帧图像的第二校正参数来计算第一校正参数和第二校正参数之间的第一相对差值；根据第一相对差值来调整第一校正参数，并使用调整后的第一校正参数对帧图像的缩放比例进行校正。
处理组件401可通过执行程序来实现对图像处理设备400所包括的组件的控制。
图像处理设备400可经由输入输出接口404接收或输出视频和/或音频。例如，用户可经由输入输出接口404输出调光后的图像或视频或直播内容。
作为示例，图像处理设备400可以是PC计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，图像处理设备400并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。图像处理设备400还可以是集成控制***或***管理器的一部分，或者可以被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
在图像处理设备400中，处理组件401可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器***、微控制器或微处理器。作为示例而非限制，处理组件401还可以包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
处理组件401可运行存储在存储器中的指令或代码，其中，存储器405还可以存储数据。指令和数据还可以经由网络接口403而通过网络被发送和接收，其中，网络接口403可以采用任何已知的传输协议。
存储器405可以与处理组件401集成为一体，例如，将RAM或闪存布置在集成电路微处理器等之内。此外，存储器405可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库***可以使用的其他存储装置。存储器和处理组件401可以在操作上进行耦合，或者可以例如通过I/O端口、网络连接等互相通信，使得处理组件401能够读取存储在存储器405中的数据。
根据本公开的实施例，可提供一种电子设备。图5是根据本公开实施例的电子设备的框图，该电子设备500可包括至少一个存储器502和至少一个处理器501，所述至少一个存储器502存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器501执行时，执行根据本公开实施例的视频处理方法。
处理器501可包括中央处理器(CPU)、图形处理器(GPU)、可编程逻辑装置、专用处理器***、微控制器或微处理器。作为示例而非限制，处理器501还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
作为一种存储介质的存储器502可包括操作***(例如，MAC操作***)、数据存储模块、网络通信模块、用户接口模块、图像处理程序以及数据库。
存储器502可与处理器501集成为一体，例如，可将RAM或闪存布置在集成电路微处理器等之内。此外，存储器502可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库***可使用的其他存储装置。存储器502和处理器501可在操作上进行耦合，或者可例如通过I/O端口、网络连接等互相通信，使得处理器501能够读取存储在存储器502中的文件。
此外，电子设备500还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备500的所有组件可经由总线和/或网络而彼此连接。
本领域技术人员可理解，图5中示出的结构并不构成对的限定，可包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
根据本公开的实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的视频处理方法。这里的计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储器、硬盘驱动器(HDD)、固态硬盘(SSD)、卡式存储器(诸如，多媒体卡、安全数字(SD)卡或极速数字(XD)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机***上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
根据本公开的实施例中，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成上述视频处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (22)

1.一种视频处理方法，包括：
获取待处理视频；
确定所述待处理视频的当前帧的各像素值的缩放比例；
基于所述当前帧的先前帧的缩放信息来校正所述当前帧的各像素值的缩放比例；
通过对所述当前帧的各像素值应用校正后的缩放比例来获得调光后的视频帧，
其中，基于所述当前帧的先前帧的缩放信息来校正所述当前帧的各像素值的缩放比例的步骤包括：
从所述当前帧的各像素值的缩放比例中确定所述当前帧的最大缩放比例和第一缩放比例平均值，根据所述最大缩放比例和第一缩放比例平均值计算针对所述当前帧的各像素值的缩放比例的第一校正参数；
基于所述先前帧的缩放信息中包括的第二校正参数来调整第一校正参数；
利用调整后的第一校正参数对所述当前帧的各像素值的缩放比例进行校正。
2.根据权利要求1所述的视频处理方法，其特征在于，基于所述先前帧的缩放信息中包括的第二校正参数来调整第一校正参数的步骤包括：
计算第一校正参数与第二校正参数之间的第一相对差值；
在第二校正参数大于或等于第一校正参数的情况下，通过将第二校正参数缩小与第一相对差值相应的值来获得第一校正参数；
在第二校正参数小于第一校正参数的情况下，通过将第二校正参数增大与第一相对差值相应的值来获得第一校正参数。
3.根据权利要求1所述的视频处理方法，其特征在于，从所述当前帧的各像素值的缩放比例中确定所述当前帧的最大缩放比例和第一缩放比例平均值的步骤包括：
确定所述当前帧的最大像素值；
基于所述最大像素值确定所述当前帧的最大像素比值；
在第一缩放比例平均值小于或等于所述最大像素比值的情况下，将所述最大像素比值确定为第一缩放比例平均值。
4.根据权利要求1所述的视频处理方法，其特征在于，根据所述最大缩放比例和第一缩放比例平均值计算针对所述当前帧的各像素值的缩放比例的第一校正参数的步骤包括：
基于所述先前帧的缩放信息中包括的第二缩放比例平均值来调整第一缩放比例平均值；
根据所述最大缩放比例和调整后的第一缩放比例平均值来计算第一校正参数。
5.根据权利要求4所述的视频处理方法，其特征在于，基于所述先前帧的缩放信息中包括的第二缩放比例平均值来调整第一缩放比例平均值的步骤包括：
计算第一缩放比例平均值与第二缩放比例平均值之间的第二相对差值；
在第二缩放比例平均值大于或等于第一缩放比例平均值的情况下，通过将第二缩放比例平均值缩小与第二相对差值相应的值来获得第一缩放比例平均值；
在第二缩放比例平均值小于第一缩放比例平均值的情况下，通过将第二缩放比例平均值增大与第二相对差值相应的值来获得第一缩放比例平均值。
6.根据权利要求1所述的视频处理方法，其特征在于，确定所述待处理视频的当前帧的各像素值的缩放比例的步骤包括：
确定所述当前帧的像素值概率分布；
根据所述像素值概率分布确定所述当前帧的像素值拉伸参数；
基于所述像素值拉伸参数确定针对所述当前帧的各像素值的缩放比例。
7.根据权利要求6所述的视频处理方法，其特征在于，根据所述像素值概率分布确定所述当前帧的像素值拉伸参数的步骤包括：
根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组；
基于第一像素值组的大小来确定所述当前帧的像素值拉伸参数。
8.根据权利要求7所述的视频处理方法，其特征在于，根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组的步骤包括：
对于所述当前帧的各像素值中的每个像素值，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则将该像素值选为第一像素值组中的元素；
如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则不将该像素值选为第一像素值组中的元素。
9.根据权利要求8所述的视频处理方法，其特征在于，根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组的步骤包括：
如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则基于该概率残差、当前像素值概率和所述阈值确定用于下一像素值的概率残差；
如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则将该概率残差与当前像素值概率之和确定为用于下一像素值的概率残差。
10.根据权利要求7所述的视频处理方法，其特征在于，基于所述像素值拉伸参数确定针对所述当前帧的各像素值的缩放比例的步骤包括：
将第一像素值组中的每个像素值按照从小到大的顺序进行排序；
将所述像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组；
基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对所述各像素值的缩放比例。
11.一种视频处理装置，包括：
获取模块，被配置为获取待处理视频；
确定模块，被配置为确定所述待处理视频的当前帧的各像素值的缩放比例；
校正模块，被配置为基于所述当前帧的先前帧的缩放信息来校正所述当前帧的各像素值的缩放比例；
处理模块，被配置为通过对所述当前帧的各像素值应用校正后的缩放比例来获得调光后的视频帧，
其中，校正模块被配置为：
从所述当前帧的各像素值的缩放比例中确定所述当前帧的最大缩放比例和第一缩放比例平均值，根据所述最大缩放比例和第一缩放比例平均值计算针对所述当前帧的各像素值的缩放比例的第一校正参数；
基于所述先前帧的缩放信息中包括的第二校正参数来调整第一校正参数；
利用调整后的第一校正参数对所述当前帧的各像素值的缩放比例进行校正。
12.根据权利要求11所述的视频处理装置，其特征在于，校正模块被配置为：
计算第一校正参数与第二校正参数之间的第一相对差值；
在第二校正参数大于或等于第一校正参数的情况下，通过将第二校正参数缩小与第一相对差值相应的值来获得第一校正参数；
在第二校正参数小于第一校正参数的情况下，通过将第二校正参数增大与第一相对差值相应的值来获得第一校正参数。
13.根据权利要求11所述的视频处理装置，其特征在于，校正模块被配置为：
确定所述当前帧的最大像素值；
基于所述最大像素值确定所述当前帧的最大像素比值；
在第一缩放比例平均值小于或等于所述最大像素比值的情况下，将所述最大像素比值确定为第一缩放比例平均值。
14.根据权利要求11所述的视频处理装置，其特征在于，校正模块被配置为：
基于所述先前帧的缩放信息中包括的第二缩放比例平均值来调整第一缩放比例平均值；
根据所述最大缩放比例和调整后的第一缩放比例平均值来计算第一校正参数。
15.根据权利要求14所述的视频处理装置，其特征在于，校正模块被配置为：
计算第一缩放比例平均值与第二缩放比例平均值之间的第二相对差值；
在第二缩放比例平均值大于或等于第一缩放比例平均值的情况下，通过将第二缩放比例平均值缩小与第二相对差值相应的值来获得第一缩放比例平均值；
在第二缩放比例平均值小于第一缩放比例平均值的情况下，通过将第二缩放比例平均值增大与第二相对差值相应的值来获得第一缩放比例平均值。
16.根据权利要求11所述的视频处理装置，其特征在于，确定模块被配置为：
确定所述当前帧的像素值概率分布；
根据所述像素值概率分布确定所述当前帧的像素值拉伸参数；
基于所述像素值拉伸参数确定针对所述当前帧的各像素值的缩放比例。
17.根据权利要求16所述的视频处理装置，其特征在于，确定模块被配置为：
根据所述像素值概率分布确定用于对所述当前帧进行补光处理的第一像素值组；
基于第一像素值组的大小来确定所述当前帧的像素值拉伸参数。
18.根据权利要求17所述的视频处理装置，其特征在于，确定模块被配置为：
对于所述当前帧的各像素值中的每个像素值，如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则将该像素值选为第一像素值组中的元素；
如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则不将该像素值选为第一像素值组中的元素。
19.根据权利要求18所述的视频处理装置，其特征在于，确定模块被配置为：
如果针对当前像素值的概率残差与当前像素值概率之和大于阈值，则基于该概率残差、当前像素值概率和所述阈值确定用于下一像素值的概率残差；
如果针对当前像素值的概率残差与当前像素值概率之和小于或等于所述阈值，则将该概率残差与当前像素值概率之和确定为用于下一像素值的概率残差。
20.根据权利要求17所述的视频处理装置，其特征在于，确定模块被配置为：
将第一像素值组中的每个像素值按照从小到大的顺序进行排序；
将所述像素值拉伸参数与排序后的每个像素值在第一像素值组中的序号进行映射，以获得第二像素值组；
基于第二像素值组中的每个元素值与第一像素值组中的相应像素值的比值来获得针对所述各像素值的缩放比例。
21.一种电子设备，其特征在于，包括：
至少一个处理器；
至少一个存储计算机可执行指令的存储器，
其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到10中的任一项权利要求所述的视频处理方法。
22.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到10中的任一项权利要求所述的视频处理方法。
CN202110475702.5A 2021-04-29 2021-04-29 视频处理方法和视频处理装置 Active CN113225620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110475702.5A CN113225620B (zh) 2021-04-29 2021-04-29 视频处理方法和视频处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110475702.5A CN113225620B (zh) 2021-04-29 2021-04-29 视频处理方法和视频处理装置

Publications (2)

Publication Number Publication Date
CN113225620A CN113225620A (zh) 2021-08-06
CN113225620B true CN113225620B (zh) 2022-09-30

Family

ID=77090333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110475702.5A Active CN113225620B (zh) 2021-04-29 2021-04-29 视频处理方法和视频处理装置

Country Status (1)

Country Link
CN (1) CN113225620B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376082A (zh) * 2010-08-06 2012-03-14 株式会社理光 基于伽马校正的图像处理方法和装置
CN110047052A (zh) * 2019-04-25 2019-07-23 哈尔滨工业大学 一种基于fpga的强光抑制夜视增强方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107539B2 (en) * 2002-07-15 2012-01-31 Nokia Corporation Method for error concealment in video sequences
US7176878B2 (en) * 2002-12-11 2007-02-13 Nvidia Corporation Backlight dimming and LCD amplitude boost

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376082A (zh) * 2010-08-06 2012-03-14 株式会社理光 基于伽马校正的图像处理方法和装置
CN110047052A (zh) * 2019-04-25 2019-07-23 哈尔滨工业大学 一种基于fpga的强光抑制夜视增强方法

Also Published As

Publication number Publication date
CN113225620A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
US10891722B2 (en) Display method and display device
KR102291954B1 (ko) 확장된 높은 동적 범위(hdr) 대 hdr 톤 매핑을 위한 방법, 장치 및 시스템
EP3566203B1 (en) Perceptually preserving scene-referred contrasts and chromaticities
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
EP2989798B1 (en) Transmitting display management metadata over hdmi
US20180005357A1 (en) Method and device for mapping a hdr picture to a sdr picture and corresponding sdr to hdr mapping method and device
KR20170020288A (ko) Hdr 대 hdr 인버스 톤 맵핑을 위한 방법들, 시스템들 및 장치들
CN112449169B (zh) 色调映射的方法和装置
JP6948309B2 (ja) パラメトリック・トーン調整関数を使用してピクチャをトーン・マッピングする方法およびデバイス
US20130315505A1 (en) Content Creation Using Interpolation Between Content Versions
CN109686342B (zh) 一种图像处理方法及装置
CN111885312B (zh) Hdr图像的成像方法、***、电子设备及存储介质
US20220237754A1 (en) Image processing method and apparatus
CN114511479A (zh) 图像增强方法和装置
US10445865B1 (en) Method and apparatus for converting low dynamic range video to high dynamic range video
CN114501023B (zh) 视频处理方法、装置、计算机设备、存储介质
US20210042895A1 (en) Field Programmable Gate Array (FPGA) Implementation and Optimization of Augmented Contrast Limited Adaptive Histogram Equalization
US10079981B2 (en) Image dynamic range adjustment method, terminal, and storage medium
CN113222846A (zh) 图像处理方法和图像处理装置
CN113225620B (zh) 视频处理方法和视频处理装置
US9292912B2 (en) Display apparatus and method for image output thereof
Saha et al. Perceptual video quality assessment: The journey continues!
CN114157895A (zh) 视频处理方法、装置、电子设备及存储介质
US20190306500A1 (en) Bit rate optimization system and method
CN113194267B (zh) 图像处理方法及装置、拍照方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant