CN110149554A - 视频图像处理的方法、装置、电子设备以及存储介质 - Google Patents

视频图像处理的方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN110149554A
CN110149554A CN201910472833.0A CN201910472833A CN110149554A CN 110149554 A CN110149554 A CN 110149554A CN 201910472833 A CN201910472833 A CN 201910472833A CN 110149554 A CN110149554 A CN 110149554A
Authority
CN
China
Prior art keywords
video image
processed
pass filter
target
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910472833.0A
Other languages
English (en)
Other versions
CN110149554B (zh
Inventor
胡小朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910472833.0A priority Critical patent/CN110149554B/zh
Publication of CN110149554A publication Critical patent/CN110149554A/zh
Application granted granted Critical
Publication of CN110149554B publication Critical patent/CN110149554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种视频图像处理的方法、装置、电子设备及存储介质。所述方法包括获取图像采集元件采集的待处理视频图像;采用目标低通滤波器对所述待处理视频图像进行模糊化处理,所述模糊化处理用于减少所述待处理视频图像中的高频分量;对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像;传输所述目标视频图像。本方法通过对视频图像数据在输入给编码器之前经过模糊化处理,减少了视频图像中的高频分量,可以实现处理之后的视频图像在被编码器编码时减少数据量分配不均的问题,进而使得视频整体编码之后,播放过程中减少马赛克、块效应,提高了播放流畅度。

Description

视频图像处理的方法、装置、电子设备以及存储介质
技术领域
本申请涉及视频图像处理技术领域,更具体地,涉及一种视频图像处理的方法、装置、电子设备以及存储介质。
背景技术
随着互联网技术及电子设备技术的发展,越来越多的电子设备配备有像素更高的摄像头,且电子设备的摄像头像素越来越高,录制出来视频的清晰度也越来越高。虽然电子设备摄像头的更新换代频率很高,但是用于进行视频传输的信道的带宽更新速度很慢,因此传输带宽具有局限性,从而限制电子设备所传输视频的码率,而当码率受到限制的情况下,在当前的视频编码框架下容易出现马赛克、块效应的情况,极大的影响了视频图像的播放效果。
发明内容
鉴于上述问题,本申请提出了一种视频图像处理的方法、装置、电子设备以及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种视频图像处理的方法,应用于电子设备,所述方法包括:获取图像采集元件采集的待处理视频图像;采用目标低通滤波器对所述待处理视频图像进行模糊化处理,所述模糊化处理用于减少所述待处理视频图像中的高频分量;对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像;传输所述目标视频图像。
第二方面,本申请实施例提供了一种视频图像处理的装置,运行于电子设备,所述装置包括:视频图像获取模块,用于获取图像采集元件采集的待处理视频图像;视频图像处理模块,用于采用目标低通滤波器对所述待处理视频图像进行模糊化处理,所述模糊化处理用于减少所述待处理视频图像的高频分量;视频图像编码模块,用于对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像;视频图像输出模块,用于传输所述目标视频图像。
第三方面,本申请实施例提供了一种电子设备,包括一个或多个处理器以及存储器;一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面所述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码运行时执行上述第一方面所述的方法。
本申请提供的一种视频图像处理的方法、装置、电子设备以及存储介质,通过获取图像采集元件采集的待处理视频图像,然后在对待处理视频图像进行编码压缩之前,采用目标低通滤波器对待处理视频图像进行模糊化处理,以减少待处理视频图像的高频分量,再对进行模糊化处理后的待处理视频图像进行编码压缩,得到目标视频图像,然后传输目标视频图像。从而通过上述方式实现了将视频图像输入给编码器之前,通过低通滤波器与视频图像做高频滤波以实现进行模糊化处理,使得编码器获取到的进行编码的视频图像经过滤波处理已经减少了高频分量,实现了视频图像在被编码器编码时减少数据量分配不均的问题,进而使得视频整体编码之后,在播放过程中减少马赛克、块效应,使得播放效果连贯一致,提高了播放流畅度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的视频图像处理的方法的方法流程图。
图2示出了本申请另一实施例提出的视频图像处理的方法的方法流程图。
图3示出了图2中的步骤S230的方法流程图。
图4示出了图3中的步骤S233的方法流程图。
图5示出了本申请实施例提出的视频图像处理的方法的处理流程示例框图。
图6示出了本申请实施例提出的视频图像处理的装置的结构框图。
图7示出了本申请的用于执行根据本申请实施例的视频图像处理的方法的电子设备的结构框图。
图8是本申请实施例的用于保存或者携带实现根据本申请实施例的视频图像处理的方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
随着科技的发展,手机、平板电脑等电子设备的摄像头的像素越来越高,录制出来的视频图像的清晰度也越来越高。作为一种方式,通常电子设备会设置两个摄像头,而现在三个摄像头甚至四个摄像头的电子设备也开始层出不穷,再者,电子设备的摄像头的更新换代频率很高,使得拍摄出来的视频图像更加清晰,极大了满足了用户使用需求。
但是,发明人发现虽然电子设备的摄像头的更新换代频率很高,但是传输信道的带宽更新速度却很慢,所以传输带宽在一定时间内具有局限性,限制了电子设备传输视频图像数据的码率,从而导致视频图像播放时容易出现马赛克、块效应或是卡顿等情况,影响用户观看体验。
因此,发明人提出了本申请中改善视频图像出现马赛克以及卡顿等情况的视频图像处理的方法、装置、电子设备以及存储介质。
下面将结合附图具体描述本申请的各实施例。
请参阅图1,本申请实施例提供的一种视频图像处理的方法,应用于电子设备,所述方法包括:
步骤S110:获取图像采集元件采集的待处理视频图像。
其中,图像采集元件指的是配置于电子设备中用于采集视频图像数据的摄像头。本申请实施例中,待处理视频图像为图像采集元件采集后需要进行视频编码的图像。再者,处理视频图像可以是同一帧视频图像内编码压缩后可能存在数据量分配不均匀导致一部分清晰另一部分模糊的视频图像,或者还可以是相邻若干帧视频图像之间编码压缩后可能会出现数据量分配不均从而导致一幅图像清晰,其他图像马赛克多的视频图像,可选的,待处理视频图像会使得视频图像的播放效果差,播放不流畅等问题。
作为一种方式,摄像头启动后可以实时采集视频图像,而电子设备在检测到摄像头启动后,可以不断缓存摄像头实时采集的视频图像。需要说明的是,本申请实施例中电子设备获取的摄像头实时采集的视频图像因受传输码率的限制可能会存在卡顿、马赛克等情况,从而影响视频图像播放的流畅性,那么可以理解的是,可以将摄像头实时所采集的视频图像作为待处理视频图像,等到该待处理视频图像被处理后再将视频图像进行显示以提供给用户实时浏览,因而,电子设备可以通过不断缓存摄像头实时所采集的视频图像实现获取图像采集元件采集的待处理视频图像。
步骤S120:采用目标低通滤波器对所述待处理视频图像进行模糊化处理,所述模糊化处理用于减少所述待处理视频图像中的高频分量。
可以理解的是,图像中通常包括有高频分量以及低频分量。其中,高频分量(高频信号)对应着图像变化剧烈的部分,也就是图像的边缘(轮廓)以及细节部分。而低频分量(低频信号)代表着图像中亮度或者灰度值变化缓慢的区域,也就是图像中大片平坦的区域,描述了图像的主要部分。
作为一种方式,对于摄像头根据不同的图像配置参数拍摄的待处理视频图像,可以采用不同的目标低通滤波器对其进行模糊化处理。在这种情况下,电子设备在检测到摄像头启动后,可以获取当前的图像配置参数,以便根据与当前的图像配置参数所对应的目标低通滤波器对待处理视频图像进行模糊化处理,减少待处理视频图像中的高频分量。
步骤S130:对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像。
经过模糊化处理后的待处理视频图像减少了视频图像中的高频分量,对进行模糊化处理后的待处理视频图像进行编码压缩,可以减少视频图像编码压缩之后数据量分配不均的问题,从而可以得到数据量分布更加均匀的目标视频图像。
步骤S140:传输所述目标视频图像。
本申请提供的一种视频图像处理的方法、装置、电子设备以及存储介质,通过获取图像采集元件采集的待处理视频图像,然后在对待处理视频图像进行编码压缩之前,采用目标低通滤波器对待处理视频图像进行模糊化处理,以减少待处理视频图像的高频分量,再对进行模糊化处理后的待处理视频图像进行编码压缩,得到目标视频图像,然后传输目标视频图像。从而通过上述方式实现了将视频图像输入给编码器之前,通过低通滤波器与视频图像做高频滤波卷积以实现进行模糊化处理,使得编码器获取到的进行编码的视频图像经过滤波处理已经减少了高频分量,实现了视频图像在被编码器编码时减少数据量分配不均的问题,进而使得视频整体编码之后,在播放过程中减少马赛克、块效应,使得播放效果连贯一致,提高了播放流畅度。
请参阅图2,本申请实施例提供的一种视频图像处理的方法,应用于电子设备,所述方法包括:
步骤S210:获取图像采集元件采集的待处理视频图像。
步骤S220:获取所述待处理视频图像的图像配置参数。
其中,图像配置参数可以包括待处理视频图像的分辨率以及传输码率(也可以包括更多或其他的参数,在此不作限定,例如,还可以包括帧率)。作为一种方式,为了便于对待处理视频图像传输过程中的播放效果以及流畅度进行调整,本申请实施例中的电子设备可以在接收相关应用程序调用视频录制功能时获取待处理视频图像的图像配置参数。
作为一种方式,电子设备可以预先配置多种视频图像分辨率供用户选择,且不同的视频图像分辨率会适配对应的传输码率,例如,电子设备可以根据所拍摄视频图像的文件大小自动适配传输码率。在这种情况下,当电子设备检测到摄像头启动时,电子设备可以获取当前用户所选择的视频图像的分辨率,进而根据视频图像的分辨率获取视频图像的传输码率,从而实现获取待处理视频图像的分辨率以及码率。
作为另一种方式,随着摄像头拍摄距离的远近、拍摄物品的不同或是拍摄角度的差别,视频图像的分辨率以及码率可以实时变化,例如,用户可以在相机拍摄界面对所拍摄视频图像的分辨率进行实时调整。那么在这种情况下,电子设备可以在检测到摄像头启动后,实时监测摄像头的移动距离以及移动趋势,同时监测是否存在作用于电子设备的图像配置参数调整指令,以便于可以实时地获取待处理视频图像的图像配置参数。其中,电子设备可以通过对焦距的检测来实现检测摄像头的移动距离以及移动趋势。
例如,在一个具体的应用场景中,当通过电子设备拍摄日落时,若想要拍摄日落渐渐消失的场景,可以通过调节摄像头的分辨率来对日落的具体消失过程进行拍摄,可选的,在日落消失前,可以对拍摄图像进行放大,在日落即将消失前,对拍摄图像进行缩小,可以凸显日落渐渐消失的场景,那么,作为一种方式,电子设备可以通过实时检测摄像头的调节情况来获取待处理视频图像的图像配置参数。
步骤S230:基于所述图像配置参数获取所述目标低通滤波器。
可以理解的是,随着摄像头拍摄物品的不同,以及拍摄距离的调整或是拍摄角度等的不同会使得待处理视频图像的画质以及画面流畅度不同,那么为了待处理视频图像的数据量分布更加均匀,进而提升视频图像播放的流畅度,可以基于图像配置参数获取目标低通滤波器,以便于针对性的调整。其中,目标低通滤波器用于对待处理视频图像进行低通滤波,减少待处理视频图像的高频分量,保留低频信息,不同的图像配置参数所对应的目标低通滤波器可以不同,也可以相同(若不同图像配置参数所对应的目标低通滤波器在设定的阈值范围内)。
请参阅图3,作为一种方式,步骤S230可以包括:
步骤S231:基于所述分辨率以及所述传输码率计算所述待处理视频图像的初始码率。
其中,初始码率表示摄像头所拍摄的实时待处理视频图像在单位时间内传送的数据位数。作为一种方式,在获取了待处理视频图像的分辨率以及传输码率的情况下,可以根据摄像头所拍摄视频图像的实时拍摄数据,基于分辨率以及传输码率计算待处理视频图像的初始码率。
在一种实现方式中,待处理视频图像从初始码率可以用摄像头所拍摄的视频图像数据的输入格式比特数(即可以理解为所述传输码率)、分辨率以及帧率的乘积计算得出。例如,分辨率为720P的视频图像,帧率为30帧/秒,相机给出的数据是YUV420格式,一个像素占12比特,那么初始码率可以表示为:12*720*1280*30比特。
步骤S232:获取所述待处理视频图像的目标码率。
作为一种方式,本申请实施例中的电子设备会控制相机基于需要的视频图像分辨率(例如,可以是读取的用户所选择的预先设定的分辨率,也可以是实时获取的在拍摄的过程中所调整后的分辨率)进行图像采集。其中,目标码率指的是电子设备根据所告诉相机的需要的视频图像分辨率进行适配得到,可选的,也可以是根据实际需求指定目标码率,例如,可以指定步骤S231中所例举的分辨率为720P的视频图像的目标码率为2Mbps,在此不作限定。
步骤S233:根据所述初始码率与所述目标码率的比值获取所述目标低通滤波器。
本申请所提供的电子设备可以将所告诉相机的需要的视频图像的分辨率以及告诉编码器的需要的编码格式和码率要求提供给预先设置的滤波器库,由滤波器库自动计算出对应的滤波器模板(即目标低通滤波器)。例如,如前述步骤S231以及步骤S232中所例举的视频图像的初始码率与目标码率的比值K为:原始码率除以目标码率,其中原始码率等于输入格式比特数乘以分辨率乘以帧率没,从而计算出K=2。
作为一种方式,滤波器库可以根据初始码率与目标码率的比值获取目标低通滤波器,具体描述如下:
其中,作为一种方式,请参阅图4,步骤S233可以包括:
步骤S2331:将所述初始码率与所述目标码率的比值与预先设定的多个阈值范围进行匹配。
作为一种方式,可以根据历史计算数据预先设定初始码率与目标码率的比值的多个阈值范围,不同的阈值范围所对应的目标低通滤波器不同,以便于对视频图像中的不同质量的图像进行对应低通滤波处理。例如,可以设定初始码率与目标码率的比值为(0,2]、(2,5]和(5,+无穷]等阈值范围区间,那么当k属于(0,2]时,可以对应低通滤波器A,当k属于(2,5]时,可以对应低通滤波器B,而当k属于(5,+无穷]时,可以对应低通滤波器C,其中,低通滤波器A、B、C分别是不相同的目标低通滤波器。例如,随着阈值范围的较大的一个范围边界值的增大,所对应的低通滤波器滤除高频分量的效果就越小。在这种情况下,低通滤波器C、低通滤波器B以及低通滤波器A的过滤高频分量的效果会依次提升。需要说明的是,此处例举的数字区间不是绝对的,仅作为一种示例,不构成任何限定。
其中,可以理解的是,k值越大,对应的低通滤波器处理后的视频图像是越不模糊的(即越清晰),并且,当k足够大时表明视频图像越不易在编码后出现马赛克、块效应,可以不需要低通滤波器。
步骤S2332:将与所述比值匹配的阈值范围所对应的低通滤波器作为目标低通滤波器。
作为一种方式,本申请实施例中的待处理视频图像可以包括多帧视频图像,在这种情况下,可以通过检测待处理视频图像中的待处理的当前帧视频图像与上一帧视频图像之间是否存在异常变动,其中,异常变动指的是待处理的当前帧视频图像与上一帧视频图像的内容变化大于目标条件,可选的,所述内容包括但不限于视频图像的数据量分布情况(例如,当前帧视频图像与上一帧视频图像之间是否存在严重的锐化现象等)、图像显示内容等。
在一种实现方式中,若不存在异常变动,那么可以将与所述比值匹配的阈值范围所对应的第一低通滤波器作为目标低通滤波器。在另一种实现方式中,若存在异常变动,那么可以获取第二低通滤波器作为目标低通滤波器,其中,需要说明的是,本申请实施例中的第二低通滤波器滤除高频分量的能力高于第一低通滤波器。
例如,在一个具体的应用场景中,可以根据滤波器库中与多帧视频图像分别对应的初始码率与目标码率的比值将与所述比值匹配的阈值范围按照阶梯状的方式进行设定,可选的,可以将阶梯区域设置分为若干个等级,可以滤过更多高频分量的等级可以给出抽头数越高的目标低通滤波器(可选的,此处的低通滤波器可以是二维低通滤波器)。
具体的,若检测到待处理的当前帧视频图像与上一帧视频图像之间不存在异常变动,那么可以直接将与所述比值匹配的阈值范围所对应的第一低通滤波器作为目标低通滤波器,例如,按照等级由高至低(可以理解为滤除视频图像中的高频分量的能力)预先设定了比值的阈值范围为:(0,2]、(2,5]和(5,+无穷],计算得到的比值k=3,那么此种情况下,可以将与阈值范围为(2,5]所对应的第一低通滤波器作为目标低通滤波器。而若检测到待处理的当前帧视频图像与上一帧视频图像之间存在异常变动,那么则将选取等级低于(2,5]所对应的低通滤波器作为第二低通滤波器,例如可以选取阈值范围为(0,2]所对应的低通滤波器作为第二低通滤波器,此种情况下,将第二低通滤波器作为目标低通滤波器。
作为另一种方式,当初始码率与目标码率的比值满足一定条件时,或者可以理解为该比值足够大时,待处理视频图像的比较清晰的,可以不进行低通滤波处理而直接输入编码器编码压缩后输出,以便节省处理视频图像的时长。那么在这种情况下,可以设定初始码率与目标码率的比值的指定阈值,使得当检测相机拍摄的待处理视频图像中所述比值达到指定阈值时,可以直接编码,需要说明的是,这种情况下不进行低通滤波处理直接编码不会影响待处理视频图像的画质。其中,指定阈值的具体数值不作限定,可以根据实际情况进行设定。
在一种实现方式中,电子设备可以实时检测初始码率与目标码率的比值是否与指定阈值匹配,可选的,若检测到初始码率与目标码率的比值与指定阈值匹配,那么可以取消获取目标低通滤波器,以取消在编码压缩之前进行模糊化处理,可以缩短视频图像的处理流程,提升用户体验。
步骤S240:根据所述目标低通滤波器对所述待处理视频图像做卷积运算。
其中,本申请实施例中的卷积运算即为对待处理视频图像进行模糊化处理。
值得注意的是,为了减少待处理视频图像中的高频分量,保留低频信息,从而提升视频图像的画质以及整体播放效果(例如,播放的流畅性等),可以采用所获取的目标低通滤波器对待处理视频图像做卷积运算,使得编码器获取到的视频图像为经过滤波处理的视频图像,从而实现编码后的视频图像的数据量分布更加均匀。
作为一种实现方式,假设原始待处理视频图像为S,经过卷积运算处理后的视频图像为S’,目标低通滤波器LF为n抽头的二维低通滤波器,其中,n由滤波器库所决定,表示的是低通滤波器的抽头数(也可以理解为低通滤波器的系数),那么可以通过S*LF=S′对待处理视频图像做卷积运算,其中,*为卷积。
例如,在一个具体的应用场景中,假设目标低通滤波器(LF)为一个三抽头的低通滤波器:
那么可以得到进行模糊化处理后的图像S’中(m,n)位置上的像素值:
其中,(m,n)为进行模糊化处理后的图像S’上的某一点的坐标。
步骤S250:对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像。
作为一种方式,可以基于传输码率对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像。可以理解的是,因为低通滤波器的模板是根据传输给相机的分辨率以及传输给编码器的码率所计算得出的,可以使得进行模糊化处理之后的视频图像在输入编码器编码时减少数据量分配不均的问题,也可以避免视频帧间图像数据分配不均的问题,进而使得视频图像整体编码压缩之后,播放起来更加流畅,实现了减少马赛克、块效应等现象,提升用户体验。
步骤S260:传输所述目标视频图像。
下面再结合附图5对本实施例的内容进行介绍。
如图5所示,为本申请实施例提供的视频图像处理的方法的处理流程示例框图。其中,电子设备在接受上层(例如,某个需要调用视频录制功能的应用程序)调用配置参数时,会把需要相机给出的视频图像的分辨率(如图5中的视频图像分辨率)发送给相机,把需要的码率(如图5中的要求码率)以及视频图像的压缩格式发送给编码器,同时还会把视频图像分辨率和要求传输码率提供给滤波器库,以便滤波器库根据这些数据提供滤波模板(即低通滤波器)。
作为一种方式,在相机获取了视频图像之后,为了便于减少视频图像中的高频分量,可以在将视频图像发送给编码器进行编码压缩之前,通过滤波器库提供的低通滤波器对待处理视频图像进行模糊化处理,即统一减少甚至是去除视频图像中的高频分量,保留低频信息,将经过模糊化处理后的待处理视频图像发送至编码器,编码器将根据接收到的要求码率以及压缩格式对经过模糊化处理后的待处理视频图像进行编码压缩,得到目标视频图像,再将目标图像通过码流输出可传输文件。其中,对待处理的视频图像进行模糊化处理的具体流程可以参见前述实施例中的描述,在此不再赘述。
通过对待处理图像进行模糊滤波处理,可以有效减少视频编码过程中出现数据分配策略错误的几率,使编码之后的视频播放效果更加流畅。
需要说明的是,作为一种方式,为了在保证编码之后的视频播放效果更加流畅的同时,依然可以使得视频在播放时有较高的清晰度,还可以将模糊化处理过程中过滤掉的高频分量的相关参数进行存储,例如,每帧图像的高频分量的存在的区域。以便在传输编码后的视频图像时,同时传输前述的过滤掉的高频分量的相关参数,以便可以在播放视频时可以基于该高频分量的相关参数对视频进行显示效果增强,例如,提升视频图像中每一帧的高频分量,进而提升清晰度。并且,因为是基于之前每一帧视频图像滤掉的高频分量的相关参数进行对每一帧图像进行视频增强,可以在视频图像流程播放的同时提升视频图像清晰度的同时,并且还能使得视频更能还原拍摄时的实际显示效果。
本申请实施例提供的一种视频图像处理的方法,实现了将视频图像数据输入给编码器之前,通过低通滤波器与视频图像做卷积对视频图像进行模糊化处理,使得编码器获取到的输入视频图像经过滤波处理,其中,滤波器库可以根据相机获取到的内容对所提供的目标低筒滤波器做动态适配,提高了灵活性,然后再进行编码,可以实现处理之后的视频图像在被编码器编码时减少数据量分配不均的问题,进而使得视频整体编码之后,播放起来没有太大效果差距,减少马赛克、块效应,使得播放效果连贯一致,提高播放流畅度。
请参阅图6,本申请实施例提供的一种视频图像处理的装置400,运行于电子设备,所述装置400包括:
视频图像获取模块410,用于获取图像采集元件采集的待处理视频图像。
视频图像处理模块420,用于采用目标低通滤波器对所述待处理视频图像进行模糊化处理,所述模糊化处理用于减少所述待处理视频图像的高频分量。
作为一种方式,视频图像处理模块420可以用于获取所述待处理视频图像的图像配置参数,再基于所述图像配置参数获取所述目标低通滤波器,然后根据所述目标低通滤波器对所述待处理视频图像做卷积运算。
可选的,本申请实施例中的图像配置参数可以包括待处理视频图像的分辨率以及传输码率,那么,在这种方式下,视频图像处理模块420具体可以用于基于所述分辨率以及所述传输码率计算所述待处理视频图像的初始码率,再获取所述待处理视频图像的目标码率,然后可以根据所述初始码率与所述目标码率的比值获取所述目标低通滤波器。
其中,作为一种方式,可以将所述初始码率与所述目标码率的比值与预先设定的多个阈值范围进行匹配,然后将与所述比值匹配的阈值范围所对应的低通滤波器作为目标低通滤波器。
可选的,本申请实施例中的待处理视频图像可以包括多帧视频图像,在一种实现方式中,可以通过检测所述待处理视频图像的中待处理的当前帧视频图像与上一帧视频图像之间是否存在异常变动,所述异常变动为所述待处理的当前帧视频图像与所述上一帧视频图像的内容变化大于目标条件。作为一种方式,若不存在,那么可以将与所述比值匹配的阈值范围所对应的第一低通滤波器作为目标低通滤波器;而作为另一种方式,若存在,那么可以获取第二低通滤波器作为目标低通滤波器,其中,所述第二低通滤波器滤除高频分量的能力高于所述第一低通滤波器。
在另一种实现方式中,若所述初始码率与所述目标码率的比值与指定阈值匹配,那么可以取消获取所述目标低通滤波器,以取消在编码压缩之前进行模糊化处理。
视频图像编码模块430,用于对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像。
作为一种方式,视频图像编码模块430可以用于基于所述传输码率对进行模糊化处理后的所述待处理视频图像进行编码压缩,以得到目标视频图像。
视频图像输出模块440,用于传输所述目标视频图像。
需要说明的是,本申请中装置实施例与前述方法实施例是相互对应的,装置实施例中具体的原理可以参见前述方法实施例中的内容,此处不再赘述。
下面将结合图7对本申请提供的一种电子设备进行说明。
请参阅图7,基于上述的视频图像处理的方法、装置,本申请实施例还提供的另一种可以执行前述视频图像处理的方法的电子设备100。电子设备100包括相互耦合的一个或多个(图中仅示出一个)处理器102、存储器104、网络模块106以及图像采集元件108。其中,该存储器104中存储有可以执行前述实施例中内容的程序,而处理器102可以执行该存储器104中存储的程序,存储器104包括前述实施例中所描述的装置400。
其中,处理器102可以包括一个或者多个处理核。处理器102利用各种接口和线路连接整个电子设备200内的各个部分,通过运行或执行存储在存储器104内的指令、程序、代码集或指令集,以及调用存储在存储器104内的数据,执行电子设备200的各种功能和处理数据。可选地,处理器102可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(ProgrammableLogic Array,PLA)中的至少一种硬件形式来实现。处理器102可集成中央处理器(CentralProcessing Unit,CPU)、视频图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器102中,单独通过一块通信芯片进行实现。
存储器104可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、视频图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
所述网络模块106用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯,例如和音频播放设备进行通讯。所述网络模块106可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如,网络模块106可以与基站进行信息交互。
图像采集元件108用于采集电子设备100的摄像头所拍摄的视频图像数据,包括照片、视频等。图像采集元件108将采集到的视频图像数据发送给处理器102,以便于处理器102对视频图像数据进行处理。
请参考图8,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质500中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质500包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。
本申请提供的一种视频图像处理的方法、装置、电子设备以及存储介质,通过获取图像采集元件采集的待处理视频图像,然后在对待处理视频图像进行编码压缩之前,采用目标低通滤波器对待处理视频图像进行模糊化处理,以减少待处理视频图像的高频分量,再对进行模糊化处理后的待处理视频图像进行编码压缩,得到目标视频图像,然后传输目标视频图像。从而通过上述方式实现了将视频图像输入给编码器之前,通过低通滤波器与视频图像做高频滤波卷积以实现进行模糊化处理,使得编码器获取到的进行编码的视频图像经过滤波处理已经减少了高频分量,实现了视频图像在被编码器编码时减少数据量分配不均的问题,进而使得视频整体编码之后,在播放过程中减少马赛克、块效应,使得播放效果连贯一致,提高了播放流畅度。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种视频图像处理的方法,其特征在于,应用于电子设备,所述方法包括:
获取图像采集元件采集的待处理视频图像;
采用目标低通滤波器对所述待处理视频图像进行模糊化处理,所述模糊化处理用于减少所述待处理视频图像中的高频分量;
对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像;
传输所述目标视频图像。
2.根据权利要求1所述的方法,其特征在于,所述采用目标低通滤波器对所述待处理视频图像进行模糊化处理的步骤包括:
获取所述待处理视频图像的图像配置参数;
基于所述图像配置参数获取所述目标低通滤波器;
根据所述目标低通滤波器对所述待处理视频图像做卷积运算。
3.根据权利要求2所述的方法,其特征在于,所述图像配置参数包括所述待处理视频图像的分辨率以及传输码率,所述基于所述图像配置参数获取所述目标低通滤波器的步骤包括:
基于所述分辨率以及所述传输码率计算所述待处理视频图像的初始码率;
获取所述待处理视频图像的目标码率;
根据所述初始码率与所述目标码率的比值获取所述目标低通滤波器。
4.根据权利要求3所述的方法,其特征在于,所述根据所述初始码率与所述目标码率的比值获取所述目标低通滤波器的步骤包括:
将所述初始码率与所述目标码率的比值与预先设定的多个阈值范围进行匹配;
将与所述比值匹配的阈值范围所对应的低通滤波器作为目标低通滤波器。
5.根据权利要求4所述的方法,其特征在于,所述待处理视频图像包括多帧视频图像,所述将与所述比值匹配的阈值范围所对应的低通滤波器作为目标低通滤波器的步骤包括:
检测所述待处理视频图像中的待处理的当前帧视频图像与上一帧视频图像之间是否存在异常变动,所述异常变动为所述待处理的当前帧视频图像与所述上一帧视频图像的内容变化大于目标条件;
若不存在,将与所述比值匹配的阈值范围所对应的第一低通滤波器作为目标低通滤波器;
若存在,获取第二低通滤波器作为目标低通滤波器,其中,所述第二低通滤波器滤除高频分量的能力高于所述第一低通滤波器。
6.根据权利要求4所述的方法,其特征在于,所述将与所述比值匹配的阈值范围所对应的低通滤波器作为目标低通滤波器的步骤包括:
若所述初始码率与所述目标码率的比值与指定阈值匹配,取消获取所述目标低通滤波器,以取消在编码压缩之前进行模糊化处理。
7.根据权利要求3-6任一所述的方法,其特征在于,所述对进行模糊化处理后的所述待处理视频图像进行编码压缩的步骤包括:
基于所述传输码率对进行模糊化处理后的所述待处理视频图像进行编码压缩。
8.一种视频图像处理的装置,其特征在于,运行于电子设备,所述装置包括:
视频图像获取模块,用于获取图像采集元件采集的待处理视频图像;
视频图像处理模块,用于采用目标低通滤波器对所述待处理视频图像进行模糊化处理,所述模糊化处理用于减少所述待处理视频图像的高频分量;
视频图像编码模块,用于对进行模糊化处理后的所述待处理视频图像进行编码压缩,得到目标视频图像;
视频图像输出模块,用于传输所述目标视频图像。
9.一种电子设备,其特征在于,包括图像采集元件、一个或多个处理器以及存储器;
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行权利要求1-7任一所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,其中,在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。
CN201910472833.0A 2019-05-31 2019-05-31 视频图像处理的方法、装置、电子设备以及存储介质 Active CN110149554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910472833.0A CN110149554B (zh) 2019-05-31 2019-05-31 视频图像处理的方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910472833.0A CN110149554B (zh) 2019-05-31 2019-05-31 视频图像处理的方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN110149554A true CN110149554A (zh) 2019-08-20
CN110149554B CN110149554B (zh) 2021-06-15

Family

ID=67590192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910472833.0A Active CN110149554B (zh) 2019-05-31 2019-05-31 视频图像处理的方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN110149554B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996131A (zh) * 2020-03-02 2020-04-10 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备及存储介质
CN111402165A (zh) * 2020-03-18 2020-07-10 展讯通信(上海)有限公司 图像处理方法、装置、设备及存储介质
CN112087636A (zh) * 2020-08-07 2020-12-15 北京博雅慧视智能技术研究院有限公司 一种图像编码的处理方法、装置、存储介质及终端
CN112565660A (zh) * 2020-12-08 2021-03-26 维沃移动通信有限公司 图像处理方法及装置
CN112631524A (zh) * 2020-12-29 2021-04-09 杭州海康汽车软件有限公司 一种存储介质分配方法、装置及电子设备
CN114363693A (zh) * 2020-10-13 2022-04-15 华为技术有限公司 画质调整方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233266A (ja) * 1993-02-02 1994-08-19 Matsushita Electric Ind Co Ltd 映像符号化装置および映像復号化装置
WO2000025312A1 (fr) * 1998-10-27 2000-05-04 Hitachi Maxell, Ltd. Procede et systeme d'enregistrement d'informations, systeme de compression/decompression d'images, procede de commande de ces systemes, et systeme de controle comprenant une partie ou la totalite des systemes precedents
CN1607809A (zh) * 2003-10-15 2005-04-20 株式会社Ntt都科摩 图像信号处理方法、设备以及图像信号处理程序
CN1799492A (zh) * 2005-12-02 2006-07-12 清华大学 无线内窥镜***的准无损图像压缩和解压缩方法
US20080152244A1 (en) * 2001-12-28 2008-06-26 Tooru Suino Image-processing apparatus, image-processing method, program and computer readable information recording medium
CN101668196A (zh) * 2009-09-25 2010-03-10 西安电子科技大学 基于下采样和插值的低码率图像压缩方法
CN104661023A (zh) * 2015-02-04 2015-05-27 天津大学 基于预失真和训练滤波器的图像或视频编码方法
JP2015226260A (ja) * 2014-05-29 2015-12-14 パナソニックIpマネジメント株式会社 映像処理装置及び映像処理方法
CN107592535A (zh) * 2017-08-18 2018-01-16 西安邮电大学 H.265/hevc图像层码率控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06233266A (ja) * 1993-02-02 1994-08-19 Matsushita Electric Ind Co Ltd 映像符号化装置および映像復号化装置
WO2000025312A1 (fr) * 1998-10-27 2000-05-04 Hitachi Maxell, Ltd. Procede et systeme d'enregistrement d'informations, systeme de compression/decompression d'images, procede de commande de ces systemes, et systeme de controle comprenant une partie ou la totalite des systemes precedents
US20080152244A1 (en) * 2001-12-28 2008-06-26 Tooru Suino Image-processing apparatus, image-processing method, program and computer readable information recording medium
CN1607809A (zh) * 2003-10-15 2005-04-20 株式会社Ntt都科摩 图像信号处理方法、设备以及图像信号处理程序
CN1799492A (zh) * 2005-12-02 2006-07-12 清华大学 无线内窥镜***的准无损图像压缩和解压缩方法
CN101668196A (zh) * 2009-09-25 2010-03-10 西安电子科技大学 基于下采样和插值的低码率图像压缩方法
JP2015226260A (ja) * 2014-05-29 2015-12-14 パナソニックIpマネジメント株式会社 映像処理装置及び映像処理方法
CN104661023A (zh) * 2015-02-04 2015-05-27 天津大学 基于预失真和训练滤波器的图像或视频编码方法
CN107592535A (zh) * 2017-08-18 2018-01-16 西安邮电大学 H.265/hevc图像层码率控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李栋: "《基于拉普拉斯下采样和方向波插值的低码率图像压缩》", 《中国优秀硕士学位论文全文数据库》 *
谢松昭: "《基于全相位双正交变换和全相位内插的图像压缩算法研究》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110996131A (zh) * 2020-03-02 2020-04-10 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备及存储介质
CN111402165A (zh) * 2020-03-18 2020-07-10 展讯通信(上海)有限公司 图像处理方法、装置、设备及存储介质
CN112087636A (zh) * 2020-08-07 2020-12-15 北京博雅慧视智能技术研究院有限公司 一种图像编码的处理方法、装置、存储介质及终端
CN114363693A (zh) * 2020-10-13 2022-04-15 华为技术有限公司 画质调整方法及装置
CN112565660A (zh) * 2020-12-08 2021-03-26 维沃移动通信有限公司 图像处理方法及装置
CN112631524A (zh) * 2020-12-29 2021-04-09 杭州海康汽车软件有限公司 一种存储介质分配方法、装置及电子设备

Also Published As

Publication number Publication date
CN110149554B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN110149554A (zh) 视频图像处理的方法、装置、电子设备以及存储介质
US11006046B2 (en) Image processing method and mobile terminal
EP3171596B1 (en) Image compression with adaptive quantization of regions of interest (roi)
CN109729405B (zh) 视频处理方法、装置、电子设备及存储介质
CN105472205B (zh) 编码过程中的实时视频降噪方法和装置
US11490157B2 (en) Method for controlling video enhancement, device, electronic device and storage medium
CN109618228B (zh) 视频增强控制方法、装置以及电子设备
US11627369B2 (en) Video enhancement control method, device, electronic device, and storage medium
US20100074328A1 (en) Method and system for encoding an image signal, encoded image signal, method and system for decoding an image signal
CN109168065B (zh) 视频增强方法、装置、电子设备及存储介质
CN110766637B (zh) 一种视频处理方法、处理装置、电子设备及存储介质
CN105898565A (zh) 一种视频处理方法及设备
CN110740316A (zh) 数据编码方法及装置
CN110378860A (zh) 修复视频的方法、装置、计算机设备和存储介质
CN104052992B (zh) 一种图像处理方法及电子设备
JPH04219089A (ja) 画像符号化装置
CN108307101B (zh) 一种图像处理方法及电子设备、服务器
JP2007334457A (ja) 画像処理装置及び画像処理方法
CN106921840B (zh) 一种即时视频中的人脸美化方法、设备及***
CN116847087A (zh) 视频处理方法、装置、存储介质及电子设备
JP2020028111A (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
CN111382772B (zh) 一种图像处理方法、装置及终端设备
CN107547895B (zh) 一种图像处理方法及其装置
CN103929654B (zh) 一种图像数据处理方法及装置
JP2015115901A (ja) 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant