CN114584831B - 提高视频清晰度的视频优化处理方法、装置、设备和存储介质 - Google Patents

提高视频清晰度的视频优化处理方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN114584831B
CN114584831B CN202210068277.2A CN202210068277A CN114584831B CN 114584831 B CN114584831 B CN 114584831B CN 202210068277 A CN202210068277 A CN 202210068277A CN 114584831 B CN114584831 B CN 114584831B
Authority
CN
China
Prior art keywords
video
processing
information
rendered
sharpening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210068277.2A
Other languages
English (en)
Other versions
CN114584831A (zh
Inventor
汪叶娇
靳凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bigo Technology Pte Ltd
Original Assignee
Bigo Technology Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bigo Technology Pte Ltd filed Critical Bigo Technology Pte Ltd
Priority to CN202210068277.2A priority Critical patent/CN114584831B/zh
Publication of CN114584831A publication Critical patent/CN114584831A/zh
Application granted granted Critical
Publication of CN114584831B publication Critical patent/CN114584831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种提高视频清晰度的视频优化处理方法、装置、设备和存储介质,该方法包括:通过摄像头模块进行视频采集得到视频信息;通过后处理模块获取所述视频信息,对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,所述滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法;通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。本方案中,采用较少的数据计算量,保证高清晰度的视频播放,可部署于实时视频播放的场景,同时减少了视频中的噪音信息,优化了用户的观看体验,可以显著提升视频清晰度。

Description

提高视频清晰度的视频优化处理方法、装置、设备和存储介质
技术领域
本申请实施例涉及视频处理技术领域,尤其涉及一种提高视频清晰度的视频优化处理方法、装置、设备和存储介质。
背景技术
随着互联网直播及短视频技术的普及,越来越多的人们可以通过视频直播了解千里外的风土人情、与异国他乡的主播进行互动和交流。但随之而来的是人们不再只满足于视频内容,对于视频画质、主观清晰度提出了更高的要求。主播和观众都期待看到细节更丰富的景色、期待看到纹理更精细的发丝等,这些都要求我们对直播场景下的视频主观清晰度进行进一步优化。
现有提高视频主观清晰度的方法一般是通过后处理的视频增强算法达到提升主观清晰度的目的,使用的后处理视频增强算法一般分为两类,其中,常使用的增强算法便是通过超分辨率等手段直接提升视频帧分辨率,从而使人眼看到的画面更细腻、感官上更清晰。另一类算法中,利用人眼对高频信号更敏感的特性,可以通过算法增强视频帧细节,提升画面细节对比度从而达到提升主观清晰度的目的。但是,上述方法的缺陷在于,超分的视频增强算法由于需要人为插值提升视频帧分辨率,其计算量较大,想要实时部署在移动端设备面临很大困难。同时,传统的锐化处理算法对噪音非常敏感,会将噪音同时放大,使平坦区域的噪声令用户不可忍受。除此之外,上述提高清晰度的方案大多基于图像本身进行处理,缺乏更为合理的参数的引入以提升视频清晰度和用户观看体验,需要改进。
发明内容
本发明实施例提供了一种提高视频清晰度的视频优化处理方法、装置、设备和存储介质,解决了现有技术中在保证高清晰度的视频播放时,数据计算量大、无法进行实时场景下视频优化的部署,同时减少了提升视频清晰度时的噪音被放大的问题,本方案提供的视频优化处理机制引入了设备参数,可以显著提升视频清晰度。
第一方面,本发明实施例提供了一种提高视频清晰度的视频优化处理方法,该方法包括:
通过摄像头模块进行视频采集得到视频信息;
通过后处理模块获取所述视频信息,对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,所述滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法;
通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
第二方面,本发明实施例还提供了另一种提高视频清晰度的视频优化处理方法,包括:
通过解码模块对接收到的编码数据进行解码得到待渲染视频数据;
通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
第三方面,本发明实施例还提供了一种提高视频清晰度的视频优化处理装置,包括:
摄像头模块,用于进行视频采集得到视频信息;
后处理模块,用于对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,所述滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法;
渲染处理模块,用于获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
第四方面,本发明实施例还提供了另一种提高视频清晰度的视频优化处理装置,包括:
解码模块,用于对接收到的编码数据进行解码得到待渲染视频数据;
渲染处理模块,用于获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
第五方面,本发明实施例还提供了一种提高视频清晰度的视频优化处理设备,该设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例所述的提高视频清晰度的视频优化处理方法。
第六方面,本发明实施例还提供了一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例所述的提高视频清晰度的视频优化处理方法。
本发明实施例中,通过摄像头模块进行视频采集得到视频信息,再利用后处理模块获取视频信息,对视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法,再通过渲染处理模块获取该待渲染视频数据,基于屏幕尺寸对待渲染视频数据进行渲染,实现了采用较少的数据计算量,保证高清晰度的视频播放,可部署与实时视频播放的场景下,同时减少了视频中的噪音信息,可以显著提升视频清晰度。
附图说明
图1为本发明实施例提供的一种提高视频清晰度的视频优化处理方法的流程图;
图2为本发明实施例提供的一种对视频信息进行处理生成待渲染视频数据的方法的流程图;
图3为本发明实施例提供的一种对视频信息进行锐化处理的方法的流程图;
图4为本发明实施例提供的一种基于屏幕尺寸进行待渲染视频数据渲染处理的方法的流程图;
图5为本发明实施例提供的一种采用宽度方向缩放的方式对待渲染视频数据进行渲染生成的界面示意图;
图6为本发明实施例提供的一种采用高度方向缩放的方式对待渲染视频数据进行渲染生成的界面示意图;
图7为本发明实施例提供的一种视频优化处理前后的图像对比示意图;
图8为本发明实施例提供的一种根据当前设备的屏幕尺寸确定尺寸调节系数的方法的流程图;
图9为本发明实施例提供的另一种提高视频清晰度的视频优化处理方法的流程图;
图10为本发明实施例提供的一种提高视频清晰度的视频优化处理装置的结构框图;
图11为本发明实施例提供的另一种提高视频清晰度的视频优化处理装置的结构框图。
图12为本发明实施例提供的一种提高视频清晰度的视频优化处理设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本发明实施例提供的一种提高视频清晰度的视频优化处理方法的流程图,可应用于直播视频进行处理以提升视频清晰度,该方法可以由计算设备如主播端电脑、智能终端、笔记本、平板电脑等来执行,具体包括如下步骤:
步骤S101、通过摄像头模块进行视频采集得到视频信息。
其中,摄像头模块包括摄像头装置,可进行视频的采集。以主播进行视频直播为例,可通过摄像头模块对包含主播的画面进行采集,或者在户外直播时,可通过摄像头模块进行户外拍摄。
可选的,不同的摄像头或者不同设置参数对应采集图像的分辨率不同。在一个实施例中,将摄像头模块采集图像的分辨率设置为该摄像头模块支持的最高视频录制分辨率,以从视频源头捕捉更多的视频细节。
在一个实施例中,摄像头模块进行视频采集得到视频信息的过程中,包括:基于设备芯片处理参数对采集的视频进行缩放处理得到视频信息。具体的,考虑到在后续对采集得到的视频信息会进行复杂的特效处理,如进行美颜处理、美妆处理等,对于计算处理能力较弱的设备,其耗时会显著增加。本方案中,基于设备芯片处理参数对采集的视频进行缩放处理。具体的,可对各个终端设备使用的芯片情况进行统计根据计算能力高低进行排序,针对某些计算能力相对较差的芯片设备,对采集的视频进行缩放处理。可选的,针对需要缩放处理的情况,可首先判断采集的视频的分辨率是否高于预设分辨率(示例性的可设置为720P),如果是,则对采集的视频进行缩放,下采样处理至720P分辨率后,生成低分辨率的视频信息,以用于后续模块进行特效处理。由此,保证了视频优化处理的整体运行速度,以及视频播放的实时性。
步骤S102、通过后处理模块获取所述视频信息,对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据。
其中,后处理模块为对视频信息进行图像优化处理的模块,以期得到高清晰度的视频。在一个实施例中,通过对视频信息进行滤波处理和锐化处理得到待渲染视频数据。和传统的锐化处理方式不同,本方案将锐化处理进一步结合滤波处理,以得到待渲染视频数据。其中,待渲染视频数据即可用于送入渲染模块进行渲染的数据,如每帧图像中的各个像素点的像素值组成的数据。
可选的,图2为本发明实施例提供的一种对视频信息进行处理生成待渲染视频数据的方法的流程图,如图2所示,对视频信息进行滤波处理和锐化处理得到待渲染视频数据的过程可以是:
步骤S1021、对视频信息进行双边滤波处理得到滤波处理信息,对视频信息进行锐化处理得到锐化处理信息。
其中,通过对视频信息进行双边滤波处理,以减轻由于锐化处理导致的噪音被放大的问题。具体的,该双边滤波处理为用于对视频帧进行保边的模糊处理,目的在于去噪的同时保留边缘信息。其中,在进行锐化处理时,采用计算视频帧中的原始像素与高斯模糊后的像素的差的方式,求取视频帧的高频边缘信息。
在一个实施例中,进行双边滤波处理和锐化处理时均引入设备参数作为参考和/或计算的参数。其中,该设备参数包括设备使用的芯片型号、设备屏幕尺寸等。即在滤波处理和锐化处理过程中,根据不同的设备参数采取不同的计算方法。
可选的,对视频信息进行双边滤波处理得到滤波处理信息,包括:根据当前设备的芯片型号确定滤波器半径,基于滤波器半径对视频信息进行双边滤波处理得到滤波处理信息。示例性的,以搭载A14芯片,具有1284x2778屏幕分辨率的设备1,以及搭载A9芯片,具有750x1334屏幕分辨率的设备2为例,不同芯片型号和分辨率的设备需要适配相应的后处理算法以达到最优的主观清晰度效果。可选的,针对设备1而言,在进行双边滤波处理时,使用5x5滤波器;针对设备2而言,在进行双边滤波处理时,使用3x3滤波器。其中,在进行滤波器半径确定时,可对设备芯片型号有处理能力的高低依次进行排序,例如依次排序为A1、A2、...、A15,其中序号越高表征其芯片处理能力越强,对于芯片型号大于A11的设备而言,采用5x5滤波器进行双边滤波处理,对于芯片型号不大于A11的设备而言,采用3x3滤波器进行双边滤波处理。示例性的,经双边滤波处理得到滤波处理信息可记为biliterald(SoC),δ_space=1,δ_color=1/255,其表示视频信息经空间半径为d(SoC)、空间核标准差为1、值域核标准差为1/255的双边滤波处理后的像素值。其中,该d(SoC)的取值根据设备芯片(SoC)的型号确定,如前述的SoC型号大于A11的设备,采用5x5滤波器进行双边滤波处理,即d(SoC)取值为5,对于SoC型号不大于A11的设备,d(SoC)取值为3。
可选的,图3为本发明实施例提供的一种对视频信息进行锐化处理的方法的流程图,如图3所示,具体包括:
步骤S10211、对所述视频信息中的像素点进行模糊处理得到模糊像素信息。
其中,模糊处理的方式可以是高斯模糊处理。示例性的,以raw为获取到的视频信息为例,对视频信息中的像素点进行模糊处理得到模糊像素信息记为gaussianr=3,δ=0.8,其中gaussianr=3,δ=0.8表示经模糊半径为3,标准差为0.8的高斯模糊处理后的像素值。
步骤S10212、将所述视频信息中的像素信息与确定出的模糊像素信息求差得到待处理锐化信息。
其中,原始的视频信息中的像素信息记为raw,待处理锐化信息为原始的视频信息中的像素信息与步骤S10211确定的gaussianr=3,δ=0.8之差,即记为raw-gaussianr=3,δ=0.8
步骤S10213、根据当前设备的屏幕尺寸确定尺寸调节系数,将所述尺寸调节系数与所述待处理锐化信息的乘积确定为锐化处理信息。
在进行锐化处理过程中,引入屏幕尺寸作为参考量计算得到尺寸调节系数,将尺寸调节系数与待处理锐化信息的乘积确定为锐化处理信息。示例性的,该尺寸调节系数记为βwidth,其中,width表示屏幕尺寸中的屏幕宽度。此时,计算得到的锐化处理信息相应的记为βwidth(raw-gaussianr=3,δ=0.8)。
步骤S1022、根据滤波处理信息和锐化处理信息计算生成待渲染视频数据。
其中,在分别得到滤波处理信息和锐化处理信息后,将二者进行叠加以计算生成待渲染视频数据。如该待渲染视频数据记为:sharpβ_width,Soc,则sharpβ_width,Soc=biliterald(SoC),δ_space=1,δ_color=1/255width(raw-gaussianr=3,δ=0.8)。
步骤S103、通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
其中,在步骤S102得到待渲染视频数据后,通过渲染处理模块获取该待渲染视频数据并进行渲染处理。在一个实施例中,该渲染处理的过程基于屏幕尺寸采用不同的渲染处理方式。
可选的,图4为本发明实施例提供的一种基于屏幕尺寸进行待渲染视频数据渲染处理的方法的流程图,如图4所示,具体包括:
步骤S1031、确定当前设备的屏幕尺寸。
在一个实施例中,可通过读取设备记录的硬件信息以确定屏幕尺寸大小,或者根据算法设计人员在对不同设备进行适配处理时,进行屏幕尺寸大小的录入嵌入到渲染处理模块中。
步骤S1032、判断该屏幕尺寸是否大于预设长宽比例值,如果是,则执行步骤S1033,否则,执行步骤S1034。
其中,该预设长宽比例值示例性的可以是16:9。
步骤S1033、采用宽度方向缩放的方式对所述待渲染视频数据进行渲染。
可选的,当屏幕尺寸大于预设长宽比例值,屏幕大小更为修长,此时采用宽度方向缩放的方式进行渲染,以使得视频内容在宽度方向上铺满,进而达到更有的主观清晰度。如图5所示,图5为本发明实施例提供的一种采用宽度方向缩放的方式对待渲染视频数据进行渲染生成的界面示意图。其中,图5包含有区域01和区域02,其中区域01为沿宽度方向进行渲染以视频内容铺满屏幕宽度方向时得到的视频显示内容的区域,区域02为非视频显示区域,如白色或黑色组成的边缘区域。
步骤S1034、采用高度方向缩放的方式对所述待渲染视频数据进行渲染。
可选的,当屏幕尺寸不大于预设长宽比例值,屏幕大小更为扁圆,此时采用高度方向缩放的方式进行渲染,以使得视频内容在高度方向上铺满,进而达到更有的主观清晰度。如图6所示,图6为本发明实施例提供的一种采用高度方向缩放的方式对待渲染视频数据进行渲染生成的界面示意图。其中,图6包含有区域03和区域04,其中区域03为沿高度方向进行渲染以视频内容铺满屏幕宽度方向时得到的视频显示内容的区域,区域04为非视频显示区域,如白色或黑色组成的边缘区域。
其中,图7为本发明实施例提供的一种视频优化处理前后的图像对比示意图,如图7所示,图7左边为未经过本方案提供的视频优化处理生成的视频图像,图7右边为经过本方案提供的视频优化处理生成的视频图像,其清晰度显著由于未处理时的图像清晰度。
由上述方案可知,在提高视频清晰度的处理过程中,通过采用双边滤波处理和锐化处理结合的方式,降低了原有的使用单一锐化处理方式导致的图像噪音大的问题,同时在摄像头模块进行视频采集时,采用最高视频录制分辨力进行录制,以保证源视频的清晰度最高,同时基于设备芯片型号进行适应性的缩放处理以保证视频优化处理速度。在视频信息的双边滤波处理和锐化处理过程中,参***参数进行相应的算法计算,在不过多占用设备计算负载的同时,获取最优的主观清晰度体验。同时,在进行视频渲染处理时,基于不同的屏幕尺寸采用不同的渲染策略,在保证视频客观清晰度的同时,进一步提升了视频显示的主观清晰度。通过本方案的视频优化处理方法,使得处理后的视频纹理更加清晰,文字更加清楚。
在一个实施例中,如图8所示,图8为本发明实施例提供的一种根据当前设备的屏幕尺寸确定尺寸调节系数的方法的流程图,具体包括:
步骤S201、获取当前设备的屏幕宽度,根据预设参数计算公式计算所述屏幕宽度对应的宽度参数值。
其中,当前设备的屏幕宽度示例性的记为width,可选的,该预设参数计算公式可以是:
步骤S202、根据所述屏幕宽度以及预设阈值确定宽度调节值,将所述宽度参数值与所述宽度调节值之和确定为尺寸调节系数。
示例性的,宽度调节值记为g(width),该宽度调节值依据具体的屏幕宽度确定。可选的,通过发明人进行大量实验验证得到的一种示例性的设置方式为:当屏幕宽度大于或等于828时,该g(width)取值为0,当屏幕宽度小于828时,该g(width)取值为-0.1,此时计算得到的尺寸调节系数
最终,将该确定的尺寸调节系数βwidth与前述计算得到的锐化处理信息相乘后在与滤波处理信息相加得到最终的经过后处理模块处理后的像素点的像素值。
由上述可知,基于屏幕尺寸确定不同的尺寸调节系数后用于锐化处理过程,并最终生成处理后的待渲染视频数据,使得最终渲染得到的视频清晰度更优。
在上述技术方案的基础上,在通过后处理模块获取视频信息之前,还包括:通过特效处理模块对视频信息进行特效处理。即针对需要进行特效处理是视频信息,在进行后处理模块的处理之前,优先进行视频特效处理,该特效处理示例性的可以是利用集成的美颜软件模块对采集到的图像画面进行美颜或滤镜处理。在对视频信息进行滤波处理和锐化处理得到待渲染视频数据之后,还包括:对待渲染视频数据进行编码得到编码数据,将编码数据发送至用户端以进行解码,在用户端解码后,通过在用户端设置的渲染处理模块,基于用户端的屏幕尺寸对解码后的数据进行渲染得到最终显示的视频信息,以同时保证主播端和用户端的视频清晰度均得到显著提升。
图9为本发明实施例提供的另一种提高视频清晰度的视频优化处理方法的流程图,可应用于直播视频进行处理以提升视频清晰度,该方法可以由计算设备如用户端电脑、智能终端、笔记本、平板电脑等来执行,具体包括如下步骤:
步骤S301、通过解码模块对接收到的编码数据进行解码得到待渲染视频数据。
可选的,该编码数据为采用本发明实施例中,对视频信息进行的滤波处理和锐化处理后的数据进行编码得到的编码数据。通过对该编码数据进行解码以还原得到待渲染视频数据。
步骤S302、通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
可选的,该渲染处理模块的对待渲染视频数据的处理方式参考前述主播端渲染处理模块的处理方式,即确定当前设备的屏幕尺寸,如果所述屏幕尺寸大于预设长宽比例值,则采用宽度方向缩放的方式对所述待渲染视频数据进行渲染,如果所述屏幕尺寸不大于所述预设长宽比例值,则采用高度方向缩放的方式对所述待渲染视频数据进行渲染,此处不再赘述。
由上述方案可知,通过解码模块对接收到的编码数据进行解码得到待渲染视频数据,并通过渲染处理模块获取待渲染视频数据,基于屏幕尺寸对待渲染视频数据进行渲染,实现了对待渲染视频数据进行合理的缩放尺寸下的渲染,优化了视频内容的显示效果,提升了用户的观看体验。
图10为本发明实施例提供的一种提高视频清晰度的视频优化处理装置的结构框图,该装置用于执行上述实施例提供的部分提高视频清晰度的视频优化处理方法,具备执行方法相应的功能模块和有益效果。如图10所示,该装置具体包括:摄像头模块101、后处理模块102和渲染处理模块103,其中,
摄像头模块101,用于进行视频采集得到视频信息;
后处理模块102,用于对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,所述滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法;
渲染处理模块103,用于获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
由上述方案可知,通过摄像头模块进行视频采集得到视频信息,再利用后处理模块获取视频信息,对视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法,再通过渲染处理模块获取该待渲染视频数据,基于屏幕尺寸对待渲染视频数据进行渲染,实现了采用较少的数据计算量,保证高清晰度的视频播放,可部署与实时视频播放的场景下,同时减少了视频中的噪音信息,可以显著提升视频清晰度。
在一个可能的实施例中,所述摄像头模块101具体用于:
摄像头模块基于设置的最高分辨率进行视频的采集,基于设备芯片处理参数对采集的视频进行缩放处理得到视频信息。
在一个可能的实施例中,所述后处理模块102具体用于:
对所述视频信息进行双边滤波处理得到滤波处理信息,对所述视频信息进行锐化处理得到锐化处理信息;
根据所述滤波处理信息和所述锐化处理信息计算生成待渲染视频数据。
在一个可能的实施例中,所述后处理模块102具体用于:
根据当前设备的芯片型号确定滤波器半径,基于所述滤波器半径对所述视频信息进行双边滤波处理得到滤波处理信息。
在一个可能的实施例中,所述后处理模块102具体用于:
对所述视频信息中的像素点进行模糊处理得到模糊像素信息;
将所述视频信息中的像素信息与确定出的模糊像素信息求差得到待处理锐化信息;
根据当前设备的屏幕尺寸确定尺寸调节系数,将所述尺寸调节系数与所述待处理锐化信息的乘积确定为锐化处理信息。
在一个可能的实施例中,所述后处理模块102具体用于:
获取当前设备的屏幕宽度,根据预设参数计算公式计算所述屏幕宽度对应的宽度参数值;
根据所述屏幕宽度以及预设阈值确定宽度调节值,将所述宽度参数值与所述宽度调节值之和确定为尺寸调节系数。
在一个可能的实施例中,所述后处理模块102具体用于:
将所述滤波处理信息和所述锐化处理信息中对应像素点的像素值进行叠加得到待渲染视频数据。
在一个可能的实施例中,所述渲染处理模块103具体用于:
确定当前设备的屏幕尺寸,如果所述屏幕尺寸大于预设长宽比例值,则采用宽度方向缩放的方式对所述待渲染视频数据进行渲染,如果所述屏幕尺寸不大于所述预设长宽比例值,则采用高度方向缩放的方式对所述待渲染视频数据进行渲染。
在一个可能的实施例中,该装置还包括特效处理模块104和编码发送模块105,所述特效处理模块104用于在通过后处理模块获取所述视频信息之前,通过特效处理模块对所述视频信息进行特效处理;
所述编码发送模块105用于:在对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据之后,对所述待渲染视频数据进行编码得到编码数据,将所述编码数据发送至用户端以进行解码后,通过在所述用户端设置的渲染处理模块,基于用户端的屏幕尺寸对解码后的数据进行渲染。
图11为本发明实施例提供的另一种提高视频清晰度的视频优化处理装置的结构框图,该装置用于执行上述实施例提供的部分提高视频清晰度的视频优化处理方法,具备执行方法相应的功能模块和有益效果。如图11所示,该装置具体包括:解码模块201和渲染处理模块202,其中,
解码模块201,用于对接收到的编码数据进行解码得到待渲染视频数据;
渲染处理模块202,用于获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
由上述方案可知,在进行视频渲染过程中,基于屏幕尺寸对待渲染视频数据进行渲染,即根据不同的屏幕尺寸进行不同方式的渲染策略,显著提高了视频的清晰度,保证了用户的观感体验。
在一个可能的实施例中,所述渲染处理模块202具体用于:
确定当前用户端设备的屏幕尺寸,如果所述屏幕尺寸大于预设长宽比例值,则采用宽度方向缩放的方式对所述待渲染视频数据进行渲染,如果所述屏幕尺寸不大于所述预设长宽比例值,则采用高度方向缩放的方式对所述待渲染视频数据进行渲染。
图12为本发明实施例提供的一种提高视频清晰度的视频优化处理设备的结构示意图,如图12所示,该设备包括处理器301、存储器302、输入装置303和输出装置304;设备中处理器301的数量可以是一个或多个,图12中以一个处理器301为例;设备中的处理器301、存储器302、输入装置303和输出装置304可以通过总线或其他方式连接,图12中以通过总线连接为例。存储器202作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的提高视频清晰度的视频优化处理方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的提高视频清晰度的视频优化处理方法。输入装置303可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种上述实施例描述的提高视频清晰度的视频优化处理方法,具体包括:
通过摄像头模块进行视频采集得到视频信息;
通过后处理模块获取所述视频信息,对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,所述滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法;
通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。或者,
通过解码模块对接收到的编码数据进行解码得到待渲染视频数据;
通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
值得注意的是,上述提高视频清晰度的视频优化处理装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
注意,上述仅为本发明实施例的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明实施例不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明实施例的保护范围。因此,虽然通过以上实施例对本发明实施例进行了较为详细的说明,但是本发明实施例不仅仅限于以上实施例,在不脱离本发明实施例构思的情况下,还可以包括更多其他等效实施例,而本发明实施例的范围由所附的权利要求范围决定。

Claims (15)

1.提高视频清晰度的视频优化处理方法,其特征在于,包括:
通过摄像头模块进行视频采集得到视频信息;
通过后处理模块获取所述视频信息,对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,所述滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法,其中不同的设备参数对应不同的滤波器半径以及尺寸调节系数,所述滤波器半径用于进行滤波处理计算,所述尺寸调节系数用于进行锐化处理计算;
通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
2.根据权利要求1所述的提高视频清晰度的视频优化处理方法,其特征在于,所述摄像头模块进行视频采集得到视频信息,包括:
摄像头模块基于设置的最高分辨率进行视频的采集,基于设备芯片处理参数对采集的视频进行缩放处理得到视频信息。
3.根据权利要求1所述的提高视频清晰度的视频优化处理方法,其特征在于,所述对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,包括:
对所述视频信息进行双边滤波处理得到滤波处理信息,对所述视频信息进行锐化处理得到锐化处理信息;
根据所述滤波处理信息和所述锐化处理信息计算生成待渲染视频数据。
4.根据权利要求3所述的提高视频清晰度的视频优化处理方法,其特征在于,所述对所述视频信息进行双边滤波处理得到滤波处理信息,包括:
根据当前设备的芯片型号确定滤波器半径,基于所述滤波器半径对所述视频信息进行双边滤波处理得到滤波处理信息。
5.根据权利要求3所述的提高视频清晰度的视频优化处理方法,其特征在于,所述对所述视频信息进行锐化处理得到锐化处理信息,包括:
对所述视频信息中的像素点进行模糊处理得到模糊像素信息;
将所述视频信息中的像素信息与确定出的模糊像素信息求差得到待处理锐化信息;
根据当前设备的屏幕尺寸确定尺寸调节系数,将所述尺寸调节系数与所述待处理锐化信息的乘积确定为锐化处理信息。
6.根据权利要求5所述的提高视频清晰度的视频优化处理方法,其特征在于,所述根据当前设备的屏幕尺寸确定尺寸调节系数,包括:
获取当前设备的屏幕宽度,根据预设参数计算公式计算所述屏幕宽度对应的宽度参数值;
根据所述屏幕宽度以及预设阈值确定宽度调节值,将所述宽度参数值与所述宽度调节值之和确定为尺寸调节系数。
7.根据权利要求3所述的提高视频清晰度的视频优化处理方法,其特征在于,所述根据所述滤波处理信息和所述锐化处理信息计算生成待渲染视频数据,包括:
将所述滤波处理信息和所述锐化处理信息中对应像素点的像素值进行叠加得到待渲染视频数据。
8.根据权利要求1所述的提高视频清晰度的视频优化处理方法,其特征在于,所述基于屏幕尺寸对所述待渲染视频数据进行渲染,包括:
确定当前设备的屏幕尺寸,如果所述屏幕尺寸大于预设长宽比例值,则采用宽度方向缩放的方式对所述待渲染视频数据进行渲染,如果所述屏幕尺寸不大于所述预设长宽比例值,则采用高度方向缩放的方式对所述待渲染视频数据进行渲染。
9.根据权利要求1所述的提高视频清晰度的视频优化处理方法,其特征在于,在通过后处理模块获取所述视频信息之前,还包括:
通过特效处理模块对所述视频信息进行特效处理;
在对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据之后,还包括:
对所述待渲染视频数据进行编码得到编码数据,将所述编码数据发送至用户端以进行解码后,通过在所述用户端设置的渲染处理模块,基于用户端的屏幕尺寸对解码后的数据进行渲染。
10.提高视频清晰度的视频优化处理方法,其特征在于,包括:
通过解码模块对接收到的编码数据进行解码得到待渲染视频数据,所述编码数据通过对视频信息进行滤波处理和锐化处理后的数据进行编码得到,其中不同的设备参数对应不同的滤波器半径以及尺寸调节系数,所述滤波器半径用于进行滤波处理计算,所述尺寸调节系数用于进行锐化处理计算;
通过渲染处理模块获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
11.根据权利要求10所述的提高视频清晰度的视频优化处理方法,其特征在于,所述基于屏幕尺寸对所述待渲染视频数据进行渲染,包括:
确定当前用户端设备的屏幕尺寸,如果所述屏幕尺寸大于预设长宽比例值,则采用宽度方向缩放的方式对所述待渲染视频数据进行渲染,如果所述屏幕尺寸不大于所述预设长宽比例值,则采用高度方向缩放的方式对所述待渲染视频数据进行渲染。
12.提高视频清晰度的视频优化处理装置,其特征在于,包括:
摄像头模块,用于进行视频采集得到视频信息;
后处理模块,用于对所述视频信息进行滤波处理和锐化处理得到待渲染视频数据,其中,所述滤波处理和所述锐化处理根据不同的设备参数采取不同的计算方法,其中不同的设备参数对应不同的滤波器半径以及尺寸调节系数,所述滤波器半径用于进行滤波处理计算,所述尺寸调节系数用于进行锐化处理计算;
渲染处理模块,用于获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
13.提高视频清晰度的视频优化处理装置,其特征在于,包括:
解码模块,用于对接收到的编码数据进行解码得到待渲染视频数据,所述编码数据通过对视频信息进行滤波处理和锐化处理后的数据进行编码得到,其中不同的设备参数对应不同的滤波器半径以及尺寸调节系数,所述滤波器半径用于进行滤波处理计算,所述尺寸调节系数用于进行锐化处理计算;
渲染处理模块,用于获取所述待渲染视频数据,基于屏幕尺寸对所述待渲染视频数据进行渲染。
14.一种提高视频清晰度的视频优化处理设备,所述设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-12中任一项所述的提高视频清晰度的视频优化处理方法。
15.一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-12中任一项所述的提高视频清晰度的视频优化处理方法。
CN202210068277.2A 2022-01-20 2022-01-20 提高视频清晰度的视频优化处理方法、装置、设备和存储介质 Active CN114584831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210068277.2A CN114584831B (zh) 2022-01-20 2022-01-20 提高视频清晰度的视频优化处理方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210068277.2A CN114584831B (zh) 2022-01-20 2022-01-20 提高视频清晰度的视频优化处理方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN114584831A CN114584831A (zh) 2022-06-03
CN114584831B true CN114584831B (zh) 2024-04-02

Family

ID=81769307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210068277.2A Active CN114584831B (zh) 2022-01-20 2022-01-20 提高视频清晰度的视频优化处理方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114584831B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385308B (zh) * 2023-04-15 2024-05-07 广州海至亚传媒科技有限公司 联合图像处理优化策略选择***

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349934A (ja) * 2005-06-15 2006-12-28 Nec Viewtechnology Ltd 映像調整システム及び映像調整方法
CN101630502A (zh) * 2009-08-03 2010-01-20 深圳创维-Rgb电子有限公司 图像显示方法
CN104572042A (zh) * 2013-10-15 2015-04-29 航天信息股份有限公司 移动终端设备的跨平台中间件装置及其实现方法
KR101552302B1 (ko) * 2014-04-28 2015-09-10 김진영 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법
CN106406794A (zh) * 2016-09-14 2017-02-15 乐视控股(北京)有限公司 一种屏幕适配方法及其装置
CN109783181A (zh) * 2019-01-31 2019-05-21 掌阅科技股份有限公司 屏幕适配显示方法、电子设备及计算机存储介质
KR20190070134A (ko) * 2017-12-12 2019-06-20 인천대학교 산학협력단 대형 디스플레이의 영상 크기 조절 장치 및 방법
CN113038147A (zh) * 2019-12-09 2021-06-25 高秀丽 智能视频参数调节***
CN113727185A (zh) * 2021-08-20 2021-11-30 百果园技术(新加坡)有限公司 视频帧播放方法及***
CN113852860A (zh) * 2021-09-26 2021-12-28 北京金山云网络技术有限公司 视频处理方法、装置、***及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030231321A1 (en) * 2002-03-25 2003-12-18 Tatsuya Aoyama Method of and system for image processing, method of and apparatus for image generation, and computer program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006349934A (ja) * 2005-06-15 2006-12-28 Nec Viewtechnology Ltd 映像調整システム及び映像調整方法
CN101630502A (zh) * 2009-08-03 2010-01-20 深圳创维-Rgb电子有限公司 图像显示方法
CN104572042A (zh) * 2013-10-15 2015-04-29 航天信息股份有限公司 移动终端设备的跨平台中间件装置及其实现方法
KR101552302B1 (ko) * 2014-04-28 2015-09-10 김진영 모바일 단말기 기반의 샤프닝이 적용된 이미지 검색시스템 및 방법
CN106406794A (zh) * 2016-09-14 2017-02-15 乐视控股(北京)有限公司 一种屏幕适配方法及其装置
KR20190070134A (ko) * 2017-12-12 2019-06-20 인천대학교 산학협력단 대형 디스플레이의 영상 크기 조절 장치 및 방법
CN109783181A (zh) * 2019-01-31 2019-05-21 掌阅科技股份有限公司 屏幕适配显示方法、电子设备及计算机存储介质
CN113038147A (zh) * 2019-12-09 2021-06-25 高秀丽 智能视频参数调节***
CN113727185A (zh) * 2021-08-20 2021-11-30 百果园技术(新加坡)有限公司 视频帧播放方法及***
CN113852860A (zh) * 2021-09-26 2021-12-28 北京金山云网络技术有限公司 视频处理方法、装置、***及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joint edge-directed interpolation and adaptive sharpening filter;R. Vanam et al.;《2013 IEEE Global Conference on Signal and Information Processing》;767-770 *
拼接式高清全景显示***设计及超分辨率算法研究;龚志鹏;《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》(2022年第01期);全文 *

Also Published As

Publication number Publication date
CN114584831A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
Rao et al. A Survey of Video Enhancement Techniques.
CN109729405B (zh) 视频处理方法、装置、电子设备及存储介质
US10257449B2 (en) Pre-processing for video noise reduction
EP2791897B1 (en) Control of video processing algorithms based on measured perceptual quality characteristics
AU2006252195B8 (en) MPEG noise reduction
CN109345490B (zh) 一种移动播放端实时视频画质增强方法及***
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
CN113034384A (zh) 视频处理方法、装置、电子设备以及存储介质
CN112889069B (zh) 用于提高低照度图像质量的方法、***和计算机可读介质
CN109168065B (zh) 视频增强方法、装置、电子设备及存储介质
CN112150400B (zh) 图像增强方法、装置和电子设备
CN111242860B (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
CN111353955A (zh) 一种图像处理方法、装置、设备和存储介质
CN104869323A (zh) 一种基于gpu的模块化实时视频与图像处理方法
CN114584831B (zh) 提高视频清晰度的视频优化处理方法、装置、设备和存储介质
CN110766637A (zh) 一种视频处理方法、处理装置、电子设备及存储介质
CN110378860B (zh) 修复视频的方法、装置、计算机设备和存储介质
CN111429371A (zh) 图像处理方法、装置及终端设备
CN112565603B (zh) 图像处理方法、装置及电子设备
US20210327026A1 (en) Methods and apparatus for blending unknown pixels in overlapping images
CN111754412A (zh) 构建数据对的方法、装置及终端设备
WO2022261849A1 (en) Method and system of automatic content-dependent image processing algorithm selection
CN113613024B (zh) 视频预处理方法及设备
CN111179158A (zh) 图像处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant