CN109660821A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN109660821A CN109660821A CN201811428044.9A CN201811428044A CN109660821A CN 109660821 A CN109660821 A CN 109660821A CN 201811428044 A CN201811428044 A CN 201811428044A CN 109660821 A CN109660821 A CN 109660821A
- Authority
- CN
- China
- Prior art keywords
- video
- processing mode
- texture complication
- enhancing processing
- enhancing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 256
- 238000000034 method Methods 0.000 title claims abstract description 74
- 230000002708 enhancing effect Effects 0.000 claims abstract description 208
- 230000000903 blocking effect Effects 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000001965 increasing effect Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 abstract description 5
- 230000004069 differentiation Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 33
- 238000013507 mapping Methods 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000009467 reduction Effects 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000009877 rendering Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 235000007926 Craterellus fallax Nutrition 0.000 description 2
- 240000007175 Datura inoxia Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
- H04N21/4431—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB characterized by the use of Application Program Interface [API] libraries
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种视频处理方法、装置、电子设备及存储介质,涉及电子设备技术领域。其中,该方法包括:将视频中的视频帧划分为纹理复杂度不同的多个视频区域;根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式;对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,使视频增强处理具有差异化,实现视频显示的超清视效,提高用户体验。
Description
技术领域
本申请涉及电子设备技术领域,更具体地,涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
随着科学技术的发展,电子设备已经成为人们日常生活中最常用的电子产品之一。并且,用户经常会通过电子设备看视频或玩游戏等,但是,目前电子设备对视频数据的处理方式固定,造成处理效果不理想,用户体验不佳。
发明内容
鉴于上述问题,本申请提出了一种视频处理方法、装置、电子设备及存储介质,以改善上述问题。
第一方面,本申请实施例提供了一种视频处理方法,所述方法包括:将视频中的视频帧划分为纹理复杂度不同的多个视频区域;根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式;对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
第二方面,本申请实施例提供了一种视频处理装置,所述装置包括:区域划分模块,用于将视频中的视频帧划分为纹理复杂度不同的多个视频区域;方式获取模块,用于根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式;处理模块,用于对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个程序。其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述的方法。
本申请实施例提供的视频处理方法、装置、电子设备及存储介质,将视频帧划分为多个视频区域,根据各个视频区域的纹理复杂度确定相应的增强处理方式,使视频增强处理具有差异化,更符合视频本身的特征,获得更好的视频增强效果,实现视频显示的超清视效,提高用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例提供的视频播放的流程示意图。
图2示出了本申请一实施例提供的视频处理方法的流程图。
图3示出了本申请另一实施例提供的视频处理方法的流程图。
图4示出了本申请实施例提供的一种区域划分的示意图。
图5示出了本申请实施例提供的另一种区域划分的示意图。
图6示出了本申请实施例提供的又一种区域划分的示意图。
图7示出了本申请实施例提供的再一种区域划分的示意图。
图8示出了本申请实施例提供的视频处理方法的部分步骤的流程图。
图9示出了本申请实施例提供的还一种区域划分的示意图。
图10示出了本申请实施例提供的一种区域合成的示意图。
图11示出了本申请实施例提供的另一种区域合成的示意图。
图12示出了本申请实施例提供的一种对应关系表的示意图。
图13示出了本申请实施例提供的另一种对应关系表的示意图。
图14A-图14C分别示出了图10中各个视频区域分割后的图像的示意图。
图15示出了本申请又一实施例提供的视频处理方法的流程图。
图16示出了本申请实施例提供的视频处理装置的功能模块图。
图17示出了本申请实施例提供的电子设备的结构框图。
图18是本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
请参阅图1,图1示出了视频播放的流程。具体地,操作***在获取到待播放的数据的时候,接下来的工作就是解析音视频数据。一般的视频文件都由视频流和音频流两部分组成,不同的视频格式音视频的封装格式不一样。将音频流和视频流合成文件的过程称为muxer,反之从媒体文件中分离音频流和视频流的过程称为demuxer。播放视频文件就需要从文件流中分离出音频流和视频流,分别对其进行解码,解码后的视频帧可以直接渲染,相应的音频可以送到音频输出设备的缓冲区进行播放,当然,视频渲染和音频播放的时间戳需要控制同步。其中,每个视频帧为视频对应的每一帧图像。
具体地,视频解码可以包括硬解码和软解码,硬件解码是将原来全部交由中央处理器(Central Processing Unit,CPU)来处理的视频数据的一部分交由图形处理器(Graphics Processing Unit,GPU)来做,而GPU的并行运算能力要远远高于CPU,这样可以大大的降低对CPU的负载,CPU的占用率降低了之后就可以同时运行一些其他的程序了,当然,对于较好的处理器来说,比如i5 2320,或者AMD任何一款四核心处理器来说,既可以进行硬解码,也可以进行软解码。
具体地,如图1所示,多媒体框架(Media Framework)通过与客户端的API接口获取客户端待播放的视频文件,并交由视频编解码器(Video Decode)。其中,Media Framework为Android***中多媒体框架,MediaPlayer、MediaPlayerService和Stagefrightplayer三个部分构成了Android多媒体的基本框架。多媒体框架部分采用了C/S的结构,MediaPlayer作为C/S结构的Client端,MediaPlayerService和Stagefrightplayer作为C/S结构Server端,承担着播放多媒体文件的责任,通过Stagefrightplayer,Server端完成Client端的请求并作出响应。视频解码器Video Decode是一款集成了最常用的音频和视频解码与播放的超级解码器,用于将视频数据解码。
其中,软解码,即通过软件让CPU来对视频进行解码处理。而硬解码,指不借助于CPU,而通过专用的子卡设备来独立完成视频解码任务。
不论是硬解码还是软解码,在将视频数据解码之后,会将解码后的视频数据发送至图层传递模块(SurfaceFlinger),如图1所示,硬解码后的视频数据通过视频驱动程序发送至SurfaceFlinger。SurfaceFlinger将解码后的视频数据渲染和合成之后,在显示屏上显示。其中,SurfaceFlinger是一个独立的Service,它接收所有Window的Surface作为输入,根据ZOrder、透明度、大小、位置等参数,计算出每个Surface在最终合成图像中的位置,然后交由HWComposer或OpenGL生成最终的显示Buffer,然后显示到特定的显示设备上。
如图1所示,软解码中,CPU将视频数据解码之后交给SurfaceFlinger渲染和合成,而硬解码由GPU解码之后,交由SurfaceFlinger渲染和合成。而SurfaceFlinger会调用GPU实现图像的渲染和合成,并在显示屏上显示。
为了获得良好的显示效果,在将视频渲染合成进行显示之前,可以对视频增进行显示增强处理,以通过调节视频的图像参数提高视频的视频帧画质,提高视频的显示效果,获得更良好的观看体验。其中,视频的画质可以包括清晰度、锐度、饱和度、细节、镜头畸变、色彩、解析度、色域范围以及纯度等参数,通过调节画质中的各种参数使图像更符合人眼的观看偏好,用户观看体验更好。如视频的清晰度越高、噪声越小、细节越清晰、饱和度越高等,表示视频画质越好,用户观看体验更好。其中,对画质中不同组合的参数进行调整,代表了对视频的不同增强处理方式。
对视频帧进行增强处理以获得更好的画质时,电子设备对视频的同一帧采用相同的处理方式,也就是说,采用一种处理方式对一帧视频帧的各个像素点进行处理,视频帧中不同位置的处理方式均是一致的。
发明人经过研究发现,在同一视频帧中,不同区域的图像,可能具有不同的特点。而由于人眼的感知***,对一帧画面中的不同特点的区域的敏感度是不一样的,因此,不同特点的区域,采用不同的具有针对性的增强处理方式,可以达到更好的视频显示效果。
其中,纹理为图像的特性之一。纹理是一种反映图像中同质现象的视觉特征,它体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性,通过像素及其周围空间邻域的灰度分布来表现。如图像中物体表面的花纹或线条等线形纹路即为一种纹理图像。通常的,图像的纹理越复杂,其中细节特征越多。
在视频帧中,纹理复杂度较低的区域,如天空对应的区域,平静的大海对应的区域等,由于编码器量化的原因,通常存在较为严重的马赛克,块效应;而对于纹理复杂度较高的区域,如堆积的树叶、草地以及地毯等对应的区域,细节较多。因此,对于视频帧中不同纹理复杂度的区域,可以采取对应的增强处理方式,以降低纹理复杂度较低的区域的快效应,增强纹理复杂度较高的区域的细节。因此,提出了本申请实施例的视频处理方法、装置、电子设备及存储介质,用于根据视频的不同分辨率进行增强处理。
下面将通过具体实施例对本申请实施例提供的视频处理方法、装置、电子设备及存储介质进行详细说明。
请参阅图2,示出了本申请实施例提供的视频处理方法。所述视频处理方法用于通过对视频帧进行纹理复杂度不同的区域划分,并对不同区域根据其纹理复杂度选择合适的增强处理方式,具体可以选择可以针对性地改善对应纹理复杂度的视频区域的画质的增强处理方式,以提升视频的增强处理效果,获得视频显示的超清视效。在具体的实施例中,所述视频处理方法应用于如图16所示的视频处理装置400以及配置有所述视频处理装置400的电子设备500(图17)。下面将以电子设备为例,说明本实施例的具体流程,当然,可以理解的,本实施例所应用的电子设备可以为智能手机、平板电脑、台式电脑、穿戴式电子设备、车载设备、网关等各种可以进行视频处理的设备,在此不做具体的限定。具体的,该方法包括:
步骤S110:将视频中的视频帧划分为纹理复杂度不同的多个视频区域。
本申请实施例中的视频为静态影像以电信号的方式加以捕捉、纪录、处理、储存、传送,在电子设备进行重现的连续图像画面,其中每幅图像画面为一个视频帧。根据视觉暂留原理,人眼无法辨别其中单幅的静态画面,视频中的各视频帧看上去是平滑连续的视觉效果。也就是说,本申请实施例中的视频,除了常用的通过视频播放软件播放的视频,还包括游戏等其他由平滑连续的视频帧形成的连续图像集合。
电子设备可以从服务器获取视频的视频数据、可以从本地获取视频数据,也可以从其他电子设备获取视频数据。
具体地,当视频数据由电子设备从服务器获取时,那么该视频数据可以是电子设备从服务器下载,或者电子设备从服务器在线获取。例如,视频数据可以是电子设备通过安装的视频播放软件下载,或者在该视频播放软件在线获取的视频数据。其中,该服务器可以为云服务器。当视频数据从电子设备的本地获取时,该视频数据可以是电子设备预先下载并存储在本地存储器中的。当视频数据由电子设备从其他电子设备获取时,该视频数据可以由其他电子设备通过无线通信协议传输至所述电子设备,例如,通过WLAN协议、蓝牙协议、ZigBee协议或者WiFi协议等,也可以由其他电子设备通过数据网络传输至所述电子设备,例如,2G网络、3G网络或者4G网络等,在此不做限定。
电子设备获取到视频数据,再对该视频数据进行解码以及渲染合成等处理后,通过显示器进行播放。若接收到对视频进行增强处理的相关控制指令,则对视频数据进行增强处理,播放增强处理后的视频。其中,在接收到有增强处理的控制指令的情况下,电子设备可以对视频中的视频帧根据纹理复杂度进行区域划分,以便进行获取增强处理方式。也就是说,电子设备进行视频区域划分的视频帧,为在播放之前,用于进行增强处理的视频帧。
作为一种实施方式,增强处理的控制指令,可以是由电子设备在视频开启时生成。例如,播放视频的应用程序的默认设置为开启视频增强,则在开启视频时,生成增强处理的控制指令。又如,播放视频的应用程序在前一次关闭时开启了增强处理的控制指令,则再次打开该应用程序的同时开启增强处理的控制指令。或者是该视频在前一次关闭时开启了为增强处理的控制指令,则再次打开该视频时,生成对视频进行增强处理的控制指令。
作为一种实施方式,该增强处理的控制指令也可以是在视频播放过程中接收到的用户触发。例如,设置视频增强的控制开关。若该开关在处于关闭的状态下,接收到用户的触发,切换为开启的状态,同时判定接收到增强处理的控制指令。其中,在视频播放过程中,设置的视频增强的控制开关可以处于隐藏状态。当接收到对视频的点击等触控,显示该控制开关,并且使该控制开关处于可触发状态。当视频超过一段时间未接收到用户的触控操作,再次将该控制开关隐藏。
步骤S120:根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式。
各种纹理复杂度具有相应的增强处理方式,每种纹理复杂度对应的增强处理方式针对该纹理复杂度的特点进行画质提高的增强处理。具体的,可以是,每种纹理复杂度对应的增强处理方式,通过去除或弱化具有该纹理复杂度的图像通常会产生的降低画质的因素进行增强处理;或者通过强化该具有该纹理复杂度的图像的一些固有特征使图像的画质更高。例如,对于纹理复杂度低的视频区域,快效应较多,其对应的增强处理方式重点通过去除快效应增强画质;而对于纹理复杂度较高的视频区域,其细节较为丰富,其对应的增强处理方式重点通过去细节增强以增强画质。
步骤S130:对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
对视频帧中划分的每个视频区域,以对应的增强处理方式进行增强处理。其中,对视频的增强处理为通过调节视频的图像参数提高视频帧的画质,也就说,通过对应的增强处理方式调节视频帧中个视频区域的图像参数,使视频帧的图像画质更好,视频的整体显示效果更好,提高用户的视频观看体验。
本申请实施例提供的视频处理方法,将视频帧划分为多个不同的视频区域,并且获取对应各个视频区域的纹理复杂度的增强处理方式,通过对应的增强处理方式对各个视频区域进行增强处理,针对视频帧中各个视频区域的特点进行处理,使对视频帧中各个视频区域的处理具有差异性,获得良好的处理效果,实现超清视效。
本申请另一实施例提供了一种视频处理方法,该方法中具体包括对视频帧进行视频区域的划分方式。具体的,如图3所示,该方法包括:
步骤S210:将所述视频帧划分为多个区域。
因为图像的纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算。因此,在将视频中的视频帧划分为纹理复杂度不同的多个视频区域时,可以先将视频帧划分为多个区域,以在各个区域中进行统计计算获得各个区域中的纹理复杂度。其中,将视频帧划分为多个区域的方式在本申请实施例中并不限定。
作为一种实施方式,可以预先设置并存储规律性的区域划分方式。例如,可以是,将所述视频帧划分为预设个数的形状相同的区域。如图4虚线划分所示,以九宫格的形式,将视频帧划分为9个矩形区域;或者如图5虚线划分所示,对视频帧进行对角线划分,划分为4个三角形区域;或者如图6虚线划分所示,在视频帧的横向以及纵向的中间进行划分,将视频帧划分为4个矩形区域等等,本申请实施例并不一一列举具体的划分方式,具体划分的区域的个数以及各个区域的形状并不限定,可以根据处理效果以及处理的复杂度进行划分。当然,本实施方式中划分的各个区域形状也可以不同,本申请实施例中并不对划分个数和形状进行限制。
作为一种实施方式,也可以预先设置并存储随机划分的区域划分方式。例如,可以设置具体的区域数量,即视频帧要划分的区域个数。在对视频帧进行区域划分时,可以随机划分为设置的数量的区域。
作为一种实施方式,对于视频帧中的同一物体,该物体对应的图像在各个区域纹理复杂度相差通常较小,因此,可以对视频帧以物体为标准进行区域划分。也就是说,将一个物体划分在一个区域内,这一个区域尽量只包括同一个物体。例如图7所示,该视频帧中的建筑a为一个物体,可以划分为一条区域A;白云b为一个物体,可以划分为一个区域B;白云c为一个物体,可以划分一个区域C;剩余的其他位置为一个区域D。
在该实施方式中,如图8所示,具体划分方式可以包括:
步骤S221:通过神经网络对所述视频帧的目标对象进行识别。
可以通过各种物体对神经网络进行训练,如天空、建筑、白云、汽车、草地、林地、人像等,对神经网络进行训练的物体为通过该神经网络可以识别的目标对象。因此,通过训练后的神经网络对视频帧进行识别,可以识别到视频帧中的各种目标对象,如图7中的建筑a、白云b以及白云c均可以通过神经网络识别出。
在本申请实施例中,具体使用何种神经网络并不进行限定,例如可以是全卷积神经网络FCN(Fully Convolutional Networks)、积神经网络如CNN(Convolutional NeuralNetwork)。其中FCN可以对预览画面中物体进行像素级分割,CNN分割效果和普适性都较好。另外,也可以是移动视觉神经网络(MobileNet),移动视觉神经网络是一种轻量化卷积神经网络,在具有良好学习能力的同时,可以有效减少了卷积核的冗余表达,处理速度较快,可以有效应对实时画面的处理。
步骤S222:将所述视频帧划分为包括目标对象的的区域以及未包括目标对象的区域。
根据识别到的目标对象对视频帧进行区域划分。具体的,可以将划分为分别包括各个目标对象的区域以及未包括目标对象的区域。其中,分别包括目标对象的区域为,一个目标对象划分到一个区域,一个区域包括一个目标对象。如图7所示,目标对象建筑a、白云b以及白云c分别对应划分为区域A、区域B以及区域C,该视频帧中未包括目标对象的划分为区域D。
可选的,若在视频帧中有目标对象相邻接或者相互重叠,对于相邻接或者相互重叠的目标对象,分别划分的区域可以是相邻不重叠的区域,此种情况下,一个目标对象对应一个区域,一个区域包括一个目标对象,目标对象尽量包括在对应的区域内,但是目标对象与其他目标对象相邻的部分可能并不能包括在其对应的区域内。例如图9所示的白云b以及白云c相互重叠,分别对应划分区域B以及区域C相邻,白云b与白云c重叠的部分未包括在区域B内。
步骤S220:计算各个区域的纹理复杂度。
对各个区域计算纹理复杂度。其中,计算纹理复杂度的方式在本申请实施例中并不限定。可选的,可以通过基于像素及其邻域的灰度属性的统计方法,如通过灰度共生矩阵(GLCM)的纹理分析方法;可以通过建立在纹理基元理论基础上的一种纹理特征分析方法的几何法,如Voronio棋盘格特征法;可以通过从纹理图像的实现来估计计算模型参数的模型法,如马尔可夫随机场(MRF)模型法、Gibbs随机场模型法、分形模型和自回归模型等随机场模型法;可以通过建立在时域、频域分析,以及多尺度分析的基础上的信号处理法,如Tamura纹理特征、自回归纹理模型、小波变换等;可以通过强调纹理的规律性的结构分析方法,如句法纹理描述算法、数学形态学方法等。
本申请实施例以通过梯度表示纹理复杂度为例说明。图像的梯度就是对其中的像素求导,Grad(x,y)=dx(i,j)+dy(i,j),dx(i,j)=p(i,j)-p(i-1,j),dx(i,j)=p(i,j)-p(i-1,j),dy(i,j)=p(i,j)-p(i,j-1)。其中(i,j)表示在区域中行为i,列为j的像素点,p(i,j)表示像素点(i,j)的像素值。则对于一个区域,计算该区域的梯度值
其中,W表示视频区域的宽,H表示视频区域的高。梯度值越大,表示该区域的纹理复杂度越高。
步骤S230:对纹理复杂度满足预设相似度的相邻区域进行合并,获得纹理复杂度不同的多个视频区域。
在视频帧中,划分的各个区域,可能有相邻的区域纹理复杂度相近。纹理复杂度相近的图像,其特征相似,也许可以通过相同的增强处理方式进行处理。因此,可以将视频帧中纹理复杂度相近的区域进行合并,以减少进行增强处理的视频区域数量。
在本申请实施例中,对纹理复杂度相近的相邻区域进行合并,可以是对纹理复杂度满足预设相似度的相邻区域进行合并。
作为一种实施方式,可以计算各个相邻区域之间纹理复杂度的差值,将纹理复杂度差值小于预设阈值的相邻区域合并。
作为一种实施方式,也可以设置可以进行区域合并的纹理复杂度范围。在进行区域合并时,将纹理复杂度在同一纹理复杂度范围内的相邻区域合并。例如l表示纹理复杂度,设置纹理复杂度在[l1-l2)范围内的区域可以合并为一个区域,纹理复杂度在[l2-l3)范围内的区域可以合并为一个区域。则若某两个相邻区域的纹理复杂度均在[l1-l2)范围内,则这两个区域可以合并为一个区域。
在本申请实施例中,进行合并的相邻区域,可能是两个区域,也可能是三个区域,也有可能有区域并没有与其他区域进行合并。
在合并后获得的各个区域,即为本申请实施例中纹理复杂度不同的多个视频区域。其中,合并后的区域可以是规则的视频区域,如图10中,区域B以及区域C相互合并为区域BC,则图9中获得的视频区域分别如图10所示的区域A、区域BC以及区域D。合并后的区域可以是不规则的视频区域,如图11中,区域B以及区域C相互合并为区域BC。本申请实施例中主要以规则区域为例进行说明。
在本申请实施例中,步骤S230可以是一个可选的步骤。也就是说,可以通过步骤S230将视频帧中纹理复杂度满足预设相似度的相邻区域进行合并,获得多个纹理复杂度不同的视频区域;也可以直接以步骤S210划分的多个区域分别作为不同的视频区域。
在本申请实施例中,划分多个视频区域,还可以结合GPU进行,在GPU运行着一套通过统计学得到的划分规则,在不同的划分规则区域下对应不同的画质增强算法。
步骤S240:根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式。
可以对应纹理复杂度设置相应的增强处理方式,进行增强处理方式对应的增强处理,获得增强处理方式对应的画质提升。可以预先设置并存储纹理复杂度与增强处理方式之间的对应关系,每种纹理复杂度对应的增强处理方式的处理为该纹理复杂度的图像需要去除的降低画质的因素或者需要增强的提高画质的因素。其中,每种增强处理方式包括一种或多种图像处理算法,以实现相应的处理效果。例如,需要去除块效应的增强处理方式,包括去除块效应的图像处理算法,如环路去块滤波算法;需要增强细节以及增加饱和度的增强处理方式,包括细节增强的图像处理算法以及增加饱和度的图像处理算法,如通过基于多尺度的图像的细节提升算法、直方图均衡化方法等进行细节增强,通过调高RGB各个颜色通道增强饱和度等。
由于纹理复杂度低的视频区域,其块效应较为严重,而纹理复杂度高的视频区域,其细节较多,如图10中视频区域A的纹理复杂度高于视频区域BC,视频区域BC的纹理复杂度高于视频区域D,视频区域A的细节比视频区域BC多,视频区域BC的细节比视频区域D多。因此,可以对纹理复杂度高的视频区域细节增强,对纹理复杂度低的视频区域去除块效应。例如,多个视频区域包括第一视频区域以及第二视频区域,第一视频区域的纹理复杂度大于所述第二视频区域。根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式,可以包括:根据纹理复杂度与增强处理方式的对应关系,获取对第一视频区域去除块效应的增强处理方式;根据纹理复杂度与增强处理方式的对应关系,获取对第二视频区域细节增强的增强处理方式。
视频帧中的视频区域可能包括多个,可以设置为,越低的纹理复杂度,对应的增强处理方式包括越强的去除块效应的图像处理算法;越高的纹理复杂度,对应的增强处理方式包括越强的细节增强的图像处理算法。随着纹理复杂度由低到高,对应的增强处理方式中去除块效应的效果逐渐减弱,细节增强的效果逐渐增加。
另外,对于纹理复杂度低的视频区域,对应的增强处理方式,除了包括去除块效应的图像处理算法,还可以包括增加对比度以及增强饱和度的图像处理算法,包括消除或者弱化细节增强、弱化亮度的图像处理算法等。对于纹理复杂度高的视频区域,对应的增强处理方式,还可以包括锐化、增加对比度、饱和度、弱化或者去除去马赛克及去块效应的图像处理算法等。
在本申请实施例中,纹理复杂度与增强处理方式的对应关系,可以通过对应关系表表示。该对应关系表可以是电子设备下载视频应用程序时同时下载,可以是下载视频增强的插件时下载,可以是电子设备的***进行更新时下载或者更新,可以是在服务器有新的对应关系表时向电子设备推送,也可以是电子设备定时从服务器请求获取,或者是电子设备在需要使用该对应关系表,如需要通过该对应关系表查找纹理复杂度对应的增强处理方式时,从服务器获取。该对应关系表具体如何获取以及何时获取在本申请实施例中并不限定。
其中,对应关系表中包括了纹理复杂度与增强处理方式的对应关系。可选的,根据不同纹理复杂度的图像的特点,在对应关系表中,纹理复杂度与增强处理方式的对应关系,可以是,纹理复杂度越低,增强处理方式越偏向去除块效应,以及增加对比度以及增强饱和度,消除或者弱化细节增强、弱化亮度,增强处理方式中可以包括去除块效应的图像处理算法,还可以包括增加对比度,增强饱和度,消除或者弱化细节增强、弱化亮度等对应的图像处理算法中的一种或多种。纹理复杂度越高,增强处理方式越偏向细节增强、锐化、增加对比度、增加饱和度、弱化或者去除去马赛克及去块效应,可以包括细节增强的图像处理算,还可以包括锐化、增加对比度、增加饱和度、弱化或者去除去马赛克及去块效应对应的一种或多种算法。
例如,在对应关系表中,可以是低于指定纹理复杂度的纹理复杂度,对应的增强处理方式包括去除块效应的图像处理算法,还包括增加对比度以及增强饱和度,消除或者弱化细节增强、弱化亮度等一种或多种对应的图像处理算法。并且,在对应关系表中,低于指定纹理复杂度的纹理复杂度,根据复杂度由高到低,处理效果逐渐增强,如更强的块效应去除,细节增强更加弱化等。
在对应关系表中,可以是高于指定纹理复杂度的纹理复杂度,对应的增强处理方式包括细节增强,还包括锐化、增加对比度、增加饱和度、弱化或者去除去马赛克及去块效应中的一种或多种。具体的,在对应关系表中,高于指定纹理复杂度的纹理复杂度,根据复杂度由低到高,处理效果逐渐增强,如细节增强效果越好,块效应去除越弱。
在本申请实施例中,可以从对应关系表中获得各个视频区域的纹理复杂度所对应的增强处理方式,从而获得各个视频区域对应的增强处理方式。其中,对应关系表中各种纹理复杂度所对应的增强处理方式的增强处理为对该纹理复杂度的图像进行针对性画质提升的增强处理方式。
作为一种实施方式,对应关系表中包括的可以是纹理复杂度的具体值与增强处理方式的对应关系。在该实施方式中,获取各个视频区域的纹理复杂度对应的增强处理方式时,可以依次查找对应关系表中与各个视频区域的纹理复杂度相同的纹理复杂度对应的增强处理方式,作为获取到的纹理复杂度对应的增强处理方式。
在该实施方式中,若某视频区域的纹理复杂度在对应关系表中不存在相同的纹理复杂度,则可以查找在对应关系表中与该视频区域的纹理复杂度最接近的纹理复杂度对应的增强处理方式,作为该视频区域对应的增强处理方式。
以图12所示的对应关系表为例,纹理复杂度l1、l2以及l3分别对应增强处理方式L1、L2以及L3。获取图10所示的视频帧中的各个视频区域对应的增强处理方式时,分别根据各个视频区域的纹理复杂度在该对应关系表中查找。如,若视频区域A的纹理复杂度与对应关系表中l1最接近,也就是说,视频区域A的纹理复杂度与l1的差值小于与l2以及l3之间的差值,则将增强处理方式L1作为视频区域A的增强处理方式。若视频区域D的纹理复杂度与对应关系表中l2最接近,则将增强处理方式L2作为视频区域D对应的增强处理方式。
可选的,对应关系表中包括的可以是纹理复杂度的范围区间与增强处理方式的对应关系。也就是说,纹理复杂度不同的范围区间,对应不同的增强处理方式。在该实施方式中,获取各个视频区域的纹理复杂度对应的增强处理方式时,可以依次查找各个视频区域的纹理复杂度是否在对应关系表中的某个范围区间内,若是,则以该范围区间对应的增强处理方式作为该视频区域对应的增强处理方式。
以图13所示的对应关系表为例,纹理复杂度[l1-l2)、[l2-l3)以及[l3-l4)分别对应增强处理方式L1、L2以及L3。获取图10所示的视频帧中的各个视频区域对应的增强处理方式时,分别根据各个视频区域的纹理复杂度在该对应关系表中查找。如,若视频区域A的纹理复杂度在[l1-l2)范围内,则将增强处理方式L1作为视频区域A的增强处理方式。若视频区域D的纹理复杂度在[l2-l3)范围内,则将增强处理方式L2作为视频区域D对应的增强处理方式。
在本申请实施例中,对于不同的视频区域,根据其纹理复杂度,获取的增强处理方式可能相同,也可能不同。例如,某两个视频区域的纹理复杂度在对应关系表中对应的增强处理方式相同,则该两个视频区域对应的增强处理方式相同。
步骤S250:对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
对视频帧中的各个视频区域通过对应的增强处理方式进行增强处理。具体的,可以通过图像分割将所述视频帧分割为多个视频区域。分割后,每个视频区域作为一个独立的图像,可以对划分的多个视频区域分别以对应的增强处理方式进行增强处理。将多个视频区域分别处理后,可以将处理后的所述多个视频区域图像合成为用于显示的视频帧。可以理解的,合成后获得的视频帧为对被分割的视频帧增强处理后的视频帧。合成后,每个视频区域在合成后的视频帧中的位置,与在被分割的视频帧中的位置相同。
例如,对图10所示的视频帧进行分割,可以获得如图14A所示的视频区域A对应的独立图像AG,如图14B所示的对应视频区域BC的独立图像BCG,以及如图14C所示的对应视频区域D的独立图像DG。其中对于形状不规则的视频区域,如视频区域D,其中非该视频区域的部分可以通过默认像素的像素点补足,如通过如图14C所示全为灰色的像素的像素点补足。再分别对各独立图像进行增强处理,即对独立图像AG通过视频区域A对应的增强处理方式增强处理,对独立图像BCG通过视频区域BC对应的增强处理方式增强处理,对独立图像DG过视频区域D对应的增强处理方式进行增强处理。增强处理后,再将独立图像AG、BCG以及DG合成为视频帧,合成后的视频帧中,各视频区域的位置相比分割前的视频帧不变,即独立图像AG中对应视频区域A的部分在视频区域A所在位置,独立图像BCG中对应视频区域BC的部分在视频区域BC所在位置,独立图像DG中对应视频区域D的部分在视频区域D所在位置。
在本申请实施例中,为了加快处理速度,多个视频区域可以同时进行处理。
本申请实施例中,将视频帧划分为多个区域,根据多个区域的纹理复杂度获得多个纹理复杂度不同的视频区域,再根据各个视频区域的纹理复杂度获得对应的增强处理方式,使视频帧中具有不同特点的视频区域能够进行针对性处理,视频帧中不同视频区域的处理更具有差异化,获得良好的视频增强效果。
本申请有意实施例提供了一种视频处理方法,根据视频的分别率确定视频帧中块效应的严重程度,从而确定是否对纹理复杂度低的视频帧进行增强处理。具体的,请参见图15,该方法可以包括:
步骤S310:将视频中的视频帧划分为纹理复杂度不同的多个视频区域;
步骤S320:获取所述视频的分辨率。
对于不同分辨率的视频,在电子设备显示时,其显示效果不同。对于低分辨率的视频,视频噪声大,显示较为模糊。具体的,低分辨率的视频,相对的,其有效像素较少,放大时有效像素间的距离拉大,而电子设备会把有效像素之间的空间通过插值填满,而插值所用的像素是根据上下左右的有效像素计算出来,并非真正的视频信息,从而使显示的视频图像中具有较多的非视频本身的信息,使视频中具有较大的噪声。特别的,对应视频帧中图像的边缘,通过计算获得的插值像素使边缘产生像素块,如马赛克,即块效应,从而边缘较为模糊,不够清晰,形成边缘噪声。
而对于高分辨率的视频,其有效像素多,在电子设备的显示屏显示时,更多的显示的是视频本身的图像信息,视频清晰,噪声较低。
因此,可以获取视频的分辨率,以根据不同分辨率的视频帧具有的特点确定相应的处理方式。
具体的,视频的分辨率,是用于度量视频帧中数据量多少的一个参数,可以通过w*h的形式表示,其中,w是指视频帧在横向上的有效像素,h是指视频帧在纵向上的有效像素。
获取视频的分辨率的方式可以是,电子设备对视频进行解码,在解码后的视频数据中,具有对应存储分辨率的数据部分,该数据部分可以为一段数据。因此,可以从视频的解码后的数据中,获取到分辨率对应的数据部分,再从分辨率对应的数据部分获取视频的分辨率。
例如,H.264,同时也是MPEG-4第十部分,是由ITU-T视频编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视频组(JVT,Joint Video Team)提出的高度压缩数字视频编解码器标准。对于采用H.264编码的码流,码流的流信息中包括视频的分辨率,而码流的流信息都存储在特殊的结构中,叫做SPS(Sequence Parameter Set),该SPS即为解码后数据中分辨率对应的数据部分。根据H.264码流的格式信息,在H.264码流中,以0x00 0x00 0x01或者0x00 0x00 0x00 0x01为开始码,因此通过检测开始码后第一个字节的后五位是否为7(00111)来判断其是否为SPS。获得SPS之后,就可以解析出视频的分辨率。其中,SPS中有两个成员,pic_width_in_mbs_minus1和pic_height_in_map_units_minus_1,分别表示图像的宽和高,并且都是以16为单位(在面积上以16*16的块为单位)再减1,所以实际的宽是(pic_width_in_mbs_minus1+1)*16,高为(pic_height_in_map_units_minus_1+1)*16,即对应上述分辨率中w的为(pic_width_in_mbs_minus1+1)*16,对应上述分辨率中h的为(pic_height_in_map_units_minus_1+1)*16。
步骤S330:判断所述分辨率是否大于预设分辨率阈值。若否,执行步骤S340;若是,执行步骤S350。
预设分辨率阈值为预先设置一个分辨率数值,具体设置依据可以是,高于该预设分辨率阈值的分辨率对应的视频帧,其清晰度较高,噪声小,从而块效应较少。对该视频的分辨率是否大于预设分辨率进行判断。
步骤S340:根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式。
若视频的分辨率低于预设分辨率,则视频帧中存在较高的噪声,块效应通常较为严重,因此,对不同纹理复杂度的各个视频区域均进行相应的增强处理,获取多个视频区域分别对应的增强处理方式。
在本申请实施例中,具体获取增强处理方式例如,可以是多个视频区域包括第一视频区域以及第二视频区域,所述第一视频区域的纹理复杂度大于所述第二视频区域。根据纹理复杂度与增强处理方式的对应关系,获取对第一视频区域去除块效应的增强处理方式,根据纹理复杂度与增强处理方式的对应关系,获取对第二视频区域细节增强的增强处理方式。
本申请实施例中的方法具体获取增强处理方式可以参见前述实施例,在此不再赘述。
步骤S350:获取所述多个视频区域中纹理复杂度大于预设纹理复杂度阈值的视频区域对应的增强处理方式。
对于分辨率高的视频,由于视频清晰,噪声较低,块效应较少,则纹理复杂度较低的视频区域,其块效应也较小,因此可以不对其中纹理复杂度的视频区域进行处理去除块效应。具体可以获取多个视频区域中纹理复杂度大于预设纹理复杂度阈值的视频区域,并获取纹理复杂度大于预设纹理复杂度阈值的视频区域对应的增强处理方式,其中,纹理复杂度大于预设纹理复杂度阈值的视频区域对应的增强处理方式可以包括细节增强的图像处理算法,还可以包括锐化、增加对比度、增加饱和度、弱化或者去除去马赛克及去块效应中的一种或多种图像处理算法。其中,预设纹理复杂度阈值的具体值在本申请实施例中并不限定,可以是高于该预设纹理复杂度阈值时,图像的细节较为丰富,进行细节增强后图像画质明显更好。
增强处理方式的获取方式在本申请实施例中并不限定,可以参照前述实施例,在此不再赘述。
另外,对于纹理复杂度小于或等于预设纹理复杂度阈值的视频区域,可以不获取增强处理方式,以增加视频增强的处理速度。
可选的,对于纹理复杂度小于或等于预设纹理复杂度阈值的视频区域,也可以进行增加对比度、增加饱和度的处理。
在本申请实施例中,对于同一视频,若分辨率未改变,判断分辨率是否大于预设分辨率阈值可以只进行一次,在分辨率未变的情况下,判断后的视频帧根据判断结果确定增强处理方式的选择。
步骤S360:对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
在本申请实施例中,根据视频分辨率的高低确定是否对视频帧中纹理复杂度较低的视频区域进行增强处理,从而对于分辨率高的视频帧,其中纹理复杂度低的视频区域由于块效应不严重而可以不进行增强处理,降低增强处理的***消耗,获得更快的增强处理速度,并且也能对视频帧中各视频区域进行差异化处理,获得良好的视频增强效果,获得超清视效。
本申请实施例还提供了一种视频处理装置400,请参见图16,该装置400包括:区域划分模块410,用于将视频中的视频帧划分为纹理复杂度不同的多个视频区域;方式获取模块420,用于根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式;处理模块430,用于对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
可选的,区域划分模块410可以包括:划分单元,用于将所述视频帧划分为多个区域;计算单元,用于计算各个区域的纹理复杂度;合并单元,用于对纹理复杂度满足预设相似度的相邻区域进行合并,获得纹理复杂度不同的多个视频区域。
可选的,划分单元可以包括,识别子单元,用于通过神经网络对所述视频帧的目标对象进行识别;划分子单元,用于将所述视频帧划分为包括目标对象的区域以及未包括目标对象的区域。
可选的,划分单元可以用于将所述视频帧划分为预设个数的形状相同的区域。
可选的,合并单元可以用于将纹理复杂度差值小于预设阈值的相邻区域合并;或者用于将纹理复杂度在同一纹理复杂度范围内的相邻区域合并。
可选的,多个视频区域包括第一视频区域以及第二视频区域,所述第一视频区域的纹理复杂度大于所述第二视频区域。方式获取模块420可以用于根据纹理复杂度与增强处理方式的对应关系,获取对第一视频区域去除块效应的增强处理方式;根据纹理复杂度与增强处理方式的对应关系,获取对第二视频区域细节增强的增强处理方式。
可选的,本申请实施例中,处理模块430可以包括:分割单元,用于将所述视频帧分割为所述多个视频区域;处理单元,用于对所述多个视频区域分别以对应的增强处理方式进行增强处理;合成单元,用于将处理后的所述多个视频区域图像合成为用于显示的视频帧。
可选的,本申请实施例还可以包括分辨率获取模块,用于获取所述视频的分辨率;判断模块,用于判断所述分辨率是否大于预设分辨率阈值。若判定所述分辨率小于或等于预设分辨率阈值,方式获取模块420可以用于根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式;若判定分辨率大于预设分辨率阈值,方式获取模块420可以用于获取所述多个视频区域中纹理复杂度大于预设纹理复杂度阈值的视频区域对应的增强处理方式。
由于人眼的感知***,对一帧画面中的不同区域的敏感度是不一样的,因此,本申请实施例中,可以在画面中进行区域划分,分成不同的小分辨率的画面,即不同的视频区域,对不同的视频区域采用不同画质增强算法,以便达到最佳的视频显示效果。比如,可以根据纹理复杂度,划分平坦区域及文理复杂区域,把一副画面分成多个小分辨率画面。
比如,人眼一般对平坦的区域更加敏感(比如,天空),对文理复杂的区域相对不敏感(大片的树叶或者地毯),但是平坦区域由于编码器量化的原因,通常存在较为严重的马赛克,块效应,因此,在平摊区域,需要采用去马赛克、去块效应,增加对比度、饱和度算法,消除或者弱化细节增强、亮度等算法。在文理复杂区域,细节较多,人眼对这一区域的块效应不敏感,因此,应该强化细节增强,锐化,增加对比度,饱和度,弱化或者去除去马赛克及去块效应算法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述的各个方法实施例之间可以相互参照;上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
请参考图17,其示出了本申请实施例提供的一种电子设备500的结构框图。该电子设备500可以是智能手机、平板电脑、音乐播放设备等能够运行应用程序的电子设备。该电子设备一个或多个处理器510(图中仅示出一个),存储器520以及一个或多个程序。其中,所述一个或多个程序被存储在所述存储器520中,并被配置为由所述一个或多个处理器510执行。所述一个或多个程序配置用于执行前述实施例所描述的方法。
处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分,通过运行或执行存储在存储器520内的指令、程序、代码集或指令集,以及调用存储在存储器520内的数据,执行电子设备500的各种功能和处理数据。可选地,处理器510可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作***、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器510中,单独通过一块通信芯片进行实现。
存储器520可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
另外,该电子设备500还可以包括显示屏,用于对待显示视频进行显示。
请参考图18,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种视频处理方法,其特征在于,所述方法包括:
将视频中的视频帧划分为纹理复杂度不同的多个视频区域;
根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式;
对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
2.根据权利要求1所述的方法,其特征在于,所述将视频中的视频帧划分为纹理复杂度不同的多个视频区域,包括:
将所述视频帧划分为多个区域;
计算各个区域的纹理复杂度;
对纹理复杂度满足预设相似度的相邻区域进行合并,获得纹理复杂度不同的多个视频区域。
3.根据权利要求2所述的方法,其特征在于,所述将所述视频帧划分为多个区域,包括:
通过神经网络对所述视频帧的目标对象进行识别;
将所述视频帧划分为包括目标对象的区域以及未包括目标对象的区域。
4.根据权利要求2所述的方法,其特征在于,所述将所述视频帧划分为多个区域,包括:
将所述视频帧划分为预设个数的形状相同的区域。
5.根据权利要求2所述的方法,其特征在于,所述对纹理复杂度满足预设相似度的相邻区域进行合并包括:
将纹理复杂度差值小于预设阈值的相邻区域合并。
6.根据权利要求2所述的方法,其特征在于,存储有多个纹理复杂度范围,所述对纹理复杂度满足预设相似度的相邻区域进行合并包括:
将纹理复杂度在同一纹理复杂度范围内的相邻区域合并。
7.根据权利要求1所述的方法,其特征在于,所述多个视频区域包括第一视频区域以及第二视频区域,所述第一视频区域的纹理复杂度大于所述第二视频区域,所述根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式,包括:
根据纹理复杂度与增强处理方式的对应关系,获取对第一视频区域去除块效应的增强处理方式;
根据纹理复杂度与增强处理方式的对应关系,获取对第二视频区域细节增强的增强处理方式。
8.根据权利要求7所述的方法,其特征在于,所述根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式之前,还包括:
获取所述视频的分辨率;
判断所述分辨率是否大于预设分辨率阈值;
若所述分辨率小于或等于预设分辨率阈值,执行所述根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式的步骤。
9.根据权利要求8所述的方法,其特征在于,若所述分辨率大于预设分辨率阈值,根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式包括:
获取所述多个视频区域中纹理复杂度大于预设纹理复杂度阈值的视频区域对应的增强处理方式。
10.根据权利要求1所述的方法,其特征在于,所述对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,包括:
将所述视频帧分割为所述多个视频区域;
对所述多个视频区域分别以对应的增强处理方式进行增强处理;
将处理后的所述多个视频区域图像合成为用于显示的视频帧。
11.一种视频处理装置,其特征在于,所述装置包括:
区域划分模块,用于将视频中的视频帧划分为纹理复杂度不同的多个视频区域;
方式获取模块,用于根据纹理复杂度与增强处理方式的对应关系,获取所述多个视频区域分别对应的增强处理方式;
处理模块,用于对所述视频帧的多个视频区域分别以对应的增强处理方式进行增强处理,所述增强处理通过调节视频帧的图像参数提高视频帧的画质。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-10任一项所述的方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811428044.9A CN109660821B (zh) | 2018-11-27 | 2018-11-27 | 视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811428044.9A CN109660821B (zh) | 2018-11-27 | 2018-11-27 | 视频处理方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109660821A true CN109660821A (zh) | 2019-04-19 |
CN109660821B CN109660821B (zh) | 2021-09-14 |
Family
ID=66111807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811428044.9A Active CN109660821B (zh) | 2018-11-27 | 2018-11-27 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109660821B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378860A (zh) * | 2019-07-30 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
CN111193911A (zh) * | 2020-01-15 | 2020-05-22 | 未来新视界文化科技(嘉善)有限公司 | 大数据视频的速传处理方法和装置 |
CN111598796A (zh) * | 2020-04-27 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
CN112102212A (zh) * | 2020-11-19 | 2020-12-18 | 腾讯科技(深圳)有限公司 | 一种视频修复方法、装置、设备及存储介质 |
CN112181657A (zh) * | 2020-09-30 | 2021-01-05 | 京东方科技集团股份有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN112351336A (zh) * | 2020-10-29 | 2021-02-09 | 南京创维信息技术研究院有限公司 | 基于视频图像分割优化电视画质方法、装置、终端及介质 |
CN114567814A (zh) * | 2022-04-28 | 2022-05-31 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频处理方法、视频渲染方法、处理器及存储介质 |
CN115330803A (zh) * | 2022-10-17 | 2022-11-11 | 菲特(天津)检测技术有限公司 | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090136158A1 (en) * | 2007-11-22 | 2009-05-28 | Semiconductor Energy Laboratory Co., Ltd. | Image processing method, image display system, and computer program |
US20090284625A1 (en) * | 2006-06-02 | 2009-11-19 | Rohm Co., Ltd. | Image processing circuit, semiconductor device and image processing device |
CN101616324A (zh) * | 2009-07-28 | 2009-12-30 | 谭洪舟 | 压缩编码图像的块效应去除装置 |
CN101968924A (zh) * | 2010-10-19 | 2011-02-09 | 北方工业大学 | 基于高分辨率图像的车流量实时检测方法 |
CN102611831A (zh) * | 2012-01-12 | 2012-07-25 | 陆许明 | 降低压缩图像编码噪声的方法 |
CN103473748A (zh) * | 2013-09-23 | 2013-12-25 | 中国矿业大学(北京) | 一种煤矿井下图像增强的方法 |
CN104202604A (zh) * | 2014-08-14 | 2014-12-10 | 腾讯科技(深圳)有限公司 | 视频增强的方法和装置 |
CN104427336A (zh) * | 2013-09-02 | 2015-03-18 | 苏州威迪斯特光电科技有限公司 | 基于感兴趣区域补偿编码的视频质量提高方法 |
CN104580826A (zh) * | 2015-02-03 | 2015-04-29 | 成都金本华科技股份有限公司 | 一种增强图像锐度的视频信号处理方法 |
CN104715453A (zh) * | 2013-12-12 | 2015-06-17 | 苏州长风航空电子有限公司 | 一种分区域处理的图像增强方法及电路 |
CN105872843A (zh) * | 2016-04-18 | 2016-08-17 | 青岛海信电器股份有限公司 | 一种播放视频的方法及装置 |
CN106550244A (zh) * | 2015-09-16 | 2017-03-29 | 广州市动景计算机科技有限公司 | 视频图像的画质增强方法及装置 |
CN106604057A (zh) * | 2016-12-07 | 2017-04-26 | 乐视控股(北京)有限公司 | 视频处理方法及装置 |
CN107291413A (zh) * | 2017-06-08 | 2017-10-24 | 深圳Tcl新技术有限公司 | 显示终端、画面对比度提高方法及计算机可读存储介质 |
CN107633491A (zh) * | 2017-09-26 | 2018-01-26 | 中国科学院长春光学精密机械与物理研究所 | 一种基于目标检测的区域图像增强方法及存储介质 |
CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
CN108810649A (zh) * | 2018-07-12 | 2018-11-13 | 深圳创维-Rgb电子有限公司 | 画质调节方法、智能电视机及存储介质 |
-
2018
- 2018-11-27 CN CN201811428044.9A patent/CN109660821B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090284625A1 (en) * | 2006-06-02 | 2009-11-19 | Rohm Co., Ltd. | Image processing circuit, semiconductor device and image processing device |
US20090136158A1 (en) * | 2007-11-22 | 2009-05-28 | Semiconductor Energy Laboratory Co., Ltd. | Image processing method, image display system, and computer program |
CN101616324A (zh) * | 2009-07-28 | 2009-12-30 | 谭洪舟 | 压缩编码图像的块效应去除装置 |
CN101968924A (zh) * | 2010-10-19 | 2011-02-09 | 北方工业大学 | 基于高分辨率图像的车流量实时检测方法 |
CN102611831A (zh) * | 2012-01-12 | 2012-07-25 | 陆许明 | 降低压缩图像编码噪声的方法 |
CN104427336A (zh) * | 2013-09-02 | 2015-03-18 | 苏州威迪斯特光电科技有限公司 | 基于感兴趣区域补偿编码的视频质量提高方法 |
CN103473748A (zh) * | 2013-09-23 | 2013-12-25 | 中国矿业大学(北京) | 一种煤矿井下图像增强的方法 |
CN104715453A (zh) * | 2013-12-12 | 2015-06-17 | 苏州长风航空电子有限公司 | 一种分区域处理的图像增强方法及电路 |
CN104202604A (zh) * | 2014-08-14 | 2014-12-10 | 腾讯科技(深圳)有限公司 | 视频增强的方法和装置 |
CN104580826A (zh) * | 2015-02-03 | 2015-04-29 | 成都金本华科技股份有限公司 | 一种增强图像锐度的视频信号处理方法 |
CN106550244A (zh) * | 2015-09-16 | 2017-03-29 | 广州市动景计算机科技有限公司 | 视频图像的画质增强方法及装置 |
CN105872843A (zh) * | 2016-04-18 | 2016-08-17 | 青岛海信电器股份有限公司 | 一种播放视频的方法及装置 |
CN108122206A (zh) * | 2016-11-29 | 2018-06-05 | 深圳市中兴微电子技术有限公司 | 一种低照度图像降噪方法及装置 |
CN106604057A (zh) * | 2016-12-07 | 2017-04-26 | 乐视控股(北京)有限公司 | 视频处理方法及装置 |
CN107291413A (zh) * | 2017-06-08 | 2017-10-24 | 深圳Tcl新技术有限公司 | 显示终端、画面对比度提高方法及计算机可读存储介质 |
CN107633491A (zh) * | 2017-09-26 | 2018-01-26 | 中国科学院长春光学精密机械与物理研究所 | 一种基于目标检测的区域图像增强方法及存储介质 |
CN108810649A (zh) * | 2018-07-12 | 2018-11-13 | 深圳创维-Rgb电子有限公司 | 画质调节方法、智能电视机及存储介质 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378860B (zh) * | 2019-07-30 | 2023-08-18 | 腾讯科技(深圳)有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
CN110378860A (zh) * | 2019-07-30 | 2019-10-25 | 腾讯科技(深圳)有限公司 | 修复视频的方法、装置、计算机设备和存储介质 |
CN111193911A (zh) * | 2020-01-15 | 2020-05-22 | 未来新视界文化科技(嘉善)有限公司 | 大数据视频的速传处理方法和装置 |
CN111193911B (zh) * | 2020-01-15 | 2021-12-14 | 未来新视界文化科技(嘉善)有限公司 | 大数据视频的速传处理方法和装置 |
CN111598796A (zh) * | 2020-04-27 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
CN111598796B (zh) * | 2020-04-27 | 2023-09-05 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
CN112181657A (zh) * | 2020-09-30 | 2021-01-05 | 京东方科技集团股份有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN112181657B (zh) * | 2020-09-30 | 2024-05-07 | 京东方科技集团股份有限公司 | 视频处理方法、装置、电子设备及存储介质 |
CN112351336A (zh) * | 2020-10-29 | 2021-02-09 | 南京创维信息技术研究院有限公司 | 基于视频图像分割优化电视画质方法、装置、终端及介质 |
CN112102212A (zh) * | 2020-11-19 | 2020-12-18 | 腾讯科技(深圳)有限公司 | 一种视频修复方法、装置、设备及存储介质 |
CN112102212B (zh) * | 2020-11-19 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 一种视频修复方法、装置、设备及存储介质 |
CN114567814A (zh) * | 2022-04-28 | 2022-05-31 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频处理方法、视频渲染方法、处理器及存储介质 |
CN115330803A (zh) * | 2022-10-17 | 2022-11-11 | 菲特(天津)检测技术有限公司 | 一种表面缺陷数据增强方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109660821B (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109660821A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
Rao et al. | A Survey of Video Enhancement Techniques. | |
CN105850114B (zh) | 用于图像的逆色调映射的方法 | |
CN109379625A (zh) | 视频处理方法、装置、电子设备和计算机可读介质 | |
CN109729405B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN109379624B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN109587560A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
CN109640167B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN109168065B (zh) | 视频增强方法、装置、电子设备及存储介质 | |
US11490157B2 (en) | Method for controlling video enhancement, device, electronic device and storage medium | |
CN113313774A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109618228B (zh) | 视频增强控制方法、装置以及电子设备 | |
CN108235037A (zh) | 对图像数据进行编码和解码 | |
WO2021193648A1 (ja) | 画像処理装置およびサーバ | |
EP3662660A1 (en) | System and method for compressing and decompressing time-varying surface data of a 3-dimensional object using a video codec | |
CN110769323A (zh) | 一种视频通信方法、***、装置和终端设备 | |
US11989919B2 (en) | Method and apparatus for encoding and decoding volumetric video data | |
WO2021193649A1 (ja) | 画像処理装置およびサーバ | |
Zhang et al. | Multi-scale-based joint super-resolution and inverse tone-mapping with data synthesis for UHD HDR video | |
US20230326086A1 (en) | Systems and methods for image and video compression | |
US20200258264A1 (en) | Data processing systems | |
CN110766117B (zh) | 一种二维码的生成方法及*** | |
CN109167946B (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
CN116847087A (zh) | 视频处理方法、装置、存储介质及电子设备 | |
CN114584831B (zh) | 提高视频清晰度的视频优化处理方法、装置、设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |