CN113709385A - 一种视频处理方法及装置、计算机设备和存储介质 - Google Patents

一种视频处理方法及装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113709385A
CN113709385A CN202110245053.XA CN202110245053A CN113709385A CN 113709385 A CN113709385 A CN 113709385A CN 202110245053 A CN202110245053 A CN 202110245053A CN 113709385 A CN113709385 A CN 113709385A
Authority
CN
China
Prior art keywords
video
processing
processed
type
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110245053.XA
Other languages
English (en)
Inventor
赵远远
郑青青
刘浩
李琛
杨博
吕静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110245053.XA priority Critical patent/CN113709385A/zh
Publication of CN113709385A publication Critical patent/CN113709385A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/475End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种应用于图像处理领域的视频处理方法及装置、计算机设备和存储介质,包括:获取针对于待处理视频的视频处理指令,对待处理视频进行视频内容检测,得到视频内容检测结果。响应于视频处理指令,根据视频内容检测结果获取所述待处理视频所对应的K个视频类型标签。根据K个视频类型标签确定K个视频处理模式,其中,每个视频处理模式包括至少两种处理子模式,每种处理子模式包括画质处理模式以及内容处理模式中的至少一种。采用K个视频处理模式对待处理视频进行处理,以输出目标视频。通过上述方法,可以对待处理视频执行多项视频处理、使其达到一键美化增强的效果,简化视频处理操作,提高视频处理效率。

Description

一种视频处理方法及装置、计算机设备和存储介质
技术领域
本申请涉及图像处理领域,尤其涉及一种视频处理方法及装置、计算机设备和存储介质。
背景技术
随着视频分享平台的不断发展,各类视频已经进入爆发期,用户对视频质量要求也越来越高。通常,一段视频在发布之前往往要进行编辑美化,例如对曝光度低的视频进行亮度提升、对视频进行降噪处理以提高画质等。为此,视频分享平台会提供多种视频质量增强的智能化方法,方便用户对视频进行编辑。
现有的,视频分享平台会提供多种智能化工具,供用户选择。当用户选择某智能化工具时,就利用该智能化工具对应的视频质量增强方法对视频进行处理,例如,用户可以选择某个滤镜按钮,视频分享平台就会根据用户的选择为视频添加滤镜。用户手动选择多种智能化工具,将耗费大量时间和精力,严重影响用户体验,因此,如何智能化的对视频进行多项处理,使其达到一键美化增强的效果,成为亟需解决的问题。
发明内容
本申请实施例提供了一种视频处理方法及装置、计算机设备和存储介质。当用户需要对视频数据进行处理时,服务器可以根据一个视频处理指令来获取待处理视频的多个视频类型标签,并且通过视频类型标签来获取多种视频处理模式,并通过该视频处理模式对视频进行多项处理,使其达到一键美化增强的效果,简化视频处理操作,提高视频处理效率。
有鉴于此,本申请第一方面提供了一种视频处理的方法,包括:
获取针对于待处理视频的视频处理指令。
对待处理视频进行视频内容检测,得到视频内容检测结果。
响应于视频处理指令,根据视频内容检测结果获取待处理视频所对应的K个视频类型标签,其中,K为大于或等于1的整数。
根据K个视频类型标签确定K个视频处理模式,其中,视频处理模式与视频类型标签具有对应关系,每个视频处理模式包括至少两种处理子模式,其中,每种处理子模式包括画质处理模式以及内容处理模式中的至少一种。
采用K个视频处理模式对待处理视频进行处理,以输出目标视频。
本申请第二方面提供了一种视频处理装置,包括:
获取单元,用于获取针对于待处理视频的视频处理指令。
检测单元,用于对待处理视频进行视频内容检测,得到视频内容检测结果。
获取单元,还用于响应于视频处理指令,根据视频内容检测结果获取待处理视频所对应的K个视频类型标签,其中,K为大于或等于1的整数。
确定单元,用于根据K个视频类型标签确定K个视频处理模式,其中,视频处理模式与视频类型标签具有对应关系,每个视频处理模式包括至少两种处理子模式,其中,每种处理子模式包括画质处理模式以及内容处理模式中的至少一种。
处理单元,用于采用K个视频处理模式对待处理视频进行处理,以输出目标视频。
在一种可能的设计中,K个视频类型标签包括一个主视频类型标签和至少一个次视频类型标签,确定单元,具体用于根据主视频类型标签确定一个主视频处理模式,根据至少一个次视频类型标签确定至少一个次视频处理模式。
处理单元,具体用于采用主视频处理模式对待处理视频中的视频帧的全部内容对象进行处理。采用次视频处理模式对待处理视频中的视频帧的部分内容对象进行处理。其中,次视频类型标签由部分内容对象获得。
在一个可能的设计中,获取单元,具体用于获取待处理视频中的至少一个关键视频帧。
检测单元,用于确定至少一个关键视频帧的全部内容对象。根据全部内容对象所占像素点的多少,确定全部内容对象中的一个主内容对象和至少一个次内容对象。
确定单元,还用于将主内容对象对应的视频类型标签确定为主视频类型标签,并将至少一个次内容对象对应的视频类型标签确定为至少一个次视频类型标签。
在一个可能的设计中,获取单元,具体用于获取待处理视频中的至少一个关键视频帧。
检测单元,具体用于确定至少一个关键视频帧的全部内容对象。根据全部内容对象对应的优先级等级,确定全部内容对象中优先级最高的内容对象为主内容对象;并根据优先级等级,确定至少一个次内容对象。
确定单元,具体用于将主内容对象对应的视频类型确定为主视频类型标签,并将至少一个次内容对象对应的视频类型标签确定为至少一个次视频类型标签。
在一个可能的设计中,K等于1,获取单元,具体用于根据预设频率,周期性的截取待处理视频中的多个视频帧。
确定单元,还用于确定多个视频帧对应的多个视频类型标签,多个视频帧和多个视频类型标签一一对应。将多个视频类型标签中出现频率最高的视频类型标签确定为待处理视频所对应的视频类型标签。
在一个可能的设计中,确定单元,具体用于确定多个视频帧中每个视频帧中的多个内容对象。确定每个视频帧中的多个内容对象的权重值,将多个内容对象中权重最高的内容对象所对应的视频类型标签确定为每个视频帧对应的视频类型标签。
在一个可能的设计中,获取单元,具体用于将多个视频帧输入至图像标签模型;根据图像标签模型的输出确定待处理视频所对应的视频类型标签。
在一个可能的设计中,K个视频类型标签包括人物类型标签,人物类型标签对应的视频处理模式包括滤波处理、液化处理或亮度调整中的至少两种。处理单元,具体用于根据人物类型标签确定待处理视频中的人物内容对象,对所述人物内容对象进行滤波处理、液化处理或亮度调整处理中的至少两种处理。
在一个可能的设计中,K个视频类型标签包括美食类型标签,美食类型标签对应的视频处理模式包括色温调整、饱和度调整或添加滤镜中的至少两种。
处理单元,具体用于根据美食类型标签确定待处理视频中的食物内容对象;对食物内容对象进行色温调整处理、饱和度调整处理或添加滤镜处理中的至少两种处理。
在一个可能的实施方式中,K个视频类型标签包括夜景类型标签,夜景类型标签对应的视频处理模式包括明度调整、饱和度调整或去噪处理中的至少两种。
处理单元,具体用于根据夜景类型标签确定待处理视频中的多个夜景视频帧,对多个夜景视频帧进行明度调整处理、饱和度调整处理或去噪处理中的至少两种处理。
在一个可能的实施方式中,K个视频类型标签包括室内类型标签,室内类型标签对应的视频处理模式包括明度调整、饱和度调整或白平衡调整中的至少两种。
处理单元,具体用于根据室内类型标签确定待处理视频中的多个室内视频帧,对多个室内视频帧进行明度调整处理、饱和度调整处理或白平衡调整处理中的至少两种处理。
在一个可能的实施方式中,K个视频类型标签包括植物类型标签,植物类型标签对应的视频处理模式包括对比度调整和添加滤镜。
处理单元,具体用于根据植物类型标签确定待处理视频中的植物内容对象,对植物内容对象进行对比度调整处理和添加滤镜处理。
本申请的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例中,提供了一种视频处理方法,当接收到用户发送的视频处理指令时,首先响应该视频处理指令,得到待处理视频的视频类型标签,然后获取与视频类型标签对应的视频处理模式,然后根据视频处理模式中的多个处理子模式对待处理视频进行多项处理,最终输出处理后的目标视频。通过上述方式,可以实现对待处理视频的“一键美化“功能,用户只需要输入一个视频操作指令就可以实现对待处理视频的多项增强处理,从而简化了视频处理操作,提高了视频处理效率。
附图说明
图1为本申请实施例提供的一种视频处理方法的环境示意图;
图2为本申请实施例提供的一种视频处理方法的流程示意图;
图3为本申请实施例提供的一种视频编辑界面的结构示意图;
图4为本申请实施例提供的另一种视频处理方法的流程示意图;
图5为本申请实施例提供的另一种视频处理方法的流程示意图;
图6为本申请实施例提供的一种视频处理装置的结构示意图;
图7为本申请实施例提供的一种服务器的结构示意图;
图8为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
本申请实施例提供了一种视频处理方法及装置、计算机设备和存储介质。当用户需要对视频数据进行处理时,服务器可以根据一个视频处理指令来获取待处理视频的多个视频类型标签,并且通过视频类型标签来获取多种视频处理模式,并通过该视频处理模式对视频进行多项处理,使其达到一键美化增强的效果,简化视频处理操作,提高视频处理效率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着网络用户对短视频分享的需求日益增多,各种视频分享平台迅速蹿红,为用户提供了编辑视频、上传视频、视频评论等多项服务。一般的,在某一用户将自己所制作的视频上传前,往往需要对该视频进行二次编辑,进一步对视频进行美化增强。现有的视频编辑界面为用户提供了多种编辑工具,可以对视频进行多项处理操作,满足用户对视频品质的追求。然而,在对视频进行编辑处理时,需要用户手动以此调节各项视频增强功能,这样对于图像处理以及经验不足的用户来讲处理步骤繁琐,且极为耗时耗力气。基于上述问题,本发明提出一种智能化的根据待处理视频中的内容来进行对待处理视频进行编辑处理的方法,这样可以自动的根据视频场景特性和视频内容角色对视频进行增强美化,极大提高视频处理效率。可以理解的,若采用硬件加速以及轻量级图像处理算法还可以使得用户等待时间少,进一步提高视频处理的效率。
下面对本申请实施例的应用场景进行介绍。可以理解的,该视频处理方法可以由终端设备来执行,也可以由服务器来执行。可实施的,当该视频处理方法部署于终端设备上时,终端设备在离线状态下就可以根据用户指令直接对视频进行处理,此时终端设备无需联网,能够更好的保护用户视频数据的隐私性,视频处理过程更加便捷。当该视频处理方法部署于服务器时,服务器可以根据用户指令实时处理视频数据,并且可以基于服务器的硬件性能为待处理视频提供更丰富的视频效果素材,同时还能提高视频处理速率,从而提高视频处理的效率。
下面以服务器为执行主体为例对本申请实施例提供的视频处理方法进行介绍。请参阅图1,图1为本申请实施例中视频处理方法的一个环境示意图,如图1所示,该视频处理***中包括服务器和终端设备,在服务器侧对待处理视频进行编辑,在客户端上为用户展示可操作界面以及展示处理后的新视频的视频画面。
需要说明的是,图1中的服务器可以是一台服务器或多台服务器组成的服务器集群或云计算中心等,具体此处均不限定。客户端具体部署与终端设备,终端设备可以为图3中示出的平板电脑、笔记本电脑、掌上电脑、手机、个人电脑(personal computer,PC)及语音交互设备。
终端设备和服务器之间可以通过无线网络、有线网络或可移动存储介质进行通信。其中,上述的无线网络使用标准通信技术和/或协议。无线网络通常为因特网、但也可以是任何网络,包括但不限于蓝牙、局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,可以使用定制或专用数据通信技术取代或者补充上述数据通信技术。可移动存储介质可以为通用串行总线(Universal Serial Bus,USB)闪存盘、移动硬盘或其他可移动存储介质等。
虽然图1中仅示出了五个终端设备和一个服务器,但应当理解,图1中的示例仅用于理解本方案,具体终端设备和服务器的数量均应当结合实际情况灵活确定。
由于本申请实施例还可以基于人工智能领域来实现,在对本申请实施例提供的视频处理方法开始介绍之前,先对人工智能领域的一些基础概念进行介绍。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能技术研究和进步,人工智能技术在多种方向展开研究,机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
结合上述介绍,下面以执行主体为服务器为例,对本申请中视频处理方法进行介绍,请参阅图2,图2为本申请实施例提供的一种视频处理方法的流程示意图,如图2所示,该方法包括:
201、服务器获取待处理视频,接收针对于待处理视频的视频处理指令。
示例性的,用户可以在视频编辑界面上传待处理视频,如图3所示,图3包括视频展示界面301和工具栏界面302,其中,视频展示界面301用于展示待处理视频,同时可以对处理后的新视频进行效果展示,工具栏界面302可以包括“一键美化”按钮303。当用户确定好待处理视频后,服务器就需要在视频展示界面301上展示待处理视频,同时,用户选择点击按钮303,及用户通过按钮303向服务器发送视频处理指令。服务器在接收到该视频处理指令后,启动视频处理流程,对待处理视频进行自动化处理,最终将处理后的新视频通过视频展示界面301展示,供用户对最终视频的效果进行阅览。
202、服务器对待处理视频进行视频内容检测,得到视频内容检测结果。
当服务器接收到针对待处理视频的视频处理指令后,就需要先对待处理视频的视频内容进行检测。示例性的,可以检测待处理视频的视频场景特性,例如对待处理视频中每一帧视频画面的场景内容进行检测,判断其所述的场景类型,包括室内场景、室外场景或者运动场景等。
示例性的,还可以检测待处理视频的内容对象,例如,对待处理视频中的视频画面进行特征点比对,判断包括的内容对象所属的类型,例如待处理视频中包括的人物、动物、植物,车辆等。
示例性的,还可以对待处理视频中内容对象的角色进行区分,例如待处理视频包括多个人物对象,进一步的,还可以对人物角色可以检测,例如判断该人物对象是女性角色还是男性角色,是年轻角色还是年迈角色等。基于上述检测策略,服务器可以对整个待处理视频中包括的内容进行划分,得到最终的视频内容检测结果,以便后续服务器根据该视频内容检测结果来确定视频类型,从而确定视频处理的方式。
203、服务器响应视频处理指令,根据视频内容检测结果获取待处理视频对应的视频类型标签。
服务器响应视频处理指令,启动视频处理流程。首先,服务器需要根据视频内容检测结果来确定该视频的视频类型标签。具体的,视频分享平台可以统计和分析海量用户拍摄视频中的内容,为视频建立类型标签体系,即根据视频内容对视频进行分类,添加不同的类型标签。示例性的,可以包括人物类型标签、宠物类型标签、美食类型标签、植物类型标签、文档类型标签、夜景类型标签、室内类型标签等。
其中,可以根据上述视频类型标签体系为每个视频添加至少一个视频类型标签,例如,服务器可以根据图像关键点检测待处理视频的每个视频帧中的人脸图像,当包含有人脸图像的视频帧个数占总视频帧个数的80%以上时,就可以确定该待处理视频的视频类型标签为人物类型标签。又比如服务器可以识别待处理视频的视频帧图像中的光线强度,当根据光线强度确定视频帧图像为夜景图像时,就可以确定该待处理视频的视频类型标签为夜景类型标签。可以理解的,一个视频可以对应多个视频类型标签,如服务器检测到某待处理视频为夜景拍摄,且拍摄的对象为人物时,就可以确定该待处理视频对应的视频类型标签为人物类型标签和夜景类型标签,即待处理视频对应的视频类型标签个数具体不做限定。
示例性的,可以基于上述视频类型标签体系来建立图像标签模型,该图像标签模型用于输出待识别视频的视频类型标签。示例性的,图像标签模型可以通过以下步骤来训练得到:首先对训练样本进行标注,该训练样本为历史上传视频,标注内容则为训练样本准确的视频类型标签,再将标注样本输入至图像标签模型,图像标签模型通过标注样本的内容,获得标注样本的输出类型标签。然后根据输出类型标签和标注的视频类型标签的损失,对图像标签模型的参数进行迭代更新,直至图像标签模型趋于收敛。这样,就可以将待处理视频输入至训练好的图像标签模型,根据图像标签模型的输出获得待处理视频的视频类型标签。
不同的视频类型标签将对应不同的视频处理方式,例如,人物类型标签将更注重脸部重塑,食物类型标签更注重食物的饱和度与颜色,而夜景类型标签更注重画面的亮度、对比度调整。因此,服务器就可以为每个视频类型标签建立视频处理策略,制定视频处理方式,最终将生成每一种视频类型标签专有的视频处理模式。
204、服务器根据视频类型标签确定视频处理模式。
服务器根据待处理视频的视频类型标签来确定其对应的视频处理模式,然后根据视频处理模式中的多个子模式依次对待处理视频进行处理。其中,视频类型标签与视频处理模式一一对应,而每个视频处理模式则包括多个具体的处理方式(即处理子模式),该处理子模式可以是画质处理模式或者内容处理模式。其中,画质处理模式可以是对视频画面整体进行编辑调整,例如改变整个视频画面的亮度、对比度、白平衡、色温等,通过对这些画面基本指标的调整,来对视频进行美化增强。而内容处理模式则可以是对具体的画面内容进行调整,如对画面中的人脸进行美白、磨皮、瘦脸等操作。或者对画面中的宠物进行锐化、清晰度加深等操作。服务器可以根据每个视频类型标签的特点,来制定个性化的处理方式组合,最终得到每个视频类型标签的视频处理模式。
如表1所示,为本申请实施例提供的一个视频类型标签和视频处理模式对应表,可以理解的,该对应表仅仅作为一种示例,视频类型标签对应的视频处理模式为多种视频处理方式的组合,视频处理模式包括的处理子模式可以根据不同的需求任意进行组合,具体不做限定。
表1
视频类型标签 视频处理模式
人物 磨皮→瘦脸→美白
美食 色温处理→饱和度处理→加滤镜
植物 对比度调整→加滤镜
夜景 明度调整→饱和度调整→去噪处理
室内 明度调整→饱和度调整→白平衡调整
动物 明度调整→饱和度调整→滤镜
文档 去噪处理→锐化处理
示例性的,在上述对应表中,人物类型标签对应的视频处理模式可以包括滤波处理、液化处理或者亮度调整。其中,滤波处理对应磨皮,液化处理对应瘦脸、亮度调整即为美白。当待处理视频所对应的视频类型标签为人物类型标签时,服务器则可以对该视频中的人脸自动进行瘦脸、磨皮和美白的处理,从而达到对整个视频的美化增强。
示例性的,在上述对应表中,美食类型标签对应的视频处理模式可以包括色温调整处理、饱和度调整处理或添加滤镜处理中的至少两种。当待处理视频所对应的视频类型标签为食物类型标签时,服务器先确定待处理视频中的“食物”,然后可以对其自动进行色温调整处理、饱和度调整处理和添加滤镜处理,最终达到对整个视频的美化增强。
示例性的,在上述对应表中,植物类型标签对应的视频处理模式可以包括对比度调整和添加滤镜。当待处理视频所对应的视频类型标签为植物类型标签时,服务器先确定待处理视频中的“植物”,然后可以对其自动进行对比度调整,以及对该视频帧添加滤镜,最终达到对整个视频的美化增强。
示例性的,在上述对应表中,夜景类型标签对应的视频处理模式可以包括明度调整、饱和度调整或去噪处理中的至少两种。当待处理视频所对应的视频类型标签为夜景类型标签时,服务器可以对整个视频帧画面明度调整处理、饱和度调整处理或去噪处理中的至少两种处理,最终达到对整个视频的美化增强。
示例性的,在上述对应表中,室内类型标签对应的视频处理模式可以包括明度调整、饱和度调整或白平衡调整中的至少两种。当待处理视频所对应的视频类型标签为室内类型标签时,服务器可以对整个视频帧画面明度调整处理、饱和度调整处理或白平衡调整中的至少两种处理,最终达到对整个视频的美化增强。
可以理解的,服务器可以根据处理风格为每个视频类型标签确定多种视频处理组合,建立个性化的视频处理模式,具体处理方式并不做限制。同时,当某一待处理视频对应多个视频类型标签时,服务器可以根据每个视频类型标签对应的视频处理模式,依次对待处理视频进行多项处理,处理效果可以叠加,最终生成美化增强后的视频。
205、服务器根据视频处理模式对待处理视频进行处理,输出目标视频。
当服务器确定好待处理视频的视频类型标签以及该视频类型标签对应的视频处理模式后,就根据视频处理模式中的处理方式依次对待处理视频进行多项处理,生成目标视频,并将目标视频发送至终端供用户阅览效果,当用户满意时,就可以将处理后的目标视频上传至视频分享平台。
在本实施例中,服务器接收到用户发送的视频处理指令时,首先响应该视频处理指令,得到待处理视频的视频类型标签,然后获取与视频类型标签对应的视频处理模式,根据视频处理模式中的多个处理子模式对待处理视频进行多项处理,最终输出处理后的目标视频。通过上述方式,可以实现对待处理视频的“一键美化”功能,用户只需要输入一个视频操作指令就可以实现对待处理视频的多项增强处理,从而简化了视频处理操作,提高了视频处理效率。“一键美化”功能可以省略掉用户对拍摄视频的再次编辑时间,在提升视频美观度的同时,大大增加用户上传视频的意愿,提升视频分享平台的用户粘性和活跃度。
下面针对待处理视频对应的视频类型标签的个数,以执行主体为服务器为例,对本申请中视频处理方法进行介绍,请参阅图4,图4为本申请实施例提供的另一种视频处理方法的流程示意图,可以理解的,在本申请实施例中,一个待处理视频对应一个视频类型标签;如图4所示,包括:
401、服务器获取待处理视频,接收针对于待处理视频的视频处理指令。
可以理解的,步骤401与图2所示实施例中的步骤201类似,在此不做赘述。
402、服务器对待处理视频进行视频内容检测,得到视频内容检测结果。
可以理解的,步骤402与图2所示实施例中的步骤202类似,在此不做赘述。
403、服务器响应视频处理指令,根据预设频率,周期性的截取所述待处理视频中的多个视频帧。
当服务器接收到用户发送的视频处理指令时,就需要响应该视频处理指令,针对待处理视频启动视频处理流程。首先,服务器可以周期性的截取待处理视频中的多个视频帧,根据这多个视频帧中的内容来判断整个视频的主要场景,便于后续服务器合理规划处理方式。可以理解的,服务器还可以根据某种策略确定视频中的多个关键帧,通过分析多个关键帧的内容视频应用场景,例如根据视频画面中包含对象的多少确定多个关键帧等,具体形式不做限制。
404、服务器根据视频内容检测结果分别确定每个视频帧中的多个内容对象。
当服务器确定好多个视频帧后,就需要依次对多个视频帧中的每个视频帧进行分析。可以理解的,多个视频帧中的内容是用来确定待处理视频的处理策略的,因此,可以先根据视频内容检测结果对每个视频帧进行分类,确定每个视频帧对应的视频类型标签。然后分析多个视频帧对应的多个视频类型标签,从中选取最能代表视频内容的视频类型标签作为整个待处理视频的视频类型标签,这样,可以使得服务器确定的处理模式更智能的对待处理视频进行处理,提高视频处理的效果。
示例性的,服务器可以通过每个视频帧对应的视频场景特性来确定每个视频帧对应的视频类型标签。例如可以根据每个视频帧画面中的光线特征来确定该视频帧的拍摄场景,例如夜景模式、室内场景、室外场景等。
示例性的,服务器可以通过每个视频帧对应的视频对象特征来确定每个视频帧对应的视频类型标签。例如,服务器可以根据关键特征点比对,来检测每个视频帧画面中的对象,根据对象类型来确定该视频帧的视频类型标签,如人物类型、动物类型、植物类型等。
示例性的,当服务器确定视频帧的视频美容对象为人物类型时,还可以确定该人物类型的角色,如女性角色和男性角色,并根据该角色特征来确定该视频帧的视频类型标签。可以理解的,服务器可以根据不同的策略来确定不同类型的内容对象,具体不做限制。
405、服务器根据多个内容对象的权重值,确定每个视频帧对应的视频类型标签。
服务器可以制定相关策略,为不同的内容对象确定不同的权重值。示例性的,可以确定人脸的权重大于动物的权重,动物的权重大于植物的权重,这样,当服务器在检测到某个视频帧画面包括有人脸图像、动物图像和植物图像时,就可以确定该视频帧中最主要的内容对象为人脸,因此可以确定该视频帧对应的视频类型标签为人物类型标签。
示例性的,服务器还可以通过每个内容对象所占的像素点多少来确定权重值,例如,服务器在检测到某个视频帧画面包括有人脸图像、动物图像和植物图像时,先确定人脸图像、动物图像和植物图像所占整个画面的比例,若占整个画面区域最大的为动物图像时,就可以确定该视频帧对应的视频类型标签为动物类型标签。
示例性的,服务器还可以制定拍摄环境的权重大于图像的权重,例如,某一视频帧画面为夜幕下的人脸,服务器检索该视频帧的内容为夜景模式、人脸图像,这样就可以通过其权重值确定该视频帧对应的视频类型标签为夜景类型标签。
由上述例子可以看出,服务器通过分析每个视频帧中的内容,力图寻找最有代表性的特征来确定视频帧的视频类型标签,因此可以根据用户需求制定不同的策略来确定某一视频帧的视频类型标签,具体不做限定。
406、服务器根据多个视频帧的多个视频类型标签,确定待处理视频对应的视频类型标签。
当服务器确定好每个视频帧对应的视频类型标签后,就需要对多个视频帧的视频类型标签进行统计分析,得到最终待处理视频的视频类型标签。示例性的,可以将多个视频类型标签中出现频率最高的视频类型标签确定为待处理视频对应的视频类型标签,例如,服务器获取待处理视频的10个视频帧,在这10个视频帧中,有5个视频帧对应的视频类型标签为人物类型标签,有3个视频帧对应的视频类型标签为动物类型标签,有2个视频帧对应的标签为植物类型标签,那么就可以将该待处理视频的视频类型标签确定为人物类型标签。
示例性的,服务器还可以通过投票机制来确定待处理视频的视频类型标签。具体的,服务器先分别确定多个视频帧对应的视频类型标签,然后选择其中优先级最高的视频类型标签作为整个待处理视频的视频类型标签。
示例性的,服务器还可以计算每个视频帧在多个视频类型标签下的概率得分,最后将概率总和最大值的视频类型标签确定为待处理视频的视频类型标签。例如,服务器确定第一视频帧在人物类型标签下的概率值为0.8,在动物类型标签下的概率值为0.2。第二视频帧在人物类型标签下的概率值为0.5,在动物类型标签下的概率值为0.2,在夜景类型标签下的概率值为0.3。第三视频帧在人物类型标签下的概率值为0.4,在植物类型标签下的概率值为0.6,那么结合这三个视频帧的概率值,可以看出概率总和最大的视频类型标签为人物类型标签,那么就可以确定该待处理视频对应的视频类型标签为人物类型标签。可以理解的,服务器可以通过多种策略来确定待处理视频的视频类型标签,在此不做限定。
407、服务器根据待处理视频对应的视频类型标签确定视频处理模式。
当服务器确定完待处理视频对应的视频类型标签后,就可以根据视频类型标签对应的视频处理模式来对待处理视频进行视频处理。其中,视频处理模式是多种视频处理方式的组合,可以包括对视频图像整体画质的美化增强方式,也可以包括针对视频具体内容的美化编辑。步骤407中的视频处理模式与图2所示实施例中的步骤204中的视频处理模式类似,在此不做赘述。
408、服务器根据视频处理模式对待处理视频进行处理,输出目标视频。
当服务器确定好待处理视频的视频类型标签以及该视频类型标签对应的视频处理模式后,就根据视频处理模式中的处理方式依次对待处理视频进行多项处理,生成目标视频,并将目标视频发送至终端供用户阅览效果,当用户满意时,就可以将处理后的目标视频上传至视频分享平台。
在本实施例中,服务器可以周期性的截取待处理视频中的多个视频帧,然后根据每个视频帧具体包括的内容先确定每个视频帧对应的视频类型标签,再统计分析多个视频帧对应的多个视频类型标签,选择最能反映视频特征的视频类型标签作为整个待处理视频的视频类型标签,最后根据待处理视频的视频类型标签所对应的视频处理模式对待处理视频进行多项处理,输出处理后的目标视频。当待处理视频仅包括一个视频类型标签时,就可以大大简化视频处理过程,保持视频中所述视频帧的风格色彩统一,减少视频的编辑处理时间,提高视频处理速率。
请参阅图5,图5为本申请实施例提供的另一种视频处理方法的流程示意图,可以理解的,在图5所示实施例中,一个待处理视频将对应多个视频类型标签;如图5所示,同样的,以服务器为执行主体为例,该方法包括以下步骤:
501、服务器获取待处理视频,接收针对于待处理视频的视频处理指令。
可以理解的,步骤501与图2所示实施例中的步骤201类似,在此不做赘述。
502、服务器对待处理视频进行视频内容检测,得到视频内容检测结果。
可以理解的,步骤502与图2所示实施例中的步骤202类似,在此不做赘述。
503、服务器响应视频处理指令,获取待处理视频中的至少一个关键视频帧。
当服务器接收到用户发送的视频处理指令时,响应该视频处理指令,针对待处理视频启动视频处理流程。首先,服务器需要根据相关策略确定待处理视频的至少一个关键视频帧,通过分析多个关键帧包括的内容,例如根据视频画面中包含对象的多少确定关键帧,具体形式不做限制。
504、服务器根据关键视频帧的视频内容检测结果,确定待处理视频对应的一个主视频类型标签和至少一个次视频类型标签。
当服务器确定好待处理视频的关键视频帧后,就可以根据关键视频帧对应的视频内容检测结果来确定多个视频类型标签。示例性的,服务器可以对每个关键视频帧对应的视频场景特性来确定每个视频帧对应的视频类型标签,然后根据每个视频帧对应的视频类型标签来确定主视频类型标签和次视频类型标签。例如,通过对关键视频的视频场景特性进行分析,得到关键视频帧对应的场景包括室内场景和户外场景,若场景特性为户外场景的关键视频帧的个数大于室内场景,那么就可以确定户外场景标签为主视频标签,室内场景标签为次视频标签;
示例性的,服务器还可以对关键视频帧中包括的对象特征进行分析,智能选择更能代表视频的对象特征,并根据该对象特征确定待处理视频的主视频类型标签。然后再分析其他内容对象,确定次视频类型标签。示例性的,服务器可以通过分析关键视频帧中所有内容对象所占的像素点的多少,来确定主内容对象和次内容对象,并根据主内容对象确定主视频类型标签,根据次内容对象确定次视频类型标签。例如,服务器检测到某个待处理视频包括的关键视频帧中有包括人物图像、动物图像和植物图像,其中,人物图像为视频画面的远景,所占的像素点个数(即所占画面区域)比较少,动物图像所占的像素点个数最多,植物图像次之,那么就可以确定动物图像为主内容对象,而人物图像和植物图像为次内容对象。然后根据主内容对象即动物图像,确定该待处理视频的主视频类型标签为动物类型标签,该待处理视频的次视频类型标签则为人物类型标签和植物类型标签。
示例性的,服务器可以通过关键视频帧中所有内容对象的优先级等级,来确定主内容对象和次内容对象,并根据主内容对象确定主视频类型标签,根据次内容对象确定次视频类型标签。例如,服务器检测到某个待处理视频包括的关键视频帧中有包括人物图像、动物图像和植物图像,由于人物图像的优先级大于动物图像,植物图像的优先级最低,那么就可以确定人物图像为主内容对象,而动物图像和植物图像为次内容对象。然后根据主内容对象即人物图像,确定该待处理视频的主视频类型标签为人物类型标签,确定该待处理视频的次视频类型标签则为动物类型标签和植物类型标签。
示例性的,服务器还可以对关键视频帧中包括的人物角色特征进行分析,例如服务器确定关键视频帧中的主要内容为人物,那么就需要对包括的多个人物的角色进行分析,例如女性角色和男性角色的个数,年幼角色和年迈角色的个数等,若女性角色的个数大于男性角色的个数,那么就可以确定该待处理视频的主视频类型标签为女性人物类型标签,次视频类型标签为男性人物类型标签。
可以理解的,服务器可以根据需求制定不同的策略来确定待处理视频的主视频类型标签和次视频类型标签,次视频类型标签的个数可以自由确定,具体不做限定。
505、服务器根据主视频类型标签确定一个主视频处理模式,根据次视频类型标签确定至少次视频处理模式。
当服务器确定完待处理视频对应的视频类型标签后,就可以根据视频类型标签对应的视频处理模式来对待处理视频进行视频处理。其中,视频处理模式是多种视频处理方式的组合,可以包括对视频图像整体画质的美化增强方式,也可以包括针对视频具体内容的美化编辑。其中,主视频类型标签对应的视频处理模式则为主视频处理模式,而次视频类型标签对应的视频处理模式则为次视频处理模式。步骤505中的视频处理模式与图2所示实施例中的步骤204中的视频处理模式类似,在此不做赘述。
506、服务器采用主视频处理模式和次视频处理模型对待处理视频进行处理。
可以理解的,主视频类型标签为最能代表视频类型风格的视频类型标签,示例性的,主视频类型标签对应的主视频处理模式可以针对整个视频画面来对待处理视频进行处理。具体的,可以处理视频帧的全部内容对象,例如,某一待处理视频为夜景下的人物舞蹈视频,那么就可以确定该视频对应的主视频类型标签为夜景类型标签,次视频类型标签则为人物类型标签。服务器在对该视频进行处理时,就可以根据夜景类型标签对应的视频处理模式来对整个视频帧画面进行亮度和对比度调整,以达到对待处理视频增强美化的效果。
可以理解的,次视频类型标签对应的次视频处理模式,可以针对视频局部内容对象进行处理,例如,在上述例子中,待处理视频的主视频类型为夜景类型标签,次视频类型为人物类型标签,那么就可以根据夜景类型标签对应的视频处理模式来对整个视频帧画面进行亮度和对比度调整,载根据人物类型标签对应的视频处理模式对视频帧中的人物进行磨皮、美白等处理,最终生成目标视频。
示例性的,当服务器根据视频场景特性来确定多个视频类型标签时,就可以对每个视频帧对应的视频场景特性分析,将待处理视频分为多个片段,每个片段对应的场景信息都相同,然后再根据多个视频处理模式对待处理视频进行处理。例如,在某个视频中,拍摄场景从室内转到室外再转到夜景,那么就可以根据室内场景标签对应的视频处理模式对室内场景视频帧进行处理,根据室外场景标签对应的视频处理模式对室外场景视频帧进行处理,根据夜景场景标签对应的视频处理模式对夜景场景视频帧进行处理。
示例性的,当服务器根据对象特性来确定多个视频类型标签时,就可以确定待处理视频中不同类型的对象,例如,某个视频中包括有人物、动物和植物,那么就可以根据人物类型标签对应的视频处理模式对人物对象进行处理,根据动物类型标签对应的视频处理模式对动物对象进行处理,根据植物类型标签对应的视频处理模式对植物对象进行处理。
示例性的,当服务器确定待处理视频中有多个人物角色时,例如,某个视频中包括有女性人物角色和男性人物角色,那么就可以根据女性人物类型标签对应的视频处理模式对女性角色进行处理,根据男性人物类型标签对应的视频处理模式对男性角色进行处理。
在本实施例中,服务器可以先确定待处理视频中的关键视频帧,然后通过分析关键视频帧中的全部内容对象确定待处理视频的主视频类型标签和次视频类型标签,最后根据待处理视频的主视频类型标签所对应的视频处理模式对待处理视频的整体画面进行处理,采用次视频处理模式对待处理视频中的特定内容对象进行处理,最后输出处理后的目标视频。通过上述方式中,每个待处理视频将对应多个标签,其中主视频标签可以确定视频处理的整体风格,次视频标签则针对视频帧中特定的内容对象进行个性化处理,这样,可以更加丰富视频处理方式组合,满足更好要求的视频处理效果,提高视频处理质量。
可以理解的,该视频处理方法还可以由终端设备来执行。当该视频处理方法部署于终端设备上时,终端设备在离线状态下就可以根据用户指令直接对视频进行处理,用户将要编辑的视频上传后,终端设备的检测单元就对上传的待处理视频的视频内容进行检测,然后将检测结果输入至处理单元,处理单元可以根据预存的视频标签体系匹配视频内容检测结果,确定该待处理视频的视频内容标签,最后根据视频内容标签对应的视频处理模式来对待处理视频进行多项处理,最终输出处理后的目的视频,将目的视频展示在终端设备的显示屏的,供用户进行后续操作。
图6为本申请实施例提供的一种视频处理装置的结构示意图,如图6所示,该视频处理装置包括:
获取单元601,用于获取针对于待处理视频的视频处理指令。
检测单元602,用于对待处理视频进行视频内容检测,得到视频内容检测结果。
获取单元601,还用于响应于视频处理指令,根据视频检测结果获取待处理视频所对应的K个视频类型标签,其中,K为大于或等于1的整数。
确定单元603,用于根据K个视频类型标签确定K个视频处理模式,其中,视频处理模式与视频类型标签具有对应关系,每个视频处理模式包括至少两种处理子模式,其中,每种处理子模式包括画质处理模式以及内容处理模式中的至少一种。
处理单元604,用于采用K个视频处理模式对待处理视频进行处理,以输出目标视频。
在一种可能的设计中,K个视频类型标签包括一个主视频类型标签和至少一个次视频类型标签,确定单元603,具体用于根据主视频类型标签确定一个主视频处理模式;根据至少一个次视频类型标签确定一个次视频处理模式。
处理单元604,具体用于采用主视频处理模式对待处理视频中的视频帧的全部内容对象进行处理。采用次视频处理模式对待处理视频中的视频帧的部分内容对象进行处理。其中,次视频类型标签由所述部分内容对象获得。
在一个可能的设计中,获取单元601,具体用于获取待处理视频中的至少一个关键视频帧。
检测单元602,具体用于确定至少一个关键视频帧的全部内容对象。根据全部内容对象所占像素点的多少,确定全部内容对象中的一个主内容对象和至少一个次内容对象。
确定单元603,具体用于将主内容对象对应的视频类型标签确定为主视频类型标签,并将至少一个次内容对象对应的视频类型标签确定为至少一个次视频类型标签。
在一个可能的设计中,获取单元601,具体用于获取待处理视频中的至少一个关键视频帧。
检测单元602,具体用于确定至少一个关键视频帧的全部内容对象;根据全部内容对象对应的优先级等级,确定全部内容对象中优先级最高的内容对象为主内容对象。并根据优先级等级,确定至少一个次内容对象。
确定单元603,具体用于将主内容对象对应的视频类型确定为主视频类型标签,并将至少一个次内容对象对应的视频类型标签确定为至少一个次视频类型标签。
在一个可能的设计中,K等于1,获取单元601,具体用于根据预设频率,周期性的截取待处理视频中的多个视频帧。
确定单元603,还用于确定多个视频帧对应的多个视频类型标签。多个视频帧和多个视频类型标签一一对应。将多个视频类型标签中出现频率最高的视频类型标签确定为待处理视频所对应的视频类型标签。
在一个可能的设计中,K等于1,确定单元603,具体用于确定多个视频帧中每个视频帧中的多个内容对象。确定每个视频帧中的多个内容对象的权重值,将多个内容对象中权重最高的内容对象所对应的视频类型标签确定为每个视频帧对应的视频类型标签。
在一个可能的设计中,获取单元601,具体用于将多个视频帧输入至图像标签模型。根据图像标签模型的输出确定待处理视频所对应的视频类型标签。
在一个可能的设计中,K个视频类型标签包括人物类型标签,人物类型标签对应的视频处理模式包括滤波处理、液化处理或亮度调整中的至少两种。
处理单元604,具体用于根据人物类型标签确定待处理视频中的人物内容对象。对人物内容对象进行滤波处理、液化处理或亮度调整处理中的至少两种处理。
在一个可能的设计中,K个视频类型标签包括美食类型标签,美食类型标签对应的视频处理模式包括色温调整、饱和度调整或添加滤镜中的至少两种。
处理单元604,具体用于根据美食类型标签确定待处理视频中的食物内容对象。对食物内容对象进行色温调整处理、饱和度调整处理或添加滤镜处理中的至少两种处理。
在一个可能的实施方式中,K个视频类型标签包括夜景类型标签,夜景类型标签对应的视频处理模式包括明度调整、饱和度调整或去噪处理中的至少两种。
处理单元604,具体用于根据夜景类型标签确定待处理视频中的多个夜景视频帧。对多个夜景视频帧进行明度调整处理、饱和度调整处理或去噪处理中的至少两种处理。
在一个可能的实施方式中,K个视频类型标签包括室内类型标签,室内类型标签对应的视频处理模式包括明度调整、饱和度调整或白平衡调整中的至少两种。
处理单元604,具体用于根据室内类型标签确定待处理视频中的多个室内视频帧。对多个室内视频帧进行明度调整处理、饱和度调整处理或白平衡调整处理中的至少两种处理。
在一个可能的实施方式中,K个视频类型标签包括植物类型标签,植物类型标签对应的视频处理模式包括对比度调整和添加滤镜。
处理单元604,具体用于根据植物类型标签确定待处理视频中的植物内容对象。对植物内容对象进行对比度调整处理和添加滤镜处理。
本申请实施例还提供了另一种视频处理装置,该视频处理装置可以部署于服务器,也可以部署于终端设备,本申请中以视频处理装置部署于服务器为例进行说明,请参阅图7,图7为本申请实施例中服务器一个实施例示意图,如图所示,该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以***处理器(centralprocessing units,CPU)722(例如,一个或一个以上处理器)和存储器732,一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器722可以设置为与存储介质730通信,在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口758,和/或,一个或一个以上操作***741,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图7所示的服务器结构。
本申请实施例还提供了一种终端设备,如图8所示,是本申请实施例提供的一种终端设备的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,PDA)、销售终端(point of sales,POS)、车载电脑等任意终端设备,以终端为手机为例:
图8示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图8,手机包括:射频(radio frequency,RF)电路810、存储器820、输入单元830、显示单元840、传感器850、音频电路860、无线保真(wireless fidelity,WiFi)模块870、处理器880、以及电源890等部件。本领域技术人员可以理解,图8中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图8对手机的各个构成部件进行具体的介绍:
RF电路810可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器880处理;另外,将设计上行的数据发送给基站。通常,RF电路810包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier,LNA)、双工器等。此外,RF电路810还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯***(globalsystem of mobile communication,GSM)、通用分组无线服务(general packet radioservice,GPRS)、码分多址(code division multiple access,CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution,LTE)、电子邮件、短消息服务(short messaging service,SMS)等。
存储器820可用于存储软件程序以及模块,处理器880通过运行存储在存储器820的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器820可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器820可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元830可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元830可包括触控面板831以及其他输入设备832。触控面板831,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板831上或在触控面板831附近的操作,以及在触控面板831上一定范围内的隔空触控操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板831可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器880,并能接收处理器880发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板831。除了触控面板831,输入单元830还可以包括其他输入设备832。具体地,其他输入设备832可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元840可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元840可包括显示面板841,可选的,可以采用液晶显示器(liquid crystaldisplay,LCD)、有机发光二极管(organic light-emitting diode,OLED)等形式来配置显示面板841。进一步的,触控面板831可覆盖显示面板841,当触控面板831检测到在其上或附近的触摸操作后,传送给处理器880以确定触摸事件的类型,随后处理器880根据触摸事件的类型在显示面板841上提供相应的视觉输出。虽然在图8中,触控面板831与显示面板841是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板831与显示面板841集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器850,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板841的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1041和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路860、扬声器861,传声器862可提供用户与手机之间的音频接口。音频电路860可将接收到的音频数据转换后的电信号,传输到扬声器861,由扬声器861转换为声音信号输出;另一方面,传声器862将收集的声音信号转换为电信号,由音频电路860接收后转换为音频数据,再将音频数据输出处理器880处理后,经RF电路810以发送给比如另一手机,或者将音频数据输出至存储器820以便进一步处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块870可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图8示出了WiFi模块870,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器880是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器820内的软件程序和/或模块,以及调用存储在存储器820内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器880可包括一个或多个处理单元;可选的,处理器880可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器880中。
手机还包括给各个部件供电的电源890(比如电池),可选的,电源可以通过电源管理***与处理器880逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该终端所包括的处理器880还具有执行如上述视频处理方法的各个步骤的功能。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述图2所示实施例描述的方法中服务器所执行的步骤,或者,使得计算机执行如前述图4所示实施例描述的方法中服务器所执行的步骤,或者,使得计算机执行如前述图5所示实施例描述的方法中服务器所执行的步骤。
本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2所示实施例描述的方法中服务器所执行的步骤,或者,使得计算机执行如前述图4所示实施例描述的方法中服务器所执行的步骤,或者,使得计算机执行如前述图5所示实施例描述的方法中服务器所执行的步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种视频处理方法,其特征在于,包括:
获取针对于待处理视频的视频处理指令;
对所述待处理视频进行视频内容检测,得到视频内容检测结果;
响应于所述视频处理指令,根据所述视频内容检测结果获取所述待处理视频所对应的K个视频类型标签,其中,所述K为大于或等于1的整数;
根据所述K个视频类型标签确定K个视频处理模式,其中,所述视频处理模式与所述视频类型标签具有对应关系,每个视频处理模式包括至少两种处理子模式,其中,每种处理子模式包括画质处理模式以及内容处理模式中的至少一种;
采用所述K个视频处理模式对所述待处理视频进行处理,以输出目标视频。
2.根据权利要求1所述的方法,其特征在于,所述K个视频类型标签包括一个主视频类型标签和至少一个次视频类型标签,所述根据所述K个视频类型标签确定K个视频处理模式,包括:
根据所述主视频类型标签确定一个主视频处理模式;
根据所述至少一个次视频类型标签确定至少一个次视频处理模式;
所述采用所述K个视频处理模式对所述待处理视频进行处理,包括:
采用所述主视频处理模式对所述待处理视频中的视频帧的全部内容对象进行处理;
采用所述次视频处理模式对所述待处理视频中的视频帧的部分内容对象进行处理;其中,所述次视频类型标签由所述部分内容对象获得。
3.根据权利要求1所述方法,其特征在于,所述对所述待处理视频进行视频内容检测,得到视频内容检测结果,包括:
获取所述待处理视频中的至少一个关键视频帧;
确定所述至少一个关键视频帧的所述全部内容对象;
根据所述全部内容对象所占像素点的多少,确定所述全部内容对象中的一个主内容对象和至少一个次内容对象;
所述根据所述视频内容检测结果获取所述待处理视频所对应的K个视频类型标签,包括:
将所述主内容对象对应的视频类型标签确定为所述主视频类型标签,并将所述至少一个次内容对象对应的视频类型标签确定为所述至少一个次视频类型标签。
4.根据权利要求1所述方法,其特征在于,所述对所述待处理视频进行视频内容检测,得到视频内容检测结果,包括:
获取所述待处理视频中的至少一个关键视频帧;
确定所述至少一个关键视频帧的所述全部内容对象;
根据所述全部内容对象对应的优先级等级,确定所述全部内容对象中优先级最高的内容对象为主内容对象;并根据所述优先级等级,确定至少一个次内容对象;
所述根据所述视频内容检测结果获取所述待处理视频所对应的K个视频类型标签,包括:
将所述主内容对象对应的视频类型确定为所述主视频类型标签,并将所述至少一个次内容对象对应的视频类型标签确定为所述至少一个次视频类型标签。
5.根据权利要求1所述的方法,其特征在于,所述K等于1,所述根据所述视频内容检测结果获取所述待处理视频所对应的K个视频类型标签,包括:
根据预设频率,周期性的截取所述待处理视频中的多个视频帧;
确定所述多个视频帧对应的多个视频类型标签;所述多个视频帧和所述多个视频类型标签一一对应;
将所述多个视频类型标签中出现频率最高的视频类型标签确定为所述待处理视频所对应的视频类型标签。
6.根据权利要求5所述的方法,其特征在于,所述确定所述多个视频帧对应的多个视频类型标签,包括:
确定所述多个视频帧中每个视频帧中的多个内容对象;
确定所述每个视频帧中的多个内容对象的权重值,将所述多个内容对象中权重最高的内容对象所对应的视频类型标签确定为所述每个视频帧对应的视频类型标签。
7.根据权利要求1所述的方法,其特征在于,所述根据所述视频内容检测结果获取所述待处理视频所对应的K个视频类型标签,包括:
将所述多个视频帧输入至图像标签模型;
根据所述图像标签模型的输出确定所述待处理视频所对应的所述K个视频类型标签。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述K个视频类型标签包括人物类型标签,所述人物类型标签对应的视频处理模式包括滤波处理、液化处理或亮度调整中的至少两种;
所述采用所述K个视频处理模式对所述待处理视频进行处理,包括:
根据所述人物类型标签确定所述待处理视频中的人物内容对象;
对所述人物内容对象进行滤波处理、液化处理或亮度调整处理中的至少两种处理。
9.根据权利要求1至7任一项所述的方法,其特征在于,所述K个视频类型标签包括美食类型标签,所述美食类型标签对应的视频处理模式包括色温调整、饱和度调整或添加滤镜中的至少两种;
所述采用所述K个视频处理模式对所述待处理视频进行处理,包括:
根据所述美食类型标签确定所述待处理视频中的食物内容对象;
对所述食物内容对象进行色温调整处理、饱和度调整处理或添加滤镜处理中的至少两种处理。
10.根据权利要求1至7任一项所述的方法,其特征在于,所述K个视频类型标签包括夜景类型标签,所述夜景类型标签对应的视频处理模式包括明度调整、饱和度调整或去噪处理中的至少两种;
所述采用所述K个视频处理模式对所述待处理视频进行处理,包括:
根据所述夜景类型标签确定所述待处理视频中的多个夜景视频帧;
对所述多个夜景视频帧进行明度调整处理、饱和度调整处理或去噪处理中的至少两种处理。
11.根据权利要求1至7任一项所述的方法,其特征在于,所述K个视频类型标签包括室内类型标签,所述室内类型标签对应的视频处理模式包括明度调整、饱和度调整或白平衡调整中的至少两种;
所述采用所述K个视频处理模式对所述待处理视频进行处理,包括:
根据所述室内类型标签确定所述待处理视频中的多个室内视频帧;
对所述多个室内视频帧进行明度调整处理、饱和度调整处理或白平衡调整处理中的至少两种处理。
12.根据权利要求1至7任一项所述的方法,其特征在于,所述K个视频类型标签包括植物类型标签,所述植物类型标签对应的视频处理模式包括对比度调整和添加滤镜;
所述采用所述K个视频处理模式对所述待处理视频进行处理,包括:
根据所述植物类型标签确定所述待处理视频中的植物内容对象;
对所述植物内容对象进行对比度调整处理和添加滤镜处理。
13.一种视频处理装置,其特征在于,所述视频处理装置包括:
获取单元,用于获取针对于待处理视频的视频处理指令;
检测单元,用于对所述待处理视频进行视频内容检测,得到视频内容检测结果;
所述获取单元,还用于响应于所述视频处理指令,根据所述视频内容检测结果获取所述待处理视频所对应的K个视频类型标签,其中,所述K为大于或等于1的整数;
确定单元,用于根据所述K个视频类型标签确定K个视频处理模式,其中,所述视频处理模式与所述视频类型标签具有对应关系,每个视频处理模式包括至少两种处理子模式,其中,每种处理子模式包括画质处理模式以及内容处理模式中的至少一种;
处理单元,用于采用所述K个视频处理模式对所述待处理视频进行处理,以输出目标视频。
14.一种计算机设备,其特征在于,包括:存储器、收发器、处理器以及总线***;
其中,所述存储器用于存储程序;
所述处理器用于执行所述存储器中的程序,以实现权利要求1至12中任一项所述的方法;
所述总线***用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。
15.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至12中任一项所述的方法。
CN202110245053.XA 2021-03-05 2021-03-05 一种视频处理方法及装置、计算机设备和存储介质 Pending CN113709385A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110245053.XA CN113709385A (zh) 2021-03-05 2021-03-05 一种视频处理方法及装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110245053.XA CN113709385A (zh) 2021-03-05 2021-03-05 一种视频处理方法及装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113709385A true CN113709385A (zh) 2021-11-26

Family

ID=78647856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110245053.XA Pending CN113709385A (zh) 2021-03-05 2021-03-05 一种视频处理方法及装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113709385A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114218436A (zh) * 2021-12-20 2022-03-22 天翼爱音乐文化科技有限公司 一种基于内容占比的视频搜索方法、***、设备及介质
CN115150661A (zh) * 2022-06-23 2022-10-04 深圳市大头兄弟科技有限公司 视频关键片段的包装方法及相关装置
CN117437163A (zh) * 2023-10-31 2024-01-23 奕行智能科技(广州)有限公司 一种图像增强方法、图像处理芯片及图像增强视频***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101554047A (zh) * 2006-08-04 2009-10-07 先进微装置公司 视频显示模式控制
CN103685965A (zh) * 2012-09-18 2014-03-26 浙江大华技术股份有限公司 一种图像信息的处理方法和设备
CN107832397A (zh) * 2017-10-30 2018-03-23 努比亚技术有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110163050A (zh) * 2018-07-23 2019-08-23 腾讯科技(深圳)有限公司 一种视频处理方法及装置、终端设备、服务器及存储介质
CN111416950A (zh) * 2020-03-26 2020-07-14 腾讯科技(深圳)有限公司 视频处理方法、装置、存储介质及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101554047A (zh) * 2006-08-04 2009-10-07 先进微装置公司 视频显示模式控制
CN103685965A (zh) * 2012-09-18 2014-03-26 浙江大华技术股份有限公司 一种图像信息的处理方法和设备
CN107832397A (zh) * 2017-10-30 2018-03-23 努比亚技术有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110163050A (zh) * 2018-07-23 2019-08-23 腾讯科技(深圳)有限公司 一种视频处理方法及装置、终端设备、服务器及存储介质
CN111416950A (zh) * 2020-03-26 2020-07-14 腾讯科技(深圳)有限公司 视频处理方法、装置、存储介质及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114218436A (zh) * 2021-12-20 2022-03-22 天翼爱音乐文化科技有限公司 一种基于内容占比的视频搜索方法、***、设备及介质
CN115150661A (zh) * 2022-06-23 2022-10-04 深圳市大头兄弟科技有限公司 视频关键片段的包装方法及相关装置
CN115150661B (zh) * 2022-06-23 2024-04-09 深圳市闪剪智能科技有限公司 视频关键片段的包装方法及相关装置
CN117437163A (zh) * 2023-10-31 2024-01-23 奕行智能科技(广州)有限公司 一种图像增强方法、图像处理芯片及图像增强视频***

Similar Documents

Publication Publication Date Title
EP3989166A1 (en) Artificial intelligence-based image region recognition method and apparatus, and model training method and apparatus
WO2020177582A1 (zh) 视频合成的方法、模型训练的方法、设备及存储介质
CN108304758B (zh) 人脸特征点跟踪方法及装置
CN111556278B (zh) 一种视频处理的方法、视频展示的方法、装置及存储介质
EP3370204B1 (en) Method for detecting skin region and device for detecting skin region
CN110704661B (zh) 一种图像分类方法和装置
CN113709385A (zh) 一种视频处理方法及装置、计算机设备和存储介质
CN111582116B (zh) 一种视频抹除痕迹检测方法、装置、设备和存储介质
CN110544488A (zh) 一种多人语音的分离方法和装置
CN110738211A (zh) 一种对象检测的方法、相关装置以及设备
CN111209423B (zh) 一种基于电子相册的图像管理方法、装置以及存储介质
CN110995810B (zh) 一种基于人工智能的对象识别方法和相关装置
CN110517339B (zh) 一种基于人工智能的动画形象驱动方法和装置
CN110166828A (zh) 一种视频处理方法和装置
CN111009031B (zh) 一种人脸模型生成的方法、模型生成的方法及装置
WO2020108457A1 (zh) 目标对象的控制方法、装置、设备及存储介质
CN111292394A (zh) 一种图像配色关系确定方法和装置
CN110263729A (zh) 一种镜头边界检测的方法、模型训练方法以及相关装置
CN107704514A (zh) 一种照片管理方法、装置及计算机可读存储介质
CN113723159A (zh) 场景识别模型训练方法、场景识别方法及模型训练装置
CN112203115A (zh) 一种视频识别方法和相关装置
CN114339375A (zh) 视频播放方法、生成视频目录的方法及相关产品
CN110083742B (zh) 一种视频查询方法和装置
CN112449098B (zh) 一种拍摄方法、装置、终端及存储介质
CN112270238A (zh) 一种视频内容识别方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination