CN110611776A - 特效处理方法、计算机设备和计算机存储介质 - Google Patents

特效处理方法、计算机设备和计算机存储介质 Download PDF

Info

Publication number
CN110611776A
CN110611776A CN201810523816.0A CN201810523816A CN110611776A CN 110611776 A CN110611776 A CN 110611776A CN 201810523816 A CN201810523816 A CN 201810523816A CN 110611776 A CN110611776 A CN 110611776A
Authority
CN
China
Prior art keywords
special effect
displayed
picture
type
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810523816.0A
Other languages
English (en)
Other versions
CN110611776B (zh
Inventor
许阳双
邹放
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810523816.0A priority Critical patent/CN110611776B/zh
Publication of CN110611776A publication Critical patent/CN110611776A/zh
Application granted granted Critical
Publication of CN110611776B publication Critical patent/CN110611776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种特效处理方法、计算机设备和计算机存储介质,一个实施例的方法包括:在显示当前视频拍摄画面时,监测特效触发事件;在监测到特效触发事件时,基于监测到特效触发事件时对应的视频拍摄画面,确定所述特效触发事件的事件类型;获取与所述事件类型匹配的待显示特效;显示获取的所述待显示特效。本实施例方案在播放视频画面的过程中,基于特效触发事件来触发匹配的特效的显示,提高了特效添加和显示的效率。

Description

特效处理方法、计算机设备和计算机存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种特效处理方法、计算机设备和存储介质。
背景技术
随着计算机以及视频技术的发展,逐步出现了在视频上添加特效的视频特效技术。目前的微视频添加特效的方式,设计好特效文件后,在需要使用特效时,打开特效菜单,从特效菜单中选择需要使用的特效,然后进行视频拍摄,在视频拍摄的过程中,将选择的特效叠加在拍摄得到的视频图像上进行显示,从而得到为视频添加特效的视频显示结果。然而,这种为视频添加特效的方式,每次都需要通过特效菜单选择需要使用的特效,效率低下。
发明内容
基于此,有必要针对上述技术问题,提供一种特效处理方法、计算机设备和计算机存储介质。
一种特效处理方法,所述方法包括:
在显示当前视频拍摄画面时,监测特效触发事件;
在监测到特效触发事件时,基于监测到特效触发事件时对应的视频拍摄画面,确定所述特效触发事件的事件类型;
获取与所述事件类型匹配的待显示特效;
显示获取的所述待显示特效。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现如上所述的特效处理方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的特效处理方法的步骤。
如上所述的实施例中的特效处理方法、装置、计算机设备和存储介质,在线上当前视频拍摄画面的过程中监测到特效触发事件时,基于与监测到该特效触发事件时对应的当前视频拍摄画面,确定特效触发事件的事件类型,继而获取与该事件类型匹配的待显示特效,并将该待显示特效进行显示,从而可以在播放视频画面的过程中,基于特效触发事件来触发匹配的特效的显示,提高了特效添加和显示的效率。
附图说明
图1为一个实施例中的特效处理方法的应用环境图;
图2为一个实施例中的特效处理方法的流程示意图;
图3为一个应用示例中的显示界面的示意图;
图4为另一个应用示例中的显示界面的示意图;
图5为另一个应用示例中的显示界面的示意图;
图6为另一个应用示例中的显示界面的示意图;
图7为另一个应用示例中的显示界面的示意图;
图8为另一个应用示例中的显示界面的示意图;
图9为另一个应用示例中的显示界面的示意图;
图10为另一个应用示例中的显示界面的示意图;
图11为另一个应用示例中的显示界面的示意图;
图12为另一个应用示例中的显示界面的示意图;
图13为另一个应用示例中的显示界面的示意图;
图14为另一个应用示例中的显示界面的示意图;
图15为另一个应用示例中的显示界面的示意图;
图16为另一个应用示例中的显示界面的示意图;
图17为另一个应用示例中的显示界面的示意图;
图18为另一个应用示例中的显示界面的示意图;
图19为另一个应用示例中的显示界面的示意图;
图20为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的特效处理方法,可以应用于如图1所示的应用环境中。其中,终端101在录制视频(如录制小视频)、视频通话或者其他任何使用视频的过程中,可为其录制的视频添加特效,为视频添加的特效对应的特效文件,可以是存储在终端101本地,也可以是终端101从服务器100或者其他的终端102获取,获取的方式可以是在需要时从服务器100或终端102下载,例如在需要使用特效时,或者在网络闲时(如网络流量小于预设流量阈值的时间段)、或者终端处于预定类型网络连接状态(如终端在通过Wifi(Wireless Fidelity)连接网络时)。其中,终端101、102可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,只要能够实现视频的录制以及特效属于视频的叠加即可,服务器100可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
参考图2所示,一个实施例中的特效处理方法,包括下述步骤S21至步骤S24,该方法可执行于图1所示的终端101。
步骤S21:在显示当前视频拍摄画面时,监测特效触发事件。
其中,当前视频拍摄画面,是指终端的摄像装置(如摄像头)采集获得的视频图像,采集获得的视频图像可在终端屏幕上进行显示。
上述特效触发事件,是指发生的会触发为视频添加特效的事件,该特效触发事件的具体方式,可以有各种不同的设定。
在一个实施例中,可以是在从所述当前视频拍摄画面中,识别到预定手势特征时,判定监测到特效触发事件。其中,这里的预定手势特征,是指基于从当前视频拍摄画面中识别出的用户手部确定的特征。具体的预定手势特征的类型,可以有各种不同的设定方式。
在其中一个实施例中,该预定手势特征可以包括预定用户手势状态。该预定用户手势状态,可以是指从当前视频拍摄画面中识别出的用户手部所呈现的形态,例如识别出的用户手部呈现为拳头、巴掌或者基于当前视频拍摄画面中手部的各手指之间的位置关系呈现出的形态。在一个实现方式中,可以是在从当前视频拍摄画面中识别出用户手部后,基于对用户手部对应的画面内容进行图像分析,从而确定出用户手势形态,具体的图像识别、图像分析的方式,可以采用任何可能的方式进行。
在一个实施例中,该预定手势特征可以包括预定手部运动轨迹,该预定手部运动轨迹,指从当前视频拍摄画面中识别出的用户手部的运动轨迹。这里的预定手部运动轨迹,可以是任何可能的运动轨迹,如从上到下运动、从下到上运动、从左向右运动、从右向左运动、从左下向右上运动、从右上向左下运动、从左上向右下运动、或者从右下向左上运动。可以理解,这里的上下左右可以是指相对于当前视频拍摄画面的位置,在一个实施例中,可以是在从当前视频拍摄画面中识别出用户手部后,通过跟踪识别出的手部,识别所述预定手部运动轨迹。
在一个实施例中,该预定手势特征可以包括预定手势动作,该预定手势动作,指从当前视频拍摄画面中识别出的用户手部的手部动作,该用户手部的手部动作可以是手部手势,一些较为常见的手势动作可以是例如响指、弹指、摇手等。在一个实施例中,可以是在从预定当前视频拍摄画面中识别出手部特征后,通过分析手部形状、手部特征变化信息,确定识别出的预定手势动作的手势类型。这里的手势类型可以是如上所述的响指、弹指、摇手等。
在一个实施例中,可以是在显示当前视频拍摄画面时,检测到屏幕触摸事件,且该屏幕触摸事件的触摸位置对应的画面内容为预定类型画面内容时,判定监测到特效触发事件。从而可以仅依用户对当前视频拍摄画面中的指定内容的触摸动作,触发为视频添加特效。其中,该预定类型画面内容可以结合实际需要进行设定,如人脸头部头像、人脸五官(如眼睛、鼻子、眉毛、嘴巴或耳朵等)图像,具体的识别出预定类型画面内容的方式,可以采用任何的图像分析的方式进行。
在一个实施例中,可以是在显示当前视频拍摄画面,并从所述当前视频拍摄画面中监测到预定类型画面内容时,判定监测到特效触发事件。该预定画类型画面内容与上述预定类型画面内容相同。从而,无需用户的触摸动作,通过对当前视频拍摄画面进行分析,即可触发为视频添加特效。
在一个实施例中,在显示当前视频拍摄画面,并从所述当前视频拍摄画面中监测到预定类型画面内容时,判定监测到特效触发事件,具体可以包括:
在显示当前视频拍摄画面时,从所述当前视频拍摄画面中监测到预定类型画面内容,且监测到的预定类型画面内容的数目大于或等于预定数目时,判定监测到特效触发事件。这里的预定数目可以结合实际需求进行设定,例如,预定数目可以设定为1,此时,只要监测到预定类型画面内容,即判定监测到特效触发事件。再例如,预定数目可以设定为2,此时,只有监测到两个以上的预定类型画面内容,才判定监测到特效触发事件,从而便于与只有一个预定类型画面内容的情况相区分。以预定类型画面内容为人脸头部头像为例,通过将预定数目设定为2或者以上的数值,可以以与自拍无需特效的情况进行区分。
在一个实施例中,在显示当前视频拍摄画面,并从所述当前视频拍摄画面中监测到预定类型画面内容时,判定监测到特效触发事件,具体可以包括:
在显示当前视频拍摄画面时,从所述当前视频拍摄画面中监测到预定类型画面内容,且接收到语音特效控制指令时,判定监测到特效触发事件。其中,可以通过音频采集设备采集音频信息、并对音频信息进行识别将音频信息转化为文字信息,从而判定是否接收到语音特效控制指令。
在一个实施例中,在显示当前视频拍摄画面,并从所述当前视频拍摄画面中监测到预定类型画面内容时,判定监测到特效触发事件,具体可以包括:
在显示当前视频拍摄画面时,从所述当前视频拍摄画面中监测到预定类型画面内容,且从所述当前视频拍摄画面中识别出预定口型特征时,判定监测到特效触发事件。其中,可以通过对当前视频拍摄画面进行视频分析、从中分析出嘴部特征,并通过分析嘴部特征的变化,识别出预定口型特征。
步骤S22:在监测到特效触发事件时,基于监测到特效触发事件时对应的视频拍摄画面,确定所述特效触发事件的事件类型。
其中,确定特效触发事件的事件类型,便于获取待添加和显示的特效,事件类型与对应的特效触发事件有关,也与监测到特效触发事件时对应的视频拍摄画面有关。
在一个实施例中,在上述识别到预定手势特征时判定监测到特效触发事件为例,可以基于识别到的预定手势特征的手势类型,确定特效触发事件的事件类型。该手势类型,可通过对识别到预定手势特征时对应的当前视频显示画面进行分析确定。以预定手势特征为预定用户手势状态为例,则识别出的手势类型以及对应的事件类型可以为手势形态类型。以预定手势特征为预定手部运动轨迹为例,则识别出的手势类型以及对应的事件类型可以为手部轨迹类型。以预定手势特征为预定手势动作为例,则识别出的手势类型以及对应的事件类型可以为手势动作类型。
在一个实施例中,在特效触发事件与预定类型画面内容相关为例,如上述在显示当前视频拍摄画面时,检测到屏幕触摸事件,且该屏幕触摸事件的触摸位置对应的画面内容为预定类型画面内容时,判定监测到特效触发事件,或者从所述当前视频拍摄画面中监测到预定类型画面内容时,判定监测到特效触发事件,则该特效触发事件的事件类型为特定画面内容特效类型,且特定画面内容特效类型与识别到的预定类型画面内容有关。
步骤S23:获取与所述事件类型匹配的待显示特效。
待显示特效是指用以进行显示的特效,该待显示特效可以是具体的特效文件或者特效文件中的特效信息,特效信息中可包含特效元素以及特效元素的表现形式,特效元素可包含图片、文件、背景、底纹等任何可能的元素。
在获取与所述事件类型匹配的待显示特效时,可以采用任何的方式获取。
在一个实施例中,在识别到预定手势特征时判定监测到特效触发事件为例,获取与所述事件类型匹配的待显示特效,包括:基于识别出的所述预定手势特征的手势类型,从与该手势类型匹配的各特效中,选取待显示特效。
对任意一个手势类型来说,与该手势类型匹配的特效可以仅有一个,也可以有两个以上的多个。在与手势类型匹配的特效存在两个以上的多个时,可以通过一定的规则从中进行选择,例如从匹配的各特效中随机选取,或者,从匹配的各特效中选取一个未显示过的特效。
在一个实施例中,上述从与该手势类型匹配的各特效中,选取待显示特效,可以包括:从与该手势类型匹配、且历史显示特效之外的各特效中,选取待显示特效。其中,在一个示例中,历史显示特效可以是在本次显示当前视频拍摄画面的最近预设时间段内、识别到上述手势类型的预定手势特征时显示的特效。在另一个示例中,历史显示特效可以是在本次显示当前视频拍摄画面、且识别到所述手势类型的预定手势特征时,最近显示的预设数目个特效。
在一个示例中,从与该手势类型匹配、且历史显示特效之外的各特效中,选取待显示特效时,如果与该手势类型匹配、且历史显示特效之外的各特效只有一个,则可直接将该特效作为待显示特效。在一个示例中,如果与该手势类型匹配、且历史显示特效之外的各特效存在两个以上,则可通过随机选取或者拟定其他的选择规则进行选取。在一个示例中,如果不存在与该手势类型匹配、且历史显示特效之外的特效,则可以直接从与该手势类型匹配的各特效中选取。
在一个实施例中,上述从与该手势类型匹配的各特效中,选取待显示特效,可以包括:根据显示当前视频拍摄画面的设备的用户参数信息,从与所述手势类型、所述用户参数信息匹配的各特效中,选取待显示特效。其中,在一个示例中,该用户参数信息包括下述各参数中的至少一种:通过上述设备登陆的用户账号关联的用户个人信息、上述设备所处的地理位置、上述设备所处的地理位置对应的天气信息、上述设备所处的海拔高度、当前时间、用户面部表情、心情信息。其中,上述心情信息可以通过识别当前视频拍摄画面中的所述用户面部表情确定,该用户面部表情可以是识别出的当前视频拍摄画面中的人脸的表情信息。
在一个实施例中,从与该手势类型匹配的各特效中,选取待显示特效,可以包括:基于识别出所述预定手势特征的画面内容与用户脸部之间的位置关系,从与手势类型、位置关系匹配的各特效中,选取待显示特效。其中,用户脸部位置可以是当前视频拍摄画面中的人脸位置。
在一个实施例中,在特效触发事件与预定类型画面内容相关为例,上述获取与所述事件类型匹配的待显示特效,可以包括:对所述预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效。其中,这里的预定画面内容处理,可以是任何可能的画面内容处理方式,例如对该预定类型画面内容进行放大处理、缩小处理或者图形变换处理。
在一个实施例中,在特效触发事件与预定类型画面内容相关为例,上述获取与所述事件类型匹配的待显示特效,可以包括:从监测到的各预定类型画面内容中确定待处理预定类型画面内容,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效。其中,该所述待处理预定类型画面内容为从各预定类型画面内容中随机选取,或者各预定类型画面内容中、满足预定条件的预定类型画面内容。
其中,在一个示例中,在监测到的预定类型画面内容的数目大于1时,上述待处理预定类型画面内容,可以为监测到的各预定类型画面内容中、不存在当前显示特效的预定类型画面内容。其中,在此情况下,在对待处理预定类型画面内容做预定画面内容处理,获得与事件类型匹配的待显示特效的同时或者之后,还可以进一步清除存在当前显示特效的预定类型画面内容对应的特效。
在一个实施例中,在从所述当前视频拍摄画面中监测到预定类型画面内容,且接收到语音特效控制指令时,判定监测到特效触发事件时,获取与所述事件类型匹配的待显示特效,可以包含有各种可能的实现方式,以下结合其中几个示例进行举例说明。
在其中一个示例中,获取与所述事件类型匹配的待显示特效,包括:在监测到的预定类型画面内容的数目为1时,若接收到语音特效控制指令时该预定画面内容未添加特效,则对待处理预定类型画面内容做预定画面内容处理,获得与事件类型匹配的待显示特效。这里的预定画面内容处理,可以是任何可能的画面内容处理方式,例如对该预定类型画面内容进行放大处理、缩小处理或者图形变换处理。
在其中一个示例中,获取与所述事件类型匹配的待显示特效,包括:在监测到的预定类型画面内容的数目为1时,若接收到语音特效控制指令时预定画面内容存在当前显示特效,则清除所述当前显示特效。从而可以通过语音特效控制指令开启和清除预定类型画面内容的特效。在另一个示例中,在监测到的预定类型画面内容的数目为1时,若接收到语音特效控制指令时预定画面内容存在当前显示特效,也可以对预定类型画面内容做预定画面内容处理,获得与事件类型匹配的待显示特效,且该待显示特效与上述当前显示特效不同。从而可以通过语音特效控制指令切换预定类型画面内容添加的特效。
在一个实施例中,在从当前视频拍摄画面中监测到预定类型画面内容,且从当前视频拍摄画面中识别出预定口型特征时,判定监测到特效触发事件的情况下,获取与事件类型匹配的待显示特效,可以包含有各种可能的实现方式,以下结合其中几个示例进行举例说明。
在其中一个示例中,获取与事件类型匹配的待显示特效,包括:在监测到的预定类型画面内容的数目为1时,若识别出预定口型特征时预定画面内容未添加特效,则对待处理预定类型画面内容做预定画面内容处理,获得与事件类型匹配的待显示特效。该预定画面内容处理,可以是任何可能的画面内容处理方式,如对该预定类型画面内容进行放大处理、缩小处理或者图形变换处理。
在其中一个示例中,获取与事件类型匹配的待显示特效,包括:在监测到的预定类型画面内容的数目为1时,若识别出预定口型特征时所述预定画面内容存在当前显示特效,则清除所述当前显示特效。从而可以通过预定口型特征控制开启和清除预定类型画面内容的特效。在另一个示例中,在监测到的预定类型画面内容的数目为1时,若识别出预定口型特征时所述预定画面内容存在当前显示特效,也可以对预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效,且所述待显示特效与所述当前显示特效不同。从而可以通过语预定口型特征切换预定类型画面内容添加的特效。
在其中一个示例中,获取与事件类型匹配的待显示特效,包括:在监测到的预定类型画面内容的数目大于1时,确定待处理预定类型画面内容,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效。其中,在一个示例中,所述待处理预定类型画面内容为识别出的所述预定口型特征对应的预定类型画面内容。在另一个示例中,所述待处理预定类型画面内容为识别出的预定口型特征对应的预定类型画面内容之外的预定类型画面内容。
在一个示例中,在监测到的预定类型画面内容的数目大于1时,确定待处理预定类型画面内容,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效,并清除存在当前显示特效的预定类型画面内容对应的特效。
步骤S24:显示获取的所述待显示特效。
在显示获取的待显示特效时,可以是基于上述确定的事件类型、以及获取的待显示特效的类型,采用对应的方式进行显示。
在一个实施例中,在识别到预定手势特征时判定监测到特效触发事件为例,显示获取的所述待显示特效,包括:将待显示特效显示在当前视频拍摄画面中的特效显示位置。其中,该特效显示位置与手势特征位置对应,该手势特征位置为识别出所述预定手势特征的画面内容在所述当前视频拍摄画面中的位置。
在一个实施例中,在识别到预定手势特征时判定监测到特效触发事件为例,显示获取的所述待显示特效,包括:识别所述当前视频拍摄画面中的用户脸部位置;基于所述用户脸部位置,显示所述待显示特效。其中,在基于所述用户脸部位置,显示所述待显示特效时,可以采用任何可能的方式进行。以下结合其中几个示例进行举例说明。
在一个示例中,基于所述用户脸部位置,显示所述待显示特效,可以包括:基于手势特征位置与用户脸部位置之间的位置关系,显示待显示特效。其中,所述手势特征位置为识别出所述预定手势特征的画面内容在所述当前视频拍摄画面中的位置。该用户脸部位置包括下述各项中的至少一项:头顶位置、眉毛位置、眼睛位置、鼻子位置、嘴部位置、耳朵位置、脸部轮廓以及下巴位置。
例如,在用户脸部位置包括头顶位置时,可以将待显示特效中的头部特效显示在识别出的所述当前视频拍摄画面中的头顶位置。在用户脸部位置包括眉毛位置时,将待显示特效中的眉毛特效显示在识别出的当前视频拍摄画面中的眉毛位置。在用户脸部位置包括眼睛位置时,将待显示特效中的眼睛特效显示在识别出的所述当前视频拍摄画面中的眼睛位置。在用户脸部位置包括鼻子位置时,可将待显示特效中的鼻子特效显示在识别出的所述当前视频拍摄画面中的鼻子位置。在用户脸部位置包括嘴部位置时,可将待显示特效中的嘴部特效显示在识别出的当前视频拍摄画面中的嘴部位置。在用户脸部位置包括耳朵位置时,将待显示特效中的耳朵特效显示在识别出的所述当前视频拍摄画面中的耳朵位置。在用户脸部位置包括脸部轮廓时,将待显示特效中的脸部轮廓特效,沿识别出的所述当前视频拍摄画面中的脸部轮廓位置进行显示。在用户脸部位置包括下巴位置时,将待显示特效中的下巴特效,显示在识别出的当前视频拍摄画面中的下巴位置。
在一个实施例中,显示获取的所述待显示特效,可以包括:通过将所述待显示特效替换所述当前视频拍摄画面进行显示。在此情况下,可以仅显示获得的待显示特效,而无需再与当前视频拍摄画面进行叠加
在一个实施例中,显示获取的所述待显示特效,可以包括:将所述待显示特效与用户脸部画面叠加后显示。其中,在一个示例中,用户脸部画面可以是从识别出所述预定手势动作的当前视频拍摄画面中识别出的用户脸部图像。在另一个示例中,用户脸部画面可以为识别出所述预定手势动作之后,从进一步拍摄获得的视频拍摄画面中识别出的用户脸部图像。
在一个实施例中,显示获取的所述待显示特效,还可以包括:获取待使用背景;采用所述待使用背景替换所述当前视频拍摄画面中的画面背景,所述画面背景为所述当前视频拍摄画面中除了人物轮廓之外的画面内容。从而,在显示获取的待显示特效的同时,还可以进一步替换当前视频拍摄画面中的画面背景,从而获得互动性更强的特效显示结果。
在一个实施例中,在上述步骤S22的确定特效触发事件的事件类型之后,步骤S24的显示获取的所述待显示特效之前,还可以包括:获取预定类型的特效,并将该特效进行显示。从而,在显示获取的待显示特效之前,还可以先显示预定类型的特效,作为此次特效显示过程中的转场特效,以进一步提升特效显示的互动性能。
在一个实施例中,在监测特效触发事件之前,还可以包括步骤:将所述当前视频拍摄画面与选定初始特效叠加显示。从而,在监测到特效触发事件之前,通过将当前视频拍摄画面与选定初始特效叠加显示,可以进一步提升特效显示的互动性能。
其中,在一个示例中,将所述当前视频拍摄画面与选定初始特效叠加显示,可以包括:识别所述当前视频拍摄画面中的人物轮廓;基于所述人物轮廓提取前景图像,并将所述前景图像与所述选定初始特效叠加显示。
在一个实施例中,在存在选定初始特效的情况下,获取与所述事件类型匹配的待显示特效,包括:从与所述选定初始特效的类型、所述预定手势动作的手势类型匹配的各特效中,选取待显示特效。
在一个实施例中,上述显示获取的所述待显示特效,还可以进一步包括:播放与所述待显示特效匹配的音频信息,并叠加显示与所述待显示特效对应的附加特效。
如上所述的实施例中的特效处理方法、装置、计算机设备和存储介质,在线上当前视频拍摄画面的过程中监测到特效触发事件时,基于与监测到该特效触发事件时对应的当前视频拍摄画面,确定特效触发事件的事件类型,继而获取与该事件类型匹配的待显示特效,并将该待显示特效进行显示,从而可以在播放视频画面的过程中,基于特效触发事件来触发匹配的特效的显示,提高了特效添加和显示的效率。
基于如上所述的实施例的方案,以下结合其中几个应用示例进行举例说明。
在用户使用终端的过程中,通过直接打开终端的摄像头,或者打开终端上安装的APP(Application,应用程序)后,通过在APP上的相关操作,从而使得终端开始视频的录制,录制获得的当前视频拍摄会面会在该终端上进行显示。在视频的录制过程中,终端用户可做出各种可能的手势、动作或者表情等。在显示当前视频拍摄画面的过程中,通过对显示的当前视频拍摄画面进行分析,判定是否有发生特效触发事件。可以理解的是,对显示的当前视频拍摄画面的分析过程,可以是在终端的摄像头采集了视频画面之后、将该视频画面在终端屏幕上进行显示之前进行分析,也可以是将视频画面在终端屏幕上进行显示的过程中同步分析。
一个实施例中终端显示的当前视频拍摄画面的显示画面示意图如图3所示,通过对图3所示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现了伸出两根手指头的预定用户手势状态,从而可判定监测到特效触发事件,并可确定对应的事件类型为伸出两根手指头或者对应的相关的其他类型名称,并从与该事件类型对应的各特效中,选择并获取待显示特效,并将该待显示特效进行显示。其中,该待显示特效可以是与该事件类型对应的各特效中随机选取,也可以是基于其他的规则进行选取,如与上一次显示的特效不同或者基于各特效的优先级、使用率等等。在选择好待显示特效之后,可以从终端本地获取该待显示特效,也可以从服务器下载该待显示特效。在将待显示特效进行显示时,可将获得的待显示特效叠加在当前视频拍摄画面上进行显示。
在将获得的待显示特效叠加在当前视频拍摄画面上进行显示时,可识别出当前视频拍摄画面上的人物轮廓、用户脸部位置后,结合识别出的人物轮廓、用户脸部位置显示获得的待显示特效,在显示获得的待显示特效的过程中,可同时获取待使用背景,采用待使用背景替换当前视频拍摄画面中的画面背景,其中,画面背景为当前视频拍摄画面中除了人物轮廓之外的画面内容。可以理解,在将获得的待显示特效叠加在当前视频拍摄画面上进行显示时,可以通过跟踪当前视频拍摄画面中的人物轮廓、用户脸部位置等进行显示。一个示例中,图3所示的当前视频拍摄画面显示了待显示特效后的显示界面如图4-A所示。
其中,在显示当前视频拍摄画面的过程中,若再次分析出上述手势类型的预定用户手势状态,可以触发新的待显示特效进行显示。如再次分析出如图3所示的手势类型时,触发获得新的待显示特效后,显示待显示特效后的显示界面如图4中的4-B所示。若在后续显示当前视频拍摄画面的过程中,分析出的预定用户手势状态的手势类型有不同,则触发获得该手势类型对应的待显示特效进行显示,如图4的4-C所示的手势类型对应的终端显示界面以及4-D所示的手掌拖脸的手势类型对应的终端显示界面。
一个实施例中终端显示的当前视频拍摄画的显示画面示意图如图5所示,通过对图5所示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现了伸出手掌左右移动的手部运动轨迹,从而可判定监测到特效触发事件,并可确定对应的事件类型为伸出手掌左右移动或者对应的相关的其他类型名称,并从与该事件类型对应的各特效中,选择获取待显示特效,并将该待显示特效进行显示。其中,在将获取的待显示特效进行显示之前,还可以先获取预定类型的特效,并将该预定类型的特效进行显示,以实现转场特效的效果。实现转场特效效果的预定类型的特效,可以结合各种可能的方式确定,例如可以设定一个固定的特效作为转场特效,例如烟雾特效,也可以是基于显示当前视频拍摄画面的设备的用户参数信息确定。一个示例中终端显示的转场效果的转场特效的显示示意图如图6所示。
对应的,获取的待显示特效可以基于任何可能的规则确定,例如可以是从与事件类型(如手掌左右运动的运动轨迹)对应的各特效中随机选择一个或者是基于其他规则(如基于对应的各特效的点击率、分享率或者其他数据确定)确定待显示特效,也可以是基于显示当前视频拍摄画面的设备的用户参数信息确定待显示特效。获得的待显示特效可以直接替换当前视频拍摄换面进行显示,一个示例中的显示了待显示特效后的显示界面如图7中的7-A所示。
其中,若再次分析出上述手部运动轨迹,可以触发新的待显示特效进行显示。如再次分析出手掌左右移动的手部运动轨迹时,触发获得新的待显示特效后,显示待显示特效后的显示界面如图7中的7-B或7-C所示。
一个实施例中终端显示的当前视频拍摄画的显示画面示意图如图8所示,通过对图8所示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现了摸头的预定手势动作,从而可判定监测到特效触发事件。并可确定对应的事件类型为摸头或者对应的相关的其他类型名称,并从与该事件类型对应的各特效中,选择并获取待显示特效,并将该待显示特效进行显示。其中,该待显示特效可以是与该事件类型(摸头动作)对应的各特效中随机选取,也可以是基于其他的规则进行选取,如与上一次显示的特效不同或者基于各特效的优先级/使用率确定、或者基于显示当前视频拍摄画面的设备的用户参数信息确定等等。在选择好待显示特效之后,可以从终端本地获取该待显示特效,也可以从服务器下载该待显示特效。在将待显示特效进行显示时,可将获得的待显示特效叠加在当前视频拍摄画面上进行显示。
在将获得的待显示特效叠加在当前视频拍摄画面上进行显示时,可识别出当前视频拍摄画面上的人物轮廓、用户脸部位置后,结合识别出的人物轮廓、用户脸部位置显示获得的待显示特效。如在本示例中,在识别出用户脸部位置之后,可以将识别到预定手势动作时,该预定手势动作对应的显示内容的边界位置(如图8所示的手部位置的最下方),与当前视频拍摄画面上的人物轮廓、用户脸部位置的位置对应关系,确定待显示特效的显示位置。结合图8所示,针对头部的特效,可将特效的最下方位置与当前视频拍摄画面上的与手部位置的最下方对齐后进行显示。
在显示获得的待显示特效的过程中,可同时获取待使用背景,采用待使用背景替换当前视频拍摄画面中的画面背景,其中,画面背景为当前视频拍摄画面中除了人物轮廓之外的画面内容。可以理解,在将获得的待显示特效叠加在当前视频拍摄画面上进行显示时,可以通过跟踪当前视频拍摄画面中的人物轮廓、用户脸部位置等进行显示。一个示例中,将特效的最下方位置与当前视频拍摄画面上的与手部位置的最下方对齐后,图8所示的当前视频拍摄画面显示了待显示特效后的显示界面如图9中的9-A所示。
其中,在显示当前视频拍摄画面的过程中,若再次分析出上述预定手势动作,可以触发新的待显示特效进行显示。如再次分析出如图8所示的手势类型时,触发获得新的待显示特效后,显示待显示特效后的显示界面如图9中的9B所示。若在后续显示当前视频拍摄画面的过程中,分析出的预定手势动作的手势类型有不同,则触发获得该手势类型对应的待显示特效进行显示。
一个实施例中,若终端用户在录制视频的过程中,做出了一些手势动作以及面部表情之后,通过对显示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现了预定手势动作,从而可判定监测到特效触发事件。在判定监测到特效触发事件之后,可以进一步对当前视频拍摄画面进行分析,分析出当前视频拍摄画面中的用户面部表情。在一些实施例中,也可以是在对显示的当前视频拍摄画面进行分析的过程中,同时对预定手势动作和用户面部表情进行分析,在识别出当前视频拍摄画面中出现了预定手势动作、且当前视频拍摄画面中出现了预定的用户面部表情之后,判定监测到特效触发事件。
在确定了当前视频拍摄画面中出现的预定手势动作、以及用户面部表情之后,即可从与该预定手势动作以及用户面部表情对应的各特效中,选择并获取待显示特效,并将该待显示特效进行显示。其中,该待显示特效可以是与该事件类型(预定手势动作以及用户面部表情)对应的各特效中随机选取,也可以是基于其他的规则进行选取,如与上一次显示的特效不同或者基于各特效的优先级/使用率确定、或者基于显示当前视频拍摄画面的设备的用户参数信息确定等等。在选择好待显示特效之后,可以从终端本地获取该待显示特效,也可以从服务器下载该待显示特效。在将待显示特效进行显示时,可将获得的待显示特效叠加在当前视频拍摄画面上进行显示。
在将获得的待显示特效叠加在当前视频拍摄画面上进行显示时,可识别出当前视频拍摄画面上的人物轮廓、用户脸部位置后,结合识别出的人物轮廓、用户脸部位置、预定手势动作显示获得的待显示特效。可以理解,在将获得的待显示特效叠加在当前视频拍摄画面上进行显示时,可以通过跟踪预定手势动作对应的画面内容(如手部图像)在当前视频拍摄画面中的位置进行显示。一个示例中,以终端用户做出了敲打动作(即识别出的预定手势动作为敲打)、且识别出的用户面部表情为生气时,在当前视频拍摄画面显示了待显示特效后的显示界面随着时间顺序可依次如图10中的10-A、10-B、10-C所示。
一个实施例中,可以通过对显示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现的预定手势动作(如摇手、弹指、搓指等),从而可判定监测到特效触发事件。并可确定该预定手势动作对应的事件类型(如摇手、弹指、搓指等),并从与该事件类型对应的各特效中,选择并获取待显示特效,并将该待显示特效进行显示。其中,该待显示特效可以是与该事件类型对应的各特效中随机选取,也可以是基于其他的规则进行选取,如与上一次显示的特效不同或者基于各特效的优先级/使用率确定、或者基于显示当前视频拍摄画面的设备的用户参数信息确定等等。在选择待显示特效之后,可以从终端本地获取该待显示特效,也可以从服务器下载该待显示特效。在将待显示特效进行显示时,可将获得的待显示特效叠加在当前视频拍摄画面上进行显示。
在将获得的待显示特效叠加在当前视频拍摄画面上进行显示时,可以通过跟踪预定手势动作对应的画面内容(如手部图像)在当前视频拍摄画面中的位置进行显示。如可以基于该预定手势动作对应的显示内容确定的画面位置(手部的边缘或者中心位置等),将待显示特效的指定类型位置与该画面位置对应后进行显示。
据此,一个实施例中终端显示的当前视频拍摄画的显示画面示意图如图11的11-A所示,通过对图11-A所示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现的摇手的预定手势动作,在当前视频拍摄画面显示了待显示特效后的显示界面随着时间顺序可依次如图11中的11-B、11-C、11-D所示。一个实施例中终端显示的当前视频拍摄画的显示画面示意图如图12的12-A所示,通过对图12-A所示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现的弹指的预定手势动作,在当前视频拍摄画面显示了待显示特效后的显示界面可如图12中的12-B所示,显示出了弹出火苗的特效。一个实施例中终端显示的当前视频拍摄画的显示画面示意图如图12的12-A所示,通过对图13-A所示的当前视频拍摄画面进行分析,可识别出当前视频拍摄画面中出现的搓纸的预定手势动作,在当前视频拍摄画面显示了待显示特效后的显示界面可如图13中的13-B所示,显示出了搓出火苗的特效。
一个实施例中终端显示的当前视频拍摄画面的显示画面示意图如图14的14-A所示。在该实施例中显示当前视频拍摄画面时,同时结合选定初始特效进行显示,即将当前视频拍摄画面与选定初始特效叠加显示,从而呈现出初始的特效显示效果。其中,在将当前视频拍摄画面与选定初始特效叠加显示时,可以提取出当前视频拍摄画面中的人像轮廓后,将提取出的人像轮廓与选定初始特效叠加显示,如图14-A所示。
在当前视频拍摄画面与选定初始特效叠加显示,若终端用户在摄像头范围来做出了预定手势动作或者动作轨迹,可对摄像头获得的视频拍摄画面进行分析获得该预定手势动作或者动作轨迹。可以理解,用以进行分析的摄像头获得的视频拍摄画面,不一定需要显示在显示界面上,只要拿到摄像头采集到的画面数据即可。若分析出当前视频拍摄画面出现了预定手势动作或者动作轨迹,则判定监测到特效触发时间。参考图14-A、图14-B所示,若识别出的动作轨迹为从右向左运动,则判定监测到特效触发事件,此时,在初始选定初始特效存在相关设定条件的情况下,可对该初始选定初始特效进行调整,如图14-A至图14-B的将遥感的画面位置从屏幕右侧移动到左侧。
判定监测到特效触发事件后,可从与该特效触发事件对应的各特效中,选择获取待显示特效,并将该待显示特效进行显示。其中,在将获取的待显示特效进行显示之前,还可以先获取预定类型的特效,并将该预定类型的特效进行显示,以实现转场特效的效果。实现转场特效效果的预定类型的特效,可以结合各种可能的方式确定,例如可以设定一个固定的特效作为转场特效,例如烟雾特效,也可以是基于显示当前视频拍摄画面的设备的用户参数信息确定。一个示例中终端显示的转场效果的转场特效的显示示意图如图15-A所示。
对应的,获取的待显示特效可以基于任何可能的规则确定,例如可以是从与事件类型(如手掌左右运动的运动轨迹)对应的各特效中随机选择一个或者是基于其他规则(如基于对应的各特效的点击率、分享率或者其他数据确定)确定待显示特效,也可以是基于显示当前视频拍摄画面的设备的用户参数信息确定待显示特效。获得的待显示特效可以直接替换当前视频拍摄换面或者直接与提取的人像边缘进行叠加后显示,一个示例中的显示了待显示特效后的显示界面可依次如图15中的15-B、15-C所示。
其中,若再次监测到上述特效触发事件,可以触发新的待显示特效进行显示,如触发获得新的待显示特效后,显示待显示特效后的显示界面如图16中的16-B、16-C或16-D所示。可以理解,图16-B、16-C或16-D中的眼睛、鼻子、嘴巴等特征可以是从当前视频显示画面中识别出的用户脸部图像中的五官特征,而不必包含在待显示特效中。在其他的实施例中,也可以对识别出的用户脸部图像中的五官特征做特效处理。
一个实施例中终端显示的当前视频拍摄画面的显示画面示意图如图17的17-A所示。在该实施例中显示当前视频拍摄画面时,若终端用户点击了该当前视频拍摄画面中的相关画面内容(例如图17-B中的用户头部),则可以检测到屏幕触摸事件,且该屏幕触摸事件的触摸位置对应的画面内容为预定类型画面内容,从而判定监测到特效触发事件。在图17所示示例中,假设预定类型画面内容为用户头部图像,则在显示当前视频拍摄画面的过程中,若检测到屏幕触摸事件,且该屏幕触摸事件的触摸位置对应的画面内容为用户头部图像时,则判定检测到特效触发事件。并对该用户头部图像做预定画面内容处理(如放大处理、缩小处理、膨胀处理、变形处理或者其他的处理),获得匹配的待显示特效,并将待显示特效与当前视频拍摄画面进行显示。一个实施例中,以预定画面内容处理为放大处理为例,将获得的待显示特效叠加在当前视频拍摄画面上后进行显示的显示界面如图17的17-C所示。
一个实施例中终端显示的当前视频拍摄画面的显示画面示意图如图18的18-A所示。在该实施例中显示当前视频拍摄画面时,可直接对当前视频拍摄画面进行分析,确定是否存在预定类型画面内容,若存在预定类型画面内容,则可以判定监测到特效触发事件。在图18所示的示例中,以预定类型画面内容为用户头部图像为例,可以在监测到的预定类型画面内容的数目大于或等于预定数目时(如大于1),则判定监测到特效触发事件。
在此情况下,可以从识别到的预定类型画面内容中选定待处理预定类型画面内容,选定待处理预定类型画面内容的方式可以采用任何可能方式进行,例如随机选取,或者将与摄像头的距离最近的预定类型画面内容确定为待处理预定类型画面内容。确定预定类型画面内容与摄像头之间的距离的方式可以采用任何图像分析方式进行。结合图18所示,可将18-A中的屏幕右侧的用户头部图像选定为待处理预定类型画面内容,对其进行预定画面内容处理。以预定画面内容处理为放大处理为例,将据此确定的待显示特效叠加在当前视频拍摄画面上后进行显示的显示界面如图18的18-B所示。
参考图18所示,在当前视频拍摄画面的显示过程中,若当前视频拍摄画面中的预定类型画面内容的关系发生了变化,如与摄像头之间的距离发生变化,或者上述待处理预定类型画面内容无法清晰识别(如被遮挡或移动速度过快无法识别),则可以清除原待处理预定类型画面内容的特效,并重新确定待处理预定类型画面内容,对新确定的待处理预定类型画面内容进行预定画面内容处理从而生成新的特效处理结果。参考图18所示,若屏幕右侧的用户头部图像无法清晰识别,则重新确定待处理预定类型画面内容,并据此进行预定画面内容处理之后,显示的显示界面可如图18的18-C所示。
一个实施例中终端显示的当前视频拍摄画面的显示画面示意图如图19的19-A所示。在该实施例中显示当前视频拍摄画面时,除了对当前视频拍摄画面进行分析,确定是否存在预定类型画面内容,还可同时监听语音特效控制指令,或者对当前视频拍摄画面进行分析,确定是否存在预定口型特征。若存在预定类型画面内容,且同时接收到语音特效控制指令或者存在预定口型特征。
在图19所示的示例中,以预定类型画面内容为用户头部图像、且监测预定口型特征为例,显示当前视频拍摄画面时,若存在预定口型特征,则从识别到的预定类型画面内容中选定待处理预定类型画面内容,选定待处理预定类型画面内容的方式可以采用任何可能方式进行,例如将存在预定口型特征的对应的预定类型画面内容确定为待处理预定类型画面内容。结合图19所示,在屏幕左侧的用户头部图像存在预定口型特征,将屏幕左侧的该用户头部图像确定为待处理预定类型画面内容,对其进行预定画面内容处理。以预定画面内容处理为放大处理为例,将据此确定的待显示特效叠加在当前视频拍摄画面上后进行显示的显示界面如图19的19-B所示。结合图19所示,当屏幕右侧的用户头部图像存在预定口型特征、而屏幕左侧的用户头部图像不再存在预定口型特征时,可将屏幕右侧的该用户头部图像确定为待处理预定类型画面内容,对其进行预定画面内容处理,同时可清除屏幕左侧的用户头部图像存在的特效。以预定画面内容处理为放大处理为例,将据此确定的待显示特效叠加在当前视频拍摄画面上后进行显示的显示界面如图19的19-C所示。
应该理解的是,尽管上述实施例的说明中,给出了几种具体的应用显示界面的实施例,但在实际技术实现过程中,各特效触发条件、待显示特效的确定方式、待显示特效的显示方式,可以进行任意的组合,并不能加以限定。
一个实施例中提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图20所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种特效处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图20中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
据此,在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现如上所述的任意实施例中的方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种添加特效的方法,所述方法包括:
在显示当前视频拍摄画面时,监测特效触发事件;
在监测到特效触发事件时,基于监测到特效触发事件时对应的视频拍摄画面,确定所述特效触发事件的事件类型;
获取与所述事件类型匹配的待显示特效;
显示获取的所述待显示特效。
2.根据权利要求1所述的方法,其特征在于,
在从所述当前视频拍摄画面中,识别到预定手势特征时,判定监测到特效触发事件。
3.根据权利要求2所述的方法,其特征在于,获取与所述事件类型匹配的待显示特效,包括:
基于识别出的所述预定手势特征的手势类型,从与该手势类型匹配的各特效中,选取待显示特效。
4.根据权利要求3所述的方法,其特征在于,从与该手势类型匹配的各特效中,选取待显示特效,包括下述各项中的任意一项:
第一项:从与该手势类型匹配、且历史显示特效之外的各特效中,选取待显示特效,所述历史显示特效为在本次显示当前视频拍摄画面的最近预设时间段内、识别到所述手势类型的预定手势特征时显示的特效,或者,所述历史显示特效为在本次显示当前视频拍摄画面、且识别到所述手势类型的预定手势特征时最近显示的预设数目个特效;
第二项:根据显示当前视频拍摄画面的设备的用户参数信息,从与所述手势类型、所述用户参数信息匹配的各特效中,选取待显示特效,所述用户参数信息包括下述各参数中的至少一种:通过所述设备登陆的用户账号关联的用户个人信息、所述设备所处的地理位置、所述设备所处的地理位置对应的天气信息、所述设备所处的海拔高度、当前时间、用户面部表情、心情信息,所述心情信息通过识别所述当前视频拍摄画面中的所述用户面部表情确定,所述用户面部表情为所述当前视频拍摄画面中的人脸的表情信息;
第三项:基于识别出所述预定手势特征的画面内容与用户脸部之间的位置关系,从与所述手势类型、所述位置关系匹配的各特效中,选取待显示特效,所述用户脸部位置为所述当前视频拍摄画面中的人脸位置。
5.根据权利要求2所述的方法,其特征在于,显示获取的所述待显示特效,包括下述各项中的至少一项:
第一项:
将所述待显示特效显示在所述当前视频拍摄画面中的特效显示位置,所述特效显示位置与手势特征位置对应,所述手势特征位置为识别出所述预定手势特征的画面内容在所述当前视频拍摄画面中的位置;
第二项:
识别所述当前视频拍摄画面中的用户脸部位置;
基于所述用户脸部位置,显示所述待显示特效;
第三项:
通过将所述待显示特效替换所述当前视频拍摄画面进行显示。
6.根据权利要求5所述的方法,其特征在于,基于所述用户脸部位置,显示所述待显示特效,包括:
基于手势特征位置与用户脸部位置之间的位置关系,显示所述待显示特效,所述手势特征位置为识别出所述预定手势特征的画面内容在所述当前视频拍摄画面中的位置。
7.根据权利要求5或6所述的方法,其特征在于,显示获取的所述待显示特效,还包括:
获取待使用背景;
采用所述待使用背景替换所述当前视频拍摄画面中的画面背景,所述画面背景为所述当前视频拍摄画面中除了人物轮廓之外的画面内容。
8.根据权利要求2所述的方法,其特征在于,在确定所述特效触发事件的事件类型之后,显示获取的所述待显示特效之前,还包括:
获取预定类型的特效,并将该特效进行显示。
9.根据权利要求2所述的方法,其特征在于,在监测特效触发事件之前,还包括步骤:
将所述当前视频拍摄画面与选定初始特效叠加显示。
10.根据权利要求9所述的方法,其特征在于,获取与所述事件类型匹配的待显示特效,包括:
从与所述选定初始特效的类型、所述预定手势动作的手势类型匹配的各特效中,选取待显示特效。
11.根据权利要求1所述的方法,其特征在于,包括下述各项中的任意一项:
第一项:在显示当前视频拍摄画面时,检测到屏幕触摸事件,且该屏幕触摸事件的触摸位置对应的画面内容为预定类型画面内容时,判定监测到特效触发事件,所述特效触发事件的事件类型为特定画面内容特效类型;
第二项:在显示当前视频拍摄画面时,从所述当前视频拍摄画面中监测到预定类型画面内容,且监测到的预定类型画面内容的数目大于或等于预定数目时,判定监测到特效触发事件;
第三项:在显示当前视频拍摄画面时,从所述当前视频拍摄画面中监测到预定类型画面内容,且接收到语音特效控制指令时,判定监测到特效触发事件;
第四项:在显示当前视频拍摄画面时,从所述当前视频拍摄画面中监测到预定类型画面内容,且从所述当前视频拍摄画面中识别出预定口型特征时,判定监测到特效触发事件。
12.根据权利要求11所述的方法,其特征在于,获取与所述事件类型匹配的待显示特效,包括下述各项中的至少一项:
对所述预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效;
从监测到的各预定类型画面内容中确定待处理预定类型画面内容,所述待处理预定类型画面内容为从各预定类型画面内容中随机选取,或者为各预定类型画面内容中、满足预定条件的预定类型画面内容;对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效。
13.根据权利要求11所述的方法,其特征在于,获取与所述事件类型匹配的待显示特效,包括下述各项中的至少一项:
在监测到的预定类型画面内容的数目为1时,若接收到所述语音特效控制指令时所述预定画面内容未添加特效,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效;
在监测到的预定类型画面内容的数目为1时,若接收到所述语音特效控制指令时所述预定画面内容存在当前显示特效,清除所述当前显示特效,或者对所述预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效,且所述待显示特效与所述当前显示特效不同;
在监测到的预定类型画面内容的数目大于1时,确定待处理预定类型画面内容,所述待处理预定类型画面内容为监测到的各预定类型画面内容中、不存在当前显示特效的预定类型画面内容,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效;
在监测到的预定类型画面内容的数目大于1时,确定待处理预定类型画面内容,所述待处理预定类型画面内容为监测到的各预定类型画面内容中、不存在当前显示特效的预定类型画面内容,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效,并清除存在当前显示特效的预定类型画面内容对应的特效;
在监测到的预定类型画面内容的数目为1时,若识别出预定口型特征时所述预定画面内容未添加特效,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效;
在监测到的预定类型画面内容的数目为1时,若识别出预定口型特征时所述预定画面内容存在当前显示特效,清除所述当前显示特效,或者对所述预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效,且所述待显示特效与所述当前显示特效不同;
在监测到的预定类型画面内容的数目大于1时,确定待处理预定类型画面内容,对所述待处理预定类型画面内容做预定画面内容处理,获得与所述事件类型匹配的待显示特效;所述待处理预定类型画面内容为识别出的所述预定口型特征对应的预定类型画面内容,或者,所述待处理预定类型画面内容为识别出的预定口型特征对应的预定类型画面内容之外的预定类型画面内容。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
CN201810523816.0A 2018-05-28 2018-05-28 特效处理方法、计算机设备和计算机存储介质 Active CN110611776B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810523816.0A CN110611776B (zh) 2018-05-28 2018-05-28 特效处理方法、计算机设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810523816.0A CN110611776B (zh) 2018-05-28 2018-05-28 特效处理方法、计算机设备和计算机存储介质

Publications (2)

Publication Number Publication Date
CN110611776A true CN110611776A (zh) 2019-12-24
CN110611776B CN110611776B (zh) 2022-05-24

Family

ID=68887493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810523816.0A Active CN110611776B (zh) 2018-05-28 2018-05-28 特效处理方法、计算机设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN110611776B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN112148188A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景下的交互方法、装置、电子设备及存储介质
CN112511750A (zh) * 2020-11-30 2021-03-16 维沃移动通信有限公司 视频拍摄方法、装置、设备及介质
WO2021052130A1 (zh) * 2019-09-17 2021-03-25 西安中兴新软件有限责任公司 视频处理方法、装置、设备及计算机可读存储介质
CN112584215A (zh) * 2020-12-10 2021-03-30 深圳创维-Rgb电子有限公司 视频传输方法、装置、智能电视机以及存储介质
CN112672036A (zh) * 2020-12-04 2021-04-16 北京达佳互联信息技术有限公司 拍摄图像处理方法及装置、电子设备
CN112766214A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 一种人脸图像处理方法、装置、设备及存储介质
CN112804466A (zh) * 2020-12-31 2021-05-14 重庆电子工程职业学院 实时交互的特效摄像摄影方法
CN112866562A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 画面处理方法、装置、电子设备及存储介质
CN112995694A (zh) * 2021-04-09 2021-06-18 北京字节跳动网络技术有限公司 视频显示方法、装置、电子设备及存储介质
CN113301358A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 内容提供及展示方法、装置、电子设备、存储介质
WO2021213191A1 (zh) * 2020-04-23 2021-10-28 中兴通讯股份有限公司 视频处理方法、终端及计算机可读存储介质
WO2021233378A1 (zh) * 2020-05-21 2021-11-25 北京字节跳动网络技术有限公司 配置视频特效方法、装置、设备及存储介质
CN113709573A (zh) * 2020-05-21 2021-11-26 北京字节跳动网络技术有限公司 配置视频特效方法、装置、设备及存储介质
CN114079817A (zh) * 2020-08-20 2022-02-22 北京达佳互联信息技术有限公司 视频特效的控制方法、装置、电子设备及存储介质
CN114173155A (zh) * 2022-02-09 2022-03-11 檀沐信息科技(深圳)有限公司 虚拟直播图像处理方法
CN114245021A (zh) * 2022-02-14 2022-03-25 北京火山引擎科技有限公司 互动拍摄方法、电子设备、存储介质及计算机程序产品
CN114489404A (zh) * 2022-01-27 2022-05-13 北京字跳网络技术有限公司 一种页面交互方法、装置、设备以及存储介质
WO2023040633A1 (zh) * 2021-09-14 2023-03-23 北京字跳网络技术有限公司 一种视频生成方法、装置、终端设备及存储介质
EP4152741A4 (en) * 2021-07-31 2023-12-06 Honor Device Co., Ltd. IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE
WO2023224548A3 (zh) * 2022-05-17 2024-01-25 脸萌有限公司 特效视频确定方法、装置、电子设备及存储介质
WO2024061274A1 (zh) * 2022-09-20 2024-03-28 成都光合信号科技有限公司 拍摄与生成视频的方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578056A (zh) * 2016-01-27 2016-05-11 努比亚技术有限公司 拍摄的终端及方法
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
US9773524B1 (en) * 2016-06-03 2017-09-26 Maverick Co., Ltd. Video editing using mobile terminal and remote computer
CN107786549A (zh) * 2017-10-16 2018-03-09 北京旷视科技有限公司 音频文件的添加方法、装置、***及计算机可读介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105578056A (zh) * 2016-01-27 2016-05-11 努比亚技术有限公司 拍摄的终端及方法
US9773524B1 (en) * 2016-06-03 2017-09-26 Maverick Co., Ltd. Video editing using mobile terminal and remote computer
CN106231415A (zh) * 2016-08-18 2016-12-14 北京奇虎科技有限公司 一种在视频直播中互动添加脸部特效的方法及装置
CN107786549A (zh) * 2017-10-16 2018-03-09 北京旷视科技有限公司 音频文件的添加方法、装置、***及计算机可读介质

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021052130A1 (zh) * 2019-09-17 2021-03-25 西安中兴新软件有限责任公司 视频处理方法、装置、设备及计算机可读存储介质
WO2021213191A1 (zh) * 2020-04-23 2021-10-28 中兴通讯股份有限公司 视频处理方法、终端及计算机可读存储介质
US11962929B2 (en) 2020-05-21 2024-04-16 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and device for configuring video special effect, and storage medium
CN113709573A (zh) * 2020-05-21 2021-11-26 北京字节跳动网络技术有限公司 配置视频特效方法、装置、设备及存储介质
CN113709383A (zh) * 2020-05-21 2021-11-26 北京字节跳动网络技术有限公司 配置视频特效方法、装置、设备及存储介质
WO2021233378A1 (zh) * 2020-05-21 2021-11-25 北京字节跳动网络技术有限公司 配置视频特效方法、装置、设备及存储介质
CN113709383B (zh) * 2020-05-21 2024-05-03 抖音视界有限公司 配置视频特效方法、装置、设备及存储介质
CN111639613B (zh) * 2020-06-04 2024-04-16 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN111639613A (zh) * 2020-06-04 2020-09-08 上海商汤智能科技有限公司 一种增强现实ar特效生成方法、装置及电子设备
CN113301358A (zh) * 2020-07-27 2021-08-24 阿里巴巴集团控股有限公司 内容提供及展示方法、装置、电子设备、存储介质
CN113301358B (zh) * 2020-07-27 2023-08-29 阿里巴巴集团控股有限公司 内容提供及展示方法、装置、电子设备、存储介质
CN114079817A (zh) * 2020-08-20 2022-02-22 北京达佳互联信息技术有限公司 视频特效的控制方法、装置、电子设备及存储介质
CN112148188A (zh) * 2020-09-23 2020-12-29 北京市商汤科技开发有限公司 增强现实场景下的交互方法、装置、电子设备及存储介质
CN112511750A (zh) * 2020-11-30 2021-03-16 维沃移动通信有限公司 视频拍摄方法、装置、设备及介质
CN112511750B (zh) * 2020-11-30 2022-11-29 维沃移动通信有限公司 视频拍摄方法、装置、设备及介质
WO2022116604A1 (zh) * 2020-12-04 2022-06-09 北京达佳互联信息技术有限公司 拍摄图像处理方法及电子设备
CN112672036A (zh) * 2020-12-04 2021-04-16 北京达佳互联信息技术有限公司 拍摄图像处理方法及装置、电子设备
CN112584215A (zh) * 2020-12-10 2021-03-30 深圳创维-Rgb电子有限公司 视频传输方法、装置、智能电视机以及存储介质
CN112804466A (zh) * 2020-12-31 2021-05-14 重庆电子工程职业学院 实时交互的特效摄像摄影方法
CN112866562A (zh) * 2020-12-31 2021-05-28 上海米哈游天命科技有限公司 画面处理方法、装置、电子设备及存储介质
CN112766214A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 一种人脸图像处理方法、装置、设备及存储介质
CN112995694A (zh) * 2021-04-09 2021-06-18 北京字节跳动网络技术有限公司 视频显示方法、装置、电子设备及存储介质
EP4152741A4 (en) * 2021-07-31 2023-12-06 Honor Device Co., Ltd. IMAGE PROCESSING METHOD AND ELECTRONIC DEVICE
WO2023040633A1 (zh) * 2021-09-14 2023-03-23 北京字跳网络技术有限公司 一种视频生成方法、装置、终端设备及存储介质
CN114489404A (zh) * 2022-01-27 2022-05-13 北京字跳网络技术有限公司 一种页面交互方法、装置、设备以及存储介质
CN114173155A (zh) * 2022-02-09 2022-03-11 檀沐信息科技(深圳)有限公司 虚拟直播图像处理方法
CN114245021A (zh) * 2022-02-14 2022-03-25 北京火山引擎科技有限公司 互动拍摄方法、电子设备、存储介质及计算机程序产品
CN114245021B (zh) * 2022-02-14 2023-08-08 北京火山引擎科技有限公司 互动拍摄方法、电子设备、存储介质及计算机程序产品
WO2023224548A3 (zh) * 2022-05-17 2024-01-25 脸萌有限公司 特效视频确定方法、装置、电子设备及存储介质
WO2024061274A1 (zh) * 2022-09-20 2024-03-28 成都光合信号科技有限公司 拍摄与生成视频的方法及相关设备

Also Published As

Publication number Publication date
CN110611776B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN110611776B (zh) 特效处理方法、计算机设备和计算机存储介质
US10565437B2 (en) Image processing device and method for moving gesture recognition using difference images
CN108932053B (zh) 基于手势的绘图方法、装置、存储介质和计算机设备
US10599914B2 (en) Method and apparatus for human face image processing
US10742900B2 (en) Method and system for providing camera effect
JP6355829B2 (ja) ジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置
CN108762505B (zh) 基于手势的虚拟对象控制方法、装置、存储介质和设备
CN107483834B (zh) 一种图像处理方法、连拍方法及装置和相关介质产品
US20180121733A1 (en) Reducing computational overhead via predictions of subjective quality of automated image sequence processing
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
CN111857356A (zh) 识别交互手势的方法、装置、设备和存储介质
US20120030637A1 (en) Qualified command
KR20140002007A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
CN108875667B (zh) 目标识别方法、装置、终端设备和存储介质
CN107273869B (zh) 手势识别控制方法和电子设备
CN108897589B (zh) 显示设备中人机交互方法、装置、计算机设备和存储介质
CN103106388B (zh) 图像识别方法和***
CN110348193A (zh) 验证方法、装置、设备和存储介质
CN111880660B (zh) 显示画面的控制方法、装置、计算机设备和存储介质
CN107357424A (zh) 一种手势操作的识别方法、设备及计算机可读存储介质
CN112749357B (zh) 基于分享内容的交互方法、装置和计算机设备
CN110164444A (zh) 语音输入启动方法、装置及计算机设备
JP7173535B2 (ja) 動作抽出装置、動作抽出方法、及びプログラム
CN108874115B (zh) 会话场景展示方法、装置和计算机设备
CN116863541B (zh) 动态手势识别方法、装置及相关设备、手写识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant