CN111611941B - 特效处理方法及相关设备 - Google Patents

特效处理方法及相关设备 Download PDF

Info

Publication number
CN111611941B
CN111611941B CN202010443569.0A CN202010443569A CN111611941B CN 111611941 B CN111611941 B CN 111611941B CN 202010443569 A CN202010443569 A CN 202010443569A CN 111611941 B CN111611941 B CN 111611941B
Authority
CN
China
Prior art keywords
action
special effect
accuracy
initialized
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010443569.0A
Other languages
English (en)
Other versions
CN111611941A (zh
Inventor
吴雪蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010443569.0A priority Critical patent/CN111611941B/zh
Publication of CN111611941A publication Critical patent/CN111611941A/zh
Application granted granted Critical
Publication of CN111611941B publication Critical patent/CN111611941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域,提供了一种特效处理方法及相关设备,该方法包括:对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;基于至少两个目标视频帧对运动目标进行动作识别;当获取到动作识别结果,确定初始化特效的动作序列;对初始化特效的动作序列中的各个动作与动作识别结果中各个动作进行匹配计算,确定初始化特效的动作序列中的各个动作与动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定初始化特效的特效准确度;基于特效准确度获取与初始化特效相关联的目标特效进行展示。本申请的实施提高了特效匹配的准确度,增强了特效匹配过程的互动性。

Description

特效处理方法及相关设备
技术领域
本申请涉及人工智能技术领域,具体而言,本申请涉及一种特效处理方法及相关设备。
背景技术
目前采用设备进行视频拍摄时,若想要加上特殊效果,除在视频拍摄结束后采用视频编辑器进行编辑,还可以在视频拍摄过程中采用拍摄应用程序带有的附加功能进行处理;此类用于添加特效的附加功能一般通过识别目标对象在所拍摄的视频图像中展示的动作,从而根据动作匹配特效。
然而现有技术中,对动作进行识别时,一般仅识别单个动作,随即基于单个动作匹配特效,该特效匹配的方法准确度较低,且互动性较弱。
发明内容
本申请提供了一种特效处理方法及相关设备,可以解决上述至少一种技术问题。所述技术方案如下:
第一方面,提供了一种特效处理方法,包括:对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;基于所述至少两个目标视频帧对所述运动目标进行动作识别;当获取到动作识别结果,确定初始化特效的动作序列;对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定所述初始化特效的特效准确度;基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示。
结合第一方面,在第一方面的第一种实施方式中,所述基于所述至少两个目标视频帧对所述运动目标进行动作识别,包括以下任一项:依序对两两相邻的前后两个目标视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别;以预定频率从所述至少两个目标视频帧中选取至少两个待识别视频帧,并对至少两个待识别视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别。
结合第一方面,在第一方面的第二种实施方式中,所述当获取到动作识别结果,确定初始化特效的动作序列,包括以下任一项:当获取到动作识别结果,基于所述动作识别结果中根据时间排序的首个动作,确定至少一个初始化特效的动作序列;当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列;所述预设的特效包括至少一个。
结合第一方面,在第一方面的第三种实施方式中,所述对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定所述初始化特效的特效准确度,包括:依次将所述初始化特效的动作序列中的各个动作,与所述动作识别结果中根据时间排序中的各个动作进行匹配;分别计算所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;当所述初始化特效的动作序列中的各个动作均在所述动作识别结果中匹配到相应的动作时,根据计算得到的动作准确度确定所述初始化特效的特效准确度。
结合第一方面,在第一方面的第四种实施方式中,所述动作准确度包括动作点位准确度、动作触发时间准确度以及动作持续时间准确度;所述根据计算得到的动作准确度确定所述初始化特效的特效准确度,包括:计算所述初始化特效的动作序列中所有动作的动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和;基于预设权重对所述动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和进行计算,得到所述初始化特效的特效准确度。
结合第一方面的第二种实施方式,在第一方面的第五种实施方式中,当包括一个初始化特效时,所述基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示,包括:基于所述特效准确度调整所述初始化特效的展示效果,并将调整展示效果后的初始化特效作为目标特效进行展示。
结合第一方面的第二种实施方式,在第一方面的第六种实施方式中,当包括至少两个初始化特效时,所述基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示,包括:将所述特效准确度最高的初始化特效确定为目标特效,并对所述目标特效进行展示。
第二方面,提供了一种特效处理装置,包括:检测模块,用于对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;识别模块,用于基于所述至少两个目标视频帧对所述运动目标进行动作识别;确定模块,用于当获取到动作识别结果,确定初始化特效的动作序列;计算模块,用于对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定所述初始化特效的特效准确度;展示模块,用于基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示。
结合第二方面,在第二方面的第一种实施方式中,所述识别模块包括以下任一单元:第一识别单元,用于依序对两两相邻的前后两个目标视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别;第二识别单元,用于以预定频率从所述至少两个目标视频帧中选取至少两个待识别视频帧,并对至少两个待识别视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别。
结合第二方面,在第二方面的第二种实施方式中,所述确定模块包括以下任一单元:第一确定单元,用于当获取到动作识别结果,基于所述动作识别结果中根据时间排序的首个动作,确定至少一个初始化特效的动作序列;第二确定单元,用于当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列;所述预设的特效包括至少一个。
结合第二方面,在第二方面的第三种实施方式中,所述计算模块包括:匹配单元,用于依次将所述初始化特效的动作序列中的各个动作,与所述动作识别结果中根据时间排序的各个动作进行匹配;动作计算单元,用于分别计算所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;特效计算单元,用于当所述初始化特效的动作序列中的各个动作均在所述动作识别结果中匹配到相应的动作时,根据计算得到的动作准确度确定所述初始化特效的特效准确度。
结合第二方面,在第二方面的第四种实施方式中,所述动作准确度包括动作点位准确度、动作触发时间准确度以及动作持续时间准确度;所述计算模块包括:第一计算单元,用于计算所述初始化特效的动作序列中所有动作的动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和;第二计算单元,用于基于预设权重对所述动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和进行计算,得到所述初始化特效的特效准确度。
结合第二方面的第二种实施方式,在第二方面的第五种实施方式中,当包括一个初始化特效时,所述展示模块包括第一展示单元,用于基于所述特效准确度调整所述初始化特效的展示效果,并将调整展示效果后的初始化特效作为目标特效进行展示。
结合第二方面的第二种实施方式,在第二方面的第六种实施方式中,当包括至少两个初始化特效时,所述展示模块包括第二展示单元,用于将所述特效准确度最高的初始化特效确定为目标特效,并对所述目标特效进行展示。
第三方面,提供了一种电子设备,其包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行第一方面及第一方面任一种实施方式所述的特效处理方法。
第四方面,提供了一种计算机可读存储介质,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现第一方面及第一方面任一实施方式所述的特效处理方法。
本申请提供的技术方案带来的有益效果是:
本申请通过对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧,并基于所述至少两个目标视频帧对运动目标进行动作识别;当获取到动作识别结果,确定初始化特效的动作序列,即触发由一系列动作对应的特效识别;对初始化特效的动作序列中的各个动作与动作识别结果中各个动作进行匹配计算,确定初始化特效的动作序列中的各个动作与动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定初始化特效的特效准确度,即初始化特效的特效准确度由至少一个动作的动作准确度确定;基于特效准确度获取与初始化特效相关联的目标特效进行展示。本申请设定初始化特效对应包括至少一个动作的动作序列,通过对原始视频中运动目标的动作进行识别,获得包括至少一个动作的动作识别结果,并将初始化特效的动作序列中各个动作与动作识别结果中的各个动作进行匹配,最终以初始化特效的动作序列中的各个动作与动作识别结果中匹配到相应的动作之间的动作准确度确定特效准确度,从而根据特效准确度获取目标特效进行展示,提高了特效匹配的准确度,增强了特效匹配过程的互动性。
本申请附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的一种特效处理方法的流程示意图;
图2为本申请实施例提供的一种特效处理方法的流程示意图;
图3为本申请实施例提供的一种特效处理方法的流程示意图;
图4为本申请实施例提供的一种特效处理方法的流程示意图;
图5为本申请实施例提供的一种特效处理方法的流程示意图;
图6为本申请实施例提供的一种特效处理方法的流程示意图;
图7为本申请实施例提供的一种特效处理方法的流程示意图;
图8为本申请实施例提供的一种在显示界面显示特效的示意图;
图9为本申请实施例提供的一种特效处理方法的应用流程图;
图10为本申请实施例提供的一种特效处理装置的结构示意图;
图11为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。计算机视觉技术(Computer Vision,CV)是人工智能技术中一门研究如何使机器“看”的学科,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、手势识别、指纹识别等生物特征识别技术。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
在本申请实施例的特效处理方法中,该方法具体可以由本申请实施例的电子设备执行,具体地所述电子设备可以是移动终端。如图1所示,本申请实施例包括以下步骤:
S101对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;
S102基于所述至少两个目标视频帧对所述运动目标进行动作识别;
S103当获取到动作识别结果,确定初始化特效的动作序列;
S104对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到相应的动作之间的动作准确度,并根据计算得到的动作准确度确定所述初始化特效的特效准确度;
S105基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示。
在步骤S101中,对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;具体地,原始视频为采用电子设备进行拍摄的内容;在对原始视频进行图像检测时,可以采用优化的轻量级网络shufflenet block结构结合多尺度特征融合的方法设计的模型对原始视频的视频帧进行图像检测。运动目标为进行图像检测的目标对象,运动目标可以是人手、人脸、肢体、具有生物特征的对象等。在视频的拍摄过程中,运动目标不一定一直出现在所拍摄的视频图像中,此时考虑到减少后续对运动目标动作识别的计算量,对原始视频进行图像检测,并获取包括运动目标的至少两个目标视频帧作为后续进行动作识别的基础。在一实施例中,假设运动目标为人手,当获取到原始视频时,即开始依序对原始视频中的每一视频帧进行手势检测,若检测到人手,则触发进行手势跟踪(手势跟踪为对于一端视频流,通过检测算法得到某一视频帧的初始手势区域,或者预测某一视频帧的手势区域,进而得到下一视频帧准确的手势区域。本实施例采用CornetNet anchor-free的算法,设计基于目标检测anchor-free方式的跟踪网络,使得手势跟踪网络具有同时完成判断是否非手势的分类任务和手势回归box任务的能力);当手势跟踪失败时,则重新对下一视频帧进行图像检测;本申请实施例通过手势跟踪获得包括运动目标的至少两个目标视频帧。
在步骤S102中,基于所述至少两个目标视频帧对所述运动目标进行动作识别;具体地,采用优化的轻量级网络shufflenet block结构设计的动作识别模型对运动目标进行动作识别;假设运动目标为人手时,则模型设计为手势识别模型,以对人手进行手势识别。具体地,还采用关键点定位方法进行动作识别;根据人脸检测器blazeface网络结构,针对关键点定位任务设计动作识别模型,若运动目标为人手,则设计手势检测blazehand模型。当运动目标为人手时,由于手指关节移动的自由度较大,为了约束局部关节点与全手关节点的位置关系,设计局部多个关节点(如21个关节点)回归损失loss与全局关节点结构损失loss,以增强模型手势关键点回归的稳定性。在本申请实施例中,对包括运动目标的视频帧进行动作识别,其具体为识别目标视频帧中的运动目标的类别,如运动目标为人手时,识别出某一目标视频帧的手势为拳头,通过对至少两帧的目标视频帧进行识别,可确定运动目标的至少一个动作为出拳、收拳等动作。
在步骤S103中,当获取到动作识别结果,确定初始化特效的动作序列;具体地,当对运动目标进行动作识别时,确定出运动目标在拍摄中展示的至少一个动作时,触发进行特效匹配。在本申请实施中,一个特效对应于多个动作,即一个特效通过运动目标展示出多个连续的动作后触发;例如,名称为如来神掌的特效,其对应的动作包括拳头起势、拳头从前伸后、伸出手掌等;当运动目标展示出相应的几个动作后,则运动目标的动作识别结构与如来神掌的特效匹配,则在显示界面出现巨大佛手的特效。在步骤S103中,当获取到动作识别结果,则确定初始化特效的动作序列,以将初始化特效的动作序列中的动作与动作识别结果中的动作进行匹配。可选地,当运动目标为人手时,初始化特效可以为与武侠招式相关的特效。武侠招式相关的特效由一系列的武侠动作组成,每个动作设有对应的完成时间,以及动作点位准确度与持续时间准确度;其具体为将常见武侠招式通过拆解动作细节,组合成特效的动作序列。其中,初始化特效可以是设定的特效,也可以对外提供变量设置的接口,根据特效的素材对初始化特效进行设定。
在步骤S104中,对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定所述运动目标完成所述初始化特效的动作序列中所有动作的特效准确度;具体地,通过动作识别器对所述初始化特效的动作序列中的各个动作与动作识别结构中各个动作进行匹配计算;动作识别器用于判断当前动作是否符合***预设的动作模式(初始化特效的动作系列中的动作),判断动作是否准确(动作的点位是否准确,动作触发时间是否准确,动作持续时间是否准确,三个变量均设有精确度值)。通过特效识别器根据动作准确度计算初始化特效的特效准确度;具体地,特效识别器中包含一个动作识别器的序列,判断一个动作序列的准确度;当在步骤S103中获得动作识别结果时,则开启特效识别器,根据动作识别器序列中的顺序,逐个识别动作,根据每个动作的点位准确度、触发时间准确度以及持续时间准确度,计算得到初始化特效的特效准确度。
在步骤S105中,基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示;具体地,基于步骤S104中计算所得运动目标所完成动作的特效准确度获取与初始化特效相关联的目标特效进行展示。可选地,特效识别器中设有初始化特效的特效准确度的标准值,通过步骤S104确定出当前运动目标完成初始化特效对应动作序列的特效准确度时,可计算得出实际完成动作的特效准确度与设定标准值之间的偏差值,并根据偏差值获取与初始化特效相关联的目标特效进行展示。其中,目标特效为通过特效准确度对初始化特效进行调整或选择后形成的特效。特效准确度可采用归一化的值进行表示。例如,初始化特效为在运动目标后方围绕着运动目标出现光环,当特效准确度为0.8时,将光环的大小和/或渲染程度调整为原始光环展示效果的80%,将调整后的光环作为目标特效进行展示。
本实施例设定初始化特效对应包括至少一个动作的动作序列,通过对原始视频中运动目标的动作进行识别,获得包括至少一个动作的动作识别结果,并将初始化特效的动作序列中各个动作与动作识别结果中的各个动作进行匹配,最终以初始化特效的动作序列中的各个动作与动作识别结果中匹配到的相应动作之间的动作准确度确定特效准确度,从而根据特效准确度获取目标特效进行展示,提高了特效匹配的准确度,增强了特效匹配过程的互动性。
在一实施例中,如图2所示,步骤S102基于所述至少两个目标视频帧对所述运动目标进行动作识别,包括以下任一项:
S201依序对两两相邻的前后两个目标视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别;
S202以预定频率从所述至少两个目标视频帧中选取至少两个待识别视频帧,并对至少两个待识别视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别。
具体地,在对运动目标进行动作识别时,可以采用步骤S201中,依序对两两相邻的前后两个目标视频帧中运动目标的动作变化趋势进行识别;考虑到降低计算的复杂度时,可采用步骤S202中,以预定频率从包括运动目标的至少两个目标视频帧中选择至少两个待识别的视频帧,并对至少两个待识别视频帧中运动目标的动作变化趋势进行识别;如以7帧为一个周期,从所述至少两个目标视频帧中抽取第一帧、第七帧、第十四帧等目标视频帧进行识别。在一实施例中,所述至少两个目标视频帧为每一视频帧均包括运动目标的连续的视频帧。
在一实施例中,如图3所示,步骤S103当获取到动作识别结果,确定初始化特效的动作序列,包括以下任一项:
S301当获取到动作识别结果,基于所述动作识别结果中根据时间排序的首个动作,确定至少一个初始化特效的动作序列;
S302当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列;所述预设的特效包括至少一个。
在步骤S301中,当获取到动作识别结果,基于所述动作识别结果中根据时间排序的首个动作,确定至少一个初始化特效的动作序列;具体地,当获取到动作识别结果时,基于获取到的首个动作确定至少一个初始化特效的动作序列。举例说明,当前动作识别结果中首个动作为拳头起势,则在存储的多个特效中获取首个动作与拳头相关的动作序列作为初始化特效的动作序列。可选地,在终端拍摄的显示界面上,显示触发特效的指引,如想要触发如来神掌的特效,则指引用户出现拳头起势的动作,当用户完成该动作时,确定初始化特效的动作序列,即以如来神掌的特效对应的动作序列作为初始化特效的动作序列,触发动作识别器与特效识别器。即在步骤S301中,初始化特效的动作序列与运动目标完成的首个动作相关。
在步骤S302中,当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列;所述预设的特效包括至少一个;具体地,当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列,即初始化特效的动作序列与运动目标当前展示的动作无关,该初始化特效的动作序列为预设的特效的动作序列。预设的特效的动作序列包括以下至少一种:(1)为固定的动作序列,如固定为拳头-手掌-拳头的动作序列;(2)为随机生成的动作序列,如在动作池中包括多种动作,随机抓取任意数量的动作组合成动作序列;(3)为特效池中特效的动作序列,如特效池中包括3种特效,特效a、特效b、与特效c分别对应各自的动作序列。在一实施例中,步骤S302中,将预设的特效的动作序列作为初始化特效的动作序列包括将特效池中所有特效的动作序列均作为初始化特效的动作序列。
在一实施例中,如图4所示,步骤S104对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到相应的动作之间的动作准确度,根据计算得到的动作准确度确定所述初始化特效的特效准确度,包括:
S401依次将所述初始化特效的动作序列中的各个动作,与所述动作识别结果中根据时间排序的各个动作进行匹配;
S402分别计算所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;
S403当所述初始化特效的动作序列中的各个动作均在所述动作识别结果中匹配到相应的动作时,根据计算得到的动作准确度确定所述初始化特效的特效准确度。
具体地,在运动目标展示动作的同时进行动作识别与动作匹配,即在步骤S103中确定出初始化特效的动作序列后,以初始化特效的动作序列中的动作为基准,与运动目标完成的动作进行匹配。具体地,当完成初始化特效的动作序列中的一个动作时,将对该动作计算动作准确度;即依次进行动作匹配的同时,完成各个动作的动作准确度计算。在一实施例中,在步骤S401中,假设初始化特效的动作序列中第三个动作与动作识别结果中的动作无法匹配时,则退出动作匹配的操作,即关闭动作识别器与招式识别器,且不再执行后续步骤;即动作匹配的过程是依序进行的,当初始化特效的动作序列中任一动作无法完成时,将不再对后续的动作进行匹配。可选地,当初始化特效的动作序列中任一动作无法完成时,在步骤S402中将该动作匹配的动作准确度对应的值设为0,并继续后续动作的匹配。在步骤S402中,计算初始化特效的动作序列中运动目标已完成的动作的动作准确度,初始化特效的动作序列中的一个动作仅对应于动作识别结果中的一个动作,且按照时间排序进行动作匹配。在步骤S403中,当确定初始化特效的动作序列中各个动作均在动作识别结果中匹配到相应的动作时,则根据计算得到的各个动作的动作准确度确定初始化特效的特效准确度。
在一实施例中,当仅包括一个初始化特效的动作序列时,可通过在终端的显示界面显示动作指引,引导用户做出初始化特效的动作序列中的动作。如初始化特效为如来神掌时,其对应的动作序列包括三个动作,拳头起势-拳头从前伸后-伸出手掌。假设用户通过完成拳头起势的动作触发对如来神掌特效的动作匹配时,步骤S402将计算初始化特效的第一个动作与运动目标完成的第一个动作之间的动作准确度;终端界面上将显示第二个动作拳头从前伸后的指引图,引导用户完成初始化特效的动作序列中的第二个动作,当步骤S401确定运动目标的第二个动作与初始化特效的第二个动作匹配时,将通过步骤S402计算初始化特效的第二个动作与运动目标完成的第二个动作之间的动作准确度;终端界面上将显示第三个动作伸出手掌的指引图,引导用户完成初始化特效的动作序列中的第三个动作,当步骤S401确定运动目标的第三个动作与初始化特效的第三个动作匹配时,将通过步骤S402计算初始化特效的第三个动作与运动目标完成的第三个动作之间的动作准确度;此时,步骤S403确定初始化特效的动作序列中的各个动作均在动作识别结果中匹配到相应的动作,并根据上述三个动作的动作准确度确定初始化特效的特效准确度。
在一实施例中,如图5所示,所述动作准确度包括动作点位准确度、动作触发时间准确度以及动作持续时间准确度;步骤S104根据计算得到的动作准确度确定所述初始化特效的特效准确度,包括:
S501计算所述初始化特效的动作序列中所有动作的动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和;
S502基于预设权重对所述动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和进行计算,得到所述初始化特效的特效准确度。
具体地,动作准确度由三个变量构成,分别为动作点位准确度、动作触发时间准确度、动作持续时间准确度;其中,动作点位准确度可通过关键点定位确定;动作触发时间准确度由完成每一个动作中的第一帧视频帧对应的显示时间戳确定;动作持续时间准确度由完成每一个动作中第一帧至最后一帧视频帧对应的时间段确定。每个动作的动作准确度可采用归一化的值进行表示,结合下述表1对根据各个动作的动作准确度确定的特效准确度进行举例说明:
表1
在表1可见,初始化特效的动作序列中包括3个动作,在动作识别结果中,均有3个动作与其相应。上述数值可采用绝对值的方式进行计算,以动作持续时间准确度为例,假设初始化特效中完成第一个动作的标准持续时间为5ms,若运动目标完成第一个动作的持续时间为4ms或6ms,则第一个动作的动作持续时间准确度值为0.8(1-|4-5|/5=0.8;1-|6-5|/5=0.8)。其他两个变量(动作点位准确度、动作触发时间准确度)的计算方式相同。在步骤S501中,计算初始化特效的动作序列中所有动作对应的动作点位准确度为2.4、动作触发时间准确度为2.5、动作持续时间准确度为2.7;在步骤S502中,基于各个变量的预设权重进行计算所得的初始化特效的特效准确度为2.51。在以归一化的值表示三个变量的准确度值时,特效准确度的标准值为3。当步骤S103中确定两个及以上的初始化特效的动作序列时,每个初始化特效均有其对应的特效准确度。
可选地,当步骤S103中仅确定一个初始化特效的动作序列时,在计算三个变量(动作点位准确度、动作触发时间准确度、动作持续时间准确度)对应的准确度值时,还可采用标准值的计算方式;以动作持续时间准确度为例,初始化特效的中第二个动作的动作持续时间的标准值范围为5ms-10ms,若运动目标在完成第二个动作时用了7ms,则第二个动作的动作持续时间准确度为1;即只要运动目标完成第二个动作的动作持续时间在标准值范围内准确度即为1;若运动目标完成第二个动作的动作持续时间不在标准值范围内,则判断为运动目标并未完成初始化特效中的第二个动作,此时将退出动作识别器以及特效识别器,确定动作识别失败。其他两个变量(动作点位准确度、动作触发时间准确度)的计算方式相同。当步骤S103中确定两个及以上的初始化特效的动作序列时,假设有三个初始化特效的动作序列(初始化特效A、初始化特效B、初始化特效C各自对应的动作序列),运动目标完成的第一个动作均与三个初始化特效的第一个动作匹配,则三个初始化特效的第一个动作的动作准确度均为1;当运动目标完成的第二个动作仅与初始化特效A和初始化特效B匹配,则退出对初始化特效C的动作匹配,且初始化特效A和初始化特效B关于第二个动作的动作准确度为3;当运动目标完成的第三个动作仅与初始化特效A匹配,则退出对初始化特效B的动作匹配,且初始化特效A关于第三个动作的动作准确度为3,此时若初始化特效A还包括第四个及以上的动作时,继续与运动目标完成的动作进行动作匹配;若初始化特效A仅有三个动作,则此时运动目标完成的动作对应于初始化特效A的特效准确度为3。由于动作准确度由三个变量构成,因此特效准确度的标准值为3。
在一实施例中,如图6所示,当包括一个初始化特效时,步骤S105基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示,包括:
S601基于所述特效准确度调整所述初始化特效的展示效果,并将调整展示效果后的初始化特效作为目标特效进行展示。
具体地,当步骤S103中确定的初始化特效的动作序列仅包括一个时,将基于特效准确度调整初始化特效的展示效果,并将调整后的初始化特效作为目标特效。举例说明,假设初始化特效的特效准确度的标准值为3,基于步骤S104计算所得的特效准确度的实际值为2.51,则以实际值所占标准值的比例对初始化特效的展示效果进行调整;如标准下初始化特效的展示效果为出现一个7x7大小的光环,则调整后的初始化特效的展示效果为出现一个5.8x5.8大小的光环;并将调整后的光环作为目标特效在显示界面进行展示。
在一实施例中,如图7所示,当包括至少两个初始化特效时,步骤S105基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示,包括:
S701将所述特效准确度最高的初始化特效确定为目标特效,并对所述目标特效进行展示。
具体地,当步骤S103中确定的初始化特效的动作序列中包括两个及以上时,将步骤S104计算所得的特效准确度的实际值最高的初始化特效确定为目标特效;如步骤S103中确定三个初始化特效的动作序列时,其各自对应初始化特效A、初始化特效B、初始化特效C,则分别计算运动目标在完成动作时与各个初始化特效的特效准确度值,假设此时运动目标完成动作对应初始化特效A的特效准确度为2.7,对应初始化特效B的特效准确度为2.63,对应初始化特效C的特效准确度为2.82;则获取初始化特效C作为目标特效进行展示。在一实施例中,如图8所示,假设初始化特效C对应动作序列为武侠招式中一阳指相关的动作序列时,在显示界面出现一阳指相关的特效。
在一应用例中,如图9所示,假设运动目标为人手。用户启动终端上的视频拍摄应用程序进行视频拍摄;在拍摄过程中,用户想通过添加特效的方式增加所拍摄视频的趣味性,如想添加与武侠招式相关的一阳指特效(一阳指特效的动作序列共包括两个:拳头起势-伸出一根手指并保持预设时长,假设预设时长为3秒),则在视频拍摄的区域中展示拳头,触发进行特效匹配(终端显示界面上可显示多款特效的触发手势,用户通过展示不同的手势触发进行不同的特效匹配,设定一阳指特效的触发手势为拳头);此时,终端显示界面上将出现第一个动作的动作指引图(动作指引图可以是文字、也可以是动作路径;若为文字可以是“拳头起势”等提示语),当用户按照动作指引图完成当前的第一个动作时,显示界面将出现第二个动作的动作指引图(第二个动作的动作指引图中文字可以表述为“伸出一根手指并保持3秒”;终端同时计算用户完成第一个动作的动作准确度);当用户按照动作指引图完成第二个动作时(终端计算用户完成第二个动作的动作准确度,并基于各个动作的动作准确度计算特效准确度,进而基于特效准确度调整一阳指特效的展示效果,将调整展示效果后的一阳指特效作为目标特效进行展示),在终端显示界面上出现一阳指特效的贴纸,如图8所示。
可选地,触发进行特效匹配的手势可以为初始化特效的动作序列中的第一个动作,即用户通过完成第一个动作触发进行相应特效的特效匹配。如上述实施例中,用户通过完成拳头起势的动作,触发进行一阳指特效的特效匹配;此时,终端显示界面将显示动作序列中第二个动作(伸出一根手指并保持预设时长)的动作指引图(终端同时计算用户完成第一个动作的动作准确度);后续步骤与上述实施例相同,在此不再赘述。
在一实施例,如图10所示,提供了一种特效处理装置100,包括:
检测模块101,用于对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;
识别模块102,用于基于所述至少两个目标视频帧对所述运动目标进行动作识别;
确定模块103,用于当获取到动作识别结果,确定初始化特效的动作序列;
计算模块104,用于对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到相应的动作之间的动作准确度,并根据计算得到的动作准确度确定所述初始化特效的特效准确度;
展示模块105,用于基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示。
在一实施例中,所述识别模块102包括以下任一单元:第一识别单元,用于依序对两两相邻的前后两个目标视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别;第二识别单元,用于以预定频率从所述至少两个目标视频帧中选取至少两个待识别视频帧,并对至少两个待识别视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别。
在一实施例中,所述确定模块103包括以下任一单元:第一确定单元,用于当获取到动作识别结果,基于所述动作识别结果中根据时间排序的首个动作,确定至少一个初始化特效的动作序列;第二确定单元,用于当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列;所述预设的特效包括至少一个。
在一实施例中,所述计算模块104包括:匹配单元,用于依次将所述初始化特效的动作序列中的各个动作,与所述动作识别结果中根据时间排序的各个动作进行匹配;动作计算单元,用于分别计算所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;特效计算单元,用于当所述初始化特效的动作序列中的各个动作均在所述动作识别结果中匹配到相应的动作时,根据计算得到的动作准确度确定所述初始化特效的特效准确度。
在一实施例中,所述动作准确度包括动作点位准确度、动作触发时间准确度以及动作持续时间准确度;所述计算模块104包括第一计算单元,用于计算所述初始化特效的动作序列中所有动作的动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和;第二计算单元,用于基于预设权重对所述动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和进行计算,得到所述初始化特效的特效准确度。
在一实施例中,当包括一个初始化特效时,所述展示模块105包括第一展示单元,用于基于所述特效准确度调整所述初始化特效的展示效果,并将调整展示效果后的初始化特效作为目标特效进行展示。
在一实施例中,当包括至少两个初始化特效时,所述展示模块105包括第二展示单元,用于将所述特效准确度最高的初始化特效确定为目标特效,并对所述目标特效进行展示。
本申请实施例的特效处理装置可执行本申请的实施例所提供的一种特效处理方法,其实现原理相类似,本申请各实施例中的特效处理装置中的各模块所执行的动作是与本申请各实施例中的特效处理方法中的步骤相对应的,对于特效处理装置的各模块的详细功能描述具体可以参见前文中所示的对应的特效处理方法中的描述,此处不再赘述。
基于与本申请的实施例中所示的方法相同的原理,本申请的实施例中还提供了一种电子设备,该电子设备可以包括但不限于:处理器和存储器;存储器,用于存储计算机操作指令;处理器,用于通过调用计算机操作指令执行实施例所示的特效处理方法。
在一个可选实施例中提供了一种电子设备,如图11所示,图11所示的电子设备4000包括:处理器4001和存储器4003。其中,处理器4001和存储器4003相连,如通过总线4002相连。可选地,电子设备4000还可以包括收发器4004。需要说明的是,实际应用中收发器4004不限于一个,该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请内容所描述的各种示例性的逻辑方框,模块和电路。处理器4001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。处理器4001通过调用计算机操作指令执行上述实施例所示的特效处理方法,所述特效处理方法包括:对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;基于所述至少两个目标视频帧对所述运动目标进行动作识别;当获取到动作识别结果,确定初始化特效的动作序列;对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定所述初始化特效的特效准确度;基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示。
总线4002可包括一通路,在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示,图11中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码,并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图11示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是,本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模块本身的限定,例如,检测模块模块还可以被描述为“对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧的模块”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种特效处理方法,其特征在于,包括:
对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;
基于所述至少两个目标视频帧对所述运动目标进行动作识别;
当获取到动作识别结果,确定初始化特效的动作序列;
对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;所述动作准确度包括动作点位准确度、动作触发时间准确度以及动作持续时间准确度;
根据计算得到的动作准确度确定所述初始化特效的特效准确度,包括:计算所述初始化特效的动作序列中所有动作的动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和;基于预设权重对所述动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和进行计算,得到所述初始化特效的特效准确度;
基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示。
2.根据权利要求1所述的方法,其特征在于,所述基于所述至少两个目标视频帧对所述运动目标进行动作识别,包括以下任一项:
依序对两两相邻的前后两个目标视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别;
以预定频率从所述至少两个目标视频帧中选取至少两个待识别视频帧,并对至少两个待识别视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别。
3.根据权利要求1所述的方法,其特征在于,所述当获取到动作识别结果,确定初始化特效的动作序列,包括以下任一项:
当获取到动作识别结果,基于所述动作识别结果中根据时间排序的首个动作,确定至少一个初始化特效的动作序列;
当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列;所述预设的特效包括至少一个。
4.根据权利要求1所述的方法,其特征在于,所述对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度,并根据计算得到的动作准确度确定所述初始化特效的特效准确度,包括:
依次将所述初始化特效的动作序列中的各个动作,与所述动作识别结果中根据时间排序的动作进行匹配;
分别计算所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;
当所述初始化特效的动作序列中的各个动作均在所述动作识别结果中匹配到相应的动作时,根据计算得到的动作准确度确定所述初始化特效的特效准确度。
5.根据权利要求3所述的方法,其特征在于,当包括一个初始化特效时,所述基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示,包括:
基于所述特效准确度调整所述初始化特效的展示效果,并将调整展示效果后的初始化特效作为目标特效进行展示。
6.根据权利要求3所述的方法,其特征在于,当包括至少两个初始化特效时,所述基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示,包括:
将所述特效准确度最高的初始化特效确定为目标特效,并对所述目标特效进行展示。
7.一种特效处理装置,其特征在于,包括:
检测模块,用于对原始视频进行图像检测,获取包括运动目标的至少两个目标视频帧;
识别模块,用于基于所述至少两个目标视频帧对所述运动目标进行动作识别;
确定模块,用于当获取到动作识别结果,确定初始化特效的动作序列;
计算模块,用于对所述初始化特效的动作序列中的各个动作与所述动作识别结果中各个动作进行匹配计算,确定所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;所述动作准确度包括动作点位准确度、动作触发时间准确度以及动作持续时间准确度;根据计算得到的动作准确度确定所述初始化特效的特效准确度;所述计算模块包括用于执行根据计算得到的动作准确度确定所述初始化特效的特效准确度时,具体应用的第一计算单元和第二计算单元;所述第一计算单元,用于计算所述初始化特效的动作序列中所有动作的动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和;所述第二计算单元,用于基于预设权重对所述动作点位准确度和、动作触发时间准确度和、以及动作持续时间准确度和进行计算,得到所述初始化特效的特效准确度;
展示模块,用于基于所述特效准确度获取与所述初始化特效相关联的目标特效进行展示。
8.根据权利要求7所述的装置,其特征在于,所述识别模块包括以下任一单元:
第一识别单元,用于依序对两两相邻的前后两个目标视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别;
第二识别单元,用于以预定频率从所述至少两个目标视频帧中选取至少两个待识别视频帧,并对至少两个待识别视频帧中运动目标的动作变化趋势进行识别,以完成对所述运动目标进行动作识别。
9.根据权利要求7所述的装置,其特征在于,所述确定模块包括以下任一单元:
第一确定单元,用于当获取到动作识别结果,基于所述动作识别结果中根据时间排序的首个动作,确定至少一个初始化特效的动作序列;
第二确定单元,用于当获取到动作识别结果,将预设的特效的动作序列作为初始化特效的动作序列;所述预设的特效包括至少一个。
10.根据权利要求7所述的装置,其特征在于,所述计算模块包括:
匹配单元,用于依次将所述初始化特效的动作序列中的各个动作,与所述动作识别结果中根据时间排序的各个动作进行匹配;
动作计算单元,用于分别计算所述初始化特效的动作序列中的各个动作与所述动作识别结果中匹配到的相应动作之间的动作准确度;
特效计算单元,用于当所述初始化特效的动作序列中的各个动作均在所述动作识别结果中匹配到相应的动作时,根据计算得到的动作准确度确定所述初始化特效的特效准确度。
11.根据权利要求9所述的装置,其特征在于,当包括一个初始化特效时,所述展示模块包括第一展示单元,用于基于所述特效准确度调整所述初始化特效的展示效果,并将调整展示效果后的初始化特效作为目标特效进行展示。
12.一种电子设备,其特征在于,其包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据权利要求1~6任一项所述的特效处理方法。
13.一种计算机可读存储介质,其特征在于,所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1~6任一项所述的特效处理方法。
CN202010443569.0A 2020-05-22 2020-05-22 特效处理方法及相关设备 Active CN111611941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010443569.0A CN111611941B (zh) 2020-05-22 2020-05-22 特效处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010443569.0A CN111611941B (zh) 2020-05-22 2020-05-22 特效处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN111611941A CN111611941A (zh) 2020-09-01
CN111611941B true CN111611941B (zh) 2023-09-19

Family

ID=72199320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010443569.0A Active CN111611941B (zh) 2020-05-22 2020-05-22 特效处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN111611941B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333473B (zh) * 2020-10-30 2022-08-23 北京字跳网络技术有限公司 一种交互方法、装置以及计算机存储介质
CN113806306B (zh) 2021-08-04 2024-01-16 北京字跳网络技术有限公司 媒体文件处理方法、装置、设备、可读存储介质及产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017152794A1 (en) * 2016-03-10 2017-09-14 Zhejiang Shenghui Lighting Co., Ltd. Method and device for target tracking
WO2019024750A1 (zh) * 2017-08-03 2019-02-07 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质
CN109600559A (zh) * 2018-11-29 2019-04-09 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109618183A (zh) * 2018-11-29 2019-04-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN110222576A (zh) * 2019-05-07 2019-09-10 北京字节跳动网络技术有限公司 拳击动作识别方法、装置和电子设备
CN110472531A (zh) * 2019-07-29 2019-11-19 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及存储介质
WO2020020156A1 (zh) * 2018-07-23 2020-01-30 腾讯科技(深圳)有限公司 一种视频处理方法及装置、终端设备、服务器及存储介质
CN110913205A (zh) * 2019-11-27 2020-03-24 腾讯科技(深圳)有限公司 视频特效的校验方法及装置
CN111104930A (zh) * 2019-12-31 2020-05-05 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017152794A1 (en) * 2016-03-10 2017-09-14 Zhejiang Shenghui Lighting Co., Ltd. Method and device for target tracking
WO2019024750A1 (zh) * 2017-08-03 2019-02-07 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质
WO2020020156A1 (zh) * 2018-07-23 2020-01-30 腾讯科技(深圳)有限公司 一种视频处理方法及装置、终端设备、服务器及存储介质
CN109600559A (zh) * 2018-11-29 2019-04-09 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN109618183A (zh) * 2018-11-29 2019-04-12 北京字节跳动网络技术有限公司 一种视频特效添加方法、装置、终端设备及存储介质
CN110222576A (zh) * 2019-05-07 2019-09-10 北京字节跳动网络技术有限公司 拳击动作识别方法、装置和电子设备
CN110472531A (zh) * 2019-07-29 2019-11-19 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及存储介质
CN110913205A (zh) * 2019-11-27 2020-03-24 腾讯科技(深圳)有限公司 视频特效的校验方法及装置
CN111104930A (zh) * 2019-12-31 2020-05-05 腾讯科技(深圳)有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111611941A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
CN109584276B (zh) 关键点检测方法、装置、设备及可读介质
CN109657533A (zh) 行人重识别方法及相关产品
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN110610154A (zh) 行为识别方法、装置、计算机设备和存储介质
US20220301295A1 (en) Recurrent multi-task convolutional neural network architecture
US12008167B2 (en) Action recognition method and device for target object, and electronic apparatus
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
EP3617934A1 (en) Image recognition method and device, electronic apparatus, and readable storage medium
CN111611941B (zh) 特效处理方法及相关设备
CN111273772B (zh) 基于slam测绘方法的增强现实交互方法、装置
CN108096833B (zh) 基于级联神经网络的体感游戏控制方法及装置、计算设备
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及***
CN107368181B (zh) 一种手势识别方法及装置
CN112560622B (zh) 虚拟对象动作控制方法、装置及电子设备
US20230401799A1 (en) Augmented reality method and related device
CN114241597A (zh) 一种姿态识别方法及其相关设备
CN111104911A (zh) 一种基于大数据训练的行人重识别方法及装置
CN112418153B (zh) 图像处理方法、装置、电子设备和计算机存储介质
CN114202454A (zh) 图优化方法、***、计算机程序产品以及存储介质
EP3639193A1 (en) Human feedback in 3d model fitting
CN116452946A (zh) 模型训练方法和电子设备
CN115187307B (zh) 虚拟世界的广告投放处理方法及装置
CN115497094A (zh) 图像处理方法及装置、电子设备和存储介质
CN114821787A (zh) 动态姿势识别方法、装置、设备及存储介质
CN110263743B (zh) 用于识别图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028078

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant