CN112307925B - 图像检测方法、图像显示方法、相关设备及存储介质 - Google Patents
图像检测方法、图像显示方法、相关设备及存储介质 Download PDFInfo
- Publication number
- CN112307925B CN112307925B CN202011151676.2A CN202011151676A CN112307925B CN 112307925 B CN112307925 B CN 112307925B CN 202011151676 A CN202011151676 A CN 202011151676A CN 112307925 B CN112307925 B CN 112307925B
- Authority
- CN
- China
- Prior art keywords
- image
- resource
- target
- frame
- special effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 124
- 230000000694 effects Effects 0.000 claims abstract description 243
- 230000004927 fusion Effects 0.000 claims abstract description 95
- 238000012360 testing method Methods 0.000 claims description 115
- 230000002159 abnormal effect Effects 0.000 claims description 76
- 230000006854 communication Effects 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 65
- 238000004891 communication Methods 0.000 claims description 64
- 230000005856 abnormality Effects 0.000 claims description 35
- 238000009432 framing Methods 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 16
- 238000012790 confirmation Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 59
- 238000010586 diagram Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 11
- 230000003993 interaction Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 239000010437 gem Substances 0.000 description 2
- 229910001751 gemstone Inorganic materials 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种图像检测方法、图像显示方法、相关设备及存储介质,其中图像检测方法包括:在终端屏幕中播放目标资源的融合资源图像,融合资源图像是将用于进行检测的参考对象融合至目标资源的动态模板图像中得到的特效图像;对融合资源图像的播放过程进行录屏,得到关于融合资源图像的播放过程的录制视频;对录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果;根据各帧候选图像的识别结果从多帧候选图像中选取关键帧图像;根据关键帧图像对动态模板图像的特效展示逻辑进行异常检测。本发明实施例可丰富目标资源的动态模板图像的特效展示逻辑,提升用户粘度;并可较好地对该特效展示逻辑进行检测,提升检测结果的准确性。
Description
技术领域
本发明涉及互联网技术领域,具体涉及图像处理技术领域,尤其涉及一种图像检测方法、一种图像显示方法、一种图像检测装置、一种图像显示装置、一种终端及一种计算机存储介质。
背景技术
随着互联网技术的发展,越来越多的客户端支持通信功能,以使得任一用户可通过该通信功能和其他用户进行信息交互。在信息交互的过程中,客户端还可支持任一用户向其他用户发送一个或多个资源(如虚拟礼物、电子红包等);并在检测到用户发送资源的触发操作后,按照用户所发送的目标资源的模板图像的特效展示逻辑播放该模板图像,以提升趣味性。
目前,在生成任一资源的模板图像后,通常需要先对该任一资源的模板图像的特效展示逻辑进行异常检测,并在确保该特效展示逻辑未出现异常后,再发布该任一资源的模板图像。从而保证在实际应用中检测到发送该资源的触发操作后,能够正常地按照该资源的模板图像的特效展示逻辑播放该模板图像。基于此,如何对资源的模板图像的特效展示逻辑进行异常检测成为了研究热点。
发明内容
本发明实施例提供了一种图像检测方法、图像显示方法、相关设备及存储介质,可以较好地对一种全新的特效展示逻辑进行检测,提升检测结果的准确性;并且,通过该全新的特效展示逻辑,可丰富动态模板图像的特效显示方式,提升用户粘度。
一方面,本发明实施例提供了一种图像检测方法,所述方法包括:
在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测。
另一方面,本发明实施例提供了一种图像检测装置,所述装置包括:
播放单元,用于在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
录屏单元,用于对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
处理单元,用于对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
所述处理单元,还用于根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
所述处理单元,还用于根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测。
在一种实施方式中,所述目标资源是通信场景中的第一测试用户发送给第二测试用户的;
所述参考对象包括以下至少一项:所述第一测试用户的用户画像以及所述第二测试用户的用户画像;所述用户画像为人脸图像或者手势图像;
其中,当所述用户画像为所述人脸图像时,所述目标对象为目标数量个人脸;当所述用户画像为所述手势图像时,所述目标对象为目标数量个手势;其中,所述目标数量为所述参考对象包括的用户画像的数量。
再一种实施方式中,处理单元在用于对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果时,可具体用于:
若所述用户画像是所述人脸图像,则对所述录制视频的多帧候选图像进行人脸识别,得到各帧候选图像的识别结果;
若所述用户画像是手势图像,则对所述录制视频的多帧候选图像进行手势识别,得到各帧候选图像的识别结果。
再一种实施方式中,处理单元在用于对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果之前,还可用于:
对所述录制视频进行分帧处理,得到多帧初始图像;
从所述多帧初始图像中,确定所述录制视频的多帧候选图像。
再一种实施方式中,处理单元在用于对所述录制视频进行分帧处理,得到多帧初始图像时,可具体用于:
对所述录制视频进行画面分割,得到所述融合资源图像的多帧录制画面;
将所述多帧录制画面确定为多帧初始图像,或者分别从各帧录制画面中裁剪出目标区域的图像作为多帧初始图像;其中,所述目标区域的区域中心点与所述融合资源图像在所述终端屏幕中的显示位置重合。
再一种实施方式中,每帧初始图像具有一个图像序号,且各帧初始图像按照图像序号进行依序排列;相应的,处理单元在用于从所述多帧初始图像中,确定所述录制视频的多帧候选图像时,可具体用于:
将所述多帧初始图像作为所述录制视频的多帧候选图像;或者,
按照采样频率对依序排列的多帧初始图像进行采样处理,得到所述录制视频的多帧候选图像。
再一种实施方式中,处理单元在用于根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像时,可具体用于:
根据所述各帧候选图像的识别结果,从所述多帧候选图像中筛选出包括所述目标对象的候选图像;
从筛选出的各帧候选图像中,选取关键帧图像。
再一种实施方式中,处理单元在用于从筛选出的各帧候选图像中,选取关键帧图像时,可具体用于:
按照筛选出的各帧候选图像的图像序号从小到大的顺序,对所述筛选出的各帧候选图像进行排列,得到所述筛选出的各帧候选图像的排列位置;
从依序排列的多帧候选图像中,选取排列位置处于目标位置的候选图像作为关键帧图像。
再一种实施方式中,处理单元在用于根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测时,可具体用于:
将所述关键帧图像和目标图像元素进行静态图匹配处理,得到匹配结果;
若所述匹配结果指示所述关键帧图像包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑不存在异常;
若所述匹配结果指示所述关键帧图像不包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑存在异常。
再一种实施方式中,所述动态模板图像的特效展示逻辑存在异常包括以下至少一种情况:将所述参考对象融合至所述动态模板图像的过程中存在异常,以及所述融合资源图像的播放过程存在异常;相应的,处理单元还可用于:
若所述动态模板图像的特效展示逻辑存在异常,则输出告警信息,以提示技术人员对所述动态模板图像的特效展示逻辑所存在的异常情况进行分析;
若所述动态模板图像的特效展示逻辑不存在异常,则发布所述动态模板图像。
再一种实施方式中,所述融合资源图像是在特效屏蔽功能未出现异常,且所述特效屏蔽功能处于关闭状态的情况下,在所述终端屏幕中播放的;
其中,所述特效屏蔽功能的异常检测方式如下:
开启所述特效屏蔽功能,并在终端屏幕中播放目标资源的测试图像,所述测试图像包括所述融合资源图像或者所述动态模板图像;
对所述测试图像的播放过程进行录屏,得到关于所述测试图像的播放过程的录屏视频;并检测所述录屏视频的多帧图像中是否包括所述目标对象;
若包括,则确定所述特效屏蔽功能出现异常;若不包括,则确定所述特效屏蔽功能未出现异常。
再一方面,本发明实施例提供了一种终端,所述终端包括输入设备和输出设备,所述终端还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如下步骤:
在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测。
再一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由处理器加载并执行如下步骤:
在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测。
本发明实施例针对目标资源的动态模板图像,提出了一种可在动态模板图像中融合其他数据内容,以播放融合后的特效图像的特效展示逻辑,可有效丰富动态模板图像的特效显示方式。并且在对该特效展示逻辑进行异常检测时,可先播放将参考对象融合至目标资源的动态模板图像中所得到的融合资源图像,并在对该融合资源图像的播放过程进行录屏以得到录制视频。接着,可对录制视频的多帧候选图像进行对象识别,以识别各帧候选图像中是否包括目标对象;通过引入与参考对象相关联的目标对象,可实现对象识别时只需识别候选图像中是否包括目标对象即可,无需识别候选图像是否包括参考对象,可有效降低识别复杂度,从而节省处理资源。然后,可从多帧候选图像中选取包括目标对象的关键帧图像;由于关键帧图像中包括目标对象,因此该关键帧图像可具有较高的参考度,那么根据关键帧图像对动态模板图像的特效展示逻辑进行异常检测,不仅可以提升检测效率,还可有效提升检测结果的准确性。
再一方面,本发明实施例提供了一种图像显示方法,所述方法包括:
响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用上述的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
在所述资源选择界面中选中所述目标资源的资源标识;
若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
再一方面,本发明实施例提供了一种图像显示装置,所述装置包括:
输出单元,用于响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用上述的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
处理单元,用于在所述资源选择界面中选中所述目标资源的资源标识;
所述输出单元,还用于若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
再一方面,本发明实施例提供了一种终端,所述终端包括输入设备和输出设备,所述终端还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如下步骤:
响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用上述的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
在所述资源选择界面中选中所述目标资源的资源标识;
若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
再一方面,本发明实施例提供了一种计算机存储介质,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由处理器加载并执行如下步骤:
响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用上述的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
在所述资源选择界面中选中所述目标资源的资源标识;
若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
本发明实施例可响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面。其中,该资源选择界面中包括目标资源的资源标识;且该资源标识是在确定目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在资源选择界面中的;这样可有效保证动态模板图像的可用性,降低动态模板图像在实际使用过程中出现展示异常的概率。当用户通过资源选择界面确认选择了目标资源的资源标识后,终端便可将第一终端用户的用户标识和/或第二终端用户的用户标识融合至目标资源的动态模板图像中,并在终端屏幕中播放融合得到的目标资源的目标特效图像,这样可有效丰富动态模板图像的特效显示方式,提升图像显示的趣味性,从而提升用户粘度。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的一种通信***的***架构图;
图1b是本发明实施例提供的一种图像检测方案的原理示意图;
图2是本发明实施例提供的一种图像检测方法的流程示意图;
图3是本发明实施例提供的一种生成融合资源图像的示意图;
图4是本发明另一实施例提供的一种图像检测方法的流程示意图;
图5a是本发明实施例提供的一种分帧得到初始图像的示意图;
图5b是本发明实施例提供的一种对象识别的示意图;
图5c是本发明实施例提供的另一种对象识别的示意图;
图5d是本发明实施例提供的一种邻近的初始图像的对比示意图;
图5e是本发明实施例提供的一种候选图像的相关示意图;
图5f是本发明实施例提供的一种特效标记的示意图;
图6是本发明实施例提供的一种图像显示方法的流程示意图;
图7a是本发明实施例提供的一种资源选取界面的示意图;
图7b是本发明实施例提供的一种选中资源标识的示意图;
图7c是本发明实施例提供的一种播放目标特效图像的示意图;
图8是本发明实施例提供的一种图像检测装置的结构示意图;
图9是本发明实施例提供的一种图像显示装置的结构示意图;
图10是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。应理解的是,下面所描述的实施例仅仅是本申请的一部分实施例,并非是全部的实施例。基于本申请中的各个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本发明实施例中,涉及一种通信***;参见图1a所示,该通信***可至少包括:至少两个终端11以及服务器13。任一终端11与服务器12之间可通过任何通信方式实现通信,例如基于第三代合作伙伴计划(3rd Generation Partnership Project,3GPP)、基于***移动通信技术(the 4th generation mobile communication technology,4G)、基于第五代移动通信技术(the 5th generation mobile networks,5G)、长期演进(Long TermEvolution,LTE)、全球互通微波访问(Worldwide Interoperability for MicrowaveAccess,WiMAX)的移动通信,或基于TCP/IP协议族(TCP/IP Protocol Suite,TCP/IP)、用户数据报协议(User Datagram Protocol,UDP)协议的计算机网络通信,等等。
其中,任一终端11是指具有通信功能和人机交互功能的任一智能设备;其均可以包括但不限于:智能手机、平板电脑、智能电视、可穿戴设备、膝上计算机以及台式电脑,等等。并且,任一终端11内可安装并运行通信APP;此处的通信APP是指具有通信功能的APP(application,应用程序),如社交APP(如即时通讯APP、内容交互APP)、直播APP,等等。可选的,任一终端11内还可安装运行其他各式各样的APP,如视频播放APP、音乐播放APP,等等。服务器 12 是指可在任意两个终端11之间建立通信连接,并为各个终端11提供信息交互服务、资源处理服务等各种服务的服务设备;其包括但不限于:数据处理服务器、应用服务器以及web 服务器,等等。
上述所提及的资源是指可在用户之间进行转移的任意事物;其可包括但不限于:虚拟资源、物体资源、以及电子资源,等等。其中,虚拟资源是指在网络上流通的且不具有实体(实际物体)的资源,如在直播场景中所涉及的虚拟礼物、在游戏场景中所涉及的游戏道具,等等;物体资源是指具有实体的资源,如可行使的汽车、可唱歌的麦克风,等等;电子资源是指以电子形式存在的电子货币,如社交场景中所涉及的电子红包、用户之间的转账金等等。任一资源均可具有对应的动态模板图像,所谓的动态模板图像是指由多帧静态模板图像以预设频率进行图像切换而产生动态效果的模板图像。
应理解的是,图1a只是示例性地表征地表征通信会话***的***架构,并不对此进行限定。例如,图1a中的终端的数量为4个;但在其他实施例中,终端的数量可不局限于4个,其可以是2个、3个、10个,等等。又如,图 1a 中的服务器 12 是一个独立的服务设备;但在其他实施例中,也可以将服务器 12 部署为由多个服务设备共同构成的集群设备,如可将服务器12部署为至少由用于提供信息交互服务的通信服务器以及用于提供资源处理服务的资源服务器所构成的集群设备,等等。
在具体实现中,上述所提及的通信***的运行原理如下:当任一用户存在通信需求时,便可通过上述通信***中的任一终端中的通信APP向服务器发送通信请求,以请求服务器在该任一终端和至少一个其他用户所使用的其他终端之间建立通信连接。在服务器成功建立通信连接后,该任一用户便可通过该任一终端中的通信APP所提供的通信功能和各个其他用户进行信息交互。例如,若通信APP是社交APP,其他用户均是该任一用户的联系人用户,则该任一用户可通过该社交APP提供的通信功能和各个其他用户进行聊天会话;又如,若通信APP是直播APP,其他用户包括主播用户(即进行直播的用户)和其他观众用户(观看直播的用户),则该任一用户还可通过直播APP所提供的通信功能观看主播用户的直播画面,以及查看其他观众用户发送的评论信息等等。在该任一用户和各个其他用户进行信息交互的过程中,任一终端若检测到任一用户向目标用户发送某个资源的触发操作,则将该资源发送给目标用户;并且,还可获取该资源的动态模板图像,然后在任一终端的终端屏幕中根据该动态模板图像进行特效播放。可选的,任一其他终端(如接收到目标资源的目标用户所使用的终端,除任一用户和目标用户以外的剩余用户所使用的终端)也可获取该资源的动态模板图像,并在自身的终端屏幕中根据该动态模板图像进行特效播放,等等。
为了丰富上述资源的动态模板图像的特效显示方式,本发明实施例提出了一种全新的特效展示逻辑。具体的,该特效展示逻辑是指:在动态模板图像中融合其他数据内容,以播放融合后的特效图像的逻辑;此处所提及的其他数据内容可以包括但不限于:资源发送者的用户标识、资源接收者的用户标识、与资源发送者和资源接收者处于同一通信场景中的其他用户的用户标识,以及根据业务需求预先设置的数据内容,等等。并且,本发明实施例还提出了一种图像检测方案,以较好地对该动态模板图像的特效展示逻辑进行异常检测。在具体实现中,该图像检测方案可由测试终端或者测试终端中所运行的通信APP执行;为便于阐述,后续均以测试终端执行该图像检测方案为例进行说明。
参见图1b所示,该图像检测方案的大致原理如下:首先,可将用于进行检测的参考对象融合至待检测的动态模板图像中,得到融合后的特效图像。其次,可播放该特效图像并对整个播放过程进行录屏采集。然后,可将录屏采集到的视频进行分帧处理,并采用相应的算法对分帧出来的各帧图像进行对象识别,以查找出融合了参考对象的关键帧图像。最后,便可对该关键帧图像进行图像识别,从而判断动态模板图像是否正常融合参考对象以及判断融合后的特效图像是否正常显示播放,进而实现对动态模板图像的特效展示逻辑的异常检测。
经实践表明,本发明实施例所提出的图像检测方案可至少具有如下有益效果:①整个检测过程无需查看后台日志***,可有效降低检测门槛;②测试终端通过录屏、分帧、对象识别、图像识别等一系列操作,自动地对动态模板图像的特效展示逻辑进行异常检测,无需用户人工检测,可有效节省人力成本;③涉及图像识别的部分无需收集大量素材,只需对关键帧图像进行相应的识别,可在一定程度上缩减检测时间,有效提升检测效率;④通过根据具有较高的参考度的关键帧图像对动态模板图像的特效展示逻辑进行异常检测,还可有效提升检测结果的准确性。
基于上述图像检测方案的相关描述,本发明实施例提出一种图像检测方法;该图像检测方法可由测试终端或者测试终端中所运行的通信APP执行;为便于阐述,后续均以测试终端执行该图像检测方法为例进行说明。请参见图2,该图像检测方法可包括以下步骤S201-S205:
S201,在终端屏幕中播放目标资源的融合资源图像。
在本发明实施例中,目标资源可以是待进行检测的任一动态模板图像所对应的融合资源;所谓的融合资源是指:具有上述所提及的特效展示逻辑的动态模板图像所对应的资源。也就是说,若某个资源的动态模板图像具有上述所提及的特效展示逻辑,则该资源可称为融合资源;此处所提及的资源可以是物体资源、电子资源、虚拟资源,等等。那么具体的,当资源是物体资源时,目标资源则可以是任一融合的物体资源;当资源是电子资源时,目标资源则可以是任一融合的电子资源;当资源是虚拟资源时,目标资源则可以是任一融合的虚拟资源,如融合礼物、融合道具,等等。所谓的融合礼物是指具有上述所提及的特效展示逻辑的动态模板图像所对应的虚拟礼物资源;也就是说,在直播场景中的某个观众用户向主播用户赠送了某个虚拟礼物后,若支持将该观众用户的用户标识和/或主播用户的用户标识融合至该虚拟礼物的动态模板图像中,从而播放融合后的特效图像,则该虚拟礼物可称为融合礼物。此处所提及的用户标识可包括以下至少一项:用户画像和用户名称;所谓的用户画像是指用户在通信过程中所使用的、用于标识用户身份的图片,如用户头像等;所谓的用户名称是指用户在通信过程中所使用的、用于标识用户身份的名称,如用户昵称、用户备注名等。同理,所谓的融合道具是指具有上述所提及的特效展示逻辑的动态模板图像所对应的虚拟游戏道具。
在具体实现中,由于针对目标资源的动态模板图像的特效展示逻辑的检测主要涉及两方面:一方面是检测动态模板图像是否能够正常融合其他数据内容,另一方面则是检测融合后的特效图像是否能够正常显示播放;并且,考虑到目前已存在较多成熟的对象识别技术,如人脸识别技术、手势识别技术、文本识别技术,等等。因此本发明实施例可根据实际采用的对象识别技术引入相应的参考对象,例如与人脸识别技术对应的人脸图像、与手势识别技术对应的手势图像、与文本识别技术对应的文本内容,等等;这样可便于后续采用该对象识别技术基于该参考对象进行对象识别,从而检测动态模板图像是否能够正常融合其他数据内容,进而检测融合后的特效图像是否能够正常显示播放。
基于此,测试终端可获取用于进行检测的参考对象。在一种实施方式中,该参考对象可以是根据业务需求所预先设置的默认对象,如默认人脸图像、默认手势图像或者默认文本内容,等等。再一种实施方式中,由于在实际应用中,通常是在检测到通信场景中的某个用户向另一用户发送目标资源后,才会使用目标资源的动态模板图像,此时才会涉及该动态模板图像的特效展示逻辑的运用;因此在对该动态模板图像的特效展示逻辑进行异常检测时,也可将检测环境设置在一个真实的通常场景中,以使得检测过程更贴合真实的运用过程。那么在此情况下,目标资源可以是通信场景中的第一测试用户发送给第二测试用户的;相应的,参考对象可包括以下至少一项:第一测试用户的用户画像以及第二测试用户的用户画像。需要说明的是,此处的用户画像可为人脸图像或者手势图像;且无论是第一测试用户所使用的人脸图像,还是第二测试用户所使用的人脸图像,均可以是通过采集对应的测试用户(第一测试用户或第二测试用户)的人脸所生成的图像,也可以是由对应的测试用户(第一测试用户或第二测试用户)通过互联网下载的包含人脸的任意图像。
还需说明的是,上述所提及的参考对象除了包括用户画像以外,还可包括第一测试用户的用户名称和/或第二测试用户的用户名称;或者,参考对象也可不包括用户画像,其只包括:第一测试用户的用户名称和/或第二测试用户的用户名称,等等。为便于阐述,后续均以参考对象至少包括第一测试用户的用户画像以及第二测试用户的用户画像,且两个用户画像均为人脸图像为例进行说明。并且,上述所提及的通信场景可以包括但不限于:基于社交APP搭建的社交会话场景、基于直播APP搭建的直播场景,等等。那么具体的,当通信场景为社交会话场景时,第一测试用户可以是目标会话中的任一用户,第二测试用户则可以是目标会话中除第一测试用户以外的任一用户;此处所提及的目标会话可以是由两个用户所构成的单聊会话,也可以是由至少三个用户所构成的群组会话,对此不作限制。当通信场景为直播场景时,第一测试用户可以是直播间(一种可观看到直播画面的虚拟房间)中的任一观众用户,第二测试用户则可以是直播间中的主播用户,等等。
在获取到参考对象之后,测试终端便可将用于进行检测的参考对象融合至目标资源的动态模板图像中,得到目标资源的融合资源图像。由前述可知,动态模板图像是指由多帧静态模板图像以预设频率进行图像切换而产生动态效果的模板图像;那么在将参考对象融合至目标资源的动态模板图像中时,测试终端可直接将参考对象融合至目标资源的动态模板图像中的部分或全部帧静态模板图像中,得到目标资源的融合资源图像。或者,为便于后续可以更好地进行对象识别,以提升对象识别的准确性;测试终端还可先对参考对象中所包括的用户画像(如人脸图像)进行标准化处理,再将标准化处理后的参考对象融合至目标资源的动态模板图像中的部分或全部静态模板图像中,得到目标资源的融合资源图像。以将参考对象融合至部分静态模板图像中为例,得到融合资源图像的示意图可参见图3所示。在得到融合资源图像后,测试终端便可在终端屏幕中播放该目标资源的融合资源图像。
S202,对融合资源图像的播放过程进行录屏,得到关于融合资源图像的播放过程的录制视频。
在具体实现中,测试终端在检测到融合资源图像的播放事件后,便可立即执行录屏操作。进一步的,若目标资源是通信场景下的第一测试用户发送给第二测试用户的,则当第一测试用户发送目标资源后,测试终端需要先花一定的时间来获取目标资源的融合资源图像;因此,测试终端可在检测到第一测试用户执行向第二测试用户发送目标资源的触发操作后,便立即执行录屏操作,这样可保证能够对融合资源图像的整个播放过程进行录屏,从而保证融合资源图像中的每帧图像均被录屏,进而保证录制视频的完整性。在执行录屏操作时,测试终端可调用第三方录屏软件对融合资源图像的播放过程进行录屏,得到关于融合资源图像的播放过程的录制视频。进一步的,考虑到第三方录屏软件在录屏过程中可能出现故障,因此为提升录屏的稳定性;测试终端可可调用底层的录屏命令(如adb shellscreenrecord命令)来对融合资源图像的播放过程进行录屏,得到关于融合资源图像的播放过程的录制视频。
S203,对录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果。
由前述可知,融合资源图像是将用于进行检测的参考对象融合至目标资源的动态模板图像中得到的特效图像;那么若目标资源的动态模板图像能够正常融合其他数据内容(如参考对象),则对融合资源图像的播放过程进行录屏所得到的录制视频中必然会包括该参考对象。基于此原理,测试终端便可对录制视频进行对象识别;具体的,由于录制视频是由一帧一帧的录制画面(即jpg(Joint Photographic Experts Group,一种图像文件格式)图片或者png(Portable Network Graphics,便携式网络图形)图片)组成的,因此测试终端可先对录制视频进行分帧处理以得到多帧候选图像,然后识别录制视频的多帧候选图像中是否包括与参考对象相关联的目标对象,得到各帧候选图像的识别结果。其中,任一候选图像的识别结果用于指示:任一候选图像是否包括与参考对象相关联的目标对象。通过对多帧候选图像进行对象识别,可便于后续根据该各帧候选图像的识别结果来确定动态模板图像是否正常融合了参考对象,并在确定动态模板图像正常融合了参考对象之后,进一步检测融合所得到的特效图像(即融合资源图像)是否正常播放显示。
其中,上述所提及的目标对象和参考对象可以相同,也可以不同;即目标对象可以就是参考对象,也可以不是参考对象。当目标对象和参考对象不同时,目标对象可包括以下任一项:当参考对象包括第一测试用户的用户画像和/或第二测试用户的用户画像时,若用户画像为人脸图像,则目标对象可以是目标数量个人脸;若用户画像为手势图像,则目标对象为目标数量个手势。其中,目标数量为参考对象包括的用户画像的数量;例如,假设参考对象只包括第一测试用户的用户画像或者第二测试用户的用户画像,则目标数量便为1;假设参考对象包括第一测试用户的用户画像和第二测试用户的用户画像,则目标数量便为2。当参考对象是根据业务需求所预先设置的默认对象时,若默认对象为默认人脸图像,则目标对象为人脸;若默认对象为默认手势图像,则目标对象为手势;若默认对象为默认文本内容,则目标对象为文本。
S204,根据各帧候选图像的识别结果从多帧候选图像中选取关键帧图像。
在具体实现中,测试终端通过步骤S203得到各帧候选图像的识别结果后,便可根据各帧候选图像的识别结果从多帧候选图像中选取关键帧图像;其中,关键帧图像是指包括目标对象的候选图像。若成功选取到关键帧图像,则可表明各帧候选图像中存在至少一帧候选图像中包括目标对象,即可确定目标资源的动态模板图像正常融合了参考对象;在此情况下,测试终端便可通过执行步骤S205来进一步检测融合资源图像是否正常播放显示,从而确定动态模板图像的特效展示逻辑是否存在异常。若未成功选取到关键帧图像(即选取关键帧图像失败),则可表明各帧候选图像中均不包括目标对象,即可确定目标资源的动态模板图像未能够正常融合参考对象;在此情况下,测试终端便可直接确定动态模板图像的特效展示逻辑存在异常。
S205,根据关键帧图像对动态模板图像的特效展示逻辑进行异常检测。
在具体实现中,可对关键帧图像进行图像识别,以检测关键帧图像中是否包括目标图像元素。在一种实施方式中,可直接对关键帧图像进行图像识别,得到关键帧图像所包含的至少一个图像元素;然后,检测至少一个图像元素中是否包括目标图像元素,从而确定关键帧图像中是否包括目标图像元素。再一种实施方式中,也可采用图像匹配静态图的方法对关键帧图像中的关键位置进行图像识别,以检测关键位置处的图像元素是否为目标图像元素,从而确定关键帧图像中是否包括目标图像元素。
其中,目标图像元素是根据业务需求和动态模板图像预先设置的;例如针对图3所示的动态模板图像而言,该目标图像元素可以是“翅膀”图像元素,“宝石”图像元素,等等。若检测到关键帧图像中包括目标图像元素,则可确定融合资源图像是正常播放显示的;在此情况下,便可确定动态模板图像的特效展示逻辑未存在异常;若检测到关键帧图像中不包括目标图像元素,则可确定融合资源图像是未正常播放显示的;在此情况下,便可确定动态模板图像的特效展示逻辑存在异常。
本发明实施例针对目标资源的动态模板图像,提出了一种可在动态模板图像中融合其他数据内容,以播放融合后的特效图像的特效展示逻辑,可有效丰富动态模板图像的特效显示方式。并且在对该特效展示逻辑进行异常检测时,可先播放将参考对象融合至目标资源的动态模板图像中所得到的融合资源图像,并在对该融合资源图像的播放过程进行录屏以得到录制视频。接着,可对录制视频的多帧候选图像进行对象识别,以识别各帧候选图像中是否包括目标对象;通过引入与参考对象相关联的目标对象,可实现对象识别时只需识别候选图像中是否包括目标对象即可,无需识别候选图像是否包括参考对象,可有效降低识别复杂度,从而节省处理资源。然后,可从多帧候选图像中选取包括目标对象的关键帧图像;由于关键帧图像中包括目标对象,因此该关键帧图像可具有较高的参考度,那么根据关键帧图像对动态模板图像的特效展示逻辑进行异常检测,不仅可以提升检测效率,还可有效提升检测结果的准确性。
基于上述图2所示的方法实施例的相关描述,本发明实施例还提出了另一种更为具体的图像检测方法;该图像检测方法可由测试终端或者测试终端中所运行的通信APP执行;为便于阐述,后续均以测试终端执行该图像检测方法为例进行说明。并且,在本发明实施例中,考虑到在实际应用中可能存在部分用户不想要观看将其他数据内容融合至动态模板图像后所生成的特效图像,因此本发明实施例还可为用户提供一个特效屏蔽功能,以屏蔽将相关数据内容融合至动态模板图像中所得到的特效图像。基于此,为保证特效屏蔽功能的正常使用,测试终端还需对该特效屏蔽功能进行异常检测。由于在打开特效屏蔽功能后,若特效屏蔽功能未出现异常,则只会为用户播放动态模板图像,并不会播放相关的融合资源图像;只有在特效屏蔽功能出现异常时,才会播放相关的融合资源图像。因此,该特效屏蔽功能的异常检测方式可以如下:
首先,可开启特效屏蔽功能,并在终端屏幕中播放目标资源的测试图像;其中,该测试图像可包括融合资源图像或者动态模板图像。其次,可对测试图像的播放过程进行录屏,得到关于测试图像的播放过程的录屏视频。然后,可检测录屏视频的多帧图像中是否包括目标对象;具体的,可对录屏视频的多帧图像进行对象识别,以确定多帧图像中是否包括目标对象,其具体实施方式可参见其他发明实施例中所提及的对关于融合资源图像的播放过程的录制视频的多帧候选图像进行对象识别的具体实施方式,在此不再赘述。若包括,则可表明播放的测试图像是融合资源图像,因此可确定特效屏蔽功能出现异常;在此情况下,便可通过技术人员对该特效屏蔽功能进行检修,以保证特效屏蔽功能后续能够正常投入使用。若不包括,则可表明播放的测试图像是动态模板图像,因此可确定特效屏蔽功能未出现异常。
由此可见,在对特效屏蔽功能进行异常检测的整个过程中,均无需人为干预,可节省人力成本。并且,通过自动化实现特效屏蔽功能的异常检测,可有效提升检测速度,从而有效缩短检测时间,提升检测效率。另外,通过在自动化的基础上结合对象识别技术来检测特效屏蔽功能是否异常,还可有效提升检测准确度。
在确定特效屏蔽功能未出现异常后,测试终端便可关闭特效屏蔽功能,并采用图4所示的图像检测方法对目标资源的动态模板图像的特效展示逻辑进行异常检测。请参见图4,该图像检测方法可包括以下步骤S401-S407:
S401,在终端屏幕中播放目标资源的融合资源图像。
S402,对融合资源图像的播放过程进行录屏,得到关于融合资源图像的播放过程的录制视频。
其中,融合资源图像是将用于进行检测的参考对象融合至目标资源的动态模板图像中得到的特效图像;且融合资源图像是在特效屏蔽功能未出现异常,且特效屏蔽功能处于关闭状态的情况下,在终端屏幕中播放的。需要说明的是,步骤S401-S402的具体实施方式可以参见上述发明实施例中的步骤S201-S202的相关描述,在此不再赘述。
S403,对录制视频进行分帧处理,得到多帧初始图像。
在具体实现中,测试终端可先对录制视频进行画面分割,得到融合资源图像的多帧录制画面。然后,可直接将多帧录制画面确定为多帧初始图像;或者可分别从各帧录制画面中裁剪出目标区域的图像作为多帧初始图像。其中,目标区域的区域中心点与融合资源图像在终端屏幕中的显示位置重合,且目标区域的区域面积可根据经验值或者根据融合资源图像的显示尺寸设置;具体的,该目标区域的区域面积可大于或等于融合资源图像的显示尺寸。举例来说,设融合资源图像在终端屏幕中的显示位置与终端屏幕的顶端之间的距离,与终端屏幕的长度的比值为1/3,即设融合资源在终端屏幕中的显示位置为终端屏幕的1/3长度处;则目标区域的区域中心点便为各录制画面的1/3长度处,那么便可从各帧录制画面中裁剪出以画面1/3长度处为中心的目标区域的图像作为初始图像,如图5a所示。
由此可见,测试终端可支持两种分帧方式:第一种是直接将录制视频按照录制画面的100%进行分帧,第二种是只截取录制画面中的目标区域的图像进行分帧。相对于第一种分帧方式而言,第二种分帧方式可至少具有如下有益效果:①通过根据融合资源图像的展示方式来进行定制化的分帧处理,可使得分帧得到的初始图像包括融合资源图像的完整信息,这样可避免影响后续的对象识别效果;在保持识别效果和第一种分帧方式的识别效果相同的情况下,由于减少了对目标区域以外的其他无用图像的对象识别操作,因此可有效缩减对象识别时间,从而提升对象识别效率。②由于录制画面中可能存在除参考对象以外的其他干扰对象,因此如果对整个录制画面进行对象识别的话,可能收到其他干扰对象的影响,从而影响对象识别结果的准确性;例如设参考对象包括人脸图像,若录制画面中包括其他人脸(即干扰对象),则测试终端在进行对象识别时,不仅会识别出参考对象所包括的人脸,还会识别出其他人脸,从而得到图5b所示的干扰项影响结果的输出,这样会降低对象识别结果的准确性。但是,若通过截取目标区域的图像作为初始图像,则可有效减少其他干扰对象(如图5b中所示的游戏直播画面中的游戏人脸图像)的影响,从而提升对象识别结果的准确性,如图5c所示。
S404,从多帧初始图像中,确定录制视频的多帧候选图像。
在具体实现中,每帧初始图像可具有一个图像序号,且各帧初始图像可按照图像序号进行依序排列;其中,任一初始图像的图像序号可用于指示该任一初始图像所对应的录制画面的录屏采集顺序。例如,若初始图像A的图像序号为1,则表明该初始图像A对应的录制画面是录屏采集到的第1帧画面;若初始图像B的图像序号为100,则表明该初始图像B对应的录制画面是录屏采集到的第100帧画面,等等。
在一种实施方式中,可直接将多帧初始图像作为录制视频的多帧候选图像。再一种实施方式中,由于融合资源图像是将参考对象融合至动态模板图像中的全部或部分静态模板图像所得到的,且录屏的时间点可能早于融合资源图像的播放时间点;因此录屏得到的录制视频中可能只有一部分录制画面具有融合特效,从而导致对录制视频进行分帧所得到的多帧初始图像中可能存在一部分初始图像具有融合特效。在此情况下,若直接将多帧初始图像作为候选图像,则可能会导致后续消耗较多的时间来对每帧初始图像进行对象识别。对此,本发明实施例对多帧初始图像作了进一步研究,发现多帧初始图像中存在大量的领近初始图像之间的图像差异都较小,特别是具有融合特效的邻近初始图像,如图5d所示(左图是第910帧初始图像,右图是第923帧初始图像)。基于此,测试终端可按照采样频率对依序排列的多帧初始图像进行采样处理,得到录制视频的多帧候选图像,从而使得后续只对采样得到的各帧候选图像进行对象识别。其中,采样频率可根据经验值或者业务需求设置;例如可设置采样频率为每10张图像采样一次,那么当初始图像的数量为1000张时,通过采用该采样频率进行采样,便可将1000张初始图像压缩到100张进行对象识别,这样可有效缩短对象识别时间,从而提升对象识别效率。
S405,对录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果。
由前述可知,参考对象可以有多种实现方式;那么,随着参考对象的不同,测试终端对录制视频的多帧候选图像进行对象识别的具体实施方式也不同;具体如下:
当参考对象包括第一测试用户的用户画像和/或第二测试用户的用户画像时,若用户画像是人脸图像,则可对录制视频的多帧候选图像进行人脸识别,得到各帧候选图像的识别结果;若用户画像为手势图像,则可对录制视频的多帧候选图像进行手势识别,得到各帧候选图像的识别结果。可选的,若参考对象包括第一测试用户的用户名称和/或第二测试用户的用户名称,则还可对录制视频的多帧候选图像进行文本识别,得到各帧候选图像的识别结果。
当参考对象包括根据业务需求设置的默认对象时,若默认对象是默认人脸图像,则可对录制视频的多帧候选图像进行人脸识别,得到各帧候选图像的识别结果;若默认对象为默认手势图像,则可对录制视频的多帧候选图像进行手势识别,得到各帧候选图像的识别结果;若默认对象为默认文本内容,则可对录制视频的多帧候选图像进行文本识别,得到各帧候选图像的识别结果。
S406,根据各帧候选图像的识别结果从多帧候选图像中选取关键帧图像。
其中,任一候选图像的识别结果用于指示:任一候选图像是否包括与参考对象相关联的目标对象。在步骤S406的具体实现中,测试终端可先根据各帧候选图像的识别结果,从多帧候选图像中筛选出包括目标对象的候选图像;然后,可从筛选出的各帧候选图像中,选取关键帧图像。在一种实施方式中,可直接将筛选出的各帧候选图像均作为关键帧图像;或者,从筛选出的各帧候选图像中任意选取一个候选图像作为关键帧图像。
再一种实施方式中,虽然筛选出的各帧候选图像中均包括目标对象,但是由于后续是通过识别关键帧图像是否包括目标图像元素来实现特效展示逻辑的异常检测的。而经研究表明:融合资源图像在播放过程中可能存在一些曝光特效,使得存在部分筛选出的候选图像存在局部曝光,从而导致这部分候选图像中的元素信息不清晰,进而导致这部分候选图像不适合后续用于对特效展示逻辑进行异常检测。例如参见图5e所示,筛选出的包括目标对象的候选图像的图像序号依次为:790、800、810…910;可见从图像序号为790的候选图像起,便开始展示融合特效了。然而,虽然图像序号为790的候选图像中包括目标对象(如2个人脸),但是该候选图像因存在曝光特效而导致图像元素(如“翅膀”元素)不清晰;若根据该候选图像进行后续检测,可能会影响检测结果的准确性。基于此,为了减小选取到存在曝光特效的候选图像作为关键帧图像的概率,从而导致影响后续的检测结果;测试终端在选取关键帧图像时,可按照筛选出的各帧候选图像的图像序号从小到大的顺序,对筛选出的各帧候选图像进行排列,得到筛选出的各帧候选图像的排列位置;然后从依序排列的多帧候选图像中,选取排列位置处于目标位置的候选图像作为关键帧图像。或者,在其他实施方式中,测试终端也可按照图像序号升序的方式,依次将筛选出的各帧候选图像的图像序号添加至一个数组中;然后,从选取数组中的目标位置对应的图像序号所指示的候选图像作为关键帧图像。
其中,上述所提及的目标位置可根据经验值或者曝光特效的展示逻辑设置;例如,若曝光特效的展示逻辑指示曝光特效通常展示在前N帧候选图像,那么可设置目标位置为位于第N帧候选图像之后的任一位置。比如承接图5e所示的例子,筛选出的多帧候选图像的数量为13;那么可设置目标位置为依序排列的多帧候选图像的中间位置或数组的中间位置,此情况下的关键帧图像便为中间位置所对应的图像序号为850的候选图像。
S407,根据关键帧图像对动态模板图像的特效展示逻辑进行异常检测。
在具体实现中,可将关键帧图像和目标图像元素进行静态图匹配处理,得到匹配结果。若匹配结果指示关键帧图像包括目标图像元素,则可确定动态模板图像的特效展示逻辑不存在异常;若匹配结果指示关键帧图像不包括目标图像元素,则可确定动态模板图像的特效展示逻辑存在异常。其中,将关键帧图像和目标图像元素进行静态图匹配处理,得到匹配结果的具体实施方式如下:
首先,可对关键帧图像进行特效标记,得到特效标记结果。此处所提及的特效标记是指:查找出关键帧图像并对关键帧图像中的关键位置进行标记的处理;相应的,特效标记结果包括关键帧图像中的关键位置的位置信息。其中,关键位置可根据经验值或者业务需求设置;以关键帧图像是图像编号为850的候选图像为例,关键位置可以是“翅膀”图像元素所在的位置和/或“宝石”图像元素所在的位置,那么特效标记结果可如图5f所示。在得到标记结果之后,可根据特效标记结果获取关键帧图像的关键位置的关键特征元素,并将关键特征元素和目标图像元素进行静态图匹配。若匹配成功,则生成用于指示关键帧图像包括目标图像元素的匹配结果;若匹配失败,则生成用于指示关键帧图像不包括目标图像元素的匹配结果。
需要说明的是,在实际应用中,可将上述图2或图4所示的图像检测方法封装成一个接口,使得后续可直接调用该接口对任一待检测的动态模板图像的特效展示逻辑进行异常检测,避免重复编译代码,提升检测效率。
本发明实施例可在自动化的基础上结合对象识别和图像识别技术,可自定化实现动态资源模板的特效展示逻辑的异常检测,以及特效屏蔽功能的屏蔽逻辑的异常检测,有效缩短检测时间,提升检测效率和检测准确度。并且针对动态资源模板的特效展示逻辑而言,通过采用新的视频分帧方式对录屏得到的录制视频进行分帧处理,可有效提升后续对象识别的运算时间和识别准确度;通过对邻近的相似候选图像进行特殊处理(如采样处理)后再进行对象识别,可进一步缩短对象识别所需的时间。在获取到关键帧图像之后,通过针对关键帧图像进行关键位置的图像元素匹配查找来判断特效展示逻辑是否异常,无需搜集大量素材,只需对关键帧图像、关键位置进行对应的元素识别,可提升检测效率以及检测结果的准确性。
在实际应用中,在采用上述图2或图4所示的图像检测方法对目标资源的动态资源模板的特效展示逻辑进行异常检测后,可根据检测结果执行相应的处理。具体的,若动态模板图像的特效展示逻辑不存在异常,则发布动态模板图像;所谓的发布动态模板图像是指:将该动态模板图像公开提供给各个用户进行使用。若动态模板图像的特效展示逻辑存在异常,则由前述可知的相关内容可知,动态模板图像的特效展示逻辑存在异常可包括以下至少一种情况:将参考对象融合至动态模板图像的过程中存在异常,以及融合资源图像的播放过程存在异常;因此在此情况下,测试终端可输出告警信息,以提示技术人员对动态模板图像的特效展示逻辑所存在的异常情况进行分析,从而使得技术人员可根据分析结果针对性地对动态模板图像的特效展示逻辑进行修改,以使得修改后的特效展示逻辑不存在异常,进而发布修改后的特效展示逻辑。
在发布动态模板图像之后,上述通信***中的任一终端在检测到第一终端用户向第二终端用户发送目标资源后,便可按照该动态模板图像的特效展示逻辑根据动态模板图像进行特效播放。基于此,本发明实施例还提出了一种图像显示方法;该图像显示方法可由上述通信***中的第一终端执行,或者由第一终端中所运行的通信APP执行;为便于阐述,后续均以第一终端执行该图像显示方法为例进行说明,第一终端为通信***中第一用户所使用的终端。请参见图6,该图像显示方法可包括以下步骤S601-S603:
S601,响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面。
其中,通信场景可以包括但不限于:基于社交APP搭建的社交会话场景、基于直播APP搭建的直播场景,等等。当通信场景为社交会话场景时,第一终端用户可以是目标会话中的任一用户,第二终端用户则可以是目标会话中除第一终端用户以外的任一用户;当通信场景为直播场景时,第一终端用户可以是直播间中的任一观众用户,第二终端用户则可以是直播间中的主播用户,等等。
当第一终端用户想要向第二终端用户发送目标资源时,可在第一终端中所显示当前界面中输入进行资源发送的触发操作。此处所提及的当前界面可以包括但不限于:目标会话的会话界面,直播场景下的直播界面,等等;第一终端用户在当前界面所输入的进行资源发送的触发操作可以包括但不限于:预设语音口令的输入操作、预设手势的输入操作、针对当前界面中的触发组件的点击操作或按压操作,等等。相应的,第一终端可响应于该进行资源发送的触发操作,输出资源选择界面。其中,该资源选择界面至少包括目标资源的资源标识;此处的目标资源可以是任一融合资源,如融合礼物、融合的电子资源等等,目标资源的资源标识可包括但不限于:资源名称、资源编号、资源图像,等等。此处的资源图像可以是目标资源的动态模板图像中的任一静态模板图像所对应的缩略图,也可以是与动态模板图像相互独立的图像,对此不作限制。并且,该资源标识是在采用上述图2或图4所示的图像检测方法确定目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在资源选择界面中的。
具体的,第一终端在输出资源选择界面时,可直接在当前界面上输出资源选择界面,或者将当前界面替换为资源选择界面,或者可从当前界面切换至资源选择界面。以目标资源为融合礼物,当前界面为直播界面且在当前界面上输出资源选择界面为例,输出资源选择界面70以及目标资源的资源标识71的示意图可参见图7a所示。
S602,在资源选择界面中选中目标资源的资源标识。
在具体实现中,第一终端用户在可资源选择界面中选择目标资源的资源标识;相应的,第一终端可根据第一终端用户的选择操作,在资源选择界面中选中目标资源的资源标识,如图7b所示。应理解的是,图7b只是示例性地表征选中目标资源的资源标识的示意图,并不对此进行限定;例如,在其他实施例中,第一终端也可在资源选择界面中将目标资源的资源标识的显示状态(显示颜色、显示尺寸、显示位置等)从第一状态切换至第二状态,以选中该目标资源的资源标识。
S603,若检测到针对资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像。
在具体实现中,第一终端用户选择了目标资源的资源标识后,便可对该资源标识执行确认操作;该确认操作可以包括:输入确认手势或确认语音的操作、针对资源选择界面中的确认组件72的触发操作,等等。相应的,第一终端可响应于该确认操作,在终端屏幕中播放目标资源的目标特效图像;该目标特效图像是将目标终端用户的用户标识融合至目标资源的动态模板图像中得到的。其中,目标用户可包括以下至少一项:第一终端用户和第二终端用户;用户标识包括以下至少一项:用户画像和用户名称;此处所提及的用户画面可包括但不限于:人脸图像、手势图像、风景图像、动物图像,等等。以目标用户包括第一终端用户和第二终端用户,且用户标识包括用户画像和用户名称为例,播放目标特效图像73的示意图可参见图7c所示。
本发明实施例可响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面。其中,该资源选择界面中包括目标资源的资源标识;且该资源标识是在确定目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在资源选择界面中的;这样可有效保证动态模板图像的可用性,降低动态模板图像在实际使用过程中出现展示异常的概率。当用户通过资源选择界面确认选择了目标资源的资源标识后,终端便可将第一终端用户的用户标识和/或第二终端用户的用户标识融合至目标资源的动态模板图像中,并在终端屏幕中播放融合得到的目标资源的目标特效图像,这样可有效丰富动态模板图像的特效显示方式,提升图像显示的趣味性,从而提升用户粘度。
可以理解的是,在上述任一方法实施例的具体实施方式中,涉及到用户信息等相关的数据(如人脸图像、用户标识等),当以上方法实施例运用到具体产品或技术中时,这些相关数据是在获得用户许可或者同意的情况下收集的,且相关数据的收集、使用和处理遵守相关国家和地区的相关法律法规和标准。
基于上述图像检测方法实施例的描述,本发明实施例还公开了一种图像检测装置,所述图像检测装置可以是运行于上述所提及的测试终端中的一个计算机程序(包括程序代码)。该图像检测装置可以执行图2或图4所示的方法。请参见图8,所述图像检测装置可以运行如下单元:
播放单元801,用于在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
录屏单元802,用于对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
处理单元803,用于对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
所述处理单元803,还用于根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
所述处理单元803,还用于根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测。
在一种实施方式中,所述目标资源是通信场景中的第一测试用户发送给第二测试用户的;
所述参考对象包括以下至少一项:所述第一测试用户的用户画像以及所述第二测试用户的用户画像;所述用户画像为人脸图像或者手势图像;
其中,当所述用户画像为所述人脸图像时,所述目标对象为目标数量个人脸;当所述用户画像为所述手势图像时,所述目标对象为目标数量个手势;其中,所述目标数量为所述参考对象包括的用户画像的数量。
再一种实施方式中,处理单元803在用于对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果时,可具体用于:
若所述用户画像是所述人脸图像,则对所述录制视频的多帧候选图像进行人脸识别,得到各帧候选图像的识别结果;
若所述用户画像是手势图像,则对所述录制视频的多帧候选图像进行手势识别,得到各帧候选图像的识别结果。
再一种实施方式中,处理单元803在用于对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果之前,还可用于:
对所述录制视频进行分帧处理,得到多帧初始图像;
从所述多帧初始图像中,确定所述录制视频的多帧候选图像。
再一种实施方式中,处理单元803在用于对所述录制视频进行分帧处理,得到多帧初始图像时,可具体用于:
对所述录制视频进行画面分割,得到所述融合资源图像的多帧录制画面;
将所述多帧录制画面确定为多帧初始图像,或者分别从各帧录制画面中裁剪出目标区域的图像作为多帧初始图像;其中,所述目标区域的区域中心点与所述融合资源图像在所述终端屏幕中的显示位置重合。
再一种实施方式中,每帧初始图像具有一个图像序号,且各帧初始图像按照图像序号进行依序排列;相应的,处理单元803在用于从所述多帧初始图像中,确定所述录制视频的多帧候选图像时,可具体用于:
将所述多帧初始图像作为所述录制视频的多帧候选图像;或者,
按照采样频率对依序排列的多帧初始图像进行采样处理,得到所述录制视频的多帧候选图像。
再一种实施方式中,处理单元803在用于根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像时,可具体用于:
根据所述各帧候选图像的识别结果,从所述多帧候选图像中筛选出包括所述目标对象的候选图像;
从筛选出的各帧候选图像中,选取关键帧图像。
再一种实施方式中,处理单元803在用于从筛选出的各帧候选图像中,选取关键帧图像时,可具体用于:
按照筛选出的各帧候选图像的图像序号从小到大的顺序,对所述筛选出的各帧候选图像进行排列,得到所述筛选出的各帧候选图像的排列位置;
从依序排列的多帧候选图像中,选取排列位置处于目标位置的候选图像作为关键帧图像。
再一种实施方式中,处理单元803在用于根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测时,可具体用于:
将所述关键帧图像和目标图像元素进行静态图匹配处理,得到匹配结果;
若所述匹配结果指示所述关键帧图像包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑不存在异常;
若所述匹配结果指示所述关键帧图像不包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑存在异常。
再一种实施方式中,所述动态模板图像的特效展示逻辑存在异常包括以下至少一种情况:将所述参考对象融合至所述动态模板图像的过程中存在异常,以及所述融合资源图像的播放过程存在异常;相应的,处理单元803还可用于:
若所述动态模板图像的特效展示逻辑存在异常,则输出告警信息,以提示技术人员对所述动态模板图像的特效展示逻辑所存在的异常情况进行分析;
若所述动态模板图像的特效展示逻辑不存在异常,则发布所述动态模板图像。
再一种实施方式中,所述融合资源图像是在特效屏蔽功能未出现异常,且所述特效屏蔽功能处于关闭状态的情况下,在所述终端屏幕中播放的;
其中,所述特效屏蔽功能的异常检测方式如下:
开启所述特效屏蔽功能,并在终端屏幕中播放目标资源的测试图像,所述测试图像包括所述融合资源图像或者所述动态模板图像;
对所述测试图像的播放过程进行录屏,得到关于所述测试图像的播放过程的录屏视频;并检测所述录屏视频的多帧图像中是否包括所述目标对象;
若包括,则确定所述特效屏蔽功能出现异常;若不包括,则确定所述特效屏蔽功能未出现异常。
根据本发明的一个实施例,图2或图4所示的方法所涉及的各个步骤均可以是由图8所示的图像检测装置中的各个单元来执行的。例如,图2中所示的步骤S201和S202可分别由图8中所示的播放单元801和录屏单元802来执行,步骤S203-S205均可由图8中所示的处理单元803来执行。又如,图4中所示的步骤S401和S402可分别由图8中所示的播放单元801和录屏单元802来执行,步骤S403-S407均可由图8中所示的处理单元803来执行,等等。
根据本发明的另一个实施例,图8所示的图像检测装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于图像检测装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本发明的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图4中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图8中所示的图像检测装置设备,以及来实现本发明实施例的图像检测方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本发明实施例针对目标资源的动态模板图像,提出了一种可在动态模板图像中融合其他数据内容,以播放融合后的特效图像的特效展示逻辑,可有效丰富动态模板图像的特效显示方式。并且在对该特效展示逻辑进行异常检测时,可先播放将参考对象融合至目标资源的动态模板图像中所得到的融合资源图像,并在对该融合资源图像的播放过程进行录屏以得到录制视频。接着,可对录制视频的多帧候选图像进行对象识别,以识别各帧候选图像中是否包括目标对象;通过引入与参考对象相关联的目标对象,可实现对象识别时只需识别候选图像中是否包括目标对象即可,无需识别候选图像是否包括参考对象,可有效降低识别复杂度,从而节省处理资源。然后,可从多帧候选图像中选取包括目标对象的关键帧图像;由于关键帧图像中包括目标对象,因此该关键帧图像可具有较高的参考度,那么根据关键帧图像对动态模板图像的特效展示逻辑进行异常检测,不仅可以提升检测效率,还可有效提升检测结果的准确性。
基于上述图像显示方法实施例的描述,本发明实施例还公开了一种图像显示装置,所述图像显示装置可以是运行于上述所提及的第一终端中的一个计算机程序(包括程序代码)。该图像显示装置可以执行图6所示的方法。请参见图9,所述图像显示装置可以运行如下单元:
输出单元901,用于响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用上述所提及的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
处理单元902,用于在所述资源选择界面中选中所述目标资源的资源标识;
所述输出单元901,还用于若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
根据本发明的一个实施例,图6所示的方法所涉及的各个步骤均可以是由图9所示的图像显示装置中的各个单元来执行的。例如,图6中所示的步骤S601和S603可由图9中所示的输出单元901来执行,步骤S602可由图9中所示的处理单元902来执行。
根据本发明的另一个实施例,图9所示的图像显示装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本发明的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本发明的其它实施例中,基于图像显示装置也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由多个单元协作实现。
根据本发明的另一个实施例,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),来构造如图9中所示的图像显示装置设备,以及来实现本发明实施例的图像显示方法。所述计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算设备中,并在其中运行。
本发明实施例可响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面。其中,该资源选择界面中包括目标资源的资源标识;且该资源标识是在确定目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在资源选择界面中的;这样可有效保证动态模板图像的可用性,降低动态模板图像在实际使用过程中出现展示异常的概率。当用户通过资源选择界面确认选择了目标资源的资源标识后,终端便可将第一终端用户的用户标识和/或第二终端用户的用户标识融合至目标资源的动态模板图像中,并在终端屏幕中播放融合得到的目标资源的目标特效图像,这样可有效丰富动态模板图像的特效显示方式,提升图像显示的趣味性,从而提升用户粘度。
基于上述方法实施例以及装置实施例的描述,本发明实施例还提供一种终端;该终端可以是上述所提及的测试终端,或者是上述所提及的第一终端。请参见图10,该终端可至少包括处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004。其中,终端内的处理器1001、输入设备1002、输出设备1003以及计算机存储介质1004可通过总线或其他方式连接。计算机存储介质1004可以存储在终端的存储器中,所述计算机存储介质1004用于存储计算机程序,所述计算机程序包括程序指令,所述处理器1001 用于执行所述计算机存储介质1004存储的程序指令。处理器1001(或称CPU(Central Processing Unit,中央处理器))是终端的计算核心以及控制核心,其适于实现一条或多条指令,具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
在一个实施例中,若终端为测试终端,则本发明实施例所述的处理器1001可以用于进行一系列的图像检测处理,具体包括:在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测,等等。
再一个实施例中,若终端为第一终端,则本发明实施例所述的处理器1001可以用于进行一系列的图像显示处理,具体包括:响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用上述所提及的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;在所述资源选择界面中选中所述目标资源的资源标识;若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
本发明实施例还提供了一种计算机存储介质(Memory),所述计算机存储介质是终端中的记忆设备,用于存放程序和数据。可以理解的是,此处的计算机存储介质既可以包括终端中的内置存储介质,当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间,该存储空间存储了终端的操作***。并且,在该存储空间中还存放了适于被处理器1001加载并执行的一条或多条的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是,此处的计算机存储介质可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器;可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
在一个实施例中,可由处理器1001加载并执行计算机存储介质中存放的一条或多条第一指令,以实现上述有关图像检测方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第一指令由处理器1001加载并执行如下步骤:
在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测。
在一种实施方式中,所述目标资源是通信场景中的第一测试用户发送给第二测试用户的;
所述参考对象包括以下至少一项:所述第一测试用户的用户画像以及所述第二测试用户的用户画像;所述用户画像为人脸图像或者手势图像;
其中,当所述用户画像为所述人脸图像时,所述目标对象为目标数量个人脸;当所述用户画像为所述手势图像时,所述目标对象为目标数量个手势;其中,所述目标数量为所述参考对象包括的用户画像的数量。
再一种实施方式中,在对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果时,所述一条或多条第一指令可以由处理器1001加载并具体执行:
若所述用户画像是所述人脸图像,则对所述录制视频的多帧候选图像进行人脸识别,得到各帧候选图像的识别结果;
若所述用户画像是手势图像,则对所述录制视频的多帧候选图像进行手势识别,得到各帧候选图像的识别结果。
再一种实施方式中,在对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果之前,所述一条或多条第一指令还可以由处理器1001加载并具体执行:
对所述录制视频进行分帧处理,得到多帧初始图像;
从所述多帧初始图像中,确定所述录制视频的多帧候选图像。
再一种实施方式中,在对所述录制视频进行分帧处理,得到多帧初始图像时,所述一条或多条第一指令可以由处理器1001加载并具体执行:
对所述录制视频进行画面分割,得到所述融合资源图像的多帧录制画面;
将所述多帧录制画面确定为多帧初始图像,或者分别从各帧录制画面中裁剪出目标区域的图像作为多帧初始图像;其中,所述目标区域的区域中心点与所述融合资源图像在所述终端屏幕中的显示位置重合。
再一种实施方式中,每帧初始图像具有一个图像序号,且各帧初始图像按照图像序号进行依序排列;相应的,在从所述多帧初始图像中,确定所述录制视频的多帧候选图像时,所述一条或多条第一指令可以由处理器1001加载并具体执行:
将所述多帧初始图像作为所述录制视频的多帧候选图像;或者,
按照采样频率对依序排列的多帧初始图像进行采样处理,得到所述录制视频的多帧候选图像。
再一种实施方式中,在根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像时,所述一条或多条第一指令可以由处理器1001加载并具体执行:
根据所述各帧候选图像的识别结果,从所述多帧候选图像中筛选出包括所述目标对象的候选图像;
从筛选出的各帧候选图像中,选取关键帧图像。
再一种实施方式中,在从筛选出的各帧候选图像中,选取关键帧图像时,所述一条或多条第一指令可以由处理器1001加载并具体执行:
按照筛选出的各帧候选图像的图像序号从小到大的顺序,对所述筛选出的各帧候选图像进行排列,得到所述筛选出的各帧候选图像的排列位置;
从依序排列的多帧候选图像中,选取排列位置处于目标位置的候选图像作为关键帧图像。
再一种实施方式中,在根据所述关键帧图像对所述动态模板图像的特效展示逻辑进行异常检测时,所述一条或多条第一指令可以由处理器1001加载并具体执行:
将所述关键帧图像和目标图像元素进行静态图匹配处理,得到匹配结果;
若所述匹配结果指示所述关键帧图像包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑不存在异常;
若所述匹配结果指示所述关键帧图像不包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑存在异常。
再一种实施方式中,所述动态模板图像的特效展示逻辑存在异常包括以下至少一种情况:将所述参考对象融合至所述动态模板图像的过程中存在异常,以及所述融合资源图像的播放过程存在异常;相应的,所述一条或多条第一指令还可以由处理器1001加载并具体执行:
若所述动态模板图像的特效展示逻辑存在异常,则输出告警信息,以提示技术人员对所述动态模板图像的特效展示逻辑所存在的异常情况进行分析;
若所述动态模板图像的特效展示逻辑不存在异常,则发布所述动态模板图像。
再一种实施方式中,所述融合资源图像是在特效屏蔽功能未出现异常,且所述特效屏蔽功能处于关闭状态的情况下,在所述终端屏幕中播放的;
其中,所述特效屏蔽功能的异常检测方式如下:
开启所述特效屏蔽功能,并在终端屏幕中播放目标资源的测试图像,所述测试图像包括所述融合资源图像或者所述动态模板图像;
对所述测试图像的播放过程进行录屏,得到关于所述测试图像的播放过程的录屏视频;并检测所述录屏视频的多帧图像中是否包括所述目标对象;
若包括,则确定所述特效屏蔽功能出现异常;若不包括,则确定所述特效屏蔽功能未出现异常。
本发明实施例针对目标资源的动态模板图像,提出了一种可在动态模板图像中融合其他数据内容,以播放融合后的特效图像的特效展示逻辑,可有效丰富动态模板图像的特效显示方式。并且在对该特效展示逻辑进行异常检测时,可先播放将参考对象融合至目标资源的动态模板图像中所得到的融合资源图像,并在对该融合资源图像的播放过程进行录屏以得到录制视频。接着,可对录制视频的多帧候选图像进行对象识别,以识别各帧候选图像中是否包括目标对象;通过引入与参考对象相关联的目标对象,可实现对象识别时只需识别候选图像中是否包括目标对象即可,无需识别候选图像是否包括参考对象,可有效降低识别复杂度,从而节省处理资源。然后,可从多帧候选图像中选取包括目标对象的关键帧图像;由于关键帧图像中包括目标对象,因此该关键帧图像可具有较高的参考度,那么根据关键帧图像对动态模板图像的特效展示逻辑进行异常检测,不仅可以提升检测效率,还可有效提升检测结果的准确性。
再一个实施例中,可由处理器1001加载并执行计算机存储介质中存放的一条或多条第二指令,以实现上述有关图像检测方法实施例中的方法的相应步骤;具体实现中,计算机存储介质中的一条或多条第二指令由处理器1001加载并执行如下步骤:
响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用上述所提及的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
在所述资源选择界面中选中所述目标资源的资源标识;
若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
本发明实施例可响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面。其中,该资源选择界面中包括目标资源的资源标识;且该资源标识是在确定目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在资源选择界面中的;这样可有效保证动态模板图像的可用性,降低动态模板图像在实际使用过程中出现展示异常的概率。当用户通过资源选择界面确认选择了目标资源的资源标识后,终端便可将第一终端用户的用户标识和/或第二终端用户的用户标识融合至目标资源的动态模板图像中,并在终端屏幕中播放融合得到的目标资源的目标特效图像,这样可有效丰富动态模板图像的特效显示方式,提升图像显示的趣味性,从而提升用户粘度。
需要说明的是,根据本申请的一个方面,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图2或图4所示的图像检测方法实施例方面的各种可选方式中提供的方法;或者,使得该计算机设备执行上述图6所示的图像显示方法实施例方面的各种可选方式中提供的方法。
并且,应理解的是,以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (14)
1.一种图像检测方法,其特征在于,包括:
在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
将所述关键帧图像和目标图像元素进行静态图匹配处理,得到匹配结果;
若所述匹配结果指示所述关键帧图像包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑不存在异常;
若所述匹配结果指示所述关键帧图像不包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑存在异常。
2.如权利要求1所述的方法,其特征在于,所述目标资源是通信场景中的第一测试用户发送给第二测试用户的;
所述参考对象包括以下至少一项:所述第一测试用户的用户画像以及所述第二测试用户的用户画像;所述用户画像为人脸图像或者手势图像;
其中,当所述用户画像为所述人脸图像时,所述目标对象为目标数量个人脸;当所述用户画像为所述手势图像时,所述目标对象为目标数量个手势;其中,所述目标数量为所述参考对象包括的用户画像的数量。
3.如权利要求2所述的方法,其特征在于,所述对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,包括:
若所述用户画像是所述人脸图像,则对所述录制视频的多帧候选图像进行人脸识别,得到各帧候选图像的识别结果;
若所述用户画像是手势图像,则对所述录制视频的多帧候选图像进行手势识别,得到各帧候选图像的识别结果。
4.如权利要求1-3任一项所述的方法,其特征在于,所述对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果之前,还包括:
对所述录制视频进行分帧处理,得到多帧初始图像;
从所述多帧初始图像中,确定所述录制视频的多帧候选图像。
5.如权利要求4所述的方法,其特征在于,所述对所述录制视频进行分帧处理,得到多帧初始图像,包括:
对所述录制视频进行画面分割,得到所述融合资源图像的多帧录制画面;
将所述多帧录制画面确定为多帧初始图像,或者分别从各帧录制画面中裁剪出目标区域的图像作为多帧初始图像;其中,所述目标区域的区域中心点与所述融合资源图像在所述终端屏幕中的显示位置重合。
6.如权利要求4所述的方法,其特征在于,每帧初始图像具有一个图像序号,且各帧初始图像按照图像序号进行依序排列;所述从所述多帧初始图像中,确定所述录制视频的多帧候选图像,包括:
将所述多帧初始图像作为所述录制视频的多帧候选图像;或者,
按照采样频率对依序排列的多帧初始图像进行采样处理,得到所述录制视频的多帧候选图像。
7.如权利要求1-3任一项所述的方法,其特征在于,所述根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,包括:
根据所述各帧候选图像的识别结果,从所述多帧候选图像中筛选出包括所述目标对象的候选图像;
从筛选出的各帧候选图像中,选取关键帧图像。
8.如权利要求7所述的方法,其特征在于,所述从筛选出的各帧候选图像中,选取关键帧图像,包括:
按照筛选出的各帧候选图像的图像序号从小到大的顺序,对所述筛选出的各帧候选图像进行排列,得到所述筛选出的各帧候选图像的排列位置;
从依序排列的多帧候选图像中,选取排列位置处于目标位置的候选图像作为关键帧图像。
9.如权利要求1所述的方法,其特征在于,所述动态模板图像的特效展示逻辑存在异常包括以下至少一种情况:将所述参考对象融合至所述动态模板图像的过程中存在异常,以及所述融合资源图像的播放过程存在异常;
所述方法还包括:
若所述动态模板图像的特效展示逻辑存在异常,则输出告警信息,以提示技术人员对所述动态模板图像的特效展示逻辑所存在的异常情况进行分析;
若所述动态模板图像的特效展示逻辑不存在异常,则发布所述动态模板图像。
10.如权利要求1-3任一项所述的方法,其特征在于,所述融合资源图像是在特效屏蔽功能未出现异常,且所述特效屏蔽功能处于关闭状态的情况下,在所述终端屏幕中播放的;
其中,所述特效屏蔽功能的异常检测方式如下:
开启所述特效屏蔽功能,并在终端屏幕中播放目标资源的测试图像,所述测试图像包括所述融合资源图像或者所述动态模板图像;
对所述测试图像的播放过程进行录屏,得到关于所述测试图像的播放过程的录屏视频;并检测所述录屏视频的多帧图像中是否包括所述目标对象;
若包括,则确定所述特效屏蔽功能出现异常;若不包括,则确定所述特效屏蔽功能未出现异常。
11.一种图像显示方法,其特征在于,包括:
响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用如权利要求1-10任一项所述的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
在所述资源选择界面中选中所述目标资源的资源标识;
若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
12.一种图像检测装置,其特征在于,包括:
播放单元,用于在终端屏幕中播放目标资源的融合资源图像,所述融合资源图像是将用于进行检测的参考对象融合至所述目标资源的动态模板图像中得到的特效图像;
录屏单元,用于对所述融合资源图像的播放过程进行录屏,得到关于所述融合资源图像的播放过程的录制视频;
处理单元,用于对所述录制视频的多帧候选图像进行对象识别,得到各帧候选图像的识别结果,任一候选图像的识别结果用于指示:所述任一候选图像是否包括与所述参考对象相关联的目标对象;
所述处理单元,还用于根据所述各帧候选图像的识别结果从所述多帧候选图像中选取关键帧图像,所述关键帧图像是指包括所述目标对象的候选图像;
所述处理单元,还用于将所述关键帧图像和目标图像元素进行静态图匹配处理,得到匹配结果;若所述匹配结果指示所述关键帧图像包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑不存在异常;若所述匹配结果指示所述关键帧图像不包括所述目标图像元素,则确定所述动态模板图像的特效展示逻辑存在异常。
13.一种图像显示装置,其特征在于,包括:
输出单元,用于响应通信场景中的第一终端用户向第二终端用户进行资源发送的触发操作,输出资源选择界面;所述资源选择界面至少包括目标资源的资源标识,所述资源标识是在采用如权利要求1-10任一项所述的图像检测方法确定所述目标资源的动态模板图像的特效展示逻辑未存在异常的情况下,显示在所述资源选择界面中的;
处理单元,用于在所述资源选择界面中选中所述目标资源的资源标识;
所述输出单元,还用于若检测到针对所述资源标识的确认操作,则在终端屏幕中播放目标资源的目标特效图像;所述目标特效图像是将目标终端用户的用户标识融合至所述目标资源的动态模板图像中得到的,所述目标终端用户包括以下至少一项:所述第一终端用户和所述第二终端用户。
14.一种终端,包括输入设备和输出设备,其特征在于,还包括:
处理器,适于实现一条或多条指令;以及,
计算机存储介质,所述计算机存储介质存储有一条或多条第一指令,所述一条或多条第一指令适于由所述处理器加载并执行如权利要求1-10任一项所述的图像检测方法;或者,所述计算机存储介质存储有一条或多条第二指令,所述一条或多条第二指令适于由所述处理器加载并执行如权利要求11所述的图像显示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011151676.2A CN112307925B (zh) | 2020-10-23 | 2020-10-23 | 图像检测方法、图像显示方法、相关设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011151676.2A CN112307925B (zh) | 2020-10-23 | 2020-10-23 | 图像检测方法、图像显示方法、相关设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112307925A CN112307925A (zh) | 2021-02-02 |
CN112307925B true CN112307925B (zh) | 2023-11-28 |
Family
ID=74330340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011151676.2A Active CN112307925B (zh) | 2020-10-23 | 2020-10-23 | 图像检测方法、图像显示方法、相关设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112307925B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111356016B (zh) | 2020-03-11 | 2022-04-22 | 北京小米松果电子有限公司 | 视频处理方法、视频处理装置及存储介质 |
CN114501041B (zh) * | 2021-04-06 | 2023-07-14 | 抖音视界有限公司 | 特效显示方法、装置、设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018095252A1 (zh) * | 2016-11-28 | 2018-05-31 | 优酷网络技术(北京)有限公司 | 视频录制方法及装置 |
CN108958610A (zh) * | 2018-07-27 | 2018-12-07 | 北京微播视界科技有限公司 | 基于人脸的特效生成方法、装置和电子设备 |
CN110851652A (zh) * | 2019-11-29 | 2020-02-28 | 京东方科技集团股份有限公司 | 一种辅助查看行车记录视频的方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010002921A1 (en) * | 2008-07-01 | 2010-01-07 | Yoostar Entertainment Group, Inc. | Interactive systems and methods for video compositing |
-
2020
- 2020-10-23 CN CN202011151676.2A patent/CN112307925B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018095252A1 (zh) * | 2016-11-28 | 2018-05-31 | 优酷网络技术(北京)有限公司 | 视频录制方法及装置 |
CN108958610A (zh) * | 2018-07-27 | 2018-12-07 | 北京微播视界科技有限公司 | 基于人脸的特效生成方法、装置和电子设备 |
WO2020019663A1 (zh) * | 2018-07-27 | 2020-01-30 | 北京微播视界科技有限公司 | 基于人脸的特效生成方法、装置和电子设备 |
CN110851652A (zh) * | 2019-11-29 | 2020-02-28 | 京东方科技集团股份有限公司 | 一种辅助查看行车记录视频的方法及装置 |
Non-Patent Citations (1)
Title |
---|
监控视频中基于运动目标显著性的关键帧提取方法;胡圆圆 等;《南京邮电大学学报(自然科学版)》;第36卷(第1期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112307925A (zh) | 2021-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10873769B2 (en) | Live broadcasting method, method for presenting live broadcasting data stream, and terminal | |
CN106658200B (zh) | 直播视频分享和获取的方法、装置及其终端设备 | |
CN102799383B (zh) | 移动终端屏幕截图方法、屏幕截图装置 | |
CN105871690B (zh) | 即时通信的实现方法和装置 | |
CN112307925B (zh) | 图像检测方法、图像显示方法、相关设备及存储介质 | |
CN109274999A (zh) | 一种视频播放控制方法、装置、设备及介质 | |
CN108777806B (zh) | 一种用户身份识别方法、装置和存储介质 | |
CN113014854B (zh) | 互动记录的生成方法、装置、设备及介质 | |
CN107168974A (zh) | 显示项相关内容、社交类应用中消息的显示控制方法和装置 | |
US11163827B2 (en) | Video processing method, device, terminal and storage medium | |
CN109697129A (zh) | 一种信息分享方法、设备及计算机可读存储介质 | |
CN115563319A (zh) | 信息回复方法、装置、电子设备、计算机存储介质和产品 | |
CN116980605A (zh) | 视频处理方法、装置、计算机设备、存储介质和程序产品 | |
CN115278346B (zh) | 在直播间发送评论和接收评论的方法及相关设备 | |
CN109672710B (zh) | 文件上传方法、***及设备 | |
CN110619513A (zh) | 电子资源领取方法、电子资源发放方法及相关设备 | |
CN116049490A (zh) | 素材搜索方法、装置和电子设备 | |
CN115238125A (zh) | 一种数据处理方法、装置、计算机设备以及可读存储介质 | |
CN108614656B (zh) | 信息处理方法、介质、装置和计算设备 | |
CN115563320A (zh) | 信息回复方法、装置、电子设备、计算机存储介质和产品 | |
CN112351420A (zh) | 终端设备的组网身份创建方法、设备及可读存储介质 | |
CN112165626A (zh) | 图像处理方法、资源获取方法、相关设备及介质 | |
CN115599335B (zh) | 基于多屏模式下共享版式文件的方法及*** | |
CN116828018A (zh) | 云游戏的游戏视频处理方法、装置、设备及存储介质 | |
CN111898640B (zh) | 模拟抓拍机推送图片的方法、装置、测试***及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40038802 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |