CN114625456B

CN114625456B - 目标图像显示方法、装置及设备

Info

Publication number: CN114625456B
Application number: CN202011447270.9A
Authority: CN
Inventors: 贺思颖; 李敏睿; 古丽敏; 谭杰; 朱禹宏; 涂金林; 李松南
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2023-08-18
Anticipated expiration: 2040-12-11
Also published as: CN114625456A

Abstract

本申请提供了一种目标图像显示方法、装置及设备，该方法包括：获取第一目标图像；当第一目标图像包括人脸图像时，检测人脸与屏幕的远近类别；根据远近类别，在人脸图像的第一预设位置上显示第一预设贴纸；当第一目标图像未包括人脸图像时，在屏幕的第二预设位置上显示第二预设贴纸。从而提高用户体验感。

Description

目标图像显示方法、装置及设备

技术领域

本申请实施例涉及人工智能(Artificial Intelligence,AI)技术领域，尤其涉及一种目标图像显示方法、装置及设备。

背景技术

目前在线教育、直播等场景应用非常广泛，在这些场景下，对可能出现“假在线”和“近屏幕”等不良行为进行智能监督至关重要。尤其针对“近屏幕”行为，这将严重影响着用户视力。

为了降低或者避免“近屏幕”行为，目前采用语音提示或者文字提示的方式，以提醒用户保证正确坐姿。而这种方式存在用户体验感不佳的问题。

发明内容

本申请提供一种目标图像显示方法、装置及设备，从而可以提高用户体验感。

第一方面，本申请提供一种目标图像显示方法，包括：获取第一目标图像；当第一目标图像包括人脸图像时，检测人脸与屏幕的远近类别；根据远近类别，在人脸图像的第一预设位置上显示第一预设贴纸；当第一目标图像未包括人脸图像时，在屏幕的第二预设位置上显示第二预设贴纸。

第二方面，本申请提供一种目标图像显示装置，包括：第一获取模块、第一检测模块、第一显示模块和第二显示模块，其中第一获取模块用于获取第一目标图像；第一检测模块用于当第一目标图像包括人脸图像时，检测人脸与屏幕的远近类别；第一显示模块用于根据远近类别，在人脸图像的第一预设位置上显示第一预设贴纸；第二显示模块用于当第一目标图像未包括人脸图像时，在屏幕的第二预设位置上显示第二预设贴纸。

第三方面，提供了一种终端设备，包括：处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行第一方面的方法。

第四方面，提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行第一方面的方法。

综上，在本申请中，以实时互动贴纸的方式展示用户坐姿不正确的问题，可以提升用户体验感。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的目标图像显示方法的流程图；

图2为本申请实施例提供的一种界面示意图；

图3为本申请实施例提供的第一预设贴纸颜色变换示意图；

图4为本申请实施例提供的另一种界面示意图；

图5为本申请实施例提供的再一种界面示意图；

图6为本申请实施例提供的又一种界面示意图；

图7为本申请实施例提供的一种界面示意图；

图8为本申请实施例提供的一种目标图像显示方法的示意图；

图9为本申请实施例提供的一种界面示意图；

图10为本申请实施例提供的第二预设贴纸颜色变换示意图；

图11为本申请实施例提供的另一种界面示意图；

图12为本申请实施例提供的再一种界面示意图；

图13是本申请实施例提供的终端设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请涉及AI中的计算机视觉技术(Computer Vision，CV)。

AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

CV计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

如上所述，为了降低或者避免“近屏幕”行为，目前采用语音提示或者文字提示的方式，以提醒用户保证正确坐姿。而这种方式存在用户体验感不佳的问题。

为了解决上述技术问题，本申请通过贴纸互动的方式来提醒用户保证正确坐姿，从而提高用户体验感。

应理解的是，本申请技术方案可应用于如下场景，但不限于此：在线教育场景、直播场景等。

下面将对本申请技术方案进行详细阐述：

图1为本申请实施例提供的目标图像显示方法的流程图，如图1所示，该方法包括如下步骤：

S110：获取第一目标图像。

S120：当第一目标图像包括人脸图像时，检测人脸与屏幕的远近类别。

S130：根据远近类别，在人脸图像的第一预设位置上显示第一预设贴纸。

S140：当第一目标图像未包括人脸图像时，在屏幕的第二预设位置上显示第二预设贴纸。

可选地，终端设备可以通过它的前置摄像头采集上述第一目标图像。其中，终端设备可以按照预设帧率或者频率采集图像。

可选地，第一预设位置是固定不变的，或者，第一预设位置跟随人脸图像中的眼睛变化而动态变化。

可选地，当人脸与屏幕的远近类别是近类别时，在人脸图像的第一预设位置上显示第一预设贴纸。

可选地，第一预设贴纸可以是眼镜形式的贴纸，如图2所示，本申请对此不做限制。

可选地，第一预设贴纸可以以动画形式在屏幕上显示。

可选地，在检测人脸与屏幕的远近类别为近类别时，获取第三概率，该第三概率是人脸与屏幕的远近类别为近类别的概率。终端设备可以根据第三概率，控制第一预设贴纸在人脸图像上的显示。

可选地，第三概率越大，则第一预设贴纸的颜色越深，第三概率越小，则第一预设贴纸的颜色越浅。

可选地，图3为本申请实施例提供的第一预设贴纸颜色变换示意图，如图3所示，上述第三概率可以采用线性映射方式得到，也可以采用非线性映射方式得到，例如：采用线性映射方式时，第三概率是上述的|C|/(|C|+|D|)，采用非线性映射方式时，第三概率是上述的

可选地，第一预设贴纸采用RGBA四通道，通过上述第三概率可以决定第一预设贴纸的不透明度，而颜色深浅通过不透明度来反映，不透明度越高，则表示颜色越深，不透明度越低，则表示颜色越浅。如图2和图4所示，这两张界面图均是在人脸与屏幕的远近类型为近类型下的界面图，不同的是，图2是在人脸与屏幕的比较近的情况下的界面示意图，该眼镜贴纸的颜色比较深，但是图4是在人脸与屏幕的更近的情况下的界面示意图，该眼镜贴纸的颜色更深。应理解的是，为了清楚的表示眼镜贴纸的颜色，图2和图4通过眼镜的圈数来表示。

可选地，当终端设备继续采集目标图像，如第二目标图像后，终端设备还可以继续检测第二目标图像是否包括人脸图像。在第二目标图像包括人脸图像时，检测人脸与屏幕的远近类别。在检测人脸与屏幕的远近类别为远类别时，在人脸图像上显示反馈图像，以表示用户当前坐姿正确，如图5所示。即在用户恢复正确坐姿之后，屏幕上可以不显示上述第一预设贴纸，这时为了表示用户当前坐姿正确，可以显示反馈图像。

可选地，反馈图像可以位于人脸图像的周围，或者位于屏幕的右上角等，本申请对反馈图像的位置不做限制。

可选地，如图5所示，反馈图像可以是以下至少一项：烟花图像，带有“Good”的图像，本申请对反馈图像不做限制。

可选地，反馈图像可以以动画形式在屏幕显示。

可选地，考虑到存在“假在线”的不良行为，为了避免这一行为，终端设备可以按照预设帧率或者频率继续采集目标图像，以检测是否存在人脸图像，如果未检测到人脸图像的累计时长达到预设时长时，则推送提示信息，以提示用户观看屏幕内容。

可选地，该提示信息可以是以下至少一项，但不限于此：文字提示信息、语音提示信息、视频提示信息等。例如：如图6所示，在屏幕界面上显示IP形象以及文字提示信息“请保持正确坐姿！”。

可选地，在用户恢复到正确坐姿之后，可以在人脸图像周围显示反馈图像，并且IP形象可以以动画形式退出界面，如图7所示。

可选地，IP形象可以采用任一方式退出界面，但不限于：下滑退出、上滑退出。

可选地，在用户恢复到正确坐姿之后，还可以显示反馈图像，以表示用户当前坐姿正确。

可选地，终端设备可以将第一目标图像输入至第一神经网络，以输出【1，2，1，1】的第一特征图，第一个1表示第一特征图的张数，2表示第一特征图的通道数，第二个1表示第一特征图的高，第三个1表示第一特征图的宽；根据第一特征图，得到第一类别或者第二类别；其中，第一类别表示第一目标图像包括人脸图像，第二类别表示第一目标图像不包括人脸图像。或者，终端设备可以采集第一目标图像中的多个特征点，即多个关键点，通过这多个关键点判断第一目标图像是否包括人脸图像。例如：判断这多个关键点与预先存储的人脸图像的多个关键点进行匹配，如果匹配度大于预设值，则确定第一目标图像包括人脸图像，否则，则确定目标图像不包括人脸图像。总之，本申请对如何检测第一目标图像是否包括人脸图像不做限制。

可选地，终端设备可以将第一目标图像输入至第二神经网络，以输出【1，2，1，1】的第二特征图，第一个1表示第二特征图的张数，2表示第二特征图的通道数，第二个1表示第二特征图的高，第三个1表示第二特征图的宽；根据第二特征图，确定人脸与屏幕的远近类别。

应理解的是，在本申请中，人脸与屏幕的距离被划分为两类，分别为远类别和近类别。其中，对第二神经网络进行训练之后，可以使得第二神经网络输出远类别或者近类别。

可选地，可以将人脸与屏幕的距离小于预设距离，称为这种情况对应的类别为近类别。相反，将人脸与屏幕的距离大于或等于该预设距离，称为这种情况对应的类别为远类别。或者，可以根据人脸图像在屏幕中所占比例确定远近类别，例如：当人脸图像在屏幕中所占比例大于预设比例时，确定这种情况下的远近类别是近类别，当人脸图像在屏幕中所占比例小于或等于该预设比例时，确定这种情况下的远近类别是远类别。总之，本申请对如何检测人脸与屏幕的远近类别的方法不做限制。

应理解的是，在本申请中，远类别也被称为非近类别，即包括：人脸与屏幕距离正常以及超过正常距离的情况。

下面以通过第一神经网络检测第一目标图像是否包括人脸图像，且通过第二神经网络检测人脸与屏幕的远近类别为例，对本申请技术方案进行示例性说明：

应理解的是，在本申请中[N，C，W,H]＝[batch_size，channel_size，width，height]，batch_size表示每次输入的张数，channel_size表示图像的通道数，width表示图像的高，height表述图像的宽。

示例性地，图8为本申请实施例提供的一种目标图像显示方法的示意图，如图8所示，假设输入的第一目标图像是[1，3，800，800]。对输入的第一目标图像采用卷积神经网络，如Backbone是常见的卷积神经网络，例如resenet，mobilenet等或者其对应的变种。经过卷积神经网络的处理之后，得到[1，128，200，200]的特征图，经过第一神经网络，如faceclassifier后，直接得到[1，2，1，1]的特征图，用以表示第一目标图像中是否有人脸图像。

一种可选方式，在经过第一神经网络得到[1，2，1，1]的第一特征图之后，终端设备可以获取[1，2，1，1]中第一特征图的通道数2对应的特征数值，即第一目标图像中有人脸图像时对应的第一特征数值，以及第一目标图像中没有人脸图像时对应的第二特征数值，根据这两个数值确定第一目标图像中是否有人脸图像，例如：假设第一目标图像中有人脸图像时对应的第一特征数值用A表示，第一目标图像中没有人脸图像时对应的第二特征数值用B表示，那么可以先确定第一目标图像中有人脸图像的第一概率P1＝|A|/(|A|+|B|)，确定第一目标图像中没有人脸图像的第二概率P2＝|B|/(|A|+|B|)，其次，若P1>P2，则得到第一类别；若P1≤P2，则得到第二类别。

另一种可选方式，在经过第一神经网络得到[1，2，1，1]的第一特征图之后，终端设备可以获取[1，2，1，1]中第一特征图的通道数2对应的特征数值，即第一目标图像中有人脸图像时对应的第一特征数值，以及第一目标图像中没有人脸图像时对应的第二特征数值，根据这两个数值确定第一目标图像中是否有人脸图像，例如：假设第一目标图像中有人脸图像时对应的第一特征数值用A表示，第一目标图像中没有人脸图像时对应的第二特征数值用B表示，那么可以先确定第一目标图像中有人脸图像的第一概率确定第一目标图像中没有人脸图像的第二概率/>其次，若P1>P2，则得到第一类别；若P1≤P2，则得到第二类别。

进一步地，如果第一目标图像中有人脸图像，则将[1,128,200，200]的特征图送入第二神经网络，如far/close classifier，得到[1，2，1，1]的第二特征图，用以表示人脸与屏幕的远近类别。

一种可选方式，在经过第二神经网络得到[1，2，1，1]的第二特征图之后，终端设备可以获取[1，2，1，1]中第二特征图的通道数2对应的特征数值，即人脸与屏幕的远近类别为近类别时对应的第三特征数值，以及人脸与屏幕的远近类别为远类别时对应的第四特征数值，根据这两个数值确定人脸与屏幕的远近类别，例如：假设人脸与屏幕的远近类别为远类别时对应的第四特征数值用D表示，人脸与屏幕的远近类别为近类别时对应的第三特征数值用C表示，那么可以先确定人脸与屏幕的远近类别为近类别的第三概率P3＝|C|/(|C|+|D|)，确定人脸与屏幕的远近类别为远类别的第四概率P4＝|D|/(|C|+|D|)，其次，若P3>P4，则得到近类别；若P3≤P4，则得到远类别。

另一种可选方式，在经过第二神经网络得到[1，2，1，1]的第二特征图之后，终端设备可以获取[1，2，1，1]中第二特征图的通道数2对应的特征数值，即人脸与屏幕的远近类别为近类别时对应的第三特征数值，以及人脸与屏幕的远近类别为远类别时对应的第四特征数值，根据这两个数值确定人脸与屏幕的远近类别，例如：假设人脸与屏幕的远近类别为远类别时对应的第四特征数值用D表示，人脸与屏幕的远近类别为近类别时对应的第三特征数值用C表示，那么可以先确定人脸与屏幕的远近类别为近类别的第三概率为确定人脸与屏幕的远近类别为远类别的第四概率/>其次，若P3>P4，则得到近类别；若P3≤P4，则得到远类别。

现有的人脸检测算法较为复杂，具体表现如下：

第一，算法流程太长，前后依赖较多，需要算法的每个环节都有很高的精度和相对合理的阈值，才能保证最终的效果。

第二，假定face classifier、bounding box regression、facial landmarklocalization都由简单的3x3的卷积组成，即k＝3，并用浮点运算数(Floating PointOperations，FLOPs)表示。根据卷积的浮点运算数的求解公式：2*k*k*c*H*W*o，其中c表示输入的通道数，o表示输出的通道数，H和W分别表示输出的高度和宽度。则三个分类器或回归器的计算量分别为：

2*3*3*128*1*200*200＝0.09216GFlops＝9.216*10⁷Flops，

2*3*3*128*4*200*200＝0.36864GFlops＝3.6864*10⁸Flops,

2*3*3*128*10*200*200＝0.9216GFlops＝9.216*10⁸Flops。

这里由于需要对200x200的每个像素点都进行操作，因此这三个分类器的计算量非常大，而人脸远近任务最终只需要对画面中唯一的人进行操作，这意味着分类器中绝大部分的计算量都是浪费的。

第三，以Backbone为MobileNetV3_small进行进一步讨论，对于800*800*3的输入，人脸检测网络首先通过MobileNetV3_small进行特征提取和降采样，理论上来说候选预测框的数量越多，越有可能包涵人脸，即人脸检测对200*200的每个像素点进行预测，相比对25x25的每个像素点进行预测，其准确率会更高。因此，当输入图像通过MobileNetV3_small逐渐降采样后，还会将降采样后的特征图再通过FPN层进行上采样，最终得到宽高为200x200的一些列特征图。可见，这类基于人脸检测的方法，上采样过程也存在较大的性能开销。

第四，在得到足够多的预测框之后，还需要通过NMS方法进行进一步筛选。NMS也存在一定的计算量。

可见，现有的人脸检测算法在流程上存在冗余，形成了较高的算法复杂度。因此本申请通过将目标搜索问题转变成分类问题，精简掉冗余的计算，同时避免流程之间的前后依赖，用端到端的方式去对物品的远近进行判断。

在本申请中，face classifier与far/close classifier的计算量均为：2*3*3*2*1*1*1＝36Flops＝3.6*10¹Flops，二者之和为72Flops＝7.2*10¹Flops，相比现有技术中的人脸检测算法中face classifier的9.216*10⁷Flops缩小了6个数量级；从而极大地减小了人脸检测算法中face classifier中的冗余计算。

值得一提的是，这里Backbone的输出[1，128，200，200]，是为了方便地跟人脸检测方法进行比较。在实际应用中，经过Backbone降采样后可以不进行上采样，例如：经过Backbone降采样后的最后一层为[1，360，7，7]，可以不依赖人脸检测器中FPN进行上采样，从而去掉了不必要的计算量。另外，这里也无需NMS进行计算，可以端到端地直接给出人脸与屏幕的远近类别的输出结果。

综上，在本申请中，检测第一目标图像是否包括人脸图像以及检测人脸与屏幕的远近类别均是分类问题，即二分类问题，相对于现有技术中冗余的算法，本申请采用的人脸检测算法较为简单，从而可以提高人脸检测效率。

应理解的是，在在线教育、直播等场景下，为了避免“假在线”和“近屏幕”等情况，本申请用直观的提示来告知用户发生了什么问题以及怎么解决，在不打断用户参与在线教育或者直播的情况下，可以矫正用户坐姿，从而提高用户体验感。

可选地，在用户进入在线教育或者其他直播间后，可以通过如下方式显示预设贴纸，以提示用户保持正确坐姿，但不限于此：

可选方式一：在屏幕的第二预设位置上显示第二预设贴纸，假设第一概率是第一目标图像包括人脸图像的概率，第二概率是第一目标图像不包括人脸图像的概率。那么可以根据第一概率或者第二概率控制第二预设贴纸的显示。

可选方式二：在屏幕的第二预设位置上显示第二预设贴纸；获取第二预设贴纸与人脸图像的匹配度；根据该匹配度控制第二预设贴纸的显示。

下面针对上述可选方式一进行说明：

在用户进入在线教育或者其他直播间后，在屏幕的第二预设位置上可以显示第二预设贴纸。例如：图9为本申请实施例提供的一种界面示意图，如图9所示，在屏幕的中心位置显示人脸框形式的贴纸。可选地，在屏幕上显示人脸框形式的贴纸的同时，还可以显示知识产权(Intellectual Property，IP)形象以及提示信息，如图9所示，该提示信息提示用户“请保持正确坐姿！”。

可选地，假设第一概率是第一目标图像包括人脸图像的概率，第二概率是第一目标图像不包括人脸图像的概率。那么该第二预设贴纸的颜色可以根据该第一概率或者第二概率发生变化。

可选地，第一概率越小，则第二预设贴纸的颜色越浅，第一概率越大，则第二预设贴纸的颜色越深；或者，第二概率越小，则第二预设贴纸的颜色越深，第二概率越大，则第二预设贴纸的颜色越浅。

可选地，图10为本申请实施例提供的第二预设贴纸颜色变换示意图，如图10所示，上述第一概率、第二概率可以采用线性映射方式得到，也可以采用非线性映射方式得到，例如：采用线性映射方式时，第一概率是上述的|A|/(|A|+|B|)，第二概率是|B|/(|A|+|B|)，采用非线性映射方式时，第一概率是上述的第二概率是/>

可选地，第二预设贴纸采用RGBA四通道，其中，RGB表示红绿蓝(Red Green Blue)，A表示不透明度，通过上述第一概率或者第二概率可以决定第二预设贴纸的不透明度，而颜色深浅通过不透明度来反映，不透明度越高，则表示颜色越深，不透明度越低，则表示颜色越浅。

可选地，第二预设贴纸可以以动画形式在屏幕上显示。

下面针对可选方式二进行说明：

在用户进入在线教育或者其他直播间后，在屏幕的第二预设位置上可以显示第二预设贴纸。例如：如图9所示，在屏幕的中心位置显示人脸框形式的贴纸。可选地，在屏幕上显示人脸框形式的贴纸的同时，还可以显示IP形象以及提示信息，如图9所示，该提示信息提示用户“请保持正确坐姿！”。

可选地，假设第二预设贴纸是如图9所示的人脸框形式的贴纸时，第二预设贴纸与人脸图像的匹配度可以通过人脸框与人脸图像的重合度来反映，例如，图11为本申请实施例提供的另一种界面示意图，图11所示的人脸框与人脸图像的重合度高于图9所示的人脸框与人脸图像的重合度。

可选地，当第二预设贴纸与人脸图像的匹配度越大，则第二预设贴纸的颜色越深，匹配度越小，则第二预设贴纸的颜色越浅。

可选地，第二预设贴纸采用RGBA四通道，通过上述第二预设贴纸与人脸图像的匹配度可以决定第二预设贴纸的不透明度，而颜色深浅通过不透明度来反映，不透明度越高，则表示颜色越深，不透明度越低，则表示颜色越浅。

可选地，第二预设贴纸可以以动画形式在屏幕上显示。

可选地，当上述第一概率为预设概率时，终端设备还显示反馈图像，以表示用户当前坐姿正确。

可选地，反馈图像可以以动画形式在屏幕显示。

应理解的是，上述预设概率可以是预先设置的，当然也可以动态调整该概率，本申请对此不做限制。

可选地，如上所述，终端设备可以按照预设帧率或者频率采集目标图像，针对每张目标图像，终端设备均可以采用上述目标图像显示方法，因此，可能存在连续多张目标图像中均包括人脸图像，并且对应的第一概率为预设概率时，这时屏幕上就会持续显示上述反馈图像，这种情况下，在反馈图像的显示时长达到预设时长时，删除反馈图像，仅显示人脸图像，如图12所示。

需要说明的是，上面的目标图像显示方法均是针对一张目标图像而言的，下面将从整个动态角度来阐述该目标图像显示方法：

当用户进入在线教育或者其他直播后，这时直播还未开始或者课程还没开始，屏幕上出现如图9所示的界面，即显示第二预设贴纸，当前人脸图像和第一目标图像还没有完全匹配，IP形象可以通过语音或者文字等方式提示用户保持正确坐姿，当用户采用正确坐姿后，这时如图11所示，人脸图像和第二预设贴纸完全匹配，在人脸图像和第二预设贴纸完全匹配之后，可以显示如图5所示的反馈图像，以表示用户当前坐姿正确。进一步地，当用户仍然保持正确坐姿时，如图12所示，这时可以不显示反馈图像。当用户距离屏幕过近时，如图2所示，在人脸图像上显示眼镜贴纸，由于是初次触发显示眼镜贴纸，因此这时眼镜圈数比较少，当用户多次距离屏幕过近或者与屏幕的距离越来越近，这种情况下，如图4所示，眼镜贴纸的圈数变多，进一步地，当用户仍然保持正确坐姿时，如图5所示，这时显示反馈图像。当用户离开屏幕较长时间时，如图6所示，显示IP形象以及提示信息，以提示用户“请保证正确坐姿”，在用户恢复到正确坐姿之后，如图7所示，在人脸图像周围显示反馈图像，IP形象可以采用下滑方式退出，并且最终显示如图5所示的反馈图像。

综上，在本申请中，在不打断用户听讲或者观看直播的情况下矫正用户坐姿；并且以实时互动贴纸的方式展示用户出现的问题，可以提升用户体验感。

本申请实施例提供一种目标图像显示装置，该装置包括：

第一获取模块，用于获取第一目标图像。

第一检测模块，用于当第一目标图像包括人脸图像时，检测人脸与屏幕的远近类别。

第一显示模块，用于根据远近类别，在人脸图像的第一预设位置上显示第一预设贴纸。

第二显示模块，用于当第一目标图像未包括人脸图像时，在屏幕的第二预设位置上显示第二预设贴纸。

可选地，还包括：第一处理模块，用于：将第一目标图像输入至第一神经网络，以输出【1，2，1，1】的第一特征图，第一个1表示第一特征图的张数，2表示第一特征图的通道数，第二个1表示第一特征图的高，第三个1表示第一特征图的宽。根据第一特征图，得到第一类别或者第二类别。其中，第一类别表示第一目标图像包括人脸图像，第二类别表示第一目标图像不包括人脸图像。

可选地，第一处理模块具体用于：确定第一特征图的通道数对应的第一特征数值和第二特征数值。根据第一特征数值和第二特征数值确定第一概率和第二概率。根据第一概率和第二概率得到第一类别或者第二类别。其中，第一特征数值是第一目标图像中包括人脸图像时对应的数值，第二特征数值是第一目标图像中不包括人脸图像时对应的数值。第一概率是第一目标图像包括人脸图像的概率，第二概率是第一目标图像不包括人脸图像的概率。

可选地，第一处理模块具体用于：若第一概率大于第二概率，则得到第一类别。若第一概率小于或等于第二概率，则得到第二类别。

可选地，第一处理模块具体用于：通过如下公式(1)或者公式(2)确定第一概率P1：

P1＝|A|/(|A|+|B|) (1)

通过如下公式(3)或者公式(4)确定第一概率P2：

P2＝|B|/(|A|+|B|) (3)

其中，A表示第一特征数值，B表示第二特征数值。

可选地，目标图像显示装置还包括：第二获取模块和第一控制模块，第二获取模块用于获取第一概率或者第二概率。第一控制模块用于根据第一概率或者第二概率控制第二预设贴纸的显示。其中，第一概率是第一目标图像包括人脸图像的概率，第二概率是第一目标图像不包括人脸图像的概率。

可选地，第一概率越小，则第二预设贴纸的颜色越浅，第一概率越大，则第二预设贴纸的颜色越深。或者，第二概率越小，则第二预设贴纸的颜色越深，第二概率越大，则第二预设贴纸的颜色越浅。

可选地，目标图像显示装置还包括：第三获取模块和第二控制模块，第三获取模块用于获取第二预设贴纸与人脸图像的匹配度。第二控制模块用于根据匹配度控制第二预设贴纸的显示。

可选地，匹配度越大，则第二预设贴纸的颜色越深，匹配度越小，则第二预设贴纸的颜色越浅。

可选地，目标图像显示装置还包括：第四获取模块和第三显示模块，第四获取模块用于获取第一概率。第三显示模块用于在第一概率为预设概率时，显示反馈图像，以表示用户当前坐姿正确。其中，第一概率是第一目标图像包括人脸图像的概率。

可选地，目标图像显示装置还包括：第二处理模块，用于在反馈图像的显示时长达到预设时长时，删除反馈图像，并显示人脸图像。

可选地，第一检测模块具体用于：将第一目标图像输入至第二神经网络，以输出【1，2，1，1】的第二特征图，第一个1表示第二特征图的张数，2表示第二特征图的通道数，第二个1表示第二特征图的高，第三个1表示第二特征图的宽。根据第二特征图，确定人脸与屏幕的远近类别。

可选地，第一检测模块具体用于：确定第二特征图的通道数对应的第三特征数值和第四特征数值。根据第三特征数值和第四特征数值确定第三概率和第四概率。根据第三概率和第四概率，得到远类别或者近类别。其中，第三特征数值是人脸与屏幕的远近类别为近类别时对应的数值，第四特征数值是人脸与屏幕的远近类别为远类别时对应的数值。第三概率是人脸与屏幕的远近类别为近类别的概率，第四概率是人脸与屏幕的远近类别为远类别的概率。

可选地，第一检测模块具体用于：若第三概率大于第四概率，则得到近类别。若第三概率小于或等于第四概率，则得到远类别。

可选地，第一检测模块具体用于：通过如下公式(5)或者公式(6)确定第三概率P3：

P3＝|C|/(|C|+|D|) (5)

通过如下公式(7)或者公式(8)确定第四概率P4：

P4＝|D|/(|C|+|D|) (7)

其中，C表示第三特征数值，D表示第四特征数值。

可选地，目标图像显示装置还包括：第五获取模块和第三控制模块，第五获取模块用于在检测人脸与屏幕的远近类别为近类别时，获取第三概率。第三控制模块用于根据第三概率，控制第一预设贴纸在人脸图像上的显示。其中，第三概率是人脸与屏幕的远近类别为近类别的概率。

可选地，目标图像显示装置还包括：第六获取模块、第三检测模块、第四显示模块，第六获取模块用于获取第二目标图像。第三检测模块用于当第二目标图像包括人脸图像时，检测人脸与屏幕的远近类别。第四显示模块用于当人脸与屏幕的远近类别为远类别时，在人脸图像上显示反馈图像，以表示用户当前坐姿正确。

可选地，目标图像显示装置还包括：推送模块，用于在未检测到人脸图像的累计时长达到预设时长时，则推送提示信息，以提示用户观看屏幕内容。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，该装置可以执行上述方法实施例，并且装置中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图13是本申请实施例提供的终端设备的示意性框图。

如图13所示，该终端设备1300可包括：

存储器1310和处理器1320，该存储器1310用于存储计算机程序，并将该程序代码传输给该处理器1320。换言之，该处理器1320可以从存储器1310中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器1320可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器1320可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器1310包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(SynchroBus DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器1310中，并由该处理器1320执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在终端设备中的执行过程。

如图13所示，该终端设备还可包括：

收发器1330，该收发器1330可连接至该处理器1320或存储器1310。

其中，处理器1320可以控制该收发器1330与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器1330可以包括发射机和接收机。收发器1330还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该终端设备中的各个组件通过总线***相连，其中，总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上该，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims

1.一种目标图像显示方法，其特征在于，包括：

获取第一目标图像；

将所述第一目标图像输入至第一神经网络，以输出第一特征图；

确定所述第一特征图的通道数对应的第一特征数值和第二特征数值；并根据所述第一特征数值和所述第二特征数值确定第一概率和第二概率；其中，所述第一特征数值是所述第一目标图像中包括人脸图像时对应的数值，所述第二特征数值是所述第一目标图像中不包括所述人脸图像时对应的数值；所述第一概率是所述第一目标图像包括所述人脸图像的概率，所述第二概率是所述第一目标图像不包括所述人脸图像的概率；

根据所述第一概率和所述第二概率确定所述第一目标图像是否包括所述人脸图像；

当所述第一目标图像包括人脸图像时，将所述第一目标图像输入至第二神经网络，以输出第二特征图；

确定所述第二特征图的通道数对应的第三特征数值和第四特征数值；根据所述第三特征数值和所述第四特征数值确定第三概率和第四概率；其中，其中，所述第三特征数值是人脸与屏幕的远近类别为近类别时对应的数值，所述第四特征数值是人脸与屏幕的远近类别为远类别时对应的数值；所述第三概率是人脸与屏幕的远近类别为近类别的概率，所述第四概率是人脸与屏幕的远近类别为远类别的概率；

根据所述第三概率和所述第四概率检测人脸与屏幕的远近类别；

根据所述远近类别，在人脸图像的第一预设位置上显示第一预设贴纸；

当所述第一目标图像未包括人脸图像时，在屏幕的第二预设位置上显示第二预设贴纸。

2.根据权利要求1所述的方法，其特征在于，通过如下公式（1）或者公式（2）确定第一概率P1：

P1=|A|/（|A|+| B |）（1）

（2）

通过如下公式（3）或者公式（4）确定第二概率P2：

P2=|B|/（|A|+| B |）（3）

（4）

其中，A表示所述第一特征数值，B表示所述第二特征数值。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述第一概率和所述第二概率确定所述第一目标图像是否包括所述人脸图像，包括：

若所述第一概率大于所述第二概率，则确定所述第一目标图像包括所述人脸图像；

若所述第一概率小于或等于所述第二概率，则确定所述第一目标图像不包括所述人脸图像。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

根据所述第一概率或者所述第二概率控制所述第二预设贴纸的显示；

所述第一概率越小，则所述第二预设贴纸的颜色越浅，所述第一概率越大，则所述第二预设贴纸的颜色越深；或者，

所述第二概率越小，则所述第二预设贴纸的颜色越深，所述第二概率越大，则所述第二预设贴纸的颜色越浅。

5.根据权利要求1或2所述的方法，其特征在于，所述根据所述第三概率和所述第四概率检测人脸与屏幕的远近类别，包括：

若所述第三概率大于所述第四概率，则确定人脸与屏幕的远近类别是近类别；

若所述第三概率小于或等于所述第四概率，则确定人脸与屏幕的远近类别是远类别。

6.根据权利要求1或2所述的方法，其特征在于，通过如下公式（5）或者公式（6）确定第三概率P3：

P3=|C|/（|C|+| D |）（5）

（6）

通过如下公式（7）或者公式（8）确定第四概率P4：

P4=|D|/（|C|+| D |）（7）

（8）

其中，C表示所述第三特征数值，D表示所述第四特征数值。

7.根据权利要求1或2所述的方法，其特征在于，还包括：

根据所述第三概率，控制所述第一预设贴纸在所述人脸图像上的显示；

所述第三概率越大，则所述第一预设贴纸的颜色越深，所述第三概率越小，则所述第一预设贴纸的颜色越浅。

8.根据权利要求7所述的方法，其特征在于，所述根据所述第三概率，控制所述第一预设贴纸在所述人脸图像上的显示之后，还包括：

获取第二目标图像；

当所述第二目标图像包括人脸图像时，检测人脸与屏幕的远近类别；

当人脸与屏幕的远近类别为远类别时，在所述人脸图像上显示反馈图像，以表示用户当前坐姿正确。

9.根据权利要求1或2所述的方法，其特征在于，

获取所述第二预设贴纸与所述人脸图像的匹配度；

根据所述匹配度控制所述第二预设贴纸的显示；

其中，所述匹配度越大，则所述第二预设贴纸的颜色越深，所述匹配度越小，则所述第二预设贴纸的颜色越浅。

10.一种目标图像显示装置，其特征在于，包括：

第一获取模块，用于获取第一目标图像；

第一处理模块，用于：

第一检测模块，用于：

第一显示模块，用于根据所述远近类别，在人脸图像的第一预设位置上显示第一预设贴纸；

第二显示模块，用于当所述第一目标图像未包括人脸图像时，在屏幕的第二预设位置上显示第二预设贴纸。

11.一种终端设备，其特征在于，包括：

处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至9中任一项所述的方法。