CN111062207A - 表情图像处理方法、装置、计算机存储介质及电子设备 - Google Patents

Abstract

本公开提供了一种表情图像处理方法、装置、计算机存储介质及电子设备，涉及人工智能领域。该方法包括：响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像；响应所述用户对所述第二表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像。本公开通过对第一表情图像进行操作获取具有相同情感标签的第二表情图像，提高了获取表情图像的效率和精准度，进一步提升了用户体验，另外还能够提取表情图像中的信息，将表情图像转换为文字信息，方便特殊人群对表情图像的理解，提高沟通的质量和效率。

Description

表情图像处理方法、装置、计算机存储介质及电子设备

技术领域

本公开涉及人工智能领域，具体而言，涉及一种表情图像处理方法、表情图像处理装置、计算机存储介质及电子设备。

背景技术

随着计算机技术的迅速发展，人们的沟通方式越来越多样化，除了可以打电话、发短信之外，还可以通过各种聊天工具实现沟通交流，比如可以通过微信、QQ等聊天工具实现语音、文字的沟通。同时，为了增加聊天的趣味性，越来越多的用户开始使用emoji表情以及自定义表情图像，自定义表情图像是人们以时下流行的明星、语录、动漫、影视截图为素材制成的图像，有时还可以配上一系列相匹配的文字，用以表达特定的情感。

通常发送自定义表情图像时，需要将表情包提前下载至本地，然后从中选择想要发的表情图像进行发送，或者是在线获取所需的自定义表情图像进行发送，这些操作相对比较耗时耗力；另外对于视障人士，如果读屏程序无法识别表情图像的话，他们也将无从得知表情图像的具体含义，进而给他们与他人的沟通造成了障碍，并降低了对聊天产品的用户体验度。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的实施例提供了一种表情图像处理方法、表情图像处理装置、计算机存储介质及电子设备，进而至少在一定程度上可以快速、精准地获取用户所需的表情图像，提高了沟通质量和效率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供了一种表情图像处理方法，包括：响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像；响应所述用户对所述第二表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像。

根据本公开实施例的一个方面，提供了一种表情图像处理装置，包括：表情图像获取模块，用于响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像；表情图像发送模块，用于响应所述用户对所述第二表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像。

在本公开的一些实施例中，基于前述方案，所述表情图像获取模块配置为：响应所述用户对所述第一表情图像的第一按压操作；将所述第一按压操作的时长与预设时长进行对比；当所述第一按压操作的时长大于或等于所述预设时长时，在所述聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像。

在本公开的一些实施例中，基于前述方案，所述表情图像处理装置还包括：表情释义信息获取模块，用于在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像时，在所述聊天界面中显示与所述第二表情图像对应的表情释义信息。

在本公开的一些实施例中，基于前述方案，所述表情图像发送模块配置为：响应所述用户对所述第二表情图像的第二按压操作，在所述聊天界面的消息发送区中显示所述第二表情图像和与所述第二表情图像对应的表情释义信息。

在本公开的一些实施例中，所述第二表情图像的数量为多个；基于前述方案，表情图像发送模块配置为：响应所述用户对所述第二表情图像中的目标表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述目标表情图像。

在本公开的一些实施例中，基于前述方案，所述表情图像处理装置还包括：第一表情图像确定模块，用于根据所述用户输入的文字信息或情感信息确定所述第一表情图像。

在本公开的一些实施例中，基于前述方案，所述表情图像处理装置还包括：对象信息获取模块，用于获取表情图像，对所述表情图像中的目标对象进行识别，以获取对象信息；情感信息获取模块，用于对所述目标对象进行特征提取以获取特征信息，同时获取聊天界面中与所述表情图像对应的上下文信息，并根据所述特征信息和所述上下文信息确定所述表情图像对应的情感信息；表情释义信息获取模块，用于根据所述对象信息和所述情感信息构建与所述表情图像对应的表情释义信息。

在本公开的一些实施例中，基于前述方案，所述对象信息获取模块配置为：当所述表情图像为纯文字表情图像时，通过文字识别模型提取所述表情图像中的文字信息；或者，当所述表情图像为无文字表情图像时，通过第一图像识别模型对所述表情图像中的图像主体进行特征提取，以获取主体信息；或者，当所述表情图像为包含文字和图像主体的表情图像时，通过第二图像识别模型对所述文字和所述图像主体进行特征提取，以获取文字信息和主体信息。

在本公开的一些实施例中，所述表情图像为纯文字表情图像；基于前述方案，所述情感信息获取模块配置为：对所述目标对象对应的文字信息进行分词以获取所述文字信息中的关键词，同时获取所述会话界面中与所述表情图像对应的上下文信息；根据所述关键词所对应的情感信息和所述上下文信息确定与所述表情图像对应的情感信息。

在本公开的一些实施例中，所述表情图像为无文字表情图像；基于前述方案，所述情感信息获取模块包括：特征提取单元，用于通过第三图像识别模型对所述表情图像中的图像主体进行特征提取，以获取图像主体特征；匹配单元，用于将所述图像主体特征与所有的***表情所对应的表情特征进行匹配，根据匹配结果和所述上下文信息确定与所述表情图像对应的情感信息。

在本公开的一些实施例中，基于前述方案，所述匹配单元配置为：将所述图像主体特征与各所述***表情的表情特征进行匹配，以获取多个特征相似度；将各所述特征相似度与相似度阈值分别进行比较，判断是否存在与所述图像主体特征的特征相似度大于或等于所述相似度阈值的选***表情；当存在时，基于所述上下文信息将所述候选***表情对应的情感标签作为所述表情图像的情感信息；当不存在时，将所述表情图像的情感信息设置为空。

在本公开的一些实施例中，所述表情图像为包含文字和图像主体的表情图像；基于前述方案，所述情感信息获取模块配置为：获取所述表情图像中的文字信息，对所述文字信息进行分词以获取所述文字信息中的关键词；通过第四图像识别模型对所述表情图像中的图像主体进行特征识别，以获取图像主体特征，并将所述图像主体特征与所有的***表情所对应的表情特征进行匹配，以获取匹配成功的***表情的情感标签；根据所述关键词、所述上下文信息和所述匹配成功的***表情的情感标签确定与所述表情图像对应的情感信息。

在本公开的一些实施例中，所述表情图像包括第一类表情图像和第二类表情图像；基于前述方案，所述特征提取单元配置为：当所述表情图像为所述第一类表情图像时，通过所述第三图像识别模型对所述第一类表情图像中的图像主体进行识别并进行特征提取，以获取所述图像主体特征；当所述表情图像为所述第二类表情图像时，通过所述第三图像识别模型对所述第二类表情图像所包含的每一帧图像中的图像主体进行识别并进行特征提取，以获取所述图像主体特征。

在本公开的一些实施例中，基于前述方案，所述表情释义信息获取模块配置为：将所述对象信息和所述情感信息按照预设规则填充至表情释义模板中，以形成与所述表情图像对应的表情释义信息。

根据本公开实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例所述的表情图像处理方法。

根据本公开实施例的一个方面，提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如上述实施例所述的表情图像处理方法。

在本公开的实施例所提供的技术方案中，根据用户对第一表情图像的第一触发操作，获取与第一表情图像具有相同情感标签的第二表情图像，并在聊天界面中显示该第二表情图像；然后响应用户对第二表情图像的第二触发操作，在聊天界面的消息发送区中显示第二表情图像。本公开的技术方案能够通过对第一表情图像进行操作获取具有相同情感标签的第二表情图像，提高了获取表情图像的效率和精准度，进一步提升了用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的技术方案的示例性***架构的示意图；

图2示意性示出了根据本公开的一个实施例的表情图像处理方法的流程示意图；

图3示意性示出了根据本公开的一个实施例的获取第二表情图像的流程示意图；

图4A-4B示意性示出了根据本公开的一个实施例的获取第二表情图像的界面示意图；

图5A-5B示意性示出了根据本公开的一个实施例的获取第二表情图像的界面示意图；

图6示意性示出了根据本公开的一个实施例的显示表情图像的界面示意图；

图7示意性示出了根据本公开的一个实施例的构建表情释义信息的流程示意图；

图8A-8C示意性示出了根据本公开的一个实施例的三种表情图像；

图9A-9D示意性示出了根据本公开的一个实施例的训练样本与待检测表情图像；

图10示意性示出了根据本公开的一个实施例的获取纯文字表情图像的情感信息的流程示意图；

图11示意性示出了根据本公开的一个实施例的根据图像主体特征与***表情所对应的表情特征的匹配结果确定表情图像对应的情感信息的流程示意图；

图12示意性示出了根据本公开的一个实施例的获取包含文字和图像主体的表情图像的情感信息的流程示意图；

图13示意性示出了根据本公开的一个实施例的发送第二表情图像的界面示意图；

图14A-14D示意性示出了根据本公开的一个实施例的发送表情图像的界面示意图；

图15示意性示出了根据本公开的一个实施例的包含表情释义信息的消息提示的界面示意图；

图16示意性示出了根据本公开的一个实施例的表情图像处理装置的框图；

图17示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本公开实施例的技术方案的示例性***架构的示意图。

如图1所示，***架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103连接类型，例如有线通信之间提供通信链路的介质。网络102可以包括各种链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要，可以具有任意数目的终端设备、网络和服务器。比如服务器103可以是多个服务器组成的服务器集群等。终端设备101可以是诸如笔记本、便携式电脑、智能手机等带有显示屏幕的终端设备。

在本公开的一个实施例中，用户可以通过终端设备101连接网络102并下载各种聊天工具，在使用聊天工具时，用户可以通过终端设备101接收并发送文字和/或表情图像以与他人沟通交流。

在通过终端设备101发送表情图像时，用户可以对第一表情图像进行第一触发操作，终端设备101能够响应该第一触发操作获取该第一表情图像具有相同情感标签的第二表情图像，并在聊天界面中显示第二表情图像，然后响应用户对第二表情图像的第二触发操作，可以在聊天界面的消息发送区中显示该第二表情图像。同时在用户对第一表情图像进行第一触发操作后，终端设备101根据该第一触发操作可以形成表情图像获取请求，并将该表情图像获取请求通过网络102发送至服务器103，服务器103响应该表情图像获取请求获取与第一表情图像具有相同情感标签的第二表情图像，并将第二表情图像发送至终端设备101，以在聊天界面中显示该第二表情图像，当用户对第二表情图像进行第二触发操作后，终端设备101根据该第二触发操作可以形成表情图像发送请求，并将该表情图像发送请求通过网络102发送至服务器103，服务器103响应该表情图像发送请求将第二表情图像发送至终端设备101，在聊天界面的消息发送区中显示该第二表情图像。其中，第一表情图像可以是聊天工具自带的***表情，也可以是自定义表情图像；第二表情图像是与第一表情图像具有相同情感标签且不同于第一表情图像的自定义表情图像。

当用户需要获取接收到的表情图像的表情释义信息时，终端设备101可以通过网络102将表情图像发送至服务器103，服务器103接收到表情图像后，可以对表情图像中的目标对象进行识别以获取对象信息，例如表情图像中存在一个卡通人物和一行文字，那么该卡通人物和文字即为目标对象，接着服务器103可以对目标对象进行特征提取，并获取表情图像对应的上下文信息，根据提取的特征信息和上下文可以确定表情图像对应的情感信息，最后根据对象信息和情感信息构建表情释义信息，并将表情释义信息发送至终端设备101进行显示。当然还可以由终端设备101对表情图像中的目标对象进行识别以获取对象信息，接着可以对目标对象进行特征提取，并获取表情图像对应的上下文信息，根据提取的特征信息和上下文可以确定表情图像对应的情感信息，最后根据对象信息和情感信息构建表情释义信息，并在聊天界面中显示表情释义信息。本公开实施例的技术方案能够根据第一表情图像的情感标签确定具有相同情感标签的第二表情图像，提高了获取表情图像的精准度和效率，进一步提升了用户体验；另外能够提取表情图像中的信息，将表情图像转换为文字信息，方便特殊人群对表情图像的理解，提高沟通的质量和效率。

需要说明的是，本公开实施例所提供的表情图像处理方法一般由服务器执行，相应地，表情图像处理装置一般设置于服务器中。但是，在本公开的其它实施例中，也可以由终端设备执行本公开实施例所提供的表情图像处理方法。

在本领域的相关技术中，用户发送表情图像时需要将表情包下载至本地，然后从中逐个选择所需的表情图像进行发送，或者在线查找所需的表情图像进行发送，这种操作比较费时费力，并且对于视障用户，这样的操作更是很难获取所需的表情图像。通常视障用户在终端设备中可以安装读屏程序，以实现上网时的基本操作。读屏程序是专为盲人或视力有障碍的人设计的屏幕朗读软件，通过用户对数字键盘的切换操作，以及大键盘上的几个功能键的切换，就能够进行查找和处理文件，对网页进行导航浏览、编辑和收发电子邮件。

但是，读屏程序只能读取显示屏幕中的文字信息，帮助用户理解显示屏幕中的内容，但是用户在使用聊天工具时，接收到的表情图像如果是自定义表情图像时，通常无法转换为文字，因而读屏程序无法获知表情图像的内容，进而导致用户无法理解表情图像的内容，另外，用户在发送表情图像时，由于读屏程序无法获取表情图像对应的文字信息，所以无论是本地存储的表情包还是线上表情图像，用户都无法准确、高效的获取所需的表情图像，因此用户与他人沟通的质量较差。

鉴于相关技术中存在的问题，本公开实施例提供了一种表情图像处理方法，该方法是基于人工智能的方法，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本公开实施例提供的方案涉及人工智能的图像处理技术，具体通过如下实施例进行说明：

图2示意性示出了根据本公开的一个实施例的表情图像处理方法的流程图，该表情图像处理方法可以由服务器来执行，该服务器可以是图1中所示的服务器103，也可以由终端设备来执行，该终端设备可以是图1中所示的终端设备101。参照图2所示，该表情图像处理方法至少包括步骤S210至步骤S220，详细介绍如下：

在步骤S210中，响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像。

在本公开的一个实施例中，第一表情图像可以是聊天工具中自带的***表情，也可以是具有情感标签的自定义表情图像。用户登录聊天程序后打开聊天界面，在聊天界面上点击***表情标识图标，可以在聊天界面的消息待发区中显示多个***表情，用户可以从中选择第一表情图像，该第一表情图像的情感标签与用户想要发送的第二表情图像的情感信息相同；或者用户可以在聊天界面上点击自定义表情图像标识图像，在聊天界面的消息待发区中显示有多个自定义表情图像，用户可以从中选择第一表情图像，该第一表情图像的情感标签与用户想要发送的第二表情图像的情感信息相同。在确定第一表情图像后，用户可以对该第一表情图像进行第一触发操作，以获取与第一表情图像具有相同情感标签的第二表情图像，并在聊天界面中显示该第二表情图像，用户可以对第二表情图像进行复制、转发、发送等操作。该第二表情图像可以显示于聊天界面的消息待发区中，也可以悬浮显示于聊天界面的消息发送区中，其中消息待发区为聊天界面中位于文本编辑框下方的区域，消息待发区也可以包含文本编辑框区域；消息发送区为聊天界面中位于文本编辑框上方的区域，用于显示用户及好友发送的各种消息；消息发送区和消息待发区除了可以上下设置，还可以左右设置或设置在不同页面，本公开实施例对此不作具体限定。

在本公开的一个实施例中，第一触发操作具体可以是按压操作、双击操作等区别于直接发送表情的触发操作，图3示出了获取第二表情图像的流程示意图，如图3所示，在步骤S301中，响应用户对第一表情图像的第一按压操作；该第一按压操作即为用户对第一表情图像的第一触发操作。在步骤S302中，将第一按压操作的时长与预设时长进行对比；在步骤S303中，当第一按压操作的时长大于或等于预设时长时，在聊天界面中显示与第一表情图像具有相同情感标签的第二表情图像；根据第一按压操作的时长与预设时长的关系可以判断是否触发显示与第一表情图像对应的目标表情图像，当按压操作的时长大于或等于预设时长时，则触发显示与第一表情图像具有相同情感标签的第二表情图像，当按压操作的时长小于预设时长时，则不显示与第一表情图像具有相同情感标签的第二表情图像，而是将第一表情图像发送至聊天界面的消息发送区中。其中，预设时长可以根据实际需要进行设定，例如可以是3s、5s等等，本公开实施例对此不作具体限定。

图4A-4B示出了获取第二表情图像的界面示意图，用户想要获取情感标签为“惊讶”的包含哆啦A梦的表情图像，那么可以从***表情集合中选择情感标签为“惊讶”的***表情，如图4A所示；在确定情感标签为“惊讶”的***表情后，可以对该***表情进行第一触发操作，如长按该***表情5s，便在该***表情上方出现包含哆啦A梦的表情图像，其所对应的情感标签也是“惊讶”，如图4B所示。

图5A-5B示出了获取第二表情图像的界面示意图，用户想要获取情感标签为“惊讶”的包含哆啦A梦的表情图像，那么可以先从自定义表情图像集合中选择情感标签为“惊讶”的自定义表情图像，如图5A所示，该自定义表情图像为情感标签为“惊讶”的小猫；在确定情感标签为“惊讶”的自定义表情图像后，可以对该自定义表情图像进行第一触发操作，如长按该***表情，便在该自定义表情图像上方出现包含哆啦A梦的表情图像，其所对应的情感标签也是“惊讶”，如图5B所示。

进一步地，为了帮助视障用户获取所需的表情图像，还可以在获取与第一表情图像具有相同情感标签的第二表情图像时，获取与第二表情图像对应的表情释义信息，并将第二表情图像和对应的表情释义信息显示于消息待发区中。当聊天界面的消息待发区中显示该第二表情图像和对应的表情释义信息后，读屏程序能够及时获取该表情释义信息，并向用户播放，帮助用户理解第二表情图像，并确定是否发送该第二表情图像。

在本公开的一个实施例中，对应同一第一表情图像，可能存在多个与该第二表情图像具有相同情感标签的第二表情图像，在用户对第一表情图像进行第一触发操作后，可以在聊天界面中显示统计获得的用户使用率较高的一个或多个第二表情图像，也可以显示所有的第二表情图像，当用户手指滑动至任一第二表情图像上时，读屏程序能够获取该第二表情图像对应的表情释义信息，并向用户播放。当用户对多个第二表情图像中的目标表情图像进行第二触发操作后，可以在聊天界面的消息发送区中显示该目标表情图像。

图6示出了显示表情图像的界面示意图，如图6所示，用户想要发送表现愉快心情的表情图像，当用户对情感标签为愉快的第一表情图像进行第一触发操作时，会在聊天界面中显示与其相关的第二表情图像，如图6中所示，与其相关的表情图像包括两个，一个是图像主体为小猫的表情图像，对应的表情释义信息为：小猫愉快：好棒啊～，一个是图像主体为小狗的表情图像，对应的表情释义信息为：小狗愉快：好开心！，用户可以将手指上移，当手指位于图像主体为小猫的表情图像上时，读屏程序会向用户播放对应的表情释义信息，当用户手指位于图像主体为小狗的表情图像上时，读屏程序也会向用户播放对应的表情释义信息，用户根据读屏程序播放的表情释义信息，可以选择想要发送的第二表情图像。

在本公开的一个实施例中，与***表情或具有情感标签的自定义表情图像具有相同情感标签的表情图像可以预先存储于终端设备的本地数据库中，也可以存储于服务器中相关的数据库中，当接收到用户对第一表情图像的第一触发操作后，可以根据第一表情图像从数据库中获取与其具有相同情感标签的目标表情图像，并在聊天界面中显示。进一步地，在存储与***表情或具有情感标签的自定义表情图像具有相同情感标签的表情图像时，还可以同时存储与表情图像对应的表情释义信息，该表情释义信息可以根据表情图像中的对象信息和表情图像对应的情感信息构建获得。

图7示出了构建表情释义信息的流程示意图，如图7所示，该流程至少包括步骤S701-S703，具体地：

在步骤S701中，获取表情图像，对表情图像中的目标对象进行识别，以获取对象信息。

在本公开的一个实施例中，用户在使用聊天工具聊天时，会接收到其他用户发送的***表情或表情图像，通常***表情在制作上线的时候都会对其情感信息或表情内容进行标记，所以当发送或接收到***表情的时候，都能获得该***表情的情感信息或表情内容，但是表情图像通常不会专门标记其情感信息或表情内容，因此在接收到表情图像后，用户需要根据表情图像中的文字和/或图像主体信息确定该表情图像的情感信息或表情内容，进一步地，还需要结合聊天的上下文信息才能确定表情图像的情感信息或表情内容，这就给视障用户对聊天内容的理解造成了较大困难，因此在本公开的实施例中，可以对表情图像中的情感信息或表情内容进行提取，并转换为文字信息，以使读屏程序将其传达给视障用户，帮助视障用户顺畅地进行沟通。

在本公开的一个实施例中，在获取表情图像后，可以对表情图像中的目标对象进行识别，以获取对象信息。图8A-8C示出了三种表情图像，如图8A所示，该表情图像为纯文字表情图像，其中无图像主体，只有文本“我爱工作”，该文本内容即为对象信息；如图8B所示，该表情图像为无文字表情图像，只有图像主体为一只小猫，该图像主体即为对象信息；如图8C所示，该表情图像为包含文字和图像主体的表情图像，其中文字为“哈哈哈哈哈哈”，图像主体为哪吒，该文字内容和图像主体即为对象信息。

在本公开的一个实施例中，当表情图像为纯文字表情图像时，可以通过文字识别模型提取其中的文字信息，该文字识别模型可以是基于光学字符识别(OCR，OpticalCharacter Recognition)算法的模型，在接收到纯文字表情图像时，首先可以将纯文字表情图像转换为灰度图，接着采用canny算法检测文本的边缘以获取文本区域，最后对文本区域中的字符进行识别以获取文字信息。当表情图像为无文字表情图像时，可以通过第一图像识别模型对表情图像中的图像主体进行特征提取，以获取主体信息，其中该第一图像识别模型可以是卷积神经网络、残差神经网络等用于进行图像识别的机器学习模型，该第一图像识别模型中可以包括多个卷积单元，用于对表情图像进行卷积处理，以获取其中的图像主体特征，接着可以对图像主体特征进行分类预测以确定图像主体对应的主体信息，即该图像主体的分类信息，如图8B中的图像主体为猫，图8C中的图像主体为哪吒。当表情图像为包含文字和图像主体的表情图像时，可以先通过文字识别模型对其中的文字进行识别，然后通过第二图像识别模型对图像主体进行特征提取，以获取文字信息和主体信息，当然也可以采用第二图像识别模型同时对图像表情中的文字和图像主体进行特征提取，该第二图像识别模型包含两个子模型，分别用于对文字信息和图像主体的主体信息进行提取，其中对图像主体的主体信息进行提取的方法可以与第一图像识别模型对表情图像中的图像主体进行特征提取的方法相同，对文字信息进行提取的方法可以与文字识别模型对表情图像中的文字信息进行提取的方法相同，在此不再赘述。值得注意的是，表情图像包括第一类表情图像和第二类表情图像，第一类表情图像具体为静态表情图像，第二类表情图像具体为动态表情图像，当表情图像为静态表情图像时，可以通过第三图像识别模型对静态表情图像中的图像主体进行识别并进行特征提取，以获取图像主体特征；当表情图像为所述动态表情图像时，可以通过第三图像识别模型对动态表情图像所包含的每一帧图像中的图像主体进行识别并进行特征提取，以获取图像主体特征。其中，第一图像识别模型、第二图像识别模型和第三图像识别模型可以是具有相同结构的图像识别模型，也可以是具有不同结构的图像识别模型。

在本公开的一个实施例中，为了提高模型处理的效率和精准度，需要对第一图像识别模型、第二图像识别模型和第三图像识别模型进行训练，在训练时，可以采集多个已命名的表情图像作为训练样本，通过将表情图像输入至图像识别模型中以获取模型预测的图像主体，然后将预测的图像主体与表情图像的命名进行比对，当预测的图像主体与表情图像的命名差距较大时，可以通过不断调节图像识别模型的参数，以使预测的图像主体与表情图像的命名相同或相近。图9A-9D示出了训练样本与待检测表情图像，如图9A-9B所示，为用于训练图像识别模型的训练样本，分别为哆啦A梦和熊猫；根据该些训练样本对图像识别模型进行训练后，可以采用训练好的图像识别模型对待检测表情图像(图9C-9D)进行图像主体的识别，以获取图像主体哆啦A梦和熊猫。

在步骤S702中，对目标对象进行特征提取以获取特征信息，同时获取聊天界面中与表情图像对应的上下文信息，并根据特征信息和上下文信息确定表情图像对应的情感信息。

在本公开的一个实施例中，在获取对象信息后，可以对目标对象进行特征提取以获取特征信息，并根据特征信息确定目标表情图像对应的情感信息。对应不同类型的目标对象，与其对应的特征信息也不同，具体地，当目标对象为文本时，特征信息即为文本中的关键词；当目标对象为图像主体时，特征信息即为图像主体的属性特征，以图8C中的哪吒为例，其属性特征为五官的特征信息及肢体状态信息；当目标对象为文本和图像主体时，特征信息即为文本中的关键词和图像主体的属性特征。

在本公开的一个实施例中，情感信息可以细分为多个类型，例如开心、惊恐、大哭、害羞、大笑、傲慢、流汗等等，部分细分的情感信息相近，如开心和大笑、大哭和流泪等等，因此对应同一文字信息和/或图像主体的特征信息可能会存在多个与之对应的情感信息，例如图8C中的哪吒，根据所提取的文字信息“哈哈哈哈哈哈”和图像主体的特征信息<嘴角上扬>能够确定情感信息为大笑、开心。为了保证准确获取表情图像对应的情感信息，还可以根据表情图像对应地上下文信息进行判断，通过上下文信息能够确定该表情图像对应的聊天环境，进而能够准确把握用户发送的表情图像的情感信息。其中上下文信息可以是聊天的全部内容，也可以是从聊天内容中提取的关键词。

在本公开的一个实施例中，图10示出了获取纯文字表情图像的情感信息的流程示意图，如图10所示，该流程至少包含步骤S1001-S1002，具体地：

在步骤S1001中，对目标对象对应的文字信息进行分词以获取文字信息中的关键词，同时获取聊天界面中与表情图像对应的上下文信息。

在本公开的一个实施例中，在对文字信息进行分词时，可以通过正向最大匹配算法、逆向最大匹配算法、N-gram双向最大匹配算法、HMM分词算法等算法对文字信息进行分词，并对分词后的结果进行词性标注，根据词性标注结果能够确定文字信息中的关键词，通常关键词为名词、形容词、动词或者包含多种词性的组合词，例如“不走，还等什么呢”，分词后得到的结果为“不走还等什么呢”，其中的关键词为“不走等什么”，如果仅从关键词分析，该文本信息对应的情感信息可能是不耐烦的负面情感，也可能是期待的正面情感，为了准确确定表情图像的情感信息，还需要获取纯文字表情图像的上下文信息，并根据上下文信息确定纯文字表情图像对应的情感信息。

在步骤S1002中，根据关键词所对应的情感信息和上下文信息确定与表情图像对应的情感信息。

在本公开的一个实施例中，以步骤S1001中的例子为例，对分词得到的关键词进行分析，其情感信息可能是不耐烦，也可能是期待，那么可以根据会话界面中其他用户发送的会话消息进行进一步地确定。例如与纯文本表情图像对应的上下文信息为“咱们今天去郊游吧”、“好啊”、“几点出发？”，那么可以确定该会话的语境是讨论出游的计划，因而可以确定纯文本表情图像“不走，还等什么呢”的情感信息为期待的正面情感，而不是不耐烦的负面情感。

在本公开的一个实施例中，当目标对象为无文字表情图像时，可以通过第三图像识别模型对其中的图像主体进行特征提取，并根据所提取的图像主体特征、会话***表情对应的表情特征及上下文信息确定无文字表情图像对应的情感信息。在通过第三图像识别模型对图像主体进行特征提取时，主要是获取图像主体各部位的特征点坐标，例如当图像主体为具有五官特征和肢体特征的人物或动物时，可以确定五官特征点和肢体特征点的坐标，以根据该坐标确定图像主体的状态，其中五官特征点的坐标例如可以是眉毛左右端点的坐标及眉峰的坐标；左右眼睛的眼角、眼尾的坐标，以及眼睛上眼皮最高点及下眼睑最低点的坐标；鼻尖的坐标；嘴角、上嘴唇和下嘴唇对应的预设点的坐标，等等，肢体特征点的坐标例如可以是手部特征点坐标、腰部特征点坐标，等等，进一步地，肢体特征点可以是根据实际需要设定的点。根据五官特征点的坐标能够确定五官的状态，例如眉毛挑起、皱眉，眼睛瞪大、紧闭、微睁，嘴巴张开、嘟嘴、紧闭等，根据肢体特征点的坐标能够确定肢体的状态，例如挥舞手、扭腰、抬腿等等，进而结合五官特征和肢体特征能够确定图像主体特征。接着，可以将图像主体特征与***表情的表情特征进行比较，当图像主体特征与***表情的表情特征的相似度达到预设值时，且符合上下文信息对应的聊天环境，即可将***表情对应的情感标签作为图像主体对应的情感信息，即为表情图像对应的情感信息。例如，图像主体特征为眉毛挑起、眼睛瞪大、嘴巴张开，***表情中存在与该特征匹配的表情，其对应的情感标签为惊讶，那么可以确定该表情图像的情感信息为惊讶。

图11示出了根据图像主体特征与***表情所对应的表情特征的匹配结果确定表情图像对应的情感信息的流程示意图，如图11所示，在步骤S1101中，将图像主体特征与各***表情的表情特征进行匹配，以获取多个特征相似度；在步骤S1102中，将各特征相似度与相似度阈值分别进行比较，判断是否存在与图像主体特征的特征相似度大于或等于相似度阈值的候选***表情；在步骤S1103中，当存在时，基于上下文信息将候选***表情对应的情感标签作为表情图像的情感信息；在步骤S1104中，当不存在时，将表情图像的情感信息设置为空。

在本公开的一个实施例中，当表情图像包含文字和图像主体时，图12示出了获取包含文字和图像主体的表情图像的情感信息的流程示意图，如图12所示，在步骤S1201中，获取表情图像中的文字信息，对文字信息进行分词以获取文字信息中的关键词；在步骤S1202中，通过第四图像识别模型对表情图像中的图像主体进行特征识别，以获取图像主体特征，并将图像主体特征与所有***表情所对应的表情特征进行匹配，以获取匹配成功的***表情的情感标签；在步骤S1203中，根据关键词、上下文信息和匹配成功的***表情的情感标签确定与表情图像对应的情感信息。其中步骤S1201-S1202与上述实施例中获取纯文本表情图像中的关键词、无文字表情图像中图像主体特征的方法相同，在此不再赘述，在步骤S1203中，首先可以根据上下文信息确定会话语境，然后从关键词对应的情感信息和匹配成功的***表情的情感标签中确定与聊天语境相同或相近的情感信息。

在步骤S703中，根据对象信息和情感信息构建与表情图像对应的表情释义信息。

在本公开的一个实施例中，在获取表情图像中目标对象的对象信息及表情图像对应的情感信息后，可以根据对象信息和情感信息形成表情释义信息，具体地，可以将对象信息和情感信息按照预设规则填充至表情释义模板中，以形成表情释义信息。该表情释义模板的结构可以根据实际需要设定，例如当表情图像为纯文字表情图像时，可以将表情释义模板设定为：情感信息：文字信息；当表情图像为无文字表情图像时，可以将表情释义模板设定为：图像主体+情感信息；当表情图像为包含文字和图像主体的表情图像时，可以将表情释义模板设定为：图像主体+情感信息：文字信息，由于情感信息可以为空，因此上述表情释义模板中的情感信息是可以缺省的。当然表情释义模板还可以设定为其它结构，本公开的实施例对此不作具体限定。

以图8A-8C示出的三个表情图像为例，图8A为纯文字表情图像，其对应的情感信息为喜欢，文字信息为“我爱工作”，那么形成的表情释义信息为：喜欢：我爱工作；图8B为无文字表情图像，其对应的情感信息为可爱，图像主体为小猫，那么形成的表情释义信息为：小猫可爱；图8C为包含文字和图像主体的表情图像，其对应的情感信息为大笑，文字信息为“哈哈哈哈哈哈”，图像主体为哪吒，那么形成的表情释义信息为：哪吒大笑：哈哈哈哈哈哈。

以图9C-9D示出的表情图像为例，图9C中的图像主体为哆啦A梦，情感信息为惊讶，文字信息为“你在逗我吗？”，那么形成的表情释义信息为：哆啦A梦惊讶：你在逗我吗？；图9D中的图像主体为熊猫，情感信息为空，文字信息为“欺负我你能得到什么？”，那么形成的表情释义信息为：熊猫：欺负我你能得到什么？。

在本公开的一个实施例中，当***表情或具有情感标签的自定义表情图像与获取的表情图像具有相同情感信息时，可以在表情图像和***表情或具有情感标签的自定义表情图像之间建立映射关系，还可以将该表情图像及对应的表情释义信息存储于本地，以使用户可以根据***表情或具有情感标签的自定义表情图像快速找到相关的表情图像，并进行发送、分享等操作。当用户对第一表情图像进行第一触发操作时，可以同时获取与第一表情图像对应的第二表情图像和与第二表情图像对应的表情释义信息，并在聊天界面中显示第二表情图像和与第二表情图像对应的表情释义信息，读屏程序获取与第二表情图像对应的表情释义信息后，可以为用户进行语音播放，帮助用户确定是否发送该第二表情图像。另外对于用户接收到的新表情图像，也可以通过上述获取表情释义信息的方法获得与新表情图像对应的表情释义信息，视障人士根据读屏程序的播放可以明确新表情图像的含义，提高与他人的沟通质量和效率。

在步骤S220中，响应所述用户对所述目标表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像。

在本公开的一个实施例中，用户在获取第二表情图像后，可以根据实际需要选择是否发送该第二表情图像，若用户决定发送该第二表情图像，则可以对第二表情图像进行第二触发操作，以将第二表情图像显示于聊天界面的消息发送区中。进一步地，还可以将第二表情图像和与第二表情图像对应的表情释义信息同时显示于聊天界面的消息发送区中。其中，该第二触发操作具体可以是单击操作、双击操作等等，本公开实施例对此不作具体限定。

图13示出了发送第二表情图像的界面示意图，如图13所示，用户确定发送情感信息为惊讶的哆啦A梦的表情图像后，可以对该表情图像进行第二触发操作，例如可以单击该表情图像，在消息发送区中便可显示该表情图像或者显示该表情图像和与其对应的表情释义信息。

在本公开的一个实施例中，用户还可以在文字编辑框中输入文字信息或情感信息，获取文字信息或情感信息后，可以将文字信息或情感信息与所有的***表情或具有情感标签的自定义图像进行匹配，以获取第一表情图像，进而通过用户对第一表情图像进行相应地触发操作以发送表情图像或者发送表情图像及与其对应的表情释义信息。

图14A-14D示出了发送表情图像的界面示意图，如图14A所示，用户在消息编辑框中输入与想要发送的表情图像相关的文字信息或情感信息，例如用户在编辑框中输入情感信息：惊讶，接收到该情感信息后将其与所有的***表情进行匹配，获取情感标签为惊讶的第一表情图像，如图14B所示；用户长按该第一表情图像，在聊天界面上显示与该第一表情图像对应的第二表情图像以及与该第二表情图像对应的表情释义信息，如图14C所示；接着用户点击该第二表情图像，该第二表情图像及对应的表情释义信息即可发送至消息发送区中，实现与其他用户的沟通，如图14D所示。当用户发送第二表情图像后，在其他用户的聊天界面中会显示该第二表情图像和与其对应的表情释义信息，即使其他用户未打开会话界面，也可以进行消息提醒，该消息提醒包含表情释义信息，如图15所示。

在本公开的一个实施例中，当用户在消息编辑框中输入与想要发送的表情图像相关的文字信息或情感信息后，还可以获取与文字信息或情感信息对应的表情图像，当用户对获取的表情图像进行触发操作时，能够根据上述实施例的获取表情释义信息的方法得到对应的表情释义信息，进一步地，可以通过读屏程序播放给用户，帮助用户理解各个表情图像的内容并确定发送哪个表情图像。

本公开实施例中，通过用户对第一表情图像的第一触发操作，在聊天界面中显示与第一表情图像具有相同情感标签的第二表情图像或者第二表情图像及与其对应的表情释义信息，然后通过用户对第二表情图像进行第二触发操作，在聊天界面的消息发送区中显示该第二表情图像或者第二表情图像及其对应的表情释义信息。另外，本公开实施例中还可以根据表情图像中的目标对象的对象信息和表情图像对应的情感信息构建表情图像对应的表情释义信息。本公开实施例能够根据第一表情图像精准、快速地确定与其具有相同情感标签的第二表情图像，提高了获取、发送表情图像的精准度和效率，进一步提升了用户体验；另外能够提取表情图像中的信息，将表情图像转换为文字信息，方便特殊人群对表情图像的理解，提高了沟通的质量和效率。

以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的表情图像释义方法和表情图像处理方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的表情图像释义方法和表情图像处理方法的实施例。

图16示意性示出了根据本公开的一个实施例的表情图像处理装置的框图。

参照图16所示，根据本公开的一个表情图像处理装置1600，包括：表情图像获取模块1601和表情图像发送模块1602。

其中，表情图像获取模块1601，用于响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像；表情图像发送模块1602，用于响应所述用户对所述第二表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像。

在本公开的一个实施例中，所述表情图像获取模块1601配置为：响应所述用户对所述第一表情图像的第一按压操作；将所述第一按压操作的时长与预设时长进行对比；当所述第一按压操作的时长大于或等于所述预设时长时，在所述聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像。

在本公开的一个实施例中，所述表情图像处理装置1600还包括：表情释义信息获取模块，用于在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像时，在所述聊天界面中显示与所述第二表情图像对应的表情释义信息。

在本公开的一个实施例中，所述表情图像发送模块1602配置为：响应所述用户对所述第二表情图像的第二按压操作，在所述聊天界面的消息发送区中显示所述第二表情图像和与所述第二表情图像对应的表情释义信息。

在本公开的一个实施例中，所述第二表情图像的数量为多个；表情图像发送模块1602配置为：响应所述用户对所述第二表情图像中的目标表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述目标表情图像。

在本公开的一个实施例中，所述表情图像处理装置1600还包括：第一表情图像确定模块，用于根据所述用户输入的文字信息或情感信息确定所述第一表情图像。

在本公开的一个实施例中，所述表情图像处理装置1600还包括：对象信息获取模块，用于获取表情图像，对所述表情图像中的目标对象进行识别，以获取对象信息；情感信息获取模块，用于对所述目标对象进行特征提取以获取特征信息，同时获取聊天界面中与所述表情图像对应的上下文信息，并根据所述特征信息和所述上下文信息确定所述表情图像对应的情感信息；表情释义信息获取模块，用于根据所述对象信息和所述情感信息构建与所述表情图像对应的表情释义信息。

在本公开的一个实施例中，所述对象信息获取模块配置为：当所述表情图像为纯文字表情图像时，通过文字识别模型提取所述表情图像中的文字信息；或者，当所述表情图像为无文字表情图像时，通过第一图像识别模型对所述表情图像中的图像主体进行特征提取，以获取主体信息；或者，当所述表情图像为包含文字和图像主体的表情图像时，通过第二图像识别模型对所述文字和所述图像主体进行特征提取，以获取文字信息和主体信息。

在本公开的一个实施例中，所述表情图像为纯文字表情图像；所述情感信息获取模块配置为：对所述目标对象对应的文字信息进行分词以获取所述文字信息中的关键词，同时获取所述会话界面中与所述表情图像对应的上下文信息；根据所述关键词所对应的情感信息和所述上下文信息确定与所述表情图像对应的情感信息。

在本公开的一个实施例中，所述表情图像为无文字表情图像；所述情感信息获取模块包括：特征提取单元，用于通过第三图像识别模型对所述表情图像中的图像主体进行特征提取，以获取图像主体特征；匹配单元，用于将所述图像主体特征与所有的***表情所对应的表情特征进行匹配，根据匹配结果和所述上下文信息确定与所述表情图像对应的情感信息。

在本公开的一个实施例中，所述匹配单元配置为：将所述图像主体特征与各所述***表情的表情特征进行匹配，以获取多个特征相似度；将各所述特征相似度与相似度阈值分别进行比较，判断是否存在与所述图像主体特征的特征相似度大于或等于所述相似度阈值的选***表情；当存在时，基于所述上下文信息将所述候选***表情对应的情感标签作为所述表情图像的情感信息；当不存在时，将所述表情图像的情感信息设置为空。

在本公开的一个实施例中，所述表情图像为包含文字和图像主体的表情图像；所述情感信息获取模块配置为：获取所述表情图像中的文字信息，对所述文字信息进行分词以获取所述文字信息中的关键词；通过第四图像识别模型对所述表情图像中的图像主体进行特征识别，以获取图像主体特征，并将所述图像主体特征与所有的***表情所对应的表情特征进行匹配，以获取匹配成功的***表情的情感标签；根据所述关键词、所述上下文信息和所述匹配成功的***表情的情感标签确定与所述表情图像对应的情感信息。

在本公开的一个实施例中，所述表情图像包括第一类表情图像和第二类表情图像；所述特征提取单元配置为：当所述表情图像为所述第一类表情图像时，通过所述第三图像识别模型对所述第一类表情图像中的图像主体进行识别并进行特征提取，以获取所述图像主体特征；当所述表情图像为所述第二类表情图像时，通过所述第三图像识别模型对所述第二类表情图像所包含的每一帧图像中的图像主体进行识别并进行特征提取，以获取所述图像主体特征。

在本公开的一个实施例中，所述表情释义信息获取模块配置为：将所述对象信息和所述情感信息按照预设规则填充至表情释义模板中，以形成与所述表情图像对应的表情释义信息。

图17示出了适于用来实现本公开实施例的电子设备的计算机***的结构示意图。

需要说明的是，图17示出的电子设备的计算机***1700仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图17所示，计算机***1700包括中央处理单元(Central Processing Unit，CPU)1701，其可以根据存储在只读存储器(Read-Only Memory，ROM)1702中的程序或者从存储部分1708加载到随机访问存储器(Random Access Memory，RAM)1703中的程序而执行各种适当的动作和处理，实现上述实施例中所述的图像标注方法。在RAM 1703中，还存储有***操作所需的各种程序和数据。CPU 1701、ROM 1702以及RAM1703通过总线1704彼此相连。输入/输出(Input/Output，I/O)接口1705也连接至总线1704。

以下部件连接至I/O接口1705：包括键盘、鼠标等的输入部分1706；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1707；包括硬盘等的存储部分1708；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1709。通信部分1709经由诸如因特网的网络执行通信处理。驱动器1710也根据需要连接至I/O接口1705。可拆卸介质1711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1710上，以便于从其上读出的计算机程序根据需要被安装入存储部分1708。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1709从网络上被下载和安装，和/或从可拆卸介质1711被安装。在该计算机程序被中央处理单元(CPU)1701执行时，执行本公开的***中限定的各种功能。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的图像处理装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种表情图像处理方法，其特征在于，包括：

响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像；

响应所述用户对所述第二表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像。

2.根据权利要求1所述的表情图像处理方法，其特征在于，所述响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像，包括：

响应所述用户对所述第一表情图像的第一按压操作；

将所述第一按压操作的时长与预设时长进行对比；

当所述第一按压操作的时长大于或等于所述预设时长时，在所述聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像。

3.根据权利要求1或2所述的表情图像处理方法，其特征在于，所述方法还包括：

在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像时，在所述聊天界面中显示与所述第二表情图像对应的表情释义信息。

4.根据权利要求3所述的表情图像处理方法，其特征在于，所述响应所述用户对所述第二表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像，包括：

响应所述用户对所述第二表情图像的第二按压操作，在所述聊天界面的消息发送区中显示所述第二表情图像和与所述第二表情图像对应的表情释义信息。

5.根据权利要求1所述的表情图像处理方法，其特征在于，所述方法还包括：

根据所述用户输入的文字信息或情感信息确定所述第一表情图像。

6.根据权利要求3所述的表情图像处理方法，其特征在于，所述方法还包括：

获取表情图像，对所述表情图像中的目标对象进行识别，以获取对象信息；

对所述目标对象进行特征提取以获取特征信息，同时获取聊天界面中与所述表情图像对应的上下文信息，并根据所述特征信息和所述上下文信息确定所述表情图像对应的情感信息；

根据所述对象信息和所述情感信息构建与所述表情图像对应的表情释义信息。

7.根据权利要求6所述的表情图像处理方法，其特征在于，所述对所述表情图像中的目标对象进行识别，以获取对象信息，包括：

当所述表情图像为纯文字表情图像时，通过文字识别模型提取所述表情图像中的文字信息；或者，

当所述表情图像为无文字表情图像时，通过第一图像识别模型对所述表情图像中的图像主体进行特征提取，以获取主体信息；或者，

当所述表情图像为包含文字和图像主体的表情图像时，通过第二图像识别模型对所述文字和所述图像主体进行特征提取，以获取文字信息和主体信息。

8.根据权利要求6所述的表情图像处理方法，其特征在于，所述表情图像为纯文字表情图像；

所述对所述对象进行特征提取以获取特征信息，同时获取聊天界面中与所述表情图像对应的上下文信息，并根据所述特征信息和所述上下文信息确定所述表情图像对应的情感信息，包括：

对所述目标对象对应的文字信息进行分词以获取所述文字信息中的关键词，同时获取所述聊天界面中与所述表情图像对应的上下文信息；

根据所述关键词所对应的情感信息和所述上下文信息确定与所述表情图像对应的情感信息。

9.根据权利要求6所述的表情图像处理方法，其特征在于，所述表情图像为无文字表情图像；

所述对所述目标对象进行特征提取以获取特征信息，同时获取会话界面中与所述表情图像对应的上下文信息，并根据所述特征信息和所述上下文信息确定所述表情图像对应的情感信息，包括：

通过第三图像识别模型对所述表情图像中的图像主体进行特征提取，以获取图像主体特征；

将所述图像主体特征与所有的***表情所对应的表情特征进行匹配，根据匹配结果和所述上下文信息确定与所述目标表情图像对应的情感信息。

10.根据权利要求9所述的表情图像处理方法，其特征在于，所述将所述图像主体特征与所有的***表情所对应的表情特征进行匹配，根据匹配结果和所述上下文信息确定所述表情图像对应的情感信息，包括：

将所述图像主体特征与各所述***表情的表情特征进行匹配，以获取多个特征相似度；

将各所述特征相似度与相似度阈值分别进行比较，判断是否存在与所述图像主体特征的特征相似度大于或等于所述相似度阈值的候选***表情；

当存在时，基于所述上下文信息将所述候选***表情对应的情感标签作为所述表情图像的情感信息；

当不存在时，将所述表情图像的情感信息设置为空。

11.根据权利要求6所述的表情图像处理方法，其特征在于，所述表情图像为包含文字和图像主体的表情图像；

所述对所述目标对象进行特征提取以获取特征信息，同时获取会话界面中与所述表情图像对应的上下文信息，并根据所述特征信息和所述上下文信息确定所述表情图像对应的情感信息，包括：

获取所述表情图像中的文字信息，对所述文字信息进行分词以获取所述文字信息中的关键词；

通过第四图像识别模型对所述表情图像中的图像主体进行特征识别，以获取图像主体特征，并将所述图像主体特征与所有***表情所对应的表情特征进行匹配，以获取匹配成功的***表情的情感标签；

根据所述关键词、所述上下文信息和所述匹配成功的***表情的情感标签确定与所述表情图像对应的情感信息。

12.根据权利要求6所述的表情图像处理方法，其特征在于，所述根据所述对象信息和所述情感信息构建与所述表情图像对应的表情释义信息，包括：

将所述对象信息和所述情感信息按照预设规则填充至表情释义模板中，以形成与所述表情图像对应的表情释义信息。

13.一种表情图像处理装置，其特征在于，包括：

表情图像获取模块，用于响应用户对第一表情图像的第一触发操作，在聊天界面中显示与所述第一表情图像具有相同情感标签的第二表情图像；

表情图像发送模块，用于响应所述用户对所述第二表情图像的第二触发操作，在所述聊天界面的消息发送区中显示所述第二表情图像。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-12中任一项所述的表情图像处理方法。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-12中任一项所述的表情图像处理方法。

Images