CN112910761A - 即时通讯方法、装置、设备、存储介质以及程序产品 - Google Patents

即时通讯方法、装置、设备、存储介质以及程序产品 Download PDF

Info

Publication number
CN112910761A
CN112910761A CN202110126201.6A CN202110126201A CN112910761A CN 112910761 A CN112910761 A CN 112910761A CN 202110126201 A CN202110126201 A CN 202110126201A CN 112910761 A CN112910761 A CN 112910761A
Authority
CN
China
Prior art keywords
information
target
emotion
expression image
chat information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110126201.6A
Other languages
English (en)
Other versions
CN112910761B (zh
Inventor
沈航
刘俊启
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110126201.6A priority Critical patent/CN112910761B/zh
Publication of CN112910761A publication Critical patent/CN112910761A/zh
Application granted granted Critical
Publication of CN112910761B publication Critical patent/CN112910761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/45—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/483—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种即时通讯方法、装置、设备、存储介质以及程序产品，涉及计算机视觉和自然语言处理等人工智能技术领域。该方法的一具体实施方式包括：响应于接收到用户对表情图像的选择指令，获取聊天信息；确定聊天信息对应的目标情绪；根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；根据表情图像和目标音频，确定待传输信息；将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端。本申请在保证了信息传递，提高了即时通讯的趣味性的同时，能够明显地表达发送信息方的情绪，提高了用户体验。

Description

即时通讯方法、装置、设备、存储介质以及程序产品
技术领域
本申请涉及计算机技术领域，具体涉及计算机视觉和自然语言处理等人工智能技术领域，尤其涉及一种即时通讯方法、装置、设备、存储介质以及程序产品。
背景技术
随着互联网的发展，依托于客户端上的即时通讯(Instant Messenger，IM)应用已经成为了人们日常生活中不可或缺的信息交互方式。聊天用户在即时通讯的过程中，除了可以发送文字以外，还可以发送语音，图像等聊天信息，以实现与其他用户的信息交互。
发明内容
本申请实施例提出了一种即时通讯方法、装置、设备、存储介质以及程序产品。
第一方面，本申请实施例提出了一种即时通讯方法，包括：响应于接收到用户对表情图像的选择指令，获取聊天信息；确定聊天信息对应的目标情绪；根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；根据表情图像和目标音频，确定待传输信息；将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端。
第二方面，本申请实施例提出了一种即时通讯装置，包括：信息获取模块，被配置成响应于接收到用户对表情图像的选择指令，获取聊天信息；第一确定模块，被配置成确定聊天信息对应的目标情绪；第二确定模块，被配置成根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；第三确定模块，被配置成根据表情图像和目标音频，确定待传输信息；信息发送模块，被配置成将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端。
第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面描述的方法。
第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面描述的方法。
第五方面，本申请实施例提出了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面描述的方法。
本申请实施例提供的即时通讯方法、装置、设备、存储介质以及程序产品，首先响应于接收到用户对表情图像的选择指令，获取聊天信息；而后确定聊天信息对应的目标情绪；而后根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；而后根据表情图像和目标音频，确定待传输信息；最后将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端；本申请实施例在保证了信息传递，提高了即时通讯的趣味性的同时，能够明显地表达发送信息方的情绪，提高了用户体验。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请可以应用于其中的示例性***架构；
图2是根据本申请的即时通讯方法的一个实施例的流程图；
图3是根据本申请的即时通讯方法的一个应用场景图；
图4是根据本申请的即时通讯装置的一个实施例的结构示意图；
图5是用来实现本申请实施例的即时通讯方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的即时通讯方法和装置的实施例的示例性***架构100。
如图1所示，***架构100可以包括客户端101、服务器102和客户端103。客户端101、服务器102和客户端103任意两个之间可以通过各种连接类别进行通信，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用客户端101通过服务器102与客户端103进行交互，以接收或发送信息等。客户端101和客户端103上可以安装有各种应用，例如各种客户端应用、多方交互应用、人工智能应用、图像处理应用、图像美颜应用、即时通讯应用等。
服务器102可以是提供各种服务的服务器，例如对客户端101和客户端103提供支持的后台服务器。后台服务器可以将客户端101发送的待传输信息发送至客户端103。
需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
在实践中，本申请实施例所提供的即时通讯方法可以由客户端101或客户端103执行，即时通讯装置也可以设置于客户端101或客户端103中。
应该理解，图1中的客户端和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的客户端和服务器。
继续参考图2，其示出了根据本申请的即时通讯方法的一个实施例的流程200。该即时通讯方法包括以下步骤：
步骤201，响应于接收到用户对表情图像的选择指令，获取聊天信息。
在本实施例中，即时通讯方法的执行主体(例如图1中所示的客户端101)可以在接收到用户对表情图像的选择指令，获取聊天信息，例如，在接收到用户对即时通讯应用的输入界面上的表情图像的选择指令时，获取即时通讯应用的聊天界面上的聊天信息。其中，表情图像可以是静态/动态表情图像，表情图像可以包括文本和/或图片；该表情元素可以为表情图像中的可以表达情绪、传递信息的文本或图片。上述聊天信息可以为即时通讯应用的聊天界面上显示的信息，例如，客户端101与客户端103在当前时刻之前交互的信息或客户端101当前时刻待发送(即准备发送的)给客户端103的信息；其中，聊天信息可以为图片、文本和音频中的至少一种。
在这里，选择指令可以为对表情图像的选择操作，例如：用户在即时通讯应用上的预设位置(例如，表情图像缩略图)进行一次点击、双击或者滑动等操作。
步骤202，确定聊天信息对应的目标情绪。
在本实施例中，在聊天信息为图片时，上述执行主体可以聊天信息进行提取，获取表情图像对应的目标情绪。
在一个具体的示例中，上述执行主体可以通过预先训练得到的图像特征提取模型对聊天信息进行特征提取，其中，该图像特征提取模型基于卷积神经网络(ConvolutionalNeural Networks，CNN)训练得到，该图像特征提取模型可以为VGG Net(Visual GeometryGroup)模型、Res net(Residual Neural Network)模型或Alex net模型等等。
在本实施例中，在聊天信息为文本时，上述执行主体可以对聊天信息进行分词；之后，利用词向量模型将分词转换为对应的向量；之后，将分词对应的向量拼接得到文本向量；之后，预先训练得到的文本情绪分类模型中的特征提取网络，从文本向量中提取得到语义特征向量；之后，基于文本情绪分类模型中的分类网络，对语义特征向量进行分析得到聊天信息对应的目标情绪。
需要说明的是，文本情绪分类模型包括特征提取网络和分类网络，其中，特征提取网络层用于从文本向量中提取维度更少的语义特征向量。该文本情绪分类模型需要预先利用相关的训练样本数据训练得到，训练样本数据标注有相应的预设情绪类别。预设情绪类别可以根据实际领域的业务需求划分，例如，可以包括高兴、悲伤、生气、喜欢、惊讶、平淡等。训练得到的文本情绪分类模型也能够输出待处理文本相应的情绪类别。
在一个具体的示例中，该特征提取网络层可以采用基于attention(注意力)机制的双向门控循环单元(Bi-directional Gated Recurrent Unit，Bi-GRU)网络实现。
在本实施例中，在聊天信息为音频时，上述执行主体可以提取聊天信息的音频片段的音频特征向量，其中音频片段对应聊天信息中的一段话；之后，将音频片段的音频特征向量与多个情绪特征模型进行匹配，其中多个情绪特征模型分别对应多个情绪分类之一；之后，将匹配结果为相匹配的情绪特征模型所对应的情绪分类作为音频片段的目标情绪。
其中，音频特征向量包括以下几种音频特征中的一种或多种：能量特征、发音帧数特征、基音频率特征、共振峰特征、谐波噪声比特征以及梅尔倒谱系数特征。
在一个具体的示例中，当所述情绪特征模型为混合高斯模型(GMM)时，计算音频片段的音频特征向量分别与多个情绪特征模型之间的似然概率；之后，将似然概率大于预设阈值且最大的情绪特征模型所对应的情绪分类作为音频片段的目标情绪。
需要说明的是，上述情绪特征模型还可通过其他形式实现，例如支持向量机(SVM)模型、K最近邻分类算法(KNN)模型、马尔科夫模型(HMM)以及神经网络(ANN)模型等。
步骤203，根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频。
在本实施例中，上述执行主体可以根据目标情绪，逐个与预设的多个音频进行匹配，以确定与表情图像和目标情绪对应的目标音频。其中，音频可以为与不同情绪或不同情绪等级对应的音频，该音频可以为表情图像包括的文本对应的音频，例如“哈哈”表情图像对应的音频为“哈哈”对应的音频。上述情绪等级可以为对不同类别情绪中每种情绪不同的等级，例如，悲伤情绪可以包括：十分悲伤、淡淡的悲伤等；不同情绪等级对应的音调不同，例如，十分悲伤对应的音调和淡淡的悲伤对应的音调的不同。
需要说明的是，上述执行主体可以预先建立多个音频、表情图像和目标情绪的对应关系。
步骤204，根据表情图像和目标音频，确定待传输信息。
在本实施例中，上述执行主体可以将表情图像和目标音频合成一个待传输信息，例如，建立表情图像和目标音频的映射关系；或，上述执行主体对表情图像和目标音频不做任何处理，只是后续一起发送至目标客户端。
步骤205，将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端。
在本实现方式中，上述执行主体可以先将待传输信息发送给服务器，在服务器接收到待传输信息之后，由服务器(例如图1中所示的服务器102)将待传输信息传输至目标客户端(例如图1中所示的客户端103)。
本申请实施例提供的即时通讯方法，首先响应于接收到用户对表情图像的选择指令，获取聊天信息；而后确定聊天信息对应的目标情绪；而后根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；而后根据表情图像和目标音频，确定待传输信息；最后将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端；本申请实施例在保证了信息传递，提高了即时通讯的趣味性的同时，能够明显地表达发送信息方的情绪，提高了用户体验。
在本实施例的一些可选的实现方式中，多个音频与表情图像具有映射关系，多个音频对应的情绪不同。
在本实现方式中，多个音频中的每个音频均与表情图像具有映射关系，多个音频中的每个音频对应的情绪不同或多个音频中的部分音频对应的情绪不同(也即，多个音频中包括相同情绪的音频)。
在本实现方式中，多个音频与表情图像具有映射关系，多个音频对应的情绪不同，以便于后续可以根据目标情绪，从多个音频中准确地匹配出与表情图像和聊天信息的目标音频。
在本实施例的一些可选的实现方式中，根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频，包括：根据目标情绪，从与表情图像具有映射关系的多个音频中，匹配与目标情绪对应的目标音频。
在本实现方式中，根据目标情绪，从与表情图像具有映射关系的多个音频中进行匹配，以得到与目标情绪对应的目标音频。
在本实现方式中，可以根据目标情绪，从与表情图像具有映射关系的多个音频中，以实现对目标情绪的目标音频的确定。
在本实施例的一些可选的实现方式中，聊天信息包括以下至少一项：表情图像、历史聊天信息、当前聊天信息。
在本实现方式中，历史聊天信息可以为当前时刻之前，客户端101与客户端103之间的聊天信息，该历史聊天信息可以包括图片、文本和音频中的至少一种。当前聊天信息可以为当前时刻，用户通过客户端101待发送的信息(即，未发送至客户端103)，例如，在即时通讯应用的输入界面上输入的信息，该当前聊天信息可以包括图片、文本和音频中的至少一种。
在本实现方式中，可以根据表情图像、历史聊天信息和当前聊天信息中的至少一项，确定聊天信息对应的目标情绪，从而可以精准地获取聊天信息的目标情绪。
在本实施例的一些可选的实现方式中，若聊天信息包括：当前聊天信息，以及表情图像和/或历史聊天信息；以及
根据表情图像和目标音频，确定待传输信息，包括：
根据表情图像、目标音频和当前聊天信息，确定待传输信息。
在本实现方式中，在聊天信息包括当前聊天信息、表情图像和历史聊天信息；或，当前聊天信息和表情图像；或，当前聊天信息和历史聊天信息时，上述执行主体可以基于表情图像、目标音频和当前聊天信息，确定待传输信息。
在这里，基于表情图像、目标音频和当前聊天信息，确定待传输信息，可以包括：上述执行主体可以将表情图像、目标音频和当前聊天信息合成一个待传输信息，例如，建立表情图像、目标音频和当前聊天信息的映射关系；或，上述执行主体对表情图像和目标音频不做任何处理，只是后续一起发送至目标客户端。
在本实现方式中，在聊天信息包括当前聊天信息，以及表情图像和/或历史聊天信息时，可以基于表情图像、目标音频和当前聊天信息，准确地确定待传输信息。
在本实施例的一些可选的实现方式中，若聊天信息包括：当前聊天信息、表情图像和历史聊天信息；以及
确定聊天信息对应的目标情绪，包括：根据历史聊天信息对应的情绪和预设的第一权重、表情图像对应的情绪和预设的第二权重，以及当前聊天信息对应的情绪和预设的第三权重，确定目标情绪。
在本实现方式中，在聊天信息包括当前聊天信息、表情图像和历史聊天信息时，可以根据历史聊天信息对应的情绪和预设的第一权重、表情图像对应的情绪和预设的第二权重，以及当前聊天信息对应的情绪和预设的第三权重，进行加权求和，得到目标情绪。
需要说明的是，上述权重可以基于用户的使用情况，例如用户偏好发送表情图像，则可以将表情图像对应的权重设置的高于当前聊天信息和历史聊天信息对应的权重；另外，当前聊天信息更能体现历史聊天信息用户当前的情绪，故可以将当前聊天信息对应的权重设置的高于历史聊天信息对应的权重。上述权重还可以由用户自己设置。
在本实现方式中，可以基于当前聊天信息、表情图像和历史聊天信息对应的情绪和权重，以实现对目标情绪的准确确定。
在本实施例的一些可选的实现方式中，该即时通讯方法还包括：响应于接收到对表情图像的触发操作，通过从文本到语音播放目标音频。
在本实现方式中，在发送待传输信息之后，可以对表情图像进行触发操作，以通过从文本到语音(Text To Speech，TTS)播放目标音频。其中，触发操作可以包括按压操作或滑动操作，例如，单击、双击、左滑、右滑。
在一个具体的示例中，表情图像为“哈哈”，通过tts播放“哈哈”对应的音频。
在本实现方式中，在接收到表情图像的触发操作时，可以通过tts播放目标音频，促进了人机交互，使得即时通讯过程中趣味性，提高了用户体验。
为了便于理解，下面提供可以实现本申请实施例的即时通讯方法的应用场景。如图3所示，步骤301，第一客户端在接收到用户对表情图像的选择指令时，获取聊天信息；步骤302，第一客户端确定聊天信息对应的目标情绪；步骤303，第一客户端根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；步骤304，第一客户端根据表情图像和目标音频，确定待传输信息；步骤305，第一客户端向服务器发送待传输信息；步骤306，服务器向第二客户端发送待传输信息；步骤307，在接收到对表情图像的触发操作，通过tts播放目标音频。
在本申请实施例利用聊天信息中的聊天文本的情绪，确定聊天信息中的表情包与情绪对应的声音；之后，在接收到对表情包的触控操作时，播放该表情包对应的声音；这样，在保证第一客户端和第二客户端之间的信息传递，提高了即时通信的趣味性的同时，能够明显地表达发送信息方的情绪，提高了用户体验。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种即时通讯装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的即时通讯装置400可以包括：信息获取模块401，被配置成响应于接收到用户对表情图像的选择指令，获取聊天信息；第一确定模块402，被配置成确定聊天信息对应的目标情绪；第二确定模块403，被配置成根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；第三确定模块404，被配置成根据表情图像和目标音频，确定待传输信息；信息发送模块405，被配置成将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端。
在本实施例中，即时通讯装置400中：信息获取模块401、第一确定模块402、第二确定模块403、第三确定模块404和信息发送模块405的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明，在此不再赘述。其中，第一确定模块402、第二确定模块403和第三确定模块404可以为相同的模块，也可以为不同的模块。
在本实施例的一些可选的实现方式中，多个音频与表情图像具有映射关系，多个音频对应的情绪不同。
在本实施例的一些可选的实现方式中，第二确定模块403，被进一步配置成：根据目标情绪，从与表情图像具有映射关系的多个音频中，匹配与目标情绪对应的目标音频。
在本实施例的一些可选的实现方式中，聊天信息包括以下至少一项：表情图像、历史聊天信息、当前聊天信息。
在本实施例的一些可选的实现方式中，若聊天信息包括：当前聊天信息，以及表情图像和/或历史聊天信息；以及
第三确定模块404，进一步被配置成：根据表情图像、目标音频和当前聊天信息，确定待传输信息。
在本实施例的一些可选的实现方式中，若聊天信息包括：当前聊天信息、表情图像和历史聊天信息；以及
第一确定模块402，进一步被配置成：根据历史聊天信息对应的情绪和预设的第一权重、表情图像对应的情绪和预设的第二权重，以及当前聊天信息对应的情绪和预设的第三权重，确定目标情绪。
在本实施例的一些可选的实现方式中，该即时通讯装置还包括：音频播放模块(图中未示出)，被配置成响应于接收到对表情图像的触发操作，通过从文本到语音播放目标音频。
根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本申请的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，设备500包括计算单元501，其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序，来执行各种适当的动作和处理。在RAM 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如即时通讯方法。例如，在一些实施例中，即时通讯方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时，可以执行上文描述的即时通讯方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行即时通讯方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
根据本申请的技术方案，首先响应于接收到用户对表情图像的选择指令，获取聊天信息；而后确定聊天信息对应的目标情绪；而后根据目标情绪，从预设的多个音频中确定与表情图像和目标情绪对应的目标音频；而后根据表情图像和目标音频，确定待传输信息；最后将待传输信息发送给服务器，以使服务器将待传输信息传输至目标客户端；本申请实施例在保证了信息传递，提高了即时通讯的趣味性的同时，能够明显地表达发送信息方的情绪，提高了用户体验。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (17)

1.一种即时通讯方法，包括：
响应于接收到用户对表情图像的选择指令，获取聊天信息；
确定所述聊天信息对应的目标情绪；
根据所述目标情绪，从预设的多个音频中确定与所述表情图像和所述目标情绪对应的目标音频；
根据所述表情图像和所述目标音频，确定待传输信息；
将所述待传输信息发送给服务器，以使所述服务器将所述待传输信息传输至目标客户端。
2.根据权利要求1所述的方法，其中，所述多个音频与所述表情图像具有映射关系，所述多个音频对应的情绪不同。
3.根据权利要求2所述的方法，其中，所述根据所述目标情绪，从预设的多个音频中确定与所述表情图像和所述目标情绪对应的目标音频，包括：
根据所述目标情绪，从与所述表情图像具有所述映射关系的多个音频中，匹配与所述目标情绪对应的目标音频。
4.根据权利要求1-3任一项所述的方法，其中，所述聊天信息包括以下至少一项：所述表情图像、历史聊天信息、当前聊天信息。
5.根据权利要求4所述的方法，其中，若所述聊天信息包括：当前聊天信息，以及表情图像和/或历史聊天信息；以及
所述根据所述表情图像和所述目标音频，确定待传输信息，包括：
根据所述表情图像、所述目标音频和所述当前聊天信息，确定待传输信息。
6.根据权利要求5所述的方法，其中，若所述聊天信息包括：当前聊天信息、表情图像和历史聊天信息；以及
所述确定聊天信息对应的目标情绪，包括：
根据所述历史聊天信息对应的情绪和预设的第一权重、所述表情图像对应的情绪和预设的第二权重，以及所述当前聊天信息对应的情绪和预设的第三权重，确定所述目标情绪。
7.根据权利要求1所述的方法，所述方法还包括：
响应于接收到对所述表情图像的触发操作，通过从文本到语音播放所述目标音频。
8.一种即时通讯装置，包括：
信息获取模块，被配置成响应于接收到用户对表情图像的选择指令，获取聊天信息；
第一确定模块，被配置成确定所述聊天信息对应的目标情绪；
第二确定模块，被配置成根据所述目标情绪，从预设的多个音频中确定与所述表情图像和所述目标情绪对应的目标音频；
第三确定模块，被配置成根据所述表情图像和所述目标音频，确定待传输信息；
信息发送模块，被配置成将所述待传输信息发送给服务器，以使所述服务器将所述待传输信息传输至目标客户端。
9.根据权利要求8所述的装置，其中，所述多个音频与所述表情图像具有映射关系，所述多个音频对应的情绪不同。
10.根据权利要求9所述的装置，其中，所述第二确定模块，被进一步配置成：
根据所述目标情绪，从与所述表情图像具有所述映射关系的多个音频中，匹配与所述目标情绪对应的目标音频。
11.根据权利要求8-10任一项所述的装置，其中，所述聊天信息包括以下至少一项：所述表情图像、历史聊天信息、当前聊天信息。
12.根据权利要求11所述的装置，其中，若所述聊天信息包括：当前聊天信息，以及表情图像和/或历史聊天信息；以及
所述第三确定模块，进一步被配置成：
根据所述表情图像、所述目标音频和所述当前聊天信息，确定待传输信息。
13.根据权利要求12所述的装置，其中，若所述聊天信息包括：当前聊天信息、表情图像和历史聊天信息；以及
所述第一确定模块，进一步被配置成：
根据所述历史聊天信息对应的情绪和预设的第一权重、所述表情图像对应的情绪和预设的第二权重，以及所述当前聊天信息对应的情绪和预设的第三权重，确定所述目标情绪。
14.根据权利要求8所述的装置，所述装置还包括：
音频播放模块，被配置成响应于接收到对所述表情图像的触发操作，通过从文本到语音播放所述目标音频。
15.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
CN202110126201.6A 2021-01-29 2021-01-29 即时通讯方法、装置、设备、存储介质以及程序产品 Active CN112910761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126201.6A CN112910761B (zh) 2021-01-29 2021-01-29 即时通讯方法、装置、设备、存储介质以及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126201.6A CN112910761B (zh) 2021-01-29 2021-01-29 即时通讯方法、装置、设备、存储介质以及程序产品

Publications (2)

Publication Number Publication Date
CN112910761A true CN112910761A (zh) 2021-06-04
CN112910761B CN112910761B (zh) 2023-04-21

Family

ID=76121006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126201.6A Active CN112910761B (zh) 2021-01-29 2021-01-29 即时通讯方法、装置、设备、存储介质以及程序产品

Country Status (1)

Country Link
CN (1) CN112910761B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114237395A (zh) * 2021-12-14 2022-03-25 北京百度网讯科技有限公司 信息处理方法、装置、电子设备及存储介质
CN116137617A (zh) * 2021-11-17 2023-05-19 腾讯科技（深圳）有限公司 表情包显示、关联声音获取方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080163074A1 (en) * 2006-12-29 2008-07-03 International Business Machines Corporation Image-based instant messaging system for providing expressions of emotions
US20090125806A1 (en) * 2007-11-13 2009-05-14 Inventec Corporation Instant message system with personalized object and method thereof
CN105989165A (zh) * 2015-03-04 2016-10-05 深圳市腾讯计算机***有限公司 在即时聊天工具中播放表情信息的方法、装置及***
CN109885713A (zh) * 2019-01-03 2019-06-14 刘伯涵 基于语音情绪识别的表情图像推荐方法以及装置
CN110830368A (zh) * 2019-11-22 2020-02-21 维沃移动通信有限公司 即时通讯消息发送方法及电子设备
CN111835617A (zh) * 2019-04-23 2020-10-27 阿里巴巴集团控股有限公司 用户头像调整方法、装置及电子设备
CN112016367A (zh) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 一种情绪识别***、方法及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080163074A1 (en) * 2006-12-29 2008-07-03 International Business Machines Corporation Image-based instant messaging system for providing expressions of emotions
US20090125806A1 (en) * 2007-11-13 2009-05-14 Inventec Corporation Instant message system with personalized object and method thereof
CN105989165A (zh) * 2015-03-04 2016-10-05 深圳市腾讯计算机***有限公司 在即时聊天工具中播放表情信息的方法、装置及***
CN109885713A (zh) * 2019-01-03 2019-06-14 刘伯涵 基于语音情绪识别的表情图像推荐方法以及装置
CN111835617A (zh) * 2019-04-23 2020-10-27 阿里巴巴集团控股有限公司 用户头像调整方法、装置及电子设备
CN112016367A (zh) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 一种情绪识别***、方法及电子设备
CN110830368A (zh) * 2019-11-22 2020-02-21 维沃移动通信有限公司 即时通讯消息发送方法及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116137617A (zh) * 2021-11-17 2023-05-19 腾讯科技（深圳）有限公司 表情包显示、关联声音获取方法、装置、设备及存储介质
WO2023087888A1 (zh) * 2021-11-17 2023-05-25 腾讯科技（深圳）有限公司 表情包显示、关联声音获取方法、装置、设备及存储介质
CN116137617B (zh) * 2021-11-17 2024-03-22 腾讯科技（深圳）有限公司 表情包显示、关联声音获取方法、装置、设备及存储介质
CN114237395A (zh) * 2021-12-14 2022-03-25 北京百度网讯科技有限公司 信息处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112910761B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
CN110347792B (zh) 对话生成方法及装置、存储介质、电子设备
US20210118424A1 (en) Predicting personality traits based on text-speech hybrid data
CN111966800B (zh) 情感对话生成方法、装置及情感对话模型训练方法、装置
CN111428010B (zh) 人机智能问答的方法和装置
US20240021202A1 (en) Method and apparatus for recognizing voice, electronic device and medium
CN115309877B (zh) 对话生成方法、对话模型训练方法及装置
CN110808034A (zh) 语音转换方法、装置、存储介质及电子设备
CN114895817B (zh) 交互信息处理方法、网络模型的训练方法及装置
CN113450759A (zh) 语音生成方法、装置、电子设备以及存储介质
CN114416934A (zh) 多模态的对话生成模型的训练方法、装置及电子设备
CN113160819B (zh) 用于输出动画的方法、装置、设备、介质和产品
CN113157874B (zh) 确定用户的意图的方法、装置、设备、介质和程序产品
CN112910761B (zh) 即时通讯方法、装置、设备、存储介质以及程序产品
CN112100353A (zh) 人机对话方法及***、计算机设备及介质
CN115050354B (zh) 数字人驱动方法和装置
CN112765971A (zh) 文本语音的转换方法、装置、电子设备及存储介质
CN114429767A (zh) 视频生成方法、装置、电子设备以及存储介质
CN117033582A (zh) 对话模型的训练方法、装置、电子设备和存储介质
CN113468857B (zh) 风格转换模型的训练方法、装置、电子设备以及存储介质
CN114547244A (zh) 用于确定信息的方法和装置
CN112633004A (zh) 文本标点符号删除方法、装置、电子设备和存储介质
CN110688470B (zh) 用于发送信息的方法和装置
CN110781327B (zh) 图像搜索方法、装置、终端设备及存储介质
CN112860995A (zh) 交互方法、装置、客户端、服务器以及存储介质
CN112785667A (zh) 视频生成方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant