CN117546132A - 通过组合后续数据生成合成图像 - Google Patents

通过组合后续数据生成合成图像 Download PDF

Info

Publication number
CN117546132A
CN117546132A CN202280040845.6A CN202280040845A CN117546132A CN 117546132 A CN117546132 A CN 117546132A CN 202280040845 A CN202280040845 A CN 202280040845A CN 117546132 A CN117546132 A CN 117546132A
Authority
CN
China
Prior art keywords
user
image
message
composite image
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040845.6A
Other languages
English (en)
Inventor
S·R·库恩多尔
N·G·A·努扎奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN117546132A publication Critical patent/CN117546132A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/08—Annexed information, e.g. attachments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G06F40/16—Automatic learning of transformation rules, e.g. from examples
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于组合通信流中的后续数据的方法和***，包括：接收关于选择通信线程中的第一图像的指示，以及识别与第一用户相关联的用户属性设置。基于一个或多个合成图像生成规则，所述方法包括：确定所选择的第一图像适合于转换为合成图像。所述方法还包括：访问与第二用户相关联的用户属性设置，以及基于所选择的第一图像以及第一用户和第二用户的用户属性设置来生成合成图像。然后所生成的合成图像被使得显示在通信线程中。

Description

通过组合后续数据生成合成图像
技术领域
本公开总体上涉及根据一些实施例的用于组合通信流中的后续数据的方法和***。
背景技术
软件技术和硬件技术的使用已经成为两个或更多人之间沟通的常见方法。如今，即时消息传递或聊天应用已成为与其他人保持联系的主要方式之一。然而，此类虚拟消息缺乏传达面对面互动中可感知的情感和细微人类行为的能力。
发明内容
使用电子设备，两人或更多人之间的通信几乎可以立即发生。尽管技术进步使人们能够以令人印象深刻的速度和可靠性发送和接收文本、图像、音频和其他电子媒体，但虚拟交互仍然会让人感觉乏味和缺乏人情味。为了帮助人们之间通过电子媒体建立人际联系，本文设想了通过通信线程内的各种机制提供令人愉快的体验的方法和***。
本公开的实施例包括用于根据通信流中的后续数据生成聊天中的动画的方法和***。计算机***包括一个或多个处理器、存储计算机可执行指令的存储器，所述计算机可执行指令当被执行时，使一个或多个处理器执行以下操作：分析来自第一用户的第一消息和来自第二用户的第二消息，其中，第一消息和第二消息与同一对话组相关联。基于该分析，该方法包括：识别与第一消息相关联的第一上下文和与第二消息相关联的第二上下文。该方法包括：基于一个或多个规则来确定第一上下文、第二上下文或者第一上下文和第二上下文满足要显示动画的预设动画条件，这些规则标识与第一上下文和第二上下文相对应的动画序列。响应于确定要显示动画，基于动画序列和来自第一消息和第二消息中的至少一个消息的内容生成动画并且使得动画被显示。
在一些示例中，对话组包括两个或更多个参与者之间的一系列相关消息。对话组包括聊天室、聊天线程、SMS对话、电子邮件线程、即时消息、媒体文件传输、视频通话、频道讨论等。
本公开的附加实施例包括一种用于根据通信流中的数据和/或偏好生成聊天中的综合图像的方法和***。计算机***包括一个或多个处理器、存储计算机可执行指令的存储器，所述计算机可执行指令当被执行时，使得一个或多个处理器执行以下操作：接收关于第一用户选择第一图像以在通信线程中传输给第二用户的指示；从第一用户的存储的简档数据结构中识别与第一用户相关联的用户属性设置；基于一个或多个合成图像生成规则来确定所选择的第一图像适合于转换为合成图像。根据确定所选择的第一图像适合于转换，从相应的第一用户和/或第二用户的存储的简档数据结构访问与第一用户、第二用户或者第一用户和第二用户二者相关联的用户属性设置，并且基于所选择的第一图像、与第一用户、第二用户或者第一用户和第二用户二者相关联的用户属性设置来生成合成图像，以及使得合成图像被显示在通信线程中。
此外，所要求保护的主题可以被实现为使用标准编程和工程技术来产生软件、固件、硬件或其任何组合以控制计算设备来实现所公开的主题的方法、装置或制品。如本文所使用的术语“制品”旨在涵盖可从任何计算机可读存储设备或介质访问的计算机程序。计算机可读存储介质可以包括但不限于磁存储设备，例如硬盘、软盘、磁条、光盘、压缩盘(CD)、数字多功能盘(DVD)、智能卡、闪存设备等。相反，计算机可读介质(即，非存储介质)可以另外包括通信介质，例如用于无线信号的传输介质等。
提供本发明内容以便介绍一组构思，这组构思将在以下的具体实施方式中做进一步描述。本发明内容并非旨在标识所保护的主题的关键特征或必要特征，也不旨在用于限制所保护的主题的范围。
附图说明
下文将结合附图描述所公开的方面，这些附图被提供用以说明而非限制所公开的方面。
图1是根据一些实施例的用于组合通信流中的数据的示例性计算机***的框图。
图2A-2C示出了根据一些实施例的用于组合通信流中的数据的用户接口的视图。
图3A-3C示出了根据一些实施例的用于组合通信流中的后续数据的第二示例性用户接口应用的视图。
图4A-4E示出了根据一些实施例的用于组合通信流中的数据的第三示例性用户接口应用的视图。
图5示出了根据一些实施例的用于组合通信流中的数据以生成动画的泳道(swim-lane)流程图。
图6示出了根据一些实施例的用于组合通信流中的数据以生成动画的方法。
图7A-7B示出了根据一些实施例的第一示例性综合图像和第二示例性综合图像。
图8示出了根据一些实施例的用于组合通信流中的数据以生成综合图像的方法。
图9是描绘实施例可以在其中操作的环境的示例性联网***的框图。
图10是实现一个或多个示例性实施例的计算机***的框图。
具体实施方式
在诸如短信和视频通话之类的通信源中发送和接收的图像和表情符号可以提供有用的情感反馈来帮助通信。然而，传统的图像和文本消息缺乏允许进一步情感联系和反馈的功能。传统应用中的图像和表情符号按顺序呈现(例如，按照它们被发送的顺序)，并在通信流中分开放置。当前的技术没有提供使图像和表情符号交互和组合的方式。在基于通信线程的接收到的通信内容创建自动化的、上下文感知的补充通信时存在技术问题。传统***不提供用于基于通信流内的通信的上下文来准确地识别要在通信流内自动提供的补充通信的解决方案。此外，传统***仅提供需要用户手动输入的预定的、可选择的图像菜单。本文设想的技术解决方案提供了用于基于通信上下文来识别要在通信流内提供的适当***生成的图像或动画而无需人工或手动输入的自动***。
计算机实现的***通过实现基于消息的上下文来识别是否生成动画的解决方案，为上述技术问题提供了技术解决方案。通过执行涉及规则、自然语言处理和/或机器视觉的上下文识别过程以不仅识别消息的内容，而且识别消息的上下文，计算机实现的***能够提供关于提供自动化动画的技术效果，所述自动化动画在消息的上下文内是适合的。
对于通信而言，存在进一步的技术问题，即个体可能基于他们自己的各种属性而对他们的图像的外观和感觉有偏好。由于这些偏好的激增，用于选择不同可用图像(例如表情符号)的菜单可能变得冗长且繁琐。此外，为以两个用户的表示为特征的图像提供定制偏好(例如，两个用户拥抱的表情符号)可能会使可用选项的数量骤增。对于小型设备的用户来说，这可能很难选择并且可能占用巨大的屏幕空间，或者需要浏览许多菜单。
另外，所述设备通过使用合成图像生成规则，根据指定何时以及在何种情况下基于通信中的参与者的属性生成合成图像的规则来确定何时自动生成合成图像以及何时不自动生成合成图像，从而提供了上述技术问题的技术解决方案。这使得用户不必浏览多个子菜单，并且还可以节省较小设备上的屏幕空间。此外，通过不必包括用于向用户提供这些选择技术的指令并且不必显示那些选择方法，这节省了这些设备的计算资源。
本发明通过提供一种体现在与计算机一起使用用于基于上下文生成动画和合成图像的计算机软件中的集成方法来克服传统***的缺陷，从而允许以前无法实现的高效且沉浸式的对话体验。
另外，随着计算机***在通信和带宽方面的改进，利用自动化***的能力来组合通信流中的数据以生成提供有用的情感联系和反馈以帮助通信的动画和/或综合图像是有利的。
应当理解，该解决方案不仅仅保留用于组合通信流中的数据，而且可以包括向用户提供内容和/或消息的任何应用。
现在将参考若干示例性实施方式来讨论本发明主题。应当理解，讨论这些实施方式是为了使本领域技术人员更好地理解并从而实施本公开的实施例，而不是对本公开的范围进行任何限制。
本文公开的示例涉及方法、包括若干模块的装置以及包括一个或多个处理器和存储器的装置，存储器中体现有用于组合通信流中的数据的可执行指令。
已经大体上提供了所公开的一些示例的概述，现在请注意附图以进一步说明一些附加细节。提供图示的配置和操作序列以帮助读者理解所公开的示例的一些方面。附图并不意味着限制所有示例，因此一些示例可以包括不同的组件、设备或操作序列，而不脱离本文所讨论的所公开的示例的范围。换句话说，一些示例可以以与所示的方式不同的方式来体现或起作用。
应当指出的是，上述一个或多个方面包括在下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细阐述了一个或多个方面的某些说明性特征。这些特征仅指示可以采用各个方面的原理的各种方式，并且本公开旨在包括所有这样的方面及其等同物。
另外，应当注意，表情符号和表情图示在本文中都被称为图像，并且本文描述的主题适用于具有表情符号和表情图示二者以及其他图像或图像表示的消息。表情符号是描绘各种对象的静态或动画图像、符号或图标。图像由用户(从列表中或使用快捷键序列)选择，并作为代码(例如统一的字符编码标准(Unicode)代码)传输到对话中的另一设备。该另一设备将代码解释为表情符号图像并显示表情符号。表情图示是由近似对象的字符(例如键盘字符)组合的组成的图像。示例性表情图示包括面部表情，例如近似笑脸的笑脸表情图示:)。在一些示例中，表情符号和表情图示可以用于表达或传达情感。
图1示出了根据一些实施例的用于组合通信流中的数据的示例性计算机***的框图。***100通过与用户设备102通信的通信引擎服务器114为用户设备102的用户112提供服务。用户设备102的用户112可以直接与用户设备116的用户118通信或通过通信引擎服务器114与用户设备116的用户118通信。用户设备102和用户设备116可以交换消息，所述消息包括基于文本的消息、动画、图像、超链接、音频剪辑、视频剪辑等。此外，可以存在图1中未示出的与用户设备102和/或用户设备116通信的更多用户设备，这些设备还可以与用户设备102和/或用户设备116交换消息。
用户设备102包括通信模块104，其可以用于经由通信引擎服务器114的通信引擎服务器114在用户设备之间传送消息。用户设备102的通信模块104可以包括图像模块106、显示模块108和配置模块110等等。用户设备102可以包括图1中未示出的各种其他模块和子模块。图像模块106可以用于在通信模块104内接收、发送和存储与图像有关的消息。图像模块106还可以包括由用户设备102拍摄或存储在用户设备102上的用户112的图像的存储库。图像可以包括表情符号、表情图示、照片、图画等。
显示模块108被配置为显示用户设备102上的通信模块104内的消息(和其他视觉内容)。
配置模块110被配置为维护设备和/或用户特定设置，所述用户特定设置包括选择的图像设置和用户属性设置。用户属性设置可以包括肤色、眼睛颜色、头发颜色、身高、体重以及可以由用户选择或代表用户选择的各种其他用户定义特征(例如，由通信引擎服务器114自动选择的)。用户属性设置可以被存储在用户简档数据结构中。
例如，用户112具有亚洲血统并且选择色调3的肤色设置。所选择的肤色设置可以被存储在配置模块110中并且用于调整基线图像肤色以匹配用户所选择的肤色。微笑的表情符号可以具有色调1的基线肤色色调，但是当被用户112选择使用时，微笑的表情符号被更新为具有肤色色调3。
生成动画以供显示
图2A示出了根据一些实施例的用于组合通信流中的数据的用户接口的视图。用户设备200的用户接口的第一视图包括提供与一个或多个人通信的接口的通信平台(例如，对话组的聊天窗口)的示例性视图。用户设备200的用户在通信流中发送数据作为表情符号202。表情符号202显示亲吻的脸的图像(例如表情符号或动画)。
图2B示出了根据一些实施例的用于组合通信流中的数据的中间用户接口。图2B中的用户设备200的用户接口的第二视图示出了“Nico Nuzzaci”在通信平台内进行响应。响应于用户的表情符号202，通过通信平台接收第二表情符号204。第二表情符号204是与表情符号202相同的表情符号并且显示亲吻的脸的图像(例如表情符号或动画)。通信引擎服务器(例如，图1的通信引擎服务器114)接收通信流中的两个数据(例如，表情符号202和第二表情符号204)。基于通信流内的上下文和一个或多个规则，通信引擎服务器生成动画以供通信流中的两个参与者显示。在一些实施例中，通信流中有两个以上的参与者，并且每个参与者设备接收动画以供显示。例如，两个表情符号亲吻。
通信引擎服务器(例如，图1的通信引擎服务器114)接收通信流中的两个数据(例如，表情符号202和第二表情符号204)。基于通信流内的上下文，通信引擎服务器生成动画以供通信流中的两个参与者显示。例如，上下文可以接收预定数量的消息内的两个表情符号。
在另一示例中，可以使用自然语言处理或其他合适的语言处理或图像处理方法来辨别上下文以识别通信流的题材或主题。通信流可以包括关于生日聚会的消息。通信引擎服务器被配置为解析消息并识别消息的内容可能与聚会或庆祝相关。一个或多个规则可以识别对于关于聚会或庆祝的对话，显示庆祝动画。在一些实施例中，通信流中有两个以上的参与者，并且每个参与者设备接收动画以供显示。
通信引擎服务器可以被配置为分别确定第一消息和第二消息的第一上下文和第二上下文。分析第一消息和第二消息中的每一个消息以基于消息的内容来确定该消息是关于什么的。在一些实施例中，如果消息是文本消息，则消息的上下文通过消息的内容确定。如果消息是图像消息(例如，表情符号)，则可以通过使用将表情符号分成各种上下文的查找表来确定上下文。在一个示例中，接收到的图像消息是哭脸的表情符号。哭脸表情符号被预先确定为具有悲伤情绪的上下文。在另一示例中，如图2A所示，Nico接收表情符号202，即亲吻的脸的表情符号。通信引擎服务器可以基于亲吻的表情符号，将第一消息的上下文辨别为深情消息。随后，在图2B中作为表情符号204接收到的第二消息是另一个亲吻的脸的表情符号。第二消息的上下文也被确定为深情消息。然后，通信服务器可以使用一个或多个定义的规则来确定第一消息(表情符号202)的第一上下文和第二消息(表情符号204)的第二上下文满足动画条件。例如，条件可以是在它们之间的指定数量的消息内接收到带有深情图像或内容的两条消息。可以使用自然语言处理(NLP)算法，根据消息的文本、表情符号或表情图示的分类和/或类似物来确定上下文。
在一些示例中，第一消息可以是基于文本的消息，例如“我爱你”，其被NLP算法(或其他分类器)确定为深情的，并且第二消息可以是亲吻的脸的表情符号——其被***分类作为深情表情符号。***可以确定两条消息是在彼此预定数量的消息内发送的，并且可以发起亲吻的动画。动画可以包括亲吻的脸的表情符号，并且可以包括代表键入“我爱你”消息的人的默认表情符号，或者可以包括该人最后使用的相同类型的表情符号(例如，亲吻的脸)。因此，通信引擎服务器使用一个或多个上下文定义的规则来识别与第一消息和第二消息的第一上下文和第二上下文相对应的适当的动画序列。
图2C示出了根据一些实施例的用于组合通信流中的数据的示例性用户接口。图2C中的用户设备200的用户接口的第三视图示出了生成的动画206的显示。生成的动画206是基于(参考图5-6更详细讨论的)一个或多个触发条件和动画指令创建的。动画是基于由一个或多个定义的规则定义的动画序列来生成的，并且可以包括来自第一消息和第二消息中的至少一个消息的内容。例如，第一消息和第二消息的分析的上下文触发基于规则的动画的生成。第一消息的内容用于生成的动画中。第二消息的内容可以是也可以不是所生成的动画的一部分。在一些实施例中，生成的动画206包括相应的音频剪辑。音频剪辑可以包括亲吻的声音和与动画的结束相对应的结尾。
图3A-3C示出了根据一些实施例的用于组合通信流中的数据的第二示例性用户接口的视图。用户设备300包括通信平台的第二示例性视图(例如，聊天窗口)并且可以是用户接口200的扩展。类似于图2A-2C中的交互，用户设备300的用户接收消息302，即马提尼杯的表情符号。通信引擎服务器可以确定消息302和消息304的上下文以确定是否要生成动画。
作为回应，在图3B中，用户设备300的用户发送消息304，即啤酒杯的表情符号。通信引擎服务器分析消息并确定每个消息的上下文。通信引擎服务器还可以分析先前消息的内容以更好地理解消息302和304的上下文。基于先前文本消息的内容，消息302和消息304的上下文指示成人饮料和社交互动。基于发送/接收的表情符号的对话的上下文(例如，成人饮料、社交互动、鸡尾酒、烈酒、酒精饮料)，通信平台在图3C中显示使用消息304和消息306生成的动画。在一些实施例中，动画包括杯子相碰发出叮当声的相应音频剪辑。
可以包括附加的动画特征，例如向后倾斜的表情符号和从表情符号中排出液体以及相应的饮用声音的音频剪辑。在一些实施例中，消息304和消息306的动画包括相应的附加或辅助动画。例如，消息304和消息306碰在一起发出叮当声并且用户接口的背景改变颜色，包括五彩纸屑爆裂动画或其他合适的附加/辅助动画。
图4A-4E示出了根据一些实施例的用于组合通信流中的后续数据的第三示例性用户接口的视图。用户设备400包括通信平台的第三示例性视图(例如，聊天窗口)并且可以是用户接口200和/或用户接口300的扩展。图4A显示从用户“Sam Cundall”接收的指示“正面还是反面？”的第一文本消息402。在图4B中作为响应，第二消息404响应“反面”。基于消息的文本和上下文，通信引擎服务器114确定对话正在尝试使用随机生成器来确定结果。
图4C显示与通信平台上发生的对话的上下文相对应的硬币翻转动画406。动画在图4D处继续呈现为硬币翻转动画408在正面和反面之间循环。硬币翻转动画408的最终结果显示在图4E中。硬币翻转动画结果410与叫出反面的用户的简档图片和竖起大拇指的表情符号一起显示。
在一些实施例中，通信平台通过将通信流中的第一消息和第二消息与预定动画表交叉引用来确定何时显示动画。如果第一消息和第二消息属于动画类别，则通信平台使用第一消息和第二消息生成动画。例如，打斗动画简档就是用于生成打斗动画的模板。通信平台将第一消息识别为愤怒的脸的表情符号，并且将第二消息识别为拳击的表情符号。第一消息和第二消息与打斗动画简档的模板匹配，并且使用愤怒的脸的表情符号和拳击的表情符号来显示相应的打斗动画。
在一些其他实施例中，将第一消息和第二消息与预先指定的动画表进行比较。该表包括用于来自参与者A的消息的一列以及用于来自参与者B的消息的另一列。针对来自参与者A和参与者B的消息的各种组合识别不同类型的动画。生成的动画是所产生的来自参与者A和参与者B的消息的组合。
又例如，三个用户在通信平台上进行群聊，并且希望决定群聊中的谁选择一家餐厅用餐。对话包括诸如“你选”和“石头、剪刀、布”之类的关键词或相应的石头、剪刀和布的表情符号。用户1发送石头的消息，用户2发送剪刀的消息，并且用户3发送剪刀的消息。通信引擎服务器114确定群聊正在尝试确定随机结果并提供石头、剪刀、布大战的动画。在每个用户指示了各自的行动之后，不显示每个用户选择的行动的消息，并且显示石头、剪刀、布大战的最终获胜者以供每个用户查看。
图5示出了根据一些实施例的用于组合通信流中的后续数据的泳道流程图。方法500可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，处理设备、电路、专用逻辑、可编程逻辑、微代码、设备的硬件、集成电路等)、软件(例如，在处理设备上运行或执行的指令)或其组合。尽管以特定序列或顺序示出，但除非另有说明，否则可以修改过程的顺序。因此，所示的实施例应当仅被理解为示例，并且所示的过程可以以不同的顺序执行，并且一些过程可以并行地执行。另外，在各个实施例中可以省略一个或多个过程。因此，并非每个实施例都需要所有过程。其他过程流也是可能的。
方法500开始于操作502处，设备1的用户向设备2发送消息。在操作504处，通信服务器从设备1接收消息。通信服务器可以被配置为将消息从设备1转发或发送到设备2。在操作506处，设备2从设备1接收消息。
响应于从设备1接收到的消息，设备2在操作508处将消息发送回设备1。来自设备2的消息在操作510处由通信服务器接收以转发到设备1。设备1在操作512处从设备2接收消息。在操作514处，通信服务器确定是否满足触发条件。触发条件可以由第一消息和第二消息二者确定，或者仅由第一消息或第二消息之一确定。在一些实施例中，如果不满足触发条件，则通信服务器在操作516处在方法结束处休息。
在一些实施例中，触发条件可以包括通信服务器执行字符串搜索/字符串匹配以确定消息中的任一者或二者是否包括一个或多个预定义词语。在消息是图像消息的一些实施例中，确定已经满足触发条件包括：确定图像消息的图像类别匹配。
出于示例目的，以下匹配触发动画：
啤酒的第一表情符号和啤酒或类似饮料的第二表情符号触发欢呼动画。
愤怒的脸的第一表情符号和愤怒的脸的第二表情符号或类似的愤怒情绪的图标触发两个表情符号争吵的动画。
手部的第一表情符号和手部的第二表情符号触发击掌动画。
亲吻的脸的表情符号的第一表情符号和亲吻的脸的第二表情符号触发两个表情符号亲吻的动画。
猴子的第一表情符号和猴子的第二表情符号触发两只猴子手牵手跳舞的动画。
如果通信服务器确定满足触发条件，则在操作518处，通信服务器生成动画。在操作520处，通信服务器在操作522和524处将所生成的动画分别发送到设备1和设备2。在一些示例中，可以使用发送的实际图像来创建动画。例如，动画模板可以将实际图像替换到动画中以产生最终动画。因此，饮料杯的第一表情符号和饮料杯的第二表情符号触发欢呼动画，其中玻璃杯碰在一起发出“叮当”声。玻璃杯可能不是完全相同的表情符号，但可能是同一类型的不同表情符号。例如，啤酒杯表情符号和马提尼杯表情符号可以产生啤酒杯与马提尼杯相碰发出叮当声的动画。
在一些实施例中，在操作520处，查阅表情符号和动画的预定义列表以确定是否发送动画。例如，包括第一消息标准和第二消息标准的匹配表被存储。如果接收到的第一消息落入第一消息标准内并且响应的第二消息落入第二消息标准内，则选择预定义动画并将其发送到设备。在一些实施例中，第一消息和第二消息被背对背地发送(没有任何中间消息)。在一些实施例中，第一消息和第二消息之间存在其他消息。例如，用户发送啤酒杯的第一表情符号和稍后的三个中间文本消息，第二用户发送葡萄酒杯的表情符号。虽然啤酒杯和葡萄酒杯之间存在三条中间短信，但是通信服务器可以生成啤酒杯和葡萄酒杯之间的敬酒动画。在一些实施例中，在生成动画之前可接受的中间消息的数量可以由用户、管理员或程序员来配置。在其他实施例中，当第一消息和第二消息之间存在中间消息时，或者当不满足对话的上下文时，不生成动画。例如，如果第一用户键入消息“我爱你”，则***可以确定深情上下文。如果对话中的第二用户用皱眉的表情符号进行响应，***可能会搜索针对带有感情和悲伤的消息上下文的规则。如果没有针对感情和悲伤上下文的规则，则不会生成动画。同样，如果第一用户键入消息“我爱你”，并且第二用户键入“我也爱你”，但第二用户的消息不在第一用户的“我爱你”的指定数量的消息之内，***可能不会生成动画。
另外，可以基于一个以上的消息来确定上下文。即，可以在用户发送的若干消息的过程中确定上下文。例如，***可以基于来自用户的消息来保存对话的当前上下文。如果当前上下文满足规则中指定的条件，则***可以显示动画。可以针对整个对话、针对对话的一条或多条消息、针对一个或多个用户(基于该用户的一条或多条消息)等来确定上下文。
如果表情符号的预定义列表包括第一消息是啤酒杯并且第二消息是马提尼酒，则啤酒杯和马提尼酒杯的动画被发送到设备。在另一示例中，如果第一接收到的消息包括说“兴奋”的文本并且第二接收到的消息是猴子的表情符号，则两只猴子手牵手跳舞的动画被发送到设备。
可以针对设备1和设备2之间的多个消息重复方法500的操作，并且还可以缩放方法500的操作以包括更多设备(例如，对于多达n个设备的群组消息)。
图6示出了根据一些实施例的用于组合通信流中的数据的方法600。方法600类似于方法500并且可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，处理设备、电路、专用逻辑、可编程逻辑、微代码、设备的硬件、集成电路等)、软件(例如，在处理设备上运行或执行的指令)或其组合。尽管以特定序列或顺序示出，但除非另有说明，否则可以修改过程的顺序。因此，所示的实施例应当仅被理解为示例，并且所示的过程可以以不同的顺序执行，并且一些过程可以并行地执行。另外，在各个实施例中可以省略一个或多个过程。因此，并非每个实施例都需要所有过程。其他过程流也是可能的。
根据一些实施例，方法600包括与方法500类似的操作，并且可以提供关于用于组合通信流中的数据的操作的进一步细节。
方法600开始于操作602，其中计算设备(例如，通信服务器)分析来自第一用户的第一消息和来自第二用户的第二消息。第一消息和第二消息均与同一对话组相关联。第一消息可以包括图像、文本、音频和/或动画。第二消息还可以包括图像、文本、音频和/或动画。
在操作604处，计算设备基于操作602的分析来识别与第一消息相关联的第一上下文和与第二消息相关联的第二上下文。上下文是指在消息的内容以及对话内的任何其他消息的基础上第一消息和第二消息所包括的内容。例如，第一消息是表情符号。上下文描述了表情符号代表什么，但不一定代表它是什么。亲吻的脸的表情符号可能代表爱和感情作为其“上下文”。在一些实施例中，在操作616处，识别第一上下文和第二上下文可以包括对第一消息和/或第二消息执行自然语言处理技术。类似地，在一些其他实施例中，在操作618处，识别上下文可以包括应用一个或多个机器视觉技术来识别第一消息和/或第二消息的图像内容。在一些实施例中，第一消息包括第一表情符号并且第二消息包括第二表情符号(操作620)。
在一些实施例中，计算设备在操作606处基于一个或多个规则来确定第一上下文和第二上下文的组合满足要显示动画的预设动画条件。该规则识别与第一上下文和第二上下文相对应的动画序列。
如关于图5所描述的，基于触发器或本文中以其他方式描述为规则来生成各种动画。这些规则用于确定第一消息的上下文和第二消息的上下文何时触发动画的生成。一个或多个规则用于确定消息的所识别的上下文是否满足预设动画条件。例如，规则1确定第一上下文是快乐消息，第二上下文是庆祝消息，则将生成动画(例如，满足预设的动画条件)。预设动画条件可以确定生成的动画使用第一消息和第二消息的内容来生成五彩纸屑***动画。
在一些实施例中，一个或多个规则确定第一消息和第二消息二者是否都是表情符号消息。在一些实施例中，一个或多个规则确定第一上下文和第二上下文不满足预设动画条件并且不生成动画。在不生成动画的场景中，计算设备可以继续执行方法600的步骤，直到确定消息的组合满足预设动画条件并生成动画。
在一些实施例中，确定一个或多个规则用于确定第一消息和第二消息二者都是表情符号。在一些实施例中，触发条件包括识别第一消息是预定类型的图像(例如，表情符号)，并且确定满足触发条件包括确定预定类型的图像包括相关联的动作(例如，生成动画))。
在一些实施例中，当第一消息包括触发词并且第二消息包括第二触发词时，一个或多个规则确定第一上下文和第二上下文的组合满足预设动画条件。例如，用户发送一条消息说“干杯！”(第一触发词)，并且另一用户回复“Kanpai”(第二触发词)。计算设备辨识出这两条消息都是庆祝性的。在一些实施例中，第一上下文和第二上下文之间的匹配用于确定是否要生成动画。例如，第一上下文被确定为快乐情绪，并且第二上下文被确定为兴奋情绪。当一个或多个规则没有指定第一上下文(例如，快乐情绪)和第二上下文(例如，兴奋情绪)的并集或组合满足预设动画条件时，不生成动画。在一些实施例中，训练机器学习模型来检测并确定对话组中的消息是否满足触发条件以生成动画以供显示。
在操作608处，计算设备基于动画序列和来自第一消息和第二消息中的至少一个消息的内容来生成动画。
在一些实施例中，生成动画包括：基于第一消息中的图像生成动画并且将第一图像的至少一部分包括在所生成的动画中。例如，如图2A所示，第一消息的第一图像(亲吻的表情符号)被生成为包括两个互相亲吻的亲吻的表情符号的动画。在一些实施例中，可以生成相应的音频剪辑(操作622)并将其与动画组合。生成的亲吻的表情符号动画可以包括相应的亲吻的音频剪辑。
在一些实施例中，动画指令与穿过第一设备和第二设备的显示屏幕的动画相对应。在一些实施例中，动画指令与在预定义时间段之后从第一设备和第二设备处的聊天的显示中移除的动画相对应。在一些实施例中，动画指令与在第一设备和第二设备处的聊天的显示上持续的动画相对应。
在生成了动画之后，使得动画被显示(操作610)。所生成的动画可以在各种客户端设备处的对话组内被显示。例如，对话组的第一用户和第二用户正在发送消息。基于本文描述的方法和***，生成动画。使得所生成的动画被显示或以其他方式提供以显示给对话组的第一用户和第二用户。在一些实施例中，对话组中存在两个以上的用户，并且对话组的每个用户接收要显示的动画。
在一些实施例中，在操作612处，计算设备分析来自第三用户的第三消息并且识别与第三消息相关联的上下文。然后，计算设备可以确定第一上下文、第二上下文和/或第三上下文(或者第一上下文、第二上下文和/或第三上下文的任意组合)满足用于生成第二动画的预设动画条件。第二动画被生成并被使得显示给第一用户、第二用户和/或第三用户。
在一些实施例中，在操作614处，计算设备分析来自第四用户的第四消息并且确定第三上下文和第四上下文不满足预设动画条件。第三消息和第四消息不生成动画，并且第三消息和第四消息被显示。在一些实施例中，第三消息和第四消息被使得显示给对话组的每个用户。
例如，第三上下文指示第三消息是愤怒消息，并且第四上下文指示第四消息是道歉消息。一个或多个规则可以指示上下文不满足用于生成动画的任何预设动画条件。在其他示例中，第三上下文和第四上下文可以不触发一个或多个规则中的任何一个规则(例如，上下文不在一个或多个规则的预定义选择标准内)。
生成合成图像以供显示
图7A示出了根据一些实施例的用于生成合成图像以供显示的图。通信平台包括半可定制的内置表情符号库。在一些实施例中，用户可以选择各种颜色配置，并且如果表情符号满足合成修改的标准，则可以更新表情符号。合成图像是基于一个或多个标准的基线图像的经编辑或经更新的版本。在一个实施例中，通过将来自一个以上的源的属性的设置应用到基线图像来修改基线图像，从而生成合成图像。步骤702示出了可用且可选择的肤色设置选项的范围。对于不选择使用可选择的肤色设置之一来个性化内置表情符号的用户，默认肤色设置是可用的。步骤704示出用户(例如，Nico)已经选择了第一肤色选项，并且第二用户(例如，Sam)已经选择了第二肤色选项。步骤706示出当第一用户或第二用户发送来自表情符号库的满足合成修改标准的表情符号时，在步骤708处，所显示的表情符号是包括第一用户和第二用户的所选择的肤色设置的个性化的、或合成的表情符号。在一些实施例中，当第一用户已经选择了肤色设置而第二用户没有选择肤色设置时，步骤708处显示的表情符号包括第一用户的默认肤色设置和所选择的肤色设置二者。在一些实施例中，表情符号不满足合成修改标准。例如，苹果的表情符号不满足合成修改标准，这是因为用户属性通常不用于修改苹果。相反，在一些示例中，描绘面部、人物和物体的表情符号可能有资格进行修改。
在一些实施例中，来自第一用户的存储的简档数据结构的与第一用户相关联的用户属性设置(例如，肤色)和/或来自第二用户的第二简档数据结构的与第二用户相关联的用户属性设置用于生成合成图像或动画以供显示。例如，类似于图2A-2C中生成和描述的动画，用户属性设置可以应用于所生成的动画。用户1(例如，Nico)的肤色可以被应用于亲吻的表情符号，并且用户2(例如，Sam)的另一肤色可以被应用于亲吻的表情符号。具有各自肤色的两个亲吻的表情符号都可以用作亲吻的动画的一部分(参见图2C)。
图7B是根据一些实施例的生成合成图像以供显示的进展的图示。通信平台可以接收消息710。响应于特定消息，可以接收反应消息728。反应消息728可以包括文本、图像、视频、表情符号和其他合适的响应消息类型。
例如，在多个用户(例如，6个用户)的群聊中，第一用户发送消息(例如，消息710)。响应于第一用户的消息，群聊的一个或多个其他用户可以使用反应(例如，反应消息728)进行响应。通信平台可以显示与第一消息(例如，表情符号)相对应的图像712。在一些实施例中，所显示的图像可以由用户在群聊内选择。所显示的图像可以接收来自群聊的反应。基于图像上接收到的反应的类型和数量，该图像被更新。例如，图像712已接收到一个“爱心”反应714。与接收到的“爱心”反应相对应，图像712包括一颗心形。在一些实施例中，图像712接收另一个“爱心”反应，使得“爱心”反应的总数达到两个。图像716反映了“爱心”反应的数量并且包括两颗心形。在一些实施例中，图像716接收到又一个“爱心”反应722并且图像720被更新以包括三颗心形。在一些实施例中，图像720接收到另外两个反应，第一反应是戴着太阳镜的笑脸的表情符号，并且另一反应是“爱心”反应。图像724被显示有一副太阳镜和四颗心形反应726。图像的尺寸也可以随着接收到每个反应而增大。一般而言，图像的一种或多种属性可以随着接收到反应而改变。
更新的表情符号在本文中可以被称为合成图像。在一些实施例中，使用各种其他反应来更新表情符号/合成图像。附加反应包括但不限于爱心、微笑、心形、拥抱、太阳镜笑脸、愤怒笑脸、心碎、向上竖大拇指、向下竖大拇指、感叹号和其他情绪反应。图8示出了根据一些实施例的用于通过组合通信流中的后续数据或用户属性来生成合成图像的方法800。方法800可以由处理逻辑来执行，该处理逻辑可以包括硬件(例如，处理设备、电路、专用逻辑、可编程逻辑、微代码、设备的硬件、集成电路等)、软件(例如，在处理设备上运行或执行的指令)或其组合。尽管以特定序列或顺序示出，但除非另有说明，否则可以修改过程的顺序。因此，所示的实施例应当仅被理解为示例，并且所示的过程可以以不同的顺序执行，并且一些过程可以并行地执行。另外，在各个实施例中可以省略一个或多个过程。因此，并非每个实施例都需要所有过程。其他过程流也是可能的。
方法800进行到操作802，其中计算设备接收关于第一用户选择第一图像以在通信线程中传输给第二用户的指示。在一些实施例中，第一图像是第一设备的第一用户的漫画表示(操作814)。在一些实施例中，第一图像是基线表情符号(操作816)。基线表情符号可以是从分类的可选择表情符号的菜单中选择的表情符号。基线表情符号可以是通信线程的任何用户可用的通用表情符号。在一些实施例中，所选择的第一图像是不适合于转换为合成图像的基线表情符号。诸如旗帜、数字、对象和位置之类的各种基线表情符号可以被预定义为没有资格或不适合于转换为一个或多个合成图像。诸如笑脸的表情符号之类的各种其他基线表情符号可以被预定义为对于转换是有资格的。在一些实施例中，表情符号和/或表情图示被分成适合于和不适合于转换为合成图像的表情符号列表。可以将第一用户选择的第一图像与适合的和不适合的表情符号的列表进行比较，以确定第一图像是否适合于转换为合成图像。另外，应当理解，第一图像可以是被转换为合成图像或动画的图像或表情图示。
在操作804处，计算设备从第一用户的存储的简档数据结构中识别与第一用户、第二用户或者第一用户和第二用户二者相关联的用户属性设置。例如，第一用户维护与通信线程(例如，Microsoft Teams聊天)相关联的用户简档。用户简档可以包括各种用户属性设置，包括但不限于用户的肤色、头发颜色、眼睛颜色或者由用户选择或为用户选择的其他特征。
在操作806处，计算设备基于合成图像生成规则来确定所选择的第一图像适合于转换为合成图像。在操作806之后，计算设备从第二用户的存储的简档数据结构访问与第一用户、第二用户或者二者相关联的用户属性设置(操作808)。
在操作810处，计算设备基于所选择的第一图像以及与第一用户、第二用户或者第一用户和第二用户二者相关联的用户属性设置来生成合成图像。在一些实施例中，所生成的合成图像包括第一用户的漫画表示的一部分、以及第一用户和/或第二用户的用户属性设置中的至少一个(操作818)。在一些实施例中，所生成的合成图像是基于第一用户和/或第二用户的用户属性设置的更新的第一图像(操作820)。
在生成了合成图像之后，计算设备使得合成图像被显示(操作812)。在一些实施例中，使得合成图像被显示包括禁止第一图像被显示，使得仅合成图像被显示(操作822)。在一些实施例中，第一图像由第一用户选择但不被显示。生成的合成图像被显示而不是第一图像。在一些实施例中，第一图像被显示。在生成了合成图像之后，第一图像可以被转变(例如，经由动画)为合成图像。例如，动画可以使第一图像变形为合成图像。
在一些实施例中，合成图像被使得显示在通信线程中的用户的多个设备上。例如，如果从包括第一设备、第二设备和第三设备的聊天对话接收第一图像，则生成的合成图像被发送到第一设备、第二设备和第三设备中的每一个设备。
在对话发生在两个以上用户之间的示例中，***可以使用对话的所有用户的属性或对话的子组的属性来确定应当创建合成图像并且生成合成图像。
图9描绘了示出用于收集和提供用户和环境数据的示例性客户端设备902的框图。在一些示例中，客户端设备902具有至少一个处理器908、收发器910、一个或多个呈现组件912、一个或多个输入/输出I/O端口914以及存储器926。
客户端设备902可以采取移动计算设备或任何其他便携式设备的形式，例如移动电话、膝上型计算机、平板计算机、计算板、笔记本、游戏设备、便携式媒体播放器等。客户端设备902还可以包括不太便携的设备，例如台式个人计算机、信息亭、桌面设备、工业控制设备等。其他示例可以将客户端设备902并入作为多设备***的一部分，其中两个单独的物理设备共享或以其他方式提供对计算设备902的示出的组件的访问。
处理器908可以包括任意数量的处理单元并且被编程为执行用于实现本公开的各方面的计算机可执行指令。指令可以由计算设备内的处理器或多个处理器执行或者由计算设备外部的处理器执行。在一些示例中，处理器908被编程为执行诸如附图5-6中所示的方法之类的方法。
另外地或替代地，一些示例可以使处理器908被编程为在用户接口(“UI”)，例如，图2-4中所示的UI，中呈现体验。此外，在一些示例中，处理器908可以表示用于执行本文描述的操作的技术的实施方式。
收发器910是能够发送和接收射频(“RF”)信号的天线。本领域技术人员将意识到并理解，可以使用各种天线和相应的芯片组来提供客户端设备902和其他远程设备之间的通信能力。然而，示例不限于RF信令，因为可以替代地使用各种其他通信模态。
呈现组件912在计算设备100上可视地或可听地呈现信息。呈现组件912的示例包括但不限于计算机监视器、电视、投影仪、触摸屏、电话显示器、平板显示器、可穿戴设备屏幕、电视、扬声器、振动设备，以及被配置为向用户显示、用语言传送或以其他方式指示图像搜索结果的任何其他设备。在一些示例中，客户端设备902可以是包括能够向用户播放可听搜索结果的扬声器的智能电话或移动平板计算机。在其他示例中，客户端设备902是汽车中的计算机，其通过汽车扬声器***可听地呈现搜索响应，在汽车中的显示屏上视觉地呈现搜索响应，或者它们的组合，汽车中的显示屏例如位于汽车的仪表板中，在头枕内，在下拉式屏幕上等。其他示例可以通过各种其他显示或音频呈现组件912来呈现所公开的搜索响应。
I/O端口914允许客户端设备902逻辑地耦合到其他设备和I/O组件914，其中一些可以构建到客户端设备902中，而其他可以在外部。具体到本文讨论的示例，I/O组件914包括麦克风918、一个或多个传感器920、相机922和触摸设备924。麦克风918捕获来自用户902的语音和/或用户904的语音或由用户904发出的语音。传感器920可以包括移动计算设备、电子玩具、游戏控制台、可穿戴设备、电视、车辆或其他计算设备902之上或之中的任意数量的传感器。此外，传感器920可以包括加速计、磁力计、压力传感器、光度计、温度计、全球定位***(“GPS”)芯片或电路、条形扫描仪、用于扫描指纹、掌纹、血液、眼睛等的生物识别扫描仪、陀螺仪、近场通信(“NFC”)接收器，或被配置为从用户702或环境捕获数据的任何其他传感器。相机722捕获用户904的图像或视频。触摸设备724可以包括触摸板、跟踪板、触摸屏或其他触摸捕获设备。所示的I/O组件914只是可以被包括在客户端设备100上的I/O组件的一个示例。其他示例可以包括附加的或替代的I/O组件914，例如声卡、振动设备、扫描仪、打印机、无线通信模块或用于捕获与用户或用户环境相关的信息的任何其他组件。
存储器926包括与计算设备902相关联或可由计算设备902访问的任意数量的存储器。存储器926可以在客户端设备902的内部，如图10所示，在客户端设备100外部，在图4中未示出，或者二者。存储器926的示例可以包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储器技术、CDROM、数字多功能盘(DVD)或其他光学或全息介质、盒式磁带、磁带、磁盘存储或其他磁存储设备、连线到模拟计算设备的存储器、或用于编码期望信息并供客户端设备902访问的任何其他介质。术语计算机可读介质、机器可读介质和存储设备不包括载波，原因在于载波被认为太短暂。存储器926还可以采用易失性和/或非易失性存储器的形式；可以是可移动的、不可移动的、或其组合；并且可以包括各种硬件设备，例如固态存储器、硬盘驱动器、光盘驱动器等。另外地或替代地，存储器926可以分布在多个客户端设备902上，例如在虚拟化环境中，其中指令处理在多个客户端设备902上执行。存储器926除了其他数据之外还存储各种设备应用，这些设备应用当由处理器908执行时操作以在计算设备100上执行功能。应用的示例可以包括搜索应用、即时消息传递应用、电子邮件应用程序、web浏览器、日历应用程序、地址簿应用程序、消息传递程序、媒体应用、基于位置的服务、搜索程序等。应用可以与诸如可经由网络906访问的web服务之类的对应应用或服务通信。例如，应用可以包括与在云中的远程服务器或计算设备上执行的服务器端应用相对应的客户端操作应用。
具体地，存储在存储器926中的指令包括通信接口应用928、用户接口应用930和流式传输应用932。在一些示例中，通信接口应用928包括用于操作网络接口卡和/或用于操作网络接口卡的驱动器的计算机可执行指令。客户端设备902和其他设备之间的通信可以使用任何协议或机制通过有线或无线连接或通过网络906进行。在一些示例中，通信接口应用928可使用诸如NFC标签、 品牌标签等电子标签利用RF和短程通信技术来操作。
在一些示例中，用户接口应用930包括用于向用户显示数据以及从用户接收数据的图形应用。用户接口应用930还可以包括用于操作图形卡以在呈现组件912上或通过呈现组件912显示搜索结果和相应的图像或语音的计算机可执行指令。用户接口应用930还可以与各种传感器920和相机922交互，以通过呈现组件912捕获和呈现信息。
图10是用于在客户端设备1002上提供图像搜索结果和推荐的联网环境1000的框图。联网环境1000可以包括多个客户端设备1002，或者如图9中所示的仅一个客户端设备1002，通过网络1006进行通信的图像生成引擎服务器1008。在一些示例中，用户和环境数据由客户端设备1002通过网络1006传送到图像生成引擎服务器1008，并且图像生成引擎服务器1008提供或促进为客户端设备1002的用户生成动画和/或合成图像。
图10所示的联网环境1000仅仅是一种合适的计算***环境的示例，并且并不旨在揭示对本文公开的示例的使用范围或功能的任何限制。所示联网环境1000也不应被解释为具有与任何单个组件、模块、索引或其组合相关的任何依赖性或要求。
网络1006可以包括任何计算机网络，例如互联网、专用网络、局域网(LAN)、广域网(WAN)等。网络1006可以包括各种网络接口、适配器、调制解调器和用于通信地连接客户端设备1002和图像生成引擎服务器1008的其他联网设备。网络1006还可以包括用于点对点连接的配置。计算机网络对于本领域技术人员来说是众所周知的，因此不需要在此详细讨论。
客户端设备1002可以是上面参考图1讨论的任何类型的客户端设备。每个客户端设备1002可以从它们各自的用户捕获用户和/或环境数据，并且通过网络1006将所捕获的用户和环境数据传送到图像生成引擎服务器1008。为此，每个设备可以配备有通信接口应用928，如上面参考图9所讨论的。作为响应，图像生成引擎服务器1008可以能够通过网络1006向客户端设备1002提供包括图像、视频、音频、文本和其他各种通信媒体的消息以及从客户端设备1002接收包括图像、视频、音频、文本和其他各种通信媒体的消息。
客户端设备1002可以配备有用于经由通信平台模块1012进行通信以组合通信流中的后续数据的各种软件应用和呈现组件912。例如，移动电话可以显示用于与朋友通信的通信平台(例如，Microsoft Teams应用)。通信平台包括基于通信的上下文生成动画和/或合成图像的特征。所示出的客户端设备和前述呈现机制并不是涵盖所有示例的详尽列表。客户端设备1002和呈现技术的许多不同变型可以用于采购和集成设备。
图像生成引擎服务器1008表示被配置为执行不同的web服务计算机可执行指令的服务器或服务器集合。图像生成引擎服务器1008包括用于处理可执行指令的处理器1004、用于通过网络1006进行通信的收发器1010以及包含至少以下可执行指令的存储器1014：通信平台模块1012、动画模块1016、匹配模块1020、触发模块1024和音频模块1026。存储器1014还可以包括用于存储库模块1028和递送模块1030的指令。虽然图像生成引擎服务器1008被示为单个框，但是本领域技术人员将意识到，事实上，图像生成引擎服务器1008可以是可扩展的。例如，图像生成引擎服务器1008可以包括操作软件的各个部分的多个服务器，其共同为客户端设备(例如，客户端设备1002)的用户生成动画和/或合成图像。
动画数据库1032提供Web、用户和环境数据的后端存储，这些数据可以由图像生成引擎服务器1008或客户端设备1002通过网络1006访问并且由图像生成引擎服务器1008用来组合通信流中的后续数据。存储在数据库中的Web、用户和环境数据包括例如但不限于用户简档1018、图像模块1022等。图像模块1022可以包括活动的、非活动的和未决的设备以及故障设备、需要维修的设备以及与关联于用户的网络和/或组织内的设备有关的其他信息的历史日志。另外，虽然为了清楚起见未示出，但是动画数据库1032的服务器可以包括它们自己的处理器、收发器和存储器。此外，联网环境1000将数据库1032描绘为与图像生成引擎服务器1008分离的设备的集合，然而，示例实际上可以将动画数据库1032中所示的所讨论的Web、用户和环境数据存储在图像生成引擎服务器1008上。
这里，“用户简档”是指电子存储的与用户相关的信息的集合。此类信息可能基于用户的明确同意或“选择加入”存储此类个人信息而被存储，这些信息包括用户的姓名、年龄、性别、身高、体重、人口统计资料、当前位置、居住地、公民身份、家庭、朋友、学业、职业、爱好、技能、兴趣、Web搜索、健康信息、生日、周年纪念日、庆祝节日、心情、用户状况以及与用户相关的任何其他个性化信息。用户简档包括静态简档元素，例如姓名、出生地等，以及随时间变化的动态简档元素，例如居住地、年龄、状况等。可以通过向用户询问问题或通过分析用户在一台或多台客户端设备上的行为来构建用户简档。
另外，用户简档1018可以包括个体用户的静态和/或动态数据参数。用户简档数据的示例包括但不限于用户的年龄、性别、种族、姓名、位置、兴趣、Web搜索历史、社交媒体连接和交互、购买历史、日常行为、工作或特定于用户的几乎任何唯一数据点。用户简档1018可以被扩展以涵盖用户生活的各个其他方面。
本公开涉及至少根据以下部分中提供的示例的用于组合数据流中的后续数据的***和方法：
(A1)在一个方面，一些实施例或示例包括在与网络(例如，网络906)进行数据通信的客户端设备(例如，用户设备102)处执行的方法。该方法包括：分析(例如，操作602)来自第一用户的第一消息和来自第二用户的第二消息，其中，第一消息和第二消息与同一对话组相关联。基于该分析，该方法包括：识别(例如，操作604)与第一消息相关联的第一上下文和与第二消息相关联的第二上下文。该方法包括：基于一个或多个规则来确定(例如，操作606)第一上下文和第二上下文满足要显示动画的预设动画条件，这些规则标识与第一上下文和第二上下文相对应的动画序列。在一些实施例中，规则确定在第一消息和第二消息之间是否已经接收和/或发送了阈值数量的消息。如果已经接收到阈值数量的消息，则规则可以确定第一消息和第二消息不满足预设动画条件。例如，第一消息是愤怒红脸的表情符号。第二消息可能是悲伤脸的表情符号。在第一消息和第二消息之间可能存在接收和发送的超过阈值的中间消息(例如，3条其他消息)。基于第一消息和第二消息之间的消息的数量，对话的上下文可以改变，并且计算设备可以被配置为当不满足预设动画条件时不生成动画。响应于确定要显示动画，基于来自第一消息和第二消息中的至少一个消息的动画序列和内容来生成(例如，操作608)动画，并且使得(例如，操作610)动画被显示。
(A2)在A1的一些实施例中，其中识别上下文包括：对第一消息和/或第二消息执行(例如，操作616)自然语言处理。
(A3)在A1-A2的一些实施例中，其中识别上下文包括：应用(例如，操作618)一个或多个机器视觉技术来识别第一消息和/或第二消息的图像内容。
(A4)在A1-A3的一些实施例中，其中第一消息包括第一表情符号并且第二消息包括第二表情符号(例如，操作620)；并且基于第一表情符号的类型来确定第一上下文，并且基于第二表情符号的类型来确定第二上下文。
(A5)在A1-A4的一些实施例中，其中动画包括第一表情符号和第二表情符号(参见图2C)。
(A6)在A1-A5的一些实施例中，其中动画序列包括用于生成与上下文相对应的音频剪辑(例如，操作622)的指令。
(A7)在A1-A6的一些实施例中，该方法包括：分析(例如，操作612)来自第三用户的第三消息，其中，第三消息与和第一消息和第二消息相同的对话组相关联。基于该分析，识别与第三消息关联的第三上下文，并且基于一个或多个规则来确定第一上下文、第二上下文和第三上下文满足要显示第二动画的预设动画条件。响应于确定要显示第二动画，基于来自第一消息、第二消息和第三消息中的至少一个消息的动画序列和内容来生成第二动画并且使得第二动画被显示。
(A8)在A1-A7的一些实施例中，该方法包括：分析(例如，操作614)来自第三用户的第三消息和来自第四用户的第四消息，其中，第三消息和第四消息与同一对话组相关联。基于该分析，识别与第三消息关联的第三上下文和与第四消息关联的第四上下文，并且基于一个或多个规则来确定第三上下文和第四上下文不满足要显示动画的预设的动画条件，并且使得第三消息和第四消息被显示。
(B1)在一个方面，一些实施例或示例包括在与网络(例如，网络906)进行数据通信的客户端设备(例如，用户设备102)处执行的方法。该方法包括：接收(例如，操作802)关于第一用户选择第一图像以在通信线程中传输给第二用户的指示；从第一用户的存储的简档数据结构中识别(例如，操作804)与第一用户相关联的用户属性设置；基于一个或多个合成图像生成规则来确定(例如，操作806)所选择的第一图像适合于转换为合成图像。根据确定所选择的第一图像适合于转换，从第二用户的存储的简档数据结构访问(例如，操作808)与第二用户相关联的用户属性设置，并且基于所选择的第一图像、与第一用户相关联的用户属性设置和与第二用户相关联的用户属性设置来生成(例如，操作810)合成图像，并且使得(例如，操作812)合成图像被显示在通信线程中。
(B2)在B1的一些实施例中，所选择的第一图像是基线表情符号(例如，操作816)，并且生成合成图像包括：利用与第一用户相关联的用户属性设置和与第二用户相关联的用户属性设置来修改(例如，操作820)基线表情符号的一个或多个基线属性。
(B3)在B1-B2的一些实施例中，该方法包括：接收关于第一用户选择第二图像以在通信线程中传输给第二用户的指示；基于一个或多个合成图像生成来确定所选择的第二图像不适合于转换为合成图像。根据确定所选择的第一图像不适合于转换，使得第二图像被显示在通信线程中。
(B4)在B1-B3的一些实施例中，使得合成图像被显示在通信线程中包括：禁止(例如，操作822)第一图像被显示在通信线程中。
(B5)在B1-B4的一些实施例中，使得合成图像被显示在通信线程中还包括：促使第一图像在通信线程中的显示；从通信线程中的显示中移除第一图像；以及替换合成图像来代替第一图像以供显示。
(B6)在B1-B5的一些实施例中，第一图像是用户的漫画表示(例如，操作814)，并且合成图像包括用户的漫画表示的至少一部分和用户属性设置。
(B7)在B1-B6的一些实施例中，生成合成图像包括：将第二用户的漫画表示的至少一部分包括在通信线程中。
(B8)在B1-B7的一些实施例中，一个或多个合成图像生成规则用于确定第一图像是动态表情符号还是静态表情符号。
(B9)在B1-B8的一些实施例中，动态表情符号包括适合于使用用户属性设置来更新动态表情符号的基线属性。
(B10)在B1-B9的一些实施例中，合成图像包括要在通信线程中显示的动画效果。
在又一方面，一种***，包括：处理器；以及存储器设备，其耦合到处理器且其上存储有程序，所述程序供处理器执行，以执行包括上述A1-A8和B1-B10的方法中的任一者的操作。
在又一方面，一些实施例包括非暂时性计算机可读存储介质，其存储由存储设备的一个或多个处理器执行的一个或多个程序，该一个或多个程序包括用于执行本文描述的任何方法(例如，上述A1-A8和B1-B10)的指令。
尽管上面已经详细描述了一些实施例，但是其他修改是可能的。例如，图中描绘的逻辑流程不需要所示的特定顺序或连续顺序来实现期望的结果。可以提供其他步骤，或者可以从所描述的流程中排除步骤，并且可以向所描述的***添加其他组件或者从所描述的***中移除其他组件。其他实施例可以在所附权利要求的范围内。
在本文的描述中，参考了形成其一部分的附图，并且在附图中通过说明的方式示出了可以实践的具体实施例。这些实施例被足够详细地描述以使本领域技术人员能够实践本发明，并且应当理解，可以利用其他实施例并且可以在不脱离本发明的范围的情况下进行结构、逻辑和电气改变。因此，所包含的示例性实施例的描述不应被理解为限制意义，并且本发明的范围由所附权利要求限定。
功能可以被配置为使用例如软件、硬件、固件等来执行操作。例如，短语“配置为”可以指实现相关联的功能的硬件元件的逻辑电路结构。短语“被配置为”还可以指用于实现固件或软件的相关联的功能的编码设计的硬件元件的逻辑电路结构。术语“模块”指的是可以使用任何合适的硬件(例如，处理器等)、软件(例如，应用等)、固件或者硬件、软件和固件的任意组合来实现的结构元件。术语“逻辑”涵盖用于执行任务的任何功能。例如，流程图中所示的每个操作与用于执行该操作的逻辑相对应。可以使用软件、硬件、固件等来执行操作。术语“组件”、“***”等可以指计算机相关实体、硬件和执行中的软件、固件或它们的组合。组件可以是在处理器上运行的过程、对象、可执行文件、程序、函数、子例程、计算机或者软件和硬件的组合。术语“处理器”可以指硬件组件，例如计算机***的处理单元。
此外，所要求保护的主题可以被实现为使用标准编程和工程技术来产生软件、固件、硬件或其任何组合以控制计算设备来实现所公开的主题的方法、装置或制品。如本文所使用的术语“制品”旨在涵盖可从任何计算机可读存储设备或介质访问的计算机程序。计算机可读存储介质可以包括但不限于磁存储设备，例如硬盘、软盘、磁条、光盘、压缩盘(CD)、数字多功能盘(DVD)、智能卡、闪存设备等。相反，计算机可读介质(即，非存储介质)可以另外包括通信介质，例如用于无线信号的传输介质等。

Claims (15)

1.一种用于生成动画以在聊天中显示的计算机***，包括：
一个或多个处理器；以及
存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使得所述一个或多个处理器控制所述***执行以下操作：
接收关于第一用户选择第一图像以在通信线程中传输给第二用户的指示；
从所述第一用户的存储的简档数据结构中识别与所述第一用户相关联的用户属性设置；
基于一个或多个合成图像生成规则来确定所选择的第一图像适合于转换为合成图像；
根据确定所选择的第一图像适合于转换：
从所述第二用户的存储的简档数据结构访问与所述第二用户相关联的用户属性设置；以及
基于所选择的第一图像、与所述第一用户相关联的所述用户属性设置和与所述第二用户相关联的所述用户属性设置来生成所述合成图像；以及
使得所述合成图像被显示在所述通信线程中。
2.根据权利要求1所述的计算机***，其中，所选择的第一图像是基线表情符号，并且生成所述合成图像包括：利用与所述第一用户相关联的所述用户属性设置和与所述第二用户相关联的所述用户属性设置来修改所述基线表情符号的一个或多个基线属性。
3.根据权利要求1-2中任一项所述的计算机***，还包括：
接收关于所述第一用户选择第二图像以在所述通信线程中传输给所述第二用户的指示；
基于所述一个或多个合成图像生成规则来确定所选择的第二图像不适合于转换为合成图像；
根据确定所选择的第一图像不适合于转换，使得所述第二图像被显示在所述通信线程中。
4.根据权利要求1-3中任一项所述的计算机***，其中，使得所述合成图像被显示在所述通信线程中包括：禁止所述第一图像被显示在所述通信线程中。
5.根据权利要求1-4中任一项所述的计算机***，其中，使得所述合成图像被显示在所述通信线程中还包括：
促使所述第一图像在所述通信线程中的显示；
从所述通信线程中的显示中移除所述第一图像；以及
替换所述合成图像来代替所述第一图像以供显示。
6.根据权利要求1-5中任一项所述的计算机***，其中，所述第一图像是所述用户的漫画表示，并且所述合成图像包括所述用户的所述漫画表示的至少一部分和所述用户属性设置。
7.根据权利要求1-6中任一项所述的计算机***，其中，生成所述合成图像包括：将第二用户的漫画表示的至少一部分包括在所述通信线程中。
8.根据权利要求1-7中任一项所述的计算机***，其中，所述一个或多个合成图像生成规则用于确定所述第一图像是动态表情符号还是静态表情符号。
9.根据权利要求1-8中任一项所述的计算机***，其中，所述动态表情符号包括适合于使用所述用户属性设置来更新所述动态表情符号的基线属性。
10.根据权利要求1-9中任一项所述的计算机***，其中，所述合成图像包括要在所述通信线程中显示的动画效果。
11.一种用于生成合成图像以供显示的计算机实现的方法，包括：
接收关于第一用户选择第一图像以在通信线程中传输给第二用户的指示；
从所述第一用户的存储的简档数据结构中识别与所述第一用户相关联的用户属性设置；
基于一个或多个合成图像生成规则来确定所选择的第一图像适合于转换为合成图像；
根据确定所选择的第一图像适合于转换：
从所述第二用户的存储的简档数据结构访问与所述第二用户相关联的用户属性设置；以及
基于所选择的第一图像、与所述第一用户相关联的所述用户属性设置和与所述第二用户相关联的用户属性设置来生成所述合成图像；以及
使得所述合成图像被显示在所述通信线程中。
12.根据权利要求11所述的计算机实现的方法，其中，所选择的第一图像是基线表情符号，并且生成所述合成图像包括：利用与所述第一用户相关联的所述用户属性设置和与所述第二用户相关联的所述用户属性设置来修改所述基线表情符号的一个或多个基线属性。
13.根据权利要求11-12中任一项所述的计算机实现的方法，还包括：
接收关于所述第一用户选择第二图像以在所述通信线程中传输给所述第二用户的指示；
基于所述一个或多个合成图像生成规则来确定所选择的第二图像不适合于转换为合成图像；
根据确定所选择的第一图像不适合于转换，使得所述第二图像被显示在所述通信线程中。
14.根据权利要求11-13中任一项所述的计算机实现的方法，其中，使得所述合成图像被显示在所述通信线程中包括：禁止所述第一图像被显示在所述通信线程中。
15.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括当由电子设备的一个或多个处理器执行时使所述电子设备执行一个或多个操作的指令，所述一个或多个操作包括：
接收关于第一用户选择第一图像以在通信线程中传输给第二用户的指示；
从所述第一用户的存储的简档数据结构中识别与所述第一用户相关联的用户属性设置；
基于一个或多个合成图像生成规则来确定所选择的第一图像适合于转换为合成图像；
根据确定所选择的第一图像适合于转换：
从所述第二用户的存储的简档数据结构访问与所述第二用户相关联的用户属性设置；以及
基于所选择的第一图像、与所述第一用户相关联的所述用户属性设置和与所述第二用户相关联的所述用户属性设置来生成所述合成图像；以及
使得所述合成图像被显示在所述通信线程中。
CN202280040845.6A 2021-06-08 2022-05-06 通过组合后续数据生成合成图像 Pending CN117546132A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/341,795 2021-06-08
US17/341,795 US11601387B2 (en) 2021-06-08 2021-06-08 Generating composite images by combining subsequent data
PCT/US2022/027977 WO2022260786A1 (en) 2021-06-08 2022-05-06 Generating composite images by combining subsequent data

Publications (1)

Publication Number Publication Date
CN117546132A true CN117546132A (zh) 2024-02-09

Family

ID=82067581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040845.6A Pending CN117546132A (zh) 2021-06-08 2022-05-06 通过组合后续数据生成合成图像

Country Status (4)

Country Link
US (2) US11601387B2 (zh)
EP (1) EP4352602A1 (zh)
CN (1) CN117546132A (zh)
WO (1) WO2022260786A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230074756A1 (en) * 2021-09-07 2023-03-09 Hanford Fairfax Neild Categorizing and Recommending Content Through Multi-Dimensional Explicit User Feedback
US11568131B1 (en) 2021-11-11 2023-01-31 Microsoft Technology Licensing, Llc Command based personalized composite templates

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7188143B2 (en) 2001-07-06 2007-03-06 Yahoo! Inc. Messenger-controlled applications in an instant messaging environment
KR20030026506A (ko) 2001-09-26 2003-04-03 주식회사 비즈모델라인 이모티콘과 아바타 연동처리 방법 및 시스템
US20060136284A1 (en) 2004-12-17 2006-06-22 Baruch Awerbuch Recommendation system
KR100714700B1 (ko) 2005-09-06 2007-05-07 삼성전자주식회사 이동 통신 단말기 및 이동 통신 단말기의 단문 메시지 출력방법
US8108774B2 (en) * 2008-09-26 2012-01-31 International Business Machines Corporation Avatar appearance transformation in a virtual universe
KR101259726B1 (ko) * 2010-01-22 2013-04-30 삼성전자주식회사 필기 애니메이션 메시지 전송 장치 및 방법
US8620850B2 (en) 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
US20120192096A1 (en) 2011-01-25 2012-07-26 Research In Motion Limited Active command line driven user interface
US9870552B2 (en) * 2011-10-19 2018-01-16 Excalibur Ip, Llc Dynamically updating emoticon pool based on user targeting
US20140309934A1 (en) 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic Alert Sent to User Based on Host Location Information
US9152219B2 (en) 2012-06-18 2015-10-06 Microsoft Technology Licensing, Llc Creation and context-aware presentation of customized emoticon item sets
US10410180B2 (en) * 2012-11-19 2019-09-10 Oath Inc. System and method for touch-based communications
JP2014222439A (ja) 2013-05-14 2014-11-27 ソニー株式会社 情報処理装置、パーツ生成利用方法及びプログラム
US9706040B2 (en) 2013-10-31 2017-07-11 Udayakumar Kadirvel System and method for facilitating communication via interaction with an avatar
WO2015122993A1 (en) * 2014-02-12 2015-08-20 Young Mark H Methods and apparatuses for animated messaging between messaging participants represented by avatar
WO2015183755A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for captured and transmittal of media and location
US10505875B1 (en) 2014-09-15 2019-12-10 Amazon Technologies, Inc. Determining contextually relevant application templates associated with electronic message content
US10353542B2 (en) 2015-04-02 2019-07-16 Facebook, Inc. Techniques for context sensitive illustrated graphical user interface elements
US9633090B2 (en) 2015-04-28 2017-04-25 International Business Machines Corporation Dynamic visualization of big data
US10203843B2 (en) * 2015-09-21 2019-02-12 Microsoft Technology Licensing, Llc Facilitating selection of attribute values for graphical elements
US20170153798A1 (en) 2015-11-30 2017-06-01 International Business Machines Corporation Changing context and behavior of a ui component
US20170177554A1 (en) 2015-12-18 2017-06-22 International Business Machines Corporation Culturally relevant emoji character replacement
US10983689B2 (en) 2016-05-18 2021-04-20 Apple Inc. Devices, methods, and graphical user interfaces for messaging
EP4311201A3 (en) 2016-05-18 2024-03-20 Apple Inc. Devices, methods, and graphical user interfaces for messaging
US10348662B2 (en) 2016-07-19 2019-07-09 Snap Inc. Generating customized electronic messaging graphics
US20180024726A1 (en) 2016-07-21 2018-01-25 Cives Consulting AS Personified Emoji
US9684430B1 (en) 2016-07-27 2017-06-20 Strip Messenger Linguistic and icon based message conversion for virtual environments and objects
US10319251B2 (en) 2016-09-14 2019-06-11 Scriyb LLC Networked activity monitoring via electronic tools in an online group learning course and regrouping students during the course based on the monitored activity
US11171905B1 (en) 2016-10-17 2021-11-09 Open Invention Network Llc Request and delivery of additional data
US11069103B1 (en) * 2017-04-20 2021-07-20 Snap Inc. Customized user interface for electronic communications
US20180329592A1 (en) 2017-05-12 2018-11-15 Microsoft Technology Licensing, Llc Contextual windows for application programs
DK179948B1 (en) 2017-05-16 2019-10-22 Apple Inc. Recording and sending Emoji
US10318109B2 (en) 2017-06-09 2019-06-11 Microsoft Technology Licensing, Llc Emoji suggester and adapted user interface
CN109388297B (zh) 2017-08-10 2021-10-22 腾讯科技（深圳）有限公司 表情展示方法、装置、计算机可读存储介质及终端
US10515464B2 (en) 2017-09-07 2019-12-24 Whatsapp Inc. Dynamic color customization of standardized (emoji) image characters
US10593087B2 (en) 2017-10-23 2020-03-17 Paypal, Inc. System and method for generating emoji mashups with machine learning
US10706271B2 (en) 2018-04-04 2020-07-07 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
AU2020356289B2 (en) * 2019-09-27 2023-08-31 Apple Inc. User interfaces for customizing graphical objects
US11138386B2 (en) 2019-11-12 2021-10-05 International Business Machines Corporation Recommendation and translation of symbols
US11128591B1 (en) * 2020-08-27 2021-09-21 Cisco Technology, Inc. Dynamic interaction of a dynamic ideogram in an electronic messaging environment
US20220392135A1 (en) 2021-06-08 2022-12-08 Microsoft Technology Licensing, Llc Consequences generated from combining subsequent data
US11568131B1 (en) 2021-11-11 2023-01-31 Microsoft Technology Licensing, Llc Command based personalized composite templates
US11635871B1 (en) 2021-11-11 2023-04-25 Microsoft Technology Licensing, Llc Command based personalized composite icons

Also Published As

Publication number Publication date
WO2022260786A1 (en) 2022-12-15
US11936603B2 (en) 2024-03-19
US20230198923A1 (en) 2023-06-22
US20220394001A1 (en) 2022-12-08
EP4352602A1 (en) 2024-04-17
US11601387B2 (en) 2023-03-07

Similar Documents

Publication Publication Date Title
US11354843B2 (en) Animated chat presence
US11303590B2 (en) Suggested responses based on message stickers
KR102168367B1 (ko) 맞춤화된 전자 메시징 그래픽의 디스플레이
EP3766066B1 (en) Generating response in conversation
US11936603B2 (en) Generating modified images for display
US20240112389A1 (en) Intentional virtual user expressiveness
WO2022260795A1 (en) Consequences generated from combining subsequent data
US11829713B2 (en) Command based composite templates
WO2023086133A1 (en) Command based personalized composite icons
CN115280357A (zh) 社交媒体接口
US20240104789A1 (en) Text-guided cameo generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination