CN104781759A - 用于基于触摸的通信的***和方法 - Google Patents

用于基于触摸的通信的***和方法 Download PDF

Info

Publication number
CN104781759A
CN104781759A CN201380058974.9A CN201380058974A CN104781759A CN 104781759 A CN104781759 A CN 104781759A CN 201380058974 A CN201380058974 A CN 201380058974A CN 104781759 A CN104781759 A CN 104781759A
Authority
CN
China
Prior art keywords
user
event
computing equipment
incarnation
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380058974.9A
Other languages
English (en)
Other versions
CN104781759B (zh
Inventor
亚伦·德鲁克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Verizon Patent and Licensing Inc
Original Assignee
Yahoo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Inc filed Critical Yahoo Inc
Publication of CN104781759A publication Critical patent/CN104781759A/zh
Application granted granted Critical
Publication of CN104781759B publication Critical patent/CN104781759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/10Office automation; Time management
    • G06Q10/107Computer-aided management of electronic mailing [e-mailing]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18Commands or executable codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开了用于移动设备上的交互式通信体验的***和方法。一般来说,本公开讨论了在电子通信期间动态地操纵或修改图形用户表示。这些图形用户表示的修改和操纵使用户能够表达情绪和情感的细微差别,而不是只局限于通过包括文本、图像、视频的传统的通信来表达它们或从预定的表情符号或化身的调色板中选择适当的表情符号或化身。

Description

用于基于触摸的通信的***和方法
本申请包括受到版权保护的材料。版权所有者不反对任何人按照本申请出现在专利和商标局文件或记录中那样本专利公开进行传真复制,但是保留所有权利。
技术领域
本公开一般涉及在消息传递应用中的可定制通信,更加具体地涉及在电子通信期间动态操纵图形用户表示以便于向移动通信设备的用户表达信息。
背景技术
移动通信设备能够向用户提供各种服务,诸如语音呼叫、输入/输出服务和数据存储。移动设备还被配有各种复杂的功能,包括捕获和/或修改照片、音频和视频,播放音乐和视频文件,提供游戏程序,接收广播程序和提供无线互联网服务。因此,移动设备已经演变成了多媒体播放器。
当传入信息被接收时,移动设备通常使用听觉提示和视觉提示来提醒用户。移动设备还能够使用振动警报以向用户提醒传入信息。这种警报或提示能够简单地向用户提供传入内容的通知。
发明内容
本公开通过提供用于定制与用户通信相关联的听觉、视觉和振动警报或使其个性化的***和方法来解决本领域的缺陷。换句话说,本公开描述了以个性化的方式向移动设备的用户传递信息的附加的或新的感觉形式。这种感觉形式提升了在虚拟世界中的用户体验的真实性。随着移动设备上的触摸屏接口的到来并且对它的使用成为主流,附属于接收电子通信的空间感是统一的。也就是说,通过以视觉、声音和触觉来梳理常规通信协议使用户能够具有完整的和个性化的通信体验,触摸能力结合了用户对虚拟世界进行导航以及与其他用户进行通信的方式。
一般来说,本公开描述了用于在电子通信期间(诸如,即时消息聊天、SMS或用户通过网络进行即时通信的其他对话)动态操纵图形用户表示的***和方法。图形用户表示可以是表情符号或化身,但不限于此,这是因为它们还可以是其他类型的图像、图形、图标、动画等等。对这些图形用户表示的操纵使用户能够表达情绪和情感的细微差别,而不是只局限于通过传统的通信来表达它们。
根据一个或多个实施例,本文公开了一种方法,该方法包括通过网络经由服务器计算设备促进与第一计算设备的第一用户相关联的第一图形用户表示和与第二计算设备的第二用户相关联的第二图形用户表示的可视显示,第一图形用户表示和第二图形用户表示根据在第一用户和第二用户之间的即时消息传递会话被可视地显示在第一和第二计算设备上;在服务器计算设备处接收来自第一计算设备的事件信号,该事件信号对应于在第一计算设备处的第一用户的输入,该输入包括表明在即时消息传递会话期间,第一用户与被显示在第一计算设备上的第二用户的图形用户表示进行交互的数据;通过服务器基于事件信号内的交互数据确定事件;通过服务器基于所确定的事件生成用于向第二计算设备发送的事件消息,该事件消息包括在即时消息传递会话期间待在第二计算设备上执行的动作;以及在网络上从服务器向第二计算设备发送事件消息以便在即时消息传递会话期间所述动作被执行。
根据一个或多个实施例,提供了一种非暂态计算机可读存储介质,计算机可读存储介质在其上有形地存储了或在其上有形地编码了计算机可执行指令,当指令被执行时,导致至少一个处理器在电子通信期间动态地操纵图形用户表示。
根据一个或多个实施例,提供了一种***,该***包括被配置成提供根据这些实施例的功能的一个或多个计算设备。根据一个或多个实施例,功能被体现在由至少一个计算设备执行的方法的步骤中。根据一个或多个实施例,用以实现根据一个或多个这类实施例的功能的程序代码被体现在计算机可读介质中、由计算机可读介质体现和/或被体现在计算机可读介质上。
附图说明
通过下面如附图中所示出的实施例的详细描述,本公开的上述及其他目的、特征和优点将是显而易见的,其中在各视图中相同的标号指的是相同的部分。附图不一定是按照比例绘制的,相反重点在于示出本公开的原则。
图1描述了根据本公开的一些实施例的***架构的示例;
图2示出了根据本公开的一些实施例的用于管理对图形用户表示的操纵的***的典型架构;
图3描述了根据本公开的一些实施例的移动设备的实施例;
图4是根据本公开的一些实施例的移动触控设备的框图;
图5是根据本公开的一些实施例的用于操纵或动画绘制化身的处理的流程图;
图6是根据本公开的一些实施例的用于通过使用触觉技术来操纵化身的处理的流程图;
图7是根据本公开的一些实施例的用于通过使用触觉技术与化身交互的处理的流程图;
图8是根据本公开的一些实施例的用于通过使用触觉技术来操纵或动画绘制化身的处理的流程图;
图9-11是根据本公开的一些实施例的通信的非限制性示例;以及
图12是根据本公开的一个或多个实施例示出了硬件设备的架构的框图。
具体实施方式
现在将结合附图在下文中更加充分地描述本公开,其中附图构成了本公开的一部分,并且通过说明的方式示出了具体的示例实施例。然而,主题可被体现在各种不同的形式中,从而所涵盖或所请求保护的主题意图被解释为不限于本文所提出的任何示例实施例;示例实施例仅被提供用于说明。同样地,对于主题意图请求保护或涵盖合理广泛的范围。尤其,例如,主题可被体现为方法、设备、组件或***。因此,实施例可以采用例如,硬件、软件、固件或它们的任意组合(而不是软件自身)的形式。因此,下面的详细描述不意图采取限制的意义。
在整个说明书和权利要求中,术语在上下文中可能具有明确所表述的含义之外的暗示的或隐含的微妙的含义。同样地,如本文所使用的短语“在一个实施例中”不一定指的是相同的实施例,并且如本文所使用的短语“在另一实施例中”不一定指的是不同的实施例。本文的意图在于,例如,请求保护的主题包括全部或部分示例实施例的组合。
一般来说,术语可至少部分从上下文中的使用来理解。例如,如本文所使用的诸如“和”、“或”或“和/或”的术语可包括各种含义,这可能至少部分取决于这类术语被使用的上下文。通常,如果使用了“或”以关联诸如A、B或C之类的列表,则从包含的意义上使用,它意图表示A、B和C,而从排除的意义上使用,它意图表示A、B或C。另外,如本文所使用的至少部分取决于上下文的术语“一个或多个”可被用于从单数意义上描述任何特征、结构或特点或者可被用于从复数意义上描述任何特征、结构或特点。类似地,诸如“一”、“一个”或“该”之类的术语同样可被理解为表达单数使用或表达复数使用,这至少部分取决于上下文。此外,术语“基于”可被理解为不一定意图表达一组互斥的因素,相反,它可能允许不一定被明确描述的附加因素的存在,这依然至少部分取决于上下文。
本公开是参照下面的方法和设备的框图和操作说明进行描述的。应当理解的是框图中的每一个方框或操作说明以及框图中的方框或操作说明的组合能够通过模拟硬件或数字硬件和计算机程序指令来实现。这些计算机程序指令能够被提供至通用计算机的处理器、专用计算机的处理器、ASIC处理器或其他可编程数据处理装置的处理器,以便使通过计算机的处理器或其他可编程数据处理装置的处理器执行的指令实现框图中的或操作框或方框中的功能/动作。在一些可替代的实施方式中,方框中所提到的功能/动作能够不按照操作说明中所提到的顺序发生。例如,被连续示出的两个方框实际上能够被大体上同时执行或者有时方框能够以相反的顺序被执行,这取决于所涉及的功能/动作。
这些计算机程序指令能够被提供至通用计算机处理器、专用计算机处理器、ASIC处理器或其他可编程数据处理装置的处理器以便使通过计算机的处理器或其他可编程数据处理装置的处理器执行的指令实现框图或操作框或方框中所指定的功能/动作。
出于本公开的目的,计算机可读介质(或一个或多个计算机可读存储介质)存储计算机数据,其中数据可包括可由计算机执行的采用机器可读形式的计算机程序代码(或计算机可执行指令)。通过示例而不是限制的方式,计算机可读介质可包括用于数据的有形存储或固定存储的计算机可读存储介质,或用于包含代码的信号的暂态解释的通信介质。如本文所使用的计算机可读存储介质指的是物理的或有形的存储设备(与信号相反)并且包括而并非限制于被实现在用于诸如计算机可读指令、数据结构、程序模块或其他数据的有形存储的方法或技术中的易失性介质或非易失性介质、可移动介质或不可移动介质。计算机可读存储介质包括,但不限于RAM、ROM、EPROM、EEPROM、闪速存储器或其他固态存储器技术、CD-ROM、DVD、或其他光学存储设备、卡式磁带、磁带、磁盘存储设备或其他磁存储设备,或可被用于有形存储所期望的信息或数据或指令并且可由计算机或处理器访问的任意其他物理或材料介质。
出于本公开的目的,术语“服务器”应当被理解为指的是提供处理、数据库和通信设施的服务点。通过示例而非限制的方式,术语“服务器”可能指的是具有相关联的通信和数据存储设备和数据库设施的单个物理处理器,或者它可能指的是处理器和关联的网络和存储设备以及支持由服务器提供的服务的操作软件和一个或多个数据库***和应用软件的联网的或集群的结合。服务器在配置或能力上可能变化很大,但是一般来说服务器可包括一个或多个中央处理单元和存储器。服务器还可包括一个或多个大容量存储设备、一个或多个电源、一个或多个有线或无线网络接口、一个或多个输入/输出接口或一个或多个操作***(诸如,Windows Server、Mac OS X、Unix、Linux、FreeBSD等等)。
如本文所使用的,术语“文本消息”或“文本消息传递”指的是短消息服务(SMS)消息传递,以及各种其他限制大小的消息传递协议,包括,但不限于,即时消息传递(IM)、多媒体消息传递服务(MMS)或增强型消息服务(EMS)消息传递协议以及其他已知的或者未来已知的通信协议。
出于本公开的目的,电子计算设备、电子设备或计算设备(也被称为客户端设备、用户设备或移动设备)在能力或特征方面可能有差异。所请求保护的主题意图涵盖宽范围的有可能的变化。例如,手机可包括数字小键盘或有限功能的显示器,诸如用于显示文本的单色液晶显示器(LCD)。然而,与之相反,作为另一示例,支持网络功能的客户端设备可包括例如,一个或多个物理的或虚拟的键盘、大容量存储设备、一个或多个加速器、一个或多个陀螺仪、全球定位***(GPS)或其他定位识别类型能力或具有高级别功能的显示器,诸如触摸敏感的彩色2D或3D显示器。
电子设备可包括或可执行各种操作***,包括个人计算机操作***(诸如)或移动操作***(诸如, 或WINDOWS)等等。电子设备可包括或可执行各种可能的应用,提供几个可能的示例,诸如通过诸如社交网络之类的网络能够实现与其他设备的通信(诸如,例如通过电子邮件、短消息服务(SMS)或多媒体消息服务(MMS)传输一个或多个消息,)的客户端软件应用。电子设备还可能包括或执行应用以传输诸如,例如文本内容、多媒体内容等等内容。电子设备还可包括或执行应用以执行各种可能的任务,诸如聊天、发短信、浏览、搜索、播放各种形式的内容(包括被本地存储或串流的视频或游戏(诸如幻想体育联盟))。上述被提供用于说明所请求保护的主题意图包括宽范围的可能的特征或能力。
根据一些典型实施例,本文所使用的电子设备是触摸传感器设备,这指的是触控设备。触控设备是通常包括使用电容性、电阻性、电感性、光学、声学或其他的技术以确定一个或多个手指、触控笔、指示器和/或其他物体的存在、输入(或按压)、接近度、位置和/或运动的感应区域的设备。触控设备可通过使用一个或多个手指、触控笔、指示器和/或其他物体的输入来操作,并且能够被用于向诸如台式电脑、平板电脑、笔记本电脑和智能手机以及自助机和其他终端之类的电子***提供输入。如本领域所理解的,触控设备不仅在用户的(一个或多个)手指接触到触控设备的显示屏时接收输入,还在用户的(一个或多个)手指或(一个或多个)其他物体处于触控设备的显示屏的检测距离内时接收输入。因此,触控设备的感应区域能够作为光标控制/点选设备、选择设备、滚动设备、图形/文字/笔迹输入设备、菜单导航设备、游戏输入设备、按钮输入设备键盘和/或其他输入设备。
尽管本文所讨论的实施例是参照触控设备进行描述的,但是还存在其他实施例,其中设备是包括或被耦合到显示屏的计算设备,其中输入是通过点选设备(经过鼠标)、键盘输入或通常所理解的在传统计算设备上注册命令的其他输入注册的。
此外,如本文所讨论的,典型实施例在被显示在触控设备上的GUI中发生。然而,应当理解的是能够使用电子设备的任何布置。这类设备,被称为客户端(或用户)设备可包括能够诸如通过有线或无线网络发送或接收信号的计算设备。客户端设备可以例如包括台式计算机或诸如手机、智能手机、显示寻呼机、无线电射频(RF)设备、红外(IR)设备、个人数字助理(PDA)、手持计算机、平板计算机、笔记本电脑、机顶盒、可穿戴式计算机、结合各种特征(诸如,上述设备的特征等等)的集成设备之类的便携式设备。
在各实施例中,触控设备提供用于控制视觉计算环境的GUI,其中该视觉计算环境通过使用诸如触控设备的显示屏上的图标、选项单和对话框之类的图形图像来表示程序、文件和选项。GUI内定义的图形项能够提供由GUI处理的软件例程。因此,GUI能够针对用户对各个图形项的动作来进行报告和行动。GUI是包含了用于输出的可区分的文本、图形、视频、音频或其他信息的显示器的全部区域或所定义的区域的视窗。
如下面的图3-4所讨论的,触控设备能够使用触摸屏接口。触摸屏接口将被显示在触控设备的显示屏上的GUI功能与触控设备的功能相结合以识别感触输入。通过大部分(例如,电容的、电阻的和电感的)传感技术,触摸式传感器与显示屏叠放在一起,并且传感器元件(例如,电极)位于显示屏元件的上面、下面或内部。其他技术(例如,表面声波和光学)可将传感器元件放置在其他地方,但至少部分传感区域与显示屏重叠。产生的组合通常一起被称为“触摸屏”。触摸屏能够提供多功能接口,其中该多功能接口能够同时起到显示器和输入设备的作用。此外,由于虚拟触摸屏控制能够代替一些物理输入控制,触摸屏能够延伸到设备一般为其他输入设备保留的区域。
现在将参考图1-12对本公开的优选实施例进行描述。本公开提供了用于移动设备上的交互通信体验的***和方法。一般来说,本公开讨论了在诸如即时消息聊天、SMS或用户通过网络进行即时通信的其他对话之类的电子通信期间动态操纵或修改图形用户表示。图形用户表示可以是表情符号或化身,但不限于此类,因为它们还可能是其他类型的图像、图形、图标、动画等等。此外,图形用户表示的实施和交互不限于作为整体的表示,这是因为存在一些实施例,其中对图形用户表示的操纵和交互涉及表示的一部分或多部分。对这些图形用户表示的修改或操纵使用户能够表达情绪或情感的细微差别,而不是局限于通过包括文本、图像、视频的常规通信表达它们或从预定表情符号或化身的调色板中选择适当的表情符号或化身。
一种类型的图形用户表示是表情符号。表情符号是表示用户的面部表情或当前情绪的小的、通常简化的图像。例如,“笑脸”作为表情符号被用来表示该消息的作者正在微笑或很高兴。在另一示例中,“难过的脸”是常规用于表示该消息的作者不高兴或生气的表情符号。因而,这些表情符号使消息的接收者能够更好地理解作者的消息的大意。
本公开以示范的方式而非限制的方式所使用的另一类型的图形用户表示是化身(avatar)。化身经常被用于互联网或游戏中以表示具体的用户。化身可包括与用户相关联的图片或其他图像,或在应用的背景下的动画角色。应用可以是计算机实现的游戏、生产力应用(诸如日历或字处理器)、通信应用(诸如电子邮件或聊天)、社交网络应用和任何其他适当的应用。应用可以是与网络浏览器一起实施的基于网络的应用或网络应用或被托管在客户端设备(或服务器)上的独立应用。例如,应用可以是移动设备本地支持的即时消息聊天应用。在具体的实施例中,化身可以是由应用提供的计算机用户界面中表示用户的图形图标。在一些实施例中,化身可能是表示用户的照片图片。
通常,诸如表情符号和化身之类的图形用户表示是从预设的预制图像、图形或图标的集合或调色板中预选的。由于用户受限于从有限数量的可用表情符号或化身中选择他的或她的表情符号或化身,用户无法表达情绪或情感中的个性化的/定制的细微差别。本公开通过使用户能够操纵和/或定制图形用户表示弥补了这些不足之处以便于恰当地表达所期望的信息。
通过背景的方式,在线服务可向用户提供发送和接收像,例如,SMS消息之类的即时消息的能力。即使消息是接入了即时消息服务的两个或多个人(诸如,那些已经安装了接入和使用即时消息服务必要的通信软件的人和/或那些通常获取了反映其他用户的在线状态的信息的人)之间的私人在线会话。即时消息发送者可向接收者发送自我表述项。这种自我表述项可包括表情符号和化身。然而,总是存在情感脱节的情况。换句话说,一个人能够与另一个人聊天(即,谈话或发短信);然而,在每一个用户之间均存留情感障碍。
本公开讨论了对触摸屏和移动硬件的使用以促进用户之间更强的交流和联系。如下面关于图3-4所讨论的,触摸和移动设备包括硬件加速度计、陀螺仪、振动和其他反馈***。这些反馈***,诸如那些包含触觉技术的***能够被用于实现物理连接,诸如那些与握某人的手或拥抱你的朋友同义的物理连接。因此,基于这些能力,诸如表情符号或化身之类的图形用户表示能够被用于表达情绪和情感。也就是说,用户表示能够例如,通过紧握、旋转、轻敲、捏拉、扭曲、着色等等被动态地操纵以表达与情绪、情感或具体表述有关的具体信息。此外,用户表示还能够通过震动、倾斜、旋转(等等)用户的移动设备来操纵。这使用户能够自定义或定制现有的图形用户表示以更好地反映该用户的当前情绪或情感,甚至表达包括这种与情绪、情感或表述有关的信息的消息。
在根据图9-11所示出的示例的非限制性典型示例中,用户Bobbi正与另一用户Andreas进行对话。该对话是在诸如,例如,通过每个用户的上的iMessageTM’或在另一示例中,在用户的移动设备上通过Yahoo!之类的即时消息平台上发生的文本对话。应当理解的是即时消息会话能够由用户设备本地的应用程序支持,并且在一些实施例中,即时消息会话能够由具有网络功能的应用程序支持。还应当理解的是如下面所讨论的和图9-11所示出的,根据目前消息传递应用所提供的,化身、表情符号或其他图像被显示在聊天用户界面内。
在对话中,Bobbi刚刚得知Andreas感觉不太好。在使Andreas振作起来的尝试中,Bobbi能够操纵所显示的化身以创建待被发送至Andreas的表情。例如,Bobbi能够将她的拇指放置在她的与Andreas所显示的化身有关的触摸屏上,并摆动她的拇指。在一些实施例中,这能够创建“胳肢”效果。因此,作为结果,在Andreas的手机上,她所显示的化身将在屏幕上轻微晃动。另外,Andreas的手机也可以由于此“咯吱”而轻微晃动,从而产生触觉效果。这种效果可与动画同时发生或者根据在***、用户或它们的组合预配置的或选择的指令的指示下的另一顺序发生。在一些实施例中,诸如表情符号通知之类的通告与写着“你已被胳肢”的图标能够一起出现在Andreas的设备上。在一些实施例中,陈述“你已经胳肢Andreas”的通告或确认还可出现在Bobbi的手机上。此外,在一些可替代的实施例中,Bobbi能够输入可触发上面所讨论的“胳肢”效果的文字“胳肢”而不是与Andreas的化身进行交互。因此,Bobbi通过直接与她的移动设备进行交互能够使表情个性化并且实现这类表情,而不是Bobbi被限制于仅通过发送隐含笑话的消息或让Andreas感觉好些的请求,或甚至是从预定义的像类似内涵的库中选择常规的静态表情符号或化身。
从下面的讨论中应当理解的是来自用户与触摸屏交互的输入和输出以及化身不限于在本文的示例中所讨论的那些,这是因为示例是非限制性的并且仅被讨论用以描绘本公开的实施例和能力。例如,如下面所讨论的,用户能够以全部知晓或待被知晓的方式与他们的移动设备的触摸屏接***互。
图1示出了本文所讨论的***和方法可被实施的一般环境的组件。本公开可能并非需要所有组件来实施,并且在不背离本公开的精神或范围的情况下可对组件的安排和类型做出变化。如所示出的,图1中的***100包括局域网(“LAN”)/广域网(“WAN”)-网络105、无线网络110、移动设备(客户端设备)102-104以及客户端设备101。图1还包括各种服务器,诸如内容服务器106、消息传递服务器107和应用(或“App”)服务器108。
下面更加详细地描述了移动设备102-103的一个实施例。然而,一般来说,移动设备102-104可包括几乎任何能够通过诸如网络105、无线网络110等网络接收和发送消息的便携式计算设备。移动设备102-104还可被一般描述为被配置成便携式的客户端设备。因此,移动设备102-104可包括几乎任何能够连接至另一计算设备并接收信息的便携式计算设备。这种设备包括诸如蜂窝电话、智能手机、显示寻呼机、射频(RF)设备、红外线(IR)设备、个人数字助理(PDA)、手持计算机、手提电脑、穿戴式计算机、平板计算机、结合了一个或多个前述设备的集成设备等等这类的便携式设备。正因如此,移动设备102-104通常在能力和特征方面范围广泛。例如,手机可具有数字小键盘和几行仅可在其上显示文本的单色LCD显示器。在另一示例中,支持网络功能的移动设备可具有触摸敏感屏幕、触控笔和若干行可在其中显示文本和图形二者的彩色LCD显示器。
支持网络功能的移动设备可包括被配置成接收和发送网页、基于网络的消息等等的浏览器应用。浏览器应用可被配置成通过使用包括无线应用协议消息(WAP)等的几乎任何基于网络的语言来接收和显示图形、文本、多媒体等等。在一个实施例中,浏览器应用能够使用手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScript、标准通用标记语言(SMGL)、超文本标记语言(HTML)、可扩展标记语言(XML)等等以显示和发送消息。
移动设备102-104还可包括至少一个客户端应用,其中该客户端应用被配置成接收来自另一计算设备的内容。客户端应用可包括用以提供和接收文本内容、图形内容、音频内容等等的能力。客户端应用还可提供识别其自身的包括类型、能力、名称等等的信息。在一个实施例中,移动设备102-104可通过各种机制中的任何一个唯一识别其本身,其中所述机制包括电话号码、移动识别码(MIN)、电子序列号(ESN)或其他移动设备标识符。
移动设备102-104还可被配置成诸如,通过短消息服务(SMS)、多媒体消息服务(MMS)、即时消息传递(IM)、互联网中继聊天(IRC)、Mardam-Bey的IRC电子邮件等等与另一计算设备或服务器传达消息。然而,本公开不限于这些消息传递协议,并且可使用几乎任何其他消息传递协议。
移动设备102-104还可被配置成包括使终端用户能够登陆由另一计算设备(诸如,内容服务器106、消息传递服务器107和/或应用服务器108)管理的终端用户账户的客户端应用。这种终端用户账户,例如,可被配置成使该终端用户能够接收电子邮件,发送/接收IM消息、SMS消息、访问所选择的网页等等。然而,本公开不受限制,并且在一个实施例中,终端用户可能不需要登陆账户来发送/接收消息。
在一些实施例中,移动设备102-104还可与诸如客户端设备101之类的非移动客户端设备进行通信。在一个实施例中,这种通信可包括发送和/或接收消息,共享照片、音频片段、视频片段或任何各种其他形式的通信。客户端设备101可包括能够通过网络进行通信以发送和接收信息的的几乎任何计算设备。这种设备的集合可包括通常通过使用有线或无线通信介质连接的设备,诸如个人计算机、多处理器***、基于微处理器的或可编程的消费性电子产品、网络PC等等。因此,客户端设备101还可具有用于显示信息的导航示图的不同的能力。
客户端设备101-104计算设备可能能够诸如,经由有线或无线网络发送或接收信号,或者可能能够在诸如物理内存状态下的存储器中存储信号或处理信号,从而可能作为服务器运行。因此,能够作为服务器运行的设备可包括,例如,专用机架式服务器、台式计算机、手提电脑、机顶盒、结合各种特征(诸如上述设备的两个或多个特征)的集成设备等等。
无线网络110被配置成将移动设备102-104及其组件与网络105相耦合。无线网络110可包括可进一步覆盖独立自组网(ad-hoc network)诸如此类的任何各种无线子网络以为移动设备102-104提供面向基础设施的连接。这种子网络可包括网状网、无线LAN(WLAN)网络、蜂窝网等等。
无线网络110还可包括通过无线广播链路等连接的终端、网关、路由器等等的自治网络。这些连接器可被配置成自由和随机地移动并且随意地组织其本身,以便使无线网络110的拓扑结构可快速地改变。无线网络110还可使用包括用于蜂窝***的第二代(2G)、第三代(3G)和/或***(4G)无线接入、WLAN、无线路由器(WR)网格等等的多种接入技术。诸如2G、3G、4G和未来的接入网之类的接入技术可通过不同程度的移动性实现诸如移动设备102-104之类的移动设备的宽覆盖范围。例如,无线网络110可通过诸如全球移动通信***(GSM)、通用分组无线服务(GPRS)、增强型数据GSM环境(EDGE)、宽带码分多址(WCDMA)之类的无线网络接入实现无线电连接。本质上,无线网络110可包括几乎任何无线通信机制,其中信息可通过该无线通信机制在移动设备102-104和另一计算设备、网络等之间传送。
网络105被配置成通过无线网络110将消息传递服务器107、内容服务器106、应用服务器108等等和包括客户端设备101的其他计算设备一起与移动设备102-104相耦合。网络105能够使用任何形式的计算机可读介质以从一个电子设备向另一个电子设备传送信息。网络105还可包括除了局域网(LAN)、广域网(WAN)之外的互联网、诸如通过通用串行总线(USB)端口之类的直接连接、其他形式的计算机可读介质或它们的任意组合。在LAN的互联集合(包括基于不同的架构和协议的LAN)上,路由器用作LAN之间的链路,使信息能够从一个LAN被发送至另一LAN。另外,在LAN内的通信链路通常包括双绞线或同轴电缆,而在网络之间的通信链路可使用模拟电话线路、包括T1、T2、T3和T4的全专用或部分专用数字线路、综合业务数字网(ISDN)、数字用户线路(DSL)、包括卫星链路的无线链路或本领域技术人员已知的其他通信链路。此外,远程计算机和其他相关的电子设备能够通过调制解调器和临时电话链路被远程连接至LAN或WAN。本质上,网络105包括信息可凭其在内容服务器106、消息传递服务器107、应用服务器108、客户端设备101和/或其他计算设备之间传送的任意通信方法。
在本公开所使用的或理解为适用于本公开的通信网络内,这类网络将使用各种用以通过网络进行通信的协议。通过诸如参与数字通信网络的网络之类的网络传送的信号分组可与一个或多个协议兼容或服从于一个或多个协议。所使用的信令格式或协议可包括,例如,TCP/IP、UDP、DECnet、NetBEUI、IPX、APPLETALKTM等等。互联网协议(IP)的版本可包括IPv4或IPv6。互联网指的是分散的全球联网网络。互联网包括局域网(LAN)、广域网(WAN)、无线网络或例如,允许在LAN之间传送信号的长途公共网络。信号分组可在网络的节点之间传送到达诸如,例如,使用本地网络地址的一个或多个站点。信号分组可以,例如,通过互联网从用户站点经由被耦合至互联网的接入节点被传送至互联网。类似地,信号分组可以例如,经由网络节点被转发到通过网络接入节点耦合至该网络的目标站点。通过互联网传送的信号分组可以例如,经由可根据目标地址和网络路径的可用性将信号分组路由至目标地址的网关、服务器等路径被路由至目标地址。
在一些实施例中,所公开的网络110和/或105可包括一个或多个内容分布网络。“内容分发网络”或“内容分布网络”(CDN)通常指的是包括通过一个或多个网络链接的计算设备或计算机的集合的分布式内容分发***。CDN可使用软件、***、协议或技术以促进诸如内容或流媒体或流应用的存储、缓存、传送之类的各种服务。这些服务还可利用包括,但不限于“云计算”、分布式存储、DNS请求处理、配置、信号监控和报告、内容定向、个性化定制或商务智能的辅助技术。CDN还可使实体能够操作或管理另一站点的全部或部分基础设施。
因此,在一些实施例中,本公开可以通过对等网络来被利用。在一些实施例中,对等网络可通过内容分布网络来体现。例如,与可使用诸如专用服务器之类的专用设备的网络相比,对等(或P2P)网络可使用网络参与者的计算能力或带宽;然而,一些网络可使用二者以及其他方法。P2P网络通常可被用于通过自组安排或配置来耦合节点。对等网络可使用能够像“客户端”和“服务器”二者运行的一些节点。
根据一些实施例,本公开还可被用在社交网络中。社交网络通常指的是通过通信网络或各种子网络耦合的个人(诸如熟人、朋友、家庭、同事或合作者)的网络。可能地,作为通过通信网络或子网络进行的社交互动的结果随后可能形成额外的关系。
在一些实施例中,多模态通信可在社交网络的成员之间发生。在一个或多个社交网络内的个人可通过各种设备与社交网络的其他成员进行互动或通信,多模态通信技术指的是允许跨多个设备或平台(诸如,手机、智能手机、平板计算设备、个人计算机、电视、机顶盒、SMS/MMS、电子邮件、消息通信客户端、论坛、社交网站等等)进行互操作性的通信的技术的集合。
内容服务器106可包括包含经由网络向另一设备提供内容的配置的设备。内容服务器106可以,例如,托管诸如社交网站或个人用户站点(诸如,博客、视频博客、在线***站等等)之类的站点。内容服务器106还可托管各种其他站点,包括,但不限于商务网站、教育网站、字典网站、百科全书网站、***、金融网站、政府网站等等。可像内容服务器106那样运行的设备包括个人计算机、台式计算机、多处理器***、基于微处理器的或可编程的消费性电子产品、网络PC、服务器等等。
消息传递服务器107包括被配置成提供一个或多个消息传递服务的几乎任何计算设备。例如,消息传递服务器107可提供即时消息传递(IM)服务、电子邮件服务、VOIP服务、SMS服务、FTP服务等等。消息传递服务器107可被实施在包括个人计算机、台式计算机、多处理器***、基于微处理器的设备、网络PC、服务器、网络家电诸如此类的各种计算设备上。此外,尽管消息传递服务器107被示为单个网络设备,但是本公开不受此限制。例如,一个或多个消息传递服务器还可通过使用多个网络设备来实现以提供各种消息传递服务。根据一些实施例,消息传递服务器107可被配置成从诸如客户端设备101-104等发送设备接收消息,并且向内容服务器106提供该消息和/或该消息的副本以供分析。另外,在一个实施例中,消息传递服务器107可类似地从内容服务器106接收到上下文的链接,并且将该链接或链接信息连同响应消息一起提供给原始发送设备。在另一实施例中,消息传递服务器107可向内容服务器106转发响应消息,以及接收该响应消息或通过到上下文消息的链接信息修改的响应消息。
服务器108能够诸如通过有线或无线网络发送或接收信号,或者能够诸如在处于物理存储状态的存储器中存储信号或处理信号。能够向服务器那样运行的设备可包括,例如,专用机架式服务器、台式计算机、手提电脑、机顶盒、结合了各种特征(诸如,前述设备的两个或多个特征)的集成设备等等。服务器在配置和能力上可能区别很大,但是通常来说,服务器可包括一个或多个中央处理单元和存储器。服务器还可包括一个或多个大容量存储设备、一个或多个电源、一个或多个有线或无线网络接口、一个或多个输入/输出接口、或者诸如Windows Server、Mac OS X、Unix、Linux、FreeBSD之类的一个或多个操作***。
在实施例中,用户能够接入由内容、消息和应用服务器106、107、108提供的服务。在非限制性示例中,这可包括通过使用它们的各种设备101-104经由网络105来接入社交网络服务服务器、SMS服务器、IM服务器、MMS服务器、电子邮件服务器、交换服务器、照片共享服务服务器和旅行服务服务器。在一些实施例中,诸如即时消息传递应用之类的应用能够由应用服务器108托管。因此,应用服务器108能够将各种类型的应用和与包括用户配置信息的信息有关的应用存储在应用数据库中,其中该应用数据库与应用服务器108相关联。
此外,尽管图1将内容服务器106、消息传递服务器107和应用服务器108分别示为单个计算设备,但是本公开不受此限制。例如,内容服务器106、消息传递服务器107和/或应用服务器108的一个或多个功能可被分布于一个或多个不同的计算设备间。此外,在一个实施例中,在不背离本公开的范围的情况下,内容服务器106、消息传递服务器107和应用服务器108可被集成到单个计算设备中。
图2示出了根据本公开的一些实施例的用于管理、更新和传送图形用户表示的定制和操纵的***200的典型架构。***200包括支付***210、核心***220、显示***230、通知***240、工具***250、与内容/服务提供者相关联的用户数据库(UDB)260。尽管本***被示为包括多个独立的***,但是本公开不受此限制。也就是说,更多或更少数量的***能够被部署用于执行下面所描述的功能。实际上,如果由下面所描述的各种***所支持的功能未被部署用于具体的实施方式,则能够省略这些***。此外,尽管用户数据库(UDB)260被示为独立的模块,但是本公开不受此限制。也就是说,用户数据库(UDB)260能够被部署或分布在一个或多个上述***内。
在一些实施例中,支付***是可选择使用的。例如,支付***使用允许用户批量购买点数的一个或多个计费服务器242。所购买的点数能够被用于例如,从化身商店为该用户的在线身份购买诸如特殊配件或表情之类的物品。因此,用户可通过支付***使用他的或她的***付款以购买能够被花在化身物品上的“n”个点数。在一个实施例中,支付***240可扩展成支持与例如,电话/文本费用计费和/或互联网服务计费之类的第三方计费集成。
当然,各种货币化技术或模型可与包括与用户聊天、通信和消息相关联的广告宣传的赞助广告宣传和包括图形或显示广告的非赞助聊天广告宣传结合使用。尽管许多其他因素还可能被包括在确定广告的选择或排名中,但是在基于拍卖的在线广告市场中,广告商可就广告的安置进行出价。例如,出价可与广告商为某特定的发生率(诸如,评价广告或点击广告)支付的金额相关联。广告商为在线广告宣传所付的费用可在包括一个或多个发布商或发布商网络、一个或多个市场推广商或提供商以及潜在的其他方的多方之间分摊。一些模型包括担保递送广告宣传以及无担保递送广告宣传,在担保递送广告宣传中,广告商可基于协议来支付,该协议保证或提供了对于广告商将收到协议达成的一定量的广告宣传的保证的某种度量;以及在无担保递送广告宣传中,该模型是基于单个服务机会或基于现货市场的。在各种模型中,广告商可基于与广告递送或绩效相关联的或与具体广告商目标的测量值或近似值相关联的各种度量标准来支付。例如,这些模型可包括基于每次印象或每次若干印象的成本、每次点击或每次若干点击的成本、针对一些特定动作的每次动作的成本、每次兑换或购买的成本或基于度量标准的一些组合(能够包括在线度量或离线度量)的成本来支付,或者以其他方式支付。
在一些实施例中,核心***220包括用于处理和应对化身操作的一个或多个专用服务器222。例如,核心***222用作用户浏览和选择为他们的化身购买和穿戴的物品的主要入口点。核心***还包括化身数据库224,该数据库用于保存被存储在相关的数据库中的化身现场数据和被存储在用户数据库260中的用户数据。例如,如下面所讨论的,核心***220能够包含事件服务器和/或事件数据库(或化身数据库),其中数据库包括了与化身的动画有关的信息和/或与化身进行交互有关的触觉效果。在下文中对这类实施例进行更加详细地讨论。
在一些实施例中,显示***230包括一个或多个生成服务器234和一个或多个图像服务器232,其中这些服务器负责化身(或其他图形用户表示)的生成和显示。如上面所讨论的,为了便于说明,化身将被讨论为典型图形用户表示;然而,应当理解的是任何类型的图像、图形动画或文件可与本文所讨论的***和方法结合使用。例如,显示***230能够从存储***236提取化身文件或通过缓存存储***236上的结果来在过程中生成化身文件。存储***236还可为通过网络接口获取的(例如,由服务提供商提供的)其他服务保留预生成的化身文件。
在一些实施例中,通知***240包括一个或多个实时服务器242a-n,以及用于路由化身事件的至少一个路由器244。在操作中,化身事件路由器244与消息通信或移动服务器联合确定化身用户是否登录到实时消息传递(或通知)服务。如果该查询得到肯定地回答,则化身事件路由器244将根据需要向相关服务器(242a-n)传递通知。为了说明,如果用户的化身经过了变化(例如,情绪变化、服装变化、背景变化、配件变化等等)并且该用户登录到实时消息传递服务中,则该化身变化通过通知***被发送以使该变化被实时显示。例如,图2示出了消息通讯/移动服务器242n向移动即时消息通信客户端270发送化身变化通知以向移动设备显示更新后的化身和/或向消息通信客户端280发送化身变化通知以向例如在移动设备上运行的即时消息通信应用显示更新后的化身。
在一些实施例中,工具***250包括用于执行生产、维护和/或客服功能的一个或多个管理服务器252。在一个实施例中,管理服务器252还可允许第三方提交待审批的内容,例如,化身的新表示法(图像和/或动画)、化身的新配件、化身的新情绪、用于化身的新服务等等。工具***250允许服务提供商评估由第三方提供的所提交的内容,并且允许服务提供商更新、修改或清除旧的内容。最后,应当注意的是***200仅仅是范例,并且能够被修改以适应具体实施方式的要求。
在一些实施例中,用户被赋予有限自由的化身定制能力,从而能够通过基于网络的店面为他们的化身购买新的动画或发型、服装、配件和背景的组合。在一个实施例中,化身被集成在即时消息(IM)视窗中的消息通讯(Messager)客户端和/或好友列表(Friend List)(例如,视窗)中。用户可通过多种心情和/或姿势在线地表达他们自己。在一些实施例中,用户可通过购买随后能被花在化身动画、装备、配件和背景上的点数来定制他们的化身。定制可通过基于网络的接口进行,并且一旦完成,该定制可通过一个或多个通讯、移动或游戏客户端被显示出来。
图2示出了根据本公开的一个或多个方面描述了实时通知***的典型实施方式的框图。为了说明,每当用户创建新的化身或修改/操纵/改变现有化身时,化身核心服务器222便将用户的化身写入服务提供商的统一数据库260(例如。)中。用户事件路由器244针对化身相关信息不断地监听对UDB 260中的用户记录的任何变化,获得化身变化通知。化身事件路由器244向相关消息通信和移动服务器242n发送化身信息,然后消息通信和移动服务器242n查阅用户的消息通信/移动连接信息并向用户自身以及向与该用户交互的、登陆到消息通信客户端(Messenger)和/或在他的/她的好友列表或联系人列表中存在该用户的任何人发送“化身已改变”事件。
在一些实施例中,当消息通信客户端(例如,280)接收到化身变化通知时,该客户端对用户的化身关键点进行缓存并从用户创建他的化身的适当的化身平台下载化身的相关尺寸(例如,小、中和大)。一旦小、中和/或大化身被下载到客户端上,该客户端便将用户的小化身显示在消息通信好友列表中,并将用户的中化身显示在消息通信客户端的顶部。应当理解的是小、中和/或大化身对于客户端设备来说可以是本地的;因此,化身变化通知能够由客户端设备本地处理。如果用户正与另一用户进行消息通信对话,则完整的化身可被显示在消息通信对话(例如,IM)视窗中。
图3示出了可在本公开内使用的移动设备300的一个实施例。移动设备300可包括相较于图3所示出的那些组件或多或少的许多组件。然而,所示出的组件足以公开用于实现本公开的说明性的实施例。移动设备300可表示例如,图1中的移动设备102-104。
如图中所示,移动设备300包括通过总线324与大容量存储器330进行通信的处理单元(CPU)322。移动设备300还包括电源326、一个或多个网络接口350、音频接口352、显示器354、小键盘356、照明器358、输入/输出接口360、触觉接口362和可选择的全球定位***(GPS)接收器364。电源326向移动设备300提供电力。可以使用可充电式或不可充电式电池来提供电力。也可通过对电池进行补给或充电的诸如AC适配器或供电对接底座的外部电源来提供电力。
移动设备300可选择地与基站(未被示出)进行通信或直接与另一通信设备进行通信。网络接口350包括用于将移动设备300耦合至一个或多个网络的电路,并且网络接口350被构建以供包括,但不限于全球移动通信***(GSM)、码分多址(CDMA)、时分多址(TDMA)、用户数据报协议(UDP)、传输控制协议/互联网协议、SMS、通用分组无线服务(GPRS)、WAP、超宽带(UWB)、IEEE 802.16全球微博互联接入、SIP/RTP或任何各种其他无线通信协议的一个或多个通信协议和技术使用。网络接口350有时被认为是收发器、收发设备或网络接口卡(NIC)。
音频接口352被安排用于产生和接收诸如人声的声音之类的音频信号。例如,音频接口352可被耦合至扬声器和麦克风(未被示出)以实现与其他人的通信和/或生成对于一些动作的音频确认。显示器354可以是液晶显示器(LCD)、气体等离子、发光二极管(LED)或被用于计算设备的任何其他类型的显示器。显示器354还可包括触摸敏感屏,该触摸敏感屏被安排用来接收来自诸如触控笔或来自人手的指(趾)头之类的输入的触摸敏感屏。
小键盘356可包括被安排用于接收来自用户的输入的任何输入设备。例如,小键盘356可包括下压按钮拨号数字表盘或键盘。小键盘356还可包括与选择和发送图像相关联的命令按钮。照明器358可提供状态指示和或提供光照。照明器358可在特定的时期内或响应于事件而保持活跃。例如,当照明器358是活跃的时,它可向小键盘356上的按钮提供背光并在客户端设备被供电时保持开启。另外,当具体动作被执行时,诸如向另一客户端设备拨号时,照明器358可以各种模式向这些按钮提供背光。照明器358还可以响应于动作,使光源置于客户端设备的透明或半透明的情况用以照明。
移动设备300还包括用于与诸如头戴式耳机或图3中未被示出的其他输入或输出设备之类的外部设备进行通信的输入/输出接口360。输入/输出接口360能够使用一个或多个通信技术,诸如USB、红外线、BluetoothTM等等。触觉接口362被安排用于向客户端设备的用户提供触觉反馈。例如,当移动设备300接收到来自另一用户的通信时,触觉接口可被用于以具体的方式振动移动设备300。
触觉技术指的是经由向用户应用力、振动和/或运动的触觉感知与用户相互的技术。这种机械刺激可被用于帮助虚拟对象的创建(例如,存在于计算环境中的对象),以及对于这种虚拟对象的控制,加强机器和设备(例如,移动终端)的控制。触觉技术的实现将结合图4和图6-8在下面被详细讨论。此外,尽管在此处讨论了与振动有关的触觉效果,但是应当理解的是本公开的效果不限于振动脉冲或效果,这是因为听觉和视觉效果能够被单独输出或与振动(和/或动画)联合输出。
可选择的GPS收发器364能够确定移动设备300在地球表面上的物理坐标,其通常将位置输出为纬度和经度值。GPS收发器364还能够使用其他地理定位机制(包括,但不限于,三角测量、辅助GPS(AGPS)、E-OTD、CI、SAI、ETA、BSS等等)以进一步确定移动设备300在地球表面上的物理位置。应当理解的是在不同的条件下,GPS收发器364能够在毫米级别之内确定移动设备300的物理位置;而在其他情况中,所确定的物理位置可能不如前述情况精确,诸如在米或明显更大地距离之内。然而,在一个实施例中,移动设备可通过其他组件提供可被用于确定设备的物理位置的其他信息,所述其他信息包括例如,MAC地址、IP地址等等。
大容量存储器330包括RAM 332、ROM 334和其他存储手段。大容量存储器330图示了用于信息(诸如,计算机可读指令、数据结构、程序模块或其他按数据)存储的计算机存储介质的另一示例。大容量存储器330存储用于控制移动设备300的低级操作的基本输入/输出***(“BIOS”)340。大容量存储器还存储用于控制移动设备300的操作的操作***341。应当理解的是该组件可包括诸如UNIX或LINUXTM的版本之类的通用操作***或诸如Windows MobileTM操作***之类的专门客户端通信操作***。操作***可包括能够通过Java应用程序来实现硬件组件控制和/或操作***的操作的Java虚拟机模块或与该Java虚拟机模块交互。
存储器330还包括一个或多个数据存储,该数据存储能够由移动设备300用以存储,特别是,应用342和/或其他数据。例如,数据存储可被用于存储描述移动设备300的各种能力的信息。其后,该信息可基于各种事件(包括,在通信期间作为报头的一部分被发送、基于请求被发送等等)被提供给另一设备。至少一部分能力信息还可被存储在移动设备300内的磁盘驱动器或其他存储介质(未被示出)上。
应用342可包括计算机可执行指令,当由移动设备300执行该指令时,应用342发送、接收和/或处理音频、视频、图像,并且实现与另一客户端设备的另一用户之间的通信。应用程序的其他示例包括日历、浏览器、联系人管理器、任务管理器、代码转换器、数据库程序、字处理程序、安全应用、电子表格程序、游戏、搜索程序等等。应用342还可包括消息传递客户端345,其中消息传递客户端345被配置成通过使用SMS、MMS、IM、电子邮件、VOIP和/或各种其他消息传递通信协议来发送或接收和/或处理消息。尽管仅示出了单个消息传递客户端345,但是应当清楚的是可以使用多个消息传递客户端。例如,一个消息传递客户端可被配置成管理SMS消息,另一消息传递客户端管理IM消息,而又一消息传递客户端被配置成管理电子邮件等等。
图4是典型电子设备400(或***)的框图,其中在本公开的典型实施例中该电子设备400被耦合至触摸屏接口403以供使用。触摸屏接口402能够通过使用任何适当的技术被实施为较大电子***的一部分或被耦合至电子设备400。例如,触摸屏接口402能够通过任何类型的通道或连接被通信耦合至电子设备400,这些通道或连接包括串行、并行、12C、SPI、PS/2、通用串行总线(USB)、Bluetooth、RF、IRDA或任何其他类型的有线或无线连接,这些为若干非限制性的示例。类似地,电子设备400的各种元件(例如,处理组件、电路、存储器、外壳材料、物理硬件等等)能够被实施为整体***的一部分、触摸屏接口402的一部分或它们的组合。
术语“电子设备”被用来指与“触摸屏接口”进行通信的广义上的任何类型的设备。如上面所讨论的,电子设备400可以是移动设备,从而包括触摸屏接口402能够被实施在其中或被耦合至该处的任何类型的一个或多个设备。作为非限制性的示例,电子设备400能够包括任何类型的个人计算机、便携式计算机、工作站、平板电脑、智能手机、个人数字助理、视频游戏机、通信设备、媒体设备、输入设备或它们的组合。这些示例意味着是具有代表性的并且被广义地解释。此外,应当理解的是术语“电子设备”和“移动设备”根据它们的能力或特征的方面是可互换的。
例如,通信设备能够包括有线电话、无线电话和电子消息传递设备;输入设备包括诸如触摸屏和触摸板的触摸传感器、小键盘、操纵杆和鼠标以及遥控;媒体设备记录器和播放器包括电视、音乐记录器和播放器以及诸如电缆解扰器和视频记录器或视频播放器之类的机顶盒;以及组合设备包括具有内置相机的手机、能够兼任电子消息传递***或手机的PDA等等。在一些实施例中,电子设备400其本身可以是较大***的外部设备,并且通过使用适当的有线或无线技术与(除了触摸屏接口402之外的)另一设备进行通信。外部设备的示例包括电视机、机顶盒或音乐***的遥控、有线网络上的终端以及能够从单独来源无线下载媒体的媒体设备。因此,电子设备400的各种实施例可包括任何类型的处理器、存储器、显示器或适当的其他组件,并且设备400的元件可通过总线、网络或适用的其他有线或无线互联通信。另外,电子设备400可以是触摸屏接口402的主机或从设备。涉及一个或多个用户和电子设备400的交互还可在附加的非触摸屏设备(诸如,鼠标光标和附加的计算机监视器)上发生。。
触摸屏接口402包括显示屏404和触摸传感器设备406,两者均被通信耦合至处理器408。显示屏404是能够向人类用户显示可视界面的任何类型的电子显示器,并且显示屏404能够包括任何类型的LED、CRT、LCD、等离子体或其他显示技术。触摸传感器设备406对一个或多个输入对象410的对象运动的某些方面很敏感,诸如在它的感应区域内的手指或触控笔。
应当注意的是尽管本文所描述的各实施例提到了“触摸传感器设备”、“近距离传感器”或“触摸板”,然而如本文所使用的这些术语在本文被用作同义词,并且意图包含不仅仅是常规的触摸传感器设备,还包含能够检测关于一个或多个手指、指示器、触控笔和/或其他物体的位置信息的宽范围的等效设备。这类设备可包括,但不限于,触摸板、触摸平板、生物特征认证设备、笔迹或文字识别设备等等。因此,一个或多个用户与触摸屏接口402之间的交互可包括具有触摸传感器设备406的触摸屏接口402和一个或多个手指、触控笔、其他输入对象412或它们的组合。
在电子设备400的触摸屏接口402中,处理器408被耦合至触摸传感器设备406、显示屏404和触觉接口414(如上面在图3中关于物品362所讨论的)。通常,处理器408接收来自触摸传感器设备406的电信号、处理该电信号,并与显示屏404进行通信。如下面所讨论的,处理器408可操作用于下载、安装和/或运行应用410,其中应用410提供用以通过网络进行通信的能力。处理器408通过与触摸传感器设备406交互来实施或执行应用410。例如,应用410可以是由设备400用来与其他用户进行通信的即时消息传递程序。另外,应用410能够被用于加载、渲染和/或下载图形用户表示。处理器408通常还能够与电子设备400进行通信,提供对在触摸传感器设备406上接收的输入的指示,以及或许进而接收信息或指令。在典型实施例中,如本文所讨论的,应用410是使得设备400的用户能够与至少一个其他用户交互的IM应用。
如上面所讨论的,触觉接口414被安排用以向客户端设备的用户提供触觉反馈。例如,当另一计算设备的用户发送信息时,触觉接口414可被用于以具体的方式振动移动设备400,这将在下面结合图6-11来讨论。在一些实施例中,并且以非限制性示例的方式,处理器408能够通过网络从服务器(或从触摸屏接口402)接收输入信号,确定事件来源或特点并且基于确定结果选择控制信号,并且向触觉接口414输出控制信号。控制信号被配置成使触觉接口414输出与事件相关联的触觉效果。在一些实施例中,处理器408将根据从服务器接收的指令执行控制信号。例如,触觉接口414将通过网络从服务器或其他设备接收控制信号中的触觉代码,并且将输出与(一个或多个)所接收的控制信号相关联的该触觉效果。与触觉效果有关的具体实施例将在下文中被详细描述。
图5是根据本公开的一些实施例的在即时消息传递会话500期间用于操纵或动画绘制化身的过程的流程图。如上面所讨论的,用户能够实现对接收用户的通信,该通信引发接收用户的化身作出反应。为了清晰起见,图5中的过程将根据示例来讨论。应当理解的是过程的步骤和示例中的事件在本质上是说明性的,并且对于所涉及的步骤、用户和循环来说不是限制性的、约束性的或穷尽性的。例如,用户501 Bobbi与用户503 Roman发起了消息传递会话,其中Bobbi 501和Roman 503通过由服务器/主机505托管的网络进行通信。在示例中,Bobbi和Roman是约会关系,并且由于Bobbi刚刚得知Roman感觉不舒服,因此她想向Roman发送表明她希望他感觉好些的消息。Bobbi和Roman在他们各自的设备上均显示出了彼此的化身。也就是说,在聊天界面内,Bobbi的化身被显示在了Roman的设备上,并且Roman的化身被显示在了Bobbi的设备上。(在图9-11中能够找到对这类化身显示的描述,例如,图10中的1000a和1000b。)每个化身是代表了相应的用户在即时消息通信会话500中用于自我表现的图形图像。在一些实施例中,化身能够支持对应于例如,正常的(或不露表情的脸)、微笑的、开心的、悲伤的和生气的表情/情绪的预定数量的动画。然而,在虚拟场景内已知的或即将知道的另外的情绪和/或姿势也能够被实现。应当理解的是与化身的表情/情绪有关的动画的长度、频率和类型能够被预先确定(由用户、设备和/或***中的任何一个设置)或基于所接收的实现动画效果的输入。
现在转向说明图5中的过程的示例,Bobbi能够与显示在她的设备501上的Roman所显示的化身进行交互,并且向Roman发送表示她的表情的消息,而不是被限制为发送表述“我希望你感觉好些了”的常规文本消息或输入表示相同意思的诸如“难过的脸”之类的表情。在步骤502中,例如,Bobbi能够在她的设备上针对Roman所显示的化身提供输入。例如,Bobbi能够将她的手指,例如,食指、大拇指或它们的组合放置在Roman所显示的化身上。应当理解的是与所显示的化身进行的交互能够采用许多形式,包括,但不限于轻击、滑动、捏拉、扭动、双击或其他已知或待被知晓的与触摸屏接口进行的交互。
因此,如图10中的屏幕1004所示出的,Bobbi已将她的手指(图10中的1001)放置在化身1000a并扭动她的手指。(在另一示例中,如图9中的屏幕908所示出的,Bobbi能够通过将两根手指按在Roman所显示的化身上并将她的两根手指挤压在一起来“捏拉”化身)。在步骤504中,与化身进行的交互触发了待被通过网络被发送至Roman的事件触发、信号或事件消息的生成。在步骤506中,事件消息从Bobbi的设备被发送至主机或(与事件数据库相关联的)事件服务器。在步骤508中,事件消息由事件服务器处理。也就是说,事件服务器接收事件消息并通过将事件消息与事件库中特定的事件相匹配来确定哪个事件对应于该事件消息。换句话说,包含在事件消息中的信息被识别(或被解析出来)并且与事件库相比较,其中所述信息包括与Bobbi和她的触摸屏接口的交互相关联的数据。这可以通过使用将一个或多个触发与用于化身的动画类型相关联以识别具体类型的动画的数据库表、列表或文件来实现。动画类型包括,以示例的方式而并非限制于微笑、眨眼、皱眉、吐舌头的表情、震惊的表情、亲吻、拥抱、大叫、大笑脸、睡着的表情、点头的表情、叹息、胳肢、难过的表情、酷的表情、大笑、消失、难闻、跳舞或消极的表情。应当理解的是适用于本公开的动画包括在动画绘制、修改、操纵、扭曲等范围内的那些已知的或待被知晓的图像、图形、视频和/或多媒体文件。另外,事件库能够被放置在事件服务器、事件数据库、用户设备或它们的某种组合中。因此,还应当理解的是动画能够由用户、内容提供者、***或他们的组合来预设。在一些实施例中,包含在事件消息中的信息可能不需要与事件库相比较。在这些实施例中,信息能够被识别并被用于创建用于向接收者的设备传输的定制的事件消息(或控制信号)。
在一些实施例中,事件库被本地存储在发送者的设备上。在其他实施例中,事件库被本地存储在接收者的设备上。本地事件库对于:当一个设备作为代理或托管本地热点等等时,通过诸如红外线、近场通信(NFC)直接在设备之间发生通信的实施例是有用的,在一些实施例中,事件库对应于附属于事件服务器的事件数据库。应当理解的是事件服务器可以是独立的服务器或托管聊天会话的服务器,诸如图1中的消息传递服务器107或图2中的核心***220中的服务器。或者,事件服务器可以是另一服务器,诸如内容服务器或应用服务器,或提供聊天服务或化身资源的适用的服务器的组合。
在步骤510中,在基于所发送的来自发送者的设备(例如,Bobbi的设备)的事件消息识别事件之后,事件消息被传达至接收者的设备(例如,Roman的设备)。在步骤512中,消息包含用以修改、操纵或管理被显示在Roman的设备503上的Roman的化身的动画的信号或指令。信号/指令包括与动画、修改或操纵的类型、持续时间有关的信息,并且在适当的情况下还包括与动画、修改或操纵的频率有关的信息。另外,此类动画、操纵或修改的范围被包括在消息中。在上面的示例中,Roman的设备上的化身将根据事件消息被实现动画以表示Roman已被“拥抱”。在一些实施例中,根据“拥抱”事件,Roman将接收表述“你已被拥抱”的消息。在一些实施例中,Bobbi还可接收表述“你已拥抱Roman”的消息。此过程的说明性的示例和上面所讨论的图5的示例在图9-11,特别是在图10被示出。在一些实施例中,如图6-8所讨论的,“拥抱”还可触发Roman设备以振动,从而实现“拥抱”的触觉效果。
在可替代的实施例中,如上面所讨论的,发送者能够通过键入消息来触发接收者设备上的动画,其中该消息被解析并且被分析以识别出导致事件消息的事件触发。例如,由发送者发送的即时消息的文本可触发接收者的化身的动画。另外,由即时消息接收者发送给发送者的即时消息的文本可触发发送者的化身的动画。例如,消息的文本可包括字符串“LOL”,这是代表“放声大笑(laughing out loud)”的首字母缩写。字符串“LOL”可触发发送者化身或接收者化身的动画以使发送者化身和/或接收者化身表现为正在大笑。
因此,动态改变化身的情绪和/或姿势的能力提供了允许用户表达他们的模拟情绪和/或表达模拟姿势的独特的方式。通过使用化身的动态表情,用户能够获得表达他们自己的能力而不用借助于使用静态意象或繁琐的功能,诸如用户允许其他用户看到他们的网络摄像头。出于隐私的原因和/或资源的原因,化身作为允许用户自由地表达他们自己的用户的模拟表示。化身的动态性质在加强用户的交互体验的同时维护了隐私。
图6是描述了根据本公开的实施例的使用定制触觉效果以向移动通信设备的用户表达信息的方法的流程图。如上面所讨论的,用户能够实现与接收用户的通信,其中该通信触发了接收用户的化身以做出反应。在此实施例中,用户化身的反应导致接收用户的设备产生触觉事件。这种事件可以是振动、音频报警或两者的结合。此外,关于图5中的实施例所产生的反应,触觉事件可与接收者的化身的动画同时发生,这将在图8中进行讨论。
如本文所讨论的,诸如智能手机、PDA或平板计算设备之类的移动设备可被配置成允许用户将触觉信息或触觉代码包括在输出通信信号(例如,文本消息)中。利用触觉信息对通信信号进行编码可以是基于所建立的方案或协议的和/或在每个***的基础上实现的。触觉代码被配置成:当通信信号被传递至另一移动设备时,导致触觉效果被输出。在一些实施例中,特定的触觉代码与独特的触觉事件(例如,具体的振动模式)相关联。
图6示出了用于使用定制的触觉效果来向他们的移动设备上的用户表达信息的过程600。在步骤602处,与事件相关联的输入信号被接收,其中该输入信号包括与触觉事件有关的信息。例如,Bobbi经由她的移动设备的触摸接口通过轻击Roman所显示的化身提供输入。Bobbi的交互对应于她期望“拥抱”Roman。在步骤604处,输入信号被发送至服务器。在步骤606处,包括标识触觉事件“拥抱”的信息的输入信号由服务器处理。也就是说,服务器从输入信号中提取触觉代码。触觉代码向服务器提供标识了由Bobbi所提供的具体的输入的信息。在步骤608中,服务器基于所提取的触觉代码识别触觉事件。换句话说,例如,被包含在触觉代码中的信息与触觉事件库相比较,其中所述信息包括与Bobbi和她的触摸屏接口进行的交互相关联的数据。此比较可通过使用触觉库或将触觉代码与触觉事件的类型相关联的数据库表、列表或文件来实现。如上面的图5中所讨论的事件服务器/数据库一样,触觉库可位于服务器、关联数据库或独立数据库或通信设备之一上。如上面所提到的,特定的触觉代码可与独特的触觉事件(例如,具体的振动模式)相关联以便于模拟所期望的效果。在一些实施例中,触觉代码可根据预定方案或协议来配置,其中所述预定方案或协议包括例如,触觉代码表(它们中的一些可与一个或多个触觉事件相关联)相对于用于呈现相对应的触觉效果的控制信号。通过这种方式,移动设备中的处理器可基于所提取的触觉代码从表格中查找相应的控制信号并向触觉接口输出所选择的控制信号以呈现所期望的触觉效果。或者,如下面所讨论的,触觉代码不需要与代码/事件库相比较,这是因为触觉代码可被用于或实施用于为输出触觉事件生成事件控制信号。应当理解的是,根据一些实施例,触觉效果可由用户、内容提供者、***或他们的组合来预先确定。
触觉事件的类型包括,但不限于:振动、脉冲、音调、听觉效果等等,其中振动、脉冲、音调可因力度、长度、持续时间、频率、重复和音量而异。例如,Bobbi意图“拥抱”Roman。所提取的触觉代码识别所期望的“拥抱”;因此,在触觉库中所标识的触觉效果与具体的振动模式有关——例如,它可以是两次快速地重复地脉冲(或者,例如在1秒的时间帧内的两次0.3秒的脉冲)。触觉效果(与所关联的控制信号一起)还可从诸如服务提供商、网络资源、网络服务器、远程手持通信设备或计算机之类的远程来源下载或发送。这种下载或发送的触觉效果可进一步被编辑或修改。可以设想用于手持通信设备的第三方应用可使用户能够购买或下载附加的触觉效果同时能够编辑或修改他们。此外,用户能够定制或修改这类触觉效果。触觉效果还可以压缩包的形式被提供,其中所述压缩包还包括可以或不可以被配置成与触觉效果同步的视觉效果和音频效果。
在步骤610中,服务器生成包括触觉效果的控制信号,并且将该控制信号发送至另一移动设备。例如,控制信号被发送至Roman的设备。在步骤612处,在Roman的设备接收之后,Roman的设备上的触觉接口(或执行器)分析该控制信号,并且处理触觉效果(或反馈)。也就是说,控制信号被配置成使得触觉接口输出触觉效果。在一些实施例中,如下面在图8中所讨论的,触觉效果还可由其他事件触发或与其他事件同步。
在典型实施例中,这些触觉代码中的一部分可与模仿“大笑”、“咯咯地笑”、“胳肢”、“拥抱”、“举手击掌”、“心跳”、“宠物的呼噜声”等等诸如此类的表情或行为的触觉效果相关联。这使得能够例如在交互对话或聊天会话中通过按压或操纵在触摸屏接口上所显示的对象或部分来发送和体验触觉效果。应当理解的是本公开不限于在触摸移动设备上使用,这是由于本文所讨论的功能能够经由呈现在任何已知的或待被知晓的设备上的输入功能/能力被实现在这类设备上。
通过非限制性的示例的方式,可以假设用户Bobbi与James通过他们各自的移动设备正在进行聊天会话。在一个实施例中,当Bobbi向James讲笑话时,如上面所讨论的,James能够通过例如,按压触摸屏接口对应于Bobbi所显示的化身的区域来向Bobbi发送“大笑”感觉来作为反应,而不是通过键入表示大笑的文本,诸如“哈哈”或在消息中***和发送微笑的表情来做出反应。这导致了从James的手机向Bobbi的手机发送信号,并且向Bobbi的手机输出相应的触觉效果(从而由Bobbi体验)。
根据可替代的实施例,James还能够在输出消息(其还可包含诸如由他的移动电话拍摄的照片之类的视频图像和/或诸如模仿笑脸的表情之类的图形特征)中包括触觉代码以向Bobbi发送。当消息被传递至诸如Bobbi的移动电话之类的远程设备时,触觉代码导致触觉效果被输出。根据一个实施例,触觉效果可与被包含在消息中的视频图像的显示相关或同步。根据另一实施例,基于触觉代码的触觉效果的生成可以与上面针对本文所讨论的实施例所描述的相类似。
触觉效果还能够被用于加强和补充在移动通信设备之间传送的信息内容。根据一些实施例,多个手持通信用户可通过他们的移动通信设备进行聊天会话。如本文所讨论的,这些用户均可具有被显示在其他移动通信设备上的图形用户表示或化身。这种化身还可以是可实现触觉的,例如,他们的表情和/或行为带有相应的触觉效果并通过相应的触觉效果加强。图7是描述了根据本公开的一些实施例的实现使用手持通信设备的聊天会话的方法的流程图700。在实施例中,在步骤702处,移动设备接收与聊天消息相关联的输入信号。在步骤704处,移动设备显示与聊天消息相关联的化身。在步骤706处,手持通信设备提供与聊天消息相关联的触觉效果。步骤706可包括向被耦合至该手持通信设备的触觉接口输出控制信号,其中控制信号被配置成使触觉接口输出触觉效果。根据一个实施例,触觉效果可与化身的表情或行为(诸如,大笑或咯咯地笑、哭、尖叫、跳舞、宠物的呼噜声等等)相关联。处理触觉效果的步骤是与上面针对图6所讨论的相类似的步骤。
图8是根据本公开的一些实施例的用于在即时消息期间操纵化身或使化身实现动画并提供相关联的触觉效果的过程的流程图。图8说明了图5和图6的过程相互协调发生的实施例,其中所触发的事件信号包括与所期望的化身反应和相对应的触觉效果相关联的信息。
如上面所讨论的,用户能够实现与接收用户的通信,其中此通信触发接收用户的化身做出反应。另外,化身的反应能够被耦合至触觉效果或与触觉效果相联系。从图5-6所使用的示例来看,在步骤800处,用户801Bobbi已经与用户803 Roman建立了即时消息传递会话800。Bobbi和Roman通过由服务器/主机805托管的网络进行通信。与上面的示例一样,Bobbi想要向Roman发送表述她希望他感觉好些了的消息。Bobbi和Roman使彼此的化身显示在他们各自的设备上。也就是说,在聊天界面中,Bobbi的化身被显示在Roman的设备上,而Roman的化身被显示在Bobbi的设备上。在步骤802处,Bobbi能够与Roman所显示的化身交互,并且向Roman发送表达她的表情的消息。换句话说,Bobbi能够在她的设备上针对Roman的化身提供输入。例如,Bobbi能够将她的手指,例如,食指、大拇指或它们的组合放置在Roman所显示的化身上。应当理解的是与所显示的化身进行的交互能够采用许多形式,包括,但不限于轻击、滑动、捏拉、双击或其他已知或待被知晓的与触摸屏接口进行的交互。
在此示例中,Bobbi通过将两根手指按在Roman所显示的化身上并将她的两根手指挤压在一起来“捏拉”化身。在步骤804处,“捏拉”触发了待被通过网络发送至Roman的事件信号或事件消息。在步骤806中,事件信号从Bobbi的设备被发送至主机或(与事件数据库相关联的)事件服务器。在步骤808中,事件信号由事件服务器处理。
此外,如图6中所讨论的,在步骤809中,事件信号还可包括标识触觉事件“拥抱”的信息,这也由服务器805处理。也就是说,服务器从事件信号中提取触觉代码。触觉代码向服务器提供了标识由Bobbi所提供的具体的输入的信息。在步骤810中,服务器基于所提取的触觉代码识别触觉事件。换句话说,例如,被包含在触觉代码中的信息与触觉事件库相比较,其中所述信息包括与Bobbi和她的触摸屏接口进行的交互相关联的数据。如上面所讨论的,此比较可通过使用与触觉事件的类型相关联的数据库表、列表或文件来实现。
在步骤811中,在事件从事件库和触觉库中被识别后,服务器生成被发送至接收者设备(例如,Roman的设备)的控制信号。应当理解的是上面所讨论的事件库和触觉库可以在单个数据库或查找表内,或单独存在,但是相连接的数据库或查找表。此外,在一些实施例中,识别所期望的事件或触觉效果可以是基于与另一相应库被顺序识别或被同时确定的。
控制信号包含用以修改、操纵或管理Roman的化身的动画的信号或指令,并且控制信号包括相关联的触觉效果。在步骤812处,在Roman的设备接收之后,Roman的设备上的化身将根据控制信号进实现动画以表示Roman已被“拥抱”。此外,在典型实施例中,在步骤814处,Roman的设备上的触觉接口(或执行器)同时输出触觉效果。在一些实施例中,控制信号包括用于动画的信息和用于触觉效果的信息二者。在一些实施例中,针对用于动画的信息和用于触觉效果的信息可分别发送不止一个控制信号。
对于在移动设备上提供输入或生成输入信号,还存在可替代的实施例。除了与触摸屏接口进行交互之外,用户还能够通过例如,将设备倾斜预定的角度或以预定的力度摇动设备实现输入以便于表达可确定的输入和方向,这可被认为是用户输入。输入除了可基于设备倾斜的角度和/或这种摇动的力度的之外,还可以基于方向、速度、速率、加速度、倾斜或摇动的长度或它们的某种组合。因此,倾斜和/或摇动设备能够产生使用本领域已知的或未来将被知晓的加速度和/或位置和/或速率传感器配置的用户输入(实现与触摸触摸屏接口相类似的输入)。
为了说明上面所讨论的实施例和能力,针对图5-8、9-11进行的详细讨论描述了本发明的各种非限制性实施方式和示例。应当理解的是针对图9-11所讨论的实施方式和示例在本质上是说明性的,而非限制性的、有约束力的或关于所涉及的步骤、用户或迭代进行穷举的。
图9描述了触摸屏移动设备900,其中通过屏幕902-908的各种实施方式,可实现如上面针对图5-8所讨论的动画和触觉效果。如屏幕902所示,用户通过他的/她的手指(或触控笔)903能够与用户的化身901进行交互。此交互是图5-8所讨论的输入的例证。作为交互/输入的结果,屏幕904描述了交互/输入的结果的一个实施例。如针对屏幕904所示出的,在产生输入的用户的设备上,确认/通知905被显示。例如,在按压另一用户的化身并且触发“胳肢”之后,该用户在其相应的化身903旁边接收到表述“你胳肢了Roman”的确认/通知905。(如上面的示例所示,Roman是与发送用户Bobbi通信的另一用户)。如上面所详细讨论的,“胳肢”在Roman的设备上产生了动画。在一些实施例中,用户接收动画(或触觉效果)也将实现此结果。此处,在屏幕906中,显示在Roman的屏幕上的他的化身901被实现动画以实现“胳肢”。例如,Roman的化身907可轻微地咯咯地笑并且设备900可根据化身的动画振动。
屏幕908描述了通过设备900的触摸屏接口与化身交互的类型的示例。此处,如所示,用户还可“捏拉”化身901,而不仅仅是轻击屏幕。(这是针对上面就图5和图8所讨论的示例/实施例所讨论的。)在一些实施例中,化身901将随着“捏拉”动作收缩,然后“弹开”返回正常尺寸。这种交互/输入,连同其他类型的交互一起在本领域中被认为和被理解为是用于与触摸屏接口/设备进行交互的能力和选择。因此,应当理解的是已知的或待被知晓的与触摸屏接口/设备进行交互的方法是适用的或能够根据本公开的被实现。
如上面所讨论的,图10描述了根据本文所讨论的功能和能力的用于“拥抱”另一用户的实施例/示例1002、1004和1006。图10中的描述在上文中针对图5和图8进行了详细地讨论。
图11描述了执行如上文所讨论的,即时消息传递(IM)应用的触摸屏移动设备。用户界面显示器1100示出了在Bobbi和Roman之间的IM对话。每个用户的化身1104和1106被显示在他们各自的聊天消息1102和1103旁边。如通过示例的方式所示的上文针对图5-8所呈现的具体实施方式中,化身是他们各自的脸的照片(尽管应当理解的是可使用视觉上更加复杂的化身)。在此图中通过示例的方式,设备所呈现的用户界面显示器1100示出了设备使用户能够(i)输入并发送消息,(ii)接收消息以及(iii)动态地操纵所选择的化身(从而实现动画和/或触觉效果)。如上文所示出和所讨论的,当用户的化身被触摸(或由用户——Bobbi或Roman进行交互)时,设备显示表明了动画/触觉效果被触发的消息以及表明了动画/触觉效果的类型的消息1105和1107。
如图11中所示出的,Roman 1104注意到Bobbi 1106没有回应他刚刚发送的文本。他想知道Bobbi是否接收到了该文本,并且相比于向她发送重复的消息,他想用一种有趣的、好玩的方式提醒她。此处,例如,Roman 1104能够用他的大拇指按在Bobbi的化身1106上,然后摇动他的设备。立即地,屏幕显示示出了化身摇动的图标,并且在图标旁写着“你摇晃了Bobbi!”1107。因此,Bobbi的移动设备振动了,然后她检查了她的手机并看到了Roman“摇晃了”她。
在根据一些实施例的另一非限制性的示例中,Bobbi能够与她自己所显示的化身进行交互以便于表达类似的表情。与目前的文本特征一样,并且应当理解的是适用于此示例,当用户正在进行对话时,每一个用户的化身均对对方和自己是可见的。Bobbi可以将她的手指放置在她的移动设备的触摸屏上的她自己的化身上,而不是与另一用户的化身进行交互。这能够实现与上面所讨论的相同的结果。
在一些实施例中,除了操纵化身之外,用户还能够修改化身以产生动画。例如,用户能够操纵或扭曲化身(或表情)的面部或面部的组成部分。例如,用户可将笑脸表情***文本消息中,然后操纵或扭曲面部或面部的组成部分(例如,微笑)以将微笑扩大为露齿笑,或将微笑扭曲为冷笑。类似地,用户能够以类似的方式修改化身。这使用户能够自定义化身或表情,而不是不得不从预定义的表情调色板中选择最适当的表情。因此,用户被赋予实时修改图形用户表示以产生个性化的情绪、表情、姿势和表述的能力。还应当理解的是,通过与化身交互实现的输入和输出不限于化身整体。例如,交互能够仅仅与化身的组成部分(例如,人的笑容或眼睛,或甚至是化身的显示区域内的背景意象)有关。
应当理解的是尽管上面所讨论的主要是针对于即时消息应用,但是其他实施方式也被考虑用以在平台或在线应用中提供类似的功能。例如,一些技术和概念可被应用于在游戏中、社交网络中充当辅助信息的动画化身以向计算机***或计算设备的用户传达新闻、天气和其他信息。
图12是示出了根据本公开的一个或多个实施例的例如,服务器或用户计算设备诸如此类的计算设备的内部架构的框图。图12示出了本公开的一些典型实施例可被实施在其上的计算机***。尽管计算机***1200是针对具体设备或装置描述的,但是可以想到的是其他设备或装置(例如,网络元件、服务器、处理器)能够使用所示出的硬件和***1200的组件。
如图12中所示出的,内部架构1200包括一个或多个处理单元、处理器或处理核心(在本文中也被称为CPU)1212,其与至少一个计算机总线1202相连接。还与计算机总线1202相连接的是一个或多个计算机可读介质1206、网络接口1214、存储器1204,例如,随机存取存储器(RAM)、运行时暂态存储器、只读存储器(ROM)、作为用于能够向包括可移动介质(诸如,软盘、CD-ROM、DVD)的介质进行读取和/或写入的驱动的接口的介质盘驱动接口1220,作为用于监视器或其他显示器设备的接口的显示器接口1210,作为键盘的接口的键盘接口1216,作为鼠标或其他点选设备的接口的点选设备接口1218,以及未被单独示出的杂项的其他接口,诸如并行或串行端口接口和通用串行总线接口。
存储器1204与计算机总线1202相接口连接以便于在诸如包括程序代码和/或计算机可执行处理步骤的操作***、应用程序、设备驱动器和软件模块之类的软件程序执行期间向CPU提供存储在存储器1204中的信息,其中所述软件程序包含本文所描述的功能,例如,本文所描述的一个或多个处理流程。CPU 1212首先从存储设备(例如,存储器1204、一个或多个计算机可读存储介质1206、可移除介质驱动和/或其他存储设备)加载计算机可执行处理步骤。其后,CPU 1212能够执行所存储的处理步骤以便于执行所加载的计算机可执行的处理步骤。所存储的数据,例如,由存储设备存储的数据,在计算机执行处理步骤执行期间能够由CPU 1212访问。
永久存储设备,例如,一个或多个介质1206能够被用于存储操作***和一个或多个应用程序。永久存储设备还能够被用于存储设备驱动器(诸如,一个或多个数码相机驱动器、监视器驱动器、打印机驱动器、扫描仪驱动器或其他设备驱动器)、网页、内容文件、播放列表和其他文件。永久存储设备还能够包括用于实现本公开的一个或多个实施例的程序模块和数据文件,例如,(一个或多个)列表选择模块、(一个或多个)目标信息收集模块以及(一个或多个)列表通知模块,在本文中对它们在本公开的实现中的功能和使用进行了详细地讨论。
网络链路1228通常使用传输介质通过一个或多个网络向使用或处理信息的其他设备提供信息通信。例如,网络链路1228可通过本地网络1224提供到主机计算机1226的连接或到由网络或互联网服务提供者(ISP)1230的装置的连接。ISP装置进而通过现在普遍被称为互联网1232的网络的公用的全球分组交换通信网络提供数据通信服务。
被连接到互联网1232的被称为服务器主机1234的计算机托管响应于通过互联网1232接收信息提供服务的处理。例如,服务器主机1234托管提供了表示用于呈现在显示器1210处的视频数据的信息的处理。可以想到的是***1200的组件可以各种配置被部署在其他计算机***中,例如,主机或服务器。
本公开的至少一些实施例是与使用计算机***1200实现本文所描述的部分或全部技术有关的。根据一个实施例,响应于处理单元1212执行被包含在存储器1204中的一个或多个序列的一个或多个处理器指令,由计算机***1200执行那些技术。这类指令,也被称为计算机指令、软件和程序代码,可从诸如存储设备或网络链路之类的另一计算机可读介质1206读取到存储器1204中。被包含在存储器1204中的指令序列的执行导致处理单元1212执行本文所描述的一个或多个方法步骤。在可替代的实施例中,诸如ASIC之类的硬件可被用于代替软件或与软件一起使用。因此,除非本文另有明确声明,否则本公开的实施例不限于硬件和软件的任何特定的组合。
通过通信接口在网络链路和其他网络上传输的信号从计算机网络1200携带信息或向计算机网络1200携带信息。计算机网络1200能够通过网络、网络链路和通信接口等发送和接收包括程序代码的信息。在使用互联网的示例中,服务器主机通过网络、ISP装置、本地网络和通信接口发送由计算机发出的消息请求的具体应用的程序代码。当代码被接收后,可由处理器1202执行所接收的代码,或所接收的代码被存储在存储器1204或存储设备或其他非易失性存储设备中以供后续执行,或二者都有。
处于本公开的目的,模块是执行或促进本文所描述的(具有或不具有人类交互或人类增强)处理、特性和/或功能的软件、硬件或固件(或它们的组合)***、处理或功能、或它们的组件。模块可包括子模块。模块的软件组件可被存储在计算机可读介质上以供处理器执行。这些模块对于一个或多个服务器可以作为整体,或由一个或多个服务器加载和执行。一个或多个模块可成组为引擎或应用。
出于本公开的目的,术语“用户”、“订阅者”或“客户”应被理解为指的是由数据提供者所提供的数据的消费者。通过示例而非限制的方式,术语“用户”或“订阅者”可指通过互联网在浏览会话中接收由数据或服务提供者提供的数据的人或可指接收数据并存储或处理该数据的自动化软件应用。
如本文所讨论的,“用户名”是可由子母、数字或符号(共同被定义为字母数字字符)组成的标识符,该标识符被用于获取账户和/或网络的访问权限或唯一识别账户和/或网络。一般来说,但并不总是如此,唯一的用户名将由最先注册使用消息账户的用户选择。通常,域名标识用户的消息账户的提供者,并且域名被添加到用户名并由“”符号分隔开。
本领域的技术人员将明白本公开的方法和***可通过许多方式来实现,正因如此本公开不由前述典型实施例和示例限制。换句话说,在硬件和软件或固件的各种组合下的由单个或多个组件执行的功能元件以及独立的功能可以客户端层级或服务层级或二者兼具的层级被分布在软件应用中。在这方面,本文所描述的不同实施例的任何数量的特征均可被结合为单个或多个实施例,并且可替代的实施例可能具有相较于本文所描述的所有特征较少或较多特征。
功能还可通过现在已知或待被知晓的方式被全部或部分地分布在多个组件中。因此,无数的软件/硬件/固件的组合可以实现本文所描述的功能、特征、接口和优选方案。另外,如本领域的技术人员现在所理解的和今后将理解的,本公开的范围按照惯例涵盖用于实现所描述的特征和功能和接口以及可对本文所描述的硬件或软件或固件组件做出的那些变化和修改的已知的方式。
此外,在本公开中根据流程图描述和呈现的方法的实施例是通过实例的方式提供的,以便于提供对本技术更加完整的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可替代的实施例被认为各种操作的顺序被改变并且作为较大操作的一部分来描述的子操作可被独立执行。
尽管已经出于本公开的目的对各实施例进行了描述,但是这类实施例不应被认为将本公开的教导限制于那些实施例。对上文所描述的元件和操作可作出各种改变和修改以获得保留在本公开所描述的***和处理的范围内的结果。

Claims (20)

1.一种方法,包括:
通过网络经由服务器计算设备促进与第一计算设备的第一用户相关联的第一图形用户表示和与第二计算设备的第二用户相关联的第二图形用户表示的可视显示,所述第一图形用户表示和第二图形用户表示根据在所述第一用户和所述第二用户之间的即时消息传递会话被可视地显示在所述第一计算设备和第二计算设备上;
在所述服务器计算设备处接收来自所述第一计算设备的事件信号,所述事件信号对应于在所述第一计算设备处的所述第一用户的输入,所述输入包括表明在所述即时消息传递会话期间,所述第一用户与被显示在所述第一计算设备上的所述第二用户的图形用户表示进行交互的数据;
通过所述服务器基于所述事件信号内的交互数据确定事件;
通过所述服务器基于所确定的事件生成用于向所述第二计算设备发送的事件消息,所述事件消息包括在所述即时消息传递会话期间待在所述第二计算设备上执行的动作;以及
在所述网络上从所述服务器向所述第二计算设备发送所述事件消息以便在所述即时消息传递会话期间所述动作被执行。
2.根据权利要求1所述的方法,其中所述事件消息的生成基于并根据所述事件信号内的所述交互数据。
3.根据权利要求1所述的方法,还包括:
基于所述交互数据,从事件库中的多个事件识别所述事件,所述识别包括将至少部分所述交互数据与所述多个事件中的至少一个事件相匹配;并且
根据来自所述事件库的所识别的事件生成所述事件消息。
4.根据权利要求3所述的方法,其中所述事件库中的多个事件对应于图形用户表示的动画。
5.根据权利要求3所述的方法,其中所述事件库中的多个事件对应于触觉事件。
6.根据权利要求1所述的方法,其中所述事件消息中的动作包括在所述第二计算设备上的所述第二用户的图形用户表示的动画。
7.根据权利要求1所述的方法,其中所述事件消息中的动作包括触觉输出,所述触觉输出包括振动所述第二计算设备。
8.根据权利要求1所述的方法,其中所述事件消息中的动作包括在所述第二计算设备上的所述第二用户的图形用户表示的动画和相应的触觉效果。
9.根据权利要求1所述的方法,其中所述第一用户与所述第二用户的所显示的图形用户表示的交互包括所述第一用户与和所述第一计算设备相关联的触摸屏交互。
10.根据权利要求9所述的方法,其中所述事件消息中的动作基于由所述第一用户针对被显示在所述第一计算设备上的所述第二用户图形用户表示执行的交互的类型。
11.根据权利要求10所述的方法,其中所述第一图形用户表示和第二图形用户表示是分别与所述第一用户和第二用户相关联的化身。
12.一种有形地使用计算机可执行指令编码的非暂态计算机可读存储介质,其中当所述指令由计算设备的处理器执行时,执行一种方法,该方法包括:
通过网络促进与第一计算设备的第一用户相关联的第一图形用户表示和与第二计算设备的第二用户相关联的第二图形用户表示的可视显示,所述第一图形用户表示和第二图形用户表示根据在所述第一用户和所述第二用户之间的即时消息传递会话被可视地显示在所述第一和第二计算设备上;
接收来自所述第一计算设备的事件信号,所述事件信号对应于在所述第一计算设备处的所述第一用户的输入,所述输入包括表明在所述即时消息传递会话期间,所述第一用户与被显示在所述第一计算设备上的所述第二用户的图形用户表示进行交互的数据;
基于所述事件信号内的交互数据确定事件;
基于所确定的事件生成用于向所述第二计算设备发送的事件消息,所述事件消息包括在所述即时消息传递会话期间待在所述第二计算设备上执行的动作;以及
在所述网络上向所述第二计算设备发送所述事件消息以便在所述即时消息传递会话期间所述动作被执行。
13.根据权利要求12所述的非暂态计算机可读存储介质,其中所述事件消息的生成基于并根据所述事件信号内的交互数据。
14.根据权利要求12所述的非暂态计算机可读存储介质,还包括:
基于所述交互数据,从事件库中的多个事件识别所述事件,所述识别包括将至少部分所述交互数据与所述多个事件中的至少一个事件相匹配;并且
根据来自所述事件库的所识别的事件生成所述事件消息。
15.根据权利要求14所述的非暂态计算机可读存储介质,其中所述事件库中的多个事件对应于图形用户表示的动画。
16.根据权利要求14所述的非暂态计算机可读存储介质,其中所述事件库中的多个事件对应于触觉事件。
17.根据权利要求13所述的非暂态计算机可读存储介质,其中所述事件消息中的动作包括在所述第二计算设备上的所述第二用户的图形用户表示的动画。
18.根据权利要求13所述的非暂态计算机可读存储介质,其中所述事件消息中的动作包括触觉输出,所述触觉输出包括振动所述第二计算设备。
19.根据权利要求13所述的非暂态计算机可读存储介质,其中所述事件消息中的动作包括在所述第二计算设备上的所述第二用户的图形用户表示的动画和相应的触觉效果。
20.一种***,包括:
至少一个计算设备,其中该计算设备包括:
存储器,该存储器存储计算机可执行指令;以及
一个或多个处理器,该处理器用于执行所述计算机可读指令,包括:
通过网络促进与第一计算设备的第一用户相关联的第一图形用户表示和与第二计算设备的第二用户相关联的第二图形用户表示的可视显示,所述第一图形用户表示和第二图形用户表示根据在所述第一用户和所述第二用户之间的即时消息传递会话被可视地显示在所述第一和第二计算设备上;
接收来自所述第一计算设备的事件信号,所述事件信号对应于在所述第一计算设备处的所述第一用户的输入,所述输入包括表明在所述即时消息传递会话期间,所述第一用户与被显示在所述第一计算设备上的所述第二用户的图形用户表示进行交互的数据;
基于所述事件信号内的交互数据确定事件;
基于所确定的事件生成用于向所述第二计算设备发送的事件消息,所述事件消息包括在所述即时消息传递会话期间待在所述第二计算设备上执行的动作;以及
在所述网络上向所述第二计算设备发送所述事件消息以便在所述即时消息传递会话期间用所述动作被执行。
CN201380058974.9A 2012-11-19 2013-10-18 用于基于触摸的通信的***和方法 Active CN104781759B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/680,588 2012-11-19
US13/680,588 US10410180B2 (en) 2012-11-19 2012-11-19 System and method for touch-based communications
PCT/US2013/065616 WO2014078010A1 (en) 2012-11-19 2013-10-18 System and method for touch-based communications

Publications (2)

Publication Number Publication Date
CN104781759A true CN104781759A (zh) 2015-07-15
CN104781759B CN104781759B (zh) 2018-01-09

Family

ID=50729173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380058974.9A Active CN104781759B (zh) 2012-11-19 2013-10-18 用于基于触摸的通信的***和方法

Country Status (6)

Country Link
US (3) US10410180B2 (zh)
EP (1) EP2920757A4 (zh)
CN (1) CN104781759B (zh)
HK (1) HK1210641A1 (zh)
TW (1) TWI681298B (zh)
WO (1) WO2014078010A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018036297A1 (zh) * 2016-08-22 2018-03-01 京信通信***(中国)有限公司 室内定位和基于其的信息推送***、方法、设备及终端
CN111587432A (zh) * 2017-10-23 2020-08-25 贝宝公司 用于生成动画表情符号混搭的***和方法
CN113709020A (zh) * 2020-05-20 2021-11-26 腾讯科技(深圳)有限公司 消息发送方法、消息接收方法、装置、设备及介质
CN113965539A (zh) * 2020-06-29 2022-01-21 腾讯科技(深圳)有限公司 消息发送方法、消息接收方法、装置、设备及介质
US11783113B2 (en) 2017-10-23 2023-10-10 Paypal, Inc. System and method for generating emoji mashups with machine learning

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019995B1 (en) 2011-03-01 2018-07-10 Alice J. Stiebel Methods and systems for language learning based on a series of pitch patterns
US11062615B1 (en) 2011-03-01 2021-07-13 Intelligibility Training LLC Methods and systems for remote language learning in a pandemic-aware world
US9294869B2 (en) * 2013-03-13 2016-03-22 Aliphcom Methods, systems and apparatus to affect RF transmission from a non-linked wireless client
US20140052580A1 (en) * 2012-08-17 2014-02-20 Kallidus, Inc. Product explorer page for use with interactive digital catalogs and touch-screen devices
US11642045B1 (en) 2012-09-25 2023-05-09 Micro Mobio Corporation Personal health and environmental monitoring device and method
US11179063B1 (en) * 2012-09-25 2021-11-23 Micro Mobio Corporation Instantaneous direct communication network system and method
GB2509517B (en) * 2013-01-04 2021-03-10 Vertegaal Roel Computing apparatus
JP6243127B2 (ja) * 2013-02-27 2017-12-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報共有システム及び情報共有方法
US11044451B2 (en) 2013-03-14 2021-06-22 Jawb Acquisition Llc Proximity-based control of media devices for media presentations
US8918339B2 (en) 2013-03-15 2014-12-23 Facebook, Inc. Associating an indication of user emotional reaction with content items presented by a social networking system
US10001914B2 (en) * 2013-03-21 2018-06-19 Nokia Technologies Oy Method and apparatus for causing a deformation representation
US10212115B2 (en) * 2013-04-24 2019-02-19 Ebay Inc. Systems and methods to communicate a selected message
CN104184760B (zh) * 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
KR20150000273A (ko) * 2013-06-24 2015-01-02 삼성전자주식회사 단말 장치 및 제어 방법
US20150046828A1 (en) * 2013-08-08 2015-02-12 Samsung Electronics Co., Ltd. Contextualizing sensor, service and device data with mobile devices
US20150046812A1 (en) 2013-08-12 2015-02-12 Google Inc. Dynamic resizable media item player
US9514620B2 (en) * 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9886710B2 (en) 2014-03-25 2018-02-06 Ebay Inc. Data mesh visualization
KR20150126196A (ko) * 2014-05-02 2015-11-11 삼성전자주식회사 사용자 감성 활동 기반 데이터 처리 장치 및 방법
CN118192869A (zh) 2014-06-27 2024-06-14 苹果公司 尺寸减小的用户界面
US20160048492A1 (en) * 2014-06-29 2016-02-18 Emoji 3.0 LLC Platform for internet based graphical communication
US10135905B2 (en) 2014-07-21 2018-11-20 Apple Inc. Remote user interface
KR102156223B1 (ko) 2014-08-02 2020-09-15 애플 인크. 상황 특정 사용자 인터페이스
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
EP4209872A1 (en) 2014-09-02 2023-07-12 Apple Inc. Phone user interface
WO2016036481A1 (en) 2014-09-02 2016-03-10 Apple Inc. Reduced-size user interfaces for dynamically updated application overviews
WO2016036522A2 (en) 2014-09-02 2016-03-10 Apple Inc. User interface for receiving user input
CN105396289A (zh) * 2014-09-15 2016-03-16 掌赢信息科技(上海)有限公司 实时游戏和多媒体会话过程中实现特效的方法及装置
CN104320163B (zh) * 2014-10-10 2017-01-25 安徽华米信息科技有限公司 一种通讯方法及装置
EP3216008B1 (en) * 2014-11-05 2020-02-26 Intel Corporation Avatar video apparatus and method
KR101633506B1 (ko) * 2015-01-15 2016-06-24 라인플러스 주식회사 소셜 그룹 커뮤니티 기능을 이용하여 서비스를 제공하는 시스템 및 방법
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US10225220B2 (en) 2015-06-01 2019-03-05 Facebook, Inc. Providing augmented message elements in electronic communication threads
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
CN104994000A (zh) * 2015-06-16 2015-10-21 青岛海信移动通信技术股份有限公司 一种图像动态呈现的方法和装置
CN105119812B (zh) * 2015-08-26 2018-05-18 小米科技有限责任公司 在聊天界面更改表情符号的方法、装置及终端设备
WO2017059487A1 (en) * 2015-10-06 2017-04-13 Flip Flash Cards Pty Ltd Electronic flash card methods and systems
WO2017100755A1 (en) * 2015-12-10 2017-06-15 Appelago Inc. Automated migration of animated icons for dynamic push notifications
CN107305467A (zh) * 2016-04-20 2017-10-31 富泰华工业(深圳)有限公司 触觉互动***、方法及电子装置
WO2017183821A1 (ko) 2016-04-21 2017-10-26 주식회사 씨케이머티리얼즈랩 촉각 메시지 제공 방법 및 촉각 메시지 제공 장치
US20170315682A1 (en) * 2016-04-27 2017-11-02 Nikolay ULYANOV Global virtual trade and social network
CN106027631B (zh) * 2016-05-12 2021-03-02 腾讯科技(深圳)有限公司 一种数据传输方法及装置
AU2017100667A4 (en) 2016-06-11 2017-07-06 Apple Inc. Activity and workout updates
US20180096434A1 (en) * 2016-10-05 2018-04-05 The Toronto-Dominion Bank System and Method for Controlling Access to Content to be Displayed on an Electronic Display
US10503394B2 (en) * 2016-10-05 2019-12-10 The Toronto-Dominion Bank System and method for facilitating access to electronic data
WO2018098098A1 (en) 2016-11-23 2018-05-31 Google Llc Providing mediated social interactions
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US11616745B2 (en) 2017-01-09 2023-03-28 Snap Inc. Contextual generation and selection of customized media content
US10951562B2 (en) * 2017-01-18 2021-03-16 Snap. Inc. Customized contextual media content item generation
US11482132B2 (en) * 2017-02-01 2022-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Devices and methods for providing tactile feedback
EP3367216A1 (en) * 2017-02-24 2018-08-29 Immersion Corporation Systems and methods for virtual affective touch
WO2018152778A1 (en) 2017-02-24 2018-08-30 Immersion Corporation Virtual affective touch
JP6304847B1 (ja) * 2017-04-28 2018-04-04 株式会社コナミデジタルエンタテインメント サーバ装置、及びそれに用いられるコンピュータプログラム
US20190187819A1 (en) * 2017-12-18 2019-06-20 Immersion Corporation Haptically-Enabled Peripheral Usable for Two-Dimensional and Three-Dimensional Tracking
US10699104B2 (en) * 2018-05-03 2020-06-30 International Business Machines Corporation Image obtaining based on emotional status
WO2020010530A1 (en) * 2018-07-10 2020-01-16 Microsoft Technology Licensing, Llc Automatically generating motions of an avatar
US11376743B2 (en) * 2019-04-04 2022-07-05 Joyhaptics Oy Systems and methods for providing remote touch
KR20190095184A (ko) * 2019-07-25 2019-08-14 엘지전자 주식회사 멀티미디어 디바이스 및 그 제어 방법
US10911387B1 (en) * 2019-08-12 2021-02-02 Snap Inc. Message reminder interface
KR20210081935A (ko) 2019-12-24 2021-07-02 라인플러스 주식회사 제스처를 이용하여 대화 메시지에 감정을 표현하는 방법, 시스템, 및 컴퓨터 프로그램
US11921998B2 (en) 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
KR20220079336A (ko) * 2020-12-04 2022-06-13 주식회사 플랫팜 의사 표현 아이템을 포함하는 채팅 서비스 제공 방법 및 장치
JP7189980B2 (ja) * 2021-02-12 2022-12-14 楽天グループ株式会社 情報通信システム、及び情報通信方法
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US11601387B2 (en) * 2021-06-08 2023-03-07 Microsoft Technology Licensing, Llc Generating composite images by combining subsequent data
US11635871B1 (en) 2021-11-11 2023-04-25 Microsoft Technology Licensing, Llc Command based personalized composite icons
US11568131B1 (en) 2021-11-11 2023-01-31 Microsoft Technology Licensing, Llc Command based personalized composite templates
US11954256B2 (en) * 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
US11962860B1 (en) * 2022-12-01 2024-04-16 Meta Platforms Technologies, Llc Systems and methods for generating avatar reactions during a live video broadcast

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004053830A1 (en) * 2002-12-08 2004-06-24 Immersion Corporation Haptic communication devices
US20080218490A1 (en) * 2007-03-02 2008-09-11 Lg Electronics Inc. Terminal and method of controlling terminal
US20110296324A1 (en) * 2010-06-01 2011-12-01 Apple Inc. Avatars Reflecting User States
US20120270578A1 (en) * 2011-04-21 2012-10-25 Walking Thumbs, LLC. System and Method for Graphical Expression During Text Messaging Communications

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080021849A1 (en) * 1995-10-11 2008-01-24 Stamps.Com Inc System and method for printing multiple postage indicia
US6859819B1 (en) * 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
JP2001175550A (ja) * 1999-12-07 2001-06-29 Kizna.Com Inc クライアントサーバシステム及びクライアントサーバシステムのデータ伝送方法並びにそのプログラムを記録した媒体
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US7035803B1 (en) * 2000-11-03 2006-04-25 At&T Corp. Method for sending multi-media messages using customizable background images
KR100377936B1 (ko) * 2000-12-16 2003-03-29 삼성전자주식회사 이동통신 단말기의 감정 아이콘 입력방법
US6983305B2 (en) * 2001-05-30 2006-01-03 Microsoft Corporation Systems and methods for interfacing with a user in instant messaging
US7133900B1 (en) * 2001-07-06 2006-11-07 Yahoo! Inc. Sharing and implementing instant messaging environments
US20030222874A1 (en) * 2002-05-29 2003-12-04 Kong Tae Kook Animated character messaging system
AU2002950502A0 (en) * 2002-07-31 2002-09-12 E-Clips Intelligent Agent Technologies Pty Ltd Animated messaging
GB0218221D0 (en) * 2002-08-06 2002-09-11 Wesby Philip B System and method for a secure programmable communicator
US7636755B2 (en) * 2002-11-21 2009-12-22 Aol Llc Multiple avatar personalities
US20070113181A1 (en) * 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US20040179039A1 (en) * 2003-03-03 2004-09-16 Blattner Patrick D. Using avatars to communicate
US7752270B2 (en) * 2004-01-21 2010-07-06 At&T Mobility Ii Llc Linking sounds and emoticons
WO2005074596A2 (en) * 2004-01-30 2005-08-18 Yahoo! Inc. Method and apparatus for providing real-time notification for avatars
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
US20060064346A1 (en) 2004-08-31 2006-03-23 Qualcomm Incorporated Location based service (LBS) system and method for targeted advertising
EP1803228B1 (en) * 2004-10-01 2019-07-10 Samsung Electronics Co., Ltd. Device and method for displaying event in wireless terminal
US20110029892A1 (en) * 2004-10-14 2011-02-03 Cerulean Studios System and Method For Integrating Advanced Multimedia Features Within An Instant Messaging Environment
US20060161631A1 (en) * 2005-01-18 2006-07-20 Luigi Lira Revisions of already sent messages in an instant messaging communication
US20070124387A1 (en) * 2005-11-22 2007-05-31 Yahoo! Inc. Previous communication updating in instant messaging
US8601379B2 (en) * 2006-05-07 2013-12-03 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
US8010474B1 (en) * 2006-09-05 2011-08-30 Aol Inc. Translating paralinguisitic indicators
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
KR101437159B1 (ko) 2007-03-02 2014-09-11 엘지전자 주식회사 사용자 동작 전달 방법 및 단말기
GB0712877D0 (en) * 2007-07-03 2007-08-08 Skype Ltd Multimedia mood messages
US20090128567A1 (en) * 2007-11-15 2009-05-21 Brian Mark Shuster Multi-instance, multi-user animation with coordinated chat
SG153670A1 (en) 2007-12-11 2009-07-29 Creative Tech Ltd A dynamic digitized visual icon and methods for generating the aforementioned
US9191497B2 (en) * 2007-12-13 2015-11-17 Google Technology Holdings LLC Method and apparatus for implementing avatar modifications in another user's avatar
US8407603B2 (en) * 2008-01-06 2013-03-26 Apple Inc. Portable electronic device for instant messaging multiple recipients
US8180296B2 (en) * 2008-04-29 2012-05-15 Immersion Corporation Providing haptic effects to users in a short range wireless system
TWI422405B (zh) * 2008-06-06 2014-01-11 Htc Corp 產生虛擬主題物之方法、行動裝置及數位資料儲存媒體
US8364751B2 (en) * 2008-06-25 2013-01-29 Microsoft Corporation Automated client/server operation partitioning
WO2010013899A2 (ko) * 2008-07-30 2010-02-04 에스케이텔레콤 주식회사 커뮤니케이션 그룹에 대한 통신 기능 제공 방법과 그를 위한 이동통신 단말기 및 프리젠스 서버
KR101529502B1 (ko) * 2008-10-16 2015-06-17 엘지전자 주식회사 인스턴트 메시지 제어방법과 이를 이용한 이동 단말기
US20110169622A1 (en) * 2009-07-16 2011-07-14 Patent Navigation Inc. Enhanced communication through vibration
US8881030B2 (en) * 2009-08-24 2014-11-04 Disney Enterprises, Inc. System and method for enhancing socialization in virtual worlds
KR101623748B1 (ko) * 2009-09-01 2016-05-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 단말기 및 이동 단말기의 메시지 작성 방법
US20110061019A1 (en) 2009-09-10 2011-03-10 Motorola, Inc. Portable Electronic Device for Providing a Visual Representation of a Widget
US9086776B2 (en) * 2010-03-29 2015-07-21 Microsoft Technology Licensing, Llc Modifying avatar attributes
WO2011133860A2 (en) * 2010-04-23 2011-10-27 Immersion Corporation Systems and methods for providing haptic effects
KR101210106B1 (ko) 2010-05-27 2012-12-07 한국과학기술원 감성 전달이 가능한 모바일 기기 및 이를 이용한 통신 방법
CN102289339B (zh) * 2010-06-21 2013-10-30 腾讯科技(深圳)有限公司 一种显示表情信息的方法及装置
JP5134653B2 (ja) 2010-07-08 2013-01-30 株式会社バンダイナムコゲームス プログラム及びユーザ端末
DE112010005675T5 (de) * 2010-07-20 2013-08-01 Lg Electronics Inc. Elektronisches Gerät, elektronisches System und Verfahren zum Bereitstellen von Information unter Verwendung derselben
US8620850B2 (en) * 2010-09-07 2013-12-31 Blackberry Limited Dynamically manipulating an emoticon or avatar
US20120069028A1 (en) * 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
US8874665B2 (en) * 2010-12-13 2014-10-28 At&T Mobility Ii Llc Systems, apparatus and methods for facilitating display and management of information for communication devices
US20120166665A1 (en) * 2010-12-22 2012-06-28 Research In Motion Limited Method and system for selectively performing proxy services
US20130024781A1 (en) * 2011-07-22 2013-01-24 Sony Corporation Multi-Modal and Updating Interface for Messaging
KR101789626B1 (ko) * 2011-10-10 2017-10-25 엘지전자 주식회사 휴대 단말기 및 그 제어 방법
US8819154B2 (en) * 2011-10-14 2014-08-26 Blackberry Limited User interface methods and apparatus for use in communicating text and photo messages
US9870552B2 (en) * 2011-10-19 2018-01-16 Excalibur Ip, Llc Dynamically updating emoticon pool based on user targeting
KR101951761B1 (ko) * 2012-01-27 2019-02-25 라인 가부시키가이샤 모바일 환경에서 제공되는 서비스에서 아바타를 제공하는 아바타 서비스 시스템 및 방법
US9386268B2 (en) * 2012-04-09 2016-07-05 Intel Corporation Communication using interactive avatars
US20140007010A1 (en) * 2012-06-29 2014-01-02 Nokia Corporation Method and apparatus for determining sensory data associated with a user
US9443271B2 (en) * 2012-08-15 2016-09-13 Imvu, Inc. System and method for increasing clarity and expressiveness in network communications
US20150287403A1 (en) * 2014-04-07 2015-10-08 Neta Holzer Zaslansky Device, system, and method of automatically generating an animated content-item

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004053830A1 (en) * 2002-12-08 2004-06-24 Immersion Corporation Haptic communication devices
US20080218490A1 (en) * 2007-03-02 2008-09-11 Lg Electronics Inc. Terminal and method of controlling terminal
US20110296324A1 (en) * 2010-06-01 2011-12-01 Apple Inc. Avatars Reflecting User States
US20120270578A1 (en) * 2011-04-21 2012-10-25 Walking Thumbs, LLC. System and Method for Graphical Expression During Text Messaging Communications

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018036297A1 (zh) * 2016-08-22 2018-03-01 京信通信***(中国)有限公司 室内定位和基于其的信息推送***、方法、设备及终端
CN111587432A (zh) * 2017-10-23 2020-08-25 贝宝公司 用于生成动画表情符号混搭的***和方法
US11783113B2 (en) 2017-10-23 2023-10-10 Paypal, Inc. System and method for generating emoji mashups with machine learning
CN113709020A (zh) * 2020-05-20 2021-11-26 腾讯科技(深圳)有限公司 消息发送方法、消息接收方法、装置、设备及介质
CN113709020B (zh) * 2020-05-20 2024-02-06 腾讯科技(深圳)有限公司 消息发送方法、消息接收方法、装置、设备及介质
US12045448B2 (en) 2020-05-20 2024-07-23 Tencent Technology (Shenzhen) Company Limited Message transmitting method and apparatus, message receiving method and apparatus, device, and medium
CN113965539A (zh) * 2020-06-29 2022-01-21 腾讯科技(深圳)有限公司 消息发送方法、消息接收方法、装置、设备及介质
CN113965539B (zh) * 2020-06-29 2024-05-10 腾讯科技(深圳)有限公司 消息发送方法、消息接收方法、装置、设备及介质

Also Published As

Publication number Publication date
CN104781759B (zh) 2018-01-09
WO2014078010A1 (en) 2014-05-22
US10410180B2 (en) 2019-09-10
US11061531B2 (en) 2021-07-13
TW201423419A (zh) 2014-06-16
US20210303135A1 (en) 2021-09-30
US20190392394A1 (en) 2019-12-26
TWI681298B (zh) 2020-01-01
EP2920757A4 (en) 2016-07-13
EP2920757A1 (en) 2015-09-23
HK1210641A1 (zh) 2016-04-29
US20140143682A1 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
US11061531B2 (en) System and method for touch-based communications
US11595339B2 (en) System and method of embedding rich media into text messages
US9589380B2 (en) Avatar-based unsolicited advertisements in a virtual universe
US10516629B2 (en) Systems and methods implementing user interface objects
US8924880B2 (en) Methods and systems to facilitate real time communications in virtual reality
US20100162149A1 (en) Systems and Methods to Provide Location Information
US10845949B2 (en) Continuity of experience card for index
US20100016080A1 (en) Rewarding multiple views of advertisements with a redeemable multipart coupon within a video game
US20080263459A1 (en) Methods and Systems to Determine Availability for Real Time Communications via Virtual Reality
US20080263460A1 (en) Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US20080262911A1 (en) Methods and Systems to Search in Virtual Reality for Real Time Communications
US20080262910A1 (en) Methods and Systems to Connect People via Virtual Reality for Real Time Communications
US20080263446A1 (en) Methods and Systems to Connect People to Services via Virtual Reality
US10439974B2 (en) Sharing of activity metadata via messaging systems
CN108283811A (zh) 在游戏中提供社交网络内容
KR101310274B1 (ko) 메신저 서비스를 제공하는 방법 및 그 서버
CN103002414A (zh) 一种即时通讯移动终端***
CN104301202A (zh) 一种即时通讯的振动信息表达方法和***
US20220164825A1 (en) Information processing apparatus and system and non-transitory computer readable medium for outputting information to user terminals
KR101719742B1 (ko) 아바타를 사용한 모바일 메신저 서비스 방법 및 장치
Mandeville et al. Remote Touch: Humanizing Social Interactions in Technology Through Multimodal Interfaces
McMeekin SmilieFace: an innovative affective messaging application to enhance social networking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1210641

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170817

Address after: American California

Applicant after: YAHOO Holdings

Address before: American California

Applicant before: Yahoo Corp.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180402

Address after: American New York

Patentee after: Oath company

Address before: American California

Patentee before: YAHOO Holdings

REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1210641

Country of ref document: HK

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210325

Address after: New York State, USA

Patentee after: Verizon media

Address before: New York State, USA

Patentee before: Oath

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210831

Address after: new jersey

Patentee after: Verizon Patent and Licensing Inc.

Address before: New York, United States

Patentee before: Verizon media