CN105929942A - 基于用户情绪产生动作 - Google Patents

基于用户情绪产生动作 Download PDF

Info

Publication number
CN105929942A
CN105929942A CN201610229395.1A CN201610229395A CN105929942A CN 105929942 A CN105929942 A CN 105929942A CN 201610229395 A CN201610229395 A CN 201610229395A CN 105929942 A CN105929942 A CN 105929942A
Authority
CN
China
Prior art keywords
user
emotion
determined
action
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610229395.1A
Other languages
English (en)
Inventor
W·瑞赫恩
D·布瑞恩巴姆
A·B·瓦黛尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN105929942A publication Critical patent/CN105929942A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Dermatology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Audiology, Speech & Language Pathology (AREA)

Abstract

本公开内容涉及基于用户情绪产生动作。***确定相关联的用户的情绪.基于所确定的情绪，确定要由该***执行的动作。该***接着通过向另一***发送与确定的情绪对应的对象来发起所确定的动作。

Description

基于用户情绪产生动作
相关申请的交叉引用
本申请要求申请日为2015年2月27日、申请序列号为62/126,185的临时专利申请的优先权，其内容通过引用合并于此.
技术领域
一个实施例一般地涉及设备之间的通信，并且特别地涉及设备之间用户感知的参数的通信。
背景技术
移动设备(包括手提电子设备，如智能电话、平板电脑等，以及可佩戴设备，如智能手表、健身带等)的使用扩展了人们彼此实时通信的方式.例如，发短信已经成为了向另一个移动设备用户发送简短通信的流行方式，而不用必须给这个人打电话或发送邮件。发短信和通过邮件通信的一个缺点是在这种书面通信中缺少情绪的传达.添加表情符号(如：)、：(、：D、＝)等)、动画表情、绘文字(emoji)、颜文字(kaomoji)等允许在书面通信中包括一些类型的表情，并且添加从预定义的电子标签栈和库中选择的电子标签(如、等)提供了传达感情以及允许在通信时节省时间的快捷方式的更多方式。然而，即使使用表情符号、动画表情、绘文字、颜文字、电子标签等，也未提供例如文本消息中的文字后面用户的真实情绪和意图的任何指示.
另外，移动设备的免提(hands-free)操作正在变得更加普遍。例如，语音命令可被用于指示移动设备触发动作，如拨打电话号码或搜索信息.期望有其它免提方式以触发这种动作。
发明内容
一个实施例是确定相关用户的情绪的***。基于所确定的情绪，确定由***执行的动作.该***随后通过向另一个***发送与所确定的情绪相关的对象来发起所确定的动作。
附图说明
下述附图的组件被示出以强调本公开的一般原理，并且不一定按比例绘制.为了一致性和清晰性，指示相应组件的参考符号根据需要在附图中始终重复.
图1是根据本发明实施例的***的框图。
图2是根据一个实施例的第一电子设备和/或第二电子设备的框图.
图3是根据一个实施例的图2的处理器的框图.
图4A和4B示出根据本发明实施例的***的实现方式.
图5是根据本发明实施例的当基于用户的情绪产生动作时图2的处理器的流程图。
具体实施方式
一个实施例确定与电子设备(如智能电话)相关联的用户的情绪.基于所确定的情绪，实施例产生将发送到另一电子设备的消息，其中该消息包括基于该情绪的自动选择的视觉或触觉组件(component)。在其它实施例中，基于所确定的情绪可以自动发起其它类型的动作.
图1是根据本发明实施例的***100的框图。如图所示，***100包括第一电子设备110和第二电子设备120。第一电子设备110和第二电子设备120被配置为经由一个或多个通信网络130彼此通信。通信网络130可以包括无线通信网络、因特网、个人域网、局域网、城域网、广域网等中的一个或多个。通信网络130可以包括本地射频、蓝牙、蜂窝(GPRS、CDMA、GSM、CDPD、2.5G、3G、4G LTE等)、超宽带(“UWB”)、WiMax、ZigBee和/或其它ad-hoc/网状(mesh)无线网络技术。
第一电子设备110和第二电子设备120可以是任何电子设备，如台式计算机、膝上计算机、电子工作薄、电子手持设备(如移动电话、智能电话、平板游戏设备、个人数字助理(“PDA”)、便携电子邮件设备、便携因特网接入设备、计算器等)、销售点设备、游戏控制器、可佩戴设备(如智能手表、健身带等)或其它电子设备。在一个实施例中，第一电子设备110和第二电子设备120中的每一个都是移动设备，如智能电话或平板电脑。在一个实施例中，第一电子设备110和第二电子设备120其中一个是移动设备，另一个是可佩戴设备。就下文所描述的本发明的一些实施例涉及笫一电子设备110和第二电子设备120都是移动设备而言，应该理解的是本发明的实施例并不受限于此并且第一电子设备110和第二电子设备120可以是很多不同类型的设备，如上面所列出的.
图2是根据一个实施例的第一电子设备110和/或第二电子设备120的框图。以下的描述可能仅涉及笫一电子设备110，要理解这里所描述的组件也可以包括在第二电子设备120中.当然，第一电子设备110和第二电子设备120可以包括更多或更少的组件。所示出的实施例不意图进行任何限制。
如图所示，第一电子设备110包括经由总线240相互连接的处理器210、存储器设备220以及输入/输出设备230。在一个实施例中，输入/输出设备230可以包括触摸屏设备250、触觉输出设备260、一个或多个传感器270，其中可以包括相机280、和/或从第一电子设备110的用户接收输入的其它输入设备以及向第一电子设备110的用户输出信息的输出设备，如扬声器290形式的音频输出设备。输入设备还可以包括如键盘、小键盘、光标控制设备(例如计算机鼠标)、手写笔或其它数据输入设备的设备，或者音频接收器(如麦克风).
触摸屏设备250可以被配置为任何适合的用户界面或触摸/接触表面组装件.触摸屏设备250可以是任何触摸屏、触控板、触敏结构、计算机监视器、膝上显示设备、工作簿显示设备、便携电子设备屏幕、或其它适合的触敏设备.触摸屏设备250可以被配置用于与用户控制的设备(如手写笔、手指等)进行物理交互.在一些实施例中，触摸屏设备250可以包括至少一个输出设备和至少一个输入设备。例如，触摸屏设备250可以包括被配置为显示图像的视觉显示器252和触敏屏幕，该触敏屏幕包括叠加其上的至少一个传感器以接收来自用户手指或由用户控制的手写笔的输入。视觉显示器252可以包括高清晰度显示屏.在一个实施例中，视觉显示器252可以从触摸屏设备250分离。
在各种实施例中，触觉输出设备260被配置为当用户接触第一电子设备110的至少一部分时，向第一电子设备110的用户提供触觉反馈。例如，当用户接触触摸屏设备250和/或第一电子设备110的另一部分(如包含至少输入/输出设备230的壳体)时，触觉输出设备260可以向触摸屏设备250本身提供触觉反馈以施加触觉效果.
触觉输出设备260所提供的触觉反馈可以通过产生触觉效果的任何方法来产生，这些方法如振动、变形、动觉、静电或超声摩擦等。在一个实施例中，触觉输出设备260可以包括致动器，例如电磁致动器，如其中偏心质量由电动机移动的偏心旋转质量(“ERM”)、其中附接于弹簧的质量被来回驱动的线性谐振致动器(“LRA”)、或“智能材料”(如压电材料、电活性聚合物或形状记忆合金)、宏复合纤维致动器、静电致动器、电触觉致动器、和/或提供物理反馈(如振动触觉反馈)的其它类型的致动器。触觉输出设备260可以包括非机械或非振动设备，如利用静电摩擦(“ESF”)，超声摩擦(“USF”)的设备，或通过超声触觉换能器引起声辐射压力的设备，或利用触觉基板和柔性或可变形表面的设备，或提供热效果的设备，或提供突出(projected)的触觉输出(如利用空气喷嘴喷出空气)的设备，等等.
传感器270可以包括被配置为感测并收集与第一电子设备110的用户有关的情绪信息的单个感测设备或多个感测设备。例如，传感器270可以被配置为通过各种形态或用户的情绪状态——包括但不限于用户的身体属性，如面部表情、语音音调和/或生物测定——来检测和/或收集情绪信息.在一个实施例中，如下文进一步详细描述的，相机280可用于捕获用户的面部图像且该图像可由处理器210处理以确定用户的情绪。生物测定传感器可用于感测生物指标，如身体温度、身体湿度或排汗、心脉或心率、呼吸节奏、脑电波、身体姿势、手势或运动等.在一个实施例中，生物测定传感器可以设置在可佩戴设备中，如腕带或项链，并可以被配置为感测用户的脉搏，以及预测用户随着时间的情绪.
传感器270还可以包括可用于确定用户的情绪的压力感测机制.例如，可以感测并分析电话呼叫期间智能电话被握的多紧，以确定用户处于生气的情绪中.进一步，对于键盘，可以感测并且也分析用户有多重地敲击按键以确定用户的情绪.实施例可以检测用户输入的压力，并将用户的压力与输入简档相比较，以确定与“正常”压力量的偏差。基于差别，可以确定用户的情绪，并且所确定的情绪可用于产生动作，如基于所确定的情绪修改将要输出的触觉效果。
在一个实施例中，传感器270使用的感测技术还可以采用各种声音或音频传感器以记录和/或便于进行语音分析。例如，用户说话时(如当讲电话时)的语音频率和语音强度可用于推断用户的情绪.进一步，可以确定用户可能在笑、生气地发出“咆哮(grring)”的声音、发出嘘声、打呼噜等事实并使用该事实来确定用户的情绪。
传感器270还可以包括被配置为检测环境条件的传感器。例如，一个或多个传感器270可以收集与周围有关的环境信息，如温度、湿度、光线、大气压力等.环境传感器的数据输出可用于帮助估计用户的情绪。在一个实施例中，一个或多个传感器270可用于感测用户的位置和运动，因此可以确定用户是处于敌意还是友好的环境中，或者该用户是否遇到交通堵塞等。还可以检测周围环境以建议自动产生的基于位置的表情符号。例如，检测到生日蛋糕和气球的传感器/相机可以建议产生/选择基于生日聚会的表情符号。
处理器210可以是用于管理或控制第一电子设备110的操作和功能的通用或专用处理器或微控制器.例如，处理器210可以专门设计为专用集成电路(“ASIC”)以控制到触觉输出设备260的输出信号以提供触觉效果.处理器210可以被配置为基于预定义的因素决定：基于处理器210所接收或确定的触觉信号产生什么触觉效果，产生触觉效果的顺序，以及触觉效果的幅度、频率、持续时间和/或其它参数.处理器210还可以被配置为提供可用于驱动触觉输出设备260的流处理命令以提供特定的触觉效果。如下所述，处理器210还可以被配置为向其它输出设备提供流处理命令以发起其它动作.在一些实施例中，处理器210可以实际上是多个处理器，每个被配置为在第一电子设备110内执行某些功能。下文将对处理器210进行进一步描述。
存储器设备220可以包括一个或多个内部固定的存储单元、可移动存储单元和/或远程访问存储单元。各种存储单元可包括易失存储器和非易失存储器的任何组合。存储单元可被配置为存储信息、数据、指令、软件代码等的任何组合.更具体地，存储单元可以包括触觉效果简档、如何驱动触觉输出设备260的指令、或用于产生触觉效果的其它信息.其它简档，如身体属性和情绪简档，也可以存储在存储器设备220中。
每个触觉电子设备110、120可以包括任何数量的触觉输出设备260和传感器270。进一步，每个触觉电子设备110、120可以包括不同类型的触觉输出设备260和传感器270，并且触觉电子设备110可以包括与第二电子设备120不同数量和不同类型的触觉输出设备260和传感器270的组合。
图3是根据一个实施例的图2的处理器210的框图.处理器210可以被配置为执行一个或多个计算机程序模块。这一个或多个计算机程序模块可以包括传感器模块212、情绪确定模块214、动作确定模块216、输出设备控制模块218和/或其它模块中的一个或多个.处理器210还可以包括电子存储219，其可以与存储器设备220相同或是存储器设备220之外的存储.处理器210可以被配置为通过软件，硬件，固件，软件、硬件和/或固件的某种组合，和/或用于配置处理器210上的处理能力的其它机制来执行模块212、214、216和/或218.
应该理解，虽然模块212、214、216和218在图3中示出为共同位于单个处理单元内，然而在存在多个处理单元的实施例中，一个或多个模块212、214、216和/或218可位于远离其它模块的位置。下文所描述的不同模块212、214、216和/或218所提供的功能性是出于说明性的目的，并不意图限制，因此任一模块212、214、216和/或218可以提供比所描述的更多或更少的功能性。例如，可以去掉一个或多个模块212、214、216和/或218，其一些或全部的功能性可以由其它模块212、214、216和/或218提供。作为另一个例子，处理器210可以被配置为执行一个或多个额外的模块，这些模块可以执行下文归由模块212、214、216和/或218之一执行的一些或全部功能性。
传感器模块212被配置为从传感器270接收输入信号，该输入信号在传感器270检测到与第一电子设备110的用户的情绪相关联的身体属性时产生，这些身体属性如用户的面部表情、用户的心跳、用户的脑电波等。在存在多个传感器270的实施例中，传感器模块212被配置为接收并处理来自多个传感器270的输入信号.传感器模块212还被配置为发送信号到情绪确定模块214以进行进一步处理.
情绪确定模块214被配置为基于从传感器模块212接收到的信号来确定笫一电子设备110的用户的情绪，并且可以确定所确定的情绪的“情绪简档”.例如，如果相机280用于捕获带着微笑的用户的图像，则情绪确定模块214可以分析该图像以确定用户处于良好的情绪并且是快乐的.如果生物测定传感器用于感测用户的心跳并且该传感器感测到快速的心跳，则情绪确定模块214可以用于确定用户是不安且有压力的。情绪确定模块214可以用身体属性和相关联的情绪的库来编程，以便当传感器270感测到身体属性之一时，情绪确定模块214可以确定第一电子设备110的用户的情绪。情绪确定模块214可以利用用户的位置，该位置可以是位置传感器(如GPS)感测到的地理位置，或场所位置，如参加重要会议，该场所位置可以从用户的日历中获取，该日历可在第一电子设备110上存储存储器设备220中。情绪确定模块214还可以输出信号到动作确定模块216以进行进一步处理。
动作确定模块216被配置为从情绪确定模块214接收输出信号并且基于所确定的第一电子设备110的用户的情绪来确定要发起的动作。在一个实施例中，所确定的要发起的动作可以包括在由第二用户操作的第二电子设备120上产生视觉、音频和/或触觉效果.视觉效果可以是反映笫一电子设备110的用户情绪的预先确定的文本消息，其可以包括表情符号和/或预先确定的图像，如反映第一电子设备110的用户情绪的电子标签。音频效果可以包括反映第一电子设备110的用户情绪的预先确定的声音或铃声。触觉效果可以包括反映笫一电子设备110的用户情绪的预先确定的振动模式。在一个实施例中，动作确定模块216可以确定触觉效果的一个或多个参数，如触觉效果的幅度、频率、持续时间等。
在一个实施例中，动作确定模块216可利用来自传感器270之一的输入，该传感器被配置为感测第一电子设备110的用户位置来调整(modulate)在第二电子设备120上产生的效果，以或者加强或者减小效果，并且由此向第二电子设备120的第二用户提供关于第一电子设备110的用户情绪的额外信息。
在一个实施例中，动作确定模块216可利用来自传感器270之一的输入，该传感器被配置为感测与第二电子设备120的第二用户的情绪相关联的身体属性，并且基于所感测的与第二用户的情绪相关联的身体属性来调整更发起的动作，以便加强、减小、或以其它方式改变在第二电子设备120上产生的效果.
在一个实施例中，情绪简档可以调整伴随的音频或触觉反馈效果.在实时或近似实时合成触觉反馈效果的实施例中，可以改变合成参数使得其反映发送者的情绪.例如，在较低音调与“较低落的”情绪相关联的***中，音频和触觉效果的频率可以通过变得较低来反映这些情绪。
在一个实施例中，动作确定模块216可确定要发起的动作可以包括发起通过第一电子设备110的拨打电话号码。这种实施例可以允许使用由相机280捕获的面部线索来代替语音命令或“快速拨号”号码或与拨打特定电话号码对应的按键。在一个实施例中，确定要发起的动作可以包括发起通过第一电子设备110的书面通信.这种实施例可以允许使用由相机280捕获的面部线索来指示消息，该消息作为文本消息或电子邮件由第一电子设备110发送。动作确定模块216可以输出信号到输出设备控制模块218以进行进一步处理。
输出设备控制模块218被配置为接收来自动作确定模块216的输出信号，并且向要发起所确定的动作的输出设备发送控制信号。例如，如果要发起的动作包括在第二电子设备120上产生视觉、音频和/或触觉效果，则输出设备控制模块218可以输出可传递到第二电子设备120并发送至适当的输出设备(如显示器252、扬声器290和/或触觉输出设备260)的信号。在一个实施例中，输出设备控制模块218可以代替动作确定模块216来确定触觉效果的一个或多个参数，如触觉效果的幅度、频率、持续时间等。相似地，如果要发起的动作包括拨打电话号码，则输出设备控制模块218可以输出信号使得第一电子设备110的电话拨号器打开电信线路并拨打该电话号码。如果要发起的动作包括发起书面通信，则输出设备控制模块218可以输出信号，该信号模拟由键盘或小键盘输出的信号。
取决于应用，可以利用不同的形态来产生目标的基于情绪的触觉反馈.例如，为了在通过电话交谈时与朋友分享心情的快乐状态，可以通过从一个用户的电话向另一个用户的电话发送表示快乐情绪或心情的愉快状态的触觉线索来加强通信。为了在拨打移动电话或在移动电话上交谈时捕获用户的情绪状态，可以使用移动电话上的数字相机或摄像机来捕获并随后向被叫用户发送所捕获的情绪信息或面部表情。
图4A和4B示出根据本发明实施例的上文描述的实现***100。图4A和4B所示的***400包括第一电子设备410，其可以是移动电话，如智能电话，以及包括第二电子设备420，其也可以是移动电话，如智能电话。如图4A所示，第一电子设备410的第一用户可以使用第一电子设备410上的前置相机480来捕获第一用户的图像412。处理器(如上文描述的处理器210)可以接收相机480所输出的信号并利用情绪确定模块214来确定笫一用户的情绪，在图4A所示的实施例中为快乐情绪。处理器210接着可以利用动作确定模块214来确定基于快乐情绪要发起的动作.基于所确定的要发起的动作，输出设备控制模块218接着可以输出可经由上文描述的通信网络130传递到第二电子设备420的信号.在图示的实施例中，快乐的面部电子标签422由第二电子设备420的显示器452显示在文本框424中。同时，触觉输出设备(如上文描述的触觉输出设备260)可以输出触觉效果462，其可以包括可与快乐情绪相关联的相对强的振动.
如图4B所示，第一电子设备410的第一用户可以使用第一电子设备410上的前置相机480来捕获第一用户的另一图像413。处理器210可以接收相机480输出的信号并利用情绪确定模块214来确定第一用户的情绪，在图4B所示的实施例中为悲伤情绪。处理器210接着可以利用动作确定模块214来确定基于悲伤情绪要发起的动作。基于所确定的要发起的动作，输出设备控制模块218接着可以输出可经由通信网络130传递到第二电子设备420的信号.在图示的实施例中，悲伤的面部电子标签423由第二电子设备420的显示器452显示在文本框424中.同时，触觉输出设备260可输出触觉效果463，其可以包括可与悲伤情绪相关联的相对弱的振动(与图4A中的触觉效果462相比而言).
在本发明实施例中的一个实现方式中，***100的第一用户可以打开他/她的电子设备110上的聊天应用以发送消息到***100的第二用户.在第一用户键入消息时，可以激活相机280.相机280的激活可以是自动的或者第一用户可以手动激活相机280。相机280可以捕获可用于确定笫一用户的情绪的面部线索.另外地或另选地，传感器270可以提供生物指标数据或位置数据以确定第一用户的情绪。在一个实施例中，来自第一电子设备110的日历数据可用于提供对于所捕获的面部线索、生物指标数据和/或位置数据的上下文以帮助确定第一用户的情绪.处理器210可以(可能是自动地)确定要发送到***100的第二用户的适当的表情符号、电子标签和/或触觉效果，使得第二用户接收到与消息一起的第一用户情绪的指示，以帮助个性化该消息并在该消息的通知中携带含义.
图5是根据本发明实施例的当基于用户的情绪产生动作时图2的处理器210的流程图.在一个实施例中，图5的流程图的功能性由存储器或其它计算机可读或有形介质中存储的、并由处理器执行的软件实现。在其它实施例中，该功能性可由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任意组合来执行.
如图所示，流程图500在510开始.在520，通过传感器(如上文描述的传感器170中的一个)感测电子设备(如上文描述的第一电子设备110)的第一用户的身体属性.在530，基于所感测的身体属性确定第一用户的情绪.当处理器210执行情绪确定模块214时，所述确定可以由上文描述的处理器210的情绪确定模块214来完成。在540，基于所确定的情绪自动确定要发起的动作。当处理器210执行动作确定模块216时，确定要发起的动作可以由上文描述的处理器210的动作确定模块216来完成。在550，发起所确定的动作。当处理器210执行输出设备控制模块218时，该动作可由处理器210的输出设备控制模块218来发起.流程图500在560结束.
在550确定的动作可以包括通过发送表示情绪的对象来自动发送情绪到另一设备.该对象可以是表情符号或其它预先确定的图像，如电子标签或动画图形交换格式(“GIF”)并且可以包括任何类型的音频或触觉效果。进一步，该对象可以仅包括音频，仅包括触觉效果，或任意组合。该对象可以与文本消息、电子邮件或其它实体一起发送，或其可以独立发送.
在本发明实施例的一个实现方式中，***100的第一用户和***100的第二用户可以利用他们各自的电子设备110、120(可以是移动设备的形式，如智能电话)上的聊天应用(“聊天app”)来通信。第一用户可以键入下述消息到第二用户：“我有头条新闻！我今天得到晋升了！”第二用户可以通过做出一个夸大的“哇！”表情来回应。第二用户的设备上的前置相机可以通过捕获在做夸大的“哇！”表情时他/她的面部图像来捕获第二用户的情绪。第二用户的设备可以确定他/她的情绪是“吃惊”的并且在电子标签包或库中识别与“吃惊”情绪相匹配的电子标签.例如，该电子标签可以是大猩猩的动画，它看上去如此吃惊以致于它的下巴掉在了地板上并伴有巨大的＊砰！＊，这在该电子标签传送到第一用户时可以感觉为与该电子标签相结合的触觉效果。
在一个实施例中，情绪简档可以用于选择应用到视觉资源(如标签或化身(avatar))的一组动画参数.例如，一个人可以向其朋友发送动画符号.在发送符号时和/或发送符号之后，其所展示的虚拟行为可由情绪简档修改.如果发送者是悲伤的，则该符号可以呈现与悲伤相关联的动作和行为，如向下看、拖动脚步等。触觉反馈可以与脚步的拖动相匹配，使得收件人注意到该情绪并产生情绪体验.如果发送者的情绪变得兴奋，则该符号可以开始跳上跳下，并且收件人可以感受到“兴奋的”振动模式，该模式通过每次符号落地时的振动脉冲来与跳跃相匹配.
在本发明实施例的另一个实现方式中，第一用户和第二用户可以使用谷哥群聊来互相通信。第二用户可以在通过笫二用户的膝上电脑通信时，正等待第一用户到达与朋友的活动。第二用户可以佩戴可佩戴的电子设备，该可佩戴的电子设备感测由第一用户迟到引起的第二用户感受到的紧张信号，第一用户迟到可以由第一用户的GPS位置确认.可以向第一用户的移动设备发送暗示第二用户的压力等级的表情符号。第一用户可以在公交车上(例如，在去往该活动的路上)在他/她的移动设备上接收到该消息。第一用户可以看出第二用户是紧张的。随着公交车避开车流并快速接近活动地点，第一用户的设备可以捕获他/她的微笑并发送积极的表情符号以通知第二用户他/她将会按时到达.第二用户可以经由连接到他/她的谷哥账户的众多设备接收该通知，这些设备包括但不限于第二用户的可佩戴电子设备、移动电话、鼠标、和触觉使能的膝上触控板等.
在本发明实施例的另一个实现方式中，当***的第一用户开始键入到***的第二用户的消息时，第二用户的设备可以向第一用户提供第二用户的情绪的指示，使得第一用户考虑到第二用户的情绪.例如，第一用户可能想要向第二用户发送包括低劣的玩笑的消息.在第一用户开始键入该消息时，第一用户可以在他/她的电子设备110上被通知第二用户情绪不好，使得第一用户可以重新考虑他/她是否应该修改该消息的措辞和时间。
在本发明实施例的一个实现方式中，如上所述，***的第一用户的情绪可用于确定动作，并且所确定的动作可以由感测到的***的第二用户的情绪来进一步调整.例如，如果第一用户的情绪是兴奋的，但是第二用户的情绪是郁闷的，则基于第一用户的情绪确定的要采取的初始动作可以基于第二用户的情绪来调整，使得输出到第二用户的效果得以改变。
本发明实施例可以在游戏环境中实现.例如，在本发明实施例的一个实现方式中，***的第一用户的情绪可用于影响第一用户在游戏中的化身和/或可用于影响游戏中的其它玩家。在一个实现方式中，***的第一用户的化身严重受伤或删除***的第二用户的化身，本发明的实施例可用于检测作为该动作的结果，第二用户是否烦乱或生气，并且将第二用户的情绪传递到第一用户。如果第一用户意图在这种动作之后嘲弄第二用户并且愿意更好地得知嘲弄是否是一个好主意(也就是第二用户是否能应对这种嘲弄)，则这种第二用户情绪的传递可能是有帮助的。
如所公开的，实施例感测电子设备用户的情绪并且基于该情绪自动执行动作.动作的例子可以是到第二用户的电子消息的产生和发送，该电子消息包括反映第一用户情绪的视觉和/或触觉组件。可以基于情绪自动选择视觉和/或触觉组件，如表情符号标签，由此减少用户进行人工选择的需要.
这里所描述的实施例代表大量的实现方式和例子，并且并不意图必定将本公开内容限制到任何特定的实施例。替代地，本领域技术人员将会理解，可以对这些实施例进行各种修改.任何这种修改旨在包括在本公开内容的精神和范围内并且由权利要求保护。

Claims (20)

1.一种操作电子设备的方法，该方法包括：
确定与第一电子设备相关联的用户的情绪；
基于所确定的情绪确定第一电子设备要执行的动作；以及
发起所确定的动作，其中所确定的动作包括向第二电子设备发送与所确定的情绪对应的对象。
2.如权利要求1所述的方法，其中确定情绪是基于用户的身体属性的。
3.如权利要求2所述的方法，其中身体属性包括基于电子设备上的相机确定的用户的面部线索。
4.如权利要求2所述的方法，其中身体属性包括感测到的用户的生物指标、用户的语音、或用户在该电子设备上施加的输入压力中的至少一个。
5.如权利要求1所述的方法，其中所确定的动作包括自动选择包括表情符号或电子标签的对象，并将该对象附加到由用户准备的消息。
6.如权利要求1所述的方法，其中所确定的动作包括自动向第二电子设备发送以下中的至少一个：反映所确定的情绪的视觉效果、反映所确定的情绪的音频效果或反映所确定的情绪的触觉效果。
7.如权利要求1所述的方法，其中所确定的动作进一步基于用户的位置。
8.如权利要求5所述的方法，其中所确定的动作进一步包括基于所确定的情绪修改该表情符号或电子标签。
9.一种其上存储有指令的计算机可读介质，所述指令在由处理器执行时使得该处理器操作电子设备，该操作包括：
确定与第一电子设备相关联的用户的情绪；
基于所确定的情绪确定第一电子设备要执行的动作；以及
发起所确定的动作，其中所确定的动作包括向第二电子设备发送与所确定的情绪对应的对象。
10.如权利要求9所述的计算机可读介质，其中确定情绪是基于用户的身体属性的。
11.如权利要求10所述的计算机可读介质，其中身体属性包括基于该电子设备上的相机确定的用户的面部线索。
12.如权利要求10所述的计算机可读介质，其中身体属性包括感测到的用户的生物指标、用户的语音、或用户在该电子设备上施加的输入压力中的至少一个。
13.如权利要求9所述的计算机可读介质，其中所确定的动作包括自动选择包括表情符号或电子标签的对象，并将该对象附加到由用户准备的消息。
14.如权利要求9所述的计算机可读介质，其中所确定的动作包括自动向第二电子设备发送以下中的至少一个：反映所确定的情绪的视觉效果、反映所确定的情绪的音频效果或反映所确定的情绪的触觉效果。
15.如权利要求9所述的计算机可读介质，其中所确定的动作进一步基于用户的位置。
16.如权利要求13所述的计算机可读介质，其中所确定的动作进一步包括基于所确定的情绪修改该表情符号或电子标签。
17.一种装置，包括：
情绪确定器，所述情绪确定器包括传感器并确定与所述装置相关联的用户的情绪；以及
动作确定器，所述动作确定器包括发射机，并且基于所确定的情绪确定所述装置要执行的动作并发起所确定的动作，其中所确定的动作包括向第二装置发送与所确定的情绪对应的对象。
18.如权利要求17所述的装置，其中确定情绪是基于用户的身体属性的。
19.如权利要求18所述的装置，进一步包括相机，其中身体属性包括利用该相机确定的用户的面部线索。
20.如权利要求18所述的装置，其中身体属性包括感测到的用户的生物指标、用户的语音、或用户在所述装置上施加的输入压力中的至少一个。
CN201610229395.1A 2015-02-27 2016-02-26 基于用户情绪产生动作 Pending CN105929942A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562126185P 2015-02-27 2015-02-27
US62/126,185 2015-02-27

Publications (1)

Publication Number Publication Date
CN105929942A true CN105929942A (zh) 2016-09-07

Family

ID=55453041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610229395.1A Pending CN105929942A (zh) 2015-02-27 2016-02-26 基于用户情绪产生动作

Country Status (5)

Country Link
US (2) US10248850B2 (zh)
EP (1) EP3062198B1 (zh)
JP (1) JP2016162459A (zh)
KR (1) KR20160105321A (zh)
CN (1) CN105929942A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648100A (zh) * 2016-12-23 2017-05-10 深圳先进技术研究院 一种人机交互方法、装置和***
CN108399358A (zh) * 2018-01-11 2018-08-14 中国地质大学（武汉） 一种在视频聊天的表情显示方法及***
CN108512995A (zh) * 2018-03-01 2018-09-07 广东欧珀移动通信有限公司 电子装置、脑电波控制方法及相关产品
WO2018171196A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种控制方法、终端及***
CN108600502A (zh) * 2018-03-05 2018-09-28 广东欧珀移动通信有限公司 电子装置、拨号方法及相关产品
CN109525725A (zh) * 2018-11-21 2019-03-26 三星电子（中国）研发中心 一种基于情绪状态的信息处理方法和装置
CN110019286A (zh) * 2017-07-19 2019-07-16 ***通信有限公司研究院 一种基于用户社交关系的表情推荐方法及装置
CN110290845A (zh) * 2017-02-20 2019-09-27 索尼公司 信息处理***和信息处理方法
CN114449297A (zh) * 2020-11-04 2022-05-06 阿里巴巴集团控股有限公司 一种多媒体信息的处理方法、计算设备及存储介质
TWI787205B (zh) * 2017-09-28 2022-12-21 日商電通股份有限公司 表情記錄系統、嬰兒車、及表情記錄程式

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225220B2 (en) 2015-06-01 2019-03-05 Facebook, Inc. Providing augmented message elements in electronic communication threads
EP3112987A1 (en) * 2015-06-29 2017-01-04 Thomson Licensing Method and schemes for perceptually driven encoding of haptic effects
CN109152917B (zh) 2016-04-01 2022-08-05 高等教育联邦***-匹兹堡大学 监管装置和相关联方法
CN105763431B (zh) * 2016-05-06 2019-03-26 腾讯科技（深圳）有限公司 一种信息推送方法、装置及***
US9870025B1 (en) * 2016-07-10 2018-01-16 Emotive Digital, LP Display case
US10387571B2 (en) * 2016-07-20 2019-08-20 Vidicons LLC Networked device with suggested response to incoming message
US11138262B2 (en) * 2016-09-21 2021-10-05 Melodia, Inc. Context-aware music recommendation methods and systems
US10769418B2 (en) 2017-01-20 2020-09-08 At&T Intellectual Property I, L.P. Devices and systems for collective impact on mental states of multiple users
US11482132B2 (en) * 2017-02-01 2022-10-25 Toyota Motor Engineering & Manufacturing North America, Inc. Devices and methods for providing tactile feedback
WO2018215575A1 (en) * 2017-05-26 2018-11-29 Jamzone B.V. System or device allowing emotion recognition with actuator response induction useful in training and psychotherapy
CN107153496B (zh) * 2017-07-04 2020-04-28 北京百度网讯科技有限公司 用于输入表情图标的方法和装置
US10582119B2 (en) * 2017-07-26 2020-03-03 Sony Corporation Image processing method and device for composite selfie image composition for remote users
GB201713301D0 (en) * 2017-08-18 2017-10-04 Revolutioneyes Me Ltd Communication method
US10817316B1 (en) 2017-10-30 2020-10-27 Wells Fargo Bank, N.A. Virtual assistant mood tracking and adaptive responses
US20190138095A1 (en) * 2017-11-03 2019-05-09 Qualcomm Incorporated Descriptive text-based input based on non-audible sensor data
US11195118B2 (en) 2017-11-20 2021-12-07 International Business Machines Corporation Detecting human input activity in a cognitive environment using wearable inertia and audio sensors
US10958610B2 (en) 2018-01-10 2021-03-23 International Business Machines Corporation Generating alerts based on predicted mood responses to received electronic messages
US10699104B2 (en) 2018-05-03 2020-06-30 International Business Machines Corporation Image obtaining based on emotional status
EP3572911A1 (de) * 2018-05-24 2019-11-27 Skidata Ag Interaktiver automat und verfahren zur optimierung der benutzerführung und ergonomie während der bedienung des interaktiven automaten
US11636365B2 (en) 2018-09-13 2023-04-25 International Business Machines Corporation State of emotion time series
US10346541B1 (en) 2018-10-05 2019-07-09 Capital One Services, Llc Typifying emotional indicators for digital messaging
US11023687B2 (en) * 2018-10-08 2021-06-01 Verint Americas Inc. System and method for sentiment analysis of chat ghost typing
WO2020142259A1 (en) 2019-01-04 2020-07-09 Apollo Neuroscience, Inc. Systems and methods of wave generation for transcutaneous vibration
CN113366483A (zh) * 2019-02-14 2021-09-07 索尼集团公司 信息处理装置、信息处理方法及信息处理程序
CN113050843A (zh) * 2019-12-27 2021-06-29 深圳富泰宏精密工业有限公司 情绪识别及管理方法、计算机程序及电子装置
US11818286B2 (en) * 2020-03-30 2023-11-14 Snap Inc. Avatar recommendation and reply
US11625873B2 (en) 2020-03-30 2023-04-11 Snap Inc. Personalized media overlay recommendation
CN112244837B (zh) * 2020-07-27 2024-06-07 长春中医药大学附属医院(吉林省中医院) 针对治疗失忆类脑病的中医治疗仪
US20220037004A1 (en) * 2020-07-31 2022-02-03 Hennepin Healthcare System, Inc. Healthcare worker burnout detection tool
US11258936B1 (en) * 2020-10-03 2022-02-22 Katherine Barnett Remote selfie system
US11283751B1 (en) * 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time
KR20220103382A (ko) * 2021-01-15 2022-07-22 삼성전자주식회사 감정 상태를 식별하는 전자 장치 및 그 운용 방법
US11676317B2 (en) 2021-04-27 2023-06-13 International Business Machines Corporation Generation of custom composite emoji images based on user-selected input feed types associated with Internet of Things (IoT) device input feeds
US11429188B1 (en) 2021-06-21 2022-08-30 Sensie, LLC Measuring self awareness utilizing a mobile computing device
US11765115B2 (en) * 2021-07-29 2023-09-19 Snap Inc. Emoji recommendation system using user context and biosignals
US20230240374A1 (en) * 2022-01-28 2023-08-03 Nicoventures Trading Limited Electronic vapor provision system and method
KR102650224B1 (ko) * 2023-06-05 2024-03-20 광운대학교 산학협력단 감정 전달 시스템 및 감정 전달 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101020312A (zh) * 2007-03-13 2007-08-22 叶琛 基于网络功能的机器人传递行为的方法和装置
US20080027984A1 (en) * 2006-07-31 2008-01-31 Motorola, Inc. Method and system for multi-dimensional action capture
CN102216876A (zh) * 2008-11-19 2011-10-12 英默森公司 用于生成基于心情的触觉反馈的方法和装置
JP4955618B2 (ja) * 2008-03-10 2012-06-20 韓国標準科学研究院 触感フィードバック装置を用いた触感伝達方法、及びそのシステム

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7076737B2 (en) 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US6850150B1 (en) 2000-11-21 2005-02-01 Nokia Mobile Phones Ltd. Portable device
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
US7039676B1 (en) * 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
US7624149B2 (en) * 2004-09-15 2009-11-24 Microsoft Corporation Instant messaging with audio
US8601379B2 (en) * 2006-05-07 2013-12-03 Sony Computer Entertainment Inc. Methods for interactive communications with real time effects and avatar environment interaction
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
EP1936929A1 (en) * 2006-12-21 2008-06-25 Samsung Electronics Co., Ltd Haptic generation method and system for mobile phone
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
WO2009092107A2 (en) 2008-01-17 2009-07-23 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
US20100177116A1 (en) * 2009-01-09 2010-07-15 Sony Ericsson Mobile Communications Ab Method and arrangement for handling non-textual information
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US9251721B2 (en) 2010-04-09 2016-02-02 University Of Florida Research Foundation, Inc. Interactive mixed reality system and uses thereof
US20110291953A1 (en) * 2010-05-31 2011-12-01 National University Of Singapore Robot device and platform for social networking
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US20130159919A1 (en) * 2011-12-19 2013-06-20 Gabriel Leydon Systems and Methods for Identifying and Suggesting Emoticons
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9460473B2 (en) * 2012-06-26 2016-10-04 International Business Machines Corporation Content-sensitive notification icons
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
EP4083758A1 (en) 2013-07-05 2022-11-02 Rubin, Jacob A. Whole-body human-computer interface
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9392094B2 (en) 2014-01-15 2016-07-12 Sony Corporation Mobile electronic wearable device and method for providing haptic notification
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9773389B2 (en) 2014-07-28 2017-09-26 Ck Materials Lab Co., Ltd. Tactile information supply module
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
WO2017053878A1 (en) 2015-09-25 2017-03-30 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017095951A1 (en) 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
TWI688879B (zh) 2016-01-22 2020-03-21 宏達國際電子股份有限公司 虛擬實境環境中與真實世界互動的方法、系統與記錄媒體
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080027984A1 (en) * 2006-07-31 2008-01-31 Motorola, Inc. Method and system for multi-dimensional action capture
CN101020312A (zh) * 2007-03-13 2007-08-22 叶琛 基于网络功能的机器人传递行为的方法和装置
JP4955618B2 (ja) * 2008-03-10 2012-06-20 韓国標準科学研究院 触感フィードバック装置を用いた触感伝達方法、及びそのシステム
CN102216876A (zh) * 2008-11-19 2011-10-12 英默森公司 用于生成基于心情的触觉反馈的方法和装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106648100B (zh) * 2016-12-23 2019-08-06 深圳先进技术研究院 一种人机交互方法、装置和***
CN106648100A (zh) * 2016-12-23 2017-05-10 深圳先进技术研究院 一种人机交互方法、装置和***
CN110290845B (zh) * 2017-02-20 2023-08-22 索尼公司 信息处理***和信息处理方法
CN110290845A (zh) * 2017-02-20 2019-09-27 索尼公司 信息处理***和信息处理方法
US11562271B2 (en) 2017-03-21 2023-01-24 Huawei Technologies Co., Ltd. Control method, terminal, and system using environmental feature data and biological feature data to display a current movement picture
WO2018171196A1 (zh) * 2017-03-21 2018-09-27 华为技术有限公司 一种控制方法、终端及***
CN110446996A (zh) * 2017-03-21 2019-11-12 华为技术有限公司 一种控制方法、终端及***
CN110019286B (zh) * 2017-07-19 2021-10-29 ***通信有限公司研究院 一种基于用户社交关系的表情推荐方法及装置
CN110019286A (zh) * 2017-07-19 2019-07-16 ***通信有限公司研究院 一种基于用户社交关系的表情推荐方法及装置
TWI787205B (zh) * 2017-09-28 2022-12-21 日商電通股份有限公司 表情記錄系統、嬰兒車、及表情記錄程式
CN108399358B (zh) * 2018-01-11 2021-11-05 中国地质大学（武汉） 一种在视频聊天的表情显示方法及***
CN108399358A (zh) * 2018-01-11 2018-08-14 中国地质大学（武汉） 一种在视频聊天的表情显示方法及***
CN108512995A (zh) * 2018-03-01 2018-09-07 广东欧珀移动通信有限公司 电子装置、脑电波控制方法及相关产品
CN108600502B (zh) * 2018-03-05 2021-04-06 Oppo广东移动通信有限公司 电子装置、拨号方法及相关产品
CN108600502A (zh) * 2018-03-05 2018-09-28 广东欧珀移动通信有限公司 电子装置、拨号方法及相关产品
CN109525725A (zh) * 2018-11-21 2019-03-26 三星电子（中国）研发中心 一种基于情绪状态的信息处理方法和装置
CN109525725B (zh) * 2018-11-21 2021-01-15 三星电子（中国）研发中心 一种基于情绪状态的信息处理方法和装置
CN114449297A (zh) * 2020-11-04 2022-05-06 阿里巴巴集团控股有限公司 一种多媒体信息的处理方法、计算设备及存储介质

Also Published As

Publication number Publication date
US20190258850A1 (en) 2019-08-22
KR20160105321A (ko) 2016-09-06
JP2016162459A (ja) 2016-09-05
US20160253552A1 (en) 2016-09-01
US10248850B2 (en) 2019-04-02
EP3062198A1 (en) 2016-08-31
EP3062198B1 (en) 2019-09-04

Similar Documents

Publication Publication Date Title
CN105929942A (zh) 基于用户情绪产生动作
CN110288077B (zh) 一种基于人工智能的合成说话表情的方法和相关装置
KR101800992B1 (ko) 무드-기반 햅틱 피드백을 생성하기 위한 방법 및 장치
US9678570B2 (en) Haptic transmission method and mobile terminal for same
US8793621B2 (en) Method and device to control touchless recognition
CN103782253B (zh) 将情绪传输为触觉反馈
CN105388995A (zh) 启用触觉的可变形表面的形状输入和输出的***和方法
CN108021572B (zh) 回复信息推荐方法和装置
CN109194796A (zh) 屏幕发声方法、装置、电子装置及存储介质
CN107358953A (zh) 语音控制方法、移动终端及存储介质
CN106875460A (zh) 一种图片表情合成方法和终端
CN109993821B (zh) 一种表情播放方法及移动终端
CN110389659A (zh) 针对增强或虚拟现实环境提供动态触觉回放的***和方法
KR101480668B1 (ko) 음성을 이용한 감정 인식 어플리케이션이 구비된 단말기 및 그 제어방법
CN108712571A (zh) 显示屏发声的方法、装置、电子装置及存储介质
CN109212534A (zh) 移动终端的握持姿态检测方法、装置、设备及存储介质
CN109308178A (zh) 一种语音画图方法及其终端设备
CN108833779A (zh) 拍摄控制方法及相关产品
CN105451090A (zh) 图像处理方法和图像处理装置
CN106649712A (zh) 输入表情信息的方法及装置
CN108958631B (zh) 屏幕发声控制方法、装置以及电子装置
CN109412934A (zh) 表情发送方法、装置、电子设备及存储介质
CN109343927A (zh) 表情接收方法、装置、电子设备及存储介质
CN110083248A (zh) 消息交互方法、可穿戴设备及计算机可读存储介质
CN111031174B (zh) 一种虚拟物品传输方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160907

WD01 Invention patent application deemed withdrawn after publication