CN102986200B - 对用户的情绪状态改变进行响应 - Google Patents
对用户的情绪状态改变进行响应 Download PDFInfo
- Publication number
- CN102986200B CN102986200B CN201180032967.2A CN201180032967A CN102986200B CN 102986200 B CN102986200 B CN 102986200B CN 201180032967 A CN201180032967 A CN 201180032967A CN 102986200 B CN102986200 B CN 102986200B
- Authority
- CN
- China
- Prior art keywords
- user
- tracks
- change
- emotional state
- described user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00323—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3261—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal
- H04N2201/3266—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of multimedia information, e.g. a sound signal of text or character information, e.g. text accompanying an image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3278—Transmission
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Physics & Mathematics (AREA)
- Developmental Disabilities (AREA)
- Biophysics (AREA)
- Child & Adolescent Psychology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Educational Technology (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
一种方法包括监视用户对设备的输入、使用该用户输入来跟踪该用户的情绪状态、检测所追踪的该用户的情绪状态的改变、以及响应于检测到该改变而使用相机来捕捉用户的图像并且将该图像***到内容项中。
Description
技术领域
本发明涉及对所跟踪的用户情绪状态的改变进行响应。
背景技术
使用表情符号(emoticon)在诸如短消息服务(SMS)消息、电子邮件、博客等基于文本的消息中表示情绪是已知的。这些是由两个或更多ASCII字符所构成,并且经常表示具有特定表情的人脸。表情符号可以通过用户输入相关ASCII字符序列而被***文本之中。利用一些移动设备,可以从菜单选择表情符号并且将其***文本中。
发明内容
本发明的第一方面提供了一种方法,包括:
监视用户对设备的输入;
使用该用户输入来跟踪用户的情绪状态;
检测所跟踪的该用户的情绪状态的改变;以及
响应于检测到改变而使用相机来捕捉用户的图像并且将该图像***到内容项中。
检测所跟踪的该用户的情绪状态的改变可以包括确定该用户的情绪状态已经发生了改变。
相机可以是设备的前置相机。
该方法可以包括将内容项从设备传输至远程装置。
使用用户输入来跟踪用户的情绪状态可以包括跟踪用户的打字速度,并且检测所跟踪的用户情绪状态的改变可以包括检测打字速度的改变。
使用用户输入来跟踪用户的情绪状态可以包括检测退格或删除功能的使用频率,并且检测所跟踪的用户情绪状态的改变可以包括检测退格或删除功能的使用频率的增加。
使用用户输入来跟踪用户的情绪状态可以包括监视用户的打字压力,并且检测所跟踪的用户情绪状态的改变可以包括检测平均打字压力的改变。检测所跟踪的用户情绪状态的改变可以包括确定打字速度已经发生了改变。
使用用户输入来跟踪用户的情绪状态可以包括监视用户的生理参数,并且检测所跟踪的用户情绪状态的改变可以包括检测该生理参数的改变。检测所跟踪的用户情绪状态的改变可以包括确定生理参数已经发生了改变。
使用用户输入来跟踪用户的情绪状态并且检测所跟踪的用户情绪状态的改变可以包括检测用户所进行的共同构成表情符号的多个字符的键入。检测所跟踪的用户情绪状态的改变可以包括确定用户已经键入了共同构成表情符号的多个字符。
本发明的第二方面提供了一种装置,包括:
至少一个处理器;和
至少一个包括计算机程序代码的存储器,
该至少一个存储器和计算机程序代码被配置为通过该至少一个处理器使得该装置至少执行下述方法:
监视用户对设备的输入;
使用该用户输入来跟踪用户的情绪状态;
检测所跟踪的该用户的情绪状态的改变;以及
响应于检测到改变而使用相机来捕捉用户的图像并且将该图像***到内容项中。
检测所跟踪的该用户的情绪状态的改变可以包括确定该用户的情绪状态已经发生了改变。
本发明的第三方面提供了一种装置,包括:
用于监视用户对设备的输入的部件;
用于使用该用户输入来跟踪用户的情绪状态的部件;
用于检测所跟踪的该用户的情绪状态的改变的部件;以及
用于响应于检测到改变而使用相机来捕捉用户的图像并且将该图像***到内容项中的部件。
本发明的第四方面提供了包括处理器、存储器以及存储在该存储器中并控制处理器操作的计算机代码的装置,该装置包括:
用于监视用户对设备的输入的计算机代码;
用于使用该用户输入来跟踪用户的情绪状态的计算机代码;
用于检测所跟踪的该用户的情绪状态的改变的计算机代码;以及
用于响应于检测到改变而使用相机来捕捉用户的图像并且将该图像***到内容项中的计算机代码。
本发明的第五方面提供了一种非临时计算机可读介质,其具有存储于其上的用于使得计算装置执行下述方法的指令,该方法包括:
监视用户对设备的输入;
使用该用户输入来跟踪用户的情绪状态;
检测所跟踪的该用户的情绪状态的改变;以及
响应于检测到改变而使用相机来捕捉用户的图像并且将该图像***到内容项中。
本发明的第六方面提供了一种计算机程序,其可选地存储在介质上,包括用于使得计算机装置执行如以上所记载的方法的指令。
附图说明
现在将参考附图仅通过示例对本发明的实施例进行描述,其中:
图1是图示根据本发明各方面的移动设备的示意图;以及
图2是图示根据本发明各方面的图1中的移动设备的操作的流程图。
具体实施方式
首先参见图1,移动设备10包括多个组件。除了电池12之外,每个组件共同连接至***总线11。连接至总线11的有处理器13、随机存取存储器(RAM)14、只读存储器(ROM)15、蜂窝发射器和接收器(收发器)16以及小键盘或键盘17。蜂窝收发器16可操作以利用天线21与移动电话网络进行通信。
小键盘或键盘17可以具有包括硬件按键的类型,或者其可以是例如在触摸屏上实施的虚拟小键盘或键盘。小键盘或键盘提供了用户能够通过其向设备10输入文本的手段。麦克风18也连接到总线11。麦克风18提供了用户能够通过其向设备10传输文本的另一手段。
设备10还包括前置(front)相机19。该相机是安装在设备10前方面板上的相对低分辨率的相机。前置相机19例如可能被用于视频呼叫。
设备10还包括小键盘或键盘压力传感布置20。其可以采用任意适当的形式。小键盘或键盘压力传感布置20的功能是检测用户在输入文本时施加在小键盘或键盘17上的压力。其形式可以取决于小键盘或键盘17的类型。
该设备包括短程收发器22,其连接至短程天线23。该收发器可以采用任意适当的形式,例如其可以是蓝牙收发器、IRDA收发器或者任意其它标准或专有协议收发器。使用短程收发器22,移动设备10能够与外部的心率监视器24进行通信而且还能够与外部的皮肤电反应(GSR)设备25进行通信。
在ROM15内存储有多个计算机程序和软件模块。这些包括操作***26,其例如可以是MeeGo操作***或者某个版本的Symbian操作***。ROM15中还存储有一个或多个消息收发应用27。这些可以包括电子邮件应用、即时消息收发应用和/或能够容纳文本和(多个)图像的混合的任意其它类型的消息收发应用。ROM15中还存储有一个或多个博客应用28。其可以包括诸如当前在Twitter服务中使用的那些用于提供微博的应用。一个或多个博客应用28还可以允许向诸如Facebook等的社交网络服务发布博客。博客应用28允许用户以其可被他们的好友和家人或者被一般公众例如通过互联网所观看的方式提供状态更新和其它信息。在以下描述中,为了解释的简明而对一个消息收发应用27和一个博客应用进行描述。
ROM15中还存储有情绪表达软件应用29,其在以下更为详细地被描述。简要地,情绪表达软件应用29能够使得允许接收者看到用户的情绪表达的用户脸部照片***到内容项中,该内容项例如是由一个消息收发应用27或一个博客应用28所处理的文本串。
虽然在图中没有示出,但是ROM15还包括共同允许设备10执行其所需功能的各种其它软件。
设备10例如可以是移动电话或智能电话。设备10可以另外采用不同的形状因数(formfactor)。例如,设备10可以是个人数字助理(PDA)或者笔记本等。设备10优选地是电池供电的手持通信设备。
心率监视器24被配置为由用户置于使得其能够检测到用户心跳的位置。GSR设备25被用户佩戴在其与用户的皮肤相接触并且因此能够测量诸如阻抗之类的参数的位置。
现在参考图2,将对情绪表达应用29的操作进行描述。该操作在步骤S1开始。虽然在图2中没有示出,但是情绪表达应用29在消息收发应用27和博客应用28中的任一个或二者被用户使用时是激活的。情绪表达应用29在检测到用户向消息收发应用27或博客应用28中输入文本时进行响应以在步骤S2监视设备输入。将要意识到的是,文本可以由用户使用小键盘或键盘17进行输入,或者经麦克风18对设备进行口述而被输入。在后者的情况下,语音识别软件(未示出)将文本提供至消息收发应用27或博客应用28。
步骤S2包括情绪表达应用29监视小键盘或键盘17所提供的信号和数据,尤其是通过监视用户的打字速度来进行监视。情绪表达应用29被配置为确定用户的平均打字速度,并且将当前打字速度与平均速度相比较。可选地,可以在例如10秒的一段时间内以滚动窗口的方式对当前打字速度取平均。
可替换地或除此之外,步骤S2包括监视小键盘或键盘压力传感布置20所提供的信号。情绪表达应用29被配置为对用户利用其向小键盘或键盘17提供输入的压力进行监视。情绪表达应用29被配置为确定平均压力,并且将当前压力与平均值进行比较。例如,平均值可以是在预定时间段内所确定的或者根据预定按键按压次数所确定的。
可替换地或除此之外,步骤S2包括监视从心率监视器24所接收的信息和信号。情绪表达应用29可以被配置为通过从心率监视器24发出的信号来检测用户的心率。
可替换地或除此之外,步骤S2包括情绪表达应用29监视从GSR设备25接收的信号。情绪表达应用29可以为用户确定典型参数值,并且能够从该典型参数值来检测当前参数是否明显高于或明显低于典型值。
在步骤S3,情绪表达应用29被配置为使用在步骤S2所监视的设备输入对用户的情绪状态进行跟踪。步骤S2和S3可以并行执行,其中步骤S2实际上被连续执行。
步骤S3包括情绪表达应用29关于用户的情绪状态进行确定,并且定期更新情绪状态。情绪状态例如可以以半秒和5秒之间的间隔频繁更新,优选地以1秒和2秒之间的间隔进行更新。情绪状态可以由情绪表达应用29在类别方面加以表示。示例类别包括正常、激动、快乐、焦虑、疲倦、不安等。可替换地,情绪状态可以采用数字值。
在步骤S4,确定是否已经发生了用户情绪状态的改变。如果如步骤S3所跟踪的情绪状态在给定时间段内没有明显改变,则步骤S4产生否定确定,并且操作再次进行至步骤S2。如果在步骤S3中所跟踪的情绪状态已经有明显程度的改变,则步骤S4产生肯定结果,并且操作进行至步骤S5。
步骤S4的细节取决于被监视以在步骤S3对情绪状态进行跟踪的设备输入的属性。例如,当情绪表达应用29检测到如压力传感布置20所检测的用户施加在小键盘或键盘上的压力以超出阈值的量而不同于通常水平时可以推断出情绪状态的改变。
可替换地或除此之外,在情绪表达应用29检测到用户向小键盘或键盘17中进行打字的速度与通常打字速度的偏差超过阈值时可以推断出情绪状态的改变。例如,打字速度增加超过20%可以指示用户处于激动状态。
还可以在情绪表达应用29检测到如GSR设备25所测量的用户的皮肤阻抗参数降至阈值以下或者下降大于预定量时推断出情绪状态的改变。皮肤阻抗下降可以指示用户激动或焦虑。
情绪表达应用29使用检测用户以对于该用户而言不常见的程度使用小键盘或键盘17的退格或删除按键来推断情绪状态的改变。例如,与典型数量的偏差程度超过阈值(该阈值可以是特定于用户的)的退格或删除按键使用量可以指示用户紧张、焦虑,或者可替换地,非常激动。
可替换地或除此之外,可以在情绪表达应用29确定如心率监视器24所检测的用户的心率在给定时间段内已经升高了超过阈值的量时推断出情绪状态的改变。例如,可以在用户的心率在小于20秒的时段内增加超过10%而推断出情绪状态的改变。心率的增加可以指示用户激动或害怕。
可替换地,可以通过用户键入表情符号来推断出情绪状态的改变。因为能够假设用户仅在他们希望表达情绪时才键入表情符号,并且困为能够假设这仅在情绪有所改变时才发生,所以可以这样进行推断。在该替换情况中,步骤S4包括情绪表达应用检测导致共同构成表情符号的ASCII字符的按键按压序列。
步骤S4可以包括对来自多个不同源的输入加以利用。例如,步骤S4可以包括将来自心率监视器24的信息与来自小键盘压力传感布置20的关于小键盘或键盘输入压力的信息进行交叉引用。以这种方式,当单独利用来自一个源的信息可能提供模糊结果时,设备10能够更为准确地确定用户的情绪状态。
在步骤S5,确定用户脸部的照片将仅在标点处被***到消息中的设备设置是肯定还是否定。该设置能够由用户进行修改并且具有缺省设置。如果该设置为肯定,则操作进行至步骤S6。这里,确定用户是否已经输入了标点。在否定确定的情况下,操作再次返回至步骤S6。在否定确定来自步骤S6或否定确定来自步骤S5的情况下,操作进行至步骤S7。步骤S6可以排除检测形成表情符号的标点。
在步骤S7,情绪表达应用29将用户的照片***用户正在向消息收发应用27或博客应用28中输入的文本串中。使用前置相机所拍摄的图像被缩放至适当尺寸并且还可以被转换至用户所喜好的色图(colourmap)。缩放照片可以包括情绪表达应用29将前置相机所提供的图像的尺寸调节为适于包含到文本串中的尺寸。该尺寸可能较小,例如大约图标的尺寸。所要求的尺寸可能依赖于图像是被***到博客应用28还是消息收发应用27的文本串中而有所不同。所要求的尺寸可以根据消息收发应用27的类型而改变。所要求的尺寸可以由用户通过设备10的菜单***进行设置。缩放还可以包括改变图像的其它参数,例如以便减小表示该图像所需的数据量。
在步骤S7之后,操作再次进行至步骤S2。以这种方式,情绪状态的改变可以导致另外的图像被引入文本中。
与步骤S2至S7并行地,该操作在步骤S8确定用户是否已经选择消息收发应用27或博客应用28的发送或上传选项。在肯定确定的情况下,在步骤S9发送消息或上传博客。步骤S9涉及到消息收发应用27或博客应用28以及收发器16。在步骤S9之后,操作在步骤S10结束。
将要意识到的是,以上所描述的步骤和操作由处理器13在操作***26上所运行的指令的控制下使用RAM14来执行,该指令形成情绪表达应用29和/或消息收发应用27或博客应用28的一部分。在执行期间,构成操作***26、消息收发应用27、博客应用28和情绪表达应用29的一些或全部计算机程序可以存储在RAM14中。在仅该计算机程序中的一些存储在RAM14中的情况下,其余处于ROM15中。
应当意识到的是,以上实施例不应当被理解为限制。在阅读本申请时,其它改变和修改形式对于本领域技术人员将是显而易见的。
例如,在以上所描述的本发明实施例中,设备10被配置为与外部心率监视器24进行通信,并且还与外部皮肤电反应(GSR)设备25进行通信。所要意识到的是,在本发明的其它实施例中,设备10可以被配置为与其它不同设备进行通信。这样的设备所提供的输入可以由情绪表达应用29监视以进行关于用户情绪状态的确定。
设备10可以被配置为与可以向设备10提供生物信号的任意类型的设备进行通信。在本发明的实施例中,生物信号可以包括源自于诸如人类的生物的任意类型的信号。例如,生物信号可以包括生物电信号、生物机械信号、听觉信号、化学信号或光学信号。
生物信号可以包括有意识控制的信号。例如,其可以包括用户所进行的有意动作,诸如用户移动诸如其手臂或眼睛之类的身体部分。在本发明的一些实施例中,设备10可以被配置为从所检测到的用户的面部肌肉运动来确定用户的情绪状态,例如如果用户皱眉,则这可以通过皱眉肌的运动而被检测到。
在本发明的一些实施例中,生物信号可以包括潜意识控制的信号。例如,其可以包括作为生物所做出的自动生理反应的信号。自动生理反应可以在没有用户所进行的直接有意动作的情况下发生,并且例如可以包括心率的增加或脑信号。在本发明的一些实施例中,有意识控制的和潜意识控制的信号都可以被检测到。
生物电信号可以包括跨用户身体的一部分(诸如组织、器官或诸如神经***这样的细胞***)的一个或多个电势差所产生的电流。生物电信号可以包括例如可使用脑电图描记术、脑磁图描记术、皮肤电反应技术、心电图描记术和肌电图描记术或任意其它适当技术检测的信号。
生物机械信号可以包括设备10的用户移动其身体的一部分。身体部分的移动可以是有意识移动或潜意识移动。生物机械信号可以包括可使用一个或多个加速计或机械效应图法或者任意其它适当技术检测的信号。
听觉信号可以包括声波。听觉信号可被用户所听到。听觉信号可以包括可使用麦克风或者用于检测声波的任意其它适当器件检测的信号。
化学信号可以包括设备10的用户所输出的化学物或者设备10的用户的身体部分的化学组成的改变。化学信号例如可以包括可使用氧化检测仪或pH检测仪或者任意其它适当器件检测的信号。
光学信号可以包括可看到的任意信号。例如,光学信号可以包括可使用相机或者适于检测光学信号的任意其它器件检测的信号。
在本发明所说明的实施例中,传感器和检测器与设备10分离并且被配置为经由通信链路向设备10提供所检测的生物信号的指示。该通信链路可以是无线通信链路。在本发明的其它实施例中,通信链路可以是有线通信链路。在本发明的其它实施例中,一个或多个传感器或检测器可以是设备10的一部分。
此外,本申请的公开内容应当被理解为包括这里明确或隐含公开的任意新颖特征或任意新颖特征组合或者其任意概括,并且在本申请或者源于其的任意申请的进行期间,可以构思新的权利要求以覆盖任何这样的特征和/或这样的特征的组合。
Claims (13)
1.一种用于对情绪状态的改变进行响应的方法,包括:
监视用户对设备上的内容项的输入;
使用所述用户输入来跟踪所述用户的情绪状态;
确定所跟踪的所述用户的情绪状态的改变是否已经发生;
响应于确定改变已经发生而使用相机来捕捉所述用户的图像并且将所述图像***到所述内容项中;以及
响应于确定改变还未发生而继续监视输入而不捕捉图像。
2.根据权利要求1所述的方法,其中所述相机是所述设备的前置相机。
3.根据权利要求1所述的方法,包括将所述内容项从所述设备传输至远程装置。
4.根据权利要求1所述的方法,其中使用所述用户输入来跟踪所述用户的情绪状态包括跟踪所述用户的打字速度,并且其中检测所跟踪的所述用户的情绪状态的改变包括检测打字速度的改变。
5.根据权利要求1所述的方法,其中使用所述用户输入来跟踪所述用户的情绪状态包括检测退格或删除功能的使用频率,并且其中检测所跟踪的所述用户的情绪状态的改变包括检测退格或删除功能的使用频率的增加。
6.根据权利要求1所述的方法,其中使用所述用户输入来跟踪所述用户的情绪状态包括监视所述用户的打字压力,并且其中检测所跟踪的所述用户的情绪状态的改变包括检测平均打字压力的改变。
7.一种电子装置,包括:
用于监视用户对设备上的内容项的输入的部件;
用于使用所述用户输入来跟踪所述用户的情绪状态的部件;
用于确定所跟踪的所述用户的情绪状态的改变是否已经发生的部件;
用于响应于确定改变已经发生而使用相机来捕捉所述用户的图像并且将所述图像***到所述内容项中的部件;以及
用于响应于确定改变还未发生而继续监视输入而不捕捉图像的部件。
8.根据权利要求7所述的装置,其中所述相机是形成所述装置的一部分的前置相机。
9.根据权利要求7所述的装置,包括用于将所述内容项从所述设备传输至远程装置的部件。
10.根据权利要求7所述的装置,其中用于使用所述用户输入来跟踪所述用户的情绪状态的部件包括用于跟踪所述用户的打字速度的部件,并且其中用于检测所跟踪的所述用户的情绪状态的改变的部件包括用于检测打字速度的改变的部件。
11.根据权利要求7所述的装置,其中用于使用所述用户输入来跟踪所述用户的情绪状态的部件包括用于检测退格或删除功能的使用频率的部件,并且其中用于检测所跟踪的所述用户的情绪状态的改变的部件包括用于检测退格或删除功能的使用频率的增加的部件。
12.根据权利要求7所述的装置,其中用于使用所述用户输入来跟踪所述用户的情绪状态的部件包括用于监视所述用户的打字压力的部件,并且其中用于检测所跟踪的所述用户的情绪状态的改变的部件包括用于检测平均打字压力的改变的部件。
13.一种包括根据权利要求7所述的装置的设备。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/829,122 | 2010-07-01 | ||
US12/829,122 US10398366B2 (en) | 2010-07-01 | 2010-07-01 | Responding to changes in emotional condition of a user |
PCT/IB2011/052885 WO2012001651A1 (en) | 2010-07-01 | 2011-06-30 | Responding to changes in emotional condition of a user |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102986200A CN102986200A (zh) | 2013-03-20 |
CN102986200B true CN102986200B (zh) | 2016-05-04 |
Family
ID=45400222
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180032967.2A Active CN102986200B (zh) | 2010-07-01 | 2011-06-30 | 对用户的情绪状态改变进行响应 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10398366B2 (zh) |
EP (1) | EP2567532B1 (zh) |
CN (1) | CN102986200B (zh) |
WO (1) | WO2012001651A1 (zh) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130019187A1 (en) * | 2011-07-15 | 2013-01-17 | International Business Machines Corporation | Visualizing emotions and mood in a collaborative social networking environment |
KR101801327B1 (ko) * | 2011-07-29 | 2017-11-27 | 삼성전자주식회사 | 감정 정보 생성 장치, 감정 정보 생성 방법 및 감정 정보 기반 기능 추천 장치 |
US20130147933A1 (en) * | 2011-12-09 | 2013-06-13 | Charles J. Kulas | User image insertion into a text message |
US9046917B2 (en) | 2012-05-17 | 2015-06-02 | Sri International | Device, method and system for monitoring, predicting, and accelerating interactions with a computing device |
IL226047A (en) * | 2013-04-29 | 2017-12-31 | Hershkovitz Reshef May | A method and system for giving personal expressions |
KR102081229B1 (ko) * | 2013-06-24 | 2020-02-26 | 한국전자통신연구원 | 텍스트 입력에 따른 실시간 이미지 출력 장치 및 방법 |
WO2015084286A1 (ru) * | 2013-12-03 | 2015-06-11 | Вячэслав Викторовыч СТОЯНОВ | Способ создания и передачи эмограммы пользователя |
CN103892830B (zh) * | 2014-04-01 | 2016-01-20 | 新加坡情桥私人有限公司 | 一种基于人体皮肤电阻变化的情绪检测方法及*** |
US10755187B2 (en) * | 2015-06-17 | 2020-08-25 | Hitachi, Ltd. | Mood score calculation system |
KR102344063B1 (ko) * | 2015-06-29 | 2021-12-28 | 엘지전자 주식회사 | 이동 단말기 |
CN106502712A (zh) | 2015-09-07 | 2017-03-15 | 北京三星通信技术研究有限公司 | 基于用户操作的app改进方法和*** |
US9679497B2 (en) | 2015-10-09 | 2017-06-13 | Microsoft Technology Licensing, Llc | Proxies for speech generating devices |
US10262555B2 (en) | 2015-10-09 | 2019-04-16 | Microsoft Technology Licensing, Llc | Facilitating awareness and conversation throughput in an augmentative and alternative communication system |
US10148808B2 (en) | 2015-10-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Directed personal communication for speech generating devices |
CN105630151A (zh) * | 2015-10-30 | 2016-06-01 | 东莞酷派软件技术有限公司 | 一种移动终端响应灵敏度调节方法、装置和移动终端 |
DE202017105994U1 (de) * | 2016-11-17 | 2018-03-19 | Google LLC (n.d.Ges.d. Staates Delaware) | Ändern der Tastaturbeleuchtung vor dem Schlafengehen des Benutzers |
US10321050B2 (en) | 2016-11-29 | 2019-06-11 | International Business Machines Corporation | Determining optimal photograph capture timing based on data from wearable computer eyewear devices |
US11418467B2 (en) * | 2017-09-12 | 2022-08-16 | Get Together, Inc. | Method for delivery of an encoded EMS profile to a user device |
CN109785936A (zh) * | 2019-01-23 | 2019-05-21 | 中新科技集团股份有限公司 | 一种情绪测试方法、装置、设备及计算机可读存储介质 |
CN110069991A (zh) * | 2019-03-18 | 2019-07-30 | 深圳壹账通智能科技有限公司 | 反馈信息确定方法、装置、电子设备及存储介质 |
CN109951607B (zh) * | 2019-03-29 | 2021-01-26 | 努比亚技术有限公司 | 一种内容处理方法、终端及计算机可读存储介质 |
US11128591B1 (en) * | 2020-08-27 | 2021-09-21 | Cisco Technology, Inc. | Dynamic interaction of a dynamic ideogram in an electronic messaging environment |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1605974A (zh) * | 2003-10-06 | 2005-04-13 | 索尼株式会社 | 信息记录装置和信息记录方法 |
Family Cites Families (77)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6400996B1 (en) | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
JPH0612401A (ja) | 1992-06-26 | 1994-01-21 | Fuji Xerox Co Ltd | 感情模擬装置 |
US5377258A (en) * | 1993-08-30 | 1994-12-27 | National Medical Research Council | Method and apparatus for an automated and interactive behavioral guidance system |
US5508718A (en) | 1994-04-25 | 1996-04-16 | Canon Information Systems, Inc. | Objective-based color selection system |
US5615320A (en) | 1994-04-25 | 1997-03-25 | Canon Information Systems, Inc. | Computer-aided color selection and colorizing system using objective-based coloring criteria |
US6190314B1 (en) | 1998-07-15 | 2001-02-20 | International Business Machines Corporation | Computer input device with biosensors for sensing user emotions |
US6466232B1 (en) | 1998-12-18 | 2002-10-15 | Tangis Corporation | Method and system for controlling presentation of information to a user based on the user's condition |
US6505167B1 (en) | 1999-04-20 | 2003-01-07 | Microsoft Corp. | Systems and methods for directing automated services for messaging and scheduling |
US7181693B1 (en) | 2000-03-17 | 2007-02-20 | Gateway Inc. | Affective control of information systems |
KR20020027358A (ko) | 2000-04-19 | 2002-04-13 | 요트.게.아. 롤페즈 | 그래픽 사용자 인터페이스를 적응시키기 위한 방법 및 장치 |
US6963839B1 (en) * | 2000-11-03 | 2005-11-08 | At&T Corp. | System and method of controlling sound in a multi-media communication application |
FI20002828A (fi) * | 2000-12-22 | 2002-06-23 | Nokia Corp | Menetelmä ja järjestelmä tunnetilan ilmaisemiseksi puhelimella tapahtuvassa viestinnässä |
AUPR690701A0 (en) * | 2001-08-10 | 2001-08-30 | Redpoint Pty Ltd | A system and method for customising call alerts |
US7853863B2 (en) * | 2001-12-12 | 2010-12-14 | Sony Corporation | Method for expressing emotion in a text message |
US6585521B1 (en) * | 2001-12-21 | 2003-07-01 | Hewlett-Packard Development Company, L.P. | Video indexing based on viewers' behavior and emotion feedback |
US7271809B2 (en) * | 2002-02-19 | 2007-09-18 | Eastman Kodak Company | Method for using viewing time to determine affective information in an imaging system |
US7003139B2 (en) * | 2002-02-19 | 2006-02-21 | Eastman Kodak Company | Method for using facial expression to determine affective information in an imaging system |
US7327505B2 (en) * | 2002-02-19 | 2008-02-05 | Eastman Kodak Company | Method for providing affective information in an imaging system |
US20030179229A1 (en) | 2002-03-25 | 2003-09-25 | Julian Van Erlach | Biometrically-determined device interface and content |
US7236960B2 (en) | 2002-06-25 | 2007-06-26 | Eastman Kodak Company | Software and system for customizing a presentation of digital images |
US20040059712A1 (en) | 2002-09-24 | 2004-03-25 | Dean Jeffrey A. | Serving advertisements using information associated with e-mail |
US20040082839A1 (en) * | 2002-10-25 | 2004-04-29 | Gateway Inc. | System and method for mood contextual data output |
JP4072900B2 (ja) | 2002-12-20 | 2008-04-09 | ソニー エレクトロニクス インク | 端末装置 |
US7908554B1 (en) | 2003-03-03 | 2011-03-15 | Aol Inc. | Modifying avatar behavior based on user action or mood |
WO2004080993A1 (ja) | 2003-03-11 | 2004-09-23 | Toyo Shinyaku Co., Ltd. | プロアントシアニジン高含有物の製造方法 |
GB2400667B (en) | 2003-04-15 | 2006-05-31 | Hewlett Packard Development Co | Attention detection |
WO2004095815A1 (en) * | 2003-04-24 | 2004-11-04 | Koninklijke Philips Electronics N.V. | Multimedia communication device to capture and insert a multimedia sample |
EP1509042A1 (en) | 2003-08-19 | 2005-02-23 | Sony Ericsson Mobile Communications AB | System and method for a mobile phone for classifying a facial expression |
US7607097B2 (en) * | 2003-09-25 | 2009-10-20 | International Business Machines Corporation | Translating emotion to braille, emoticons and other special symbols |
US7484175B2 (en) * | 2003-09-30 | 2009-01-27 | International Business Machines Corporation | Method and apparatus for increasing personability of instant messaging with user images |
US7203684B2 (en) | 2003-10-07 | 2007-04-10 | Google, Inc | Serving content-targeted ADS in e-mail, such as e-mail newsletters |
JP2005115896A (ja) | 2003-10-10 | 2005-04-28 | Nec Corp | 通信装置及び通信方法 |
JP2005202854A (ja) * | 2004-01-19 | 2005-07-28 | Nec Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
US7697960B2 (en) | 2004-04-23 | 2010-04-13 | Samsung Electronics Co., Ltd. | Method for displaying status information on a mobile terminal |
KR100662335B1 (ko) * | 2004-06-18 | 2007-01-02 | 엘지전자 주식회사 | 이동단말기 사용자의 감정 전달 및 표출 방법과, 그를위한 통신 시스템 |
US7921369B2 (en) | 2004-12-30 | 2011-04-05 | Aol Inc. | Mood-based organization and display of instant messenger buddy lists |
KR100686076B1 (ko) | 2005-03-24 | 2007-02-26 | 엘지전자 주식회사 | 피사체의 감정 상태에 대응하는 메시지 출력 기능을 갖는무선 통신 단말기 및 이를 이용한 메시지 출력 방법 |
WO2007096706A2 (en) | 2005-09-12 | 2007-08-30 | Emotiv Systems Pty Ltd. | System and method for interaction with a subject based on detection of mental states |
JP2007156776A (ja) | 2005-12-05 | 2007-06-21 | Brother Ind Ltd | 文章作成装置、文章作成補助装置、文章作成プログラム、及び、文章作成補助プログラム |
US8161111B2 (en) * | 2006-03-27 | 2012-04-17 | Packet Video, Corp | System and method for identifying common media content |
US8055444B2 (en) * | 2006-04-04 | 2011-11-08 | Yahoo! Inc. | Content display and navigation interface |
US20070288898A1 (en) | 2006-06-09 | 2007-12-13 | Sony Ericsson Mobile Communications Ab | Methods, electronic devices, and computer program products for setting a feature of an electronic device based on at least one user characteristic |
CN101087332A (zh) | 2006-06-09 | 2007-12-12 | 北京安捷乐通信技术有限公司 | 一种手机短信发送***及其方法 |
US20080027984A1 (en) | 2006-07-31 | 2008-01-31 | Motorola, Inc. | Method and system for multi-dimensional action capture |
KR100898454B1 (ko) | 2006-09-27 | 2009-05-21 | 야후! 인크. | 통합 검색 서비스 시스템 및 방법 |
JP2008092163A (ja) | 2006-09-29 | 2008-04-17 | Brother Ind Ltd | 状況提示システム、サーバ及び、サーバプログラム |
KR100883352B1 (ko) * | 2006-11-21 | 2009-02-11 | 한국전자통신연구원 | 원격대화에서 감정 및 의사의 표현 방법과 이를 위한 리얼이모티콘 시스템 |
JP2008126954A (ja) | 2006-11-24 | 2008-06-05 | Tokai Rika Co Ltd | 意思伝達装置 |
KR101326651B1 (ko) | 2006-12-19 | 2013-11-08 | 엘지전자 주식회사 | 이모티콘을 이용한 화상통화장치 및 방법 |
GB0702150D0 (en) * | 2007-02-05 | 2007-03-14 | Amegoworld Ltd | A Communication Network and Devices |
GB0703974D0 (en) * | 2007-03-01 | 2007-04-11 | Sony Comp Entertainment Europe | Entertainment device |
US8065240B2 (en) * | 2007-10-31 | 2011-11-22 | The Invention Science Fund I | Computational user-health testing responsive to a user interaction with advertiser-configured content |
US20090024050A1 (en) * | 2007-03-30 | 2009-01-22 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Computational user-health testing |
US20090112621A1 (en) * | 2007-10-30 | 2009-04-30 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Computational user-health testing responsive to a user interaction with advertiser-configured content |
JP4367663B2 (ja) * | 2007-04-10 | 2009-11-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
US20090002178A1 (en) | 2007-06-29 | 2009-01-01 | Microsoft Corporation | Dynamic mood sensing |
US20090055484A1 (en) * | 2007-08-20 | 2009-02-26 | Thanh Vuong | System and method for representation of electronic mail users using avatars |
US8239774B2 (en) | 2007-08-28 | 2012-08-07 | International Business Machines Corporation | Utilizing mood sensors in an electronic messaging environment |
US8435115B2 (en) * | 2007-09-26 | 2013-05-07 | Igt | Method and apparatus for displaying gaming content |
US20090110246A1 (en) | 2007-10-30 | 2009-04-30 | Stefan Olsson | System and method for facial expression control of a user interface |
JP2009141516A (ja) | 2007-12-04 | 2009-06-25 | Olympus Imaging Corp | 画像表示装置,カメラ,画像表示方法,プログラム,画像表示システム |
JP4586063B2 (ja) | 2007-12-18 | 2010-11-24 | ソニー エレクトロニクス インク | 端末装置 |
WO2009125710A1 (ja) * | 2008-04-08 | 2009-10-15 | 株式会社エヌ・ティ・ティ・ドコモ | メディア処理サーバ装置およびメディア処理方法 |
US7953255B2 (en) * | 2008-05-01 | 2011-05-31 | At&T Intellectual Property I, L.P. | Avatars in social interactive television |
US8364693B2 (en) | 2008-06-13 | 2013-01-29 | News Distribution Network, Inc. | Searching, sorting, and displaying video clips and sound files by relevance |
US20100022279A1 (en) * | 2008-07-22 | 2010-01-28 | Sony Ericsson Mobile Communications Ab | Mood dependent alert signals in communication devices |
US9076125B2 (en) * | 2009-02-27 | 2015-07-07 | Microsoft Technology Licensing, Llc | Visualization of participant relationships and sentiment for electronic messaging |
US9386139B2 (en) | 2009-03-20 | 2016-07-05 | Nokia Technologies Oy | Method and apparatus for providing an emotion-based user interface |
WO2010116371A1 (en) | 2009-04-06 | 2010-10-14 | Tracx Systems Ltd. | Method and system for tracking online social interactions |
US8154615B2 (en) * | 2009-06-30 | 2012-04-10 | Eastman Kodak Company | Method and apparatus for image display control according to viewer factors and responses |
US20110040155A1 (en) | 2009-08-13 | 2011-02-17 | International Business Machines Corporation | Multiple sensory channel approach for translating human emotions in a computing environment |
US9558506B2 (en) | 2010-02-04 | 2017-01-31 | Yahoo! Inc. | System and method for exploring new sponsored search listings of uncertain quality |
US8913004B1 (en) | 2010-03-05 | 2014-12-16 | Amazon Technologies, Inc. | Action based device control |
US8694899B2 (en) * | 2010-06-01 | 2014-04-08 | Apple Inc. | Avatars reflecting user states |
US20120011477A1 (en) | 2010-07-12 | 2012-01-12 | Nokia Corporation | User interfaces |
US8620850B2 (en) * | 2010-09-07 | 2013-12-31 | Blackberry Limited | Dynamically manipulating an emoticon or avatar |
KR102184272B1 (ko) * | 2014-06-25 | 2020-11-30 | 엘지전자 주식회사 | 글래스 타입 단말기 및 이의 제어방법 |
-
2010
- 2010-07-01 US US12/829,122 patent/US10398366B2/en active Active
-
2011
- 2011-06-30 WO PCT/IB2011/052885 patent/WO2012001651A1/en active Application Filing
- 2011-06-30 CN CN201180032967.2A patent/CN102986200B/zh active Active
- 2011-06-30 EP EP11800289.8A patent/EP2567532B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1605974A (zh) * | 2003-10-06 | 2005-04-13 | 索尼株式会社 | 信息记录装置和信息记录方法 |
Also Published As
Publication number | Publication date |
---|---|
US10398366B2 (en) | 2019-09-03 |
WO2012001651A1 (en) | 2012-01-05 |
CN102986200A (zh) | 2013-03-20 |
EP2567532A4 (en) | 2013-10-02 |
EP2567532B1 (en) | 2019-12-18 |
EP2567532A1 (en) | 2013-03-13 |
US20120004511A1 (en) | 2012-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102986200B (zh) | 对用户的情绪状态改变进行响应 | |
US7783487B2 (en) | Information processing terminal and communication system | |
KR101800992B1 (ko) | 무드-기반 햅틱 피드백을 생성하기 위한 방법 및 장치 | |
US20200304963A1 (en) | Method and system for enhanced messaging using sensor input | |
JP3979351B2 (ja) | 通信装置及び通信方法 | |
US20110208014A1 (en) | Determination of extent of congruity between observation of authoring user and observation of receiving user | |
US20110223884A1 (en) | Method and system for enhanced messaging | |
US9171445B2 (en) | Activity level monitoring participant station network | |
US8055591B2 (en) | Acquisition and association of data indicative of an inferred mental state of an authoring user | |
US9101263B2 (en) | Acquisition and association of data indicative of an inferred mental state of an authoring user | |
KR20170057038A (ko) | 수면 단계 분석 장치 및 그 동작 방법 | |
CN109222927A (zh) | 一种基于健康状态的处理方法、智能穿戴设备及存储介质 | |
CN107307872A (zh) | 一种情绪调节方法、情绪分享方法及装置 | |
US20090290767A1 (en) | Determination of extent of congruity between observation of authoring user and observation of receiving user | |
CN108874130A (zh) | 播放控制方法及相关产品 | |
CN104364736A (zh) | 电子设备 | |
Sneha et al. | Smartphone based emotion recognition and classification | |
CN105809442A (zh) | 一种高安全性的支付***及方法 | |
US20210224828A1 (en) | Real-time dynamic monitoring of sentiment trends and mitigation of the same in a live setting | |
KR102416715B1 (ko) | 피크혈당 값을 이용한 혈당 예측 방법 및 음식 제안 시스템 | |
CN110446459A (zh) | 血压相关信息显示装置及方法 | |
JP2023065808A (ja) | 情報提供装置、情報提供方法及びコンピュータプログラム | |
CN220545148U (zh) | 婴儿监视*** | |
CN112932476A (zh) | 信息提示方法及相关设备 | |
KR20230027986A (ko) | 사용자의 건강 지수를 측정하기 위한 방법 및 이를 지원하는 전자 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20160118 Address after: Espoo, Finland Applicant after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Applicant before: Nokia Oyj |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |