CN102933136A - 利用网络服务的精神状态分析 - Google Patents

利用网络服务的精神状态分析 Download PDF

Info

Publication number
CN102933136A
CN102933136A CN201180025886XA CN201180025886A CN102933136A CN 102933136 A CN102933136 A CN 102933136A CN 201180025886X A CN201180025886X A CN 201180025886XA CN 201180025886 A CN201180025886 A CN 201180025886A CN 102933136 A CN102933136 A CN 102933136A
Authority
CN
China
Prior art keywords
data
mental status
individual
analysis
people
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201180025886XA
Other languages
English (en)
Inventor
理查德·斯科特·萨多夫斯基
R·El·卡里欧比
罗莎琳德·赖特·皮卡德
奥立佛·O·维尔德-史密斯
P·詹姆斯·德考特
郑志宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Affectiva Inc
Original Assignee
Affectiva Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Affectiva Inc filed Critical Affectiva Inc
Publication of CN102933136A publication Critical patent/CN102933136A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Hospice & Palliative Care (AREA)
  • Epidemiology (AREA)
  • Finance (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Social Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Human Resources & Organizations (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

利用网络服务提供精神状态分析，以便能够进行数据分析。为个人捕获数据，其中该数据包括面部信息和生理信息。在网络服务上进行分析并接收该分析。其他人的精神状态可以与该个人的精神状态相关联。可以汇总其他信息源，其中该信息可用于分析该个人的精神状态。渲染该个人或人群的精神状态分析以进行显示。

Description

利用网络服务的精神状态分析
相关申请
本专利申请要求于2010年6月7日提交的序列号为61/352,166的“通过基于网络的标引的精神状态分析”、2010年9月30日提交的序列号为61/388,002的“测量上网应用程序的情感数据”、2010年11月17日提交的序列号为61/414,451的“在社交网络上共享情感数据”、2011年2月6日提交的序列号为61/439,913的“在游戏环境中使用情感”、2011年2月27日提交的序列号为61/447,089的“视频情感响应的建议和视觉化”、2011年2月28日提交的序列号为61/447,464的“基于情感的视频排名”、以及2011年3月24日提交的序列号为61/467,209的“基线脸部分析”的美国临时专利申请的权益。前述申请的每一个通过引用全文结合在此，在法律允许的范围内。
技术领域
本申请总体上涉及精神状态分析，更具体地涉及利用网络服务来评估精神状态。
背景技术
精神状态的评估是理解个体的关键因素，而且对于医疗和商业目的而言也是有帮助的。精神状态涵盖从高兴到悲伤、从满意到焦急、和从激动到平静以及其他很多情感的广阔范围。在对日常事件作出反应时会体验到这些精神状态，这些事件例如是交通堵塞时的挫折感、站队时的厌倦感以及等候一杯咖啡时的急躁感。基于评估和理解其他人的精神状态，个人可能变得相当敏锐和感性，但精神状态的自动评估则更具有挑战性。感性的人可以察觉另一个人是焦虑的或欢喜的并相应地作出反应。一个人察觉另一个人的精神状态的能力和方式可能是十分难于总结的并且常常表示为具有“直觉”。
很多精神状态(例如困惑、专注以及担心)可以得到识别以帮助理解一个人或人群。例如在目击一场大灾难后，人们可能集体地反应为恐惧或焦虑。同样，例如当人们的运动队获得一场胜利时，他们可以集体地反应为高兴狂热。某些面部表情和头部姿势可用于识别一个人正在经历的精神状态。在基于面部表情的精神状态评估中只进行了有限的自动化处理。某些生理条件可以提供一个人心理状态的显著说明并已经以粗略的方式用在测谎仪或测谎测试中。
仍然存在自动地对精神状态进行增强评估的需求。
发明内容
精神状态分析可以通过评估个人所展现的面部表情、头部姿势和生理条件来进行。这种分析可以帮助理解消费者行为、更加贴近于用户需求地订做产品、以及改善网站和计算机程序的接口。在此披露了一种用于分析精神状态的计算机实施方法，该方法包括：将与一个人相关的数据捕获至一个计算机***中，其中该数据提供评估该个人的精神状态的信息；从一个网络服务接收分析，其中该分析基于在该个人上捕获的数据；并且基于该接收的分析来渲染一个输出，该输出描述该个人的精神状态。与该个人相关的数据包括一个群组中的一种，该群组包括面部表情、生理信息以及加速计读数。该面部表情进一步包括头部姿势。该生理信息包括一个群组中的一种，该群组包括皮肤电活动、心率、心率变异性以及呼吸。可以在不接触该个人的情况下采集该生理信息。该精神状态是认知状态和情感状态之一。该网络服务包括一个接口，该接口包括远离该个人的一个服务器和基于云的存储器。该方法可以进一步包括通过该网络服务标引与该个人相关的数据。该标引可以包括基于效价和唤醒信息的分类。该方法可以进一步包括接收与多个其他人相关的分析信息，其中该分析信息允许评估该多个其他人的集体精神状态。该分析信息可以包括将该多个其他人的精神状态关联至在该个人的精神状态上捕获的数据。该关联可以基于来自该个人的元数据和来自该多个其他人的元数据。从该网络服务接收的该分析可以基于特定的访问权限。该方法可以进一步包括向网络服务发送一条请求以进行该分析。
该分析可以基于一条分析请求而即时产生。该方法可以进一步包括向该网络服务发送在该个人上捕获的数据的一个子集。该渲染可以基于从该网络服务接收的数据。接收的数据可以包括JavaScript对象注解(JSON)形式的序列化对象。该方法可以进一步包括将该序列化对象去串行化为JavaScript对象的形式。该渲染进一步包括基于该个人的精神状态来推荐一个行动方案。该推荐包括一个群组中的一项，该群组包括修改对一个焦点群体进行查询的问题、改变网页上的广告、编辑观看的电影以去除有异议的部分、改变电子游戏的方向、改变医疗咨询介绍、以及编辑基于互联网的教程的令人混淆部分。在一些实施方案中，一种用于分析精神状态的实例化在计算机可读介质中的计算机程序产品可以包括：将与一个人有关的数据捕获至一个计算机***的代码，其中，该数据提供评估该个人的精神状态的信息；从一个网络服务接收分析的代码，其中该分析基于所捕获的与该个人有关的数据；并且基于接收的分析来渲染一个输出的代码，该输出描述该个人的精神状态。在实施方案中，一种用于分析精神状态的***可以包括：存储指令的一个存储器；附接至该存储器的一个或多个处理器，其中当执行存储的指令时，该一个或多个处理器被配置用于：捕获与一个人相关的数据，其中该数据提供评估该个人的精神状态的信息；从一个网络服务接收分析，其中该分析基于在该个人上所捕获的数据；并且基于接收的分析来渲染一个输出，该输出描述该个人的精神状态。
不同实施方案的不同特征、方面和优点将从以下进一步的描述中变得更为清晰。
附图说明
通过参考以下附图可以理解某些实施方案的下述详细描述，其中：
图1是一个用于分析精神状态的***的图示。
图2是在精神状态分析中获取并使用数据的流程图。
图3是皮肤电活动的图形渲染。
图4是加速计数据的图形渲染。
图5是皮肤温度数据的图形渲染。
图6展示了用于面部分析的图像采集***。
图7是进行面部分析的流程图。
图8是描述生理分析的图示。
图9是描述心率分析的图示。
图10是进行精神状态分析和渲染的流程图。
图11是描述人群的心理反应的分析的流程图。
图12是识别数据部分的流程图，该数据部分匹配所选择的感兴趣精神状态。
图13是一群人的精神状态分析与汇总结果的图形渲染。
图14是精神状态分析的图形渲染。
图15是基于元数据的精神状态分析的图形渲染。
具体实施方式
本披露提供了分析人们的精神状态的不同方法和***的描述。精神状态可以是认知状态或情绪状态，并且这些状态可以以术语情感来概括地涵盖。情绪状态的实例包括高兴或悲伤。认知状态的实例包括专注或困惑。观察、获取以及分析这些精神状态可以产生有关人们对各种刺激的反应的重要信息。在精神状态的评估中经常使用的一些术语是唤醒和效价。唤醒是表示对人的激活或刺激的量。效价表示是否一个人正面或负面地进行适应。情感的确定可以包括分析唤醒和效价。情感还可以包括表情的面部分析，例如微笑或愁眉苦脸。分析就像跟踪某人何时微笑或某人何时皱眉一样简单。除此以外，可以基于跟踪某人何时微笑或表现出其他情感来给出行动方案的建议。
本披露提供了与进行精神状态分析相关的不同方法和***的描述。精神状态可以是情绪状态或认知状态。情绪状态的实例可以是高兴或悲哀。认知状态的实例可以是专注或困惑。图1是一种用于分析精神状态的***100的图示。该***可以包括数据采集110、网络服务120、存储库管理器130、分析器152以及渲染机140。数据采集110可以通过从多个感测结构(例如，第一感测112、第二感测114直至第n感测116)采集数据来实现。该多个感测结构可以附接至一个人，十分靠近该个人，或可以观察该个人。这些感测结构可以被适配用于进行面部分析。感测结构可以被适配用于进行生理分析，生理分析可以包括皮肤电活动或皮肤电传导、加速计、皮肤温度、心率、心率变异性、呼吸以及其他类型的人类分析。基于所需分析的处理要求，从这些感测结构采集的数据可以进行实时分析或可以采集用于未来分析。分析还可以“即时化”进行。即时化分析可以根据要求来进行，在这种情况下，例如当在网页上点击一个按钮时，就提供结果。还可以在采集数据时就进行分析，因此在采集数据的同时利用相关分析实时地或相对于采集过程延迟很小或毫无延迟地提供时间线。以此方式，仍在采集个人上的数据的同时就可以提供分析结果。
网络服务120可以包括一个接口，该接口包括远离个人的一个服务器和基于云的存储器。网络服务可以包括为大量精神状态分析工具提供访问权的网站、ftp站点、或服务器。当网络服务120路由至***100的其他部分时，它还可以是采集数据的通道。网络服务120可以是服务器或可以是计算机的分布式网络。网络服务120可以为用户提供登录并请求信息和分析的方式。根据各种其他信息源或基于与感兴趣的个人的精神状态相关的人群，信息请求可以采用分析个人的精神状态的方式。在一些实施方案中，网络服务120可以将采集的数据转发至一个或多个处理器以作进一步分析。
网络服务120可以将收集的数据转发至存储库管理器130。存储库管理器可以提供数据标引132、数据存储134、数据检索136以及数据查询138。通过数据采集110采集(例如通过第一感测112)的数据可以经由网络服务120转发至存储库管理器130。接着，存储库管理器可以存储采集的数据。该数据可以通过网络服务与已经在个体上(在该个体上已经进行了数据采集110)采集到的其他数据一起进行标引，或者可以与其他个体(他们的数据已经存储在存储库管理器130中)一起进行标引。标引可以包括基于效价和唤醒信息的分类。标引可以包括基于时间戳或其他元数据的排序。标引可以包括基于一般的精神状态或基于个体的常见经历来关联数据。常见经历可以是浏览或交互网站、电影、电影预告片、广告、电视节目、流视频剪辑、远程学习节目、视频游戏、计算机游戏、个人游戏机、手机、汽车或其他车辆、产品、网页、进食等。可以评估精神状态的其他经历包括逛商店、逛商场，或在商店中遇到一次展览。
可以进行多种方式的标引。例如面部表情或生理信息这样的数据是可以检索的。一类标引可以是紧束缚标引，在这种标引中存在明确的关系，这对将来的分析是有帮助的。一个实例是以小时、分钟、秒并且可能以某些极小的时间片段来记录的数据时间戳。其他实例包括与数据相关联的工程、客户端或个人。另一类标引可以是松耦合的，在这种类型中某些可能的有用关联最初可能不是很明显。这类标引的一些实例可以包括工作经历、性别、收入或其他元数据。另一个实例可以包括捕获数据的位置，例如在个人的家里、工作场所、学校或其他场所。又一个实例可以包括与个人的动作或行为相关的信息。这种类型信息的实例包括一个人是否在网站上进行了结账操作、他们是否填写了某些表单、他们进行了哪些查询或搜索等。获取数据的时刻可能对某些类型的标引而言证明是有帮助的，该时刻可能是个人日常工作时的换班时间。可能被标引的任何种类的信息可以作为元数据进行采集。在进行某种分析的同时，标引可以采用特别的方式构成并暂时保留。可替代地，可以形成标引并与数据一起存储，以用于将来参考。另外，元数据可以包括个人(数据在该个人上采集)的自评定信息。
数据可以通过访问网络服务120并请求为个人采集的数据进行检索。数据还可以针对很多个人、针对给定时间段、或针对给定经历来检索。可以查询数据以便为特定经历、为给定的心理反应或精神状态、或为个人或人群找到匹配项。关联可以通过查询和各种检索来找到，这些查询和检索在商业或医疗环境中可以证明是有帮助的。查询可以基于关键词搜索、基于时间帧、或基于经历来进行。
在一些实施方案中，利用渲染机140提供显示。渲染机140可以是计算机***(它是***100的另一个组件的一部分)的一部分，可以是网络服务120的一部分，或可以是客户端计算机***的一部分。渲染可以包括在数据采集110上采集的信息的图形显示。渲染可以包括视频、皮肤电活动、加速计读数、皮肤温度、心率和心率变异性的显示。渲染还可以包括精神状态的显示。在一些实施方案中，渲染可以包括某些精神状态的概率。个人的精神状态可以根据采集的数据进行推断并且可以基于活动单元的面部分析以及面部表情和头部姿势。例如，专注可以通过紧缩眉头来识别。心率增加可以表示激动。降低的皮肤电传导可以对应于唤醒。这些以及其他因素可用于识别以图形显示渲染的精神状态。
***100可以包括调度器150。调度器150可以获得来自数据采集110的数据。调度器150可以与分析器152交互。调度器150可以通过分析器152确定分析的时间表，其中分析器152受到计算机处理性能的限制，数据不能进行实时分析。在一些实施方案中，***100的数据采集110、网络服务120、存储库管理器130或其他组件的一些方面可能需要分析器152可使用的计算机处理性能。分析器152可以是一个单一处理器或可以是多个处理器或可以是组网的处理器群组。分析器152可以包括各种其他计算机组件(例如存储器或类似装置)以帮助执行***100的所需计算。分析器152可以通过网络服务120与***100的其他组件进行通信。在一些实施方案中，分析器152可以与***的其他组件直接进行通信。分析器152可以提供数据(该数据采集自个人)的分析结果，其中该分析结果与个人的精神状态相关。在一些实施方案中，分析器152即时地提供结果。调度器150可以通过分析器152请求即时化分析。
其他个人160的信息可以提供给***100。其他个人160可以具有与数据采集110在其上执行的个人相同的经历。处理过程可以包括分析来自多个其他个人160的信息，其中该信息允许评估该多个其他个人160中每一个的精神状态并将该多个其他个人160中每一个的精神状态与在个人的精神状态上捕获并标引的数据相关联。元数据可以在其他个人160的每一个上或在其他个人160上采集的数据上进行采集。可替代地，其他个人160的精神状态可以与个人(数据在该个人上采集)的精神状态相关联。分析器152可以基于一组其他个人160进一步提供第二分析，其中其他个人160的精神状态与该个人的精神状态相关联。在其他实施方案中，一组其他个人160可以与该个人(数据采集在该个人上执行)一起进行分析以推断一种精神状态，该精神状态是整个群组的反应并且可以称为集体精神状态。这种反应可用于评估广告的价值，政治候选人的喜欢程度、电影如何受人欢迎等。分析可以在其他个人160上执行，这样可以概括整个群组的集体精神状态。渲染可以包括显示来自该多个个人的集体精神状态。
在一个实施方案中，一百多人可以观看若干电影预告片，面部和生理数据从每一个人身上获取。可以分析面部和生理数据以便推断每个人的精神状态和作为一个整体的人群的集体反应。具有最强唤醒和正效价的电影预告片可以被认为刺激了该电影预告片的观众，观众受到了积极的鼓动，从而当电影发布时就地去观看它。那么可以基于集体反应，选择最好的电影预告片以用于宣传未来的电影。在一些实施方案中，个人的人口统计资料可用于确定哪个电影预告片最适于不同的观众。例如，可以推荐青少年是主要观众的一部电影预告片。当青少年的父母是主要观众时，可以推荐另一个电影预告片。在一些实施方案中，当人们利用媒体进行交互时，网络摄像头或其他摄像机可用于分析他们的性别和年龄。另外，可以采集IP地址，以指明采集分析内容时所在的地理位置。这种信息和其他信息可以作为元数据而包含并且用作分析的一部分。例如，在城市环境中周五夜晚的午夜之后仍在网上的青少年可以被认为是要分析的群组。
在另一实施方案中，在十二个人正与给定零售商的网站交互时，他们可以选择使网络摄像机观察面部表情并收集生理反应。这十二个人中每一个的精神状态可以基于他们的唤醒和效价来推断，而唤醒和效价从面部表情和生理反应分析而得。零售商可以理解的是，某些网页设计使得浏览者更喜欢特定商品，甚至更快地做出购买决定。可替代地，造成疑惑的网页可能由让浏览者产生信任的网站所取代。
聚合机170可以是***100的一部分。其他数据源172可以用作***100的输入并可以用于帮助个人(在该个人上进行数据采集110)的精神状态评估。其他数据源172可以包括新闻订阅、脸谱(FacebookTM)网页、推特(TwitterTM)、网络相册(FlickrTM)和其他社交网络和媒体。聚合机170可以分析这些其他数据源172以帮助评估个人(在该个人上进行数据采集)的精神状态。
在一个示例实施方案中，公司的雇员可以选择自我评估程序，在这种情况中，在执行工作职责的同时监控他或她的脸部和皮肤电活动。雇员还可以选择一种工具，在这种情况中聚合机170读取博客帖子以及工作、公司、心情或健康的社交网络帖子。久而久之，该雇员能够在工作日那天感受的感觉中回顾社交网络存在。雇员还可以查看他或她的心情和态度可以如何影响所张贴的内容。一个实施方案可能是几乎无破坏的，例如只是计算社交网络帖子的数量，或者是有破坏的，例如通过分析引擎来抽出社交网络内容，该分析引擎从文本内容上推断精神状态。
在另一个实施方案中，公司可能想要理解华尔街日报(Wall Street JournalTM)和其他出版物中与该公司有关的新闻报道如何影响雇员士气和工作满意度。可以对聚合机170进行编程以搜索提及该公司的新闻报道并将它们链接回参与这种尝试的雇员。做额外分析的人可以浏览与该公司相关的新闻报道以便向每个参与者的精神状态提供额外的环境。
在又一个实施方案中，面部分析工具可以处理面部动作单元和姿势以推断精神状态。当存储图像时，可以附上元数据，例如其面部出现在视频(视频是面部分析的一部分)中的人的姓名。这种视频和元数据可以通过面部识别引擎进行传递并告知此人的面部。当面部对于面部识别引擎而言是可识别的，聚合机170可以在互联网上广播，或仅向特定的网站传播，例如网络相册和脸谱网页，以便发现具有相同面部的链接。通过面部识别定位的人的其他图片可以再次提交给面部分析工具进行分析，以便提供该对象的精神状态的更深入理解。
图2是在精神状态分析过程中获取并使用数据的流程图。流程200描绘了一种用于分析精神状态的计算机实现方法。流程可以开始于将个人上的数据捕获至一个计算机***210，其中该数据提供评估个人的精神状态的信息。所获取的数据可以与个人的经历相关联。经历可以是以下群组中的一项，该群组包括交互于网站、电影、电影预告片、产品、计算机游戏、视频游戏、个人游戏机、移动电话、移动装置、广告或进食。交互可以指简单地浏览或可以有意浏览并做出响应。与个人相关的数据可以进一步包括手势和肢体语言方面的信息。与个人相关的数据可以包括面部表情、生理信息以及加速计读数。面部表情可以进一步包括头部姿势。生理信息可以包括皮肤电活动、皮肤温度、心率、心率变异性以及呼吸。生理信息可以在不接触个人的情况下获取，例如通过分析面部视频。该信息可以实时地、即时地、或在计划分析的基础上获取和分析。
流程200继续向网络服务发送捕获的数据212。发送的数据可以包括图像、生理以及加速计信息。可以发送数据用于进一步的精神状态分析或用于与其他人的数据进行关联，或用于其他分析。在一些实施方案中，发送至网络服务的数据是在个人上捕获的数据的子集。网络服务可以是网站、ftp站点或服务器，它们将访问权提供给与精神状态相关的大量分析工具。网络服务可以是数据的通道，这些数据在其他人上收集或来自其他信息源。在一些实施方案中，处理过程可以包括标引在网络服务上获取的数据。流程200可以继续向网络服务发送分析请求214。分析可以包括将捕获的数据与其他人的数据相关联、分析捕获的精神状态数据等。在一些实施方案中，基于分析请求，即时地产生分析。
流程200继续从网络服务接收分析216，其中这种分析基于在个人上获取的数据。接收的分析可以对应于所请求的分析，可以基于所捕获的数据，或可以基于精神状态分析或最新获取数据的一些其他逻辑分析。
在一些实施方案中，捕获的数据包括个人的图像。图像可以是图像序列并且可以由视频摄像机、网络摄像机固定镜头、热成像仪、CCD装置、电话摄像机、或其他摄像机类型装置来捕获。流程200可以包括安排图像内容的分析220。分析可以实时地、即时地、或按计划地执行，以备后续分析。所捕获的数据中的一些可以要求除有可能实时分析之外的进一步分析。其他类型的数据还可以要求进一步分析并且可以包括安排所捕获和标引的数据的一部分的分析，并对安排的数据的那部分进行分析。流程200可以继续图像内容的分析222。在一些实施方案中，视频的分析可以包括与面部表情和头部姿势相关的数据。面部表情和头部姿势可以记录在视频中。可以针对动作单元、姿势以及精神状态来分析视频。在一些实施方案中，视频分析可用于评估皮肤孔隙大小，皮肤孔隙大小可以与皮肤电传导或其他生理评估相关联。在一些实施方案中，视频分析可用于评估瞳孔放大。
流程200可以包括其他人的分析230。可以分析来自多个其他个人的信息，其中这些信息允许评估该多个其他个人中每一个的精神状态并将该多个其他个人中每一个的精神状态关联至个人的精神状态上所获取和标引的数据。还可以允许评估该多个其他个人的集体精神状态。在评估精神状态时，可以基于人口统计资料、基于地理位置、或基于感兴趣的其他因素对其他个人进行分组。分析可以包括在个人上捕获的每种类型的数据210。可替代地，与其他人相关的分析可以包括其他数据230，例如社交媒体网络信息。其他人及其相关数据可以关联至在其上捕获数据的个人232。关联可以基于共同的经历、共同的精神状态、共同的人口统计资料或其他因素。在一些实施方案中，关联基于来自个人的元数据和来自该多个其他人的元数据234。元数据可以包括时间戳、自评定结果以及其他信息。自评定结果可以包括指示是否某些人喜欢他们遇到的经历，例如像浏览过的视频。流程200可以继续从网络服务接收与多个其他人相关的分析信息236，其中这些信息允许评估该多个其他人中每一个的精神状态并将该多个其他人中每一个的精神状态关联至在该个人的精神状态上捕获的数据。从网络服务接收的分析可以是基于特定访问权限的。网络服务可以具有与很多人群相关的数据。在一些情况中，例如可以仅在一个或多个人群上授权精神状态分析。
在进行精神状态分析过程中，流程200可以包括汇总其他信息源240。信息源可以包括新闻订阅、脸谱网条目、网络相册、推特消息、以及其他社交网络站点。汇总可以包括从个人访问的或个人为其创建内容的各个站点收集信息。其他信息源可以关联至个人，以帮助确定个人的精神状态和其他信息源之间的关系。
流程200继续个人的精神状态的分析250。捕获的数据、分析的图像内容、与其他人的关联以及汇总的其他信息源各自可用于推断该个人的一种或多种精神状态。进一步地，精神状态分析可以针对一群人来执行，包括该个人和来自其他人的一个或多个人。处理过程可以包括基于在该个人上捕获的数据来自动推断精神状态。精神状态可以是认知状态。精神状态可以是情绪状态。精神状态可以是认知和情绪状态的组合。可以推断一种精神状态或同该个人处于该种精神状态的概率一起来估计这种精神状态。可评估的精神状态可以包括快乐、悲伤、满意、担心、专注、焦急、困惑、高兴以及自信。在一些实施方案中，表示精神状态可以像跟踪并分析微笑一样简单。
精神状态分析可以基于生理数据、加速计读数、或基于所获取的面部图像来推断。精神状态可以基于唤醒或效价来分析。唤醒的范围可以从高度活泼(例如当某人被鼓动时候)到完全消极(例如当某人无聊时)效价的变化范围可以从十分积极(例如当某人高兴时)到十分消极(例如当某人生气时)。生理数据可以包括皮肤电活动(EDA)或皮肤电传导或皮肤电反应(GSR)、加速计读数、皮肤温度、心率、心率变异性以及其他类型的人类分析。将会理解的是，本文档的此处以及其他位置中，生理信息可以由传感器或由面部观察来获得。在一些实施方案中，面部观察利用网络摄像头来获得。在一些实例中，升高的心率表示兴奋状态。增加的皮肤电传导等级可以对应于被唤醒。小的、频繁的加速计移动读数可以表示烦躁和厌倦。加速计读数还可以用于推断例如像在电脑前工作、骑自行车、或弹吉他这样的内容。面部数据可以包括用于推断精神状态的面部动作和头部姿势。另外，数据可以包括与手势或肢体语言以及身体移动(例如明显的坐立不安)相关的信息。在一些实施方案中，这些移动可以由摄像机或由传感器读数来获得。面部数据可以包括使头部倾斜到侧方、前倾、微笑、皱眉以及很多其他姿势或表情。头部向前倾斜可以表示关注电子显示屏上显示的内容。紧缩眉头可以表示集中精力。微笑可以表示肯定的应答或高兴。大笑可以表示喜悦并且表示已经发现一个有趣的主题。头部向侧方倾斜和眉头紧缩可以表示困惑。头部消极地摇动可以表示不愉快。这些以及很多其他精神状态可以基于捕获的面部表情和生理数据来表示。在实施方案中，生理数据、加速计读数以及面部数据各自可以用作推断各种精神状态的算法中的影响因素。另外，复杂度更高的精神状态可以从生理数据、面部表情和加速计读数中的多项来推断。进一步地，精神状态可以基于在一段时间上采集的生理数据、面部表情和加速计读数来推断。
流程200继续基于接收到的分析来渲染描述个人精神状态的输出260。输出可以是表示一个或多个精神状态的文本或数值输出。输出可以是一次经历的曲线图(具有时间轴)和在这次经历过程中出现的精神状态。渲染的输出可以是采集的生理、面部或加速计数据的图形表示。类似地，可以对结果进行渲染，结果表示一种精神状态以及个人处于这种精神状态中的概率。处理过程可以包括注解所捕获的数据并对注解进行渲染。渲染可以在计算机屏幕上显示数据。渲染可以包括显示唤醒和效价。渲染可以采用文件或文件中数据的形式在计算机可读存储器上存储数据。渲染可以基于从网络服务接收的数据。可以接收各种类型的数据，包括JavaScript对象注解(JSON)形式的或XML或CSV类型文件形式的序列化对象。流程200可以包括将串行化的对象去串行化为JavaScript对象的形式262。然后，JavaScript对象可用于输出精神状态的文本或图形表示。
在一些实施方案中，流程200可以包括基于个人的精神状态来推荐一个行动方案270。推荐可以包括修改对焦点群体进行查询的问题、改变网页上的广告、编辑观看的电影以去除有异议的部分、改变电子游戏的方向、改变医疗咨询介绍、编辑基于互联网的教程的令人混淆部分等。
图3是皮肤电活动的图形渲染。皮肤电活动可以包括皮肤电传导，在一些实施方案中，皮肤电传导以micro-Siemens(百万分之一欧姆)为单位进行测量。曲线310展示了为个人采集的皮肤电活动。皮肤电活动的值显示在曲线图的y轴320上。皮肤电活动是在一段时间上采集的并且时标330显示在曲线图的x轴上。在一些实施方案中，多个人的皮肤电活动可以在需要时呈现或在汇总的基础上进行显示。可以包括标记，以标识曲线图的一部分。标记可用于描绘被放大或可放大的曲线图的一部分。放大可以涵盖一个短时段，在该短时段上可以专注于进一步的分析或检查。该放大部分可以在另一个曲线图上渲染。还可以包括标记，以标识对应于特定精神状态的部分。可以对每个波形或时间轴进行注解。起始注解和结束注解可以标记一个区域或时间段的开始和结束。单一注解可以标记特定的时间点。每个注解可以具有相关的文本，文本可以自动地输入或由用户输入。可以显示包括文本的文本框。
图4是加速计数据的图形渲染。可以采集一个、两个或三个维度的加速计数据。在图4的实例中，x轴加速计读数的曲线图在第一曲线图410中示出，y轴加速计读数的曲线图在第二曲线图420中示出，并且z轴加速计读数的曲线图在第三曲线图430中示出。相应加速计读数的时间标记在曲线图轴线440上示出。x加速值示出在另一个轴线450上，y加速值示在轴线452上，并且z加速值示出在轴线454上。在一些实施方案中，多个人的皮肤电活动可以在需要时呈现或在汇总的基础上进行显示。可以包括和使用类似于图3中所讨论的那些标记和注解。
图5是皮肤温度数据的图形渲染。曲线510展示了为个人采集的皮肤电活动。皮肤温度的值示出在曲线图的y轴520上。皮肤温度值在一段时间上收集并且时间标记530显示在曲线图的x轴上。在一些实施方案中，多个人的皮肤温度值可以在需要时呈现或在汇总的基础上进行显示。可以包括和使用类似于图3中所讨论的那些标记和注解。
图6展示了用于面部分析的图像采集***。***600包括电子显示器620和网络摄像头630。***600将面部反应捕获至电子显示器620。在一些实施方案中，***600捕获对其他刺激物的面部反应，例如商店展览、汽车、棋盘游戏、电影屏幕货其他类型的经历。面部数据可以包括与精神状态有关的视频和信息集。在一些实施方案中，网络摄像头630可以捕获个人610的视频。可以将视频捕获530至磁盘、磁带上，捕获至计算机***上，或流至服务器。个人610的图像或图像序列可以由摄像机、网络摄像机固定镜头、热成像仪、CCD装置、电话摄像机、或其他摄像机类型装置来捕获。
电子显示器620可以显示视频或其他表示形式。电子显示器620可以包括计算机显示器、膝上计算机屏幕、移动装置显示器、移动电话显示器、或某种其他电子显示器。电子显示器620可以包括键盘、鼠标、操纵杆、触摸板、触摸屏、识别笔、运动传感器、以及其他输入设备。电子显示器620可以显示网页、网站、能上网的应用程序等。个人610的图像可以由视频捕获单元640来捕获。在一些实施方案中，可以捕获个人610的视频，而在其他实施方案中，捕获一系列静止图像。在实施方案中，网络摄像头用于捕获面部数据。
动作单元、姿势、以及精神状态的分析可以利用所捕获的个人610的图像来完成。动作单元可用于识别微笑、皱眉和精神状态的其他面部指示。在一些实施方案中，直接识别微笑，并且在一些情况中可以识别微笑程度(例如，小、中和大)。姿势(包括头部姿势)可以表示兴趣或好奇。例如，朝向电子显示器620移动的头部姿势可以表示兴趣增加或希望弄清楚。面部分析650可以基于信息和捕获的图像来执行。分析可以包括面部分析和头部姿势的分析。基于捕获的图像，可以进行生理技能的分析。生理技能的评估可以包括通过分析个人的面部或身体的图像来评估心率、心率变异性、呼吸、汗液、温度、皮肤孔隙大小、以及其他生理特征。在很多情况中，评估可以利用网络摄像头完成。另外，在一些实施方案中，生理传感器可以附接至个人以获得与精神状态相关的进一步数据。
分析可以实时地或即时地执行。在一些实施方案中，分析是安排好的，然后通过分析器或计算机处理器(已经过编程)来运行以执行面部分析。在一些实施方案中，计算机处理器可以得到人为干预的帮助。人为干预可以识别计算机处理器不能识别的精神状态。在一些实施方案中，处理器识别人为干预有帮助的地点，而在其他实施方案中，人类观察面部视频并提供输入，甚至是在处理器无法识别干预是有帮助的时候。在一些实施方案中，处理器可以基于人为干预来执行机器学习。基于人为输入，处理器可以学习到某些面部动作单元或姿势对应于特定的精神状态，然后将来能够自动地识别这些精神状态，无需人为干预。
图7是执行面部分析的流程图。流程700可以开始于导入面部视频710。面部视频可以事先记录并存储，以备以后分析。可替代地，导入面部视频可以在观察到一个人时实时地发生。可以检测并分析动作单元720。动作单元可以包括扬起内侧眉毛、绷紧嘴唇、降低眉毛、张开鼻孔、眼睛斜视以及很多其他可能动作。这些动作单元可以由分析视频的计算机***自动地检测。可替代地，在动作单元的正式列表中常规上并未编号的小范围的面部移动也可以认为是用于输入给分析过程的动作单元，例如微笑的抽动或双眼上方的眉毛向上移动。可替代地，可以提供计算机***进行的自动检测和人工输入的组合形式来提高动作单元的检测和相关的输入测度。也可以检测和分析面部和头部姿势730。姿势可以包括头部向侧方倾斜、前倾、微笑、皱眉以及很多其他姿势。可以执行精神状态的分析740。精神状态可以包括快乐、悲伤、专注、困惑、以及很多其他情况。基于动作单元和和面部或头部姿势，可以分析、推断并识别精神状态。
图8是描述生理分析的图示。***800可以对为其采集数据的个人810进行分析。个人810可以具有附接至他或她的传感器812。传感器812可以置于手腕、手掌、手部、头部、胸骨或身体的其他部分。在一些实施方案中，多个传感器置于一个人身上，例如置于两个手腕上。传感器812可以包括用于皮肤电活动、皮肤温度以及加速计读数的检测器。还可以包括其他传感器，例如心率、血压以及其他生理检测器。传感器812可以利用无线技术(例如Wi-Fi、蓝牙、802.11、移动电话或其他频带)向接收器820传送收集的信息。在一些实施方案中，传感器812可以存储信息并通过无线技术引发数据下载。在其他实施方案中，传感器812可以存储信息以用于未来有线下载。接收器可以向***800中的一个或多个组件提供数据。还可以采集皮肤电活动(EDA)830。可以是每秒、每秒4次、每秒8次、每秒32次或以一些其他周期或基于某些事件来连续地采集皮肤电活动。可以记录皮肤电活动832。记录操作可以是记录至磁盘、磁带，记录到闪存盘上，记录到计算机***中，或流入服务器上。可以分析皮肤电活动834。皮肤电活动可以基于皮肤电传导中的变化表示唤醒、激动、厌倦或其他精神状态。
可以每秒、每秒4次、每秒8次、每秒32次或以一些其他周期来连续地采集皮肤温度840。可以记录皮肤温度842。记录操作可以是记录至磁盘、磁带，记录到闪存盘上，记录到计算机***中，或流入服务器上。可以分析皮肤温度844。基于皮肤温度上的变化，皮肤温度可用于表示唤醒、激动、厌倦或其他精神状态。
可以采集加速计数据850。加速计可以表示一维、二维或三维移动。可以记录加速计数据852。记录操作可以是记录至磁盘、磁带，记录到闪存盘上，记录到计算机***中，或流入服务器上。可以分析加速计数据854。加速计数据可用于表示睡眠模式、剧烈活动状态、昏睡状态或基于加速计数据的其他状态。
图9是描述心率分析的图示。可以观察个人910。可以通过心率传感器来观察个人920。观察可以通过接触传感器、通过视频分析(能够捕获心率信息)、或其他无线传感技术来进行。可以记录心率930。记录操作可以是记录至磁盘、磁带，记录到闪存盘上，记录到计算机***中，或流入服务器上。可以分析心率和心率变异性940。提高的心率可以表示兴奋、紧张或其他精神状态。降低的心率可用于表示平静、厌倦或其他精神状态。作为变量的心率可以表示身体健康和缺少压力。缺乏心率变异性可以表示压力增加。
图10是进行精神状态分析和渲染的流程图。流程1000可以开始于不同类型的数据采集和分析。可以执行面部分析1010，从而识别动作单元、面部和头部姿势、微笑和精神状态。可以执行生理分析1012。生理分析可以包括皮肤电活动、皮肤温度、加速计数据、心率和与人体相关的其他测量。生理数据可以通过接触传感器、通过视频分析(如心率信息的情况一样)或其他设备来采集。在一些实施方案中，可以执行唤醒和效价评估1020。唤醒等级可以从平静到兴奋。效价可以是正面或负面倾向。效价和唤醒的组合可用于表征精神状态1030。精神状态可以包括困惑、专注、快乐、满足、自信以及其他状态。
在一些实施方案中，精神状态的表征可以完全由计算机***来评估1030。
在其他实施方案中，在推断精神状态时可以提供人为协助1032。该过程可以包括利用人类来评估以下群组中的一项的一部分，该群组包括面部表情、头部姿势、手部姿势和肢体语言。人仅仅可用于评估一小部分、甚至一个单一的表情或姿势。因此，人可以评估面部表情、头部姿势或手势中的一小部分。同样，人可以评估观察到的人的肢体语言的一部分。在实施方案中，该过程可以包括在针对所捕获的数据的一部分对精神状态进行评估时提醒人进行输入。人可以观察面部分析或生理分析原始数据(包括视频)或可以观察原始数据或分析结果的多个部分。人可以进行干预并提供输入以帮助推断精神状态，或可以为用于表征精神状态的计算机***来识别精神状态1030。计算机***可以突出显示需要人为干预的数据的多个部分，并且可以跳至一个时间点，在该时间点上将需要干预的数据提供给人。可以向人提供反馈，该反馈在表征过程中提供帮助。多个人可以在表征精神状态的过程中提供帮助。基于精神状态的自动表征以及多个人进行的评估，反馈可以提供给一个人以提高该人的表征精度。可以补偿单独的人以便在表征过程中提供帮助。基于自动表征或基于帮助表征的其他人，表征过程的改进精度可以产生增强的补偿。
流程100可以包括计算机***的学习。精神状态评估的机器学习1034可以由精神状态的表征中使用的计算机***来执行1030。机器学习可以基于在针对一部分数据评估精神状态时的人类输入。
可以渲染精神状态和相关概率的表示1040。精神状态可以呈现在计算机显示器、电子显示器、移动电话显示器、个人数字助理显示屏或其他显示器上。可以图形化地显示精神状态。一系列精神状态可以呈现为每个状态在给定时间点上出现的可能性。同样，每种精神状态的一系列概率可以呈现在分析面部和生理数据的时间轴上。在一些实施方案中，可以基于检测到的精神状态来建议动作1042。动作可以包括在小组座谈会议上推荐问题。动作可以是改变网页上的广告。动作可以是编辑所观赏的电影以便移除有异议的节段或无聊的部分。动作可以是在商店中正在移动显示器。动作可以是编辑网上或视频中教程的令人混淆部分。
图11是描述群组的精神反应分析的流程图。流程1100可以开始于聚集人群1110。人群可以具有共同的经历，例如观赏电影、观看电视节目、观看电影预告片、浏览流媒体、观看广告、听歌曲、观看或听讲座、使用计算机程序、使用产品、进食、使用视频或计算机游戏、远程教育、乘坐或驾驶运输车辆(例如汽车)、或其他经历。可以对人群的每个成员执行数据采集1120(1110)。可以在人群1110的每个成员上进行多次感测，包括例如第一感测1122、第二感测1124等等一直到第n感测1126。执行数据采集1120所用的不同感测可以包括捕获面部表情、皮肤电活动、皮肤温度、加速计读数、心率以及其他生理信息。可以分析所捕获的数据1130。这种分析可以包括表征唤醒和效价以及表征人群1110中每个人的精神状态。可以推断人群的心理反应1140，以提供集体精神状态。可以对精神状态进行汇总以评估人群1110中所有人的共同经历。可以对结果进行渲染1150。结果可以是时间的函数或人们所经历的一系列事件的函数。结果可以包括效价和唤醒的图形显示。结果可以包括个人和全体人群的精神状态的图形显示。
图12是识别数据部分的流程图，该数据部分匹配所选择的感兴趣精神状态。流程1200可以开始于导入通过感测而采集的数据以及迄今为止所进行的任意分析1210。数据的导入可以是下载先前所捕获的已存储数据或可以是下载实时捕获的数据。数据还可以已经存在于进行分析的***内部。感测可以包括获取面部表情、皮肤电活动、皮肤温度、加速计读数、心率采集、以及其他生理信息。可以对通过感测而采集的各种数据进行分析，以表征精神状态。
可以选择引起用户兴趣的精神状态1220。感兴趣的精神状态可以是困惑、专注、自信、高兴以及很多其他精神状态。在一些实施方案中，可以对采集的数据预先进行分析。分析可以包括数据的标引和对推断或检测的精神状态进行分类。当已经预先进行了分析并且已经对感兴趣的精神状态进行了分类，可以通过分析进行搜索1225，以找到匹配于所选状态的一个或多个类别。例如，可以将困惑选为感兴趣的精神状态。所采集的数据已经预先针对于不同精神状态(包括困惑)经过了分析。当标引所采集的数据时，在数据采集过程中可以在不同时间点上标记困惑的类别。接着，当任意困惑点已经预先进行了分类时就针对它们搜索分析内容。
在一些实施方案中，响应的特征可以是对应于感兴趣的精神状态1230。响应可以是正效价的和激昂的，例如选择自信作感兴趣的精神状态。响应可以降低至效价和唤醒或可以进一步降低以寻找动作单元或面部表情和头部姿势。
可以搜索采集的数据以响应于对应的所选状态1240。可以搜索感测的数据或者可以搜索源自所选数据的分析。搜索可以查找动作单元、面部表情、头部姿势或匹配所选状态的精神状态(用户感兴趣于该精神状态)1220。
可以跳转至数据中具有感兴趣的精神状态的部分1250。例如，当选择困惑时，数据或源自数据的分析可以对应于出现困惑的时间点而展示出来。这种“跳转特征”可以认为是在数据中快进至感兴趣的部分，在这部分中检测困惑或另一个所选精神状态。当考虑面部视频时，可以展示视频中匹配所选状态的关键部分。在一些实施方案中，可以注释数据中具有感兴趣的精神状态的部分1252。注释可以沿着时间轴设置，时间轴标记了具有所选状态的数据和时刻。在实施方案中，可以呈现在具有所选状态的时刻上感测的数据1254。数据可以包括面部视频。数据还可以包括皮肤电活动、皮肤温度、加速计读数、心率、以及其他生理读数的图形表示。
图13是来自人群的精神状态分析的汇总结果的图形渲染。这种渲染可以呈现在网页、能上网的应用程序、或其他类型的电子显示表示形式上。曲线图1310可以为在其上采集情感数据的个人而显示。精神分析可以基于面部图像或生理数据采集。在一些实施方案中，曲线图1310可以表示为个人所观察的微笑的量级或概率。曲线图上的较高值或点表示更强烈的或较大的微笑。在某些点中，当图像采集出现缺失或不能够识别某人的面部时，曲线图下降或降低。情感的概率或强度沿着y轴1320给出。时间轴可以沿着x轴1330给出。另一个曲线图1312可以显示用于在另一个人上采集的情感或从多个人的汇总情感。汇总信息可以基于采用人群的平均、中间、或其他采集值。在一些实施方案中，图形笑脸图标1340、1342和1344可以表示微笑或其他面部表情的量级。第一个非常明显的笑脸图标1340可以表示观察到的大笑。第一个正常的笑脸图标1342可以表示观察到的微笑。第一个笑脸图标1344可以表示不微笑。这些图标各自可以对应于y轴1320上的一个区域，该区域表示微笑的概率或强度。
图14是精神状态分析的图形渲染。这种渲染可以呈现在网页、能上网的应用程序、或其他类型的电子显示表示形式上。曲线图1410可以表示观察到的情感出现的强度或概率。时间轴可以沿着x轴1420给出。情感的概率或强度沿着y轴1430给出。第二曲线图1412可以展示曲线图1410的平滑版本。可以识别情感中的一个或多个低谷，例如凹处1440。可以识别情感中的一个或多个高峰，例如尖峰1442。
图15是基于元数据的精神状态分析的图形渲染。这种渲染可以呈现在网页、能上网的应用程序、或其他类型的电子显示表示形式上。在曲线图上，第一曲线1530、第二曲线1532、以及第三曲线1534各自可以对应于采集的不同元数据。例如，可以采集自评定元数据，以表示上报的人对某个事件是否“真正喜欢”、“喜欢”或“模棱两可”。事件可以是电影、电视节目、网络系列片、网络视频短片、视频、视频剪辑、电子游戏、广告、电子书、电子杂志等。第一曲线1530可以对应于一个人“真正喜欢”的事件，而第二曲线1532可以对应于“喜欢”该事件的另一个人。同样，第三曲线1534可以对应于对该事件“模棱两可”的一个不同的人。在一些实施方案中，曲线可能对应于多个人的汇总结果。
以上方法的每一个可以在一个或多个计算机***的一个或多个处理器上执行。实施方案可以包括各种形式的分布式计算、客户端/服务器计算、以及基于云的计算。进一步地，将会理解的是对于本披露中的每个流程图，提供所描绘的步骤或方框图的目的仅仅用于图示和解释。可以对这些步骤进行修改、省略或重新排序，而其他步骤可以在不偏离本披露范围的情况下添加进来。进一步地，每个步骤可以包含一个或多个子步骤。尽管前述的附图和描述提出了所披露***的功能方面，但除非明确指出或从上下文中清晰可见，从这些描述中不应当推断出实现这些功能方面的软件和/或硬件的具体安排。软件和/或硬件的所有这些安排应当落在本披露的范围之内。
框图和流程示意图描绘了方法、设备、***和计算机产品。框图和流程示意图的每个元素以及框图和流程示意图中元素的每个组合形式说明了方法、设备、***、计算机程序产品和/或计算机实施方法的一个功能、步骤或一组步骤。任意和所有这些功能可以由计算机程序指令、由专用的基于硬件的计算机***、由专用硬件和计算机指令的组合形式、有通用硬件和计算机指令的组合形式、由计算机***等来实施。这些功能中的任意一项或所有在本文通常可以称为“电路”、“模块”或“***”。
执行以上提及的计算机程序产品或计算机实施方法中任意一个的可编程设备可以包括一个或多个处理器、微处理器、微控制器、嵌入式微控制器、可编程数值信号处理器、可编程装置、可编程门阵列、可编程阵列逻辑、存储装置、特定应用集成电路等。每一个都可以适当地使用或配置以处理计算机指令、执行计算机逻辑、存储计算机数据等。
将会理解的是，计算机可以包括计算机可读存储介质中的计算机程序产品，并且这种介质可以是内部的或外部的、可拆卸的或可置换的、或是固定的。另外，计算机可以包括基本输入/输出***(BIOS)、固件、操作***、数据库等，它们可以包括、连接、或支持本文描述的软件和硬件。
本发明的实施方案不限于包括传统计算机程序的应用程序或运行它们的可编程设备。例如，可以设想的是，当前所声明的发明的实施方案可能包括光学计算机、量子计算机、模拟计算机等。计算机程序可以下载到计算机上以产生可以执行所描述功能的任意一项或全部的具体机构。该具体机构提供执行所描述功能的任意一项或全部的方法。
可以利用一个或多个计算机可读介质的任意组合。计算机可读介质可以是用于存储的暂时的或非暂时的计算机可读介质。计算机可读存储介质可以是电、磁、光、电磁、红外、半导体或前述介质中任意适合的组合形式。另一些计算机可读存储介质实例可以包括具有一个或多个导线的电连接、便携式计算机软磁盘、硬盘、随机存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存、MRAM、FeRAM、相变存储器、光纤、便携式光盘只读存储器(CD-ROM)、光存储装置、磁存储装置、或前述装置的任意适合组合形式。在本文档的环境中，计算机可读存储介质可以是任意有形的包含或存储程序的介质，该程序由指令执行***、设备或装置来使用或与它们相关联使用。
将要认识到是，计算机程序指令可以包括计算机可执行代码。表达计算机程序指令的各种语言可以包括但不限于C、C++、Java、JavaScriptTM、ActionScriptTM、汇编语言、Lisp、Perl、Tcl、Python、Ruby、硬件描述语言、数据库程序设计语言、函数式程序设计语言、命令式程序设计语言等。在实施方案中，计算机程序指令可以进行存储、编译或解释，以便运行在计算机、可编程数据处理设备、处理器或处理器架构等等的不同组合上。不加限制地，本发明的实施方案可以采用基于网络的计算机软件的形式，该软件包括客户端/服务器软件、软件即服务、对等网络软件等。
在实施方案中，计算机能够执行包括多个程序或线程的计算机程序指令。多个程序或线程可以几乎同时进行处理以便提高处理器的利用率并充分地帮助同时发挥功能。通过实施，本文描述的任何和所有方法、程序代码、程序指令等可以在一个或多个线程中执行。每个线程可以产生其他线程，这些其他线程本身可以具有与它们相关的优先权。在一些实施方案中，计算机可以基于优先权或其他顺序来处理这些线程。
除非明确指出或从上下文中清晰可见，动词“执行”和“处理”可以互换地使用以表示执行、处理、解释、编译、汇编、链接、下载或前述动作的组合。因此，执行或处理计算机程序指令、计算机可执行代码等的实施方案可以采用所描述方式的任意一种或所有按照指令或代码产生动作。进一步地，所示的方法步骤意在包括使一个或多个部分或实体执行步骤的任意适合的方法。执行步骤或步骤的一部分的多个部分不需要位于特定的地理位置或国家范围内。例如，如果位于美国的一个实体使得它的方法步骤或一部分在美国以外执行，那么该方法被认为通过使得执行该步骤的该实体在美国执行。
尽管针对示出的并且详细描述的优选实施方案披露了本发明，但在其上的各种修改形式和改进形式对本领域那些熟练技术人员而言将变得十分明显。因此，本发明的精神和范围不应当由前述实例所限制，而是应当在法律所允许的最广泛意义上进行理解。

Claims (23)

1.一种用于分析精神状态的计算机实施方法，该方法包括：
将与一个人相关的数据捕获至一个计算机***中，其中该数据提供评估该个人的精神状态的信息；
从一个网络服务接收分析，其中该分析基于在该个人上捕获的数据；并且
基于该接收的分析来渲染一个输出，该输出描述该个人的精神状态。
2.根据权利要求1所述的方法，其中与该个人相关的数据包括一个群组中的一种，该群组包括面部表情、生理信息以及加速计读数。
3.根据权利要求2所述的方法，其中该面部表情进一步包括头部姿势。
4.根据权利要求2所述的方法，其中该生理信息包括一个群组中的一种，该群组包括皮肤电活动、心率、心率变异性以及呼吸。
5.根据权利要求2所述的方法，其中可以在不接触该个人的情况下采集该生理信息。
6.根据权利要求1所述的方法，其中该精神状态是认知状态和情感状态之
7.根据权利要求1所述的方法，其中该网络服务包括一个接口，该接口包括远离该个人的一个服务器和基于云的存储器。
8.根据权利要求1所述的方法，进一步包括通过该网络服务标引与该个人相关的数据。
9.根据权利要求8所述的方法，其中该标引包括基于效价和唤醒信息的分类。
10.根据权利要求1所述的方法，进一步包括接收与多个其他人相关的分析信息，其中该分析信息允许评估该多个其他人的集体精神状态。
11.根据权利要求10所述的方法，其中该分析信息包括将该多个其他人的精神状态关联至在该个人的精神状态上捕获的数据。
12.根据权利要求11所述的方法，其中该关联基于来自该个人的元数据和来自该多个其他人的元数据。
13.根据权利要求1所述的方法，其中从该网络服务接收的该分析基于特定的访问权限。
14.根据权利要求1所述的方法，进一步包括向网络服务发送一条请求以进行该分析。
15.根据权利要求14所述的方法，其中该分析基于一条分析请求而即时产生。
16.根据权利要求1所述的方法，进一步包括向该网络服务发送在该个人上捕获的数据的一个子集。
17.根据权利要求1所述的方法，其中该渲染基于从该网络服务接收的数据。
18.根据权利要求17所述的方法，其中接收的数据包括JavaScript对象注解(JSON)形式的一个序列化对象。
19.根据权利要求18所述的方法，进一步包括将该序列化对象去串行化为一个JavaScript对象的形式。
20.根据权利要求1所述的方法，其中该渲染进一步包括基于该个人的精神状态来推荐一个行动方案。
21.根据权利要求20所述的方法，其中该推荐包括一个群组中的一项，该群组包括修改对一个焦点群体进行查询的问题、改变网页上的广告、编辑观看的电影以去除有异议的部分、改变电子游戏的方向、改变医疗咨询介绍、以及编辑基于互联网的教程的令人混淆部分。
22.一种用于分析精神状态的计算机程序产品，该计算机程序产品实例化在一个计算机可读介质中，该计算机程序产品包括：
将与一个人有关的数据捕获至一个计算机***的代码，其中该数据提供评估该个人的精神状态的信息；
从一个网络服务接收分析的代码，其中该分析基于所捕获的与该个人有关的数据；并且
基于接收的分析来渲染一个输出的代码，该输出描述该个人的精神状态。
23.一种用于分析精神状态的***，该***包括：
一个存储器，该存储器存储指令；
一个或多个处理器，该一个或多个处理器附接至该存储器，其中当执行存储的指令时，该一个或多个处理器被配置用于：
捕获与一个人相关的数据，其中该数据提供评估该个人的精神状态的信息；
从一个网络服务接收分析，其中该分析基于在该个人上所捕获的数据；并且
基于接收的分析来渲染一个输出，该输出描述该个人的精神状态。
CN201180025886XA 2010-06-07 2011-06-06 利用网络服务的精神状态分析 Pending CN102933136A (zh)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US35216610P 2010-06-07 2010-06-07
US61/352,166 2010-06-07
US38800210P 2010-09-30 2010-09-30
US61/388,002 2010-09-30
US41445110P 2010-11-17 2010-11-17
US61/414,451 2010-11-17
US201161439913P 2011-02-06 2011-02-06
US61/439,913 2011-02-06
US201161447089P 2011-02-27 2011-02-27
US61/447,089 2011-02-27
US201161447464P 2011-02-28 2011-02-28
US61/447,464 2011-02-28
US201161467209P 2011-03-24 2011-03-24
US61/467,209 2011-03-24
PCT/US2011/039282 WO2011156272A1 (en) 2010-06-07 2011-06-06 Mental state analysis using web services

Publications (1)

Publication Number Publication Date
CN102933136A true CN102933136A (zh) 2013-02-13

Family

ID=47225149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180025886XA Pending CN102933136A (zh) 2010-06-07 2011-06-06 利用网络服务的精神状态分析

Country Status (8)

Country Link
US (1) US20110301433A1 (zh)
EP (1) EP2580732A4 (zh)
JP (1) JP2013537435A (zh)
KR (1) KR20130122535A (zh)
CN (1) CN102933136A (zh)
AU (1) AU2011265090A1 (zh)
BR (1) BR112012030903A2 (zh)
WO (1) WO2011156272A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104423574A (zh) * 2013-08-21 2015-03-18 三星电子株式会社 用于增强***可用性的设备和方法
CN105228506A (zh) * 2013-03-13 2016-01-06 艾锐势科技公司 环境情感确定***
CN105283876A (zh) * 2013-03-13 2016-01-27 艾锐势科技公司 环境健康确定***
CN105389709A (zh) * 2014-08-26 2016-03-09 Sk普兰尼特有限公司 智能手表及其控制方法以及顾客服务提供***
CN105474289A (zh) * 2013-05-21 2016-04-06 本·珂奇·托马 用于提供在线服务的***和方法
CN105556506A (zh) * 2013-10-25 2016-05-04 英特尔公司 用于捕获和生成用户体验的装置和方法
CN106580346A (zh) * 2015-10-14 2017-04-26 松下电器（美国）知识产权公司 情绪推定方法和情绪推定装置
CN107004212A (zh) * 2014-12-15 2017-08-01 微软技术许可有限责任公司 根据社交媒体和其它数字轨迹对动作、结果和目标实现进行建模
CN107405120A (zh) * 2015-04-23 2017-11-28 索尼公司 信息处理装置、控制方法和程序
CN108574701A (zh) * 2017-03-08 2018-09-25 理查德.A.罗思柴尔德 用于确定用户状态的***和方法
CN109983505A (zh) * 2017-03-14 2019-07-05 欧姆龙株式会社 人物动向记录装置、人物动向记录方法及程序
US10546402B2 (en) 2014-07-02 2020-01-28 Sony Corporation Information processing system, information processing terminal, and information processing method
CN111191483A (zh) * 2018-11-14 2020-05-22 百度在线网络技术（北京）有限公司 看护方法、装置及存储介质
US11727217B2 (en) 2013-05-21 2023-08-15 Twill, Inc. Systems and methods for dynamic user interaction for improving mental health
US11779270B2 (en) 2013-05-21 2023-10-10 Twill, Inc. Systems and methods for training artificially-intelligent classifier

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US9106958B2 (en) 2011-02-27 2015-08-11 Affectiva, Inc. Video recommendation based on affect
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US20130262182A1 (en) * 2012-03-31 2013-10-03 Affectiva, Inc. Predicting purchase intent based on affect
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
AU2011329025A1 (en) * 2010-11-17 2013-05-23 Affectiva, Inc. Sharing affect across a social network
US9183509B2 (en) * 2011-05-11 2015-11-10 Ari M. Frank Database of affective response and attention levels
US10638197B2 (en) 2011-11-07 2020-04-28 Monet Networks, Inc. System and method for segment relevance detection for digital content using multimodal correlations
US11064257B2 (en) 2011-11-07 2021-07-13 Monet Networks, Inc. System and method for segment relevance detection for digital content
JP2015505087A (ja) * 2011-12-07 2015-02-16 アフェクティヴァ, インコーポレイテッドAffectiva, Inc. 広告効果の感情に基づく評価
US9355366B1 (en) * 2011-12-19 2016-05-31 Hello-Hello, Inc. Automated systems for improving communication at the human-machine interface
TWI482108B (zh) * 2011-12-29 2015-04-21 Univ Nat Taiwan To bring virtual social networks into real-life social systems and methods
US20130204535A1 (en) * 2012-02-03 2013-08-08 Microsoft Corporation Visualizing predicted affective states over time
US20130290207A1 (en) * 2012-04-30 2013-10-31 Gild, Inc. Method, apparatus and computer program product to generate psychological, emotional, and personality information for electronic job recruiting
WO2013168089A2 (en) * 2012-05-07 2013-11-14 MALAVIYA, Rakesh Changing states of a computer program, game, or a mobile app based on real time non-verbal cues of user
US9418390B2 (en) * 2012-09-24 2016-08-16 Intel Corporation Determining and communicating user's emotional state related to user's physiological and non-physiological data
US9247225B2 (en) * 2012-09-25 2016-01-26 Intel Corporation Video indexing with viewer reaction estimation and visual cue detection
WO2014066871A1 (en) * 2012-10-27 2014-05-01 Affectiva, Inc. Sporadic collection of mobile affect data
CN104145272B (zh) * 2012-11-06 2017-11-17 英特尔公司 使用生理数据确定社会情绪
KR102011495B1 (ko) * 2012-11-09 2019-08-16 삼성전자 주식회사 사용자의 심리 상태 판단 장치 및 방법
EP2932899A4 (en) * 2012-12-15 2016-08-10 Tokyo Inst Tech APPARATUS FOR EVALUATING A HUMAN MENTAL CONDITION
US8834277B2 (en) 2012-12-27 2014-09-16 Sony Computer Entertainment America Llc Systems and methods for sharing cloud-executed mini-games, challenging friends and enabling crowd source rating
WO2014105266A1 (en) * 2012-12-31 2014-07-03 Affectiva, Inc. Optimizing media based on mental state analysis
CN108415984B (zh) 2013-02-25 2021-10-29 P·孙雄 链接关联分析***和方法
WO2014140960A1 (en) 2013-03-12 2014-09-18 Koninklijke Philips N.V. Visit duration control system and method.
US9135248B2 (en) 2013-03-13 2015-09-15 Arris Technology, Inc. Context demographic determination system
US9653116B2 (en) * 2013-03-14 2017-05-16 Apollo Education Group, Inc. Video pin sharing
WO2014145204A1 (en) * 2013-03-15 2014-09-18 Affectiva, Inc. Mental state analysis using heart rate collection based video imagery
US9291474B2 (en) 2013-08-19 2016-03-22 International Business Machines Corporation System and method for providing global positioning system (GPS) feedback to a user
JP6207944B2 (ja) * 2013-09-20 2017-10-04 株式会社 資生堂 嗜好性評価方法、嗜好性評価装置、及び嗜好性評価プログラム
JP6154728B2 (ja) * 2013-10-28 2017-06-28 日本放送協会 視聴状態推定装置およびそのプログラム
US20160321401A1 (en) * 2013-12-19 2016-11-03 Koninklijke Philips N.V. System and method for topic-related detection of the emotional state of a person
US20150173674A1 (en) * 2013-12-20 2015-06-25 Diabetes Sentry Products Inc. Detecting and communicating health conditions
WO2015107681A1 (ja) 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
GB201404234D0 (en) 2014-03-11 2014-04-23 Realeyes O Method of generating web-based advertising inventory, and method of targeting web-based advertisements
CN104000602A (zh) 2014-04-14 2014-08-27 北京工业大学 情感带宽测定及其情感损伤判别方法
US20150310495A1 (en) * 2014-04-23 2015-10-29 Mobile Majority Technology and process for digital, mobile advertising at scale
US20150310494A1 (en) * 2014-04-23 2015-10-29 Mobile Majority Technology and process for digital, mobile advertising at scale
US11974847B2 (en) 2014-08-07 2024-05-07 Nintendo Co., Ltd. Information processing system, information processing device, storage medium storing information processing program, and information processing method
US9582496B2 (en) 2014-11-03 2017-02-28 International Business Machines Corporation Facilitating a meeting using graphical text analysis
CA2967067C (en) * 2014-11-11 2023-06-27 Global Stress Index Pty Ltd A system and a method for generating a profile of stress levels and stress resilience levels in a population
US20160174879A1 (en) * 2014-12-20 2016-06-23 Ziv Yekutieli Smartphone Blink Monitor
NZ732929A (en) * 2014-12-30 2022-04-29 Nitto Denko Corp Method and apparatus for deriving a mental state of a subject
EP3574832B1 (en) * 2015-02-04 2021-01-06 Hitachi, Ltd. Mental state measurement system
US9955905B2 (en) 2015-02-16 2018-05-01 NeuroSteer Ltd. Systems and methods for brain activity interpretation
JP6596847B2 (ja) * 2015-03-09 2019-10-30 富士通株式会社 覚醒度判定プログラムおよび覚醒度判定装置
CN114926292A (zh) * 2015-05-01 2022-08-19 索尼公司 信息处理***和控制方法
JP6034926B1 (ja) * 2015-07-08 2016-11-30 西日本電信電話株式会社 指標出力装置、指標出力方法及びコンピュータプログラム
JP6380295B2 (ja) * 2015-08-25 2018-08-29 マツダ株式会社 運転者状態検出装置
US20170116322A1 (en) * 2015-10-23 2017-04-27 Lunatech, Llc Methods and systems for generating a state of being construct
US10755211B2 (en) * 2015-12-16 2020-08-25 International Business Machines Corporation Work schedule creation based on predicted and detected temporal and event based individual risk to maintain cumulative workplace risk below a threshold
US10299716B2 (en) * 2015-12-24 2019-05-28 Intel Corporation Side face image-based mental state determination
US20190172363A1 (en) * 2016-02-16 2019-06-06 Nfactorial Analytical Sciences Pvt. Ltd Real-time assessment of an emotional state
US11615713B2 (en) 2016-05-27 2023-03-28 Janssen Pharmaceutica Nv System and method for assessing cognitive and mood states of a real world user as a function of virtual world activity
US10463271B2 (en) 2016-06-07 2019-11-05 NeuroSteer Ltd. Systems and methods for analyzing brain activity and applications thereof
US9741258B1 (en) 2016-07-13 2017-08-22 International Business Machines Corporation Conditional provisioning of auxiliary information with a media presentation
US10043062B2 (en) * 2016-07-13 2018-08-07 International Business Machines Corporation Generating auxiliary information for a media presentation
US20190298295A1 (en) * 2016-08-04 2019-10-03 Carnegie Mellon University Sensing and using acoustic samples of gastric sound
US10733902B2 (en) 2016-10-27 2020-08-04 Ian Littleton O'Kidhain Affective empathy system
JP6259947B1 (ja) * 2017-02-03 2018-01-10 トークノート株式会社 情報処理装置、情報処理システム、及びプログラム
JP6812857B2 (ja) * 2017-03-10 2021-01-13 富士通株式会社 商品提供装置、商品提供方法、商品提供プログラム
US10395693B2 (en) * 2017-04-10 2019-08-27 International Business Machines Corporation Look-ahead for video segments
EP3660702A1 (en) * 2017-07-28 2020-06-03 Sony Corporation Information processing device, information processing method, and program
EP3584717A1 (en) 2017-08-01 2019-12-25 Samsung Electronics Co., Ltd. Electronic device and method for providing search result thereof
JP6930277B2 (ja) * 2017-08-09 2021-09-01 沖電気工業株式会社 提示装置、提示方法、通信制御装置、通信制御方法及び通信制御システム
US10839319B2 (en) 2017-09-27 2020-11-17 Allstate Insurance Company Data processing system with machine learning engine to provide output generating functions
US20190095815A1 (en) * 2017-09-27 2019-03-28 Allstate Insurance Company Data Processing System with Machine Learning Engine to Provide Output Generating Functions
US11537935B2 (en) 2017-09-27 2022-12-27 Allstate Insurance Company Data processing system with machine learning engine to provide output generating functions
JP6917878B2 (ja) * 2017-12-18 2021-08-11 日立Astemo株式会社 移動体挙動予測装置
JP6828713B2 (ja) * 2018-03-30 2021-02-10 ダイキン工業株式会社 心身状態認識システム
JP2019195427A (ja) * 2018-05-09 2019-11-14 富士ゼロックス株式会社 ストレス状態評価装置、ストレス状態評価システム及びプログラム
JP7132568B2 (ja) * 2018-05-17 2022-09-07 Cyberdyne株式会社 生体情報計測装置及び生体情報計測方法
GB201809388D0 (en) * 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
US20200028810A1 (en) * 2018-07-20 2020-01-23 International Business Machines Corporation Cognitive recognition and filtering of cyberbullying messages
JP6594512B2 (ja) * 2018-10-17 2019-10-23 株式会社日立製作所 心理状態計測システム
US11416733B2 (en) * 2018-11-19 2022-08-16 Google Llc Multi-task recurrent neural networks
CN111352356B (zh) * 2018-12-21 2024-05-10 阿里巴巴集团控股有限公司 设备控制方法、装置和设备
CN109730701B (zh) * 2019-01-03 2022-07-26 中国电子科技集团公司电子科学研究院 一种情绪数据的获取方法及装置
JP7352789B2 (ja) * 2019-02-28 2023-09-29 パナソニックＩｐマネジメント株式会社 表示方法、プログラム、及び表示システム
CN111839506B (zh) * 2019-04-30 2021-10-12 清华大学 脑力负荷检测方法及装置
CN110378736B (zh) * 2019-07-23 2023-01-03 中国科学院东北地理与农业生态研究所 通过人脸表情识别评价游客对自然资源体验满意度的方法
US11532188B2 (en) * 2019-08-22 2022-12-20 GM Global Technology Operations LLC Architecture and methodology for state estimation failure detection using crowdsourcing and deep learning
WO2021060544A1 (ja) * 2019-09-25 2021-04-01 西村　勉 情報提供装置、情報提供方法及びプログラム
US20220344029A1 (en) * 2019-09-25 2022-10-27 Prs Neurosciences & Mechatronics Research Institute Private Limited Novel system and information processing method for advanced neuro rehabilitation
CN110786869B (zh) * 2019-10-29 2021-12-21 浙江工业大学 一种程序员的疲劳程度的检测方法
JP7143836B2 (ja) * 2019-12-25 2022-09-29 株式会社デンソー 解析処理装置、解析処理方法、及び解析処理プログラム
CN111143564B (zh) * 2019-12-27 2023-05-23 北京百度网讯科技有限公司 无监督的多目标篇章级情感分类模型训练方法和装置
CN111048210A (zh) * 2019-12-31 2020-04-21 上海鹰瞳医疗科技有限公司 基于眼底图像评估疾病风险的方法及设备
CN111199210B (zh) * 2019-12-31 2023-05-30 武汉星巡智能科技有限公司 基于表情的视频生成方法、装置、设备及存储介质
KR20210094798A (ko) * 2020-01-22 2021-07-30 한화테크윈 주식회사 사용자 피드백에 기초한 도어벨 카메라 시스템에 의한 이벤트 생성
CN113449137A (zh) * 2020-03-27 2021-09-28 杭州海康威视数字技术股份有限公司 人脸前端设备的人脸图像显示方法、设备及存储介质
CN111599226A (zh) * 2020-04-24 2020-08-28 佛山科学技术学院 一种虚拟陶艺教学方法及***
CN111580500B (zh) * 2020-05-11 2022-04-12 吉林大学 一种针对自动驾驶汽车安全性的评价方法
KR102548970B1 (ko) * 2020-07-07 2023-06-28 주식회사 유엑스팩토리 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN112224170A (zh) * 2020-08-25 2021-01-15 安徽江淮汽车集团股份有限公司 车辆控制***及方法
KR102459076B1 (ko) * 2020-09-25 2022-10-26 경희대학교 산학협력단 사용자 경험 측정을 위한 적응형 설문 생성 장치 및 방법
JP7205528B2 (ja) * 2020-11-17 2023-01-17 沖電気工業株式会社 感情推定システム
CN112767782B (zh) * 2021-01-19 2022-08-19 武汉理工大学 一种用于实时检测教师情绪的智能教鞭***
CN113034541B (zh) * 2021-02-26 2021-12-14 北京国双科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
CN112948482B (zh) * 2021-04-28 2023-04-18 云景文旅科技有限公司 一种旅游在线服平台机器学习的数据预处理方法和***
CN113796845B (zh) * 2021-06-10 2023-08-04 重庆邮电大学 一种基于图像处理的驾驶员心率识别方法
CN113538903B (zh) * 2021-06-21 2022-07-22 东南大学 一种基于交通流量特征提取与分类的交通拥堵预测方法
CN113485680B (zh) * 2021-06-30 2022-10-11 重庆长安汽车股份有限公司 一种基于车载***的app组件化控制***和方法
CN113449296B (zh) * 2021-07-20 2024-04-23 恒安嘉新（北京）科技股份公司 用于数据安全保护的***、方法、设备及介质
CN114601478B (zh) * 2022-05-11 2022-09-02 西南交通大学 一种提高司机警觉度的方法、装置、设备及可读存储介质
CN115658255B (zh) * 2022-09-22 2023-06-27 花瓣云科技有限公司 任务处理方法、电子设备以及可读存储介质
CN116160444B (zh) * 2022-12-31 2024-01-30 中国科学院长春光学精密机械与物理研究所 基于聚类算法的机械臂运动学逆解的优化方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089206A1 (en) * 2003-10-23 2005-04-28 Rice Robert R. Robust and low cost optical system for sensing stress, emotion and deception in human subjects
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
CN1886975A (zh) * 2003-11-26 2006-12-27 明基移动有限责任两合公司 传输表示情绪变化过程的图像信息的方法
CN101198277A (zh) * 2005-02-22 2008-06-11 海尔思-斯玛特有限公司 用于生理学和心理生理学监控的方法和***及其应用
WO2009059248A1 (en) * 2007-10-31 2009-05-07 Emsense Corporation Systems and methods providing distributed collection and centralized processing of physiological responses from viewers

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647834A (en) * 1995-06-30 1997-07-15 Ron; Samuel Speech-based biofeedback method and system
US6609068B2 (en) * 2000-02-22 2003-08-19 Dow Global Technologies Inc. Personal computer breath analyzer for health-related behavior modification and method
JP3824848B2 (ja) * 2000-07-24 2006-09-20 シャープ株式会社 通信装置および通信方法
US6611206B2 (en) * 2001-03-15 2003-08-26 Koninklijke Philips Electronics N.V. Automatic system for monitoring independent person requiring occasional assistance
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US7307636B2 (en) * 2001-12-26 2007-12-11 Eastman Kodak Company Image format including affective information
JP2004049855A (ja) * 2002-07-22 2004-02-19 Bnc:Kk 心理状態診断システム
US20040210159A1 (en) 2003-04-15 2004-10-21 Osman Kibar Determining a psychological state of a subject
KR20050021759A (ko) * 2003-08-26 2005-03-07 주식회사 헬스피아 뇌파를 측정하는 이동통신단말기 및 측정된 뇌파에 대한처방을 수행하는 방법
US20060200745A1 (en) * 2005-02-15 2006-09-07 Christopher Furmanski Method and apparatus for producing re-customizable multi-media
DE102006015332A1 (de) * 2005-04-04 2006-11-16 Denso Corp., Kariya Gastservice-System für Fahrzeugnutzer
EP1988824A4 (en) 2006-02-27 2012-10-10 Hutchinson Technology CLINICAL APPLICATIONS OF STO2 ANALYSIS
KR100828150B1 (ko) * 2006-08-18 2008-05-08 강만희 온라인 뇌파관리 시스템 및 관리방법
EP2063767A4 (en) * 2006-09-05 2014-05-21 Innerscope Res Inc METHOD AND SYSTEM FOR DETERMINING THE RESPONSE OF A PUBLIC TO A SENSORY STIMULUS
US8782681B2 (en) 2007-03-08 2014-07-15 The Nielsen Company (Us), Llc Method and system for rating media and events in media based on physiological data
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
JP4983445B2 (ja) * 2007-07-09 2012-07-25 セイコーエプソン株式会社 ネットワークシステムおよびプログラム
US7889073B2 (en) 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8308562B2 (en) 2008-04-29 2012-11-13 Bally Gaming, Inc. Biofeedback for a gaming device, such as an electronic gaming machine (EGM)
US8937658B2 (en) * 2009-10-15 2015-01-20 At&T Intellectual Property I, L.P. Methods, systems, and products for security services

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050089206A1 (en) * 2003-10-23 2005-04-28 Rice Robert R. Robust and low cost optical system for sensing stress, emotion and deception in human subjects
CN1886975A (zh) * 2003-11-26 2006-12-27 明基移动有限责任两合公司 传输表示情绪变化过程的图像信息的方法
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
CN101198277A (zh) * 2005-02-22 2008-06-11 海尔思-斯玛特有限公司 用于生理学和心理生理学监控的方法和***及其应用
WO2009059248A1 (en) * 2007-10-31 2009-05-07 Emsense Corporation Systems and methods providing distributed collection and centralized processing of physiological responses from viewers

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304325B2 (en) 2013-03-13 2019-05-28 Arris Enterprises Llc Context health determination system
CN105228506A (zh) * 2013-03-13 2016-01-06 艾锐势科技公司 环境情感确定***
CN105283876A (zh) * 2013-03-13 2016-01-27 艾锐势科技公司 环境健康确定***
CN111539836A (zh) * 2013-05-21 2020-08-14 本·珂奇·托马 用于提供在线服务与用于参与、学***台的***
US11779270B2 (en) 2013-05-21 2023-10-10 Twill, Inc. Systems and methods for training artificially-intelligent classifier
CN105474289A (zh) * 2013-05-21 2016-04-06 本·珂奇·托马 用于提供在线服务的***和方法
US11727217B2 (en) 2013-05-21 2023-08-15 Twill, Inc. Systems and methods for dynamic user interaction for improving mental health
US11575737B2 (en) 2013-05-21 2023-02-07 Twill, Inc. Dynamic interactive network system for providing online service and social community for engaging, learning, and training skills for mental health
CN104423574A (zh) * 2013-08-21 2015-03-18 三星电子株式会社 用于增强***可用性的设备和方法
CN104423574B (zh) * 2013-08-21 2018-11-16 三星电子株式会社 用于增强***可用性的设备和方法
CN105556506A (zh) * 2013-10-25 2016-05-04 英特尔公司 用于捕获和生成用户体验的装置和方法
CN105556506B (zh) * 2013-10-25 2018-08-28 英特尔公司 用于捕获和生成用户体验的装置和方法
US10546402B2 (en) 2014-07-02 2020-01-28 Sony Corporation Information processing system, information processing terminal, and information processing method
US10332136B2 (en) 2014-08-26 2019-06-25 Sk Planet Co., Ltd. Smart watch, control method thereof, non-transitory computer readable storage medium having computer program recorded thereon and system for providing convenience to customer
CN105389709A (zh) * 2014-08-26 2016-03-09 Sk普兰尼特有限公司 智能手表及其控制方法以及顾客服务提供***
CN105389709B (zh) * 2014-08-26 2020-04-14 Sk 普兰尼特有限公司 智能手表及其控制方法以及顾客服务提供***
CN107004212A (zh) * 2014-12-15 2017-08-01 微软技术许可有限责任公司 根据社交媒体和其它数字轨迹对动作、结果和目标实现进行建模
CN107405120A (zh) * 2015-04-23 2017-11-28 索尼公司 信息处理装置、控制方法和程序
US10863939B2 (en) 2015-10-14 2020-12-15 Panasonic Intellectual Property Corporation Of America Emotion estimating method, emotion estimating apparatus, and recording medium storing program
CN106580346B (zh) * 2015-10-14 2021-09-14 松下电器（美国）知识产权公司 情绪推定方法和情绪推定装置
CN106580346A (zh) * 2015-10-14 2017-04-26 松下电器（美国）知识产权公司 情绪推定方法和情绪推定装置
CN108574701B (zh) * 2017-03-08 2022-10-04 理查德.A.罗思柴尔德 用于确定用户状态的***和方法
CN108574701A (zh) * 2017-03-08 2018-09-25 理查德.A.罗思柴尔德 用于确定用户状态的***和方法
CN109983505A (zh) * 2017-03-14 2019-07-05 欧姆龙株式会社 人物动向记录装置、人物动向记录方法及程序
CN109983505B (zh) * 2017-03-14 2023-10-17 欧姆龙株式会社 人物动向记录装置、人物动向记录方法及存储介质
CN111191483A (zh) * 2018-11-14 2020-05-22 百度在线网络技术（北京）有限公司 看护方法、装置及存储介质

Also Published As

Publication number Publication date
AU2011265090A1 (en) 2012-11-29
WO2011156272A1 (en) 2011-12-15
BR112012030903A2 (pt) 2019-09-24
EP2580732A1 (en) 2013-04-17
KR20130122535A (ko) 2013-11-07
JP2013537435A (ja) 2013-10-03
US20110301433A1 (en) 2011-12-08
EP2580732A4 (en) 2013-12-25

Similar Documents

Publication Publication Date Title
CN102933136A (zh) 利用网络服务的精神状态分析
US20210196188A1 (en) System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US20220084055A1 (en) Software agents and smart contracts to control disclosure of crowd-based results calculated based on measurements of affective response
US9723992B2 (en) Mental state analysis using blink rate
US9955902B2 (en) Notifying a user about a cause of emotional imbalance
US20200342979A1 (en) Distributed analysis for cognitive state metrics
US10111611B2 (en) Personal emotional profile generation
US9204836B2 (en) Sporadic collection of mobile affect data
US20170095192A1 (en) Mental state analysis using web servers
CN103154953A (zh) 测量具有上网功能的应用程序的情感数据
Al-Barrak et al. NeuroPlace: Categorizing urban places according to mental states
US9646046B2 (en) Mental state data tagging for data collected from multiple sources
US11146856B2 (en) Computer-implemented system and method for determining attentiveness of user
US9934425B2 (en) Collection of affect data from multiple mobile devices
JP2014501967A (ja) ソーシャルネットワーク上での感情共有
US20130115582A1 (en) Affect based concept testing
US20130189661A1 (en) Scoring humor reactions to digital media
US20130218663A1 (en) Affect based political advertisement analysis
Al-Nafjan et al. Systematic review and future direction of neuro-tourism research
Kang et al. A visual-physiology multimodal system for detecting outlier behavior of participants in a reality TV show
Alhamid et al. Leveraging biosignal and collaborative filtering for context-aware recommendation
Wang et al. Affective video recommender systems: A survey
US20130052621A1 (en) Mental state analysis of voters
US20200226012A1 (en) File system manipulation using machine learning
Derdiyok et al. Biosignal based emotion-oriented video summarization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130213