CN111758229A - 基于生物特征传感器数据数字地表示用户参与定向内容 - Google Patents

基于生物特征传感器数据数字地表示用户参与定向内容 Download PDF

Info

Publication number
CN111758229A
CN111758229A CN201880077053.XA CN201880077053A CN111758229A CN 111758229 A CN111758229 A CN 111758229A CN 201880077053 A CN201880077053 A CN 201880077053A CN 111758229 A CN111758229 A CN 111758229A
Authority
CN
China
Prior art keywords
data
audio
content
sensor data
arousal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880077053.XA
Other languages
English (en)
Other versions
CN111758229B (zh
Inventor
A·A·查佩尔
L·S·奥斯特罗夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Warner Bros Entertainment Inc
Original Assignee
Warner Bros Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Warner Bros Entertainment Inc filed Critical Warner Bros Entertainment Inc
Publication of CN111758229A publication Critical patent/CN111758229A/zh
Application granted granted Critical
Publication of CN111758229B publication Critical patent/CN111758229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Analytical Chemistry (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dermatology (AREA)

Abstract

一种用于获得用户参与音频‑视频内容的数字表示的计算机实施方法包括：由输出设备播放包括音频‑视频内容的数字数据，该输出设备基于数字数据输出音频‑视频输出；以及从至少一个传感器接收传感器数据，该至少一个传感器被定成感测一个或多个用户在参与音频‑视频输出时的非自愿响应。该方法还包括基于传感器数据确定内容参与能力(CEP)值，并且将CEP的数字表示记录在计算机存储器中。一种装置被配置为使用硬件、固件和/或软件来执行该方法。

Description

基于生物特征传感器数据数字地表示用户参与定向内容
相关申请的交叉引用
本申请要求2017年9月29日提交的美国临时专利申请第62/566,257号、2018年1月8日提交的第62/614,811号、2018年4月23日提交的第62/661,556号和2018年8月7日提交的第62/715,766号的优先权，这些申请通过引用以其全部公开内容合并于此。
技术领域
本公开涉及用于基于指示用户的情绪状态的传感器数据来评定用户参与数字定向内容的方法和装置。
背景技术
尽管新的娱乐媒体和越来越多的壮观效果为观众带来了前所未有的娱乐体验，但定向内容的基础仍然是故事和演员。成功的电影结合了引人入胜的故事和令人信服的演员以及通常针对电影类型的尽可能广泛的受众的视觉和听觉上吸引人的布置。制作决策是基于导演的艺术和业务敏感性而制定的，这些敏感性通常是在首次发布前的几年或几个月形成的。大量的制作预算都花在了固定产品上，大多数观众只能看到一次。一直以来，每个人的终端产品都是一样的。导演不可能提供每个人都会产生共鸣的产品，因此他们针对共同点或市场利基创造产品。
用于叙事内容的一种技术是分支(branching)。计算机生成的音频-视频娱乐数据中的分支叙事可上溯至1980年代或更早。当今的复杂视频游戏模糊了叙事与交互娱乐之间的边界，混合了分支和交互技术。诸如虚拟和增强现实的沉浸式娱乐技术带来了使观众着迷的更多机会。通过机器学习进行的数据发掘使得能够发现低等级数据与各种目标(包括消费者偏好和倾向)之间的新对应关系。移动电话和物联网(IoT)设备的激增驱动了网络连接的传感器的***式增长。现在有可能收集到比以前更多的关于内容消费者的实时批量数据。
除了分支，内容生产者在投入生产之前使用许多技术来计量所规划内容的吸引力。一旦生产出一个特征，则可以完成调查、焦点分组和测试市场营销以细调内容叙事并计划市场营销策略。通过传统方法来收集精确且详细的受众响应数据是困难且耗时的。
因此，期望开发用于评定用户参与定向内容的新方法和其他新技术，以克服现有技术的这些和其他局限性，并帮助制片人为明天的受众提供更多引人入胜的娱乐体验。
发明内容
本发明内容和以下具体实施方式应被解释为集成公开的补充部分，该部分可以包括多余的主题和/或补充的主题。任何节段中的省略均不指示该集成申请中描述的任何要素的优先级或相对重要性。这些节段之间的差异可以包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述，如从相应公开中明显的。
在本公开的一个方面，一种用于数字地表示用户参与计算机存储器中的音频-视频内容的计算机实施方法包括由输出设备播放包括音频-视频内容的数字数据，该输出设备基于该数字数据输出音频-视频输出。“用户”是指受众成员、出于娱乐目的作为消费者而经历定向内容的人。该方法还包括由至少一个计算机处理器接收来自至少一个传感器的传感器数据，该至少一个传感器被定位成感测一个或多个用户在参与音频-视频输出时的非自愿(involuntary)响应。例如，传感器数据可以包括从相应传感器接收到的以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁成像(fMRI)数据、身体化学感测数据和功能近红外数据(fNIR)。该方法还可以包括通过由至少一个计算机处理器执行的算法基于传感器数据确定内容参与能力(CEP)的至少一个数字表示，以及将CEP的至少一个数字表示记录在计算机存储器中。适当的算法在下面的具体实施方式中描述。
CEP是用户的生物特征状态的客观、算法和数字电子量度，其与用户对刺激物(即定向内容)的参与相关。我们使用用于CEP的两个正交量度，即唤起度(arousal)和评价度(valence)。如本文所用，“唤起度”是根据其心理学含义用于意味着处于生理机敏、清醒和注意的状态或状况。高唤起度指示感兴趣和关心，低唤起度指示无聊和不感兴趣。“评价度”在这里也以其吸引力或美学的心理意义使用。正评价度指示吸引，并且负评价度指示厌恶。
CEP的至少一个数字表示可以包括CEP的数字表示的序列，其中基于音频-视频内容中的离散时段来运算该序列的每个成分。该方法可以包括将CEP的至少一个数字表示的符号表示输出到显示屏或音频换能器中的至少一个。在一些实施例中，该方法可以包括记录至少一个演员的现场表演期间的数字数据并且将显示屏或音频换能器布置成由至少一个演员在现场表演期间仍可感知。
在一个方面，确定CEP的至少一个数字表示还包括基于传感器数据确定唤起度值，并且将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较。该方法可以包括基于测量一个或多个用户在参与已知的音频-视频刺激时的相似非自愿响应的进一步传感器数据来确定期望平均唤起度。期望平均唤起度是每个用户对已知刺激的唤起度响应的数字表示，其用于标准化个体用户之间的差异。该方法还可以包括播放包括已知的非唤起刺激和已知的唤起刺激的已知的音频-视频刺激，可选地同时注释个体用户的实质上不同的情况，例如用户的初始唤起度状态、心情、疲劳、休息、健康、药物治疗或中毒。
在另一方面，确定CEP的至少一个数字表示可以包括基于传感器数据超过阈值达一段时间而检测一个或多个刺激事件。另外，该方法可以包括针对一个或多个用户中的每一个并且针对刺激事件中的每一个运算多个事件能力中的一个，并且聚合这些事件能力。该方法可以包括基于传感器数据的一个或多个源标识为事件能力中的每一个分配权重。确定期望平均唤起度还可以包括基于进一步传感器数据超过阈值达一段时间而检测一个或多个刺激事件，并且针对一个或多个用户并针对刺激事件中的每一个来运算已知的音频-视频刺激的多个期望能力之一。确定CEP的至少一个数字表示可以包括运算事件能力的总和与期望能力的聚合的比率。
在另一方面，该方法可以包括基于比较唤起度值与音频-视频内容的目标情绪情节来确定唤起度误差测量值。该目标情绪情节可以包括一组目标唤起度值，每个目标唤起度值与连续时间序列的不同间隔唯一地关联，并且该方法可以包括基于传感器数据确定评价度的数字表示。
作为确定CEP的数字表示或用于其他用途的一部分，该方法可以包括基于传感器数据确定用户评价度的数字表示。适用于评价度确定的传感器数据可以包括例如以下任何一项或多项：脑电图(EEG)数据、面部肌电图(fEMG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、功能磁成像(fMRI)数据、身体化学感测数据和功能近红外数据(fNIR)。该方法可以包括基于为已知的音频-视频刺激收集的相似值来标准化评价度的数字表示。在一个方面，该方法可以包括基于比较评价度的数字表示与音频-视频内容的目标情绪情节来确定评价度误差测量值。该目标情绪情节可以是或可以包括评价度和/或唤起度的一组目标数字表示，每个目标数字表示与数字音频-视频内容的连续时间序列或帧序列的不同间隔唯一地关联。
前述方法可以通过在非暂时性计算机可读介质中提供的程序指令在任何合适的可编程计算装置中实施，该程序指令在由计算机处理器执行时使该装置执行所描述的操作。处理器可以是装置和用户本地的、远程定位，或者可以包括本地和远程处理器的组合。一种装置可以包括计算机或一组连接的计算机，该计算机或一组连接的计算机被用于生产用于内容输出设备的定向内容。内容输出设备可以包括例如个人计算机、移动电话、笔记本计算机、电视或计算机监测器、投影仪、虚拟现实设备或增强现实设备。该装置的其他元件可以包括例如音频输出设备和用户输入设备，它们参与该方法的执行。一种装置可以包括虚拟或增强现实设备，诸如对用户的头部和其他身体部分的运动做出反应的头戴式受话器或其他显示器。该装置可以包括生物特征传感器，该生物特征传感器提供由控制器用来确定CEP的数字表示的数据。
为了实现前述和相关目的，一个或多个示例包括下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细地阐述了某些说明性方面，并且仅指示了可以采用示例原理的各种方式中的一些方式。当结合附图和所公开的示例来考虑以下具体实施方式时，其他优点和新颖特征将变得明显，该具体实施方式包括所有这些方面及其等同物。
附图说明
当结合附图时，根据以下阐述的具体实施方式，本公开的特征、性质和优点将变得更加明显，在附图中，贯穿说明书和附图，相同的附图标记标识相同的元件。
图1是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的***和装置的各方面的示意性框图，该***和装置耦合到一个或多个分配***。
图2是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的服务器的各方面的示意性框图。
图3是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的客户端设备的各方面的示意性框图。
图4是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的虚拟现实客户端的特征的示意图。
图5是示出基于在表演定向内容期间收集的生物特征传感器数据确定CEP的数字表示的方法的高级操作的流程图。
图6是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的***的高级方面的框图。
图7A是指示情绪状态相对于二维情绪空间的轴的布置的图。
图7B是指示情绪状态相对于三维情绪空间的轴的布置的图。
图8是示出来自用于测量面部动作单元(FAU)的应用的输出的示例的数据表。
图9是示出有利于关联情绪唤起度的峰值皮肤电响应(GSR)的图表。
图10是示出用于关联情绪唤起度的随时间变化的组合式紧张性(tonic)和相位性(phasic)GSR响应的图表。
图11是示出用于测量内容参与能力的生物特征输入选项的表格。
图12是示出用于基于生物特征响应数据确定内容等级的过程的流程图。
图13是示出用于确定评价度、唤起度和内容参与能力测量值的过程的流程图。
图14是示出响应于生物特征评价度和唤起度数据的内容的数据处理用途案例的框图。
图15是示出用于用户参与生产和分配内容的数字表示的用途案例的流程图。
图16是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的方法的各个方面的流程图。
图17-图18是示出图16中图示的方法的其他可选的方面或操作的流程图。
图19是示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的装置或***的部件的概念框图。
具体实施方式
现在参考附图描述各个方面。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，可能明显的是，可以在没有这些具体细节的情况下实践各个方面。在其他实例中，以框图形式示出公知的结构和设备以有助于描述这些方面。
参考图1，可以在客户端-服务器环境100中实施用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的方法。其他架构也可以是合适的。在网络架构中，传感器数据可以在本地收集和处理，并且传输到服务器，该服务器基于生物特征传感器数据运算用户参与计算机存储器中的音频-视频内容的数字表示。如本文所用，“定向内容”是指至少部分地根据一种方案来定向的数字音频-视频内容，该方案被设计为根据用于调节叙事紧张度(本文中有时被称为“情绪情节(emotional arc)”)的计划娱乐或告知且同时调动观众的情绪。定向内容不限于电影院中呈现的内容或电影院长度的特征，而是可以包括任何音频-视频内容，包括用于移动电话和其他小屏幕的内容、VR和AR内容以及包含叙事元素(即使也包括非叙事元素)的交互式游戏。由情绪情节所计划的叙事紧张度可以使用户在不同时间或响应于某些戏剧性事件、角色、对象、图像、声音、音乐或从数字音频-视频内容生成的其他刺激而经历相反极性的感觉，例如恐惧和信心或者反感和吸引。这些感觉的强度通常与用户从体验中获得的兴趣和愉悦有关，并且也可以由情绪情节随着紧张感增强、达到高潮和缓解来计划这些感觉。影视内容的用户自然会在情绪情节的体验过程中通过非自愿地进入紧张的神经状态或神经生理状态(例如，有时被称为评价度的正向或负向情绪，以及有时被称为唤起度(arousal)的强度、幅度或力度)做出反应。
定向内容还可以被配置为支持相似于视频游戏特征的交互式特征，或者可以不包含交互式特征。定向内容可以响应于指示用户情绪的数据而分支，或者可以是非分支的。除了使用传统脚本产生的内容外，定向内容还可以包括使用传统脚本以外的工具定向的程序，例如游戏节目、综艺节目、纪录片和现实节目。
定向内容的用户在他们体验由接收定向内容信号的输出设备生成的视觉、听觉、嗅觉或触觉期间通过自然表达他们的情绪来做出反应。如果定向内容被配置为支持它，则用户(更准确地说是“玩家演员”)也可以主动与出现在定向内容中的角色或其他对象进行交互。如本文所用，“玩家演员”是配备有或耦合到生物特征传感器的客户端设备或接口的用户，其通过非自愿地进入由生物特征传感器检测到的神经状态或神经生理状态(例如，情绪化)(无论是否也使用控制器提供直接输入)而使用客户端设备或接口与定向内容进行交互，从而使定向内容在无需玩家演员的有意动作的情况下响应于感测到的生物特征响应而发生变化。诸如“数学”服务器110之类的数据处理服务器可以从生物特征传感器接收传感器数据，这些生物特征传感器被定位为在消费定向内容期间检测受众成员的神经响应、神经生理响应或生理响应。服务器100可以处理传感器数据以获得数字表示，该数字表示根据时间或视频帧指示沿一个或多个测量轴(例如，唤起度和评价度)指示的受众对定向内容的神经响应、神经生理响应或生理响应(为方便起见称为“情绪响应”)。在替代实施例中，基于实时情绪反馈，内容自适应人工智能(AI)可以适应性调整定向内容以增加或维持玩家演员对于叙事中的角色观点的参与。
合适的客户端-服务器环境100可以包括经由一个或多个网络(例如，广域网(WAN)102(例如，互联网)和/或无线通信网络(WCN)104(例如蜂窝电话网络)进行通信的各种计算机服务器和客户端实体。可以以各种架构来实施计算机服务器。例如，环境100可以包括一个或多个Web/应用服务器124，其包含与万维网协议兼容的文档和应用代码，包括但不限于例如HTML、XML、PHP和JavaScript文档或可执行脚本。Web/应用服务器124可以服务于用于输出定向内容并且用于从经历定向内容的用户收集生物特征传感器数据的应用。在一种替代方案中，可以从数学服务器110、云服务器122、区块链实体128或内容数据服务器126服务数据收集应用。
环境100可以包括一个或多个数据服务器126，其用于保存：数据，例如，定向内容的视频、音频-视频、音频和图形内容组分，以供使用客户端设备消费；用于在客户端设备上执行或与之结合执行的软件，例如传感器控制和情绪检测应用；以及从用户或客户端设备收集的数据。从客户端设备或用户收集的数据可以包括例如传感器数据和应用数据。传感器数据可以由在客户端设备上运行的后台(非面向用户)应用收集，并且传输到数据接收装置(sink)，例如基于云的数据服务器122或离散数据服务器126。应用数据是指应用状态数据，包括但不限于用户与应用交互的记录或其他应用输入、输出或内部状态。应用可以包括用于输出定向内容、收集生物特征传感器数据并且支持功能的软件。可以从其他类型的服务器服务应用和数据，例如，访问分布式区块链数据结构128的任何服务器，或诸如可以由同时作为微型服务器或客户端操作的一组客户端设备118、120提供的端对端(P2P)服务器116。
如本文所用，“用户”总是定向内容的消费者，***节点从这些消费者收集情绪响应数据以用于确定对定向内容的参与的数字表示。当经由化身或其他机构积极地参与内容时，用户在本文中也可以被称为“玩家演员”。观众并不总是用户。例如，旁观者可以是***不从其收集任何情绪响应数据的被动观众。如本文所用，“节点”包括参与计算机网络的客户端或服务器。
网络环境100可以包括各种客户端设备，例如经由WCN 104和WAN 102连接到服务器的移动智能电话客户端106和笔记本客户端108，或经由路由器112和WAN 102连接到服务器的混合现实(例如，虚拟现实或增强现实)客户端设备114。通常，客户端设备可以是或可以包括用户用于访问经由服务器或从本地贮存器提供的定向内容的计算机。在一个方面，数据处理服务器110可以确定用于实时或离线应用中的生物特征数据的数字表示。控制叙事内容中对象的分支或活动是实时应用的示例。离线应用可以包括例如“绿色灯光”制作建议书，在绿色灯光之前对制作建议书进行自动筛选，对宣传内容(诸如预告片或视频广告)进行自动或半自动包装，针对用户或用户群组定制内容的编辑(自动和半自动)。
图2示出数据处理服务器200，该数据处理服务器200用于基于生物特征传感器数据来数字地表示用户参与计算机存储器中的音频-视频内容，该数据处理服务器200可以在环境100中、相似网络中或作为独立服务器来操作。服务器200可以包括一个或多个硬件处理器202、214(示出一个或多个硬件处理器中的两个)。硬件包括固件。一个或多个处理器202、214中的每一个可以耦合到输入/输出端口216(例如，通用串行总线端口或其他串行或并行端口)，耦合到用于指示用户的情绪状态的传感器数据和观看历史的源220。观看历史可以包括来自内容包的基线脚本的变化的日志级别记录或响应于玩家演员情绪状态和其他输入而做出的控制决策的等效记录。观看历史还可以包括在电视、Netflix和其他源上观看的内容。包含派生情绪情节的任何源都可以用于算法的输入，该算法用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容。服务器200可以跨个人或同类群组的多个内容标题跟踪玩家演员动作和情绪响应。某些类型的服务器(例如云服务器、服务器场或P2P服务器)可以包括协作执行单个服务器的功能的离散服务器200的多个实例。
服务器200可以包括用于发送和接收应用和数据的网络接口218，该应用和数据包括但不限于用于基于生物特征传感器数据数字地表示用户对计算机存储器中的音频-视频内容的参与的传感器和应用数据。内容可以从服务器200服务到客户端设备，或者可以由客户端设备本地存储。如果本地存储到客户端设备，则客户端和服务器200可以协作以处理传感器数据的收集以及向服务器200的传输以进行处理。
服务器200的每个处理器202、214可以可操作地耦合到至少一个存储器204，该存储器204保存一个或多个应用的功能模块206、208、210、212，以便执行本文所述的方法。这些模块可以包括例如相关模块206，其将生物特征反馈与诸如唤起度或评价度的一个或多个量度相关。相关模块206可以包括指令，该指令在由处理器202和/或214执行时使服务器使用机器学习(ML)或其他过程将生物特征传感器数据与用户的一个或多个生理状态或情绪状态相关。事件检测模块208可以包括用于基于情绪量度超过数据阈值来检测事件的功能。这些模块还可以包括例如标准化模块210。标准化模块210可以包括指令，该指令在由处理器202和/或214执行时使服务器使用基线输入来标准化量度评价度、唤起度或其他值。这些模块还可以包括运算功能212，该运算功能212在由处理器执行时使服务器基于传感器数据和来自上游模块的其他输出来运算内容参与能力(CEP)。确定CEP的细节在本文后面公开。存储器204可以包含附加指令，例如操作***和支持模块。
参考图3，内容消费设备300生成指示用户对从定向内容信号生成的输出的生理或情绪响应的生物特征传感器数据。装置300可以包括例如处理器302，例如基于由IntelTM或AMDTM设计的基于80x86架构的中央处理单元、由ARMTM设计的片上***，或任何其他合适的微处理器。处理器302可以使用总线或其他耦合方式可通信地耦合到3D环境装置300的辅助设备或模块。可选地，处理器302及其耦合的辅助设备或模块可以被容纳在外壳301内或耦合到外壳301，外壳301例如是具有电视、机顶盒、智能电话、可佩戴眼镜、眼镜或遮光板或其他形式因素(form factor)的形式因素的外壳。
用户接口设备324可以耦合到处理器302，用于向媒体播放器和数据收集过程提供用户控制输入。该过程可以包括输出用于常规平面屏或投影显示设备的视频和音频。在一些实施例中，定向内容控制过程可以是或可以包括用于由处理器302上执行的混合现实沉浸式显示引擎操作的沉浸式混合现实内容显示过程的音频-视频输出。
用户控制输入可以包括例如来自图形用户接口的选择或经由触摸屏、键盘、定点设备(例如游戏控制器)、麦克风、运动传感器、相机或这些或其他输入设备的某种组合(由框324表示)生成的其他输入(例如文本或定向命令)。此类用户接口设备324可以经由输入/输出端口326(例如通用串行总线(USB)或等效端口)耦合到处理器302。还可以经由耦合到处理器302的传感器328来提供控制输入。传感器328可以是或可以包括例如运动传感器(例如，加速度计)、位置传感器、相机或相机阵列(例如，立体阵列)、生物特征温度或脉搏传感器、触摸(压力)传感器、高度计、方位传感器(例如，全球定位***(GPS)接收器和控制器)、接近传感器、运动传感器、烟雾或蒸汽检测器、陀螺仪位置传感器、无线电接收器、多相机跟踪传感器/控制器、眼睛跟踪传感器、麦克风或麦克风阵列、脑电图(EEG)传感器、皮肤电响应(GSR)传感器、面部肌电(fEMG)传感器、心电图(EKG)传感器、视频面部动作单元(FAU)传感器、脑机接口(BMI)传感器、视频脉冲检测(VPD)传感器、瞳孔扩张传感器、身体化学传感器、功能磁成像(fMRI)传感器、光电容积脉搏波(PPG)传感器或功能近红外数据(fNIR)传感器。一个或多个传感器328可以检测用作用户情绪状态的指示符的生物特征数据，例如面部表情、皮肤温度、瞳孔扩张、呼吸速率、肌肉张力、神经***活动、脉搏、EEG数据、GSR数据、fEMG数据、EKG数据、FAU数据、BMI数据、瞳孔扩张数据、化学检测(例如催产素)数据、fMRI数据、PPG数据或fNIR数据中的一个或多个。另外，(一个或多个)传感器328可以检测用户的背景，例如，用户的物理环境和环境中的对象的标识位置、大小、取向和运动；用户接口显示器的运动或其他状态，例如虚拟现实头戴式受话器的运动。传感器可以内置在可佩戴饰品中，或者可以是非佩戴的，包括显示设备本身，或者在辅助装备中，诸如智能手机、智能手表或植入式医疗监测设备。传感器也可以放置在附近的设备中，诸如，例如用于免提网络访问的互联网连接的麦克风和/或相机阵列设备中。
来自一个或多个传感器328的传感器数据可以由CPU 302本地处理以控制显示输出，和/或传输到服务器200以由服务器实时处理，或用于非实时处理。如本文所用，“实时”是指响应于用户输入进行处理，而在输入和输出之间没有任何任意延迟；也就是说，只要技术上可行就尽可能快地做出反应。“非实时”或“离线”是指传感器数据的批处理或其他使用，其不用于提供即时控制输入来控制显示，但可以在某个任意延迟量后控制显示。
为了能够与计算机网络的另一个节点(例如定向内容服务器200)进行通信，客户端300可以包括网络接口322，例如有线或无线的以太网端口。网络通信可以用于例如实现多玩家体验，包括定向内容的沉浸式或非沉浸式体验。该***还可以用于非定向多用户应用，例如社会网络、团体娱乐体验、教学环境、视频游戏等。网络通信还可以用于客户端和网络的其他节点之间的数据传递，其目的包括数据处理、内容递送、内容控制和跟踪。客户端可以使用通信模块306管理与其他网络节点的通信，该通信模块306处理应用级通信需求和更低级通信协议，优选地，不需要用户管理。
显示器320可以例如经由集成在处理器302或单独芯片中的图形处理单元318耦合到处理器302。显示器320可以包括例如由发光二极管(LED)或其他灯照亮的平板彩色液晶(LCD)显示器、由LCD显示器或由数字光处理(DLP)单元驱动的投影仪、激光投影仪或其他数字显示设备。显示设备320可以被结合到虚拟现实头戴式受话器或其他沉浸式显示***中，或者可以是计算机监测器、家庭剧院或电视屏幕或放映室或剧院中的投影仪。可以将由在处理器302上操作的混合现实显示引擎驱动的视频输出，或用于将用户输入与沉浸式内容显示进行协调和/或生成显示的其他应用提供到显示设备320并作为视频显示输出到用户。相似地，放大器/扬声器或其他音频输出换能器316可以经由音频处理器312耦合到处理器302。与视频输出相关并由媒体播放器模块308、定向内容控制引擎或其他应用生成的音频输出可以被提供到音频换能器316并作为听觉声音输出到用户。音频处理器312可以从麦克风314接收模拟音频信号，并将其转换为数字信号以供处理器302进行处理。麦克风可以用作用于检测情绪状态的传感器，并且用作用于口头命令的用户输入或对NPC或其他玩家演员的社会口头响应的设备。
3D环境装置300还可以包括随机存取存储器(RAM)304，其保存程序指令和数据以响应于用户的情绪状态在控制定向内容期间由处理器快速执行或处理。当设备300断电或处于不活动状态时，程序指令和数据可以存储在长期存储器中，例如，非易失性磁性、光学或电子存储器存储设备(未示出)。RAM 304或存储设备中的任一个或两者都可以包括保存程序指令的非暂时性计算机可读介质，该程序指令在由处理器302执行时使设备300执行本文所述的方法或操作。程序指令可以用任何适当的高级语言(例如C、C++、C#、JavaScript、PHP或JavaTM)编写，并进行编译以产生用于由处理器执行的机器语言代码。
程序指令可以被分组为功能模块306、308，以促进编码效率和可理解性。通信模块306可以包括协调传感器数据(如果是元数据)到运算服务器的通信。传感器控制模块308可以包括控制传感器操作和处理原始传感器数据以传输到运算服务器。模块306、308即使可辨别为源代码中的划分或分组，也不一定可辨别为机器级编码中的单独代码块。定向到特定类型的功能的代码束可以被视为包括模块，而不管束上的机器代码是否可以独立于其他机器代码执行。这些模块可以只是高级模块。媒体播放器模块308可以全部或部分地执行本文描述的任何方法以及等效方法的操作。可以独立执行操作，或者可以与其他一个或多个另外的网络节点(例如，服务器200)协作来执行操作。
除了用于在二维(平面或弯曲)屏上显示的常规2D输出或3D输出(例如，通过电视、移动屏或投影仪)之外，本文公开的内容控制方法还可以与虚拟现实(VR)或增强现实(AR)输出设备一起使用。图4是示出一种类型的沉浸式VR立体显示设备400的示意图，其以更具体的形式因素作为客户端300的示例。可以以各种形式因素来提供客户端设备300，其中设备400仅提供客户端设备300的一个示例。本文描述的创新方法、装置和***不限于单个形式因素，并且可以在适合于内容输出的任何视频输出设备中使用。如本文所用，“定向内容信号”包括用于定向内容的音频-视频输出的任何数字信号，其可以是分支的并且是交互的或非交互的。在一个方面，定向内容可以响应于用户的检测到的情绪状态而变化。
沉浸式VR立体显示设备400可以包括平板电脑支撑结构，该平板电脑支撑结构由不透明的轻质结构材料(例如，刚性聚合物、铝或硬纸板)制成，该平板电脑支撑结构被配置为支撑并允许可移动放置包括高分辨率显示屏(例如，LCD显示器)的便携平板计算或智能手机设备。设备400被设计为靠近用户的面部佩戴，从而可以使用小的屏幕尺寸(诸如智能手机)实现宽视野。支撑结构426相对于显示屏412保持一对透镜422。透镜可以被配置为使用户能够舒适地聚焦在显示屏412上，显示屏412可以保持为距用户眼睛大约一到三英寸。
设备400还可以包括观看护罩(未示出)，该观看护罩耦合到支撑结构426并且由柔软、柔性或其他合适的不透明材料配置，以形状适合用户面部并阻挡外部光。护罩可以被配置为确保对用户而言唯一的可见光源是显示屏412，从而增强了使用设备400的沉浸效果。可以使用屏幕分隔器将屏幕412分离成独立驱动的立体区域，每个区域仅通过透镜422中的相应一个可见。因此，沉浸式VR立体显示设备400可以用于提供立体显示输出，从而为用户提供对3D空间的更真实的感知。
沉浸式VR立体显示设备400还可以包括用于放置在用户鼻子上方的桥(未示出)，以便于将透镜422相对于用户的眼睛进行精确定位。设备400还可以包括弹性条或带424，或其他头饰，用于装配在用户的头部周围并将设备400保持到用户的头部。
沉浸式VR立体显示设备400可以包括与用户的头部430有关的显示和通信单元402的附加电子部件(例如，平板电脑或智能手机)。当佩戴支撑件426时，用户通过一对透镜422观看显示器412。显示器412可以由中央处理单元(CPU)403和/或图形处理单元(GPU)410经由内部总线417驱动。显示和通信单元402的部件还可以包括例如一个或多个传输/接收部件418，使得能够经由无线耦合在CPU和外部服务器之间进行无线通信。传输/接收部件418可以使用任何合适的高带宽无线技术或协议来操作，包括例如蜂窝电话技术，诸如第三代、***或第五代合作伙伴计划(3GPP)长期演进(LTE)，也称为3G、4G或5G、全球移动通信***(GSM)或通用移动电信***(UMTS)和/或无线局域网(WLAN)技术，例如使用诸如电气与电子工程师协会(IEEE)802.11的协议。一个或多个传输/接收部件418可以使视频数据从本地或远程视频服务器流式传输到显示和通信单元402，并且可以将传感器和其他数据上行传输到本地或远程视频服务器以进行如本文所述的控制或受众响应技术。
显示和通信单元402的部件还可以包括例如经由通信总线417耦合到CPU403的一个或多个传感器414。这样的传感器可以包括例如提供指示显示和通信单元402的取向的取向数据的加速度计/倾角仪阵列。由于显示和通信单元402固定到用户的头部430，所以该数据也可以被校准以指示头部430的取向。一个或多个传感器414还可以包括例如指示用户的地理位置的全球定位***(GPS)传感器。一个或多个传感器414还可以包括例如相机或图像传感器，该相机或图像传感器被定位为检测用户的眼睛中的一个或多个的取向，或捕获用户的物理环境的视频图像(用于VR混合现实)，或这两者。在一些实施例中，可以将被配置为检测用户的眼睛或眼睛移动的相机、图像传感器或其他传感器安装在支撑结构426中，并且经由总线416和串行总线端口(未示出)(例如，通用串行总线(USB)或其他合适的通信端口)耦合到CPU 403。一个或多个传感器414还可以包括例如干涉仪，该干涉仪被定位在支撑结构404中并且被配置为向用户的眼睛指示表面轮廓。一个或多个传感器414还可以包括例如麦克风、麦克风阵列或其他音频输入换能器，以用于检测口语用户命令或对显示输出的口头和非口头听觉反应。一个或多个传感器可以包括使用Arnav Kapur、Pattie Maes和Shreyas Kapur在2018年美国计算机协会ACM智能用户接口大会上发表的论文中所述的使用电极的人声识别(subvocalization)掩模。人声识别的词可以用作命令输入，用作唤起度或评价度的指示，或这两者。一个或多个传感器可以包括例如用于感测心率的电极或麦克风、被配置用于感测用户的皮肤或身体温度的温度传感器、耦合到分析模块以检测面部表情或瞳孔扩张的图像传感器、用于检测口头和非口头发声的麦克风或用于收集生物反馈数据的其他生物特征传感器，生物反馈数据包括能够经由算法处理指示情绪的神经***响应，包括已经结合图3在328处描述的任何传感器。
显示和通信单元402的部件还可以包括例如音频输出换能器420，例如显示和通信单元402中的扬声器或压电换能器，或者用于头戴式耳机或安装在头饰424中的其他音频输出换能器的音频输出端口等。音频输出设备可以提供环绕声、多声道音频、所谓的“面向对象的音频”或其他伴随立体声沉浸式VR视频显示内容的音频轨道输出。显示和通信单元402的部件还可以包括例如经由存储器总线耦合到CPU 403的存储器设备408。存储器408可以存储例如程序指令，该程序指令在由处理器执行时使装置400执行本文所述的操作。存储器408还可以将数据(例如，音频-视频数据)存储在库中或在从网络节点进行流式传输期间进行缓冲。
已经描述了用于执行基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的方法的合适的客户端、服务器和网络的示例，将讨论这些方法的更详细的方面。图5示出用于运算内容参与能力(CEP)的方法500的概述，该方法可以包括以任何功能顺序或并行的四个相关操作。如本文所述，可以将这些操作编程为用于服务器的可执行指令。
相关操作510使用算法以将用户或用户群组的生物特征数据与情绪指示符相关。可选地，该算法可以是机器学***、环境噪声水平等等。例如，如果用户的环境充满干扰，则生物反馈数据的意义可能与安静环境中的意义不同。
情绪指示符可以是与情绪情节有关的符号值。该指示符可以具有组成元素，其可以是定量的也可以是非定量的。例如，指示符可以被设计为多维向量，其值表示心理素质(诸如认知负荷、唤起度和评价度)的强度。心理上的评价度是事件、对象或情况的吸引或期望的状态；当受试者感觉某物是好或有吸引力时，评价度被称为正，并且当受试者感觉对象是排斥或不良时，评价度被称为负。唤起度是受试者的机敏和注意力的状态。机器学习算法可以包括至少一种监督机器学习(SML)算法，例如，线性回归算法、神经网络算法、支持向量算法、朴素贝叶斯算法、线性分类模块或随机森林算法中的一个或多个。
事件检测操作520在向用户输出定向内容期间分析来自一个或多个传感器的时间相关信号，并且检测其中信号超过阈值的事件。阈值可以是固定的预定值，或者诸如滚动平均值之类的可变数。本文在下面提供了GSR数据的示例。可以为每个事件运算情绪响应的离散量度。情绪可能不是可直接测量的，因此传感器数据指示情感调制。情感调制是归因于情绪状态或情绪状态的变化的生物特征波形的调制。在一个方面，为了获得情感调制和情绪状态之间的基线相关性，可以向玩家演员显示已知的视觉刺激(例如，来自焦点组测试或个人校准会话)以引起某种类型的情绪。当在刺激下时，测试模块可以捕获玩家演员的生物特征数据，并将刺激生物特征数据与静止生物特征数据进行比较，以识别生物特征数据波形中的情感调制。
标准化操作530在用于已知刺激的测试数据与用于用户的测量信号之间执行算术或其他数值比较，并且将针对事件的测量值标准化。标准化补偿了各个响应中的变化，并提供了更有用的输出。一旦检测到输入传感器事件并将其标准化，运算操作540就为用户或用户群组确定CEP值，并将这些值记录在计算机存储器中的时间相关记录中。
机器学习(也称为AI)可以是揭示复杂现象之间的相关性的有效工具。如图6所示，响应于指示用户的情绪状态的传感器数据610的***600可以使用机器学习训练过程630来检测音频-视频和叙事刺激620与生物特征数据610之间的相关性。训练过程630可以从媒体播放器客户端(例如，客户端300、402)接收与生物特征数据610时间相关的刺激数据620。数据可以与特定用户或用户群组相关联，或者可以是通用的。两种类型的输入数据(与用户相关联和通用)可以一起使用。通用输入数据可以用于校准情绪响应的基线，以分类对电影元素的场景或布置的基线情绪响应。如果大多数用户在叙事背景内观看场景时表现出相似的生物特征诉说(tells)，则可以将该场景与激发用户的相似生物特征数据的其他场景一起分类。可以由人类创造制作人来收集和审查相似的场景，该创造制作人可以在自动分析工具的辅助下手动地在情绪指示符指标640上对场景评分。在替代方案中，指示符数据640可以通过人类和半自动处理来评分，而无需按照相似场景进行分类。这些人类评分的元素成为机器学习过程630的训练数据。在一些实施例中，定向内容的以人类评分的元素可以包括用户，诸如经由在线调查表。评分应考虑文化人口统计，并且可以由专家告知关于不同文化对场景元素的响应的信息。
ML训练过程630比较由人类和机器确定的场景或其他电影元素的分数，并使用本领域已知的迭代机器学习方法来减少训练数据与其自身估计之间的误差。创造内容分析师可以基于他们的专业判断和经验为来自多个用户的数据评分。各个用户可以对他们自己的内容评分。例如，愿意协助训练其个人“导演软件”以识别其情绪状态的用户可以在观看内容时对自己的情绪评分。这种方法的问题在于，用户评分可能会干扰他们的正常反应，从而误导机器学习算法。其他训练方法包括在较短的内容片段中对受试者的生物特征响应进行临床测试，然后对临床受试者关于其情绪状态进行调查。这些和其他方法的组合可以用于为机器学习过程630开发训练数据。
如本文所用，生物特征数据提供关于用户如何感受其对定向内容的体验的“诉说”，即，他们是否参与叙事理论中的娱乐值的感觉。内容参与能力是在对定向内容的整个用户体验中的总体参与的量度，并在体验期间和体验完成后进行监测和评分。总体用户的愉悦度被测量为预期生物特征数据调制能力(在校准期间测量的)与平均持续生物特征数据调制能力之间的差。可以通过其他方法来确定用户参与的量度，并将其与内容参与能力相关，或者使其成为对内容参与能力评分的一部分。例如，退出采访响应或接受购买、订阅或关注的提议可以包含在或用于调整内容参与能力的运算。可以在内容呈现期间或之后使用提议响应率，以提供更完整的用户参与的量度。
用户进入交互的心情影响“故事”的解释方式，因此故事体验应尽可能校准心情。如果过程无法校准心情，则可以在呈现的情绪情节中考虑该心情，以支持更积极的评价交互，前提是我们可以测量玩家演员的评价度。即时***和方法将最适合健康镇定的个体，尽管它将为参与的每个人提供交互式体验。
图7A示出情绪状态相对于由水平评价度轴和竖直轴唤起度限定的二维情绪空间的轴的布置700。在该布置中仅作为示例而不是实际或典型的测量值示出基于评价度/唤起度情绪模型的所示情绪。媒体播放器客户端可以使用测量面部动作单元的生物特征传感器来测量评价度，而唤起度测量可以例如经由GSR测量来完成。
情绪空间的特征可以在于两个以上的轴。图7B图示了情绪空间的三维模型750，其中第三轴是社会优势度(dominance)或信心。模型750示出VAD(评价度、唤起度、信心)模型。3D模型1550对于涉及社会等级的复杂情绪可能是有用的。在另一个实施例中，可以将来自生物特征数据的参与量度建模为三维向量，该三维向量提供认知工作量、唤起度和评价度，处理器可以从中确定校准后的主要和次要情绪。参与量度可以推广到N维模型空间，其中N为一或更大。当前，我们将CEP置于具有评价度轴和唤起度轴的二维空间700中，但是CEP不限于此。例如，信心是可以添加的另一个心理测量轴。在情绪校准期间，可以基于个体确定基线唤起度和评价度。
来自生物特征传感器的情绪确定基于评价度/唤起度情绪模型，其中评价度是(正/负)，而唤起度是幅度。通过此模型，我们可以通过测量叙事理论结构(诸如紧张感(希望与恐惧)和紧张感增强(唤起度随着时间的推移而增加))等来验证创造工作的意图，并且基于用户的心理动态地更多地改变故事元素，如2018年1月8日提交的美国临时专利申请62/614,811中更详细描述的那样。本公开的重点在于确定用于实时和离线应用的评价度和唤起度(CEP)的有用量度，如下面更详细地描述的。
在测试环境中，可以将电极和其他传感器以临床功能手动放置在受试者用户上。对于消费者应用，传感器的放置应减少侵入性且更方便。例如，可见光和红外波长的图像传感器可以内置在显示装备中。当用户在使用VR装备时佩戴饰品或抓住控制器时，可以将电极内置在头饰、控制器和其他可佩戴饰品中，以测量皮肤的电导率、脉搏和电活动。
可以使用面部位移/语音频谱分析来指示和测量情绪评价度。利用由Paul Ekman开发的面部动作单元进行面部分析是一种有用的方法。例如，由Affectiva开发的应用程序插件基于统计数据和针对面部表情的自我报告情绪来提供受试者的情绪的概率。该插件通过基于频谱分析(针对语音)以及主要针对面部的颧肌/皱眉肌运动来产生情绪评价度的概率而工作。迄今为止，Affectiva已测量了超过700万张面孔。可能需要开发一种基于FAU的方法，该方法被优化以用于评估消费定向内容的用户。图8示出了表格800，其包含来自Affectiva的实例的样本输出，该实例评估来自不同用户的FAU。这些列包含所选FAU的数字量度。可以使用机器学习或其他技术来优化输出，以识别最有说服力的FAU，从而用于确定定向内容的参与量度。
冗余对于可靠性可能是有用的。服务器可以以多种方式运算评价度和唤起度，并使用2进1的投票来提高评价度和唤起度测量的可靠性和可用性。例如，在使用冗余传感器输入时，服务器可以将皮肤电响应的权重设置为1，将心率变异性的权重设置为0.25，并且将最大评价度信号的百分比的权重设置为0.25。再例如，对于评价度传感器输入，服务器可以将脑电图数据的权重设置为1，并且将面部动作单元数据的权重设置为0.75。如在图11中的表1100中所概述，评价度和唤起度的其他几种量度也可能是有用的。优选输入的指示是基于实际考虑的，并且可能随着技术的改进而变化。高加权输入被认为比较低加权输入更准确或更可靠。即使在测试环境中，全部数据源也很少可用。尽管如此，如下所述，***设计人员仍然可以使用多种测量选项。
脑电图(EEG)前额不对称性分析可能是一种用于衡量作为评价度的情绪诉说(emotional tell)的接近与回避的关系的有用方法。传感器测量通过大脑的神经元的电压电势，并运算不同半球的α波功率。跨越两个半球的功率变化说明了接近和回避，或者是正面情绪还是负面情绪。例如，可以将正面不对称指数运算为右半球功率与左半球功率的比率的对数，并使其与接近和回避或者正评价度和负评价度相关。
也可以使用评价度测量的强度来测量唤起度。例如，测量***可以用于测量脸部在微笑期间的最大肌肉位移。然后通过电流与最大位移的比率或其他比较运算来推测唤起度。
情绪唤起度可以通过多种方法来测量，包括皮肤电脉冲(相位性)响应。当受试者被唤起时，皮肤电阻会发生快速变化，这可以通过向人体发送小电流并测量电阻来测量。图9示出了随时间变化的GSR峰值响应。随时间推移观察到的脉冲响应(峰值)的数量与唤起度的强度相关。因此，事件能力的最简单量度是EP＝C，其中“EP”是事件能力，而“C”是信号超过适用阈值的次数。另外，峰值幅度还表明唤起度的强度，其可以被转换为唤起度能力。例如，表达式∑Pa(其中“Pa”是每个事件的峰值幅度)提供了内容的事件能力的量度。事件能力的等效无单位量度由∑Pa/Savg给出，其中“Savg”是内容的平均信号值。两种测量方法都可能是有用的。另一个有用的量度可能是幅度曲线下的积分面积。例如，在信号处于阈值线上方的情况下，可以运算信号响应线1010与固定阈值1020或可变阈值1030之间的面积。事件计数、峰值幅度和积分面积可以以任何有用的方式进行组合。例如，表达式(CPat+A)/Savgt(其中“A”是在阈值线上方时由信号线定义的总面积，“t”是最小时间增量(例如1秒)，而其他符号如上面所定义)提供了针对任何内容片段的事件能力的无单位量度。其他量度也可能是有兴趣的，例如，每单位时间的事件能力。可以通过将任何前述无单位事件能力除以内容的运行长度来得出每单位时间的事件能力。
皮肤电紧张性响应是较慢的电阻响应，其也表示唤起度。信号中的主要DC移位是唤起度的标志。图10示出了组合的紧张性GSR响应和相位性GSR响应1010的曲线图1000。固定阈值1020可以用于检测在运算CEP中使用的事件。在替代方案中，可变阈值1030(例如滚动平均值)可以用于补偿长期可变性。
服务器可以使用P(DC)＝I^2R(其中电流等于GSR电路供应的电流)从峰值幅度运算唤起度功耗。它也可以使用相同的方程式来运算唤起度DC功率移位，只是用于紧张性响应。基于GSR，可以将两者进行组合以获得用于唤起度的整体冲动(相位性)功率响应和紧张性功率响应。
尽管图10指示了GSR的唤起度幅度或指示唤起度的任何其他定量信号，但可以使用类似的量度来运算任何期望的评价度测量的事件能力。不同的评价度质量可能需要不同的测量。
面部动作单元已经结合图8进行了讨论。可以使用基于规则的算法和/或机器学习来处理FAU分析的输出以检测评价度和唤起度。对于正常表达的用户，FAU应该具有较高的可靠性和宽泛的测量范围。尽管目前尚未证实可靠性，但它也可能用于检测唤起度。
心率变异性(HRV)是情绪评价度的另一种有用的量度，其在图11的表中示出为脉搏检测(第4行)。可以使用电极、音频或振动分析、使用音频传感器或加速度计对脉搏进行侦听或感觉来检测脉搏。脉搏也可以通过图像分析来检测。心跳脉冲期间的血压变化会导致面部或四肢的可见效果，并且可以使用图像传感器和图像处理器来检测这些效果。健康的个人的心率变化频率大于0.15赫兹。刺激后的较低频率的HRV归因于与唤起度有关的交感神经***响应。在体验过程中，确定CEP的服务器可以在校准过程中以及整个用户体验期间监测HRV，以作为唤起度诉说。类似地，心率增加是情绪评价度的量度。CEP服务器可以在校准过程中以及整个用户体验期间监测用户的心率，以作为唤起度诉说。它可以运算心率的百分比变化并应用阈值来检测唤起事件。例如，如果心率大于基线的10％，并且如果心率变异性大于0.15Hz，则会唤起受试者。
瞳孔扩张(第5行)是唤起度的可靠指示，并且可以使用图像分析来检测。使用经校准以在人类皮肤温度范围内工作的红外传感器可以相对容易地实现功能近红外(fNIR，第6行)。当用于确认其他测量值时，皮肤温度指示唤起度和评价度两者。
面部肌电图(fEMG)是应用于面部肌肉的EMG。众所周知，它对于情绪检测很有用。肌肉纤维的收缩和松弛会产生电信号，该电信号可以通过附接在特定肌肉群上的电极对来检测。面部的两个肌肉群可能特别有用，即用于皱眉的皱眉肌(corrugator supercilii)群和用于微笑的颧大肌(zygomaticus major muscle)群。然而，可以使用图像分析和面部动作单元来检测皱眉、微笑和其他表情，而无需用户佩戴电极。在用户戴着阻挡面部表情成像的头饰的混合现实(VR或AR)应用中，fEMG可以提供一种收集与情绪响应相关的数据的替代方法。
人声识别(Subvocalization)可以被认为是一种fEMG，其可以检测与语音相关的肌肉群的活动。用户佩戴局部遮罩，该局部遮罩将电极阵列紧贴在下唇正外侧的下颚、脖子和下巴的选定区域上。可以训练神经网络以检测用户的人声识别，其准确度大于90％。经人声识别的语音可以用于任何目的的语音。在运算参与能力时，自发的经人声识别的语音(例如，感叹词)可以指示唤起度和评价度两者。与面部表情不同，使用图像分析无法检测到人声识别。因此，在用户希望在不发出声音的情况下对游戏或其他娱乐过程说话的情况下，使用面罩进行人声识别可能是最理想的。
心电图(EKG)使用附接到受试者的胸部和/或背部的电极来测量心肌的收缩和松弛。它在医疗保健中用于患者监测和诊断心脏病。EKG提供了更详细的心脏活动图，其与简单的脉搏相比可以提供关于唤起度的更多信息。在替代方案中，可以使用简化形式的EKG，其中它比其他脉冲检测方法更方便。例如，在用户佩戴带有定位成用于脉搏感测的一个或多个电极的EKG模块(例如，在智能手表、健身追踪器或其他饰品中)的情况下，数据收集模块可以从EKG模块接收信号并处理该信号以用于脉搏检测或心脏信号的其他特征，例如心率变异性(HRV)。
脑机接口(BMI)是指对大脑活动做出响应的植入式电极或其他电传感器或电化学传感器。BMI设备可能在临床环境中使用，但在可预见的将来不太可能供消费者使用。在此提到BMI作为在该技术在消费者应用中变得可用的情况下的未来可能性。
功能磁共振成像(fMRI)通过检测血流来测量大脑活动。与常规MRI不同，fMRI通过检测血氧水平来检测组织随时间的变化。因此，fMRI与大脑活动密切相关，并且可用于感测不同大脑区域中的活动或不活动。但是，目前fMRI设备笨重，并且在临床环境之外使用是不切实际的。
从专门用于特定化学物质的光谱学到微米或纳米传感器，化学检测设备的复杂性和体积各不相同。最初，将微米或纳米传感器合并到输出饰品中可能是最实用的。例如，可以将合并有一个或多个微电子化学传感器的化学传感器放置在头饰中靠近鼻子和嘴的位置。作为替代或补充，可以将传感器放置在皮肤上以检测汗液中排出的化学物质。用于检测唤起度和评价度的感兴趣的化学物质和化合物可以包括例如皮质醇、肾上腺素、去甲肾上腺素、催产素、乙酰胆碱、多巴胺、内啡肽、血清素和信息素。但是，使用外部传感器可能很难检测到此类化学物质中的许多种。
注视方向(第13行)易于使用图像分析进行检测。也可以通过测量角膜屈曲来检测焦深。方向和焦深不指示评价度或唤起度，但确实指示兴趣。用户兴趣可能对内容的控制或更好地利用其他传感器数据很有用。例如，如果用户正在观看“错误”内容，而他们的数据指示评价度或唤起度误差，则可以为暂时分散注意力而减小误差的权重。
基于定向内容的目标情绪情节可以作为评价度/唤起度目标被存储在计算机数据库中。服务器可以执行差值运算以确定计划/预测的和测量的情绪唤起度和评价度之间的误差。该误差可以用于内容控制。一旦预测值和测量值之间的增量超过阈值，则将通过故事管理软件来命令纠正。如果(基于目标情绪情节)用户的评价度与该预测的管理相比处于错误方向，则处理器可以通过以下逻辑改变内容：如果(预测的评价度–测量的评价度)的绝对值>0，则改变内容。内容的改变可以是具体针对软件已了解的有关玩家演员的几个不同的项目，或者可以是来自AI过程的试用或推荐。同样地，如果唤起度误差降到预测的唤起度的50％以下(误差的绝对值＞0.50*预测值)，则处理器可以改变内容。内容的改变可以是具体针对软件已了解的有关玩家演员的几个不同的项目，或者可以是来自AI过程的试用或推荐。
图12示出用于确定包括内容参与能力(CEP)在内的音频-视频内容的内容等级的方法1200。CEP是该受试者内容的事件能力“Pv”的总和与该类型中相似内容的期望能力“Px”之比。对于不同的主题，并且在通常情况下对于不同的用户，使用相同的方法来运算Pv和Px。这样，总和涵盖了不同的总时间，事件能力Pv涵盖了时间段“tv”，该时间段“tv”等于受试者内容的“n”个事件能力时段Δtv的总和：
Figure BDA0002513003050000211
同样，期望能力Px涵盖时段“tx”，该时段“tx”等于期望内容的“m”个事件能力时段Δtx的总和：
Figure BDA0002513003050000212
对于任何给定的事件“n”或“m”，能力Pv和Px中的每一个是能力向量P和维度i的加权向量W的点积，如下所示：
Figure BDA0002513003050000213
Figure BDA0002513003050000214
通常，可以对能力向量
Figure BDA0002513003050000215
进行各种定义。在任何给定的CEP计算中，受试者内容的能力向量和期望基线应相互一致地定义，并且权重向量应相同。能力向量可以仅包括唤起度量度，仅包括评价度值，包括唤起度量度和评价度量度的组合，或者前述中的任何一个与其他量度(例如信心量度)的组合。在一个实施例中，使用由“j”个唤起度量度“aj”和“k”个评价度量度“vk”的组合定义的能力向量
Figure BDA0002513003050000216
运算CEP，其中每个量度均由来自已知刺激的校准偏移“C”来调整，其中j和k是任何非负整数，如下所示：
Figure BDA0002513003050000221
其中
Cj＝Sj-SjOj＝Sj(1-Oj) 等式6
等式6中的索引“j”表示从1到j+k的索引，Sj表示比例因子，并且Oj表示传感器数据范围的最小值与其真实最小值之间的偏移。与等式5的能力向量相对应的加权向量
Figure BDA0002513003050000222
可以表示为：
Figure BDA0002513003050000223
其中每个权重值都会与因子的相对估计可靠性成比例地缩放其相应因子。
利用等式3和等式4给出的经校准的点积
Figure BDA0002513003050000224
Figure BDA0002513003050000225
以及等式1和等式2给出的时间因子，处理器可以如下计算单个用户的内容参与能力(CEP)：
Figure BDA0002513003050000226
比率tx/tv标准化不同时间序列总和中的不等性，并使比率无单位。用户CEP值大于1指示用户/玩家演员/观众具有相对于类型而言超出其期望的情绪参与体验。用户CEP值小于1指示参与小于用户对内容类型的期望。
还可以根据“x”个用户的内容事件能力与“m”个不必相同的用户的期望能力之比，跨“v”个用户的受众，针对内容标题运算CEP，如下所示：
Figure BDA0002513003050000227
变量v和x分别是内容用户和参与基线观众的数量。分母中的受众期望能力表示受众对内容带来的期望，而分子中的事件能力表示体验内容时受众的唤起度或评价度事件的总和。处理器将对于每个事件(n)和用户(v)的事件能力以及对于每个事件(m)和用户(x)的期望能力求和。然后，它通过运算事件能力与期望能力的比率，并且通过比率xtx/vtv标准化不同的时间总和和受众人数，来运算CEP。CEP是内容等级的组分。内容等级的其他组分可以包括聚合评价度误差和针对特定评价度目标(例如，胜利、绝望等)的评价度误差。
等式5描述了经校准的能力向量，该经校准的能力向量由从生物特征传感器数据得出的唤起度和评价度量度组成。在替代方案中，处理器可以定义部分未校准的能力向量，其中传感器数据信号在转换为数字值之前被缩放，以作为较低电平数字信号处理的一部分，但对于用户而言不偏移，如下所示：
Figure BDA0002513003050000228
如果使用部分未校准的能力向量，则可以在运算内容参与能力(CEP)之前，针对每个因子计算聚合校准偏移，并从等式3和等式4给出的点积
Figure BDA0002513003050000231
Figure BDA0002513003050000232
中减去。例如，
Figure BDA0002513003050000233
的聚合校准偏移可以由下式给出：
Figure BDA0002513003050000234
在这种情况下，可以通过以下等式计算能力向量
Figure BDA0002513003050000235
的经校准的值：
Figure BDA0002513003050000236
可以相似地计算经校准的能力向量
Figure BDA0002513003050000237
再次参考其中可以使用前述表达式的方法1200(图12)，首先执行传感器数据的校准过程1202，以校准用户对已知刺激(例如已知静止刺激1204、已知激发刺激1206、已知正评价度刺激1208和已知负评价度刺激1210)的反应。已知刺激1206-1210可以使用焦点组进行测试，该焦点组在文化和人口统计学上相似于目标受众，并保持在数据库中以供校准中使用。例如，国际情感图片***(IAPS)是用于在心理学研究中研究情绪和注意力的图片数据库。为了与内容平台保持一致，可以以与目标平台一致的格式产生图像或在IAPS或相似知识库中找到的那些，以用于在校准中使用。例如，可以将触发情绪的主题的图片产生为视频剪辑。校准确保传感器按预期操作，并且在用户之间提供一致的数据。不一致的结果可以指示传感器发生故障或配置错误，可以将其校正或忽略。处理器可以确定一个或多个校准系数1216，以用于针对设备和/或用户之间的一致性调整信号值。
校准可以具有缩放和偏移特性两者。为了用作唤起度、评价度或其他心理状态的指示符，传感器数据可以需要使用缩放因子和偏移因子两者进行校准。例如，GSR理论上可能在零和1之间变化，但实际上取决于人类皮肤的固定和可变条件，该条件随个体和时间而变化。在任何给定的会话中，受试者的GSR可能在某个GSRmin>0到某个GSRmax<1之间。可以通过将受试者暴露于已知刺激下并估计校准因子的幅度和缩放来测量范围的幅度及其缩放两者，通过将来自具有已知刺激的会话的结果与相同类型传感器的预期范围进行比较来进行该估计。在许多情况下，校准的可靠性可能令人怀疑，或者校准数据可能不可用，有必要从现场数据中估计校准因子。在一些实施例中，可以使用自适应机器学习算法对传感器数据进行预校准，该自适应机器学习算法在接收到更多数据时为每个数据流调整校准因子，并且从针对校准的调整任务中省去了更高级别的处理。
一旦校准了传感器，***就在1212处使用例如等式8或等式9针对类型差异对传感器数据响应数据进行标准化。不同的类型产生不同的评价度和唤起度分数。例如，冒险动作类型具有不同的步调、情绪目标和强度。因此，除非考虑了类型的参与简档，否则无法跨类型比较参与能力。类型标准化相对于同一类型中的内容对内容进行评分，使得能够在各个类型之间进行等效比较。可以使用预期的标准化刺激1214，对测试受众或焦点组或主要特征之前的受试者组执行标准化1212。例如，受众可以观看与主要特征相同类型的一个或多个预告片，并且可以为一个或多个预告片运算事件能力。在替代方案中，可以使用相同用户或相同用户群组的存档数据来运算期望能力。使用与用于或将用于事件能力的测量相同的算法来运算期望能力，并且可以使用相同的校准系数1216来调整期望能力。处理器存储期望能力1218供以后使用。
在1220处，处理器在受试者内容的播放期间接收传感器数据，并且针对关注的每个量度(诸如唤起度和一个或多个评价度质量)运算事件能力。在1228处，处理器在播放结束之后或在播放期间的运行基础上对内容的事件能力求和或以其他方式聚合。在1230处，处理器运算内容等级，包括如先前描述的内容参与能力(CEP)。处理器首先应用适用的校准系数，并且然后通过将聚合的事件能力除以期望能力来运算CEP，如上所述。
可选地，运算功能1220可以包括在1224处将每个检测的事件或检测的事件的较小子集的事件能力与为内容定义的参考情绪情节进行比较。参考情节可以是例如由创造制作人定义的目标情节、预测情节、内容的一个或多个过去情节或前述情节的组合。在1226处，处理器可以保存、递增或以其他方式累积描述一个或多个变量的误差的误差向量值。误差向量可以包括参考情节与对于指定场景、时间段或一组视频帧的每个测量值(例如，唤起度和评价度值)的测量响应之间的差。误差向量和向量矩阵可以用于内容评估或内容控制。
误差测量值可以包括或增加用于内容评估的其他指标。可以将内容参与能力和误差测量值与购买、订阅或与呈现的内容相关的其他转换进行比较。该***还可以使用标准差或其他统计量度来测量受众响应的一致性。该***可以测量针对个人、同类群组和聚合受众的内容参与能力、评价度和唤起度。
参考图13，用于测量情绪评价度和唤起度并确定内容参与能力1326的替代方法1300在302处分叉为基于AI的分支和基于规则的分支。但是，其他合适的方法可以以各种方式将基于AI的方案和基于规则的方案组合起来。两个分支从传感器数据1312、1308开始。为说明简单起见，示出了独立的流程对象1312、1308，但是两个分支可以使用相同的传感器数据，该传感器数据源自本文所述的任何一个或多个生物特征传感器。
在AI分支上，将传感器测量数据1312与传感器训练数据1310一起输入到机器学习模式分析过程1330，如本文所述，该机器学习模式分析过程1330输出用于情绪能力运算过程1320的情绪评价度、唤起度和事件能力值的测量结果。当使用AI衍生的数据时，功率计算1320可以省略校准和标准化，因为校准和标准化被作为机器学习过程的整体部分来处理。在某种意义上，标准化和校准被嵌入训练数据1310中。在此结合图6描述合适的AI过程的示例。来自AI过程分支的输出应当与基于规则的输出相关但是将不是相同的，因为使用了不同的算法。如上所述，能力运算过程1320比较唤起度、事件能力和期望能力的不同量度，并从它们衍生出内容参与能力。尽管内容参与能力1336是从唤起度测量结果衍生出来的，但它是基于功率脉冲或连续量度的用于整个内容标题或主要子部件的无单位比较量度。CEP1336不同于唤起度数据1334，唤起度数据1334不是可比较的，而是与视频内容中的特定时间或帧相关，以用于误差确定或内容分析。
在基于规则的分支上，如前所述，用于校准的基线传感器数据1304和期望传感器数据1306由基于规则的过程1314访问，以便确定校准和标准化系数。校准和标准化系数被输出到下游的基于规则的运算过程，包括情绪能力运算过程1320和情绪能力运算过程1320、评价度运算过程1318和唤起度运算过程1316。传感器测量数据同样被输入到这三个运算过程中。评价度输出1324和唤起度输出1322是来自一个或多个传感器输入的与时间相关的评价度和唤起度幅度。如上所述，可以根据可靠性对来自不同传感器类型的测量结果进行组合和加权。
图14示出了用于响应于评价度和唤起度数据来制作和分发可配置内容的***1400。制作生态***1410产生用于内容和相关数字音频-视频资产1430的数据模型1420。除了视频和音频剪辑之外，A/V数据1430还可以包括3D建模和渲染数据、用于虚拟现实或增强现实的视频和数字对象、元数据以及播放过程中所需的任何其他数字资产。数据模型1420定义内容元素，例如故事、序列、场景、对话、情绪情节和角色。元素可以是固定的或可配置的。例如，可配置故事可以被定义为分支叙事。在替代方案中，叙事可以是固定的，并且可配置元素限于支持诸如角色或对象外观以及用于表达多行对话的替代短语之类的特征。数据模型1420可以以专有形式1440表达，并与播放所需的音频-视频资产1430一起被提供给数据服务器1450。云服务器1450还可以被提供有应用程序，该应用程序以适合于在目的地平台上使用的标准格式(例如，JavaScript对象符号(JSON)或可扩展标记语言(XML))为故事元素生成控制文档1470。控制文档1470可以包括针对内容的目标情绪情节的定义。
云服务器1450向故事元素控制文档1470提供为目的地用户和平台选择的音频-视频内容1460。例如，为移动平台提供的资产1460可以不同于家庭影院的资产，两者都不同于影院或虚拟现实体验的资产。再例如，成年用户的内容可以不同于给幼儿指定的内容。不同内容选择的许多其他原因也可能适用。故事元素控制文档1460可以被剪裁以用于所选内容，并且可以被配置为由在客户端1480上执行的JavaScript或类似内容查看应用程序使用。客户端1480上的查看应用程序1485可以被配置为接收传感器输入，例如以上结合图3至图4所述。基于传感器输入和故事元素文档1470，应用程序1485可以执行用于通过将传感器输入与情绪情节的期望值进行比较来减小检测到的评价度和/或唤起度误差的过程。该应用程序可以使用反复试错的方法，该方法用关于过去用户响应和偏好的可用信息来增强，以选择可替代的故事元素。所选择的元素被提供给输出设备1490，该输出设备1490使用音频换能器产生可听输出，并使用屏幕、投影仪或其他光电设备产生可见显示。其他输出可以包括例如运动、触觉或嗅觉输出。***1400示出了用于由客户端设备进行实时内容控制的使用情况。实时控制也可以在服务器级别实现，以用于流传输到客户端的内容。
图15示出了用于示出方法1500的方法1500，该方法1500包括用于基于传感器的内容评级的离线使用情况和实时控制情况，其包括内容参与能力和特定评价度、唤起时间或内容相关矩阵。方法1500开始于内容设计1502，该内容设计1502接收过去可比较产品的市场营销和情绪响应(例如，内容等级)数据作为其输入之一。输入还可以包括目标情绪情节。在替代方案中，可以在内容设计1502期间定义情绪情节。一旦内容设计1502定义了期望的场景和场景序列，就可以开始在1506处准备草稿场景。可以通过经历草稿输出的焦点小组来完成可测试性的草稿，并生成生物特征情绪响应传感器数据，该数据可以被处理和评级以准备好内容等级1508，如上所述。制作团队审查内容等级并修改草稿场景。一旦完成修改，则内容评级过程1508可以再次应用于内容标题的草稿版本。一旦在1510处标题准备好发布，它就会进入一个或多个发行渠道。如果内容对情绪反馈数据没有响应，则市场分析团队可以使用本文所述的工具和技术来测试和跟踪1516情绪响应作为另一种营销指标。可以将情绪响应数据添加到市场营销和内容等级数据1504中，以用于未来产品的设计。返回参考1514，如果内容做出响应，则提供其用于播放和控制1518。在播放期间，媒体播放器根据如本文所述的一个或多个生物特征情绪传感器进行的测量1522接收并处理情绪响应传感器数据1524。一旦每个播放设备完成播放，它就可以处理传感器反馈以开发出内容等级或将反馈数据提交给服务器(未显示)。一旦完成了内容的内容评级，就可以将它们添加到内容等级数据1504中以在将来用于产品设计。
鉴于前述内容，并且作为另外的示例，图16-图18示出了用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的一个或多个方法1600及相关功能的一些方面。方法1600可以通过沉浸式混合现实输出设备或非沉浸式平面屏设备、投影仪或包括可编程计算机的其他输出设备，通过与输出设备进行通信的一个或多个计算机，或通过输出设备和与该输出设备通信的一个或多个计算机的组合来执行。
参考图16，一种用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的计算机实施方法可以包括：在1610处，由输出设备播放包括音频-视频内容的数字数据，该输出设备基于数字数据输出音频-视频输出。该输出设备可以是或可以包括便携式或非便携式平面屏设备、数字投影仪或用于替代现实或增强现实的可穿戴饰品，在每种情况下其均与音频输出功能并且可选地与其他输出功能(例如，运动、触觉或嗅觉)耦合。播放数字数据可以包括例如将数字数据保存在输出设备的高速缓存或其他存储器中，并且处理该数据以便由输出设备的至少一个处理器输出。
方法1600可以包括：在1620处，由至少一个计算机处理器从至少一个传感器接收传感器数据，该至少一个传感器被定位成感测一个或多个用户在参与音频-视频输出时的非自愿响应。传感器数据可以包括本文所述的任何一个或多个数据，例如，图11中概括的测量类型数据。
方法1600可以包括：在1630处，基于传感器数据通过由至少一个计算机处理器执行的算法来确定内容参与能力(CEP)的至少一个数字表示。该算法可以包括例如针对该类型中的可比较内容运算聚合事件能力与聚合期望能力的比率。聚合事件能力可以是指示通过超过阈值定义的事件的唤起度的传感器幅度的总和。可以通过与事件能力相同的方法来运算可比较内容的聚合期望能力。该算法的更多细节和说明性示例可以如上文结合图11所述的那样。方法1600可以包括：在1640处，将CEP的至少一个数字表示记录在计算机存储器中。
方法1600可以以任何可操作的顺序包括图17-图18中所示的附加操作1700或1800中的任何一个或多个。这些附加操作中的每一个不必要在该方法的每个实施例中都执行，并且操作1700或1800中的任何一个操作的存在并不一定要求也执行这些附加操作中的任何其他操作。
参见图17，其示出用于基于生物特征传感器数据数字地表示用户参与计算机存储器中的音频-视频内容的某些附加操作或方面1700，方法1600还可以包括：在1710处，至少部分地通过基于传感器数据确定唤起度值并将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较，来确定CEP的至少一个数字表示。为了感测唤起度，传感器数据可以包括以下任何一个或多个：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、身体化学感测数据、功能磁成像(fMRI)数据和功能近红外数据(fNIR)。
在一个相关方面，方法1600可以包括：在1720处，基于测量一个或多个用户在参与已知的音频-视频刺激(例如与该内容为相同类型的可比较内容)时的相似非自愿响应的进一步传感器数据来确定期望平均唤起度。可比较内容可以包括旨在用于相似的受众和平台并具有相似长度的相同类型的内容。在一个相关方面，方法1600可以包括：在1730处，播放包括已知的非唤起刺激和已知的唤起刺激的已知的音频-视频刺激，以用于传感器数据的校准。在1740处，方法1600的确定CEP的至少一个数字表示可以进一步包括基于传感器数据超过阈值达一段时间，检测一个或多个刺激事件。在这种情况下，方法1600可以包括针对一个或多个用户中的每一个并且针对刺激事件中的每一个运算多个事件能力中的一个，并且聚合这些事件能力。在一个方面，处理器可以基于传感器数据的一个或多个源标识为事件能力中的每一个分配权重。这些操作和事件能力的附加解释在上面结合图10进行描述。
在一个相关方面，方法1600可以包括：在1750处，至少部分通过基于进一步传感器数据超过阈值达一段时间而检测一个或多个刺激事件，并且针对一个或多个用户并针对刺激事件中的每一个来运算已知的音频-视频刺激的多个期望能力之一，由此确定期望平均唤起度。另外，在1760处，确定CEP的至少一个数字表示可以包括运算事件能力的总和与期望能力的聚合的比率，如在上文结合图12所提供的表达式所示。
参见图18，其示出某些附加操作1800，方法1600还可以包括：在1810处，基于将唤起度值与音频-视频内容的目标情绪情节进行比较来确定唤起度误差测量值。目标情绪情节可以是或可以包括评价度的一组目标数字表示，每个数字表示与数字音频-视频内容的连续时间序列或帧序列的不同间隔唯一地相关联。误差可以通过值的差、值的比率或者差和比率的组合(例如，(目标–实际)/目标)来测量。在一个相关方面，方法1600可以进一步包括：在1820处，基于传感器数据确定评价度的数字表示。评价度的数字表示可以包括指示与检测到的情绪的量值相对应的(一个或多个)传感器信号的幅度或功率的定量量度。用于评价度的合适的传感器数据可以包括例如以下一项或多项：脑电图(EEG)数据、面部肌电图(fEMG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、功能磁成像(fMRI)数据、身体化学感测数据、人声识别数据和功能近红外数据(fNIR)。方法1600可以包括例如基于传感器数据确定评价度的数字表示，例如通过计算机处理器进行滤波以去除噪声和失真，按比例标准化，以及转换为以二进制代码表达的符号数字值的时间相关列表。
在一个相关方面，方法1600可以进一步包括：在1830处，基于为已知音频-视频刺激收集的相似值来标准化评价度的数字表示。“相似值”是指使用与评价度的数字表示相同的方法和处理算法收集的值，或使用这些相同表示转换为可比较的值。已知的刺激可以包括如上文所述的校准刺激和标准化刺激。标准化操作1830利用来自与运算评价度误差的内容为相同类型的相似内容的标准化刺激。
在另一个相关方面，方法1600可以进一步包括：在1840处，基于将评价度的数字表示与音频-视频内容的目标情绪情节相比较来确定评价度误差测量值。目标情绪情节可以包括评价度的一组目标数字表示，每个数字表示与连续时间序列或帧序列的不同间隔唯一地相关联。帧序列是以恒定帧速率运行的内容的时间序列的一种形式。
在另一方面，CEP的至少一个数字表示包括CEP的数字表示的序列，其中基于音频-视频内容中的离散时段来运算该序列的每个组分。该离散时段可以由时间或帧计数来定义。方法1600可以进一步包括：在1850处，将CEP的至少一个数字表示的符号表示输出到显示屏或音频换能器中的至少一个。
情绪反馈也可以用于控制或影响现场娱乐。因此，方法1600可以包括：在1850处，记录包括由至少一个演员进行的现场表演的音频-视频内容的数字数据，并且将CEP和/或评价度或唤起度误差的表示或等效的量度输出到显示屏或音频换能器，该显示屏或音频换能器被布置为在现场表演期间由至少一个演员可感知。例如，显示屏可以包括舞台监视器，并且音频转换可以被结合到听筒中。因此，演员可以接收与评价度和唤起度有关的详细信息并且调整表演以达到预定目标。
图19是示出用于数字地表示用户参与计算机存储器中的音频-视频内容的装置或***1900的部件以及相关功能的概念性框图。装置或***1900可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，处理器1910和存储器1916可以包含如上所述的用于表示用户参与计算机存储器中的音频-视频内容的过程的实例。如所描绘的，装置或***1900可以包括可以表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图19所示，装置或***1900可以包括用于由输出设备播放包括音频-视频内容的数字数据的电子部件1902，该输出设备基于数字数据输出音频-视频输出。部件1902可以是或可以包括用于所述播放的装置。所述装置可以包括耦合到存储器1916并且耦合到至少一个生物特征传感器1914的输出的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。此类算法可以包括例如读取描述音频-视频内容的元数据，打开存储在计算机可读介质上的一个或多个文件或者经由流连接(streaming connection)接收音频-视频数据，解码音频-视频内容并根据该内容制作数字视频流和数字音频流，以及将这些流引导到相应的视频和音频处理器。
装置1900还可以包括用于从至少一个传感器接收传感器数据的电子部件1904，该至少一个传感器被定位成感测一个或多个用户在参与音频-视频输出时的非自愿响应。部件1904可以是或可以包括用于所述接收的装置。所述装置可以包括耦合到存储器1916的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。此类算法可以包括与播放器部件1902并行的一系列更详细的操作，例如，检查被分配用于接收传感器数据的一个或多个端口，解码在所分配的端口处接收的数据，检查数据质量并且可选地在数据质量未通过测试的情况下执行查错例程，以及将所解码的传感器数据保存在被限定为由部件1904和1906使用的高速缓存存储器位置中。
装置1900还可以包括用于基于传感器数据确定至少一个内容参与能力(CEP)值的电子部件1906。部件1906可以是或可以包括用于所述确定的装置。所述装置可以包括耦合到存储器1916的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。此类算法可以包括一系列更详细的操作，例如结合图12所描述的那样。
装置1900还可以包括用于将CEP的至少一个数字表示记录在计算机存储器中的电子部件1908。部件1908可以是或可以包括用于所述记录的装置。所述装置可以包括耦合到存储器1916的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。此类算法可以包括一系列更详细的操作，例如，连接到维持用于存储CEP和其他内容等级的数据库或其他数据结构的应用，将CEP编码到具有诸如每个应用程序接口(API)的内容标题和时间段或帧集合的相关关系数据的消息中，并且根据API发送该消息。
装置1900可以可选地包括具有至少一个处理器的处理器模块1910。处理器1910可以经由总线1913或相似的通信耦合与模块1902-1908可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器1910可以发起和调度由电子部件1902-1908执行的过程或功能。
在相关方面中，装置1900可以包括网络接口模块1912或等效的I/O端口，其可操作用于通过计算机网络与***部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wi-Fi接口或蜂窝电话接口。在另外的相关方面中，装置1900可以可选地包括用于存储信息的模块，诸如，例如，存储器设备1916。计算机可读介质或存储器模块1916可以经由总线1913等可操作地耦合到装置1900的其他部件。存储器模块1916可以适于存储计算机可读指令和数据，以影响模块1902-1908及其子部件或处理器1910、方法1600以及本文公开的一个或多个附加操作1700-1800，或本文所述的媒体播放器执行的任何方法的过程和行为。存储器模块1916可以保留用于执行与模块1902-1908相关联的功能的指令。尽管示出为在存储器1916外部，但是应当理解，模块1902-1908可以存在于存储器1916或处理器1910的片上存储器内。
装置1900可以包括或者可以连接到一个或多个生物特征传感器1914，生物特征传感器1914可以是任何合适的类型。合适的生物特征传感器的各种示例在上文中进行了描述。在替代实施例中，处理器1910可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置1900可以经由I/O模块1912或其他输出端口连接到本文所述的输出设备。
本领域技术人员将进一步理解，结合本文公开的方面描述的各种说明性的逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面总体上描述了硬件和软件、各种说明性部件、块、模块、电路和步骤的可互换性。将这种功能实现为硬件还是软件取决于施加于整个***的应用和设计约束。技术人员可以针对每个应用以变化的方式来实施所描述的功能，但是这种实施决定不应被解释为导致脱离本公开的范围。
如在本申请中使用的，术语“部件”、“模块”、“***”等旨在指与计算机有关的实体，可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，部件或模块可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过说明的方式，在服务器上运行的应用和服务器都可以是部件或模块。一个或多个部件或模块可以驻留在执行的进程和/或线程中，并且部件或模块可以位于一个计算机上和/或分布在两个或多个计算机之间。
将根据可以包括几个部件、模块等的***来呈现各个方面。应当理解和意识到，各种***可以包括附加部件、模块等，和/或可以不包括结合附图所讨论的所有部件、模块等。也可以使用这些方法的组合。可以在电气设备上执行本文公开的各个方面，该电气设备包括利用触摸屏显示技术、平视用户接口、可佩戴接口和/或鼠标和键盘类型的接口的设备。这种设备的示例包括VR输出设备(例如VR头戴式受话器)、AR输出设备(例如AR头戴式受话器)、计算机(台式和移动式)、电视、数字投影仪、智能电话、个人数字助理(PDA)和有线和无线的其他电子设备。
另外，结合本文公开的方面描述的各种说明性逻辑块、模块和电路可以用设计用于执行本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备(PLD)或复杂PLD(CPLD)、离散门或晶体管逻辑、离散硬件部件或其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心结合，或任何其他此类配置。
本文公开的操作方面可以直接体现在硬件中、由处理器执行的软件模块中，或两者的组合中。软件模块可以驻留在RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、数字多功能磁盘(DVD)、Blu-rayTM或本领域已知的任何其他形式的存储介质。示例性存储介质耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在替代方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在客户端设备或服务器中。在替代方案中，处理器和存储介质可以作为离散部件驻留在客户端设备或服务器中。
此外，可以使用标准编程和/或工程技术来产生软件、固件、硬件或其任意组合以控制计算机实施所公开的方面来将一个或多个版本实施为方法、装置或制品。非暂时性计算机可读介质可以包括但不限于磁存储设备(例如硬盘、软盘、磁条或其他格式)、光盘(例如压缩盘(CD)、DVD、Blu-rayTM或其他格式)、智能卡和闪速存储器设备(例如卡、棒或其他格式)。当然，本领域技术人员将认识到可以在不脱离所公开的方面的范围的情况下对该配置进行许多修改。
提供对所公开的方面的先前描述以使本领域的任何技术人员能够制造或使用本公开。对这些方面的各种修改对于本领域技术人员将是清楚的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实施例。因此，本公开并非旨在限于本文中所示的实施例，而是应被赋予与本文中公开的原理和新颖性特征一致的最广范围。
鉴于上文描述的示例性***，已经参考几个流程图描述了可以根据所公开的主题实施的方法。尽管为了简化说明的目的，将方法论示出并描述为一系列框，但是应当理解和认识到，所要求保护的主题不受框的顺序限制，因为一些框可以以不同的顺序进行，和/或与本文所描绘和描述的其他框同时进行。此外，并非需要所有示出的框来实施本文描述的方法。另外，应当进一步认识到，本文公开的方法能够存储在制品上，以便于将这样的方法传递和转移到计算机。

Claims (41)

1.一种用于数字地表示用户参与计算机存储器中的音频-视频内容的计算机实施方法，所述方法包括：
由输出设备播放包括音频-视频内容的数字数据，所述输出设备基于所述数字数据输出音频-视频输出；
由至少一个计算机处理器从至少一个传感器接收传感器数据，所述至少一个传感器被定位成感测一个或多个用户在参与所述音频-视频输出时的非自愿响应；
通过由所述至少一个计算机处理器执行的算法基于所述传感器数据确定内容参与能力CEP的至少一个数字表示；以及
将CEP的所述至少一个数字表示记录在计算机存储器中。
2.根据权利要求1所述的方法，其中确定CEP的所述至少一个数字表示还包括基于所述传感器数据确定唤起度值，并且将基于所述传感器数据的刺激平均唤起度与期望平均唤起度进行比较。
3.根据权利要求2所述的方法，其中所述传感器数据包括以下一项或多项：脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、身体化学感测数据、功能磁成像fMRI数据和功能近红外数据fNIR。
4.根据权利要求2所述的方法，其还包括基于测量所述一个或多个用户在参与已知的音频-视频刺激时的相似非自愿响应的进一步传感器数据来确定所述期望平均唤起度。
5.根据权利要求4所述的方法，其还包括播放所述已知的音频-视频刺激，所述已知的音频-视频刺激包括已知的非唤起刺激和已知的唤起刺激。
6.根据权利要求4所述的方法，其中确定CEP的所述至少一个数字表示还包括基于所述传感器数据超过阈值达一段时间，检测一个或多个刺激事件。
7.根据权利要求6所述的方法，其还包括针对所述一个或多个用户中的每一个并且针对所述刺激事件中的每一个运算多个事件能力中的一个，并且聚合所述事件能力。
8.根据权利要求7所述的方法，其还包括基于所述传感器数据的一个或多个源标识为所述事件能力中的每一个分配权重。
9.根据权利要求7所述的方法，其中确定所述期望平均唤起度还包括基于所述进一步传感器数据超过阈值达一段时间而检测一个或多个刺激事件，并且针对所述一个或多个用户并针对所述刺激事件中的每一个来运算所述已知的音频-视频刺激的多个期望能力之一。
10.根据权利要求9所述的方法，其中确定CEP的所述至少一个数字表示包括运算所述事件能力的总和与所述期望能力的聚合的比率。
11.根据权利要求2所述的方法，其还包括基于比较所述唤起度值与所述音频-视频内容的目标情绪情节来确定唤起度误差测量值。
12.根据权利要求11所述的方法，其中所述目标情绪情节包括一组目标唤起度值，每个目标唤起度值与连续时间序列的不同间隔唯一地关联。
13.根据权利要求2所述的方法，其还包括基于所述传感器数据确定评价度的数字表示。
14.根据权利要求13所述的方法，其中所述传感器数据包括以下一项或多项：脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁成像fMRI数据、身体化学感测数据、默读数据和功能近红外数据fNIR。
15.根据权利要求13所述的方法，其还包括基于为已知的音频-视频刺激收集的相似值来标准化评价度的所述数字表示。
16.根据权利要求13所述的方法，其还包括基于比较评价度的所述数字表示与所述音频-视频内容的目标情绪情节来确定评价度误差测量值。
17.根据权利要求16所述的方法，其中所述目标情绪情节包括评价度的一组目标数字表示，每个评价度的目标数字表示与连续时间序列的不同间隔唯一地关联。
18.根据权利要求1所述的方法，其中CEP的所述至少一个数字表示包括CEP的数字表示的序列，其中基于所述音频-视频内容中的离散时段来运算所述序列的每个成分。
19.根据权利要求1所述的方法，其还包括将CEP的所述至少一个数字表示的符号表示输出到显示屏或音频换能器中的至少一个。
20.根据权利要求19所述的方法，其还包括记录至少一个演员的现场表演的所述数字数据并且将所述数字表示输出到布置成由所述至少一个演员可感知的所述显示屏或所述音频换能器。
21.一种用于数字地表示用户参与计算机存储器中的音频-视频内容的装置，其包括耦合到存储器的处理器，所述存储器保存程序指令，所述程序指令在被所述处理器执行时促使所述装置执行：
由输出设备播放包括音频-视频内容的数字数据，所述输出设备基于所述数字数据输出音频-视频输出；
从至少一个传感器接收传感器数据，所述至少一个传感器被定位成感测一个或多个用户在参与所述音频-视频输出时的非自愿响应；
基于所述传感器数据确定至少一个内容参与能力CEP值；以及
将CEP的所述至少一个数字表示记录在计算机存储器中。
22.根据权利要求21所述的装置，其中所述存储器还保存用于以下操作的指令：至少部分通过基于所述传感器数据确定唤起度值，并且将基于所述传感器数据的刺激平均唤起度与期望平均唤起度进行比较，来确定CEP的所述至少一个数字表示。
23.根据权利要求22所述的装置，其中所述存储器还保存用于以下操作的指令：接收包括脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、功能磁成像fMRI数据、身体化学感测数据和功能近红外数据fNIR中的一个或多个的所述传感器数据。
24.根据权利要求22所述的装置，其中所述存储器还保存用于以下操作的指令：基于测量所述一个或多个用户在参与已知的音频-视频刺激时的相似非自愿响应的进一步传感器数据来确定所述期望平均唤起度。
25.根据权利要求24所述的装置，其中所述存储器还保存用于以下操作的指令：播放所述已知的音频-视频刺激，所述已知的音频-视频刺激包括已知的非唤起刺激和已知的唤起刺激。
26.根据权利要求24所述的装置，其中所述存储器还保存用于以下操作的指令：至少部分通过基于所述传感器数据超过阈值达一段时间而检测一个或多个刺激事件来确定CEP的所述至少一个数字表示。
27.根据权利要求26所述的装置，其中所述存储器还保存用于以下操作的指令：针对所述一个或多个用户中的每一个并且针对所述刺激事件中的每一个运算多个事件能力中的一个，并且聚合所述事件能力。
28.根据权利要求27所述的装置，其中所述存储器还保存用于以下操作的指令：基于所述传感器数据的一个或多个源标识为所述事件能力中的每一个分配权重。
29.根据权利要求27所述的装置，其中所述存储器还保存用于以下操作的指令：基于所述进一步传感器数据超过阈值达一段时间而检测一个或多个刺激事件，并且针对所述一个或多个用户并针对所述刺激事件中的每一个来运算所述已知的音频-视频刺激的多个期望能力之一。
30.根据权利要求29所述的装置，其中所述存储器还保存用于以下操作的指令：至少部分通过运算所述事件能力的总和与所述期望能力的聚合的比率来确定CEP的所述至少一个数字表示。
31.根据权利要求22所述的装置，其中所述存储器还保存用于以下操作的指令：基于比较所述唤起度值与所述音频-视频内容的目标情绪情节来确定唤起度误差测量值。
32.根据权利要求31所述的装置，其中所述存储器还保存用于所述比较的指令，其中所述目标情绪情节包括一组目标唤起度值，每个目标唤起度值与连续时间序列的不同间隔唯一地关联。
33.根据权利要求22所述的装置，其中所述存储器还保存用于以下操作的指令：基于所述传感器数据确定评价度的数字表示。
34.根据权利要求33所述的装置，其中所述存储器还保存用于确定评价度的数字表示的指令，其中所述传感器数据包括以下一项或多项：脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁成像fMRI数据、身体化学感测数据和功能近红外数据fNIR。
35.根据权利要求33所述的装置，其中所述存储器还保存用于以下操作的指令：基于为已知的音频-视频刺激收集的相似值来标准化评价度的所述数字表示。
36.根据权利要求33所述的装置，其中所述存储器还保存用于以下操作的指令：基于比较评价度的所述数字表示与所述音频-视频内容的目标情绪情节来确定评价度误差测量值。
37.根据权利要求36所述的装置，其中所述存储器还保存用于基于所述目标情绪情节确定所述评价度误差的指令，所述目标情绪情节包括评价度的一组目标数字表示，每个评价度的目标数字表示与连续时间序列的不同间隔唯一地关联。
38.根据权利要求21所述的装置，其中所述存储器还保存用于确定CEP的所述至少一个数字表示的指令，CEP的所述至少一个数字表示包括CEP的数字表示的序列，其中基于所述音频-视频内容中的离散时段来运算所述序列的每个成分。
39.根据权利要求21所述的装置，其中所述存储器还保存用于以下操作的指令：将CEP的所述至少一个数字表示的符号表示输出到显示屏或音频换能器中的至少一个。
40.根据权利要求39所述的装置，其中所述存储器还保存用于以下操作的指令：记录至少一个演员的现场表演的所述数字数据并且将所述数字表示输出到布置成由所述至少一个演员可感知的所述显示屏或所述音频换能器。
41.一种用于数字地表示用户参与计算机存储器中的音频-视频内容的装置，其包括：
用于由输出设备播放包括音频-视频内容的数字数据的装置，所述输出设备基于所述数字数据输出音频-视频输出；
用于从至少一个传感器接收传感器数据的装置，所述至少一个传感器被定位成感测一个或多个用户在参与所述音频-视频输出时的非自愿响应；
用于基于所述传感器数据确定至少一个内容参与能力CEP值的装置；以及
用于将CEP的所述至少一个数字表示记录在计算机存储器中的装置。
CN201880077053.XA 2017-09-29 2018-09-28 基于生物特征传感器数据数字地表示用户参与定向内容 Active CN111758229B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762566257P 2017-09-29 2017-09-29
US62/566,257 2017-09-29
US201862614811P 2018-01-08 2018-01-08
US62/614,811 2018-01-08
US201862661556P 2018-04-23 2018-04-23
US62/661,556 2018-04-23
US201862715766P 2018-08-07 2018-08-07
US62/715,766 2018-08-07
PCT/US2018/053614 WO2019068025A1 (en) 2017-09-29 2018-09-28 DIGITAL REPRESENTATION OF USER IMPLICATION WITH CONTENT DIRECTED BASED ON BIOMETRIC SENSOR DATA

Publications (2)

Publication Number Publication Date
CN111758229A true CN111758229A (zh) 2020-10-09
CN111758229B CN111758229B (zh) 2022-06-24

Family

ID=65902772

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880076920.8A Active CN111742560B (zh) 2017-09-29 2018-09-27 向用户提供影视内容的方法和装置
CN201880077053.XA Active CN111758229B (zh) 2017-09-29 2018-09-28 基于生物特征传感器数据数字地表示用户参与定向内容
CN201880076549.5A Active CN111936036B (zh) 2017-09-29 2018-09-28 使用生物特征传感器数据检测神经状态来指导现场娱乐

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201880076920.8A Active CN111742560B (zh) 2017-09-29 2018-09-27 向用户提供影视内容的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880076549.5A Active CN111936036B (zh) 2017-09-29 2018-09-28 使用生物特征传感器数据检测神经状态来指导现场娱乐

Country Status (5)

Country Link
US (3) US11343596B2 (zh)
EP (3) EP3688997A4 (zh)
KR (4) KR20200127969A (zh)
CN (3) CN111742560B (zh)
WO (3) WO2019067783A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120240A (zh) * 2022-08-30 2022-09-30 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200127969A (ko) 2017-09-29 2020-11-11 워너 브로스. 엔터테인먼트 인크. 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10848819B2 (en) 2018-09-25 2020-11-24 Rovi Guides, Inc. Systems and methods for adjusting buffer size
US11412298B1 (en) * 2018-10-02 2022-08-09 Wells Fargo Bank, N.A. Systems and methods of interactive goal setting tools
US11265597B2 (en) * 2018-10-23 2022-03-01 Rovi Guides, Inc. Methods and systems for predictive buffering of related content segments
US11417045B2 (en) * 2019-04-08 2022-08-16 Battelle Memorial Institute Dialog-based testing using avatar virtual assistant
WO2020223529A1 (en) * 2019-05-01 2020-11-05 Massachusetts Institute Of Technology Software and methods for controlling neural responses in deep brain regions
JP2020188947A (ja) * 2019-05-22 2020-11-26 本田技研工業株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
US11298559B2 (en) * 2019-05-24 2022-04-12 Galibots Inc. Independent readiness determination for automated external defibrillator deployment
US20220273226A1 (en) * 2019-06-04 2022-09-01 The Boeing Company Method for evaluating projection content in enclosed environment, apparatus, and storage medium
WO2020249726A1 (en) * 2019-06-12 2020-12-17 Unity IPR ApS Method and system for managing emotional relevance of objects within a story
US11636117B2 (en) * 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
US11429839B2 (en) * 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines
US11985365B2 (en) * 2019-09-24 2024-05-14 Sony Group Corporation Information processing device, information processing system, and information processing method
CN110719505B (zh) * 2019-09-26 2022-02-25 三星电子（中国）研发中心 一种基于情绪的共享媒体内容提供方法及***
US11601693B2 (en) 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
US11532245B2 (en) 2019-10-01 2022-12-20 Warner Bros. Entertainment Inc. Technical solutions for customized tours
US11645578B2 (en) 2019-11-18 2023-05-09 International Business Machines Corporation Interactive content mobility and open world movie production
US11496802B2 (en) * 2019-11-29 2022-11-08 International Business Machines Corporation Media stream delivery
US11537209B2 (en) * 2019-12-17 2022-12-27 Activision Publishing, Inc. Systems and methods for guiding actors using a motion capture reference system
CN111221416B (zh) * 2020-01-06 2021-12-07 腾讯科技（深圳）有限公司 一种虚拟道具分配的方法、服务器及终端设备
US11483593B2 (en) * 2020-01-28 2022-10-25 Smart Science Technology, LLC System for providing a virtual focus group facility
US11538355B2 (en) * 2020-03-24 2022-12-27 Panasonic Intellectual Property Management Co., Ltd. Methods and systems for predicting a condition of living-being in an environment
EP3925521A1 (en) * 2020-06-18 2021-12-22 Rockwell Collins, Inc. Contact-less passenger screening and identification system
US20210393148A1 (en) * 2020-06-18 2021-12-23 Rockwell Collins, Inc. Physiological state screening system
US11691076B2 (en) * 2020-08-10 2023-07-04 Jocelyn Tan Communication with in-game characters
EP4205099A1 (en) * 2020-08-28 2023-07-05 Mindwell Labs Inc. Systems and method for measuring attention quotient
US11487891B2 (en) * 2020-10-14 2022-11-01 Philip Chidi Njemanze Method and system for mental performance computing using artificial intelligence and blockchain
KR102450432B1 (ko) * 2020-11-19 2022-10-04 주식회사 핏투게더 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
US11527046B2 (en) 2020-11-30 2022-12-13 Sony Interactive Entertainment LLC. Real world beacons indicating virtual locations
JP2023552931A (ja) * 2020-12-14 2023-12-20 船井電機株式会社 複数ユーザのリアルタイムイマ－ジョン
WO2022141894A1 (zh) * 2020-12-31 2022-07-07 苏州源想理念文化发展有限公司 融合表情和肢体运动的三维特征情绪分析方法
CN112800252A (zh) * 2020-12-31 2021-05-14 腾讯科技（深圳）有限公司 虚拟场景中媒体文件的播放方法、装置、设备及存储介质
CN112992186B (zh) * 2021-02-04 2022-07-01 咪咕音乐有限公司 音频处理方法、装置、电子设备及存储介质
US20240130651A1 (en) * 2021-03-24 2024-04-25 Nec Corporation Information processing device, control method, and storage medium
US20240135095A1 (en) * 2021-05-24 2024-04-25 Narrative Science Llc Applied Artificial Intelligence Technology for Natural Language Generation Using a Story Graph and Configurable Structurer Code
FR3123487B1 (fr) 2021-05-27 2024-01-19 Ovomind K K Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo
CN113221850B (zh) * 2021-06-09 2023-02-03 上海外国语大学 基于观众特征、LPP和θ波的影视剧演员选取方法
WO2022272057A1 (en) * 2021-06-24 2022-12-29 Innsightful, Inc. Devices, systems, and methods for mental health assessment
CN113420553A (zh) * 2021-07-21 2021-09-21 北京小米移动软件有限公司 文本生成方法、装置、存储介质及电子设备
US11908478B2 (en) 2021-08-04 2024-02-20 Q (Cue) Ltd. Determining speech from facial skin movements using a housing supported by ear or associated with an earphone
WO2024018400A2 (en) * 2022-07-20 2024-01-25 Q (Cue) Ltd. Detecting and utilizing facial micromovements
US20230038347A1 (en) * 2021-08-09 2023-02-09 Rovi Guides, Inc. Methods and systems for modifying a media content item based on user reaction
CN117795551A (zh) * 2021-08-11 2024-03-29 三星电子株式会社 用于自动捕捉和处理用户图像的方法和***
US11651528B2 (en) * 2021-09-22 2023-05-16 Rockwell Automation Technologies, Inc. Systems and methods for providing context-based data for an industrial automation system
WO2023075746A1 (en) * 2021-10-25 2023-05-04 Earkick, Inc. Detecting emotional state of a user
CN114170356B (zh) * 2021-12-09 2022-09-30 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质
US11849179B2 (en) * 2021-12-21 2023-12-19 Disney Enterprises, Inc. Characterizing audience engagement based on emotional alignment with characters
KR102541146B1 (ko) 2021-12-22 2023-06-13 주식회사 메디컬에이아이 블록체인을 통한 심전도 데이터 디지털 콘텐츠화 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기재된 기록 매체
WO2023128841A1 (en) * 2021-12-27 2023-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and means for rendering extended reality
US20230395078A1 (en) * 2022-06-06 2023-12-07 Cerence Operating Company Emotion-aware voice assistant
US11930226B2 (en) * 2022-07-29 2024-03-12 Roku, Inc. Emotion evaluation of contents
KR102567931B1 (ko) * 2022-09-30 2023-08-18 주식회사 아리아스튜디오 시청자 반응을 기초로 인터랙티브 시나리오를 업데이트하는 콘텐츠 생성 플랫폼 장치
CN117041807B (zh) * 2023-10-09 2024-01-26 深圳市迪斯声学有限公司 蓝牙耳机播放控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US20100211439A1 (en) * 2006-09-05 2010-08-19 Innerscope Research, Llc Method and System for Predicting Audience Viewing Behavior
US20140150002A1 (en) * 2012-11-29 2014-05-29 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US20140270683A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Measuring user engagement of content
CN106164959A (zh) * 2014-02-06 2016-11-23 威图数据研究公司 行为事件测量***和相关方法

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305131A (en) * 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
JP4432246B2 (ja) 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
DE10242903A1 (de) * 2002-09-16 2004-03-25 Denz, Peter, Dipl.-Ing. Verfahren zum Übermitteln von Regie- und ähnlichen Anweisungen an Personen
US20060005226A1 (en) * 2004-05-17 2006-01-05 Lee Peter S System and method for synchronization of a portable media player to a user's profile
US7694226B2 (en) 2006-01-03 2010-04-06 Eastman Kodak Company System and method for generating a work of communication with supplemental context
WO2008129356A2 (en) * 2006-03-13 2008-10-30 Imotions-Emotion Technology A/S Visual attention and emotional response detection and display system
WO2008030493A2 (en) * 2006-09-05 2008-03-13 Innerscope Research, Llc Method and system for determining audience response to a sensory stimulus
US20140323899A1 (en) * 2006-12-22 2014-10-30 Neuro-Insight Pty. Ltd. Psychological Evaluation and Methods of Use
US8260189B2 (en) 2007-01-03 2012-09-04 International Business Machines Corporation Entertainment system using bio-response
US8583615B2 (en) * 2007-08-31 2013-11-12 Yahoo! Inc. System and method for generating a playlist from a mood gradient
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US8069125B2 (en) 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8125314B2 (en) 2008-02-05 2012-02-28 International Business Machines Corporation Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US20140221866A1 (en) 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
US9959549B2 (en) * 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US11056225B2 (en) * 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10198775B2 (en) 2010-06-23 2019-02-05 Microsoft Technology Licensing, Llc Acceleration of social interactions
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
GB201109731D0 (en) 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US20170251262A1 (en) * 2011-11-07 2017-08-31 Monet Networks, Inc. System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations
US8943526B2 (en) * 2011-12-02 2015-01-27 Microsoft Corporation Estimating engagement of consumers of presented content
EP2790582A1 (en) * 2011-12-16 2014-10-22 Koninklijke Philips N.V. History log of user's activities and associated emotional states
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US8904419B2 (en) * 2012-03-19 2014-12-02 Rentrak Corporation System and method for measuring television audience engagement
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
KR101445923B1 (ko) * 2012-08-06 2014-11-03 경희대학교 산학협력단 대화형 전시 서비스 제공 방법
US10459972B2 (en) * 2012-09-07 2019-10-29 Biobeats Group Ltd Biometric-music interaction methods and systems
CA2924837A1 (en) * 2012-09-17 2014-03-20 Mario Perron System and method for participants to perceivably modify a performance
US9833698B2 (en) * 2012-09-19 2017-12-05 Disney Enterprises, Inc. Immersive storytelling environment
EP2906114A4 (en) * 2012-10-11 2016-11-16 Univ City New York Res Found PREDICTION OF THE RESPONSE TO A STIMULUS
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US20150193089A1 (en) 2013-01-15 2015-07-09 Google Inc. Dynamic presentation systems and methods
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
US10084880B2 (en) 2013-11-04 2018-09-25 Proteus Digital Health, Inc. Social media networking based on physiologic information
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
GB201402533D0 (en) * 2014-02-13 2014-04-02 Piksel Inc Sensed content delivery
US9681166B2 (en) 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
GB2524241A (en) * 2014-03-17 2015-09-23 Justin Philip Pisani Sensor media control device
US10120413B2 (en) 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
EP3032455A1 (en) * 2014-12-09 2016-06-15 Movea Device and method for the classification and the reclassification of a user activity
WO2016172557A1 (en) 2015-04-22 2016-10-27 Sahin Nedim T Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
US9788056B2 (en) * 2015-06-26 2017-10-10 Rovi Guides, Inc. System and methods for stimulating senses of users of a media guidance application
US10338939B2 (en) 2015-10-28 2019-07-02 Bose Corporation Sensor-enabled feedback on social interactions
KR101716408B1 (ko) * 2015-11-09 2017-03-14 고려대학교 산학협력단 영상 컨텐츠의 몰입도 측정 방법 및 장치
US10025972B2 (en) 2015-11-16 2018-07-17 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features
US20170147202A1 (en) 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
US10431116B2 (en) * 2015-12-10 2019-10-01 International Business Machines Corporation Orator effectiveness through real-time feedback system with automatic detection of human behavioral and emotional states of orator and audience
WO2017105385A1 (en) 2015-12-14 2017-06-22 Thomson Licensing Apparatus and method for obtaining enhanced user feedback rating of multimedia content
US20180373793A1 (en) * 2015-12-16 2018-12-27 Thomson Licensing Methods and apparatuses for processing biometric responses to multimedia content
CN106249903B (zh) * 2016-08-30 2019-04-19 广东小天才科技有限公司 一种虚拟现实场景内容的播放方法及装置
US10097888B2 (en) * 2017-02-06 2018-10-09 Cisco Technology, Inc. Determining audience engagement
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端
US11723566B2 (en) * 2017-05-09 2023-08-15 Eye-Minders Ltd. Deception detection system and method
US11070862B2 (en) 2017-06-23 2021-07-20 At&T Intellectual Property I, L.P. System and method for dynamically providing personalized television shows
US10511888B2 (en) * 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
KR20200127969A (ko) 2017-09-29 2020-11-11 워너 브로스. 엔터테인먼트 인크. 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
KR102649074B1 (ko) 2018-01-08 2024-03-18 워너 브로스. 엔터테인먼트 인크. 신경 생리학적 상태의 검출을 위한 사회적 상호작용 애플리케이션
US10880601B1 (en) * 2018-02-21 2020-12-29 Amazon Technologies, Inc. Dynamically determining audience response to presented content using a video feed
US10542314B2 (en) 2018-03-20 2020-01-21 At&T Mobility Ii Llc Media content delivery with customization
GB201809388D0 (en) * 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
US11086907B2 (en) 2018-10-31 2021-08-10 International Business Machines Corporation Generating stories from segments classified with real-time feedback data
US11429839B2 (en) 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US20100211439A1 (en) * 2006-09-05 2010-08-19 Innerscope Research, Llc Method and System for Predicting Audience Viewing Behavior
US20140150002A1 (en) * 2012-11-29 2014-05-29 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US20140270683A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Measuring user engagement of content
CN106164959A (zh) * 2014-02-06 2016-11-23 威图数据研究公司 行为事件测量***和相关方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115120240A (zh) * 2022-08-30 2022-09-30 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN115120240B (zh) * 2022-08-30 2022-12-02 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质

Also Published As

Publication number Publication date
KR20200127150A (ko) 2020-11-10
EP3688997A4 (en) 2021-09-08
WO2019067783A1 (en) 2019-04-04
KR20200130231A (ko) 2020-11-18
CN111742560A (zh) 2020-10-02
EP3687388A1 (en) 2020-08-05
EP3688997A1 (en) 2020-08-05
US11303976B2 (en) 2022-04-12
US20200296458A1 (en) 2020-09-17
CN111936036A (zh) 2020-11-13
KR20200127969A (ko) 2020-11-11
KR102662981B1 (ko) 2024-05-02
US11343596B2 (en) 2022-05-24
EP3688897A1 (en) 2020-08-05
CN111742560B (zh) 2022-06-24
WO2019068025A1 (en) 2019-04-04
CN111936036B (zh) 2023-09-26
KR20240011874A (ko) 2024-01-26
WO2019068035A1 (en) 2019-04-04
EP3688897A4 (en) 2021-08-04
CN111758229B (zh) 2022-06-24
US20200297262A1 (en) 2020-09-24
EP3687388A4 (en) 2021-07-07
US20200296480A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
CN111758229B (zh) 基于生物特征传感器数据数字地表示用户参与定向内容
US20200405213A1 (en) Content generation and control using sensor data for detection of neurological state
US20230221801A1 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US10606353B2 (en) Systems and methods for collecting, analyzing, and sharing bio-signal and non-bio-signal data
US20170293356A1 (en) Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
US20240134454A1 (en) System and method for controlling digital cinematic content based on emotional state of characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant