CN112352390A - 利用用于检测神经状态的传感器数据进行内容生成和控制 - Google Patents

利用用于检测神经状态的传感器数据进行内容生成和控制 Download PDF

Info

Publication number
CN112352390A
CN112352390A CN201980017606.7A CN201980017606A CN112352390A CN 112352390 A CN112352390 A CN 112352390A CN 201980017606 A CN201980017606 A CN 201980017606A CN 112352390 A CN112352390 A CN 112352390A
Authority
CN
China
Prior art keywords
data
user
neurophysiological
content
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980017606.7A
Other languages
English (en)
Inventor
A·A·查佩尔
L·S·奥斯特罗夫
C·麦克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Warner Bros Entertainment Inc
Original Assignee
Warner Bros Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Warner Bros Entertainment Inc filed Critical Warner Bros Entertainment Inc
Publication of CN112352390A publication Critical patent/CN112352390A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/161—Flicker fusion testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/352—Details of game servers involving special game server arrangements, e.g. regional servers connected to a national server or a plurality of servers managing partitions of the game world
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70—Game security or game management aspects
    • A63F13/79—Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/38—Arrangements for distribution where lower stations, e.g. receivers, interact with the broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Neurosurgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

内容参与能力(CEP)值的应用包括生成脚本、文本或其他通信内容，或者用于基于神经生理数据控制通信内容的播出、采集与通信内容的消费相关的神经生理数据，或对个人通信的有效性进行评级。基于处理的神经生理传感器数据计算CEP，以沿诸如评价度、唤起度和优势度等多个维度来表达对内容的参与。一种装置被配置为使用硬件、固件和/或软件来执行该方法。

Description

利用用于检测神经状态的传感器数据进行内容生成和控制
相关申请的交叉引用
本申请要求于2018年1月8日提交的美国临时专利申请序列号62/614,811、于2018年4月23日提交的美国临时专利申请序列号62/661,556和于2018年8月7日提交的美国临时专利申请序列号62/715,766的优先权，其全部内容通过引用整体并入本文。
技术领域
本公开涉及在用于生成或控制语言内容和其他形式的通信内容的应用中用于对来自用户神经状态的检测的传感器数据进行信号处理的应用、方法和装置。
发明内容
本发明内容和以下具体实施方式应被解释为整体公开的补充部分，这些部分可以包括冗余的主题和/或补充的主题。任何节段中的省略均不指示该整体申请中描述的任何要素的优先级或相对重要性。这些节段之间的差异可以包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述，其根据相应的公开内容是明显的。2018年4月23日提交的序列号为62/661,556的在先申请为数字地表示用户参与音频-视频内容打下了基础，包括但不限于基于传感器数据的内容参与能力(CEP)的数字表示。如在较早申请中更充分描述的，计算机处理基于来自至少一个传感器的传感器数据来开发针对内容的CEP，该至少一个传感器被定位成感测一个或多个用户在参与音频-视频输出时的非自愿响应。例如，传感器数据可以包括从相应传感器接收到的以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和身体化学感测数据和功能近红外数据(fNIR)。“用户”是指受众成员、出于娱乐目的作为消费者而体验通信内容的人。本申请建立在此基础上，在以下总结的各种应用中使用CEP。
CEP是用户的神经生理状态的客观、算法和数字电子量度，其与用户对刺激(例如分支内容)的参与相关。CEP表达至少两个正交量度，例如唤起度(arousal)和评价度(valence)。如本文所用，“唤起度”是指根据其心理学含义而处于生理机敏、清醒和注意的状态或状况。高唤起度指示感兴趣和关心，而低唤起度指示无聊和不感兴趣。“评价度”在这里也以其吸引力或美学的心理意义来使用。正评价度指示吸引，而负评价度指示厌恶。如本文所用，“神经生理”是指指示或源自人的生理状态、神经状态或这两种状态。“生物特征”是指生物状态的量度，其涵盖“神经生理”并且可以涵盖其他信息，例如身份信息。某些数据(例如人的脸或其他身体部位的图像)可以既指示身份又指示神经生理状态。
在本公开的一方面，在用于生成脚本的方法中使用CEP或类似量度。该方法可以包括由至少一个处理器针对角色交互中的参与者将认知鉴别模型的一个或多个参数随机化。该方法还可以包括由至少一个处理器至少部分地通过对角色交互进行建模同时在多个脚本中的不同脚本之间改变参数来生成脚本。该方法还可以包括对于多个脚本中的每一个，针对神经生理响应，基于认知鉴别模型来估计基于多个目标故事情节中的一个的有效性的量度。该方法可以包括将有效性的量度记录在计算机存储器中。
在一方面，估计有效性的量度可以包括基于认知鉴别模型来运算内容参与能力(CEP)。运算CEP值还可以包括确定唤起度值，并且将刺激平均唤起度与期望平均唤起度进行比较。另外，运算CEP值还可以确定评价度值。在相关方面，估计有效性的量度还可以包括基于将预测的神经生理响应与目标故事情节进行比较来确定神经误差测量。目标故事情节可以是或可以包括一组目标神经值，每个目标神经值与连续时间序列的不同间隔唯一地相关联。
在另一方面，一种用于生成通信内容(其包括单独的语言内容或与非语言内容协调的语言内容)的方法包括由至少一个处理器从一个或多个传感器接收神经生理数据，该传感器耦合到消费通信内容的片段的至少一个用户，其中该片段是从替代片段的库中选择的。该方法还可以包括由至少一个处理器对于片段中的每一个，基于神经生理数据和用于评定神经生理数据的认知鉴别模型，运算至少一个用户的神经生理响应的量度。该方法还可以包括由至少一个处理器将对于片段中的每一个的至少一个用户的神经生理响应的量度记录在与片段中的每一个的标识符相关联的计算机存储器中，以用于下列项中的至少一个：制作包括片段中的所选片段的通信内容，或者为多参与者通信会话选择参与者。该方法还可以包括至少部分地通过基于每个片段的至少一个用户的神经生理响应的相关联量度从库中选择片段并组合由该选择而选择的片段来生成通信内容。在一个方面，处理器可以针对各自消费片段的多个不同用户执行收集、运算和记录。
在一些应用中，例如，当多参与者通信会话包括计算机游戏或社交聊天会话时，该方法可以包括至少部分地通过选择多个不同用户中的针对对应的片段具有互补的神经生理响应的量度的用户，对多参与者通信会话的用户进行匹配。在某些情况下，这些片段基本上由语言内容组成，例如文本的书面部分。在其他情况下，这些片段基本上由音频内容(包括音乐)组成。因此，除了音频-视频内容之外，该方法对于生成文本文档和纯音频内容也是有用的。
该运算可以包括针对片段中的每一个确定如本文所述的内容参与能力(CEP)值或等效量度。确定CEP值可以包括基于神经生理数据确定唤起度值，并且将基于神经生理数据的刺激平均唤起度与期望平均唤起度进行比较，并且如本文其他地方所述的从生物特征传感器接收数据。该方法还可以包括基于来自生物特征传感器的神经生理数据来确定评价度值。对于片段中的每一个的至少一个用户的神经生理响应的量度可以包括至少一个评价度的指示。该选择还可以包括基于至少一个用户的神经生理响应的相关联量度和目标值之间的差，将误差指示符分配给每个片段的相关联量度，以及最小化具有分配的误差指示符的片段。
在另一方面，一种用于控制通信内容(其包括单独的语言内容或与非语言内容协调的语言内容)的呈现的方法包括当至少一个用户正在消费客户端设备上的内容的片段时，由至少一个处理器从耦合到该用户的一个或多个传感器接收神经生理数据，其中内容包括片段链。该方法还包括由至少一个处理器对于片段中的每一个，基于神经生理数据和用于评定神经生理数据的认知鉴别模型运算至少一个用户的神经生理响应的量度。该方法还包括由至少一个处理器基于针对片段的至少一个用户的神经生理响应的量度来选择链中的后续片段，并将该后续片段输出到客户端设备。这些片段可以包括内容语言内容、音频内容或音频-视频内容。
运算可以包括确定如本文中其他地方所述的对于片段中的每一个的内容参与能力(CEP)值。确定CEP值可以包括基于神经生理数据来确定唤起度值，并且将基于神经生理数据的刺激平均唤起度与期望平均唤起度进行比较，和/或基于神经生理数据来确定评价度值。本文其他地方描述了用于指示唤起度和评价度的传感器。该方法可以包括基于针对一组指定基线刺激而收集的对应值来标准化评价度或唤起度值。该选择还可以包括基于至少一个用户的神经生理响应的相关联量度和目标值之间的差，针对每个片段的相关联量度确定误差指示符，例如通过最小化具有分配的误差指示符的片段。
在另一方面，一种用于收集指示消费通信内容的用户的神经生理响应的神经生理数据的方法可以包括由移动设备的至少一个处理器检测移动设备的用户正在独立于移动设备消费通信内容。该方法还可以包括在用户正在消费通信内容时，由至少一个处理器经由移动设备中的一个或多个传感器来接收用户的神经生理数据。该方法还可以包括将神经生理数据或从中导出的用户的神经状态的指示符中的至少一个提供到以下中的至少一个：输出通信内容的第二设备、远程服务器或计算机存储器。
该方法还可以包括由至少一个处理器标识用于通信内容的标识符，并且将该标识符提供给远程服务器或计算机存储器中的至少一个。该方法可以包括由至少一个处理器基于神经生理数据和认知鉴别模型来运算用户的神经状态的指示符。该方法还可以包括在收集之前发起与输出通信内容的第二设备的通信会话。可以经由移动设备的至少一个传感器进行收集，该传感器包括麦克风、相机、红外传感器、相控阵传感器或皮肤电响应传感器。在一些实施例中，移动设备可以包括或耦合到腕戴式智能设备。在一些实施例中，移动设备协调通信内容的播放会话从第二设备到第三设备的切换。在一方面，移动设备不与第二设备通信。
在该方法的一方面，移动设备的至少一个处理器可以输出用户可感知信号，以在与通信内容的播放同步的时间吸引凝视、触摸、语音或手势中的至少一种。在输出用户可感知信号之后，移动设备的至少一个处理器可以接收由凝视、触摸、语音或手势产生的神经生理数据的至少一部分。
在针对CEP或类似量度的类似应用中，一种用于对个人通信的有效性进行评级的方法可以包括由至少一个处理器监测表示用户与接收者的通信的数字数据。该方法可以包括从至少一个传感器接收传感器数据，该传感器被定位成感测接收者在接收通信时的非自愿响应。该方法可以包括基于传感器数据确定内容参与能力(CEP)值，并且将该CEP值记录在计算机存储器中和/或将CEP值的表示传送给用户。在一方面，确定CEP值还可以包括基于传感器数据确定唤起度值，并且将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较。传感器数据可以包括以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。
在相关方面，该方法可以包括基于进一步的传感器数据来确定期望平均唤起度，该进一步的传感器数据测量接收者在对已知音频-视频刺激参与时的类似非自愿响应。因此，该方法可以包括播放已知音频-视频刺激，该已知音频-视频刺激包括已知非唤起性刺激和已知唤起性刺激。确定CEP值、针对一个或多个用户中的每一个运算多个事件能力中的一个、基于传感器数据的一个或多个源标识为事件能力中的每一个分配权重、确定期望平均唤起度和基于传感器数据确定评价度值的更详细的方面可以如针对其他应用所述、如本文上文所述或如下文更详细描述中所述。
前述方法可以通过在非暂时性计算机可读介质中提供的程序指令在任何合适的可编程计算装置中实施，该程序指令在由计算机处理器执行时使该装置执行所描述的操作。处理器可以是装置和用户本地的、远程定位，或者可以包括本地和远程处理器的组合。一种装置可以包括计算机或一组连接的计算机，该计算机或该组连接的计算机被用于测量和传送用于内容输出设备的CEP或类似参与量度。内容输出设备可以包括例如个人计算机、移动电话、笔记本计算机、电视或计算机监测器、投影仪、虚拟现实设备或增强现实设备。该装置的其他元件可以包括例如音频输出设备和用户输入设备，它们参与该方法的执行。一种装置可以包括虚拟或增强现实设备，诸如对用户的头部和其他身体部分的运动做出反应的头戴式受话器或其他显示器。该装置可以包括神经生理传感器，该神经生理传感器提供由控制器用来确定CEP的数字表示的数据。
为了实现前述和相关目的，一个或多个示例包括下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细地阐述了某些说明性方面，并且仅指示了可以采用示例原理的各种方式中的一些方式。当结合附图和所公开的示例来考虑以下具体实施方式时，其他优点和新颖特征将变得明显，该具体实施方式包括所有这些方面及其等同物。
背景技术
包括书面文本和语音的语言内容都是人类交流的中心。人们开发了许多工具来协助其传播。直到计算机时代，只有人类才能参与语言内容的生成。从那时起，会说话的计算机已变得司空见惯。计算机用于生成所有类型的书面和口头形式的语言内容。计算机生成的语言内容具有功能性，但缺乏像伟大的文学作品和演讲那样能够激发想象力和招引听众的能力。
许多语言内容具有商业重要性。例如，对于诸如书籍、音频书籍、戏剧表演的对话、脚本和其他用途之类的文本内容，语言内容对于娱乐业至关重要。没有引人入胜的语言内容，娱乐就变得平淡无味。如果消费者有更好的选项，他们将不会为之付钱或根本不会消费它。广告商不会赞助它。尽管在语言内容的生成中使用计算机来完成如文字处理之类的技术任务，但是使语言内容更加招引人的工作保持了人手的需要。驱动功能响应的逻辑不适用于生成招引人的内容。
语言内容通常伴随着非语言内容，诸如音乐、图形艺术和视频。商业演艺人员致力于以更引人入胜的方式整合语言和非语言内容，以吸引尽可能多的受众。语言和非语言内容的生成和控制通常是相互关联的。如本文所使用的，“通信内容”包括语言内容和其他娱乐或美学内容，其被排序以用于随时间的呈现或消费。无论通信内容是纯语言还是包含其他元素，计算机都无法很好地生成或控制内容，使得对受众更加引人入胜。即使机器可能永远无法完全取代人类艺术家，但艺术家和受众也可以通过为艺术家提供更强大的工具来制作和控制内容而受益。“通信内容”有时在本文中称为“内容”。
因此，期望开发新的方法和其他新技术来生成或控制单独的语言内容或与非语言内容协调的语言内容，以克服现有技术的这些和其他限制，并帮助制作人为未来的受众提供更引人入胜的娱乐体验。
附图说明
当结合附图时，根据以下阐述的具体实施方式，本公开的特征、性质和优点将变得更加明显，其中贯穿说明书和附图，相同的附图标记标识相同的元件。
图1A是示出耦合到一个或多个分发***的***或装置的方面的示意性框图，该***或装置用于基于神经生理数据生成脚本、文本或其他通信内容或控制通信内容的播出、采集与通信内容的消费相关的神经生理数据、或对个人通信的有效性进行评级。
图1B-图1C是示出通信内容的各方面的图。
图2是示出服务器的各方面的示意性框图，该服务器用于生成脚本、文本或其他通信内容、用于基于神经生理数据控制通信内容的播出、或对个人通信的有效性进行评级。
图3是示出耦合到一个或多个分发***的客户端设备的各方面的示意性框图，该客户端设备用于基于神经生理数据生成脚本、文本或其他通信内容或控制通信内容的播出、采集与通信内容的消费相关的神经生理数据、或对个人通信的有效性进行评级。
图4是示出耦合到一个或多个分发***的虚拟现实客户端设备的特征的示意图，该虚拟现实客户端设备用于基于神经生理数据生成脚本、文本或其他通信内容或控制通信内容的播出、采集与通信内容的消费相关的神经生理数据、或对个人通信的有效性进行评级。
图5是示出基于在通信内容的表演期间收集的传感器数据确定CEP的数字表示的方法的高级操作的流程图。
图6是示出用于训练机器学习过程以基于在通信内容的表演期间收集的传感器数据来确定CEP的数字表示的***的高级方面的框图。
图7A是指示相对于认知鉴别模型的二维神经生理空间的轴线的神经状态的布置的图。
图7B是指示相对于认知鉴别模型的三维神经***空间的轴线的神经状态的布置的图。
图8是示出用于基于神经生理响应数据来确定内容参与等级的过程和算法的流程图。
图9是示出用于使用移动设备和协作应用来收集神经生理响应数据的***的图。
图10是用户的透视图，该用户使用具有传感器和附件的移动应用，以用于收集本文描述的方法和装置中使用的神经生理数据。
图11是示出使用具有辅助传感器设备的移动设备来收集神经生理响应数据的各方面的序列图。
图12是示出用于操作装置或***的方法的各方面的流程图，该装置或***自动制作或编辑用于戏剧制作的脚本。
图13是示出用于自动制作或编辑用于戏剧制作的脚本的装置或***的部件的概念框图。
图14和图15是示出用于生成通信内容的方法的各方面的流程图。
图16是示出用于生成通信内容的装置或***的部件的概念框图。
图17和图18是示出用于控制通信内容的呈现的方法的各方面的流程图。
图19是示出用于控制内容的呈现的装置或***的部件的概念框图。
图20和图21是示出用于收集指示消费通信内容的用户的神经响应的神经生理数据的方法的各方面的流程图。
图22是示出用于收集指示消费通信内容的用户的神经响应的神经生理数据的装置或***的部件的概念框图。
图23是示出包括移动设备的***的图，该移动设备具有传感器以利用神经生理诉说增强人际通信。
图24是示出用于操作***以利用神经生理诉说增强人际通信的方法的各方面的流程图。
图25-图26是示出图24中图示的方法的可选的其他方面或操作的流程图。
图27是示出用于利用神经生理诉说增强人际通信的装置或***的部件的概念框图。
具体实施方式
现在参考附图描述各个方面。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践各个方面。在其他实例中，以框图形式示出公知的结构和设备以有助于描述这些方面。
参考图1A，可以在客户端-服务器环境100中实施用于对神经生理传感器数据进行信号处理以检测通信增强应用中的神经状态的方法。其他架构也可能是合适的。在网络架构中，传感器数据可以在本地收集和处理，并且然后传输到服务器，该服务器处理来自一个或多个受试者的神经生理传感器数据，基于传感器数据运算用户神经状态的数字表示，并且在计算机存储器中用于控制机器。用于本技术的通信增强背景包括基于神经生理数据生成脚本、文本或其他通信内容或用于控制通信内容的播出、采集与通信内容的消费相关的神经生理数据、或对个人通信的有效性进行评级。
记录的通信可以是分支的也可以是非分支的。“分支”是指通信内容包括替代片段，这些片段可以使用认知鉴别模型基于神经生理数据的评定进行各种组合。控制处理器在运行时选择它将包括哪些替代片段。如果分支内容具有非分支的叙事，则它将包括其他戏剧元素的分支。尽管内容可以是分支的，但其可以具有包含所有分支的连贯主题、戏剧目的和故事情节。“非分支”是指通信内容没有替代片段，例如在交谈中或在固定制作中。在制作环境中，导演可以使用来自焦点组的认知鉴别模型，基于神经生理数据的评定来选择替代镜头或场景之一，但是这些预发行替代并未在一般分布中使用。
诸如“数学”服务器110之类的数据处理服务器可以从传感器接收传感器数据，这些传感器被定位为检测用户在消费通信内容期间的神经生理响应。传感器可以经由客户端设备106、108、114、120、118中的任何客户端设备耦合到网络，客户端设备106、108、114、120、118可以被用于消费通信内容或者仅在消费由不同设备输出的内容的用户附近。服务器100可以处理传感器数据以获得数字表示，该数字表示指示根据时间或视频帧，沿一个或多个测量轴线(例如，唤起度和评价度)指示的听众对通信内容的神经生理(例如，情绪)响应。在替代实施例中，基于实时生物传感器反馈，内容自适应AI可以适应性调整内容以增加或维持用户的参与。
合适的客户端-服务器环境100可以包括经由一个或多个网络(例如，广域网(WAN)102(例如，互联网)和/或无线通信网络(WCN)104(例如用于数据通信的蜂窝电话网络，例如，LTE、4G、5G))进行通信的各种计算机服务器和客户端实体。可以以各种架构来实施计算机服务器。例如，环境100可以包括一个或多个Web/应用服务器124，其包含与万维网协议兼容的文档和应用代码，包括但不限于例如HTML、XML、PHP和JavaScript文档或可执行脚本。Web/应用服务器124可以服务于用于输出通信内容并且用于从体验内容的用户收集生物特征传感器数据的应用。在替代方案中，可以从数学服务器110、云服务器122、区块链实体128或内容数据服务器126服务数据收集应用。用户可以使用本文描述的任何客户端设备或终端来消费通信内容；在一些实施例中，用户可以消费来自诸如影视放映机、家庭电影院或电视或收音机的独立源的内容。
环境100可以包括一个或多个数据服务器126，其用于保存：通信内容，例如，单独的语言内容，或结合通信内容的视频、音频-视频、音频和图形内容组分的语言内容，以供使用客户端设备消费；用于在客户端设备上执行或与之结合执行的软件，例如传感器控制和传感器信号处理应用；以及从用户或客户端设备收集的数据。从客户端设备或用户收集的数据可以包括例如生物特征传感器数据和应用数据。传感器数据可以由在客户端设备上操作的后台(非面向用户)应用来收集，并且被传输到数据接收装置(sink)，例如基于云的数据服务器122或离散数据服务器126。应用数据是指应用状态数据，包括但不限于与应用的用户交互的记录或其他应用输入、输出或内部状态。应用可以包括用于输出通信内容、收集和处理生物特征传感器数据、运算用户的神经生理响应的量度或指示符、将指示符或量度提供给指定的输出、基于指示符或量度选择内容的片段、以及支持功能的软件。可以从其他类型的服务器服务应用和数据，例如，访问分布式区块链数据结构128的任何服务器，或端对端(P2P)服务器116，其诸如可以由一组客户端设备118、120提供且同时作为微型服务器或客户端进行操作。
如本文所用，“用户”总是通信内容的消费者，***节点从这些消费者收集神经生理响应数据以用于确定对通信内容的参与的数字表示。当经由化身(avatar)或其他机构积极地参与内容时，用户在本文中也可以被称为“玩家演员”。观众并不总是用户。例如，旁观者可以是***不从其收集任何生物特征响应数据的被动观众。如本文所用，“节点”包括参与计算机网络的客户端或服务器。
网络环境100可以包括各种客户端设备，例如经由WCN 104和WAN 102连接到服务器的移动智能电话客户端106和笔记本客户端108，或经由路由器112和WAN 102连接到服务器的混合现实(例如，虚拟现实或增强现实)客户端设备114。通常，客户端设备可以是或可以包括由用户用于访问经由服务器或从本地贮存器提供的通信内容的计算机。客户端还可以包括生物特征传感器，该生物特征传感器向本文所述的装置和过程提供神经生理数据。在一个方面，数据处理服务器110可以确定用于实时或离线应用中的生物特征数据的数字表示。控制叙事内容中对象的分支或活动是实时应用的示例，例如，如2017年9月29日提交的美国临时专利申请第62/566,257号和2018年1月8日提交的第62/614,811号中所述，其通过引用并入本文。
离线应用可以包括例如“绿色灯光”制作建议书，在绿色灯光之前对制作建议书进行自动筛选，对宣传内容(诸如预告片或视频广告)进行自动或半自动包装以及针对目标用户或用户群组定制内容的编辑或设计(自动和半自动)。在绿色灯光剧本或故事中，客户端设备可以使用本文所述的生物特征传感器在用户读取平板设备上的脚本或其他文本时接收神经生理数据。客户端或服务器可以参考来自该定量情绪数据的校准数据来记录CEP分数或等效量度。然后，创意产品可以考虑CEP事件能力的总和、与情绪情节的一致或发现新的性能更好的情绪情节来选择或完善剧本、建议书、脚本等。神经生理数据还可用于作家的工具中，使作家能够基于生物特征情绪反馈和测试故事元素的情节来计划条件文本。
在一些实施例中，客户端设备既提供通信内容又感测生物特征数据。客户端设备可以在本地使用神经生理数据，或者可以将数据传递到云服务器以用于其他通信内容会话，例如，用于汽车或家用电视上的云上(over-the-top,OTT)体验中。在OTT体验中，服务器使用高带宽网络(5G)实时跨平台切换内容会话。内容会话可以在移动设备上开始，并且可以跨不同平台(诸如虚拟现实、家庭影院或车载娱乐***)移动。在其他实施例中，当客户端设备起到神经生理数据的传感器和处理器的作用时，不同的设备提供通信内容。诸如智能电话或智能手表之类的客户端设备可以使用下列项来收集神经生理和其他生物特征数据：前置立体相机，其用于跟踪凝视方向、瞳孔扩张和/或面部动作单元；麦克风，其用于音频语音分析和/或神经语言编程单词分析；相控阵传感器(如果有的话)，其用于跟踪凝视方向、瞳孔扩张和/或面部动作单元；红外传感器，其用于对皮肤温度进行功能性近红外感测。另外，客户端设备可以使用蓝牙或其他协议连接到辅助设备以获得传感器数据。例如，智能电话可以连接到佩戴在手腕或头部周围的智能手表或健身带，以获得脉搏率、皮肤温度、皮肤电响应或脑电图(EEG)数据，以运算如本文描述的神经生理量度。
图1B示出通信内容140的各个方面。某些有限的“N”个片段(SN)142、144、146、148可以是视频帧、文本或语言组分、音乐短语(例如，小节)、图形小说展板，或用于沿具有流动方向的类似时间的维度进行布置的任何其他信号或主题。片段的内容可以是预定的(例如，电影、视频)或者是运行中确定的(例如，计算机游戏或脱口秀)，并且可以以计算机可读形式被数字化。从S1142到SN 148的所有片段的集合构成“通信内容”，在本文使用时，是指由片段组成的机器可读内容，这些片段用于沿具有从开始152到结束154的流动方向的类似时间的维度150布置；结束的确切时间在通信内容期间的更早时间可能是未知的或不确定的。片段的离散集合构成了内容“标题”、“体验”或“工作”。下面总结了通信内容的示例以及本文的方法对不同形式的通信内容的应用。
参照图1C，与本文描述的方法和装置一起使用的***160可以包括通信内容162、计算模块164、用户176和神经生理数据178。通信内容162可以包括语言内容166，该语言内容166包括文本或语音，例如脚本、剧本、书籍、图形小说和漫画书，以及用于阅读的其他印刷内容、音频内容(诸如音频书或播客)，并且可以被包含在其他内容中，例如视频、虚拟现实或包含语音或文本的视频游戏内容。尽管布置在页面上，但是大多数文本被布置为沿具有从开始152到结束154的流动方向的类似时间的维度150以从左到右、从右到左和/或从上到下的顺序被读取。因此，以电子形式制作的书面材料(文本)通常落入本文所用的通信内容162的定义之内。生物特征反馈和神经生理响应的量度178可以用于书面材料的制作控制或控制书面材料的呈现。在呈现控制中，计算模块164的一个或多个处理器基于经由生物特征传感器的神经生理反馈来改变被选择并显示给用户的文本片段。
计算模块164包括至少三个部件：播放器170，其对通信内容进行解码并将其呈现给用户176；控制或运算部件172，其从感测部件174的一个或多个生物特征传感器接收数据并从传感器数据运算一个或多个神经生理量度178；以及感测部件174，其响应于用户176中的神经生理变化并且生成用于处理的数字信号。运算部件172、感测部件174和播放器部件170可以被合并在一个设备中或者被划分在两个或更多设备之间。
通信内容164可以包括非语言内容168，例如音乐和其他音频内容、图像以及用于其他感知输出(例如，触觉、嗅觉或动能输出)的数据。非语言内容可以与语言内容相结合，例如音乐可以带有或不带有歌词，并且大多数视频包括语言元素。当用户在客户端设备上听音乐时，处理器可以例如通过从生物特征传感器接收和分析神经生理数据来对音频内容的片段进行评分。处理器可以基于CEP事件能力的总和、与情绪情节的一致或发现新的性能更好的情绪情节来选择音频。通常，处理器可以以被动模式(仅数据收集)或主动模式(基于生物反馈的内容改变)使用神经生理数据。神经生理数据还可以用于避免个体或同类群组的历史数据引起的个人或文化上触发愤怒、恐惧或其他不期望反应。执行机器学习算法的处理器可以基于历史数据来学习“预期”触发。
除了提供神经生理数据外，生物特征传感器还可以用于使用面部识别和用户的其他独特生物特征进行个人识别。因此，装置可以使用相同的传感器进行识别和接收神经生理数据以用于内容分析、生成或控制。在一方面，当收集基线数据时，可以选择通信内容以与可用的传感器模态兼容。例如，如果眼睛跟踪(也称为凝视检测)不可用，则可以单独地描绘感兴趣的角色或物品，而不与其他角色一起描绘。使用眼睛跟踪时，可以将角色一起显示，因为眼睛跟踪将指示哪个角色吸引了用户的兴趣或导致用户避开了他们的眼睛。
在其他应用中，处理器可以使用对已知内容的神经生理响应的个人模式作为将人们匹配为预期朋友或协同玩家的基础。处理器可以使用个人模式来帮助用户浏览新内容(随机生成)或查找用户过去偏好的内容。处理器有时可以做出次优选择，以补偿高需求的用户。
图2示出数据处理服务器200，该数据处理服务器200用于基于生物特征传感器数据来生成计算机存储器中的脚本、文本或其他通信内容，该数据处理服务器可以在环境100中、在类似网络中或作为独立的服务器来操作。服务器200可以包括一个或多个硬件处理器202、214(示出一个或多个硬件处理器中的两个)。硬件包括固件。一个或多个处理器202、214中的每一个可以耦合到输入/输出端口216(例如，通用串行总线端口或其他串行或并行端口)，耦合到用于指示用户的神经状态的生物特征传感器数据和观看历史的源220。观看历史可以包括来自内容包的基线脚本的变化的日志级别记录或响应于用户生物特征和其他输入而做出的控制决策的等效记录。观看历史还可以包括在电视、Netflix和其他源上观看的内容。包含派生故事情节的任何源都可以用于算法的输入，该算法用于基于生物特征传感器数据生成脚本、文本或其他的在计算机存储器中的演员、角色或其他故事元素。服务器200可以横跨个人或同类群组的多个内容标题跟踪用户动作和生物特征响应。某些类型的服务器(例如云服务器、服务器场或P2P服务器)可以包括进行协作以执行单个服务器的功能的离散服务器200的多个实例。
服务器200可以包括用于发送和接收应用和数据的网络接口218，该应用和数据包括但不限于用于基于生物特征传感器数据生成计算机存储器中的脚本、文本或其他通信内容的传感器和应用数据。内容可以从服务器200服务到客户端设备，或者可以由客户端设备在本地存储。如果在本地被存储到客户端设备，则客户端和服务器200可以进行协作以处理传感器数据的收集以及向服务器200的传输以用于处理。
服务器200的每个处理器202、214可以可操作地耦合到至少一个存储器204，该存储器204保存一个或多个应用的功能模块206、208、210、212，以便执行本文所述的方法。这些模块可以包括例如将生物特征反馈与诸如唤起度或评价度的一个或多个量度相关的相关模块206。相关模块206可以包括指令，这些指令在由处理器202和/或214执行时使服务器使用机器学习(ML)或其他过程将生物特征传感器数据与用户的一个或多个神经(例如情绪)状态相关。事件检测模块208可以包括用于基于一个或多个生物特征传感器输入超过数据阈值的量度或指示符来检测事件的功能。这些模块还可以包括例如标准化模块210。标准化模块210可以包括指令，这些指令在由处理器202和/或214执行时使服务器使用基线输入来标准化评价度、唤起度或其他值的量度。这些模块还可以包括运算功能212，该运算功能212在由处理器执行时使服务器基于传感器数据和来自上游模块的其他输出来运算内容参与能力(CEP)。确定CEP的细节在本文后面公开。存储器204可以包含附加指令，例如操作***和支持模块。
参考图3，内容消费设备300生成指示用户对从通信内容信号生成的输出的神经生理响应的生物特征传感器数据。装置300可以包括例如处理器302，例如基于由IntelTM或AMDTM设计的80x86架构的中央处理单元、由ARMTM设计的片上***，或任何其他合适的微处理器。处理器302可以使用总线或其他耦合方式可通信地耦合到3D环境装置300的辅助设备或模块。可选地，处理器302及其耦合的辅助设备或模块可以被容纳在外壳301内或耦合到外壳301，外壳301例如是具有电视、机顶盒、智能电话、可佩戴谷歌眼镜(***s)、眼镜或遮光板的形状因子或其他形状因子的外壳。
用户接口设备324可以耦合到处理器302，用于向媒体播放器和数据收集过程提供用户控制输入。该过程可以包括输出用于显示屏或投影显示设备的视频和音频。在一些实施例中，通信内容控制过程可以是或可以包括用于由在处理器302上执行的混合现实沉浸式显示引擎操作的沉浸式混合现实内容显示过程的音频-视频输出。
用户控制输入可以包括例如来自图形用户接口的选择或经由触摸屏、键盘、定点设备(例如游戏控制器)、麦克风、运动传感器、相机或者这些或其他输入设备的某种组合(由方框324表示)生成的其他输入(例如文本或定向命令)。此类用户接口设备324可经由输入/输出端口326(例如通用串行总线(USB)或等效端口)耦合到处理器302。还可以经由耦合到处理器302的传感器328来提供控制输入。传感器328可以是或可以包括例如运动传感器(例如，加速度计)、位置传感器、相机或相机阵列(例如，立体影像阵列)、生物特征温度或脉搏传感器、触摸(压力)传感器、高度计、位置传感器(例如，全球定位***(GPS)接收器和控制器)、接近度传感器、运动传感器、烟雾或蒸汽检测器、陀螺仪位置传感器、无线电接收器、多相机跟踪传感器/控制器、眼睛跟踪传感器、麦克风或麦克风阵列、脑电图(EEG)传感器、皮肤电响应(GSR)传感器、面部肌电(fEMG)传感器、心电图(EKG)传感器、视频面部动作单元(FAU)传感器、脑机接口(BMI)传感器、视频脉冲检测(VPD)传感器、瞳孔扩张传感器、身体化学传感器、功能磁共振成像(fMRI)传感器、光学体积描记术(PPG)传感器、相控阵列雷达(PAR)传感器或功能近红外数据(fNIR)传感器。眼睛跟踪传感器、FAU传感器、PAR传感器、瞳孔扩张传感器或心率传感器中的任何一个或多个可以是或可以包括诸如iPhone 10和其他用于面部识别的智能电话中使用的前置(或后置)立体相机。同样，智能电话或类似设备中的相机可以用于环境光检测，例如，检测环境光变化以与瞳孔扩张的变化相关。
一个或多个传感器328可以检测用作用户神经状态的指示符的生物特征数据，例如面部表情、皮肤温度、瞳孔扩张、呼吸速率、肌肉张力、神经***活动、脉搏、EEG数据、GSR数据、fEMG数据、EKG数据、FAU数据、BMI数据、瞳孔扩张数据、化学检测(例如催产素)数据、fMRI数据、PPG数据或fNIR数据中的一个或多个。另外，(一个或多个)传感器328可以检测用户的背景，例如，用户的物理环境和环境中的对象的标识位置、大小、取向和运动；用户接口显示器的运动或其他状态，例如虚拟现实头戴式受话器的运动。传感器可以内置在可佩戴设备中，或者可以是非佩戴的，包括显示设备，或者在诸如智能电话、智能手表或植入式医疗监测设备等辅助装备中。传感器也可以放置在附近的设备中，诸如，例如用于免提网络访问的互联网连接的麦克风和/或相机阵列设备，或者放置在物理布景上的阵列中。
来自一个或多个传感器328的传感器数据可以由CPU 302在本地处理以控制显示输出，和/或被传输到服务器200以由服务器实时地处理或用于非实时处理。如本文所用，“实时”是指在输入和输出之间没有任何任意延迟的情况下响应于用户输入进行处理；也就是说，只要技术上可行就尽可能快地做出反应。“非实时”或“离线”是指传感器数据的批处理或其他用途，其不用于提供即时控制输入来控制显示，而是可以在任意延迟量后控制显示。
为了能够与计算机网络的另一个节点(例如通信内容服务器200)进行通信，客户端300可以包括网络接口322，例如有线或无线的以太网端口。网络通信可以用于例如实现多玩家体验，包括通信内容的沉浸式或非沉浸式体验。该***还可以用于非定向多用户应用，例如社交网络、团体娱乐体验、教学环境、视频游戏等。网络通信还可用于客户端和网络的其他节点之间的数据传递，其目的包括数据处理、内容递送、内容控制和跟踪。客户端可以使用通信模块306管理与其他网络节点的通信，该通信模块306处理应用级通信需求和更低级通信协议，优选地不需要用户管理。
显示器320可以例如经由集成在处理器302或单独芯片中的图形处理单元318耦合到处理器302。显示器320可以包括例如由发光二极管(LED)或其他灯照亮的平板彩色液晶(LCD)显示器、由LCD显示器或由数字光处理(DLP)单元驱动的投影仪、激光投影仪或其他数字显示设备。显示设备320可以被结合到虚拟现实头戴式受话器或其他沉浸式显示***中，或者可以是计算机监测器、家庭剧院或电视屏幕，或者放映室或剧院中的投影仪。在真实的现场剧院应用中，用户和演员的客户端可以避免使用辅助性的显示器，或通过听筒或现场的听觉输入，或通过触觉套装的触觉印象。
可以将由在处理器302上操作的混合现实显示引擎驱动的视频输出，或用于将用户输入与沉浸式内容显示进行协调和/或生成显示的其他应用提供到显示设备320并作为视频显示输出给用户。类似地，放大器/扬声器或其他音频输出换能器316可以经由音频处理器312耦合到处理器302。与视频输出相关并由媒体播放器模块308、通信内容控制引擎或其他应用生成的音频输出可以被提供到音频换能器316并作为听觉声音输出给用户。音频处理器312可以从麦克风314接收模拟音频信号，并将其转换为数字信号以供处理器302进行处理。麦克风可以用作用于检测神经(例如情绪)状态的传感器，并且用作用于口头命令的用户输入或对非玩家角色或其他玩家演员的社交口头响应的设备。
3D环境装置300还可以包括随机存取存储器(RAM)304，其存储程序指令和数据以响应于从用户收集的生物特征传感器数据在控制通信内容期间由处理器快速执行或处理。当设备300断电或处于不活动状态时，程序指令和数据可以被存储在长期存储器中，例如，非易失性磁性、光学或电子存储器存储设备(未示出)。RAM 304或存储设备中的任一个或两者都可以包括保存程序指令的非暂时性计算机可读介质，这些程序指令在由处理器302执行时促使设备300执行本文所述的方法或操作。程序指令可以用任何适当的高级语言(例如C、C++、C#、JavaScript、PHP或JavaTM)编写，并进行编译以制作用于由处理器执行的机器语言代码。
程序指令可以被分组为功能模块306、308，以促进编码效率和可理解性。通信模块306可以包括协调生物特征传感器数据(如果是元数据)到运算服务器的通信。传感器控制模块308可以包括控制传感器操作和处理原始传感器数据以传输到运算服务器。模块306、308即使可辨别为源代码中的分区或分组，也不一定可辨别为机器级编码中的单独代码块。定向到特定类型的功能的代码束可以被视为包括模块，而不管该束上的机器代码是否可以独立于其他机器代码执行。这些模块可以只是高级模块。媒体播放器模块308可以全部或部分地执行本文描述的任何方法以及等效方法的操作。可以独立地执行操作，或者可以与其他一个或多个另外的网络节点(例如，服务器200)进行协作来执行操作。
本文公开的内容控制方法可以与虚拟现实(VR)或增强现实(AR)输出设备一起使用，例如在虚拟聊天、沉浸式内容或非沉浸式内容中。图4是示出一种类型的沉浸式VR立体显示设备400的示意图，作为具有更具体的形状因子的客户端300的示例。可以以各种形状因子来提供客户端设备300，其中设备400仅提供客户端设备300的一个示例。本文描述的创新方法、装置和***不限于单个形状因子。如本文所用，“通信内容信号”包括用于通信内容的输出的任何数字信号，其可以是交互的或非交互的。在一个方面，通信内容可以响应于从生物特征传感器数据运算出的用户的检测到的神经状态而变化。
沉浸式VR立体显示设备400可以包括平板电脑支撑结构，该平板电脑支撑结构由不透明的轻质结构材料(例如，刚性聚合物、铝或硬纸板)制成，该平板电脑支撑结构被配置为支撑并允许可移除地放置包括高分辨率显示屏(例如，LCD显示器)的便携平板电脑或智能电话设备。设备400被设计为靠近用户的面部佩戴，从而可以使用(诸如智能电话中的)小屏幕尺寸实现宽视野。支撑结构426相对于显示屏412保持一对透镜422。这些透镜可以被配置为使用户能够舒适地聚焦在显示屏412上，显示屏412可以保持为距用户眼睛大约一到三英寸。
设备400还可以包括观看护罩(未示出)，该观看护罩耦合到支撑结构426并且由柔软的、可挠曲的或其他合适的不透明材料构造成，以形成适合用户面部并阻挡外部光的形状。护罩可以被配置为确保对用户而言唯一的可见光源是显示屏412，从而增强使用设备400的沉浸效果。可以使用屏幕分隔器将屏幕412分离成独立驱动的立体区域，每个立体区域仅通过透镜422中的相应一个是可见的。因此，沉浸式VR立体显示设备400可以用于提供立体显示输出，从而为用户提供对3D空间的更真实的感知。
沉浸式VR立体显示设备400还可以包括用于定位在用户鼻子上方的桥接件(未示出)，以便于将透镜422相对于用户的眼睛进行精确定位。设备400还可以包括弹性条或带424或其他头饰，用于装配在用户的头部周围并将装置400保持到用户的头部。
沉浸式VR立体显示设备400可以包括与用户的头部430有关的显示和通信单元402(例如，平板电脑或智能电话)的附加电子部件。当佩戴支撑件426时，用户通过一对透镜422观看显示器412。显示器412可以由中央处理单元(CPU)403和/或图形处理单元(GPU)410经由内部总线417来驱动。显示和通信单元402的部件还可以包括例如一个或多个发射/接收部件418，使得能够经由无线耦合在CPU和外部服务器之间进行无线通信。发射/接收部件418可以使用任何合适的高带宽无线技术或协议来操作，包括例如蜂窝电话技术，诸如第三代、***或第五代合作伙伴计划(3GPP)长期演进(LTE)(也被称为3G、4G或5G)、全球移动通信***(GSM)或通用移动电信***(UMTS)和/或无线局域网(WLAN)技术，例如使用诸如电气与电子工程师协会(I18E)802.11的协议。一个或多个发射/接收部件418可以使视频数据能够从本地或远程视频服务器流式传输到显示和通信单元402，并且可以将传感器和其他数据上行传输到本地或远程视频服务器，以用于如本文所述的控制或受众响应技术。
显示和通信单元402的部件还可以包括例如经由通信总线417耦合到CPU403的一个或多个传感器414。这样的传感器可以包括例如提供指示显示和通信单元402的取向的取向数据的加速度计/倾角仪阵列。由于显示和通信单元402被固定到用户的头部430，所以该数据也可以被校准以指示头部430的取向。一个或多个传感器414还可以包括例如指示用户的地理位置的全球定位***(GPS)传感器。一个或多个传感器414还可以包括例如相机或图像传感器，该相机或图像传感器被定位为检测用户的眼睛中的一个或多个的取向，或捕获用户的物理环境的视频图像(用于VR混合现实)，或这两者。在一些实施例中，可以将被配置为检测用户的眼睛或眼睛移动的相机、图像传感器或其他传感器安装在支撑结构426中，并且经由总线416和串行总线端口(未示出)(例如，通用串行总线(USB)或其他合适的通信端口)耦合到CPU 403。一个或多个传感器414还可以包括例如干涉仪，该干涉仪被定位在支撑结构404中并且被配置为向用户的眼睛指示表面轮廓。一个或多个传感器414还可以包括例如麦克风、麦克风阵列或其他音频输入换能器，以用于检测口语用户命令或对显示输出的口头和非口头听觉反应。一个或多个传感器可以包括使用Arnav Kapur、Pattie Maes和Shreyas Kapur在2018年美国计算机协会ACM智能用户接口大会(Association forComputing Machinery’s ACM Intelligent User Interface conference)上发表的论文中所述的使用电极的人声识别(subvocalization)掩模。人声识别的词可以用作命令输入，用作唤起度或评价度的指示，或这两者。一个或多个传感器可以包括例如用于感测心率的电极或麦克风，被配置用于感测用户的皮肤或身体温度的温度传感器，耦合到分析模块以检测面部表情或瞳孔扩张的图像传感器、用于检测口头和非口头发声的麦克风，或者用于收集生物反馈数据(包括能够经由算法处理指示情绪的神经***响应)的其他生物特征传感器(包括已经结合图3在328处描述的任何传感器)。
显示和通信单元402的部件还可以包括例如音频输出换能器420，例如显示和通信单元402中的扬声器或压电换能器，或者用于头戴式耳机的音频输出端口或安装在头饰424中的其他音频输出换能器等。音频输出设备可以提供环绕声、多声道音频、所谓的“面向对象的音频”或其他伴随立体沉浸式VR视频显示内容的配乐输出。显示和通信单元402的部件还可以包括例如经由存储器总线耦合到CPU 403的存储器设备408。存储器408可以存储例如程序指令，这些程序指令在由处理器执行时使装置400执行本文所述的操作。存储器408还可以将数据(例如，音频-视频数据)存储在库中或在从网络节点进行流式传输期间进行缓冲。
已经描述了用于在通信增强应用中执行生物特征传感器数据的信号处理以检测神经状态的合适的客户端、服务器和网络的示例，将讨论合适的信号处理方法的更详细的方面。图5示出用于运算内容参与能力(CEP)的方法500的概述，该方法可以包括以任何功能顺序进行的或并行的四个相关操作。如本文所述，可以将这些操作编程为用于服务器的可执行指令。
相关操作510使用算法来将用户或用户群组的生物特征数据与神经指示符相关。可选地，该算法可以是机器学***、环境噪声水平等等。例如，如果用户的背景充满干扰，则生物反馈数据的显著性可能与安静环境中的显著性不同。
如本文所用，神经生理响应的“量度”或“指示符”是与通信内容的片段有关的机器可读符号值。该指示符或量度可以具有组成元素，其可以是定量的也可以是非定量的。例如，指示符或量度可以被设计为多维向量，其值表示心理素质(诸如认知负荷、唤起度和评价度)的强度。心理上的评价度是事件、对象或情况的吸引度或期望度的状态；当受试者感觉某物是好的或有吸引力时，评价度被称为是正的，并且当受试者感觉对象是排斥的或不良的时，评价度被称为是负的。唤起度是受试者的机敏度和注意力的状态。机器学习算法可以包括至少一种受监督的机器学习(SML)算法，例如，线性回归算法、神经网络算法、支持向量算法、朴素贝叶斯算法、线性分类模块或随机森林算法中的一个或多个。
事件检测操作520在向用户输出通信内容期间分析来自一个或多个传感器的时间相关信号，并且检测其中信号超过阈值的事件。该阈值可以是固定的预定值，或者诸如滚动平均值之类的可变数。本文在下面提供了GSR数据的示例。可以为每个事件运算神经生理响应的离散量度。神经状态不能被直接测量，因此传感器数据指示情感调制。情感调制是归因于神经状态或神经状态的变化的生物特征波形的调制。在一个方面，为了获得情感调制和神经状态之间的基线相关性，可以向用户显示已知视觉刺激(例如，来自焦点组测试或个人校准会话)以引起某种类型的情绪。在刺激下，测试模块可以捕获用户的生物特征数据，并将刺激生物特征数据与静止生物特征数据进行比较，以识别生物特征数据波形中的情感调制。
CEP测量和相关方法可以用作分支(可配置)内容的驱动器。目标故事情节与组响应之间的测量的误差可以有助于告知分支内容的设计、未来内容的设计和制作、发行和市场营销，或受同类群组对内容的神经生理响应的影响的任何活动。另外，测量的误差可以用在计算机实施的剧院管理模块中，以控制或影响实时叙事分支或剧院体验的其他管理。在焦点组测试期间，使用智能电话或平板电脑可能会有用，因为此类可编程设备已经包含用于收集生物特征数据的一个或多个传感器。例如，AppleTM的iPhoneTM包括前置立体相机，这些相机可以用于例如眼动追踪、FAU检测、瞳孔扩张测量、心率测量和环境光跟踪。焦点组的参与者可以在智能电话或类似设备上观看内容，该智能电话或类似设备在参与者的许可下通过他们观看的设备上运行的焦点组应用收集生物特征数据。
标准化操作530在用于已知刺激的测试数据与用于用户的测量信号之间执行算术或其他数值比较，并且将针对事件的测量值标准化。标准化补偿了各个响应中的变化，并提供了更有用的输出。一旦检测到输入传感器事件并将其标准化，运算操作540就为用户或用户群组确定CEP值，并将这些值记录在计算机存储器中的时间相关记录中。
机器学习(也被称为AI)可以是用于揭示复杂现象之间的相关性的有效工具。如图6所示，响应于指示用户的神经状态的传感器数据610的***600可以使用机器学习训练过程630来检测来自现场剧院体验的感官刺激和叙事刺激620与生物特征数据610之间的相关性。训练过程630可以从媒体播放器客户端(例如，客户端300、402)接收与生物特征数据610在时间上相关的刺激数据620。数据可以与特定用户或用户群组相关联，或者可以是通用的。两种类型的输入数据(与用户相关联的和通用的)可以一起使用。通用输入数据可以用于校准神经生理响应的基线，以分类对电影元素的场景或布置的基线神经生理响应。例如，如果大多数用户在叙事背景内观看场景时表现出相似的生物特征诉说(tells)，则可以将该场景与激发来自用户的相似生物特征数据的其他场景一起分类。可以由人类创造者来收集和审查相似的场景，该人类创造者可以使用自动分析工具在神经指示符指标640上对场景评分。在替代方案中，指示符数据640可以通过人类和半自动处理来评分，而无需按照相似场景进行分类。现场剧院制作的人类评分元素可以成为机器学习过程630的训练数据。在一些实施例中，通信内容的人类评分元素可以包括用户，诸如经由在线调查表。评分应考虑文化人口统计，并且应由专家告知关于不同文化对场景元素的响应的信息。
ML训练过程630比较由人类和机器确定的场景或其他电影元素的分数，并使用本领域已知迭代机器学习方法来减少训练数据与其自身估计之间的误差。创造内容分析师可以基于他们的专业判断和经验为来自多个用户的数据评分。各个用户可以对他们自己的内容评分。例如，愿意协助培训其个人“导演软件”以识别其神经状态的用户可以在观看内容时对自己的情绪评分。这种方法的问题在于，用户评分可能会干扰他们的正常反应，从而误导机器学习算法。其他培训方法包括在较短的内容片段中对受试者的生物特征响应进行临床测试，然后针对其神经状况对临床受试者进行调查。这些和其他方法的组合可以用于为机器学习过程630开发训练数据。
如本文所用，生物特征数据提供关于用户如何思考和感受其对通信内容的体验的“诉说”，即他们是否参与叙事理论中的娱乐价值的感觉。内容参与能力是在整个用户体验中通信内容的总体参与的量度，并在体验期间和体验完成后进行监测和评分。总体用户愉悦度被测量为预期生物特征数据调制能力(在校准期间测量)与平均持续生物特征数据调制能力之间的差异。可以通过其他方法来确定用户参与的量度，并将其与“内容参与能力”相关，或者使其成为“内容参与能力”的一部分。例如，退出采访响应或接受购买、订阅或关注的提议可以被包含于或用于调整内容参与能力的运算。可以在内容呈现期间或之后使用提议响应率来提供更完整的用户参与的量度。
用户进入交互的心情影响“故事”的解释方式，因此故事体验应尽可能进行校准。如果过程无法校准心情，则可以在呈现的故事情节中考虑该心情，以支持更积极的评价交互，前提是我们可以测量来自用户的评价度。即时***和方法将最适合健康镇定的个体，为参与的每个人都提供交互式体验。
图7A示出神经状态相对于由水平评价度轴线和竖直唤起度轴线限定的二维神经空间的轴线的布置700。在该布置中仅作为示例而不是实际或典型的测量值示出基于评价度/唤起度神经模型的所示情绪。媒体播放器客户端可以使用测量面部动作单元的生物特征传感器来测量评价度，而唤起度测量可以例如通过GSR测量来完成。
神经空间的特征可以在于两个以上的轴线。图7B图示了神经空间的三维认知鉴别模型750，其中第三轴线是社交优势度(dominance)或信心。模型750示出VAD(评价度、唤起度、信心)认知鉴别模型。3D模型750对于涉及社交等级的复杂情绪可能是有用的。在另一实施例中，可以将来自生物特征数据的参与量度建模为三维向量，该三维向量提供认知工作量、唤起度和评价度，处理器可以从中确定校准后的主要和次要情绪。参与量度可以被推广到N维模型空间，其中N为一或更大。在本文描述的示例中，如本文所描述的CEP处于具有评价度轴线和唤起度轴线的二维空间700中，但是可用的认知鉴别模型不限于此。例如，信心是可以添加的另一个心理测量轴线，可以添加其他轴线，并且除评价度和唤起度以外的基本轴线也可能有用。将生物特征数据映射到向量空间中的不同认知参数的任何认知鉴别模型都可以与本文所述方法一起使用。在情绪校准期间，可以基于个体确定基线唤起度、评价度、优势度和其他认知参数。
在下面的详细示例中，来自生物特征传感器的神经状态确定是基于评价度/唤起度神经模型，其中评价度是(正/负)，而唤起度是幅度。通过该模型，现场剧院和其他创造制作的制作者可以通过测量叙事理论结构(诸如紧张感(希望与恐惧)和紧张感增强(唤起度随着时间的推移而增加))等来验证创造工作的意图。在现场或记录的故事元素的呈现期间，算法可以使用神经模型来基于用户的心理动态地改变故事元素，如2018年1月8日提交的美国临时专利申请62/614,811中更详细描述的那样。本公开的重点在于确定对用于实时和离线应用的定向娱乐(CEP)的参与相关的神经状态的有用量度，如下面更详细地描述的。本文描述的发明构思不限于本文描述的神经模型，并且可以适用于与以可量化参数为特征的任何有用的神经模型一起使用。
在测试环境中，可以将电极和其他传感器以临床功能手动放置在受试者用户上。对于消费者应用，传感器的放置应减少干扰且更方便。例如，可见光和红外波长的图像传感器可以被内置在显示装备中。再例如，相控阵雷达发射器可以被制造为微型设备，并放置在移动电话或平板电脑的显示屏后面，用于检测诸如面部动作单元或瞳孔扩张之类的生物特征数据。当用户在使用VR装备时佩戴饰品或抓住控制器时，可以将电极内置在头饰、控制器和其他可佩戴饰品中，以测量皮肤的电导率、脉搏和电活动。
基于通信内容的目标故事情节可以作为任何有用的神经模型中的目标值的序列存储在计算机数据库中，该神经模型用于评定对内容的参与，例如评价度/唤起度模型。使用评价度/唤起度模型的示例，服务器可以执行差值运算以确定计划/预测和测量的唤起度和评价度之间的误差。该误差可以用于内容控制。一旦预测值和测量值之间的增量超过阈值，则故事管理软件可以选择通信的下一个或未来的片段。例如，如果基于目标故事情节，用户的评价度处于“错误”方向，则处理器可以通过以下逻辑改变内容：如果(预测的评价度–测量的评价度)的绝对值>0，则改变内容。内容的改变可以是专用于软件所了解的有关用户的几个不同项目，也可以是来自AI过程的试用或推荐。同样地，如果唤起度误差降到预测的阈值(例如50％)以下(误差的绝对值＞0.50*预测)，则处理器可以选择不同内容片段。
图8示出用于确定包括内容参与能力(CEP)在内的通信内容的内容等级的方法800。该方法可以通过编码为可由计算机处理器执行的算法来实现，并且可以在需要运算CEP的任何地方应用于本文描述的其他方法中。CEP是受试者内容的事件能力的总和“Pv”与该类型中的可比较内容的期望能力“Px”之比。对于不同主题，并且在通常情况下对于不同用户，使用相同的方法来运算Pv和Px。这样一来，总和涵盖了不同总时间，事件能力Pv涵盖了时间段“tv”，该时间段“tv”等于受试者内容的“n”个事件能力时段Δtv的总和：
Figure BDA0002669038080000231
同样，期望能力Px涵盖时段“tx”，该时段“tx”等于期望内容的“m”个事件能力时段Δtx的总和：
Figure BDA0002669038080000232
对于任何给定的事件“n”或“m”，能力Pv和Px中的每一个是能力向量P和维度i的加权向量W的点积，如下所示：
Figure BDA0002669038080000233
Figure BDA0002669038080000234
通常，可以对能力向量
Figure BDA0002669038080000235
进行各种定义。在任何给定的CEP计算中，受试者内容的能力向量和期望基线应相互一致地定义，并且加权向量应该相同。能力向量可以仅包括唤起度量度，仅包括评价度值，包括唤起度量度和评价度量度的组合，或者前述中的任何一个与其他量度(例如信心量度)的组合。在一个实施例中，使用由“j”个唤起度量度“aj”和“k”个评价度量度“vk”的组合定义的能力向量
Figure BDA0002669038080000236
来运算CEP，其中每个量度均由相对于已知刺激的校准偏移量“C”来调整，其中j和k是任何非负整数，如下所示：
Figure BDA0002669038080000237
其中
Cj＝Sj-SjOj＝Sj(1-Oj) 等式6
等式6中的索引“j”表示从1到j+k的索引，Sj表示比例因子，并且Oj表示传感器数据范围的最小值与其真实最小值之间的偏移。与等式5的能力向量相对应的加权向量
Figure BDA0002669038080000241
可以被表示为：
Figure BDA0002669038080000242
其中每个权重值都会与因子的相对估计可靠性成比例地缩放其相应因子。
利用等式3和等式4给出的经校准的点积
Figure BDA0002669038080000243
Figure BDA0002669038080000244
以及等式1和等式2给出的时间因子，处理器可以如下计算单个用户的内容参与能力(CEP)：
Figure BDA0002669038080000245
比率tx/tv标准化不同时间序列总和中的不等性，并使比率无单位。用户CEP值大于1表明用户/玩家演员/观众具有相对于类型而言超出其期望的参与体验。用户CEP值小于1表明参与度小于用户对内容类型的期望。
还可以根据“x”个用户的内容事件能力与“m”个不必相同的用户的期望能力之比，横跨“v”个用户的受众，针对内容标题、现场剧院中的场景以及整个现场剧院制作运算CEP，如下所示：
Figure BDA0002669038080000246
变量v和x分别是内容用户和参与基准观众的数量。分母中的受众期望能力表示受众对内容带来的期望，而分子中的事件能力表示体验该内容时受众的唤起度或评价度事件的总和。处理器将对于每个事件(n)和用户(v)的事件能力以及对于每个事件(m)和用户(x)的期望能力求和。然后，通过运算事件能力与期望能力的比率，并且通过比率xtx/vtv标准化不同时间总和与受众人数，从而运算CEP。CEP是内容等级的组分。内容等级的其他组分可以包括聚合评价度误差和针对评价度目标(例如，胜利、绝望等)的评价度误差。
等式5描述了经校准的能力向量，该经校准的能力向量由从生物特征传感器数据得出的唤起度和评价度量度组成。在替代方案中，处理器可以定义部分未校准的能力向量，其中传感器数据信号在转换为数字值之前被缩放，以作为低水平数字信号处理的一部分，但对于用户而言不偏移，如下所示：
Figure BDA0002669038080000247
如果使用部分未校准的能力向量，则可以在运算内容参与能力(CEP)之前，针对每个因子计算聚合校准偏移，并从等式3和等式4给出的点积
Figure BDA0002669038080000248
中减去该聚合校准偏移。例如，
Figure BDA0002669038080000249
的聚合校准偏移可以由下式给出：
Figure BDA00026690380800002410
在这种情况下，可以通过以下等式计算能力向量
Figure BDA00026690380800002411
的经校准的值：
Figure BDA00026690380800002412
可以类似地计算经校准的能力向量
Figure BDA0002669038080000251
再次参考其中可以使用前述表达式的方法800(图8)，首先执行传感器数据的校准过程802，以校准用户对已知刺激(例如已知静止刺激804、已知唤起性刺激806、已知正评价度刺激808和已知负评价度刺激810)的反应。已知刺激806-810可以使用焦点组进行测试，该焦点组在文化和人口统计学上类似于目标受众，并保持在数据库中以供校准中使用。例如，国际情感图片***(IAPS)是用于在心理学研究中研究情绪和注意力的图片数据库。为了与内容平台保持一致，可以以与目标平台一致的格式制作图像或在IAPS或类似知识库中找到的那些，以用于在校准中使用。例如，可以将触发情感的主题的图片制作为视频剪辑。校准确保传感器按预期操作，并且在用户之间提供一致的数据。不一致的结果可能表明传感器发生故障或配置错误，可以将其校正或忽略。处理器可以确定一个或多个校准系数816，以用于针对设备和/或用户之间的一致性调整信号值。
校准可以具有缩放和偏移特性。为了用作唤起度、评价度或其他心理状态的指示符，传感器数据可能需要使用缩放因子和偏移因子两者进行校准。例如，GSR在理论上可能在零和1之间变化，但实际上取决于人类皮肤的固定和可变条件，该条件随个体和时间而变化。在任何给定的情景中，受试者的GSR可能在某个大于0的GSRmin到某个小于1的GSRmax之间。可以通过将受试者暴露于已知刺激下并估计校准因子的幅度和缩放来测量范围的幅度及其缩放。通过将来自具有已知刺激的情景的结果与相同类型传感器的预期范围进行比较来进行该估计。在许多情况下，校准的可靠性可能令人怀疑，或者校准数据可能不可用，有必要从现场数据中估计校准因子。在一些实施例中，可以使用自适应机器学习算法对传感器数据进行预校准，该自适应机器学习算法在接收到更多数据时为每个数据流调整校准因子，并且从针对校准进行调整的任务中省去了更高级别的处理。
一旦校准了传感器，***就在812处使用例如等式8或等式9针对类型差异对传感器数据响应数据进行标准化。不同类型制作不同评价度和唤起度分数。例如，冒险动作类型具有不同步调、故事目标和强度。因此，除非考虑了类型的参与简档，否则无法跨类型比较参与能力。类型标准化相对于同一类型中的内容对内容进行评分，使得能够在各个类型之间进行等效基础上的比较。可以使用预期的标准化刺激814来对测试受众或焦点组或主要特征之前的受试者组执行标准化812。例如，受众可以观看与主要特征相同的类型的一个或多个预告片，并且可以为一个或多个预告片运算事件能力。在替代方案中，可以使用相同用户或相同用户群组的存档数据来运算期望能力。使用与用于或将用于事件能力的测量相同的算法来运算期望能力，并且可以使用相同的校准系数816来调整该期望能力。处理器存储期望能力818以供稍后使用。
在820处，处理器在受试者内容的播放期间接收传感器数据，并且针对关注的每个量度(诸如唤起度和一个或多个评价度品质)运算事件能力。在828处，处理器在播放结束之后或在播放期间的运行基础上对内容的事件能力求和或聚合。在830处，处理器运算内容等级，包括如先前描述的内容参与能力(CEP)。处理器首先应用适用的校准系数，然后通过将聚合的事件能力除以期望能力来运算CEP，如上所述。
可选地，运算功能820可以包括在824处将每个检测的事件或检测的事件的较小子集的事件能力与为内容定义的参考故事情节进行比较。参考情节可以是例如由创造制作人定义的目标情节、预测情节、内容的一个或多个过去情节或前述情节的组合。在826处，处理器可以保存、递增或以其他方式累积描述一个或多个变量的误差的误差向量值。误差向量可以包括参考情节与对于指定场景、时间段或一组视频帧的每个测量值(例如，唤起度和评价度值)的测量响应之间的差异。误差向量和向量矩阵可以用于内容评估或内容控制。
误差测量可以包括或增加用于内容评估的其他指标。可以将内容参与能力和误差量度与购买、订阅或与呈现的内容相关的其他转换进行比较。该***还可以使用标准差或其他统计量度来测量受众响应的一致性。该***可以测量针对个人、队列和聚合受众的内容参与能力、评价度和唤起度。误差向量和CEP可以用于各种实时和离线任务。在一些实施例中，这些量度可以用于内容控制，例如，如在2017年9月29日提交的美国临时专利申请第62/566,257号和2018年1月8日提交的第62/614,811号中所描述的那样，这些申请通过引用并入本文。
数字地表示用户参与语言内容的更多细节(包括但不限于基于生物特征传感器数据数字表示内容参与能力(CEP))可以在2018年4月23日提交的美国专利申请第62/661,556号中描述。基于生物特征数据数字地表示用户在计算机存储器中参与可以发现许多应用，其中一些将在下面进一步描述。这些应用包括：在交互式或非交互式表演中为演员生成脚本、生成对脚本编写者和其他创意制作人有用的信息、通过语言工作控制进度，以及本文要求保护的的其他用途。
在控制由生物特征输入驱动的通信内容的一个方面，用户可以使用移动应用(例如，“Sage QCI”)和用于发信号通知生物特征数据和其他信息的设备。图9示出使用安装在移动设备920(例如智能电话)上的应用或***904来收集和使用来自个人902(例如，用户或玩家演员)的生物特征响应数据以进行交互式娱乐的***900。一个或多个生物特征传感器可以经由蓝牙连接918或其他合适的耦合方式耦合到移动设备920。在替代方案中，传感器可以内置于移动设备920中，并且经由总线或串行端口与其处理器通信。生物特征传感器906可以包括脑电图(EEG)传感器908、皮肤电响应传感器910、心电图传感器912、眼睛跟踪和面部表情传感器914以及方位传感器916。移动设备920的处理器可以将原始传感器数据传输到基于云的数据处理***924，该数据处理***924生成内容参与956(例如，CEP)的量度和其他处理后的数据950。内容参与软件956可以被提供给故事管理模块或应用958，以用于如本文所描述的那样控制通信内容。其他处理后的数据950可以包括例如用于内容标题的使用分析数据952和在一个或多个内容标题上聚合的趋势数据954。
数据分析***924的其他输入可以包括批处理的原始传感器数据948。批处理的数据948可以被非实时地收集并且离线存储，例如存储在个人计算设备942中，该个人计算设备942在本地数据存储装置中存储批处理的生物特征数据944，这些数据可以不时地经由网站或其他门户网站上传到数据分析服务器924。例如，离线或非实时数据对于开发用户简档或回顾性分析可能有用。
数据分析***924可以以两个更新速率(快速分组和慢速分组)执行分布式处理。移动设备920可以以快速模式处理原始生物特征数据，并且仅通过数据分组将数据摘要发送到云分析***924以进行进一步处理。在慢速模式中，可以以较慢的数据速率上传原始数据文件以进行会话后处理。数据分析***924可以被不同地配置。在一些实施例中，服务器924可以包括AmazonTM Kinesis前端926，以用于在分析***924内接收、缓存和服务输入的原始数据。数据处理部件928可以使用机器学***台936(例如，Amazon lambda(λ))来提供代码执行和缩放，而无需管理服务器上的实例、可用性和运行时间的开销。可以经由应用程序接口(API)938来管理来自数据分析***924的处理后的数据930的提供。
图11示出用于用户1002的包括移动设备1004的移动***1000，该移动设备1004具有用于收集本文描述的方法和装置中使用的生物特征数据的传感器和配件1012、1020以及显示屏1006。移动***1000可以对于实时控制或非实时应用(诸如传统的内容范围焦点组测试)很有用。移动设备1004可以使用通常包括在消费者设备(电话、桌子等)上的内置传感器，例如，前置立体相机1008(人像)或1010(风景)。通常由制造商内置以用于面部检测身份验证的相机1008、1010也可以用于通过眼睛跟踪以跟踪注意力、用于跟踪CEP评价度的FAU、用于瞳孔扩张测量以跟踪CEP唤起度和心率，该CEP唤起度和心率可通过包括脉搏检测传感器1014的手表配件1014或通过移动设备1004本身获得。
诸如头戴式耳机1020、帽子或VR头戴式受话器之类的附件可以配备有EEG传感器1022。移动设备的处理器可以经由也提供眼睛跟踪数据的3D相机1008、1010通过瞳孔扩张来检测唤起度。校准方案可以用于将由光圈(光线变化)引起的瞳孔扩张与对情感唤起度做出的改变区分开。设备1004的前置和后置相机都可以用于环境光检测，用于校正瞳孔扩张检测，从而排除了由灯光变化引起的扩张。例如，可以在校准序列期间测量瞳孔扩张距离(mm)与在针对预期环境光条件的表演期间预期的光的动态范围之间的关系。据此，处理器可以基于叙事的设计，通过测量叙事元素的额外扩张位移和校准信号测试的结果，来校准灯光效果与情感或认知工作量的效果之间的关系。
代替或附加于立体相机1008或1010，移动设备1004可以包括雷达传感器1030(例如多元件微芯片阵列雷达(MEMAR))，以创建和跟踪面部动作单元和瞳孔扩张。雷达传感器1030可以被嵌入在下方，并且可以通过移动设备1004上的屏幕1006看到，无论受试者上是否有可见光。屏幕1006对于由成像雷达阵列辐射的RF频谱是不可见的，从而可以在任何程度的明暗中通过屏幕执行雷达成像。在一个方面，MEMAR传感器1030可以包括两个阵列，每个阵列具有6个元件。各带有六个元件的两个小型RF雷达芯片天线构成成像雷达。MEMAR传感器1030相对于光学传感器1008、1010的优点在于不需要面部的照明，因此黑暗不会妨碍面部动作单元、瞳孔扩张和眼睛跟踪的感测。虽然仅示出一个6芯片MEMAR阵列1030，但是移动设备可以配备有两个或更多个类似的阵列以用于更稳健的感测能力。
前述方法和装置的某些方面可以适于在用于交互式娱乐的屏幕编写应用中使用，包括允许屏幕编写者定义与玩家和角色的心理简档有关的变量的应用接口。该应用可以使屏幕编写者通过定义变量并创建匹配的内容来创建故事。例如，编写者可以在脚本编写期间跟踪玩家参数(诸如，个性、人口统计、社会经济状况)，并基于玩家参数设置脚本如何分支的变量(由编写者决定)。此外，该应用还可以使编写者能够将分支放置在取决于玩家的神经状态的脚本中。该应用可以通过将选择呈现为下拉菜单或类似选择你自己的冒险书的链接来促进回读期间的分支的开发。屏幕编写者可以经由图形接口并且在脚本环境中管理和创建分支。该应用可以协助屏幕编写者管理非玩家角色简档，例如通过基于玩家简档和其他非玩家角色在场景中的动作为对话和动作提出建议，并且还通过玩家和其他非玩家的交互来提出建议。
脚本的草稿可以通过使用个性模型来模拟角色交互来制作。基于可用的角色数据简档信息，脚本编写应用可以通过模拟使用机器学习和试验(例如，玩家演员试验)来构建传统线性叙事的脚本。可以基于收集的关于模拟的玩家演员在模拟期间如何表演的数据，将通过模拟的每个“玩的”路径转换为线性脚本。例如，记录的交互、对话和其他元素取决于所有生物特征传感器数据和玩家演员/NPC角色简档数据。该应用可以比较替代的草稿并确定最有可能成功的草稿。建议可以主要基于个人简档数据匹配以及与叙事结构有关的跨类型、人口统计、背景故事、角色类型/角色的匹配。该应用可以使用建立在角色简档/背景故事上的数据库以及存储玩家演员试验数据、故事情节、生物特征数据和其他相关数据的数据库。
应用可以基于简档数据、情感响应和交互(来自模拟试验的存储的玩家演员交互)使用机器学习来识别角色反应中的模式。草稿脚本基于模拟的竞争、冲突以及计算机控制的非玩家角色(NPC)之间的其他交互。可以通过从存储的电影数据角色简档、故事情节、情感情节、对话以及横跨多个故事的交互的语料库中进行随机选择来告知或生成NPC交互和对话。针对流行故事情节数据对排列(从NPC到NPC的试验)进行评分，以基于过去的数据返回讨人喜欢的百分比分数。与流行故事的故事情节相似性超过95％或99％的试验可以被重新调整以供人类分析。
附加于或替代定义诸如角色和故事情节之类的主要元素，合成内容设计还可以使用更细化的“原子元素”，诸如灯光、配色方案、取景、配乐、视点(POV)或场景改变时刻，以提高受众对作品的参与，而不仅仅是选择预拍摄的场景或下一个要示出的节点。使用基于情感诉说的反馈允许制作者告知和引导设计师和脚本编写者和摄影师和配色师和配乐选择者等，以创建使受众更能好参与的内容。关键点不只是创建动态故事或调用不同NPC，而是基于经由相关传感器确定的情感诉说来改变作品的更细化方面(“原子元素”)。这可以用于形成更好的版本，以实现绿色灯光或重新设计制作，并在可能的情况下实时地进行。
合成内容设计可以用于预览的预先可视化(pre-viz)，也许使用已经强力拍摄的不同版本，或者使用CGI和pre-viz硬件来呈现不同替代方案。根据可用的计算带宽，随着演示的进行，CGI渲染的内容可以实时地做出反应，使得受众优选的灯光、配乐、取景等被并入输出。
结合图9-图10描述的***和装置可以用于执行结合图20-图21和其他地方描述的方法。图11示出用于使用具有辅助传感器设备的移动设备来收集神经生理响应数据的***的部件及其之间的序列1100的示例。在一种使用情况中，用户1102在播放器设备或模块1104的另一屏幕上观看娱乐，而智能电话1106或类似的移动设备充当生物特征传感器集线器和连接节点。智能电话1106可以在播放器模块1104呈现内容期间显示辅助信息，引起用户1102的偶尔注意。当用户注视智能电话1106的屏幕时，智能电话可以使用其生物特征传感器来收集神经生理数据，例如，电话1106可以从看一眼来收集FAU和瞳孔扩张。如果用户触摸电话的触摸屏或指纹传感器，则智能电话1106可以收集脉冲。替代地或附加地，可以安装或以其他方式支持智能电话，使得用户1102在消费内容时处于其传感器范围内。云部件1112可以是或可以包括如结合图9所描述的云服务器924或等效物。等效服务器可以包括常规的单节点服务器、服务器场或分布式服务器***(例如，区块链)。
可选地，智能电话1106可以与一个或多个辅助传感器(例如，腕部设备1108(诸如智能手表或健身带)、头戴式设备1110(诸如头带、帽子或遮阳板)以用于收集EEG和GSR、或手指安装的设备(未示出))协同工作。辅助设备1106、1108可以使用蓝牙或其他无线协议与智能电话1106无线通信。尽管各种辅助设备彼此独立操作，但其操作顺序可以相同，因此它们示出在同一行上。
在其他使用情况中，智能电话1106和播放器模块1104可以组合在单个设备中。例如，用户可以直接或经由中间设备(诸如，例如从智能电话1106接收流式音频-视频馈送的虚拟现实头饰或智能电视)来消费显示在智能电话1106的屏幕上的内容。
序列1100可以开始于用户1102使播放器模块1104发起具有期望通信内容标题、体验或工作的播放1114。智能电话1106可以经由握手或者来自播放器模块1104的信号的检测来检测会话的发起，并且收集用于内容标题、体验或工作以及用于用户的标识符1116。智能电话1106可以激活辅助传感器设备1108、1110并且向云服务器1112提供标识信息，云服务器1112可以将标识符1118注册为会话的参数。
播放器模块1120可以通过输出到其显示***、音频***和/或其他可用的输出***来播放内容的第一片段，例如，视频剪辑、音频剪辑、音频-视频剪辑、文本页面、图形图像或其他语言或非语言内容。在1121处(可选的)，如果智能电话没有显示内容，则它可以显示辅助内容以吸引用户的目光，如前所述。在1122处，智能电话1106可以从传感器收集传感器数据，如前所述。类似地，在1124处，辅助设备1108、1110可以收集传感器数据。智能电话1106可以在1125处收集并整理传感器数据，可选地将数据预处理为更紧凑的形式。然后，智能电话可以将具有片段标识符的原始和处理后的数据发送到云服务器1112，云服务器1112基于该数据来运算1126参与的量度(例如，CEP)或其他神经生理指示符或相对于叙事情节的误差指示符，如本文其他地方所述，并且将运算结果1128保存在数据存储中。云服务器1112可以将运算结果或其子集提供给智能电话1106。基于该结果，智能电话(或可替代地，云服务器)选择1130下一个片段。
用于选择下一个片段的算法可以取决于使用情况。在最终消费者使用情况中，算法可以选择下一个片段来纠正相对于叙事情节的误差，以提供更愉快或更强烈的体验，或使用情况的其他目标。在焦点组使用情况中，算法可以选择片段以阐明用户对先前的片段的反应或其他测试目标。在选择下一片段之后，智能电话1106可以将用于下一片段的标识符发送到播放器模块1104。在1132处，如果通信内容的播放没有结束，则该序列可以循环回到1120。如果播放结束，则智能电话1106可以通过发送终止信号来终止与辅助传感器设备1101、1110和云服务器1112的会话。在接收到终止信号后，云服务器可以为其数据存储生成报告1136，并且向智能电话1106提供摘要，智能电话1106可以将该摘要提供给用户1102。
鉴于前述内容，并且作为附加示例，图12示出用于使用自动算法来生成脚本或脚本的一部分的一个或多个方法1200的各方面。用于生成脚本的计算机实施的方法1200可以包括，在1210处，由至少一个处理器针对角色交互中的参与者将认知鉴别模型的一个或多个参数随机化。认知鉴别模型可以是如描述的用于运算CEP的模型，或者是结合以上图7A-图7B描述的其他模型。方法1200可以包括，在1220处，由至少一个处理器至少部分地通过对角色交互进行建模同时在多个脚本中的不同脚本之间改变参数来生成脚本。该方法可以包括，在1230处，对于多个脚本中的每一个，针对神经生理响应，由至少一个处理器基于认知鉴别模型来估计基于多个目标故事情节中的一个的有效性的量度。该方法可以包括，在1240处，基于在框1230处估计的有效性的量度，由至少一个处理器选择优选脚本元素。该方法可以包括，在1250，由至少一个处理器编译包括在框1250处选择的优选脚本元素的脚本。方法1200可以包括，在1260处，将脚本记录在计算机可读介质中。
计算装置可以被配置为执行方法1900。图13示出用于生成脚本或脚本的一部分的装置或***1300的部件。装置或***1300可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，处理器1310和存储器1316可以包含用于针对角色交互中的模拟参与者将认知鉴别模型的一个或多个参数随机化的过程的实例。如所描绘的，装置或***1300可以包括能够表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图13所示，装置或***1300可以包括用于针对角色交互中的模拟参与者将认知鉴别模型的一个或多个参数随机化的电子部件1302。部件1302可以是或可以包括用于所述随机化的装置。所述装置可以包括处理器1310，其耦合到存储器1316并且耦合到至少一个生物特征传感器1314的输出，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括例如基于个***互模型开发用于角色交互的结果表、为进入交互的两个或更多个角色标识一组结果、生成随机数以及基于随机数选择一组结果中的一个。
装置1300还可以包括用于至少部分地通过对角色交互进行建模同时在多个脚本中的不同脚本之间改变参数来生成脚本的电子部件1304。部件1304可以是或可以包括用于所述生成的装置。所述装置可以包括耦合到存储器1316的处理器1310，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，为脚本随机选择故事情节和角色、为角色配置模拟的个性，以及沿所选故事情节为角色生成一系列结果。
装置1300还可以包括用于对于多个脚本中的每一个，针对神经生理响应，基于认知鉴别模型来估计基于一个或多个目标故事情节的有效性的量度的电子部件1306。认知鉴别模型通过将目标受众的已知或估计的神经和认知特性与神经生理响应的可能性相关来预测受众响应。部件1306可以是或可以包括用于所述估计的装置。所述装置可以包括耦合到存储器1316的处理器1310，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，建立以认知鉴别模型的聚合为特征的受众简档，以及通过使用评价度-唤起度模型或其他合适的模型生成估计的各个响应，并且将各个响应进行平均，从而为每个草稿脚本生成估计的聚合受众响应。
装置1300还可以包括用于记录与每个草稿脚本相关联的估计的有效性水平的电子部件1308。部件1308可以是或可以包括用于所述记录的装置。所述装置可以包括耦合到存储器1316的处理器1310，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，将估计的有效性写入计算机数据库。创意制作人可以使用存储的估计来进行进一步的内容开发或编辑。
装置1300可以可选地包括具有至少一个处理器的处理器模块1310。处理器1310可以经由总线1313或类似的通信耦合方式与模块1302-1308可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器1310可以发起和调度由电子部件1302-1308执行的过程或功能。
在相关方面中，装置1300可以包括网络接口模块1312或等效的I/O端口，其可操作用于通过计算机网络与***部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wi-Fi接口或蜂窝电话接口。在另外的相关方面中，装置1300可以可选地包括用于存储信息的模块，例如存储器设备1316。计算机可读介质或存储器模块1316可以经由总线1313等可操作地耦合到装置1300的其他部件。存储器模块1316可以适于存储计算机可读指令和数据，以影响模块1302-1308及其子部件或处理器1310的过程和行为，或影响方法1200。存储器模块1316可以保留用于执行与模块1302-1308相关联的功能的指令。尽管示出为在存储器1316外部，但是应当理解，模块1302-1308可以存在于存储器1316内或处理器1310的片上存储器内。
参照图14，一种用于生成通信内容1400的计算机实施的方法可以包括，在1410处，由至少一个处理器从一个或多个传感器接收神经生理数据，该传感器耦合到消费通信内容的片段的至少一个用户，其中该片段是从替代片段的库中选择的。通信内容可以被编码用于移动设备，例如，便携式平板屏幕设备、数字投影仪或可佩戴饰品，其中的一些或全部可以用于替代现实或增强现实，在每种情况下移动设备可选地耦合到音频输出功能并且可选地耦合到其他输出功能(例如，运动、触觉或嗅觉)。播放通信内容可以包括，例如，将通信内容保存在移动设备的高速缓存或其他存储器中，并且处理该内容以供移动设备的至少一个处理器输出。通信内容可以包括娱乐、社交交互以及信息/教育内容或其他内容。
方法1400可以包括，在1420处，由至少一个处理器对于片段中的每一个，基于神经生理数据和用于评定神经生理数据的认知鉴别模型，运算至少一个用户的神经响应的量度。例如，该运算可以包括确定片段中的每一个的内容参与能力(CEP)值。神经生理数据可以包括本文所述的用于唤起度、评价度或其他量度的任何一个或多个数据。例如，神经生理数据可以包括以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。在一方面，确定CEP值还可以包括基于神经生理数据确定唤起度值，并且将基于神经生理数据的刺激平均唤起度与期望平均唤起度进行比较。在一方面，对于片段中的每一个的至少一个用户的神经响应的量度包括至少一个评价度的指示。
方法1400可以包括，在1430处，由至少一个处理器将对于片段中的每一个的至少一个用户的神经响应的量度记录在与片段中的每一个的标识符相关联的计算机存储器中，以用于下列项中的至少一个：制作包括片段中的所选片段的通信内容，或者为多参与者通信会话选择参与者。
图15列出了可以作为方法1400的一部分执行的其他操作1500。可以按任何操作顺序执行操作1500的元素，并且可以从方法1400中省略其中的任何一个或任何数量的元素。
参照图15，方法1400可以包括用于生成通信内容的附加操作1500中的任何一个或多个。方法1400可以包括，在1510处，至少部分地通过基于每个片段的至少一个用户的神经响应的相关联量度从库中选择片段并组合由该选择而选择的片段来生成通信内容。在一方面，该选择还可以包括基于至少一个用户的神经响应的相关联量度和目标值之间的差，将误差指示符分配给每个片段的相关联量度。例如，在一方面，选择可以包括最小化具有分配的误差指示符的片段。
方法1400可以包括，在1520处，针对各自消费片段的多个不同用户执行收集、运算和记录。在一方面，片段可以基本上由语言内容组成。在另一方面，片段可以基本上由音频内容组成。
在另一方面，方法1400可以包括，在1530处，至少部分地通过选择多个不同用户中的针对对应的片段具有互补的神经响应的量度的用户，对多参与者通信会话的用户进行匹配。例如，在一方面，多参与者通信会话可以包括计算机游戏或社交聊天会话中的一个或多个。
方法1400可以包括，在1540处，基于神经生理数据确定评价度值。方法1400可以包括，在1550处，基于针对一组指定的基线刺激而收集的对应值来标准化评价度值。
图16是示出用于生成通信内容的装置或***1600的部件的概念框图。装置或***1600可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，如上所述，处理器1610和存储器1616可以包含用于实时运算CEP的过程的实例。如所描绘的，装置或***1600可以包括可以表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图16所示，装置或***1600可以包括用于从一个或多个传感器接收神经生理数据的电子部件1602，该传感器耦合到消费通信内容的片段的至少一个用户，其中该片段是从替代片段的库中选择的。部件1602可以是或可以包括用于所述接收的装置。所述装置可以包括处理器1610，其耦合到存储器1616并耦合到至少一个传感器1614(诸如，本文其他地方描述的神经生理传感器)的输出，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，配置数据端口以从已知传感器接收传感器数据、配置与传感器的连接、在端口处接收数字数据，以及将数字数据解释为传感器数据。
装置1600还可以包括用于对于片段中的每一个，基于神经生理数据和用于评定神经生理数据的认知鉴别模型，运算至少一个用户的神经响应的量度的电子部件1604。部件1604可以是或可以包括用于所述运算的装置。所述装置可以包括耦合到存储器1616的处理器1610，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，如结合图8所描述的。
装置1600还可以包括将用于对于片段中的每一个的至少一个用户的神经响应的量度记录在与片段中的每一个的标识符相关联的计算机存储器中，以用于下列项中的至少一个的电子部件1606：制作包括片段中的所选片段的通信内容，或者为多参与者通信会话选择参与者。部件1608可以是或可以包括用于所述记录的装置。所述装置可以包括耦合到存储器1616的处理器1610，处理器基于存储在存储器中的程序指令执行算法。这种算法可以包括一系列更详细的操作，例如，对至少一个用户的神经响应的量度进行编码，并且将编码的量度存储在计算机存储器中。
装置1600可以可选地包括具有至少一个处理器的处理器模块1610。处理器1610可以经由总线1613或类似的通信耦合与模块1602-1608可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器1610可以发起和调度由电子部件1602-1608执行的过程或功能。
在相关方面中，装置1600可以包括网络接口模块1612或等效的I/O端口，其可操作用于通过计算机网络与***部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wi-Fi接口或蜂窝电话接口。在另外的相关方面中，装置1600可以可选地包括用于存储信息的模块，例如存储器设备1616。计算机可读介质或存储器模块1616可以经由总线1613等可操作地耦合到装置1600的其他部件。存储器模块1616可以适于存储计算机可读指令和数据，以影响模块1602-1608及其子部件或处理器1610的过程和行为、方法1400和本文公开的一个或多个附加操作1500，或本文所述的由媒体播放器执行的任何方法。存储器模块1616可以保留用于执行与模块1602-1608相关联的功能的指令。尽管示出为在存储器1616外部，但是应当理解，模块1602-1608可以存在于存储器1616内或处理器1610的片上存储器内。
装置1600可以包括或者可以连接到一个或多个传感器1614，传感器1614可以是任何合适的类型。合适的生物特征传感器的各种示例在上文中进行了描述。在替代实施例中，处理器1610可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置1600可以经由I/O模块1612或其他输出端口连接到本文所述的输出设备。
参照图17，一种用于控制通信内容的呈现的计算机实施的方法1700可以包括，在1710处，当至少一个用户正在消费客户端设备上的内容的片段时，由至少一个处理器从耦合到该用户的一个或多个传感器接收神经生理数据，其中内容包括片段链。内容可以被编码用于移动设备，例如，便携式平板屏幕设备、数字投影仪或可佩戴饰品，其中的一些或全部可以用于替代现实或增强现实，在每种情况下移动设备可选地耦合到音频输出功能并且可选地耦合到其他输出功能(例如，运动、触觉或嗅觉)。播放内容可以包括，例如，将内容保存在移动设备的高速缓存或其他存储器中，并且处理该内容以供移动设备的至少一个处理器输出。内容可以包括通信、娱乐、社交交互以及信息/教育内容或其他内容。片段可以包括，例如，从由语言内容、音频内容和音频-视频内容组成的组中选择的内容。
方法1700可以包括，在1720处，由至少一个处理器对于片段中的每一个，基于神经生理数据和用于评定神经生理数据的认知鉴别模型运算至少一个用户的神经响应的量度。例如，该运算可以包括确定片段中的每一个的内容参与能力(CEP)值。神经生理数据可以包括本文所述的用于唤起度、评价度或其他量度的任何一个或多个数据。例如，神经生理数据可以包括以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。在一方面，确定CEP值还可以包括基于神经生理数据确定唤起度值，并且将基于神经生理数据的刺激平均唤起度与期望平均唤起度进行比较。在一方面，对于片段中的每一个的至少一个用户的神经响应的量度包括至少一个评价度的指示。
方法1700可以包括，在1730处，由至少一个处理器基于针对片段的至少一个用户的神经响应的量度来选择链中的后续片段。在一方面，该选择还包括基于至少一个用户的神经响应的相关联量度和目标值之间的差，针对每个片段的相关联量度确定误差指示符。在另一方面，选择包括最小化具有分配的误差指示符的片段。
该方法可以包括，在1740处，将该后续片段输出到客户端设备。
图18列出了可以作为方法1700的一部分执行的附加操作1800。可以按照任何操作顺序执行操作1800的元素，并且可以从方法1700中省略其中的任何一个或任何数量的元素。
参照图18，方法1700可以包括用于控制内容的呈现的附加操作1500中的任何一个或多个。方法1700可以包括在1810处基于神经生理数据确定评价度值。在一方面，神经生理数据可以以下一项或多项：脑电图(EEG)数据、面部肌电图(fEMG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。
方法1700可以包括，在1820处，基于针对一组指定基线刺激而收集的对应值来标准化评价度值。在一方面，片段可以基本上由语言内容组成。在另一方面，片段可以基本上由音频内容组成。
图19是示出用于控制内容的呈现的装置或***1700的部件的概念框图。装置或***1900可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，处理器1910和存储器1916可以包含如上所述的用于实时运算CEP的过程的实例。如所描绘的，装置或***1900可以包括能够表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图19所示，装置或***1900可以包括用于当至少一个用户正在消费客户端设备上的内容的片段时，从耦合到该用户的一个或多个传感器接收神经生理数据的电子部件1902，其中内容包括片段链。部件1902可以是或可以包括用于所述接收的装置。所述装置可以包括处理器1910，该处理器1910耦合到存储器1916并且耦合到至少一个传感器1914(诸如本文其他地方描述的神经生理传感器)的输出，处理器基于存储在存储器中的程序指令来执行算法。这样的算法可以包括一系列更详细的操作，例如，配置数据端口以从已知传感器接收传感器数据、配置与传感器的连接、在端口处接收数字数据，以及将数字数据解释为传感器数据。
装置1900还可以包括用于对于片段中的每一个，基于神经生理数据和用于评定神经生理数据的认知鉴别模型运算至少一个用户的神经响应的量度的电子部件1904。部件1904可以是或可以包括用于所述运算的装置。所述装置可以包括耦合到存储器1916的处理器1910，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，如结合图8所描述的。
装置1900还可以包括用于基于针对片段的至少一个用户的神经响应的量度来选择链中的后续片段的电子部件1906。部件1908可以是或可以包括用于所述选择的装置。所述装置可以包括耦合到存储器1916的处理器1910，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，在链中选择CEP值不同于(例如，高于或低于)至少一个用户的神经响应的量度的后续片段。
装置1900还可以包括用于将该后续片段输出到客户端设备的电子部件1908。部件1908可以是或可以包括用于所述输出的装置。所述装置可以包括耦合到存储器1916的处理器1910，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，将后续片段发送到客户端设备以向用户呈现，其中可以经由视觉、音频、文本、视频或由用户可感知或可识别的其他形式来完成该呈现。
装置1900可以可选地包括具有至少一个处理器的处理器模块1910。处理器1910可以经由总线1913或类似的通信耦合与模块1902-1908可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器1910可以发起和调度由电子部件1902-1908执行的过程或功能。
在相关方面中，装置1900可以包括网络接口模块1912或等效的I/O端口，其可操作用于通过计算机网络与***部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wi-Fi接口或蜂窝电话接口。在另外的相关方面中，装置1900可以可选地包括用于存储信息的模块，诸如，例如，存储器设备1916。计算机可读介质或存储器模块1916可以经由总线1913等可操作地耦合到装置1900的其他部件。存储器模块1916可以适于存储计算机可读指令和数据，以影响模块1902-1908及其子部件或处理器1910的过程和行为、方法1700以及本文公开的一个或多个附加操作1800，或本文所述的客户端设备执行的任何方法。存储器模块1916可以保留用于执行与模块1902-1908相关联的功能的指令。尽管示出为在存储器1916外部，但是应当理解，模块1902-1908可以存在于存储器1916内或处理器1910的片上存储器内。
装置1900可以包括或者可以连接到一个或多个传感器1914，传感器1914可以是任何合适的类型。合适的传感器的各种示例在上文中进行了描述。在替代实施例中，处理器1910可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置1900可以经由I/O模块1912或其他输出端口连接到如本文所述的输出设备。
参照图20，可以使用结合图9-图11所描述的***和装置来执行用于收集指示消费通信内容的用户的神经响应的神经生理数据的计算机实施的方法2000。方法2000可以包括，在2010处，由移动设备的至少一个处理器检测移动设备的用户正在独立于移动设备消费通信内容。通信内容可以被编码用于移动设备，例如，便携式平板屏幕设备、数字投影仪或可佩戴饰品，其中的一些或全部可以用于替代现实或增强现实，在每种情况下移动设备可选地耦合到音频输出功能并且可选地耦合到其他输出功能(例如，运动、触觉或嗅觉)。在一个实施方式中，移动设备包括腕戴式智能设备。在其他方面，移动设备可以包括其他智能设备或可佩戴设备中的一个或多个，例如头饰、手指戴设备、护目镜等。播放通信内容可以包括，例如，将通信内容保存在移动设备的高速缓存或其他存储器中，并且处理该内容以供移动设备的至少一个处理器输出。通信内容可以包括娱乐、社交交互以及信息/教育内容或其他内容。
方法2000可以包括，在2020处，在用户正在消费通信内容时，由至少一个处理器经由移动设备中的一个或多个传感器来接收用户的神经生理数据。例如，接收可以经由移动设备的至少一个传感器来进行，该传感器包括麦克风、相机、红外传感器或相控阵传感器，或者皮肤电响应传感器。在一方面，一个或多个传感器可以用于获得可用于确定通信内容的内容参与能力(CEP)值的神经生理数据。神经生理数据可以包括本文所述的用于唤起度、评价度或其他量度的任何一个或多个数据。例如，神经生理数据可以包括以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。
方法2000可以包括，在2030处，将神经生理数据或从中导出的用户的神经状态的指示符中的至少一个提供到以下中的至少一个：输出通信内容的第二设备、远程服务器或计算机存储器。在一方面，移动设备协调通信内容的播放会话从第二设备到第三设备的切换。在一方面，移动设备不与第二设备通信。在一方面，移动设备的至少一个处理器输出用户可感知信号，以在与通信内容的播放同步的时间吸引凝视、触摸、语音或手势中的至少一种。
图21列出了可以作为方法2000的一部分执行的附加操作2100。可以按任何操作顺序执行操作2100的元素，并且可以从方法2000中省略其中的任何一个或任何数量的元素。
参照图21，方法2000可以包括用于收集指示消费通信内容的用户的神经响应的神经生理数据的附加操作2100中的任何一个或多个。方法2000可以包括，在2110处，由至少一个处理器标识用于通信内容的标识符，并且将该标识符提供给远程服务器或计算机存储器中的至少一个。
方法2000可以包括，在2120处，由至少一个处理器基于神经生理数据和认知鉴别模型来运算用户的神经状态的指示符。例如，该运算可以包括确定片段中的每一个的内容参与能力(CEP)值。神经生理数据可以包括本文所述的用于唤起度、评价度或其他量度的任何一个或多个数据。例如，神经生理数据可以包括以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。在一方面，确定CEP值还可以包括基于神经生理数据确定唤起度值，并且将基于神经生理数据的刺激平均唤起度与期望平均唤起度进行比较。在一方面，对于片段中的每一个的至少一个用户的神经响应的量度包括至少一个评价度的指示。在一方面，内容可以基本上由语言内容组成。在另一方面，内容可以基本上由音频内容组成。
在另一方面，方法2000可以包括，在2130处，在收集之前发起与输出通信内容的第二设备的通信会话。例如，在一方面，通信会话可以包括计算机游戏或社交聊天会话中的一个或多个。
图22是示出用于生成通信内容的装置或***2200的部件的概念框图。装置或***2200可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，处理器2210和存储器2216可以包含如上所述的用于实时运算CEP的过程的实例。如所描绘的，装置或***2200可以包括能够表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图22所示，装置或***2200可以包括用于检测移动设备的用户正在独立于移动设备消费通信内容的电子部件2202。部件2202可以是或可以包括用于所述检测的装置。所述装置可以包括处理器2210，其耦合到存储器2216并且耦合到至少一个传感器2214(诸如本文中其他地方描述的神经生理传感器)的输出，处理器基于存储在存储器中的程序指令来执行算法。这样的算法可以包括一系列更详细的操作，例如，配置数据端口以从除移动设备之外的已知设备接收通信内容数据、配置与该已知设备的连接、在该端口处接收已知设备数据，以及解释已知设备数据和通信内容数据。
装置2200还可以包括用于在用户正在消费通信内容时，经由移动设备中的一个或多个传感器来接收用户的神经生理数据的电子部件2204。部件2204可以是或可以包括用于所述接收的装置。所述装置可以包括耦合到存储器2216的处理器2210，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，配置数据端口以从已知传感器接收传感器数据、配置与传感器的连接、在端口处接收数字数据，以及将数字数据解释为传感器数据。
装置2200还可以包括用于将神经生理数据或从中导出的用户的神经状态的指示符中的至少一个提供到以下中的至少一个的电子部件2206：输出通信内容的第二设备、远程服务器或计算机存储器。部件2206可以是或可以包括用于所述提供的装置。所述装置可以包括耦合到存储器2216的处理器2210，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，对至少一个用户的神经响应的量度进行编码，并且将编码的量度存储在计算机存储器中，或者如结合图8所描述的。
装置2200可以可选地包括具有至少一个处理器的处理器模块2210。处理器2210可以经由总线2213或类似的通信耦合与模块2202-2208可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器2210可以发起和调度由电子部件2202-2208执行的过程或功能。
在相关方面中，装置2200可以包括网络接口模块2212或等效的I/O端口，其可操作用于通过计算机网络与***部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wi-Fi接口或蜂窝电话接口。在另外的相关方面中，装置2200可以可选地包括用于存储信息的模块，诸如，例如，存储器设备2216。计算机可读介质或存储器模块2216可以经由总线2213等可操作地耦合到装置2200的其他部件。存储器模块2216可以适于存储计算机可读指令和数据，以影响模块2202-2208及其子部件或处理器2210的过程和行为、方法2000以及本文公开的一个或多个附加操作2100，或本文所述的媒体播放器执行的任何方法。存储器模块2216可以保留用于执行与模块2202-2208相关联的功能的指令。尽管示出为在存储器2216外部，但是应当理解，模块2202-2208可以存在于存储器2216内或处理器2210的片上存储器内。
装置2200可以包括或者可以连接到一个或多个传感器2214，传感器2214可以是任何合适的类型。合适的传感器的各种示例在上文中进行了描述。在替代实施例中，处理器2210可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置2200可以经由I/O模块2212或其他输出端口连接到如本文所述的输出设备。
本文所述的方法和装置可以适于在虚拟或真实环境中改善人对人的通信。图23示出***2300，其包括具有第一个人2302的第一节点2300，该第一节点2300经由电子通信网络2350与具有第二个人2312的第二节点2320进行通信。***2300可以使用CEP模型进行通信，其中呈现CEP值并与交谈一起进行测量。例如，两个人2302、2312可以交谈，而一个或多个参与客户端2306、2316在每个参与者的照片或视频2342、2344旁边呈现关于情绪影响的数据2340。使用对应的生物特征传感器2308、2318来感测参与者2302、2312的神经生理响应，并且在本文其他地方进行了描述。每个客户端2306、2318可以将来自生物特征传感器2308、2318的传感器信号转换为生物特征数据，并且经由相应的通信部件2307、2317和通信网络2350将生物特征数据发送到分析服务器2330。服务器2330可以实时或近似实时生成评价度、唤起度，优势度、CEP或神经生理响应的任何其他合适量度中的一种或多种量度，并且经由网络2350向客户端2306、2316提供一种或多种量度。
每个客户端2306、2316可以经由输出设备2304、2314(例如显示屏)将量度输出为图形显示2340或其他有用格式(例如，可听输出)。显示2340或其他输出可以报告用于交谈序列陈述或陈述组的神经状态量度。例如，显示2340可以包括唤起度2346、2350或评价度2348、2352的指示。***2300可以在唤起度迅速增加的任何时间提供警报，并且报告与增加相关联的评价度。然后可以由人鉴别警报的含义。***2300对于虚拟沉浸式体验内的玩家演员之间的人与人通信特别有用，并且还可以在其他背景中找到应用。
鉴于前述内容，并且作为附加示例，图24-图26示出用于对个人通信的有效性进行评级的一个或多个方法2400的各个方面。方法2400可以由沉浸式混合现实输出设备或非沉浸式平板屏幕设备、投影仪或包括可编程计算机的其他输出设备执行，由与该输出设备通信的一个或多个计算机执行，或由输出设备和与该输出设备通信的一个或多个计算机的组合来执行。
参照图24，一种用于对个人通信的有效性进行评级的计算机实施的方法可以包括，在2410处，由至少一个处理器监测表示用户与接收者的通信的数字数据。数字数据可以被编码用于输出设备，例如，用于替代现实或增强现实的便携式或非便携式平板屏幕设备、数字投影仪或可佩戴饰品，在每种情况下输出设备耦合到音频输出功能并且可选地耦合到其他输出功能(例如，运动、触觉或嗅觉)。播放数字数据可以包括，例如，将数字数据保存在输出设备的高速缓存或其他存储器中，并且处理该数据以供输出设备的至少一个处理器输出。
方法2400可以包括，在2420处，从至少一个传感器接收传感器数据，该传感器被定位成感测接收者在接收通信时的非自愿响应。传感器数据可以包括本文所述的用于唤起度、评价度或其他量度的任何一个或多个数据。
方法2400可以包括，在2430处，使用如上文所述的算法，基于传感器数据，确定用于通信的内容参与能力(CEP)值。在替代方案中，该方法可以确定神经生理响应的不同量度。该方法可以包括在2440处，将与该通信相关的CEP值或其他神经量度记录在计算机存储器中。在替代方案中，该方法可以包括向用户和/或接收者指示CEP值或其他神经量度。
图25-图26列出了可以作为方法2400的一部分执行的附加操作2500、2600。操作2500、2600的元素可以按任何操作顺序执行，并且可以从方法2400中省略它们中的任何一个或任何数量的元素。
参照图25，方法2400可以包括用于确定CEP值的附加操作2500中的任何一个或多个。方法2400可以包括，在2510处，至少部分地通过基于传感器数据确定唤起度值，并且将基于传感器数据的刺激平均唤起度与期望平均唤起度进行比较来确定CEP值。用于唤起度的传感器数据可以包括以下一项或多项：脑电图(EEG)数据、皮肤电响应(GSR)数据、面部肌电图(fEMG)数据、心电图(EKG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、视频脉冲检测(VPD)数据、瞳孔扩张数据、功能磁共振成像(fMRI)数据和功能近红外数据(fNIR)。方法2400可以包括，在2520处，基于进一步的传感器数据来确定期望平均唤起度，该进一步的传感器数据测量接收者在对已知音频-视频刺激参与时的类似非自愿响应。
在另一方面，方法2400可以包括，在2530处，播放已知音频-视频刺激，该已知音频-视频刺激包括已知非唤起性刺激和已知唤起性刺激。方法2400可以包括，在2540处，至少部分地通过基于传感器数据超过阈值达一时间段而检测到一个或多个刺激事件来确定CEP值。方法2400可以包括，在2550处，针对一个或多个用户中的每一个并且针对刺激事件中的每一个运算多个事件能力中的一个，并且聚合事件能力。方法2400可以包括，在2560处，基于用于传感器数据的一个或多个源标识，为事件能力中的每一个分配权重。
参照图26，方法2400可以包括用于确定CEP值的附加操作2600中的任何一个或多个。方法2400可以包括，在2610处，至少部分地通过基于进一步的传感器数据超过阈值达一时间段而检测到一个或多个刺激事件，并且针对一个或多个用户并且针对刺激事件中的每一个运算已知音频-视频刺激的多个期望能力中的一个来确定期望平均唤起度。方法2400可以包括，在2620处，至少部分地通过运算事件能力的总和与期望能力的聚合的比率来运算CEP能力。
在相关方面，方法2400可以包括，在2630处，基于传感器数据确定评价度值。用于评价度的传感器数据可以包括以下一项或多项：脑电图(EEG)数据、面部肌电图(fEMG)数据、视频面部动作单元(FAU)数据、脑机接口(BMI)数据、功能磁共振成像(fMRI)数据、功能近红外数据(fNIR)和正电子发射断层扫描(PET)。方法2400可以包括，在2640处，基于针对已知音频-视频刺激而收集的类似值来标准化评价度值。方法2400可以包括，在2650处，基于将评价度值与用于通信的目标评价度进行比较来确定评价度误差测量。方法2400可以包括，在2660处，基于来自用户的输入来设置目标评价度值。
图27是示出用于对个人通信的有效性进行评级和相关功能的装置或***2700的部件的概念框图。装置或***2700可以包括用于执行如本文所述的功能或过程操作的附加或更详细的部件。例如，处理器2710和存储器2716可以包含如上文所述的用于实时运算CEP的过程的实例。如所描绘的，装置或***2700可以包括能够表示由处理器、软件或其组合(例如，固件)实施的功能的功能块。
如图27所示，装置或***2700可以包括用于由至少一个处理器监测表示用户与接收者的通信的数字数据的电子部件2702。部件2702可以是或可以包括用于所述监测的装置。所述装置可以包括处理器2710，其耦合到存储器2716并且耦合到至少一个生物特征传感器2714的输出，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括，例如检测通信的背景，包括针对引起目标神经生理响应来检测通信，以及在通信和目标响应之间创建关联。
装置2700还可以包括用于从至少一个传感器接收传感器数据的电子部件2704，该传感器被定位成感测接收者在接收通信时的非自愿响应。部件2704可以是或可以包括用于所述接收的装置。所述装置可以包括耦合到存储器2716的处理器2710，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，配置数据端口以从已知传感器接收传感器数据、配置与传感器的连接、在端口处接收数字数据，以及将数字数据解释为传感器数据。
装置2700还可以包括用于基于传感器数据，确定用于通信的内容参与能力(CEP)值的电子部件2706。部件2706可以是或可以包括用于所述确定的装置。所述装置可以包括耦合到存储器2716的处理器2710，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，如结合图8所描述的。
装置2700还可以包括用于以下项中的至少一项的电子部件2708：将与该通信相关的CEP值记录在计算机存储器中或向用户指示CEP值。部件2708可以是或可以包括用于所述记录或指示的装置。所述装置可以包括耦合到存储器2716的处理器2710，该处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，对CEP值进行编码并且将编码的值存储在计算机存储器中，或者将编码的值发送到输出设备以呈现给用户。
装置2700可以可选地包括具有至少一个处理器的处理器模块2710。处理器2710可以经由总线2713或类似的通信耦合与模块2702-2708可操作地通信。在替代方案中，一个或多个模块可以被实例化为处理器的存储器中的功能模块。处理器2710可以发起和调度由电子部件2702-2708执行的过程或功能。
在相关方面中，装置2700可以包括网络接口模块2712或等效的I/O端口，其可操作用于通过计算机网络与***部件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wi-Fi接口或蜂窝电话接口。在另外的相关方面中，装置2700可以可选地包括用于存储信息的模块，诸如，例如，存储器设备2716。计算机可读介质或存储器模块2716可以经由总线2713等可操作地耦合到装置2700的其他部件。存储器模块2716可以适于存储计算机可读指令和数据，以影响模块2702-2708及其子部件或处理器2710的过程和行为、方法2400以及本文公开的一个或多个附加操作2500-2600，或本文所述的媒体播放器执行的任何方法。存储器模块2716可以保留用于执行与模块2702-2708相关联的功能的指令。尽管示出为在存储器2716外部，但是应当理解，模块2702-2708可以存在于存储器2716内或处理器2710的片上存储器内。
装置2700可以包括或者可以连接到一个或多个生物特征传感器(未示出)，传感器可以是任何合适的类型。合适的生物特征传感器的各种示例在上文中进行了描述。在替代实施例中，处理器2710可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置2700可以经由I/O模块2712或其他输出端口连接到如本文所述的输出设备。
本领域技术人员将进一步理解，结合本文公开的方面描述的各种说明性的逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面总体上描述了硬件和软件、各种说明性部件、方框、模块、电路和步骤的可互换性。将这种功能实现为硬件还是软件取决于施加于整个***的应用和设计约束。技术人员可以针对每个应用以变化的方式来实施所描述的功能，但是这种实施决定不应被解释为导致脱离本公开的范围。
如在本申请中所用，术语“部件”、“模块”、“***”等旨在指代与计算机有关的实体，可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，部件或模块可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过说明的方式，在服务器上运行的应用和服务器都可以是部件或模块。一个或多个部件或模块可以驻留在执行的进程和/或线程中，并且部件或模块可以位于一个计算机上和/或分布在两个或多个计算机之间。
将根据可以包括几个部件、模块等的***来呈现各个方面。应当理解和意识到，各种***可以包括附加部件、模块等，和/或可以不包括结合附图所讨论的所有部件、模块等。也可以使用这些方法的组合。可以在电气设备上执行本文公开的各个方面，该电气设备包括利用触摸屏显示技术、平视(heads-up)用户接口、可佩戴接口和/或鼠标和键盘类型的接口的设备。这种设备的示例包括VR输出设备(例如VR头戴式受话器)、AR输出设备(例如AR头戴式受话器)、计算机(台式和移动式)、电视、数字投影仪、智能电话、个人数字助理(PDA)以及有线和无线的其他电子设备。
另外，结合本文公开的各方面描述的各种说明性逻辑块、模块和电路可以用设计用于执行本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备(PLD)或复杂PLD(CPLD)、离散门或晶体管逻辑、离散硬件部件或其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心结合，或任何其他此类配置。
本文公开的操作方面可以直接体现在硬件中，由处理器执行的软件模块中，或两者的组合中。软件模块可以驻留在RAM存储器、闪速存储器、ROM存储器、EPROM存储器、18PROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、数字多功能磁盘(DVD)、Blu-rayTM或本领域已知任何其他形式的存储介质。示例性存储介质耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在替代方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在客户端设备或服务器中。在替代方案中，处理器和存储介质可以作为离散部件驻留在客户端设备或服务器中。
此外，可以使用标准编程和/或工程技术来制作软件、固件、硬件或其任意组合以控制计算机实施所公开的方面来将一个或多个版本实施为方法、装置或制品。非暂时性计算机可读介质可以包括但不限于磁存储设备(例如硬盘、软盘、磁条或其他格式)、光盘(例如压缩盘(CD)、DVD、Blu-rayTM或其他格式)、智能卡和闪速存储器设备(例如卡、棒或其他格式)。当然，本领域技术人员将认识到可以在不脱离所公开的方面的范围的情况下对该配置进行许多修改。
提供对所公开的方面的先前描述以使本领域的任何技术人员能够制造或使用本公开。对这些方面的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实施例。因此，本公开并非旨在限于本文中所示的实施例，而是应被赋予与本文中公开的原理和新颖性特征一致的最广范围。
鉴于上文描述的示例性***，已经参考几个流程图描述了可以根据所公开的主题实施的方法。尽管为了简化说明的目的，将方法论示出并描述为一系列框，但是应当理解和认识道，所要求保护的主题不受框的顺序限制，因为一些方框可以以不同顺序进行，和/或与本文所描绘和描述的其他框同时进行。此外，并非需要所有示出的框来实施本文描述的方法。另外，应当进一步认识到，本文公开的方法能够存储在制品上，以便于将这样的方法传递和转移到计算机。

Claims (68)

1.一种用于生成脚本的方法，所述方法包括：
由至少一个处理器针对角色交互中的参与者将认知鉴别模型的一个或多个参数随机化；
由所述至少一个处理器至少部分地通过对所述角色交互进行建模同时在多个脚本中的不同脚本之间改变所述参数来生成所述脚本；
对于所述多个脚本中的每一个，针对神经生理响应，基于认知鉴别模型来估计与一个或多个目标故事情节相比的有效性的量度；以及
记录所述有效性的量度。
2.根据权利要求1所述的方法，其中估计所述有效性的量度包括：基于所述认知鉴别模型来运算内容参与能力即CEP。
3.根据权利要求2所述的方法，其中运算所述CEP值还包括确定唤起度值，并且将刺激平均唤起度与期望平均唤起度进行比较。
4.根据权利要求1所述的方法，其中运算所述CEP值还包括确定评价度值。
5.根据权利要求1所述的方法，其中估计所述有效性的量度还包括基于将预测的神经生理响应与目标故事情节进行比较来确定神经误差测量。
6.根据权利要求5所述的方法，其中所述目标故事情节包括一组目标神经值，每个所述目标神经值唯一地与连续时间序列的不同间隔相关联。
7.一种用于生成脚本的装置，包括耦合到存储器的处理器，所述存储器保存程序指令，所述程序指令在由所述处理器执行时使所述装置执行：
针对角色交互中的参与者将认知鉴别模型的一个或多个参数随机化；
至少部分地通过对所述角色交互进行建模同时在多个脚本中的不同脚本之间改变所述参数来生成所述脚本；
对于所述多个脚本中的每一个，针对神经生理响应，基于认知鉴别模型来估计基于多个目标故事情节中的一个的有效性的量度；以及
记录所述有效性的量度。
8.一种用于生成脚本的装置，包括：
用于针对角色交互中的参与者将认知鉴别模型的一个或多个参数随机化的装置；
用于至少部分地通过对所述角色交互进行建模同时在多个脚本中的不同脚本之间改变所述参数来生成所述脚本的装置；
用于对于所述多个脚本中的每一个，针对神经生理响应，基于认知鉴别模型来估计基于多个目标故事情节中的一个的有效性的量度的装置；以及
用于记录所述有效性的量度的装置。
9.一种用于生成通信内容的方法，包括：
由至少一个处理器从一个或多个传感器接收神经生理数据，所述传感器耦合到消费通信内容的片段的至少一个用户，其中所述片段是从替代片段的库中选择的；
由所述至少一个处理器对于所述片段中的每一个，基于所述神经生理数据和用于评定所述神经生理数据的认知鉴别模型运算所述至少一个用户的神经生理响应的量度；和
由所述至少一个处理器将对于所述片段中的每一个的所述至少一个用户的神经生理响应的所述量度记录在与所述片段中的每一个的标识符相关联的计算机存储器中，以用于下列项中的至少一个：制作包括所述片段中的所选片段的通信内容，或者为多参与者通信会话选择参与者。
10.根据权利要求9所述的方法，还包括至少部分地通过基于每个片段的所述至少一个用户的神经生理响应的相关联量度从所述库中选择片段，并组合由所述选择来选择的片段，来生成通信内容。
11.根据权利要求9所述的方法，还包括针对各自消费所述片段的多个不同用户执行所述收集、所述运算和所述记录。
12.根据权利要求11所述的方法，还包括至少部分地通过选择所述多个不同用户中的针对对应的片段具有互补的神经生理响应的量度的用户，对所述多参与者通信会话的用户进行匹配。
13.根据权利要求12所述的方法，其中所述多参与者通信会话包括计算机游戏或社交聊天会话中的一个或多个。
14.根据权利要求11所述的方法，其中所述片段基本上由语言内容组成。
15.根据权利要求11所述的方法，其中所述片段基本上由音频内容组成。
16.根据权利要求9所述的方法，其中所述运算包括确定对于所述片段中的每一个的内容参与能力值即CEP值。
17.根据权利要求16所述的方法，其中确定所述CEP值还包括基于所述神经生理数据来确定唤起度值，并且将基于所述神经生理数据的刺激平均唤起度与期望平均唤起度进行比较。
18.根据权利要求16所述的方法，其中所述神经生理数据包括以下一项或多项：脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。
19.根据权利要求9所述的方法，还包括基于所述神经生理数据确定评价度值。
20.根据权利要求19所述的方法，其中所述神经生理数据包括以下一项或多项：脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。
21.根据权利要求19所述的方法，还包括基于针对一组指定基线刺激而收集的对应值来标准化所述评价度值。
22.根据权利要求9所述的方法，其中对于所述片段中的每一个的所述至少一个用户的神经生理响应的所述量度包括至少一个评价度的指示。
23.根据权利要求9所述的方法，其中所述选择还包括基于所述至少一个用户的神经生理响应的相关联量度和目标值之间的差，将误差指示符分配给每个片段的所述相关联量度。
24.根据权利要求23所述的方法，其中所述选择包括最小化具有分配的误差指示符的片段。
25.一种用于生成通信内容的装置，包括耦合到存储器并且耦合到一个或多个神经生理传感器的输出的处理器，所述存储器保存程序指令，所述程序指令在由所述处理器执行时使所述装置执行：
从一个或多个传感器接收神经生理数据，所述传感器耦合到消费通信内容的片段的至少一个用户，其中所述片段是从替代片段的库中选择的；
对于所述片段中的每一个，基于所述神经生理数据和用于评定所述神经生理数据的认知鉴别模型运算所述至少一个用户的神经生理响应的量度；和
由所述至少一个处理器将对于所述片段中的每一个的所述至少一个用户的神经生理响应的所述量度记录在与所述片段中的每一个的标识符相关联的计算机存储器中，以用于下列项中的至少一个：制作包括所述片段中的所选片段的通信内容，或者为多参与者通信会话选择参与者。
26.一种用于对生成通信内容进行评级的装置，包括：
用于从一个或多个传感器接收神经生理数据的装置，所述传感器耦合到消费通信内容的片段的至少一个用户，其中所述片段是从替代片段的库中选择的；
用于对于所述片段中的每一个，基于所述神经生理数据和用于评定所述神经生理数据的认知鉴别模型运算所述至少一个用户的神经生理响应的量度的装置；和
用于由所述至少一个处理器将对于所述片段中的每一个的所述至少一个用户的神经生理响应的所述量度记录在与所述片段中的每一个的标识符相关联的计算机存储器中，以用于下列项中的至少一个的装置：制作包括所述片段中的所选片段的通信内容，或者为多参与者通信会话选择参与者。
27.一种用于控制通信内容的呈现的方法，包括：
当至少一个用户正在消费客户端设备上的内容的片段时，由至少一个处理器从耦合到所述用户的一个或多个传感器接收神经生理数据，其中所述内容包括片段链；
由所述至少一个处理器对于所述片段中的每一个，基于所述神经生理数据和用于评定所述神经生理数据的认知鉴别模型运算所述至少一个用户的神经生理响应的量度；
由所述至少一个处理器基于针对所述片段的所述至少一个用户的神经生理响应的所述量度来选择所述链中的后续片段；和
将所述后续片段输出到所述客户端设备。
28.根据权利要求27所述的方法，其中所述片段包括从由语言内容、音频内容和音频-视频内容组成的组中选择的内容。
29.根据权利要求27所述的方法，其中所述运算包括确定对于所述片段中的每一个的内容参与能力值即CEP值。
30.根据权利要求29所述的方法，其中确定所述CEP值还包括基于所述神经生理数据来确定唤起度值，并且将基于所述神经生理数据的刺激平均唤起度与期望平均唤起度进行比较。
31.根据权利要求29所述的方法，其中所述神经生理数据包括以下一项或多项：脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。
32.根据权利要求27所述的方法，还包括基于所述神经生理数据确定评价度值。
33.根据权利要求32所述的方法，其中所述神经生理数据包括以下一项或多项：脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。
34.根据权利要求33所述的方法，还包括基于针对一组指定基线刺激而收集的对应值来标准化所述评价度值。
35.根据权利要求27所述的方法，其中对于所述片段中的每一个的所述至少一个用户的神经生理响应的所述量度包括至少一个评价度的指示。
36.根据权利要求27所述的方法，其中所述选择还包括基于所述至少一个用户的神经生理响应的相关联量度和目标值之间的差，针对每个片段的所述相关联量度确定误差指示符。
37.根据权利要求36所述的方法，其中所述选择包括最小化具有分配的误差指示符的片段。
38.一种用于控制通信内容的输出的装置，包括耦合到存储器并且耦合到一个或多个神经生理传感器的输出的处理器，所述存储器保存程序指令，所述程序指令在由所述处理器执行时使所述装置执行：
当至少一个用户正在消费客户端设备上的内容的片段时，从耦合到所述用户的一个或多个传感器接收神经生理数据，其中所述内容包括片段链；
对于所述片段中的每一个，基于所述神经生理数据和用于评定所述神经生理数据的认知鉴别模型运算所述至少一个用户的神经生理响应的量度；
基于针对所述片段的所述至少一个用户的神经生理响应的所述量度来选择所述链中的后续片段；和
将所述后续片段输出到所述客户端设备。
39.一种用于控制通信内容的输出的装置，包括：
用于当至少一个用户正在消费客户端设备上的内容的片段时，从耦合到所述用户的一个或多个传感器接收神经生理数据的装置，其中所述内容包括片段链；
用于对于所述片段中的每一个，基于所述神经生理数据和用于评定所述神经生理数据的认知鉴别模型运算所述至少一个用户的神经生理响应的量度的装置；
用于基于针对所述片段的所述至少一个用户的神经生理响应的所述量度来选择所述链中的后续片段的装置；和
用于将所述后续片段输出到所述客户端设备的装置。
40.一种用于收集指示消费通信内容的用户的神经生理响应的神经生理数据的方法，所述方法包括：
由移动设备的至少一个处理器检测所述移动设备的用户正在独立于所述移动设备消费通信内容；
在所述用户正在消费所述通信内容时，由所述至少一个处理器经由所述移动设备中的一个或多个传感器接收所述用户的神经生理数据；和
将所述神经生理数据或从中导出的所述用户的神经状态的指示符中的至少一个提供到以下中的至少一个：输出所述通信内容的第二设备、远程服务器或计算机存储器。
41.根据权利要求40所述的方法，还包括由所述至少一个处理器标识用于所述通信内容的标识符，并且将所述标识符提供给所述远程服务器或所述计算机存储器中的至少一个。
42.根据权利要求40所述的方法，还包括由所述至少一个处理器基于所述神经生理数据和认知鉴别模型来运算所述用户的神经状态的所述指示符。
43.根据权利要求40所述的方法，还包括在所述收集之前发起与输出所述通信内容的所述第二设备的通信会话。
44.根据权利要求40所述的方法，其中所述收集是经由所述移动设备的至少一个传感器进行的，所述传感器包括麦克风、相机、红外传感器，或相控阵传感器，或皮肤电响应传感器。
45.根据权利要求40所述的方法，其中所述移动设备包括腕戴式智能设备。
46.根据权利要求40所述的方法，其中所述移动设备协调所述通信内容的播放会话从所述第二设备到第三设备的切换。
47.根据权利要求40所述的方法，其中所述移动设备不与所述第二设备通信。
48.根据权利要求40所述的方法，其中所述移动设备的所述至少一个处理器输出用户可感知信号，以在与所述通信内容的播放同步的时间吸引凝视、触摸、语音或手势中的至少一种。
49.根据权利要求48所述的方法，其中在输出所述用户可感知信号之后，所述移动设备的所述至少一个处理器接收由所述凝视、所述触摸、所述语音或所述手势产生的所述神经生理数据的至少一部分。
50.一种用于收集指示消费通信内容的用户的神经生理响应的神经生理数据的移动装置，包括耦合到存储器并且耦合到一个或多个神经生理传感器的输出的处理器，所述存储器保存程序指令，所述程序指令在由所述处理器执行时使所述装置执行：
检测所述移动设备的用户正在独立于所述移动装置消费通信内容；
在所述用户正在消费所述通信内容时，从所述一个或多个神经生理传感器接收所述用户的神经生理数据；和
将所述神经生理数据或从中导出的所述用户的神经状态的指示符中的至少一个提供到以下中的至少一个：输出所述通信内容的第二设备、远程服务器或计算机存储器。
51.一种用于收集指示消费通信内容的用户的神经生理响应的神经生理数据的移动装置，包括：
用于检测所述移动设备的用户正在独立于所述移动装置消费通信内容的装置；
用于在所述用户正在消费所述通信内容时，从所述一个或多个神经生理传感器接收所述用户的神经生理数据的装置；和
用于将所述神经生理数据或从中导出的所述用户的神经状态的指示符中的至少一个提供到以下中的至少一个的装置：输出所述通信内容的第二设备、远程服务器或计算机存储器。
52.一种用于对个人通信的有效性进行评级的方法，所述方法包括：
由至少一个处理器监测表示用户与接收者的通信的数字数据；
由所述至少一个处理器从至少一个传感器接收传感器数据，所述至少一个传感器被定位成感测所述接收者在接收所述通信时的神经生理响应；
由所述至少一个处理器基于所述传感器数据确定所述通信的内容参与能力值即CEP值；和
下列项中的至少一个：将与所述通信相关的所述CEP值记录在计算机存储器中，或向所述用户指示所述CEP值。
53.根据权利要求53所述的方法，其中确定所述CEP值还包括基于所述传感器数据确定唤起度值，并且将基于所述传感器数据的刺激平均唤起度与期望平均唤起度进行比较。
54.根据权利要求54所述的方法，其中所述传感器数据包括以下一项或多项：脑电图EEG数据、皮肤电响应GSR数据、面部肌电图fEMG数据、心电图EKG数据、视频面部动作单元FAU数据、脑机接口BMI数据、视频脉冲检测VPD数据、瞳孔扩张数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。
55.根据权利要求54所述的方法，还包括基于进一步的传感器数据来确定所述期望平均唤起度，所述进一步的传感器数据测量所述接收者在对已知音频-视频刺激参与时的类似非自愿响应。
56.根据权利要求56所述的方法，还包括播放所述已知音频-视频刺激，所述已知音频-视频刺激包括已知非唤起性刺激和已知唤起性刺激。
57.根据权利要求54所述的方法，其中确定所述CEP值还包括基于所述传感器数据超过阈值达一时间段而检测到一个或多个刺激事件。
58.根据权利要求58所述的方法，还包括针对所述一个或多个用户中的每一个并且针对所述刺激事件中的每一个运算多个事件能力中的一个，并且聚合所述事件能力。
59.根据权利要求59所述的方法，还包括基于所述传感器数据的一个或多个源标识为所述事件能力中的每一个分配权重。
60.根据权利要求59所述的方法，其中确定所述期望平均唤起度还包括基于所述进一步的传感器数据超过阈值达一时间段而检测到一个或多个刺激事件，并且针对所述一个或多个用户并且针对所述刺激事件中的每一个运算所述已知音频-视频刺激的多个期望能力中的一个。
61.根据权利要求61所述的方法，其中运算所述CEP能力包括运算所述事件能力的总和与所述期望能力的聚合的比率。
62.根据权利要求53所述的方法，还包括基于所述传感器数据确定评价度值。
63.根据权利要求63所述的方法，其中所述传感器数据包括以下一项或多项：脑电图EEG数据、面部肌电图fEMG数据、视频面部动作单元FAU数据、脑机接口BMI数据、功能磁共振成像fMRI数据和功能近红外数据fNIR。
64.根据权利要求63所述的方法，其还包括基于针对所述已知音频-视频刺激而收集的类似值来标准化所述评价度值。
65.根据权利要求63所述的方法，还包括基于将所述评价度值与用于所述通信的目标评价度值进行比较来确定评价度误差测量。
66.根据权利要求66所述的方法，还包括基于来自所述用户的输入来设置所述目标评价度值。
67.一种用于对个人通信的有效性进行评级的装置，包括耦合到存储器的处理器，所述存储器保存程序指令，所述程序指令在由所述处理器执行时使所述装置执行：
监测表示用户与接收者的通信的数字数据；
从至少一个传感器接收传感器数据，所述至少一个传感器被定位成感测所述接收者在接收所述通信时的神经生理响应；
基于所述传感器数据确定所述通信的内容参与能力值即CEP值；和
下列项中的至少一个：将与所述通信相关的所述CEP值记录在计算机存储器中，或向所述用户指示所述CEP值。
68.一种用于对个人通信的有效性进行评级的装置，包括：
用于监测表示用户与接收者的通信的数字数据的装置；
用于从至少一个传感器接收传感器数据的装置，所述至少一个传感器被定位成感测所述接收者在接收所述通信时的神经生理响应；
用于基于所述传感器数据确定所述通信的内容参与能力值即CEP值的装置；和
用于下列项中的至少一个的装置：将与所述通信相关的所述CEP值记录在计算机存储器中，或向所述用户指示所述CEP值。
CN201980017606.7A 2018-01-08 2019-01-08 利用用于检测神经状态的传感器数据进行内容生成和控制 Pending CN112352390A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862614811P 2018-01-08 2018-01-08
US62/614,811 2018-01-08
US201862661556P 2018-04-23 2018-04-23
US62/661,556 2018-04-23
US201862715766P 2018-08-07 2018-08-07
US62/715,766 2018-08-07
PCT/US2019/012783 WO2019136485A1 (en) 2018-01-08 2019-01-08 Content generation and control using sensor data for detection of neurological state

Publications (1)

Publication Number Publication Date
CN112352390A true CN112352390A (zh) 2021-02-09

Family

ID=67143928

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980016776.3A Active CN112118784B (zh) 2018-01-08 2019-01-07 用于检测神经生理状态的社交交互应用
CN201980017606.7A Pending CN112352390A (zh) 2018-01-08 2019-01-08 利用用于检测神经状态的传感器数据进行内容生成和控制

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980016776.3A Active CN112118784B (zh) 2018-01-08 2019-01-07 用于检测神经生理状态的社交交互应用

Country Status (5)

Country Link
US (2) US20200405213A1 (zh)
EP (2) EP3737282A4 (zh)
KR (2) KR102649074B1 (zh)
CN (2) CN112118784B (zh)
WO (2) WO2019136394A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742560B (zh) 2017-09-29 2022-06-24 华纳兄弟娱乐公司 向用户提供影视内容的方法和装置
US11113887B2 (en) * 2018-01-08 2021-09-07 Verizon Patent And Licensing Inc Generating three-dimensional content from two-dimensional images
US12023176B2 (en) * 2019-06-12 2024-07-02 Hewlett-Packard Development Company, L.P. Extended reality adjustments based on physiological measurements
US11153555B1 (en) * 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11918359B2 (en) * 2020-06-17 2024-03-05 Lear Corporation System and method for deep analytics and strategic monetization of biomedical sensor data
US11925433B2 (en) * 2020-07-17 2024-03-12 Daniel Hertz S.A. System and method for improving and adjusting PMC digital signals to provide health benefits to listeners
US11045731B1 (en) * 2020-10-08 2021-06-29 Playtika Ltd. Systems and methods for combining a computer story game with a computer non-story game
US11487891B2 (en) * 2020-10-14 2022-11-01 Philip Chidi Njemanze Method and system for mental performance computing using artificial intelligence and blockchain
CN112398952A (zh) * 2020-12-09 2021-02-23 英华达（上海）科技有限公司 电子资源推送方法、***、设备及存储介质
US11399074B2 (en) * 2020-12-16 2022-07-26 Facebook Technologies, Llc Devices, systems, and methods for modifying features of applications based on predicted intentions of users
US11336707B1 (en) * 2020-12-21 2022-05-17 T-Mobile Usa, Inc. Adaptive content transmission
CN113017630B (zh) * 2021-03-02 2022-06-24 贵阳像树岭科技有限公司 一种视觉感知情绪识别方法
FR3123487B1 (fr) * 2021-05-27 2024-01-19 Ovomind K K Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo
US11670184B2 (en) * 2021-07-22 2023-06-06 Justin Ryan Learning system that automatically converts entertainment screen time into learning time
US11899922B2 (en) * 2021-07-27 2024-02-13 Carnegie Mellon University System, method, and device for interactive neurological training
KR102541146B1 (ko) * 2021-12-22 2023-06-13 주식회사 메디컬에이아이 블록체인을 통한 심전도 데이터 디지털 콘텐츠화 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기재된 기록 매체

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080161109A1 (en) * 2007-01-03 2008-07-03 International Business Machines Corporation Entertainment system using bio-response
US20090036756A1 (en) * 2007-07-30 2009-02-05 Neurofocus, Inc. Neuro-response stimulus and stimulus attribute resonance estimator
US20090163777A1 (en) * 2007-12-13 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for comparing media content
US20110009193A1 (en) * 2009-07-10 2011-01-13 Valve Corporation Player biofeedback for dynamically controlling a video game state
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US20140150002A1 (en) * 2012-11-29 2014-05-29 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US20140221866A1 (en) * 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
US20140270683A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Measuring user engagement of content
US20140307878A1 (en) * 2011-06-10 2014-10-16 X-System Limited Method and system for analysing sound
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
US9304621B1 (en) * 2012-05-25 2016-04-05 Amazon Technologies, Inc. Communication via pressure input
CN106030642A (zh) * 2014-02-23 2016-10-12 交互数字专利控股公司 认知与情感人机界面

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2071759C1 (ru) * 1994-08-16 1997-01-20 Копылов Виталий Александрович Способ лечения детского церебрального паралича
US6487583B1 (en) * 1998-09-15 2002-11-26 Ikimbo, Inc. System and method for information and application distribution
US7874983B2 (en) * 2003-01-27 2011-01-25 Motorola Mobility, Inc. Determination of emotional and physiological states of a recipient of a communication
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US9514436B2 (en) * 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
CN101578065A (zh) * 2006-09-08 2009-11-11 Ull测量仪股份公司 利用痛觉阈测量结果的方法
US20090088610A1 (en) * 2007-03-02 2009-04-02 Lee Hans C Measuring Physiological Response to Media for Viewership Modeling
EP2214550A1 (en) * 2007-10-31 2010-08-11 Emsense Corporation Systems and methods providing distributed collection and centralized processing of physiological responses from viewers
US8444485B2 (en) * 2008-08-05 2013-05-21 Warner Bros. Entertainment Inc. Seamless user navigation between high-definition movie and video game in digital medium
GB2470579A (en) * 2009-05-27 2010-12-01 Univ Abertay Dundee A behavioural biometric security system using keystroke metrics
CN102802515A (zh) * 2009-06-12 2012-11-28 皇家飞利浦电子股份有限公司 调节有机体
EP2333778A1 (en) * 2009-12-04 2011-06-15 Lg Electronics Inc. Digital data reproducing apparatus and method for controlling the same
US10843078B2 (en) * 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US9846628B2 (en) * 2010-06-15 2017-12-19 Microsoft Technology Licensing, Llc Indicating parallel operations with user-visible events
US10198775B2 (en) * 2010-06-23 2019-02-05 Microsoft Technology Licensing, Llc Acceleration of social interactions
CN103561652B (zh) * 2011-06-01 2017-02-15 皇家飞利浦有限公司 用于辅助患者的方法和***
US9301068B2 (en) * 2011-10-19 2016-03-29 Cochlear Limited Acoustic prescription rule based on an in situ measured dynamic range
JP5828552B2 (ja) * 2011-12-22 2015-12-09 本田技研工業株式会社 物体分類装置、物体分類方法、物体認識装置及び物体認識方法
US9569986B2 (en) * 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US9254437B2 (en) * 2012-04-25 2016-02-09 Electronic Entertainment Design And Research Interactive gaming analysis systems and methods
US9748914B2 (en) * 2012-08-15 2017-08-29 Warner Bros. Entertainment Inc. Transforming audio content for subjective fidelity
US9788777B1 (en) * 2013-08-12 2017-10-17 The Neilsen Company (US), LLC Methods and apparatus to identify a mood of media
US10084880B2 (en) * 2013-11-04 2018-09-25 Proteus Digital Health, Inc. Social media networking based on physiologic information
EP3111447B1 (en) * 2014-02-24 2020-12-30 Ctrlmovie AG Device and method for playing an interactive audiovisual movie
US9704205B2 (en) * 2014-02-28 2017-07-11 Christine E. Akutagawa Device for implementing body fluid analysis and social networking event planning
CN107005747B (zh) * 2014-07-31 2020-03-06 普达普有限公司 经由用户可选择的叙事呈现递送媒体内容的方法、设备和制品
EP3186969A1 (en) * 2014-08-29 2017-07-05 Sling Media Inc. Systems and processes for delivering digital video content based upon excitement data
CN105610884B (zh) * 2014-11-21 2019-03-29 阿里巴巴集团控股有限公司 旅游信息的提供方法及装置
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
EP3032455A1 (en) * 2014-12-09 2016-06-15 Movea Device and method for the classification and the reclassification of a user activity
US9792084B2 (en) * 2015-01-02 2017-10-17 Gracenote, Inc. Machine-led mood change
JP6049224B2 (ja) * 2015-04-14 2016-12-21 国立研究開発法人産業技術総合研究所 皮膚感覚の評価装置、および皮膚感覚の評価方法
WO2016172557A1 (en) * 2015-04-22 2016-10-27 Sahin Nedim T Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
CN204630657U (zh) * 2015-05-08 2015-09-09 国网上海市电力公司 一种电缆管道振动监测节点
US10242677B2 (en) * 2015-08-25 2019-03-26 Malaspina Labs (Barbados), Inc. Speaker dependent voiced sound pattern detection thresholds
US10213688B2 (en) * 2015-08-26 2019-02-26 Warner Bros. Entertainment, Inc. Social and procedural effects for computer-generated environments
US10338939B2 (en) 2015-10-28 2019-07-02 Bose Corporation Sensor-enabled feedback on social interactions
CN109564351A (zh) * 2016-06-06 2019-04-02 华纳兄弟娱乐公司 混合现实***

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080161109A1 (en) * 2007-01-03 2008-07-03 International Business Machines Corporation Entertainment system using bio-response
US20090036756A1 (en) * 2007-07-30 2009-02-05 Neurofocus, Inc. Neuro-response stimulus and stimulus attribute resonance estimator
US20090163777A1 (en) * 2007-12-13 2009-06-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for comparing media content
US20110009193A1 (en) * 2009-07-10 2011-01-13 Valve Corporation Player biofeedback for dynamically controlling a video game state
US20140221866A1 (en) * 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
US20140307878A1 (en) * 2011-06-10 2014-10-16 X-System Limited Method and system for analysing sound
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
US9304621B1 (en) * 2012-05-25 2016-04-05 Amazon Technologies, Inc. Communication via pressure input
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US20140150002A1 (en) * 2012-11-29 2014-05-29 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US20140270683A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Measuring user engagement of content
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
CN106030642A (zh) * 2014-02-23 2016-10-12 交互数字专利控股公司 认知与情感人机界面

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HARISH KATTI ET AL.: "Affective video summarization and story board generation using Pupillary dilation and Eye gaze", 《2011 IEEE INTERNATIONAL SYMPOSIUM ON MULTIMEDIA》, 30 December 2011 (2011-12-30), pages 319 - 326, XP032090745, DOI: 10.1109/ISM.2011.57 *
OLGA SOURINA ET AL.: "EEG-Based Personalized Digital Experience", 《SPRINGER-VERLAG BERLIN HEIDELBERG 2011》, 30 December 2011 (2011-12-30), pages 591 - 599 *
STEPHEN W. GILROY ET AL.: "Exploring Passive User Interaction for Adaptive Narratives", 《DESIGNING NARRATIVES & THEATER》, 17 February 2012 (2012-02-17), pages 119 - 128, XP055851570 *

Also Published As

Publication number Publication date
KR20210003718A (ko) 2021-01-12
US20200405212A1 (en) 2020-12-31
WO2019136394A1 (en) 2019-07-11
KR20210004951A (ko) 2021-01-13
CN112118784B (zh) 2024-06-14
WO2019136485A1 (en) 2019-07-11
KR102649074B1 (ko) 2024-03-18
EP3737282A1 (en) 2020-11-18
US20200405213A1 (en) 2020-12-31
EP3738230A4 (en) 2022-04-20
CN112118784A (zh) 2020-12-22
EP3737282A4 (en) 2021-11-24
EP3738230A1 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
CN111936036B (zh) 使用生物特征传感器数据检测神经状态来指导现场娱乐
US20200405213A1 (en) Content generation and control using sensor data for detection of neurological state
US10171858B2 (en) Utilizing biometric data to enhance virtual reality content and user response
US10120413B2 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
US10843078B2 (en) Affect usage within a gaming context
US20220392625A1 (en) Method and system for an interface to provide activity recommendations
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
WO2020178411A1 (en) Virtual agent team
Zhao et al. Mental stress-performance model in emotional engineering
KR102690201B1 (ko) 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
US11822719B1 (en) System and method for controlling digital cinematic content based on emotional state of characters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination