CN111742560B - 向用户提供影视内容的方法和装置 - Google Patents

向用户提供影视内容的方法和装置 Download PDF

Info

Publication number
CN111742560B
CN111742560B CN201880076920.8A CN201880076920A CN111742560B CN 111742560 B CN111742560 B CN 111742560B CN 201880076920 A CN201880076920 A CN 201880076920A CN 111742560 B CN111742560 B CN 111742560B
Authority
CN
China
Prior art keywords
nodes
emotional
user
story
selecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880076920.8A
Other languages
English (en)
Other versions
CN111742560A (zh
Inventor
A·A·查佩尔
L·S·奥斯特罗夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Warner Bros Entertainment Inc
Original Assignee
Warner Bros Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Warner Bros Entertainment Inc filed Critical Warner Bros Entertainment Inc
Publication of CN111742560A publication Critical patent/CN111742560A/zh
Application granted granted Critical
Publication of CN111742560B publication Critical patent/CN111742560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Dermatology (AREA)

Abstract

一种用于经由计算机控制的媒体播放器向用户提供影视内容的计算机实施的方法，包括：由处理器访问内容包，该内容包包括目标情绪情节和数字对象的集合，每个数字对象与指示每个数字对象的情绪概况的代码相关联；播放从内容包中选择的数字对象，从而输出音频‑视频信号以供输出设备显示；从至少一个传感器接收传感器数据，该传感器被定位成感测观看输出设备的用户的生物特征；基于传感器数据确定一个或多个情绪状态变量的值；以及基于一个或多个情绪状态变量、目标情绪情节的最近值以及指示情绪概况的一个或多个代码，选择用于播放的数字对象。一种装置被配置为使用硬件、固件和/或软件来执行该方法。

Description

向用户提供影视内容的方法和装置
相关申请的交叉引用
本申请要求于2017年9月29日提交的美国临时专利申请序列号 62/566,257、2018年1月8日提交的序列号62/614,811、2018年4月23日提交的序列号62/661,556以及2018年8月7日提交的序列号62/715,766的优先权，这些申请的全部内容通过引用并入本文。
技术领域
本公开涉及用于响应于指示用户的情绪状态的传感器数据来制作和控制数字影视内容、非玩家角色与用户的交互或两者的方法和装置。
背景技术
计算机生成的音频-视频娱乐中的分支叙事可以追溯到19世纪80年代或更早的时期。当今复杂的视频游戏模糊了叙事娱乐和交互娱乐之间的界限，融合了分支和交互技术。诸如虚拟现实和增强现实等沉浸式娱乐技术为吸引观众提供了更多机会。通过机器学习进行数据挖掘，可以发现底层数据与各种目标(包括消费者的偏好和倾向)之间的新对应关系。移动电话和物联网 (IoT)设备的激增推动了联网传感器的***式增长。现在，可以收集比以往更多的有关内容的消费者的实时和批量数据。
尽管新的娱乐媒体和越来越多的壮观效果为观众带来了前所未有的娱乐体验，但影视内容的基础仍然是故事和演员。成功的电影通常针对电影类型的尽可能广泛的观众，将引人入胜的故事与令人信服的演员以及视觉和听觉上吸引人的安排结合在一起。但是电影并非是交互式的。制作决策是基于导演的艺术和业务敏感性而制定的，这些敏感性通常是在首次发布前的几年或几个月形成的。大量的制作预算都花在了固定产品上，大多数观众只能看到一次。任何时候，每个人的产品都是一样的。导演不可能提供每个人都会同情的产品，因此他们创造公分母或市场利基。当前的影视产品没有利用可用技术来在单个内容包内为不同的观众提供更有趣和引人入胜的内容。
因此，期望开发用于影视内容的制作和控制的新方法和其他新技术，以克服现有技术的这些和其他局限性，并为明天的受众提供更多引人入胜的娱乐体验。
发明内容
本发明内容和以下具体实施方式应被解释为集成公开的补充部分，该部分可以包括多余的主题和/或补充的主题。任何节段中的省略均不指示该集成申请中描述的任何要素的优先级或相对重要性。这些节段之间的差异可以包括替代实施例的补充公开、附加细节或使用不同术语的相同实施例的替代描述，如从相应公开中显而易见的。
在本公开的一方面，一种用于经由计算机控制的媒体播放器向用户提供影视内容的计算机实施的方法可以包括：由媒体播放器的处理器访问内容包，该内容包包括目标情绪情节(emotional arc)和数字对象的集合，每个数字对象与指示每个数字对象的情绪概况(profile)的一个或多个代码相关联；以及播放从内容包中选择的数字对象，从而输出音频-视频信号以供输出设备显示。该方法可以进一步包括：从至少一个传感器接收传感器数据，该传感器被定位成感测观看输出设备的用户的可变生物特征，该可变生物特征指示用户的神经状态；基于传感器数据，确定一个或多个情绪状态变量的值；以及基于一个或多个情绪状态变量、目标情绪情节的最近值以及指示情绪概况的一个或多个代码，选择用于播放的数字对象。
在一方面，数字对象中的每一个可以进一步用指示故事网络的节点的一个或多个代码来进行编码，选择操作可以进一步包括：进一步基于指示该节点在故事网络中的位置的一个或多个代码来选择数字对象。故事网络可以是或可以包括一组节点，其包括该节点。除节点中的第一个和最后一个节点之外，节点中的每一个可以与一个或多个可接受的先行节点和一个或多个可接受的后续节点唯一地相关联，一个或多个可接受的先行节点由该一组节点的第一适当的非空子集组成，一个或多个可接受的后续节点由该一组节点的不包括第一适当的非空子集的第二适当的非空子集组成。节点中的每一个的先行节点和后续节点可以指示其在故事网络中的位置。
故事网络可以包括故事节点的分开的层，并且选择可以进一步包括：从分开的层中的不同的层中选择各自指示节点的数字对象，以用于在影视内容的场景中进行组合。在一方面，播放可以包括将来自故事节点的分开的层的故事节点进行组合，从而形成组合。在另一方面，选择进一步可以包括选择指示分开的层的重合节点的数字对象。在一方面，该组节点中的至少一些与分开的层中的不同的层中的一个或多个重合节点相关联。故事软件可以对“嵌入式回放链”、查找表(LUT)或其他方法进行编码，以确保通过每个级别上的节点的线程继续与用户的感受和/或显式交互保持一致，并且故事和/或非玩家角色的行为或情节根据需要进行无缝调整。
在另一方面，播放可以包括基于组合来渲染一个或多个视频帧。在一种替代方案中，或者附加地，播放可以包括获得预渲染的数据并提供给输出设备。
在一方面，选择可以进一步包括将一个或多个情绪状态变量的值与目标情绪情节的最近值进行比较；以及至少部分地通过与补偿比较中测量的缺陷的情绪概况相关联来选择数字对象。目标情绪情节可以是或可以包括一组目标情绪值，每个目标情绪值与连续时间序列的不同间隔唯一地相关联。该方法可以包括基于用户的先前的情绪响应数据或用户的人口概况中的至少一个，在播放期间自动地修改目标情绪情节。
情绪响应通常是无意的。在另一方面，选择可以进一步基于指示由用户响应于播放而进行的有意交互的数据。有意交互可以包括例如以下一项或多项：针对出现在输出中的角色的语音、由用户界面设备或传感器感测到的有意肌肉运动或由电传感器感测到的有意大脑活动。该方法可以进一步包括基于指示由用户响应于播放而进行的有意交互的数据，控制出现在输出中的角色或对象的动作。
前述方法可以通过在非暂时性计算机可读介质中提供的程序指令在任何合适的可编程计算装置中实施，该程序指令在由计算机处理器执行时使该装置执行所描述的操作。处理器可以是装置和用户本地的、远程定位，或者可以包括本地和远程处理器的组合。一种装置可以包括计算机或一组连接的计算机，该计算机或一组连接的计算机用于影视制作或用于将影视内容输出到一个或多个用户。影视输出设备可以包括例如个人计算机、移动电话、笔记本计算机、虚拟现实设备或增强现实设备。该装置的其他元件可以包括例如音频输出设备和用户输入设备，它们参与该方法的执行。一种装置可以包括虚拟或增强现实设备，诸如对用户的头部和其他身体部分的运动做出反应的头戴式受话器或其他显示器。该装置可以包括生物特征传感器，该生物特征传感器提供由控制器用来控制影视内容的细节的数据。
为了实现前述和相关目的，一个或多个示例包括下文中充分描述并且在权利要求中特别指出的特征。以下描述和附图详细地阐述了某些说明性方面，并且仅指示了可以采用示例原理的各种方式中的一些方式。当结合附图和所公开的示例来考虑以下具体实施方式时，其他优点和新颖特征将变得显而易见，该具体实施方式包括所有这些方面及其等同物。
附图说明
当结合附图时，根据以下阐述的具体实施方式，本公开的特征、性质和优点将变得更加明显，在附图中，贯穿说明书和附图，相同的附图标记标识相同的元件。
图1是示出了耦合到一个或多个分配***的用于响应于指示用户的情绪状态的传感器数据来制作和控制数字影视内容的***和装置的各方面的示意框图。
图2是示出了用于响应于指示用户的情绪状态的传感器数据来制作数字影视内容的服务器的各方面的示意框图。
图3是示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的客户端设备的各方面的示意框图。
图4是示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的虚拟现实客户端设备的特征的示意图。
图5是示出了用于响应于指示用户的情绪状态的传感器数据来制作或控制数字影视内容的输出的方法的高级操作的流程图。
图6是示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的***的高级方面的框图。
图7是示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的方法的各方面的流程图。
图8是示出了响应于指示用户的情绪状态的传感器数据的数字影视内容的层和分支与情绪情节的映射的概念图。
图9A是示出了图8中映射的影视内容中的不同对象与场景之间的元数据和关联的框图。
图9B是示出了角色、故事和情绪情节之间的关系的分层网络图。
图10是示出了响应于用户(玩家演员)的情绪状态或多个用户的情绪状态的聚合而进行的实时场景选择的各方面的流程图。
图11是示出了用于响应于用户的情绪状态而进行的实时场景或对象选择的选择算法的示例的流程图。
图12是示出了可以响应于用户的情绪状态而用于实时场景或对象选择的情绪概况矢量的各方面的框图。
图13是示出了三幕式(three-act)情绪情节中的故事的语义元素的示例的概念图。
图14是示出了参考预定情绪情节的玩家演员与***或方法之间的交互的示例的概念图，该***或方法响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出。
图15A是指示情绪状态相对于二维情绪空间的轴线的布置的图。
图15B是指示情绪状态相对于三维情绪空间的轴线的布置的图。
图16是示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的方法的各方面的流程图。
图17-图18是示出了图16所示方法的另外的可选方面或操作的流程图。
图19是示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的装置或***的组件的概念框图。
具体实施方式
现在参考附图描述各个方面。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个方面的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践各个方面。在其他实例中，以框图形式示出公知的结构和设备以有助于描述这些方面。
参照图1，可以在客户端-服务器环境100中实施用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的方法。其他架构也可以是合适的。在网络架构中，传感器数据可以在本地收集和处理，并用于控制来自网络源的流数据。在替代实施例中，影视内容可以被本地控制，并且日志数据被提供给远程服务器以改善机器学习算法和跟踪使用。如本文所使用的，“影视内容”是指数字音频-视频内容，其至少部分地通过被设计成根据叙事紧张度方案(在本文中有时被称为“情绪情节”)来娱乐和唤起观众的情绪的脚本来布置。通过情绪情节所计划的叙事紧张度可能使用户在不同时间或响应于某些戏剧性事件、角色、对象、图像、声音、音乐或从数字音频-视频内容生成的其他刺激体验相反极性的感觉，例如恐惧和信心或反感和吸引。这些感觉的强度通常与用户从体验中获得的兴趣和愉悦有关，并且也可以由情绪情节随着紧张感增强、达到高潮和缓解来计划这些感觉。影视内容的用户在情绪情节的体验期间通过非自主地进入紧张的神经状态或神经生理状态 (例如，有时被称为评价度的正面或负面情绪，以及有时被称为唤起度 (arousal)的响应的强度、幅度或力度)自然地做出反应。在各种实施例中，影视内容可以被配置为支持类似于视频游戏特征的交互特征，或者除了响应于指示用户神经或神经生理状态的数据之外可以没有交互特征。
如果内容被配置为支持它，则用户(也称为“玩家演员”)也可以主动与出现在影视内容中的角色或其他对象进行交互。如本文所使用的，“玩家演员”是配备有或耦合到生物特征传感器的客户端设备或接口的用户，该用户使用客户端设备或接口以通过非自主地进入神经状态或神经生理状态(例如，情绪化)(无论是否也使用控制器提供直接输入)而与影视内容中的角色或对象进行交互，从而使角色或对象的叙事行为在无需玩家演员的有意动作的情况下而发生变化。“叙事行为”指的是改变叙事(例如角色对话或动作)的行为。因此，玩家演员包括通过向内或向外情绪化而没有采取有意动作来影响叙事的用户。在讨论影视AI时，本描述可互换地使用“用户”和“玩家演员”。影视AI基于通过用户的非自主神经或神经生理状态(例如评价度和唤起度) 的生物特征感测而进行的实时神经反馈，使影视内容的适应性能够增强或维持用户所体验的叙事紧张度。
合适的客户端-服务器环境100可以包括经由一个或多个网络(例如，广域网(WAN)102(例如，互联网)和/或无线通信网络(WCN)104(例如蜂窝电话网络)进行通信的各种计算机服务器和客户端实体。可以以各种架构来实施计算机服务器。例如，环境100可以包括一个或多个Web/应用服务器 124，其包含与万维网协议兼容的文档和应用代码，包括但不限于例如HTML、 XML、PHP和JavaScript文档或可执行脚本。环境100可以包括一个或多个数据服务器126，其用于保存：数据，例如，影视内容的视频、音频-视频、音频和图形内容组分，以供使用客户端设备消费；用于在客户端设备上执行或与之结合执行的软件，例如传感器控制和情绪检测应用；以及从用户或客户端设备收集的数据。从客户端设备或用户收集的数据可以包括例如传感器数据和应用数据。传感器数据可以由在客户端设备上运行的后台(非面向用户)应用收集，并且传输到数据接收装置(sink)，例如基于云的数据服务器 122或离散数据服务器126。应用数据是指应用状态数据，包括但不限于与应用或其他应用输入、输出或内部状态的用户交互的记录。应用可以包括用于控制影视内容并且支持功能的软件。可以从其他类型的服务器提供应用和数据，例如，访问分布式区块链数据结构128的任何服务器，或诸如可以由一组客户端设备118、120提供同时作为微型服务器或客户端操作的端对端(P2P) 服务器116。
如本文所使用的，用户总是影视内容的观众，***节点从该观众中收集实时情绪响应数据以用于控制影视输出。当经由化身或其他机构积极地参与内容时，用户在本文中也可以被称为玩家演员。观众并不总是用户。例如，旁观者可以是不经由情绪响应与内容交互的被动观众。如本文中所使用的，“节点”包括参与计算机网络的客户端或服务器。如上所述，本描述还利用术语“玩家演员”来区别于其中将用户称为“玩家角色”的先前交互叙事。玩家角色通过操纵控制器(例如键盘或专用游戏控制器)或其他直接输入与叙事交互。与玩家演员不同，玩家角色无法在没有任何有意动作的情况下通过实现可生物特征检测的神经状态来改变叙事。
当通过情绪表达与影视AI交互时，用户是影视AI叙事中的玩家演员。玩家演员可以通过各种方式与内容进行交互，包括例如与NPC和其他玩家演员的自然语言交流、沉浸式体验中的移动和虚拟移动以及与其他玩家演员、 NPC和叙事环境的情绪反馈循环。
网络环境100可以包括各种客户端设备，例如经由WCN 104和WAN 102 连接到服务器的移动智能电话客户端106和笔记本客户端108；前述客户端设备中的任何一个或个人计算机客户端设备110、经由路由器112和WAN 102 连接到服务器的混合现实(例如，虚拟现实或增强现实)客户端设备114。通常，客户端设备可以是或可以包括用户用于访问经由服务器或从本地贮存器提供的影视内容的计算机。
图2示出用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的影视内容服务器200，该影视内容服务器200可以在环境100中、相似网络中或作为独立服务器来操作。服务器200可以包括一个或多个硬件处理器202、214(示出一个或多个硬件处理器中的两个)。硬件包括固件。一个或多个处理器202、214中的每一个可以耦合到输入/输出端口216(例如，通用串行总线端口或其他串行或并行端口)，耦合到用于指示用户的情绪状态的传感器数据和观看历史的源220。观看历史可以包括来自内容包的基线脚本的变化的日志级别记录或响应于玩家演员情绪状态和其他输入而做出的控制决策的等效记录。观看历史还可以包括在电视、Netflix和其他源上观看的内容。包含派生情绪情节的任何源都可以用于情绪反应内容控制算法的输入。服务器200可以跨个人或同类群组的多个内容标题跟踪玩家演员动作和情绪响应。某些类型的服务器(例如云服务器、服务器场或P2P服务器)可以包括协作执行单个服务器的功能的离散服务器200的多个实例。
服务器200可以包括用于发送和接收应用程序和数据的网络接口218，该应用程序和数据包括但不限于用于控制影视内容的传感器和应用程序数据。内容可以从服务器200提供给客户端设备，或者可以由客户端设备本地存储。如果存储在客户端设备本地，则客户端和服务器200可以合作以处理传感器数据和其他玩家演员功能。在一些实施例中，客户端可以处理所有内容控制功能，并且服务器200可以仅用于跟踪或者可以根本不使用。在其他实施例中，服务器200执行内容控制功能。
服务器200的每个处理器202、214可以可操作地耦合到至少一个存储器 204，该存储器204保存一个或多个应用程序的功能模块206、208、210、212，以用于执行本文所述的方法。模块可以包括例如用于与客户端设备和服务器进行通信的通信模块206。通信模块206可以包括指令，该指令在由处理器 202和/或214执行时使服务器经由网络或其他连接与客户端设备通信控制数据、内容数据和传感器数据。跟踪模块208可以包括用于根据用户许可和隐私设置来跟踪用户或同类群组针对一个或多个内容标题的情绪响应和其他交互数据的功能。
模块可以包括例如机器学习过程(MLP)模块210。MLP模块210可以包括指令，该指令在由处理器202和/或214执行时使服务器执行以下一项或多项操作：将以计算机语言编码的机器学习过程应用到指示玩家演员情绪反应的数据，从而标识对内容控制算法有用的用户内部状态。机器学习过程210 在由处理器执行时，可以使服务器为特定的控制动作分配目标结果的可能性，例如针对影视内容的情绪情节的定义的情绪状态。
模块可以进一步包括远程媒体播放器功能212，该远程媒体播放器功能212在由处理器执行时使服务器执行本文所述的针对媒体播放器的任何一个或多个功能。在替代实施例中，可以从服务器存储器204中省略远程媒体播放器功能，并将其提供在客户端设备的存储器中。存储器204可以包含附加指令(例如操作***)和支持模块。
参考图3，用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的内容消费设备300的各个方面。装置300可以包括例如处理器 302，例如基于由IntelTM或AMDTM设计的基于80x86架构的中央处理单元、由ARMTM设计的片上***，或任何其他合适的微处理器。处理器302可以使用总线或其他耦合方式可通信地耦合到3D环境装置300的辅助设备或模块。可选地，处理器302及其耦合的辅助设备或模块可以被容纳在外壳301内或耦合到外壳301，外壳301例如是具有电视、机顶盒、智能电话、可佩戴眼镜、眼镜或遮光板或其他形状因子的形状因子的外壳。
用户接口设备324可以耦合到处理器302，用于向用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的过程提供用户控制输入。该过程可以包括输出用于常规平面屏幕或投影显示设备的视频和音频。在一些实施例中，影视控制过程可以是或可以包括用于由处理器302上执行的混合现实沉浸式显示引擎操作的沉浸式混合现实内容显示过程的音频-视频输出。
用户控制输入可以包括例如来自图形用户接口的选择或经由触摸屏、键盘、定点设备(例如游戏控制器)、麦克风、运动传感器、相机或这些或其他输入设备的某种组合(由方框324表示)生成的其他输入(例如文本或定向命令)。此类用户接口设备324可经由输入/输出端口326(例如通用串行总线 (USB)或等效端口)耦合到处理器302。还可以经由耦合到处理器302的传感器328来提供控制输入。传感器可以包括例如运动传感器(例如，加速度计)、位置传感器、相机或相机阵列(例如，立体阵列)、生物特征温度或脉搏传感器、触摸(压力)传感器、高度计、方位传感器(例如，全球定位***(GPS)接收器和控制器)、接近传感器、运动传感器、烟雾或蒸汽检测器、陀螺仪位置传感器、无线电接收器、多相机跟踪传感器/控制器、眼睛跟踪传感器、麦克风或麦克风阵列。一个或多个传感器328可以检测用作用户的情绪状态的指示符的生物特征数据，例如面部表情、皮肤温度、瞳孔扩张、呼吸速率、肌肉张力、神经***活动或脉搏。另外，(一个或多个)传感器328 可以检测用户的背景，例如，用户的物理环境和环境中的对象的标识位置、大小、取向和运动；用户接口显示器的运动或其他状态，例如虚拟现实耳机的运动。
来自一个或多个传感器的传感器数据可以由CPU 302本地处理以控制显示输出，和/或传输到服务器200以由服务器实时处理或用于非实时处理。如本文所使用的，“实时”是指响应于用户输入的处理，而在输入和输出之间没有任何任意延迟；也就是说，只要技术上可行就尽可能快地做出反应。“非实时”是指传感器数据的批处理或其他使用，其不用于提供即时控制输入来控制显示，但可以在任意延迟量后控制显示。
为了能够与计算机网络的另一个节点(例如影视内容服务器200)进行通信，客户端300可以包括网络接口322，例如有线或无线的以太网端口。网络通信可以用于例如实现多玩家体验，包括影视内容的沉浸式或非沉浸式体验。该***还可以用于非影视多用户应用，例如社交网络、团体娱乐体验、教学环境、视频游戏等。网络通信还可用于客户端和网络的其他节点之间的数据传递，其目的包括数据处理、内容递送、内容控制和跟踪。客户端可以使用通信模块306管理与其他网络节点的通信，该通信模块306处理应用级通信需求和更低级通信协议，优选地，不需要用户管理。
显示器320可以例如经由集成在处理器302或单独芯片中的图形处理单元318耦合到处理器302。显示器320可以包括例如由发光二极管(LED)或其他灯照亮的平板彩色液晶(LCD)显示器、由LCD显示器或由数字光处理 (DLP)单元驱动的投影仪、激光投影仪或其他数字显示设备。显示设备320 可以被结合到虚拟现实头戴式受话器或其他沉浸式显示***中。可以将由在处理器302上操作的混合现实显示引擎驱动的视频输出，或用于将用户输入与沉浸式内容显示进行协调和/或生成显示的其他应用提供到显示设备320并作为视频显示输出到用户。类似地，放大器/扬声器或其他音频输出换能器316 可以经由音频处理器312耦合到处理器302。与视频输出相关并由媒体播放器模块308、影视内容控制引擎或其他应用生成的音频输出可以被提供到音频换能器316并作为听觉声音输出到用户。音频处理器312可以从麦克风314接收模拟音频信号，并将其转换为数字信号以供处理器302进行处理。麦克风可以用作用于检测情绪状态的传感器，并且用作用于口头命令的用户输入或对NPC或其他玩家演员的社交口头响应的设备。
3D环境装置300还可以包括随机存取存储器(RAM)304，其存储程序指令和数据以响应于用户的情绪状态在控制影视内容期间由处理器快速执行或处理。当设备300断电或处于不活动状态时，程序指令和数据可以存储在长期存储器中，例如，非易失性磁性、光学或电子存储器存储设备(未示出)。 RAM 304或存储设备中的任一个或两者都可以包括保存程序指令的非暂时性计算机可读介质，该程序指令在由处理器302执行时使设备300执行本文所述的方法或操作。程序指令可以用任何适当的高级语言(例如C、C++、C#、 JavaScript、PHP或JavaTM)编写，并进行编译以产生用于有处理器执行的机器语言代码。
程序指令可以被分组为功能模块306、308，以促进编码效率和可理解性。模块即使可辨别为源代码中的划分或分组，也不一定可辨别为机器级编码中的单独代码块。定向到特定类型的功能的代码束可以被视为包括模块，而不管束上的机器代码是否可以独立于其他机器代码执行。这些模块可以只是高级模块。媒体播放器模块308可以全部或部分地执行本文描述的任何方法以及等效方法的操作。可以独立执行操作，或者可以与其他一个或多个另外的网络节点(例如，服务器200)协作来执行操作。
除了用于(例如，由电视机、移动屏幕或投影仪)在二维(平面或曲面) 屏幕上进行显示的常规2D输出或3D输出之外，本文公开的影视控制方法可以与虚拟现实(VR)或增强现实(AR)输出设备一起使用。图4是示出一种类型的沉浸式VR立体显示设备400的示意图，其以更具体的形状因子作为客户端300的示例。可以以各种形状因子来提供客户端设备300，其中设备400 仅提供客户端设备300的一个示例。本文描述的创新方法、装置和***不限于单个形状因子，而是可以在适合于影视输出的任何视频输出设备中使用。如本文所使用的，影视输出包括根据脚本或叙事制作音频-视频输出的任何数字信号，其可以是分支的并且是交互的。在一方面，影视内容响应于用户的检测到的情绪状态而变化。
沉浸式VR立体显示设备400可以包括平板电脑支撑结构，该平板电脑支撑结构由不透明的轻质结构材料(例如，刚性聚合物、铝或硬纸板)制成，该平板电脑支撑结构被配置为支撑并允许可移动放置包括高分辨率显示屏 (例如，LCD显示器)的便携平板电脑或智能手机设备。设备400设计为靠近用户的面部佩戴，从而可以使用小的屏幕尺寸(诸如智能手机)实现宽视野。支撑结构426相对于显示屏412保持一对透镜422。透镜可以被配置为使用户能够舒适地聚焦在显示屏412上，显示屏412可以保持为距用户眼睛大约一到三英寸。
设备400还可以包括观看护罩(未示出)，该观看护罩耦合到支撑结构426 并且由柔软、柔性或其他合适的不透明材料配置，以形成适合用户面部并阻挡外部光的形状。护罩可以被配置为确保对用户而言唯一的可见光源是显示屏412，从而增强了使用设备400的沉浸效果。可以使用屏幕分隔器将屏幕 412分离成独立驱动的立体区域，每个区域仅通过透镜422中的相应一个可见。因此，沉浸式VR立体显示设备400可以用于提供立体显示输出，从而为用户提供对3D空间的更真实的感知。
沉浸式VR立体显示设备400还可以包括用于放置在用户鼻子上方的桥 (未示出)，以便于将镜头422相对于用户的眼睛进行精确定位。设备400还可以包括弹性条或带424，或其他头饰，用于装配在用户的头部周围并将装置 400保持到用户的头部。
沉浸式VR立体显示设备400可以包括与用户的头部430有关的显示器和通信单元402的电子组件(例如，平板电脑或智能手机)。当佩戴支撑件426 时，用户通过一对透镜422观看显示器412。显示器412可以由中央处理单元 (CPU)403和/或图形处理单元(GPU)410经由内部总线417驱动。显示器和通信单元402的组件还可以包括例如一个或多个传输/接收组件418，使得能够经由无线耦合在CPU和外部服务器之间进行无线通信。传输/接收组件418可以使用任何合适的高带宽无线技术或协议来操作，包括例如蜂窝电话技术，诸如第三代合作伙伴计划(3GPP)长期演进(LTE)，全球移动通信*** (GSM)或通用移动电信***(UMTS)和/或无线局域网(WLAN)技术，例如使用诸如电气与电子工程师协会(IEEE)802.11的协议。一个或多个传输/接收组件418可以使视频数据可以从本地或远程视频服务器流式传输到显示和通信单元402，并且可以将传感器和其他数据上行传输到本地或远程视频服务器以进行如本文所述的控制或受众响应技术。
显示和通信单元402的组件还可以包括例如经由通信总线417耦合到 CPU 403的一个或多个传感器414。这样的传感器可以包括例如提供指示显示和通信单元402的取向的取向数据的加速度计/倾角仪阵列。由于显示和通信单元402固定到用户的头部430，所以该数据也可以被校准以指示头部430的取向。一个或多个传感器414还可以包括例如指示用户的地理位置的全球定位***(GPS)传感器。一个或多个传感器414还可以包括例如相机或图像传感器，该相机或图像传感器被定位为检测用户的眼睛中的一个或多个的取向，或捕获用户的物理环境的视频图像(用于VR混合现实)，或这两者。在一些实施例中，可以将被配置为检测到用户的眼睛或眼睛移动的相机、图像传感器或其他传感器安装在支撑结构426中，并且经由总线416和串行总线端口 (未示出)(例如，通用串行总线(USB)或其他合适的通信端口)耦合到CPU 403。一个或多个传感器414还可以包括例如干涉仪，该被定位在支撑结构404 中并且被配置为向用户的眼睛指示表面轮廓。一个或多个传感器414还可以包括例如麦克风、麦克风阵列或其他音频输入换能器，以用于检测口语用户命令或对显示输出的口头和非口头听觉反应。一个或多个传感器可以包括例如用于感测心率的电极或麦克风、被配置用于感测用户的皮肤或身体温度的温度传感器、耦合到分析模块以检测面部表情或瞳孔扩张的图像传感器、用于检测口头和非口头发声的麦克风或用于收集生物反馈数据的其他生物特征传感器，生物反馈数据包括能够经由算法处理指示情绪的神经***响应。
显示和通信单元402的组件还可以包括例如音频输出换能器420，例如显示和通信单元402中的扬声器或压电换能器，或者用于头戴式耳机或安装在头饰424中的其他音频输出换能器的音频输出端口等。音频输出设备可以提供环绕声、多声道音频、所谓的“面向对象的音频”或其他伴随立体声沉浸式VR视频显示内容的音频轨道输出。显示和通信单元402的组件还可以包括例如经由存储器总线耦合到CPU 403的存储器设备408。存储器408可以存储例如程序指令，该程序指令在由处理器执行时使装置400执行本文所述的操作。存储器408还可以将数据(例如，音频-视频数据)存储在库中或在从网络节点进行流式传输期间进行缓冲。
已经描述了用于执行响应于指示用户的情绪状态的传感器数据控制数字影视内容的输出的方法的合适的客户端、服务器和网络的示例，将讨论这些方法的更详细的方面。图5示出方法500的概述，该方法可以包括以任何功能顺序或并行的三个有关操作。相关操作510使用机器学***、环境噪声水平等等。例如，如果用户的环境充满干扰，则生物反馈数据的意义可能与安静环境中的意义不同。情绪指示符可以是与情绪情节有关的符号值。指示符可以具有组成元素，可以是定量的也可以是非定量的。例如，指示符可以被设计为多维矢量，其值表示心理素质(诸如认知负荷、唤起度和评价度)的强度。心理上的评价度是事件、对象或情况的吸引或期望的状态；当受试者感觉某物是好或有吸引力时，评价度被称为正，并且当受试者感觉对象是排斥或不良时，评价度被称为负。唤起度是受试者的机敏和注意力的状态。机器学习算法可以包括至少一种监督机器学习 (SML)算法，例如，线性回归算法、神经网络算法、支持矢量算法、朴素贝叶斯算法、线性分类模块或随机森林算法中的一个或多个。
叙事分支操作520基于情绪指示符、情绪响应的预测以及用户或同类群组的目标情绪情节，在影视内容的叙事分叉处选择目的地分支。参与控制节点可以使用机器学习工具做出预测，以预测可能在用户或同类群组中产生目标情绪状态的叙事元素。一旦做出预测，控制节点就选择分支，该分支具有被评估为最有可能产生目标情绪响应的元素组合。另外，控制节点可以通过权衡直接输入和情绪指示符，以类似于交互式视频游戏的方式使分支决策部分地基于玩家演员直接输入。直接用户输入可以包括例如语音或文本的文字输入、来自游戏控制器的输入、由相机阵列检测到的身体移动或在用户界面中选择控制链接。此外，控制节点可以使分支决策部分地基于上下文指示符，诸如与NPC或其他玩家演员的对话。
影视内容控制节点可以被配置为在改变或不改变叙事的情况下，改变出现在影视内容(统称为“支持内容”)中的角色、对象或环境的特性或行为。支持内容选择操作530基于情绪指示符、情绪响应的预测以及针对用户或同类群组的目标情绪情节，选择音频-视频元素的特性和行为。支持内容选择可以使用并行分支选择的技术来预测对变化的响应并权衡情绪输入和用户输入。例如，第一用户的过去响应可以指示红色和幸福之间的关联，而第二用户的响应指示绿色和幸福之间的关联。对于旨在为高兴的场景，支持内容选择操作可能导致为第一用户显示更多的红色对象，并且为第二用户显示更多的绿色对象。更复杂的支持内容选择可以包括角色交互，这将在下面在本文中进一步讨论。
您如何量化情绪？情绪无法直接测量，因此我们必须测量情感调制。情感调制是归因于情绪状态或情绪状态的变化的生物特征波形的调制。在一方面，为了获得情感调节和情绪状态之间的基线相关性，可以向玩家演员显示已知的视觉刺激(例如，来自焦点组测试或个人校准会话)以引起某种类型的情绪。在刺激下，测试模块可以捕获玩家演员的生物特征数据，并将刺激生物特征数据与静止生物特征数据进行比较，以标识生物特征数据波形中的情感调制。
机器学习(也称为AI)可以是揭示复杂现象之间的相关性的有效工具。如图6所示，用于响应于指示用户的情绪状态的传感器数据610控制数字影视内容的输出的***600可以使用机器学习训练过程630来检测音频-视频和叙事刺激620与生物特征数据610之间的相关性。训练过程630可以从媒体播放器客户端(例如，客户端300、402)接收与生物特征数据610时间相关的刺激数据620。数据可以与特定用户或用户群组相关联，或者可以是通用的。两种类型的输入数据(与用户相关联和通用)可以一起使用。通用输入数据可以用于校准情绪响应的基线，以分类对电影元素的场景或布置的基线情绪响应。如果大多数用户在叙事背景内观看场景时表现出相似的生物特征诉说 (tells)，则可以将该场景与激发用户的相似生物特征数据的其他场景一起分类。可以由人类创造者来收集和审查相似的场景，该创造者可以由自动分析工具辅助手动地在情绪指示符指标640上对场景评分。在替代方案中，指示符数据640可以通过人类和半自动处理来评分，而无需按照相似场景进行分类。这些人类评分的元素可以成为机器学习过程630的训练数据。在一些实施例中，影视内容的以人类评分的元素可以包括用户，诸如经由在线调查表。评分应考虑文化人口统计，并且应由专家告知关于不同文化对场景元素的响应的信息。
ML训练过程630比较由人类和机器确定的场景或其他电影元素的分数，并使用本领域已知的迭代机器学习方法来减少训练数据与其自身估计之间的误差。创造内容分析师可以基于他们的专业判断和经验为来自多个用户的数据评分。各个用户可以对他们自己的内容评分。例如，愿意协助培训其个人“导演软件”以识别其情绪状态的用户可以在观看内容时对自己的情绪评分。这种方法的问题在于，用户评分可能会干扰他们的正常反应，从而误导机器学习算法。其他培训方法包括在较短的内容片段中对受试者的生物特征响应进行临床测试，然后对临床受试者关于情绪状况进行调查。这些和其他方法的组合可以用于为机器学习过程630开发训练数据。
一旦过程已经为用户或用户组学习了相关性，就准备在实时内容消费期间应用其学习的相关性。多级AI循环通知影视AI的协作软件模块。试验探索了过去的AI的成功经验，并标识了使用AI工具实现目标的机会。程序实施每个试验中使用的AI工具。奖励在实现目标时激励工具的应用。
故事管理软件可以用于实施用于为每个玩家演员创建多级AI循环的方法。循环可以包括例如故事世界循环、非玩家角色(NPC)循环和玩家演员循环。在故事世界AI循环中，故事是根据情绪计划或“情节”作为目标而启用的，并通过检测与NPC交互的玩家演员的情绪，并可选地使用VR或AR 头戴式受话器来观看沉浸式内容，从而进行实时调整以实现该目标。在NPC AI 循环中，目标是通过控制NPC与玩家演员的交互来激发特定的故事元素情绪。在玩家演员AI循环中，将AI指导为正确标识生物特征数据中的情感调制以及玩家演员的相应情绪。
图7示出了用于使用协作AI循环来响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的方法700的各方面。方法700提供了图5 所示的方法概述500的更详细的示例，其中玩家演员与故事情节以及与在影视内容中扮演角色的计算机控制的角色(例如，“机器人”或NPC)进行交互。这样的角色是支持内容的一个示例，它支持将影视内容设计成所遵循的叙事和情绪情节，但不会使该叙事和情绪情节无效。
框702-框704对应于玩家演员循环。在702处，媒体播放器校准自身以供玩家演员使用。这可以包括训练机器学习算法、进行基线测量、从服务器下载可用校准数据以在与玩家演员的会话中使用，或其他定制。一方面，校准被设计为尽可能不引人注目。例如，由媒体播放器单独或与一个或多个人工智能(AI)服务器协作进行的校准可以连续地或间隔地发生，并且随着***建立用户的更准确的情绪概况而随时间逐渐改善。除了重置生理传感器校准之外，校准***还可以标准化玩家演员之间的生物特征数据，以建立用于比较玩家之间的生物特征响应的基线。还可以测量额外的内容预期标准化以量化玩家对内容的预期。该过程可以包括在代表性刺激内容下时测量生物特征响应。校准和标准化一起使用时，提供了稳健的基线方法，用于计算玩家之间的单数生物特征响应和聚合生物特征响应。校准和标准化因子可以用于计算情绪响应和对内容的参与。
在704处，媒体播放器开始播放影视内容，并且玩家演员开始观看它，同时媒体播放器的传感器开始检测用于情绪指示的生物特征信号。用于检测生物特征信号的生物特征传感器在医学领域是已知的，并且可以适于在本申请中进行感测。例如，为医学用途而开发的能够监视生理信号的传感器可以包括，例如，感测骨骼肌产生的电活动的肌电(EMG)传感器、检测大脑中的电活动的脑电图(EEG)传感器、检测皮肤电阻变化的皮肤电响应(GSR) 传感器、检测心跳的心电图(ECG/EKG)传感器；光学传感器，其检测肢体语言、面部表情、凝视方向和角膜变形、脑机接口(BCI)信号(其直接将增强型大脑与耦合机器(例如，媒体播放器或中间机器)连接，无论是否进行大脑与耦合机器之间的双向通信功能)，以及用于音频分析以检测情绪指示符 (例如嗓音调制)的麦克风。
在706处，***(例如，媒体播放器，可选地具有网络节点的参与)将传感器数据进行数字化和处理，从而导出可以通过故事诉说软件与故事情节的情绪目标相关的符号情绪指示符。机器学习/AI工具可以用于处理传感器数据并实时导出指示符。情绪指示符可以是或可以包括象征性情绪质量的定量测量，优选地以紧凑形式。例如，64位的机器可读值能够以从0到8的刻度传达21种不同的情绪质量的值，其中质量的标识通过其值的位位置来传达。例如，前三个位可以指示幸福值，次三个位可以指示紧张度值，依此类推。在下文中更详细地描述了用于指示机器可读数据中的情绪的方案。
框708-框720对应于非玩家角色(NPC)循环。在708处，媒体播放器的处理器确定在一个或多个NPC上的一个或多个焦点。确定708的有关输入可以包括来自玩家演员循环的情绪指示符(框706)和来自故事循环的场景标识符(框726)。从场景数据中，处理器将可用NPC的列表缩小为可用于当前场景的NPC的列表，例如，使用数据库查询来检索内容设计者已与场景相关联的所有NPC标识符。来自过程706的玩家演员的当前情绪状态在以下所述的稍后阶段使用。
过程708的其他有关输入可以包括NPC的情绪影响分数。每个NPC可以与预定的情绪影响分数相关联，该预定的情绪影响分数可以是一般的或针对玩家演员定制的。例如，幼儿NPC可能在一般的同情量表上分数高，而在为讨厌孩子的玩家演员定制的同情量表上分数低。情绪影响分数是基于内容设计师的经验和/或经验数据的预测值。在精心制作时，NPC的情绪影响分数将预测NPC最有可能在玩家演员中引起的情绪反应。例如，可爱孩子NPC可能在同情方面分数高，而在恐惧方面分数低。类似地，过程708可以为NPC选择使用策略，例如对抗、放心等等。每个NPC可以与一种或多种适合其情绪概况的策略相关联。
在基于情绪影响分数选择NPC之前，处理器在710处确定玩家演员的一个或多个情绪目标。例如，处理器可以在722处从情绪情节导航过程中确定玩家演员的目标情绪对于在726处标识的场景有悬念性焦虑。已经经由目标设定过程710的上游过程708从过程706接收到当前玩家演员情绪指示符值，目标设定过程710可以将当前值与目标值进行比较并确定误差。例如，假设目标是悬念，但是当前情绪状态指示符指示玩家演员感到无聊。作为响应，目标设定过程设定了将玩家演员从无聊转移到悬念的目标。过程710可以向下游过程712提供目标，下游过程712选择NPC和脚本以供NPC操作。在一种替代方案中，过程可以为NPC选择要遵循的不同的策略，该策略可以与不同的脚本相关联。继续该示例，选择过程可以选择NPC和脚本，该NPC的情绪影响概况分数高，用于将玩家演员的不感兴趣转化为悬念，并且该脚本在同一类别中分数高。
在714处，处理器根据所选择的脚本来操作所选择的NPC。该脚本可以是交互式的，从而使得NPC基于与玩家演员与其直接交互或基于更新的情绪指示符来表现不同。在一方面，过程714可以操作在718处示出的预测脚本。该预测脚本是由过程714预测为最有可能能够校正玩家演员与目标情节的偏差的脚本。如果预测脚本失败，或者基于随机或准随机因子，则过程714可以操作在716处示出的实验脚本。实验脚本测试玩家演员对未尝试情况的响应。这样的脚本对于避免玩家演员因重复的脚本或主题而感到厌倦，或者在缺少预测的响应数据时可能有用。
在720处，处理器在用于训练负责NPC和脚本选择的AI算法的有关数据结构中记录NPC和脚本的情绪效果。因此，成功和失败成为新的数据，用于改进方法700在使用NPC交互将玩家演员朝向情绪目标推挤方面的未来有效性。如果推挤不成功，则当情绪传感器数据指示未从玩家演员引起目标反应时，该过程可以在任何时候选择并实施不同的NPC、策略或脚本。方法708 可以针对下一场景恢复到框708。
框722-框734对应于故事循环。故事循环的进行与NPC循环类似，但针对主要影视内容的场景选择，而不是NPC选择和行为。在722处，处理器将玩家演员的当前情绪指示符与故事的数字数据中定义的情绪情节进行比较。情绪情节的示例在下文中描述。在724处，处理器基于预测AI为玩家演员选择叙事分支。AI基于分支的情绪影响分数来预测哪个叙事分支最有可能导致玩家演员体验导演的情绪情节，该分数可能是分支所包含的场景的情绪影响分数的聚合。在726处，处理器再次基于情绪影响和误差估计来选择叙事分支中的下一个场景。单个叙事分支可以包含可替代场景，这些场景不改变主故事线，而是针对用户的更大情绪影响量身定制。例如，可以使用儿童和成人玩家演员的不同场景来诉说同一故事。如果处理器未检测到情绪误差，则可以使用默认场景或分支。
在730和732处，处理器基于预测分析732或实验试验730选择场景。处理器可以基于用于在预测和实验NPC和脚本之间进行决策的相同或相似因素，选择预测和实验性场景。在734处，处理器记录所测量的情绪响应以用于改善未来的AI预测。因此，玩家演员循环、NPC循环和故事循环可以同时并协作运行，以主动实施与玩家演员的情感调制交互的方案，包括分支、场景和NPC控制方案，以用于朝向目标情绪情节影响玩家演员，如上所述。
可以将多个故事编程到针对影视AI制作的影视内容中。通过AI引擎对玩家演员的情绪反馈做出反应，可以以无数种方式组合故事元素，从而产生故事模式，如果有的话，内容设计师只能在创作过程期间才能隐约地理解故事模式。如果很多变型不受欢迎，那么太多的变型可以成为技术上的弱点。技术挑战是提高用户发现自己的影视内容版本吸引观看和花费社交时间讨论的频率。以高频率达到目标，并且变型的数量将成为资产，而不是负债。玩家演员将有一个新的消遣方式：比较个人版本。当将个人身份的观看历史记录保持在主题的控制之下时，即使创建者无法访问该信息，其作为“仅供朋友的知识”的社交价值也为该信息的创建者创造了经济价值。作为私人社交交流的材料，其价值在于创造对影视内容的需求。
关于情绪反应和AI选择的数据也将具有剥夺个人标识信息的经济价值。因此经过灭菌处理后(sterilized)，研究人员和创建者可以使用AI工具影视 AI研究数据，以了解使用趋势并设计新内容。来自单个用户或同类群组的跟踪(链接到)某些属性或其他有关故事/情节/体验组件的情绪代理(“诉说”) 信息，除了瞬间驱动实时内容流之外，还可以用于指引生成更多故事或情节或体验属性。从单个用户或同类群组的用户收集的情绪指示符用于提供故事管理过程，其对于以下项具有额外的价值：基于该信息，勾勒出新内容(例如，故事的下一章、游戏的等级、剧集的票价、电影的续集等等)的轮廓，制作用于市场营销和促销的预告片，或为前瞻性的故事创意开绿灯。另外，如下面结合所附附录和图9B所描述的，去个性化的数据对于内容的用户评级可能是有用的。
如结合图7所指出的，在一种方法中，故事分支是由玩家演员情绪触发的，该情绪将反馈循环提供到故事管理软件中。故事管理软件控制环境以及人为角色的包含和目标。作家和导演训练故事管理AI，但是AI通过玩家演员的交互和情绪来控制可能出现的故事。
一种用于提高成功频率的技术可以是使用故事元素情绪代码，也称为分数。故事管理软件基于要设计的NPC目标更改场景和NPC，以引起玩家演员的情绪。情绪响应将被映射到常见的故事元素，包括例如攻击点、引发事变、高潮、第一次顶峰和解决。故事元素情绪代码允许以各种模式动态地进行情绪分支。
图8示出了响应于指示用户的情绪状态的传感器数据的数字影视内容的层和分支与情绪情节820的映射800。该映射与从初始时间t0开始的时间线 810时间相关。情绪情节820包括一系列目标时段，该目标时段概述了在时间间隔期间的主要情绪。例如，在第一段822中的主要情绪是高兴和放松的，在第二间隔826中的主要情绪是威胁意识(轻度恐惧)，在第三间隔828中的主要情绪是悬念上升，在第四间隔830中的主要情绪是高潮(兴奋)，在第五间隔中832中的主要情绪是缓解和放松。间隔可以由过渡时段隔开，过渡时段是在时间t1和t2之间的第一个824，在其中情绪重叠。情绪情节可以由其他模型建模。例如，代替间隔链820，可以将情绪情节建模为周期性(例如，每 5秒或更短)更新的变量值的矢量，其中矢量的每个值代表情绪质量的定量值。将主要情绪分为几个段仅仅是一个方便的概述。
场景层840可以是或可以包括节点(例如，节点s01-s20)的有向无环图 (DAG)。故事树是DAG的一种受限形式，其中每个子节点只能有一个父节点。场景层可以布置成树或其他任何DAG。图8示出了不限于树的DAG方式的场景层840。某些下游场景可以有多于一个父场景，并且该层可以在某些地方分离成并行链。例如，场景s04有两个父场景s02和s03。场景s12-s14 形成了相互竞争的并行子链。每个场景都有确切的时间长度。例如，故事软件可以将交互式场景的最大时间长度定义为NPC或场景在放弃之前达到情绪目标所允许的最大时间。场景之间的间隙仅用于说明性分离而示出。在大多数影视内容中，每个场景都应该适合下一个场景或与之平滑融合。例如基于先前的离线数据或初始校准练习，通过预测每个玩家演员的偏好来删除某些场景或时刻，可以避免间隙。以这种方式，知道如果某些场景或时刻要被删则将会发生一些间隙，故事控制器可以调用替换场景或时刻，或者对适当的下一个节点或节点集实施无缝的“分支”以避免间隙。
对象层850保存出现在任何场景中、影响外观或任何场景或改变任何场景的音频内容的任何影响情绪的对象。对象可以包括交互式NPC及其脚本(如前所述)、道具、背景、环境、照明方案、表面颜色和纹理、音轨或场景中被控制为唤起玩家演员中的情绪响应的任何其他对象。在层850中，第一个对象“Obj.1”可以在场景s01-s02中出现或操作。第二个对象“Obj.2”和第三个对象“Obj.3”仅在长场景s10中出现或操作。第四个对象“Obj.4”可以在场景s16或s19中出现或操作。为了说明简单起见，在映射800中示出很少对象。在大多数影视内容的实际映射中，大多数场景将与许多不同的对象相关联。尽管简化了映射800，但是其示出了映射的示例，诸如可以用于在图7所示的多循环控制过程700期间向影视AI提供结构和指引。
图9A示出了图8中所映射的影视内容中的不同对象与场景之间的元数据和关联***900。场景910本身是对象，并且可以由场景元数据(例如，帧或时间线中的时间位置、持续时间(例如，以秒或帧数为单位)、指向在运行时可渲染的渲染数据和/或帧数据的链接、可允许的下一个场景的标识符、场景是否为初始场景(即，没有父场景)的指示以及情绪影响分数(也称为情绪概况))来表征。支持场景对象可以包括例如一个或多个音频对象920、一个或多个可渲染的角色(例如，交互式NPC)930、一个或多个渲染对象940以及一个或多个照明/着色对象945。对象可以进一步包括NPC脚本，其未被示出。
每个音频对象920可以由元数据表征，该元数据包括例如包括指向数字音频数据和播放参数的链接的音频参数、可允许的场景(其可以是固定列表或在运行时通过算法确定)以及情绪概况。***900中示出的每个对象的元数据中都存在可允许的场景和情绪概况(影响分数)。此外，每个可渲染的角色对象930元数据都可以由模型参数(例如，其几何形状和表面属性)、其动画参数、其渲染参数和对话框图或指向NPC脚本的子对象的链接来表征。每个渲染对象940元数据可以由持续时间和用于将渲染对象与场景融合的合成参数来表征。每个照明/着色对象945可以由包括照明参数和着色参数的元数据来表征。所示的参数和元数据仅是示例。
图9B示出了布置在树层次结构950中的更详细的方面或角色和故事。数据结构可以示出对象或其他故事节点与故事的每个可能排列之间的关系。例如，数据结构可以是或可以包括每个故事、主题、情绪情节、序列、场景和场景中的角色的LUT(查找表)。该双态LUT可以包括对应故事世界的每个可能的排列和选择。因为角色可以被编码为具有目标和策略，所以角色要么实现其目标，要么不实现其目标。例如，对于玩家演员可能会经历的每个角色和情况，场景可以映射为双态选择和结果的树。这些关系以及有关的玩家演员交互和情绪代码一起可以形成故事中要做出的每个决策的基础。故事软件可以使用下意识的输入数据和情绪来辨别用户的选择，作为寻址LUT的输入。
在一种替代方案中，故事软件可能不一定要对每种可能的组合进行编码，原因至少有两个：第一，某些变型与其他变型非常相似，因此不同的路径不会产生太大的影响，因此，无关紧要；并且其次，“嵌入式回放链”(例如在 DVD中)可能会在每个有关的节点块中预编码如何在下一个选择的路径上继续。例如，在版本1的情况下，下一次跳到节点X；在版本2的情况下，同一当前节点决定下一次跳到节点Y。在每种情况下，下一个节点也具有预编码指令，以将路径引导到相关联的下一个节点(例如，版本1、2等)。如果观众改变了她的主意，或者她的情绪指示符暗示了某个路径中的改变，则回放链将坦然地处理该改变。每个节点都包含代码或元数据，这些代码或元数据根据玩家演员到达当前节点所经过的节点路径来编码下一个故事节点。总之，故事软件可以对具有所有可能排列的总体LUT进行编码，或者嵌入式回放链可以将可能性简化为预期改变玩家演员的体验的可能性。
角色可以具有模拟的特点，这些特点可以在概念上布置成几个类别，诸如精神特点、社交特点、身体特点和记忆(例如，背景故事)。每个特点可以使用由参数表征的算法来建模。神经网络提供了一种用于建模特点的非确定性算法的示例。可以使用模型角色对各种刺激的反应来训练网络，并且一旦受过训练，就可以控制角色对新旧刺激一样的输出。故事引擎也可以使用确定性算法，例如，刺激可以由输入矢量表示，故事软件将输入矢量乘以矩阵以产生输出矢量。不同的矩阵可以用于对不同的特点进行建模，或者统一的矩阵可以包括各种特点的值，这些值一起工作以将输入刺激转换为输出动作。
角色的精神特点可以包括例如情绪斜率，该情绪斜率确定角色对输入、智力水平、机智水平、性格类型(例如，迈耶斯-布里格斯或其他刻度)以及评价度和唤起度的基线水平的情绪反应有多快。角色的社交特点可以包括，例如，姓名、文化、社交需求、关系、性取向、主导程度以及在NPC和化身中的社交偏好。角色的目标可以包括，例如，愿望或期望、偏好和可用策略、特定的对话以及成功的量度。
非玩家角色对象可以被编程为具有目标和策略，包括对话。角色要么实现了其目标，要么没有实现其目标，因此任何对话场景都可以作为玩家角色可能遇到的每个角色和情况的双态结果的集合进行分析。对话可以包括语音和肢体语言或其他动作(一瞥、手势、无声说话等)。“对话场景”甚至可以不包括单词。即使没有说出单词(或很少的单词)并且故事软件也可以考虑到这一点，选择仍然可以是而且常常是明显的。为此，当讽刺、欺骗或其他自然语言的操作者在玩耍时，明确的文字单词可能会误导人，因为这些单词可能掩盖戏剧中角色做出的实际选择。
记忆特点可以包括触发器、场景的叙事驱动器以及具有响应于刺激的评价度和唤起度的过去经验。由软件引擎建模的身体特点可以包括例如身高、残疾、才能、语音模式和外观。
角色适合故事世界(它本身可能是更大的故事宇宙的一部分)。故事世界容纳角色、角色之间以及角色与化身之间的关系以及故事。故事可以通过高级代码来表征，并且可以包括低级元素，诸如主题、序列、动作(场景组)、场景和情绪目标(例如，唤起度、评价度)。主题可以由情绪情节、乐谱和环境设计(例如布景、照明和相机参数)来表征。
在一方面，对故事软件进行编码，以通过测量和计算情感调制能力来确定哪些情绪情节最有效。故事控制器可以在体验之前进行测量(以测量预期能力)与在整个体验中测量刺激能力(在受到刺激时的平均能力)。基本的计算公式可以是或可以包括：玩家演员享受＝平均(刺激情感调制能力)-(预期情感调制能力)，其中平均刺激能力是在受到刺激内容时跨时间平均的，并且预期能力是在刺激内容之前测量(基线心情测量和问题响应测量)。因为情绪会波动，并通过不同信号的叠加来检测，所以可以对故事软件进行编码，以计算输入信号的均方根(RMS)值，以表示随时间变化的信号。另外，控制算法可以将权重分配给不同的信号。该公式的结果可以包括关于消费者受内容影响多少的经验值。数字越大，消费者对内容的喜欢程度越高(相对于数字越负)。
在一方面，可以将来自多个用户的该数据聚合在一起以获得任何内容的强度(能力)的经验值。聚合数据可以提供经验票房评级，作为观众和评论家的文本评论或任意分数的替代方案。此外，来自焦点小组测试的预发行聚合数据可能有助于在发行之前完善内容和营销计划。在电影发行后，可以发布基于预发行测试放映的聚合分数，以促进工作。因此，情绪响应的生物特征测量不仅可用于测量对于影视(或游戏)内容的潜意识受众参与度，而且还可用于实现跨种类和类型比较受众参与能力。另外的说明性的图形和文字在随附的附录中提供，标题为“生物特征电影评级”。
图10示出了实时场景选择方法1000的各方面，其响应于用户(玩家演员)的情绪状态或针对多个用户的情绪状态的聚合，这可以由媒体播放器的处理器单独执行或与网络的支持节点一起执行。示出了方法1000用于沉浸式混合现实(MX/R)内容，但是本领域的普通技术人员可以将其适用于非沉浸式内容。输入1010包括例如由关于图6描述的过程640所提供的用户的情绪状态的实时指示符。输入可以进一步包括如结合图7-图9所映射和描述的内容导航数据。比较器模块或过程1030处理输入1010、1020，并确定用户的情绪状态和相对于目标情绪情节的轨迹的误差测量和方向(趋势)1040。可以将误差测量和有关数据1040提供给用于AI训练和预测的过程630，并且还提供给可以选择补偿场景和对象以校正误差的选择过程1050。选择器1050的输出可以包括用于所选场景和支持对象1060的标识符。可以将标识符1060提供给编译器/渲染过程1070，其使用标识符1060从影视内容数据结构中调用场景和支持对象数据。编译器/渲染器1070输出混合现实数据1080(或其他音频/视频数据)，该数据由输出设备(例如由混合现实头戴式受话器或平板屏显示设备)输出1090。
图11示出了用于响应于用户的情绪状态的实时场景或对象选择的选择算法方法1100，诸如可以由图10中描述的选择器过程1050所使用。在1110处，处理器接收误差数据，其指示用户的情绪状态与内容的情绪情节所定义的目标状态之间的差异。描述了两种不同的方法。在第一种方法中，处理器在1120 处使用机器学习算法预测该误差的校正刺激。在1130处，处理器将最可能的校正刺激与可用场景节点和支持对象匹配。可用场景节点和对象是影视内容映射中当前场景的下游的节点和对象。处理器在影视内容DAG(“故事网络”)中标识与期望刺激的速度(tempo)、音调和定时匹配的下游对象的组合。在1140处，处理器选择最接近的可允许的组合，并将结果输出1180到下游过程。
在第二种方法中，在1150处，处理器标识故事网络中下游节点和玩家演员的预定情绪概况。处理器基于相对于误差信息比较节点和玩家演员概况来对节点评分1160。在1170处，处理器选择下游节点的最高评分可允许的组合，并且在1180处，将所选择的组合输出到下游过程。
图12示出了可以用于响应于用户的情绪状态的实时场景或对象选择的情绪概况矢量1200的示例。缩放的数据结构1202可以包括情绪质量的双极对，数字刻度可以在情绪质量的双极对之间延伸。双极对的示例包括冷漠/同情 1204、无聊/兴趣1206、平静/激动1208、悲伤/高兴1210、阴沉/滑稽1212、无畏/恐惧1214和轻蔑/钦佩1216。双极对表示矢量，其中每对在矢量中都有一个位置，其指示该对的相对终端之间的情绪谱中的值。情绪刻度或矢量1202 可以描述由情绪情节定义的对象1218、对象/刺激1220或情绪目标1222的类别。评价度是正面情绪和负面情绪之间的一般情绪概况的示例，并且可以通过传感器数据完善以指示根据以上示例的情绪的类别。如本文所使用的，情绪概况是划分为一个或多个类别的评价度的量度。
图13示出了具有人类可读的叙事评论的三幕式情绪情节1300的更详细的示例。与时间线的相关性是明显的。因此，情节13可以适合于影视内容的映射，如图8所示。机器可读情节将不需要人类评论，并且应包括以量化方式与生物特征情感调制数据有关的更详细的情绪信息，诸如，通过使用如上所述的情绪概况矢量。尽管如此，情节1300对于以人类可感知的叙事结构示出机器可读情绪情节的起源是有用的，并且示出了众所周知的三幕式结构。
图14示出了参考预定情绪情节的玩家演员与***或方法之间的交互1400 的示例，该***或方法响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出。在叙事理论中，图13-图14中呈现的曲线和序列情绪提供了被观察为最受欢迎的故事类型及其相关联的情绪响应的示例。较不流行(至少在美国如此)的结构吸引了理智而非情绪。对于这些叙事结构，影视内容可以被配置为响应于其他生物特征信号。例如，代替寻找情绪，传感器可以用于测量认知工作量以确定(“测试”)何时人被认知地参与和唤起，影视内容将被配置为对其做出响应。对于显示出不及大多数人的情绪的人来说，一个关键因素是评价度，其可能难以衡量。但是，即使对于非示范性类型，也仍然可以使用不依赖可见情绪指示符的传感器来测量唤起度，因此该模型可以适应并寻找认知工作量和唤起度。媒体播放器可以包括例如传感器***，该传感器***被训练以监视生物(情感调制)以针对目标情绪情节进行参与。目标情节可以包括情绪和认知(智力参与)分量。
认知A1过程测试了两件事：(1)交互成功-NPC AI是否说服玩家演员按照自己的意愿去做，即NPC AI是否实现了它们的目标；(2)生物特征数据- 玩家演员对这种交互的感受的“诉说”，即他们是否参与(这是叙事理论中娱乐价值的价值)。体验期间的总体参与度受到监控，并在完成体验后对其进行评分。总体用户的愉悦度被测量为预期生物特征数据调制能力(在校准期间测量的)与平均持续生物特征数据调制能力之间的差。
生物特征数据充当三维矢量，其提供认知工作量、唤起度和评价度，处理器可以根据这些认知工作量、唤起度和评价度确定校准后的主要和次要情绪。用户进入交互的心情影响如何解读“故事”，因此故事体验应尽可能尝试校准。如果过程无法校准心情，则可以在呈现的情绪情节中考虑该心情，以支持与更高评价度相关的交互，前提是故事控制器在接收指示玩家演员的评价度状态的量度的生物特征数据。即时***和方法将最适合健康镇定的个体，尽管它将为参与的每个人都提供了交互式体验。
图15A示出了相对于二维情绪空间的轴线的情绪状态的布置1500。如果玩家演员走入歧途，则***可以通过引入旨在引起情绪响应的新角色来“测试”它们。然后，成功的角色建立新的路径，并考虑先前的路径来执行该故事线的情绪情节。
在布置1500中示出了基于评价度/唤起度情绪模型的相关情绪。媒体播放器客户端可以使用测量面部动作单元的生物特征传感器来测量评价度，而唤起度测量可以例如经由GSR测量来完成。每个故事元素的可能的评价度/唤起度序列目标可以如下：
序列1：在来自面向目标的对象、情况或NPC AI的交互之后，负评价度与高于基线持续唤起度(攻击点测试对象)。
序列2：在来自面向目标的对象、情况或NPC AI的交互之后，负评价度与远高于基线持续唤起度(引发事变测试对象)。
序列3：在来自面向目标的对象、情况或NPC AI的交互之后，正评价度与高于基线持续唤起度(娱乐和游戏测试对象–上升动作)。
序列4：在来自面向目标的对象、情况或NPC AI的交互之后，正评价度与远高于基线持续唤起度(中间点)，然后在相反方向发生强烈而突然的评价度反转。
序列5：在来自面向目标的对象、情况或NPC AI的交互之后，负评价度朝着正的方向缓慢增加，唤起度减少(子图测试对象……角色从ACT I的先前遭遇返回)。
序列6：在来自面向目标的对象、情况或NPC AI的交互之后，中评价度逐渐减少为负值，而唤起度增加(史诗般的战斗测试对象)。
序列7：评价度中和，并且唤起度稳定。最后一次扭曲对象“测试”以用于增加唤起度和负评价度(扭曲战斗测试对象)。
序列8：正评价度和基线唤起度。
情绪空间可以由两个以上的轴线表征。图15B图示了情绪空间的三维模型1550，其中第三轴线是社交优势度(dominance)或信心。模型1550示出 VAD(评价度、唤起度、信心)模型。3D模型1550对于涉及社交等级的复杂情绪可能是有用的。
在情绪校准期间，可以逐个确定基线唤起度和评价度。以上序列绘制了在评价度唤起度刻度上经历的情绪。然而，实际故事是由与玩家演员交互以希望激发目标情绪的“测试”对象定义的。这是故事出现的一种方式，但情绪情节不一定是必须的。如果情绪目标失败，则处理器可以将情绪情节计划更改为更适合当前玩家演员或心情的情绪情节计划。例如，这可以包括恢复从以前的经验中引起强烈响应的角色。
鉴于前述内容，并通过附加示例的方式，图16-图18示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的方法1600各方面或多个方法。方法1600可以由包括可编程计算机的沉浸式MX/R输出设备或非沉浸式平板屏幕设备、与输出设备通信的一台或多台计算机，或输出设备和与输出设备通信的一台或多台计算机的组合来执行。
参照图16，一种用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的计算机实施的方法可以包括：在1610处，由媒体播放器的处理器访问影视内容包。内容包包括或链接到本文所述的目标情绪情节。情绪情节包括编码双态值的时间序列(时间线)，每个编码双态值指示情节的时间线一部分的情绪状态。编码双态值(也称为情绪状态变量)经由人工智能(机器学习)模块与用户或同类群组用户的生物特征情感调制数据有关。一组这样的变量可以构成情绪状态矢量。如本文所使用的，术语“情绪状态变量”涵盖指示对内容控制有用的任何变量神经或神经生理状态的编码值，无论是否通俗地认为是“情绪”。例如，好奇心或兴趣是否被认为是情绪，可以将它们作为神经状态编码为情绪状态变量。内容包还包括或链接到数字对象的集合，每个数字对象与指示每个数字对象的情绪概况(例如，影响分数) 的一个或多个代码相关联。数字对象可以是本文上面描述的任何类型。一个或多个代码可以使用利用AI处理的经验用户生物特征数据来导出，并且可以预测该数字对象对于用户或同类群组用户的可能的情绪效果。
方法1600可以包括：在1620处，播放从内容包中选择的数字对象，从而输出音频-视频信号以供输出设备显示。方法1600可以包括：在1630处，从至少一个传感器接收传感器数据，该传感器被定位成感测观看输出设备的观众的可变生物特征，其中可变生物特征指示观众的神经或神经生理状态。传感器数据可以源自如上文所述的各种类型的生物特征传感器中的任何一个或多个。
方法1600可以包括：在1640处，基于传感器数据确定一个或多个情绪状态变量的值。例如，AI模块从观看内容的用户接收实时生物特征数据，并基于其训练集选择一个或多个情绪状态变量。模块可以将变量组装成表示为双态数的情绪状态矢量，模块可以将其提供给下游内容选择过程。可以如结合图6所描述地训练AI模块。在图12中描绘了情绪状态矢量的示例。
方法1600可以包括：在1650处，处理器基于一个或多个情绪状态变量的值、目标情绪情节的最近值以及指示情绪概况的一个或多个代码来选择用于播放的数字对象。选择数字对象可以包括结合图11和本文其他地方描述的更详细的操作。
方法1600可以以任何可操作的顺序包括图17-图18中所示的附加操作 1700或1800中的任何一个或多个。这些附加操作中的每一个不一定在该方法的每个实施例中都执行，并且操作1700或1800中的任何一个的存在并不一定要求也执行这些附加操作中的任何其他操作。
参见图17，其示出了用于导航故事网络的某些附加操作1700，方法1600 可以进一步包括：在1710处，进一步基于指示节点在故事网络中的位置的一个或多个代码，选择数字对象。数字对象中的每一个可以用指示故事网络的节点的一个或多个代码进行编码。故事网络可以由场景的有向无环图(DAG) 组成，如结合图8所述。该选择可以包括消除不在当前节点下游的节点，从而获得可用节点。该选择还可以包括：标识具有聚合情绪影响的可用节点的组合，该聚合情绪影响具有用于将用户影响到目标情绪状态的最高分数。
在一方面，故事网络包括一组节点，该一组节点包括所选节点。除了节点中的第一个和最后一个节点之外的节点中的每一个都可以与一个或多个可接受的先行节点(由该组节点的第一适当的非空子集组成)以及一个或多个可接受的后续节点(由该组节点的不包括第一适当的非空子集的第二适当的非空子集组成)唯一地相关联。节点中的每一个的先行节点和后续节点可以指示其在故事网络中的位置。
故事网络可以包括数字对象的各个层，例如如图8、图9A或图9B所示。在相关方面，方法1600可以包括：在1720处，从分开的层中的不同的层中选择各自指示节点的数字对象，以用于在影视内容的场景中进行组合。在相关方面，方法1600可以包括：在1730处，将来自故事节点的分开的层的故事节点进行组合，从而形成组合。可以例如通过使用深度神经网络或其他机器学习算法，通过使聚合情绪影响具有用于将用户影响到目标情绪状态的最高分数来标识该组合。该方法可以包括组合数字对象以产生场景数据，以及将场景提供给用户输出设备。
方法1600可以包括：在1740处，选择指示分开的层的重合节点的数字对象。如本文所使用的，“重合节点”是通过数据记录或其他关联链接到另一数字对象的数字对象。例如，非玩家角色节点可以链接到一个或多个场景、一组角色脚本以及一组道具或配件。重合节点的示例在图8中示出。
另外，方法1600可以包括：在1750处，基于视频对象的组合来渲染一个或多个视频帧。
参见图18，示出了某些附加操作1800，方法1600可以进一步包括：在 1810处，处理器将一个或多个情绪状态变量的值与目标情绪情节的最近值进行比较，并至少部分地通过与补偿比较中测量的缺陷(误差)的情绪概况相关联来选择数字对象。如所指出的，目标情绪情节可以包括一组目标情绪值，每个目标情绪值与连续时间序列的不同间隔唯一地相关联。方法1600可以进一步包括：在1820处，基于观众的先前的情绪响应数据或观众的人口概况中的至少一个，在播放期间自动地修改目标情绪情节。修改可以包括例如移除以下内容：玩家演员的感测到的情绪或内容的已知情绪状况指示是或可能是令人恼火或令人反感的。例如，如果用户与之交互的NPC通常会发呆并且提到一些敏感的政治问题或宗教问题，那么对于由于此类语言、手势或行为而烦恼并分心的用户，该方法可以包括省略敏感内容，并可选地替换用户更可能发现不令人恼火的内容。如果故事软件经过精心设计，其效果不仅是审查制度，还可以通过避免与导演的戏剧性用途相反的情绪触发来实现导演的戏剧性用途。相反，该方法可以包括引入前卫内容，对于其情绪概况指示比正常更前卫的内容更能在那些观众中实现目标情绪情节的用户，否则可能不会出现该前卫内容。例如，某些用户可能将前卫对话或动作与相关的英雄相关联；对于其他人，相同的行为可能导致玩家演员认为来源是恶意的或无情的。
由生物特征传感器检测到的情绪响应通常是无意的。另外，方法1600可以进一步包括：在1830处，进一步基于指示观众响应于播放的有意交互的数据来执行选择。影视内容可以支持交互式对象，诸如上文所述的非玩家角色，或其他交互式对象。用户与这些对象的交互为内容导航过程提供了情绪状态信息，并且还可以影响用户朝着内容的情绪情节所针对的情绪状态发展。因此，方法1600可以进一步包括：在1840处，基于指示观众响应于从内容包中选择的数字对象的播放而进行的有意交互的数据以及响应于指示该有意交互的用户输入，控制出现在输出中的角色或对象的动作。有意交互可以包括例如以下一项或多项：针对出现在输出中的角色的语音、由用户界面设备或传感器感测到的有意肌肉运动或由电传感器感测到的有意大脑活动。该方法可以包括由处理器基于指示用户响应于播放而进行的有意交互的数据来控制出现在输出中的角色或对象的动作。
人是复杂的，并且有时声称一种观点或立场，而压抑他们对该问题的感觉。换句话说，人可能具有内部冲突，有时是关于涉及社交关系的问题。因此，操作故事软件有时可以揭示用户声称喜欢或不喜欢的事物与他们的情绪诉说所揭示的事物之间的冲突。在某些情况下，内部冲突的揭示可能使用户感到尴尬或产生其他负面的社交反应。例如，根据观看环境，一些观众可能对裸体有积极的边缘反应，但是可能发现这种响应不舒服或令人尴尬。因此，在该方法的一方面，控制处理器可以向用户提供忽略用户的生物特征情绪指示符的选项以支持一些默认内容，这些默认内容被计算为对用户概况无争议。例如，故事控制器可以例如通过控制界面来接收有意或无意的输入，以警告其内容对于用户而言在社交或个人上是不期望的。控制器可以随着时间的推移累积有意输入，以完善观众的情绪概况，使得内容在用户的高级功能(例如，智力和社交功能)的限制内激发用户的情绪，从而促进用户舒适感。附加地或替代地，可以在每次观看体验之前通过在预告片或前奏期间的有意输入来校准影视AI。AI可以使用控制界面来收集信息，以更好地适应用户在玩耍时的短期和长期内部冲突，从而获得即时的观看体验。
图19是示出了用于响应于指示用户的情绪状态的传感器数据来控制数字影视内容的输出的装置或***1900的组件的概念框图。装置或***1900可以包括用于执行如本文所述的功能或过程操作的附加或更详细的组件。例如，处理器1910和存储器1916可以包含用于响应于如上文所述的情感调制数据来导航故事网络的过程的实例。如图所示，装置或***1900可以包括可以表示由处理器、软件或其组合(例如，固件)实现的功能的功能块。
如图19所示，装置或***1900可以包括电子组件1902，用于访问具有目标情绪情节的内容和各自具有情绪概况的对象。组件1902可以是或可以包括用于所述访问的构件。所述构件可以包括耦合到存储器1916以及传感器阵列(未示出)的输出的处理器1910，处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，接收包含带有情节和对象或指向它们的链接的内容的编码数字数据包；执行包括被配置为读取数字数据包的例程的应用程序；通过正在执行的应用程序读取数字数据包，并且将情绪情节和一个或多个对象加载到耦合到处理器的短期存储器(例如，随机存取存储器)中。
装置1900可以进一步包括用于播放从内容包中选择的数字对象的电子组件1904。组件1904可以是或可以包括用于所述播放的构件。所述构件可以包括耦合到存储器1916的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，确定用于播放的当前数字对象或一组数字对象，渲染或获取当前数字对象或一组数字对象，从而产生数字音频-视频数据，以及将音频-视频数据输出到任何合适的输出设备。
装置1900可以进一步包括用于从至少一个传感器接收传感器数据的电子组件1905，该传感器被定位成感测观众的可变生物特征，该可变生物特征指示神经或神经生理状态。组件1905可以是或可以包括用于所述接收的构件。所述构件可以包括耦合到存储器1916和一个或多个生物特征传感器1914的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，在各自与传感器相关联的一个或多个输入端口处接收数据；如果以模拟形式接收到数据，则将其转换为数字形式；处理数据，从而导出数据包含的信息的更紧凑的表示；用源标识信息标记该更紧凑的表示并对其加时间戳，将标记和加时间戳的数据提供给下游过程，或将其保存到指定的存储器位置或数据结构。
装置1900可以进一步包括用于基于传感器数据确定一个或多个情绪状态变量的值的电子组件1906。组件1906可以是或可以包括用于所述确定的构件。所述构件可以包括耦合到存储器1916的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，结合图6所述。
装置1900可以进一步包括用于基于一个或多个情绪状态变量、目标情绪情节和情绪概况来选择数字对象的电子组件1908。组件1908可以是或可以包括用于所述选择的构件。所述构件可以包括耦合到存储器1916的处理器1910，该处理器基于存储在存储器中的程序指令执行算法。这样的算法可以包括一系列更详细的操作，例如，结合图10-图11所描述的。
装置1900可以可选地包括具有至少一个处理器的处理器模块1910。处理器1910可以经由总线1913或类似的通信耦合与模块1902-1908可操作地通信。在替代方案中，一个或多个模块可被实例化为处理器的存储器中的功能模块。处理器1910可以实现发起和调度由电子组件1902-1908执行的过程或功能。
在相关方面中，装置1900可以包括网络接口模块(未示出)，其可操作用于通过计算机网络与***组件进行通信。网络接口模块可以是或可以包括例如以太网端口或串行端口(例如，通用串行总线(USB)端口)、Wifi接口或蜂窝电话接口。在另外的相关方面中，装置1900可以可选地包括用于存储信息的模块，诸如，例如，存储器设备1916。计算机可读介质或存储器模块 1916可以经由总线1913等可操作地耦合到装置1900的其他组件。存储器模块1916可以适于存储计算机可读指令和数据，以影响模块1902-1908及其子组件或处理器1910、方法1600以及本文公开的一个或多个附加操作 1700-1800，或本文所述的用于媒体播放器执行的任何方法的过程和行为。存储器模块1916可以保留用于执行与模块1902-1908相关联的功能的指令。尽管示出为在存储器1916外部，但是应当理解，模块1902-1908可以存在于存储器1916或处理器1910的片上存储器内。
存储器模块1916可以保存故事网络的副本或表示，该故事网络包括包含该节点的一组节点，其中除了节点中的第一个和最后一个节点之外的节点中的每一个都与一个或多个可接受的先行节点(由该组节点的第一适当的非空子集组成)以及一个或多个可接受的后续节点(由该组节点的不包括第一适当的非空子集的第二适当的非空子集组成)唯一地相关联。在一方面，节点中的每一个的先行节点和后续节点指示其在故事网络中的位置。另外，存储器模块1916可以保存包括故事节点的分开的层的故事网络的表示。在这样的实施例中，存储器1916可以保存用于以下操作的另外的指令：选择数字对象，每个数字对象指示来自分开的层中的不同的层的节点，以用于在影视内容的场景中进行组合；执行播放，包括将来自故事节点的分开的层中的故事节点进行组合，从而形成组合；至少部分地通过选择指示分开的层的重合节点的数字对象来执行选择。在故事网络的存储结构中，该组节点中的至少一些可以与分开的层中的不同的层中的一个或多个重合节点相关联。故事网络的进一步细节及其在装置中的使用可以如结合以上附图所描述的。
装置1900可以包括被配置为无线发射器/接收器或有线发射器/接收器的收发器1912，用于向/从另一个***组件(例如，RFID标签或位置信息发射器)发射和接收通信信号。在替代实施例中，处理器1910可以包括来自在计算机网络上操作的设备的联网微处理器。另外，装置1900可以包括用于显示沉浸式内容的立体显示器或其他沉浸式显示设备，或其他合适的输出设备。立体显示设备可以是或可以包括如上所述的或本领域中已知的任何合适的立体AR或VR输出设备。装置1900可以包括或可以连接到一个或多个生物特征传感器1914，生物特征传感器1914可以是任何合适的类型。合适的生物特征传感器的各种示例在上文中进行了描述。
本领域技术人员将进一步理解，结合本文公开的方面描述的各种说明性的逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经在其功能方面总体上描述了硬件和软件、各种说明性组件、块、模块、电路和步骤的可互换性。将这种功能实现为硬件还是软件取决于施加于整个***的特定应用和设计约束。技术人员可以针对每个特定应用以变化的方式来实施所描述的功能，但是这种实施决定不应被解释为导致脱离本公开的范围。
如在本申请中使用的，术语“组件”、“模块”、“***”等旨在指与计算机有关的实体，可以是硬件、硬件和软件的组合、软件或执行中的软件。例如，组件或模块可以是但不限于在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过说明的方式，在服务器上运行的应用和服务器都可以是组件或模块。一个或多个组件或模块可以驻留在执行的进程和/或线程中，并且组件或模块可以位于一个计算机上和/或分布在两个或多个计算机之间。
将根据可以包括若干组件、模块等的***来呈现各个方面。应当理解和意识到，各种***可以包括附加组件、模块等，和/或可以不包括结合附图所讨论的所有组件、模块等。也可以使用这些方法的组合。可以在电气设备上执行本文公开的各个方面，该电气设备包括利用触摸屏显示技术、平视用户接口、可佩戴接口和/或鼠标和键盘类型的接口的设备。这种设备的示例包括 VR输出设备(例如VR头戴式受话器)、AR输出设备(例如AR头戴式受话器)、计算机(台式和移动式)、电视、数字投影仪、智能电话、个人数字助理(PDA)和有线和无线的其他电子设备。
另外，结合本文公开的方面描述的各种说明性逻辑块、模块和电路可以用设计用于执行本文所述的功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备(PLD) 或复杂PLD(CPLD)、离散门或晶体管逻辑、离散硬件组件或其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心结合，或任何其他此类配置。
本文公开的操作方面可以直接体现在硬件中、由处理器执行的软件模块中，或两者的组合中。软件模块可以驻留在RAM存储器、闪速存储器、ROM 存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、 CD-ROM、数字多功能磁盘(DVD)、Blu-rayTM或本领域已知的任何其他形式的存储介质。示例性存储介质耦合到处理器，使得处理器可以从该存储介质读取信息，并且可以向该存储介质写入信息。在替代方案中，存储介质可以与处理器集成在一起。处理器和存储介质可以驻留在ASIC中。ASIC可以驻留在客户端设备或服务器中。在替代方案中，处理器和存储介质可以作为离散组件驻留在客户端设备或服务器中。
此外，可以使用标准编程和/或工程技术来产生软件、固件、硬件或其任意组合以控制计算机实施所公开的方面来将一个或多个版本实施为方法、装置或制品。非暂时性计算机可读介质可以包括但不限于磁存储设备(例如硬盘、软盘、磁条或其他格式)、光盘(例如压缩盘(CD)、DVD、Blu-rayTM或其他格式)、智能卡和闪速存储器设备(例如卡、棒或其他格式)。当然，本领域技术人员将认识到可以在不脱离所公开的方面的范围的情况下对该配置进行许多修改。
提供对所公开的方面的先前描述以使本领域的任何技术人员能够制造或使用本公开。对这些方面的各种修改对于本领域技术人员将是显而易见的，并且在不脱离本公开的精神或范围的情况下，本文中定义的一般原理可以应用于其他实施例。因此，本公开并非旨在限于本文中所示的实施例，而是应被赋予与本文中公开的原理和新颖性特征一致的最广范围。
鉴于上文描述的示例性***，已经参考几个流程图描述了可以根据所公开的主题实施的方法。尽管为了简化说明的目的，将方法论示出并描述为一系列框，但是应当理解和认识道，所要求保护的主题不受框的顺序限制，因为一些方框可以以不同的顺序进行，和/或与本文所描绘和描述的其他框同时进行。此外，并非需要所有示出的框来实施本文描述的方法。另外，应当进一步认识到，本文公开的方法能够存储在制品上，以便于将这样的方法传递和转移到计算机。

Claims (19)

1.一种用于经由计算机控制的媒体播放器向用户提供影视内容的方法，所述方法包括：
由所述媒体播放器的处理器访问内容包，所述内容包包括数字对象的集合和目标情绪情节，每个数字对象与指示所述每个数字对象的情绪概况的一个或多个代码相关联；
播放从所述内容包中选择的数字对象，从而输出音频-视频信号以供输出设备显示；
从至少一个传感器接收传感器数据，所述传感器被定位成感测观看所述输出设备的用户的生物特征；
基于所述传感器数据，确定一个或多个情绪状态变量的值；以及
基于所述一个或多个情绪状态变量、所述目标情绪情节的最近值以及指示情绪概况的所述一个或多个代码，选择用于所述播放的所述数字对象，其中所述选择进一步包括：将所述一个或多个情绪状态变量的所述值与所述目标情绪情节的所述最近值进行比较，以及至少部分地通过与补偿所述比较中测量的缺陷的情绪概况相关联来选择所述数字对象。
2.根据权利要求1所述的方法，其中进一步用指示故事网络的节点的一个或多个代码对所述数字对象中的每一个进行编码，并且其中所述选择进一步包括：进一步基于指示所述节点在故事网络中的位置的所述一个或多个代码来选择所述数字对象。
3.根据权利要求2所述的方法，其中所述故事网络包括一组节点，所述一组节点包括所述节点，除所述节点中的第一个和最后一个节点之外，所述节点中的每一个与一个或多个可接受的先行节点和一个或多个可接受的后续节点唯一地相关联，所述一个或多个可接受的先行节点由所述一组节点的第一适当的非空子集组成，所述一个或多个可接受的后续节点由所述一组节点的不包括所述第一适当的非空子集的第二适当的非空子集组成，其中所述节点中的每一个的所述先行节点和后续节点指示其在所述故事网络中的位置。
4.根据权利要求3所述的方法，其中所述故事网络包括故事节点的分开的层，并且所述选择进一步包括从所述分开的层中的不同的层中选择各自指示节点的数字对象，以用于在所述影视内容的场景中组合，所述播放进一步包括将来自所述故事节点的分开的层中的故事节点进行组合，从而形成组合，所述选择进一步包括选择指示所述分开的层的重合节点的所述数字对象，并且所述一组节点中的至少一些与所述分开的层中的不同的层中的一个或多个重合节点相关联。
5.根据权利要求4所述的方法，其中所述播放进一步包括基于所述组合来渲染一个或多个视频帧。
6.根据权利要求1所述的方法，其中所述目标情绪情节包括一组目标情绪值，每个目标情绪值与连续时间序列的不同间隔唯一地相关联。
7.根据权利要求1所述的方法，进一步包括基于所述用户的先前的情绪响应数据或所述用户的人口概况中的至少一个，在所述播放期间自动地修改所述目标情绪情节。
8.根据权利要求1所述的方法，其中所述选择进一步基于指示由所述用户响应于所述播放而进行的有意交互的数据，其中所述有意交互包括以下一项或多项：针对出现在所述输出中的角色的语音、由用户界面设备或传感器感测到的有意肌肉运动或由电传感器感测到的有意大脑活动。
9.根据权利要求8所述的方法，进一步包括基于指示由所述用户响应于所述播放而进行的有意交互的所述数据，控制出现在所述输出中的角色或对象的动作。
10.一种用于经由计算机控制的媒体播放器向用户提供影视内容的装置，所述装置包括耦合到存储器的处理器，所述存储器保存程序指令，所述程序指令在由所述处理器执行时使所述装置执行：
访问内容包，所述内容包包括数字对象的集合和目标情绪情节，每个数字对象与指示所述每个数字对象的情绪概况的一个或多个代码相关联；
播放从所述内容包中选择的数字对象，从而输出音频-视频信号以供输出设备显示；
从至少一个传感器接收传感器数据，所述传感器被定位成感测观看所述输出设备的用户的生物特征；
基于所述传感器数据，确定一个或多个情绪状态变量的值；以及
基于所述一个或多个情绪状态变量、所述目标情绪情节的最近值以及指示情绪概况的所述一个或多个代码，选择用于所述播放的所述数字对象，其中所述选择进一步包括：将所述一个或多个情绪状态变量的所述值与所述目标情绪情节的所述最近值进行比较，以及至少部分地通过与补偿所述比较中测量的缺陷的情绪概况相关联来选择所述数字对象。
11.根据权利要求10所述的装置，其中所述数字对象中的每一个进一步用指示故事网络的节点的一个或多个代码进行编码，并且其中所述存储器保存用于基于指示所述节点在故事网络中的位置的所述一个或多个代码来选择所述数字对象的另外的程序指令。
12.根据权利要求11所述的装置，其中所述存储器保存所述故事网络的表示，所述故事网络包括一组节点，所述一组节点包括所述节点，其中除所述节点中的第一个和最后一个节点之外，所述节点中的每一个与一个或多个可接受的先行节点和一个或多个可接受的后续节点唯一地相关联，所述一个或多个可接受的先行节点由所述一组节点的第一适当的非空子集组成，所述一个或多个可接受的后续节点由所述一组节点的不包括所述第一适当的非空子集的第二适当的非空子集组成，其中所述节点中的每一个的所述先行节点和后续节点指示其在所述故事网络中的位置。
13.根据权利要求12所述的装置，其中所述存储器保存所述故事网络的表示，所述故事网络包括故事节点的分开的层，并且所述选择进一步包括从所述分开的层中的不同的层中选择各自指示节点的数字对象，以用于在所述影视内容的场景中组合，所述播放进一步包括将来自所述故事节点的分开的层中的故事节点进行组合，从而形成组合，所述选择进一步包括选择指示所述分开的层的重合节点的所述数字对象，并且所述一组节点中的至少一些与所述分开的层中的不同的层中的一个或多个重合节点相关联。
14.根据权利要求13所述的装置，其中所述存储器保存用于至少部分地通过基于所述组合来渲染一个或多个视频帧而进行所述播放的另外的指令。
15.根据权利要求10所述的装置，其中所述存储器保存用于将所述目标情绪情节处理为一组目标情绪值的另外的指令，每个目标情绪值与连续时间序列的不同间隔唯一地相关联。
16.根据权利要求10所述的装置，其中所述存储器保存用于基于所述用户的先前的情绪响应数据或所述用户的人口概况中的至少一个在所述播放期间自动地修改所述目标情绪情节的另外的指令。
17.根据权利要求10所述的装置，其中所述存储器保存用于至少部分地基于指示由所述用户响应于所述播放而进行的有意交互的数据进行所述选择的另外的指令，其中所述有意交互包括以下一项或多项：针对出现在所述输出中的角色的语音、由用户界面设备或传感器感测到的有意肌肉运动或由电传感器感测到的有意大脑活动。
18.根据权利要求17所述的装置，其中所述存储器保存用于基于指示由所述用户响应于所述播放而进行的有意交互的所述数据控制出现在所述输出中的角色或对象的动作的另外的指令。
19.一种用于经由计算机控制的媒体播放器向用户提供影视内容的方法，所述方法包括：
由所述媒体播放器的处理器访问内容包，所述内容包包括数字对象的集合和目标情绪情节，每个数字对象与指示所述每个数字对象的情绪概况的一个或多个代码相关联；
播放从所述内容包中选择的数字对象，从而输出音频-视频信号以供输出设备显示，其中进一步用指示故事网络的节点的一个或多个代码对所述数字对象中的每一个进行编码，并且其中所述选择进一步包括进一步基于指示所述节点在故事网络中的位置的所述一个或多个代码来选择所述数字对象，其中所述故事网络包括一组节点，所述一组节点包括所述节点，除所述节点中的第一个和最后一个节点之外，所述节点中的每一个与一个或多个可接受的先行节点和一个或多个可接受的后续节点唯一地相关联，所述一个或多个可接受的先行节点由所述一组节点的第一适当的非空子集组成，所述一个或多个可接受的后续节点由所述一组节点的不包括所述第一适当的非空子集的第二适当的非空子集组成，其中所述节点中的每一个的所述先行节点和后续节点指示其在所述故事网络中的位置；
从至少一个传感器接收传感器数据，所述传感器被定位成感测观看所述输出设备的用户的生物特征；
基于所述传感器数据，确定一个或多个情绪状态变量的值；以及
基于所述一个或多个情绪状态变量、所述目标情绪情节的最近值以及指示情绪概况的所述一个或多个代码，选择用于所述播放的所述数字对象。
CN201880076920.8A 2017-09-29 2018-09-27 向用户提供影视内容的方法和装置 Active CN111742560B (zh)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762566257P 2017-09-29 2017-09-29
US62/566,257 2017-09-29
US201862614811P 2018-01-08 2018-01-08
US62/614,811 2018-01-08
US201862661556P 2018-04-23 2018-04-23
US62/661,556 2018-04-23
US201862715766P 2018-08-07 2018-08-07
US62/715,766 2018-08-07
PCT/US2018/053218 WO2019067783A1 (en) 2017-09-29 2018-09-27 PRODUCTION AND CONTROL OF KINEMATIC CONTENT IN RESPONSE TO AN EMOTIONAL USER STATUS

Publications (2)

Publication Number Publication Date
CN111742560A CN111742560A (zh) 2020-10-02
CN111742560B true CN111742560B (zh) 2022-06-24

Family

ID=65902772

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880076920.8A Active CN111742560B (zh) 2017-09-29 2018-09-27 向用户提供影视内容的方法和装置
CN201880077053.XA Active CN111758229B (zh) 2017-09-29 2018-09-28 基于生物特征传感器数据数字地表示用户参与定向内容
CN201880076549.5A Active CN111936036B (zh) 2017-09-29 2018-09-28 使用生物特征传感器数据检测神经状态来指导现场娱乐

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201880077053.XA Active CN111758229B (zh) 2017-09-29 2018-09-28 基于生物特征传感器数据数字地表示用户参与定向内容
CN201880076549.5A Active CN111936036B (zh) 2017-09-29 2018-09-28 使用生物特征传感器数据检测神经状态来指导现场娱乐

Country Status (5)

Country Link
US (3) US11343596B2 (zh)
EP (3) EP3688997A4 (zh)
KR (3) KR20240011874A (zh)
CN (3) CN111742560B (zh)
WO (3) WO2019067783A1 (zh)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742560B (zh) 2017-09-29 2022-06-24 华纳兄弟娱乐公司 向用户提供影视内容的方法和装置
US10735882B2 (en) 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US10848819B2 (en) 2018-09-25 2020-11-24 Rovi Guides, Inc. Systems and methods for adjusting buffer size
US11412298B1 (en) 2018-10-02 2022-08-09 Wells Fargo Bank, N.A. Systems and methods of interactive goal setting tools
US11265597B2 (en) * 2018-10-23 2022-03-01 Rovi Guides, Inc. Methods and systems for predictive buffering of related content segments
US11417045B2 (en) * 2019-04-08 2022-08-16 Battelle Memorial Institute Dialog-based testing using avatar virtual assistant
US11813406B2 (en) 2019-05-01 2023-11-14 Massachusetts Institute Of Technology Software and methods for controlling neural responses in deep brain regions
JP2020188947A (ja) * 2019-05-22 2020-11-26 本田技研工業株式会社 状態判定装置、状態判定方法及びコンピュータプログラム
US11298559B2 (en) * 2019-05-24 2022-04-12 Galibots Inc. Independent readiness determination for automated external defibrillator deployment
WO2020243910A1 (zh) * 2019-06-04 2020-12-10 波音公司 用于评价封闭环境中的投影内容的方法、设备与存储介质
WO2020249726A1 (en) * 2019-06-12 2020-12-17 Unity IPR ApS Method and system for managing emotional relevance of objects within a story
US12023176B2 (en) * 2019-06-12 2024-07-02 Hewlett-Packard Development Company, L.P. Extended reality adjustments based on physiological measurements
US11636117B2 (en) * 2019-06-26 2023-04-25 Dallas Limetree, LLC Content selection using psychological factor vectors
US11429839B2 (en) * 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines
JPWO2021059770A1 (zh) * 2019-09-24 2021-04-01
CN110719505B (zh) * 2019-09-26 2022-02-25 三星电子（中国）研发中心 一种基于情绪的共享媒体内容提供方法及***
US11601693B2 (en) 2019-09-30 2023-03-07 Kyndryl, Inc. Automatic adaptation of digital content
US11532245B2 (en) 2019-10-01 2022-12-20 Warner Bros. Entertainment Inc. Technical solutions for customized tours
US11645578B2 (en) 2019-11-18 2023-05-09 International Business Machines Corporation Interactive content mobility and open world movie production
US11496802B2 (en) * 2019-11-29 2022-11-08 International Business Machines Corporation Media stream delivery
US11537209B2 (en) 2019-12-17 2022-12-27 Activision Publishing, Inc. Systems and methods for guiding actors using a motion capture reference system
CN111221416B (zh) * 2020-01-06 2021-12-07 腾讯科技（深圳）有限公司 一种虚拟道具分配的方法、服务器及终端设备
US11483593B2 (en) * 2020-01-28 2022-10-25 Smart Science Technology, LLC System for providing a virtual focus group facility
US11538355B2 (en) * 2020-03-24 2022-12-27 Panasonic Intellectual Property Management Co., Ltd. Methods and systems for predicting a condition of living-being in an environment
US20210393148A1 (en) * 2020-06-18 2021-12-23 Rockwell Collins, Inc. Physiological state screening system
EP3925521A1 (en) * 2020-06-18 2021-12-22 Rockwell Collins, Inc. Contact-less passenger screening and identification system
US11691076B2 (en) * 2020-08-10 2023-07-04 Jocelyn Tan Communication with in-game characters
EP4205099A1 (en) * 2020-08-28 2023-07-05 Mindwell Labs Inc. Systems and method for measuring attention quotient
US11487891B2 (en) * 2020-10-14 2022-11-01 Philip Chidi Njemanze Method and system for mental performance computing using artificial intelligence and blockchain
US11527046B2 (en) * 2020-11-30 2022-12-13 Sony Interactive Entertainment LLC. Real world beacons indicating virtual locations
US20230344536A1 (en) * 2020-12-14 2023-10-26 Funai Electric Co., Ltd. Real-time immersion of multiple users
CN112800252B (zh) * 2020-12-31 2024-07-19 腾讯科技（深圳）有限公司 虚拟场景中媒体文件的播放方法、装置、设备及存储介质
WO2022141894A1 (zh) * 2020-12-31 2022-07-07 苏州源想理念文化发展有限公司 融合表情和肢体运动的三维特征情绪分析方法
CN112992186B (zh) * 2021-02-04 2022-07-01 咪咕音乐有限公司 音频处理方法、装置、电子设备及存储介质
WO2022201364A1 (ja) * 2021-03-24 2022-09-29 日本電気株式会社 情報処理装置、制御方法及び記憶媒体
US20240143582A1 (en) * 2021-05-24 2024-05-02 Narrative Science Llc Applied Artificial Intelligence Technology for Natural Language Generation Using a Story Graph and Different Structurers
FR3123487B1 (fr) 2021-05-27 2024-01-19 Ovomind K K Procédé pour la prédiction automatique de l’effet émotionnel produit par une séquence de jeu vidéo
CN113221850B (zh) * 2021-06-09 2023-02-03 上海外国语大学 基于观众特征、LPP和θ波的影视剧演员选取方法
WO2022272057A1 (en) * 2021-06-24 2022-12-29 Innsightful, Inc. Devices, systems, and methods for mental health assessment
CN113420553A (zh) * 2021-07-21 2021-09-21 北京小米移动软件有限公司 文本生成方法、装置、存储介质及电子设备
US11908478B2 (en) 2021-08-04 2024-02-20 Q (Cue) Ltd. Determining speech from facial skin movements using a housing supported by ear or associated with an earphone
WO2024018400A2 (en) * 2022-07-20 2024-01-25 Q (Cue) Ltd. Detecting and utilizing facial micromovements
US12041323B2 (en) 2021-08-09 2024-07-16 Rovi Guides, Inc. Methods and systems for modifying a media content item based on user reaction
CN117795551A (zh) * 2021-08-11 2024-03-29 三星电子株式会社 用于自动捕捉和处理用户图像的方法和***
US11651528B2 (en) * 2021-09-22 2023-05-16 Rockwell Automation Technologies, Inc. Systems and methods for providing context-based data for an industrial automation system
WO2023075746A1 (en) * 2021-10-25 2023-05-04 Earkick, Inc. Detecting emotional state of a user
CN114170356B (zh) * 2021-12-09 2022-09-30 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质
US11849179B2 (en) * 2021-12-21 2023-12-19 Disney Enterprises, Inc. Characterizing audience engagement based on emotional alignment with characters
KR102541146B1 (ko) 2021-12-22 2023-06-13 주식회사 메디컬에이아이 블록체인을 통한 심전도 데이터 디지털 콘텐츠화 방법 및 이를 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기재된 기록 매체
WO2023128841A1 (en) * 2021-12-27 2023-07-06 Telefonaktiebolaget Lm Ericsson (Publ) Methods and means for rendering extended reality
US20230395078A1 (en) * 2022-06-06 2023-12-07 Cerence Operating Company Emotion-aware voice assistant
US11930226B2 (en) * 2022-07-29 2024-03-12 Roku, Inc. Emotion evaluation of contents
US20240054159A1 (en) * 2022-08-12 2024-02-15 Lmdp Co. Method and apparatus for a user-adaptive audiovisual experience
CN115120240B (zh) * 2022-08-30 2022-12-02 山东心法科技有限公司 特殊行业目标感知技能的敏感性评估方法、设备及介质
CN117041807B (zh) * 2023-10-09 2024-01-26 深圳市迪斯声学有限公司 蓝牙耳机播放控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999108A (zh) * 2008-01-31 2011-03-30 美国索尼电脑娱乐有限责任公司 大笑检测器以及用于追踪对媒体呈现的情绪反应的***和方法
GB201404698D0 (en) * 2014-03-17 2014-04-30 Pisani Justin P Sensor media control device
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4305131A (en) * 1979-02-05 1981-12-08 Best Robert M Dialog between TV movies and human viewers
JP4432246B2 (ja) 2000-09-29 2010-03-17 ソニー株式会社 観客状況判定装置、再生出力制御システム、観客状況判定方法、再生出力制御方法、記録媒体
DE10242903A1 (de) * 2002-09-16 2004-03-25 Denz, Peter, Dipl.-Ing. Verfahren zum Übermitteln von Regie- und ähnlichen Anweisungen an Personen
US20060005226A1 (en) * 2004-05-17 2006-01-05 Lee Peter S System and method for synchronization of a portable media player to a user's profile
US7694226B2 (en) 2006-01-03 2010-04-06 Eastman Kodak Company System and method for generating a work of communication with supplemental context
EP2007271A2 (en) * 2006-03-13 2008-12-31 Imotions - Emotion Technology A/S Visual attention and emotional response detection and display system
US9514436B2 (en) * 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
JP5194015B2 (ja) 2006-09-05 2013-05-08 インナースコープ リサーチ， インコーポレイテッド 感覚的刺激への視聴者反応を決定する方法およびシステム
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
US20140323899A1 (en) * 2006-12-22 2014-10-30 Neuro-Insight Pty. Ltd. Psychological Evaluation and Methods of Use
US8260189B2 (en) 2007-01-03 2012-09-04 International Business Machines Corporation Entertainment system using bio-response
US8583615B2 (en) * 2007-08-31 2013-11-12 Yahoo! Inc. System and method for generating a playlist from a mood gradient
US20090138332A1 (en) * 2007-11-23 2009-05-28 Dimitri Kanevsky System and method for dynamically adapting a user slide show presentation to audience behavior
US8069125B2 (en) 2007-12-13 2011-11-29 The Invention Science Fund I Methods and systems for comparing media content
US8125314B2 (en) 2008-02-05 2012-02-28 International Business Machines Corporation Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
US20140221866A1 (en) 2010-06-02 2014-08-07 Q-Tec Systems Llc Method and apparatus for monitoring emotional compatibility in online dating
US9959549B2 (en) * 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10198775B2 (en) 2010-06-23 2019-02-05 Microsoft Technology Licensing, Llc Acceleration of social interactions
US8438590B2 (en) * 2010-09-22 2013-05-07 General Instrument Corporation System and method for measuring audience reaction to media content
GB201109731D0 (en) 2011-06-10 2011-07-27 System Ltd X Method and system for analysing audio tracks
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US20170251262A1 (en) * 2011-11-07 2017-08-31 Monet Networks, Inc. System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations
US8943526B2 (en) * 2011-12-02 2015-01-27 Microsoft Corporation Estimating engagement of consumers of presented content
EP2790582A1 (en) * 2011-12-16 2014-10-22 Koninklijke Philips N.V. History log of user's activities and associated emotional states
US9569986B2 (en) 2012-02-27 2017-02-14 The Nielsen Company (Us), Llc System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
WO2013142538A1 (en) * 2012-03-19 2013-09-26 Rentrak Corporation System and method for measuring television audience engagement
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20130283162A1 (en) * 2012-04-23 2013-10-24 Sony Mobile Communications Ab System and method for dynamic content modification based on user reactions
KR101445923B1 (ko) * 2012-08-06 2014-11-03 경희대학교 산학협력단 대화형 전시 서비스 제공 방법
US10459972B2 (en) * 2012-09-07 2019-10-29 Biobeats Group Ltd Biometric-music interaction methods and systems
WO2014040180A1 (en) * 2012-09-17 2014-03-20 Mario Perron System and method for participants to perceivably modify a performance
US9833698B2 (en) * 2012-09-19 2017-12-05 Disney Enterprises, Inc. Immersive storytelling environment
WO2014059234A1 (en) * 2012-10-11 2014-04-17 The Research Foundation Of The City University Of New York Predicting response to stimulus
US20140130076A1 (en) * 2012-11-05 2014-05-08 Immersive Labs, Inc. System and Method of Media Content Selection Using Adaptive Recommendation Engine
US9398335B2 (en) * 2012-11-29 2016-07-19 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US20150193089A1 (en) 2013-01-15 2015-07-09 Google Inc. Dynamic presentation systems and methods
US9531985B2 (en) * 2013-03-15 2016-12-27 Samsung Electronics Co., Ltd. Measuring user engagement of content
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
US10084880B2 (en) 2013-11-04 2018-09-25 Proteus Digital Health, Inc. Social media networking based on physiologic information
US20150181291A1 (en) * 2013-12-20 2015-06-25 United Video Properties, Inc. Methods and systems for providing ancillary content in media assets
US9471912B2 (en) * 2014-02-06 2016-10-18 Verto Analytics Oy Behavioral event measurement system and related method
GB201402533D0 (en) * 2014-02-13 2014-04-02 Piksel Inc Sensed content delivery
US9681166B2 (en) 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
US10120413B2 (en) 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
EP3032455A1 (en) * 2014-12-09 2016-06-15 Movea Device and method for the classification and the reclassification of a user activity
WO2016172557A1 (en) 2015-04-22 2016-10-27 Sahin Nedim T Systems, environment and methods for identification and analysis of recurring transitory physiological states and events using a wearable data collection device
US9788056B2 (en) * 2015-06-26 2017-10-10 Rovi Guides, Inc. System and methods for stimulating senses of users of a media guidance application
US10338939B2 (en) 2015-10-28 2019-07-02 Bose Corporation Sensor-enabled feedback on social interactions
KR101716408B1 (ko) * 2015-11-09 2017-03-14 고려대학교 산학협력단 영상 컨텐츠의 몰입도 측정 방법 및 장치
US10025972B2 (en) 2015-11-16 2018-07-17 Facebook, Inc. Systems and methods for dynamically generating emojis based on image analysis of facial features
US20170147202A1 (en) 2015-11-24 2017-05-25 Facebook, Inc. Augmenting text messages with emotion information
US10431116B2 (en) * 2015-12-10 2019-10-01 International Business Machines Corporation Orator effectiveness through real-time feedback system with automatic detection of human behavioral and emotional states of orator and audience
US20200267451A1 (en) 2015-12-14 2020-08-20 Thomsom Licensing Apparatus and method for obtaining enhanced user feedback rating of multimedia content
WO2017105440A1 (en) * 2015-12-16 2017-06-22 Thomson Licensing Methods and apparatuses for processing biometric responses to multimedia content
CN106249903B (zh) * 2016-08-30 2019-04-19 广东小天才科技有限公司 一种虚拟现实场景内容的播放方法及装置
US10097888B2 (en) * 2017-02-06 2018-10-09 Cisco Technology, Inc. Determining audience engagement
US11723566B2 (en) * 2017-05-09 2023-08-15 Eye-Minders Ltd. Deception detection system and method
US11070862B2 (en) * 2017-06-23 2021-07-20 At&T Intellectual Property I, L.P. System and method for dynamically providing personalized television shows
US10511888B2 (en) * 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
CN111742560B (zh) 2017-09-29 2022-06-24 华纳兄弟娱乐公司 向用户提供影视内容的方法和装置
CN112118784B (zh) 2018-01-08 2024-06-14 华纳兄弟娱乐公司 用于检测神经生理状态的社交交互应用
US10880601B1 (en) * 2018-02-21 2020-12-29 Amazon Technologies, Inc. Dynamically determining audience response to presented content using a video feed
US10542314B2 (en) 2018-03-20 2020-01-21 At&T Mobility Ii Llc Media content delivery with customization
GB201809388D0 (en) * 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
US11086907B2 (en) 2018-10-31 2021-08-10 International Business Machines Corporation Generating stories from segments classified with real-time feedback data
US11429839B2 (en) 2019-08-22 2022-08-30 International Business Machines Corporation Adapting movie storylines

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101999108A (zh) * 2008-01-31 2011-03-30 美国索尼电脑娱乐有限责任公司 大笑检测器以及用于追踪对媒体呈现的情绪反应的***和方法
GB201404698D0 (en) * 2014-03-17 2014-04-30 Pisani Justin P Sensor media control device
CN107085512A (zh) * 2017-04-24 2017-08-22 广东小天才科技有限公司 一种音频播放方法及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
技术增强的学习空间的特征与要素分析;许亚锋 等;《现代远距离教育》;20150415(第2期);全文 *

Also Published As

Publication number Publication date
US20200297262A1 (en) 2020-09-24
KR20240011874A (ko) 2024-01-26
CN111758229B (zh) 2022-06-24
US20200296458A1 (en) 2020-09-17
EP3687388A1 (en) 2020-08-05
CN111936036B (zh) 2023-09-26
KR20200127969A (ko) 2020-11-11
WO2019067783A1 (en) 2019-04-04
EP3688897A4 (en) 2021-08-04
KR20200127150A (ko) 2020-11-10
US20200296480A1 (en) 2020-09-17
CN111936036A (zh) 2020-11-13
US11303976B2 (en) 2022-04-12
KR102662981B1 (ko) 2024-05-02
EP3688997A1 (en) 2020-08-05
KR20200130231A (ko) 2020-11-18
EP3687388A4 (en) 2021-07-07
CN111742560A (zh) 2020-10-02
WO2019068035A1 (en) 2019-04-04
EP3688997A4 (en) 2021-09-08
WO2019068025A1 (en) 2019-04-04
CN111758229A (zh) 2020-10-09
EP3688897A1 (en) 2020-08-05
US11343596B2 (en) 2022-05-24

Similar Documents

Publication Publication Date Title
CN111742560B (zh) 向用户提供影视内容的方法和装置
US20240045470A1 (en) System and method for enhanced training using a virtual reality environment and bio-signal data
CN112118784B (zh) 用于检测神经生理状态的社交交互应用
JP7140138B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに情報処理システム
US10171858B2 (en) Utilizing biometric data to enhance virtual reality content and user response
Yan et al. Enhancing audience engagement in performing arts through an adaptive virtual environment with a brain-computer interface
US20230047787A1 (en) Controlling progress of audio-video content based on sensor data of multiple users, composite neuro-physiological state and/or content engagement power
Vieira et al. Assessment of fun in interactive systems: A survey
Yannakakis et al. Affective game computing: A survey
KR102690201B1 (ko) 사용자 감정 상태에 반응하여 영화 컨텐츠의 생성 및 제어
US11822719B1 (en) System and method for controlling digital cinematic content based on emotional state of characters
Brambilla et al. StrEx: Towards a Modulator of Stressful Experience in Virtual Reality Games
HASSARD The Sense of Embodiment in Virtual Reality Explored Through Presence, Narrative Immersion and Physical Effort
Nogueira Emotional State Regulation in Interactive Environments: A Psychophysiological Adaptive Approach for Affect-Inductive Experiences
CN117122915A (zh) 用于在视频游戏的游戏玩法期间自动控制用户打断的方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant