KR102196380B1 - 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술 - Google Patents

사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술 Download PDF

Info

Publication number
KR102196380B1
KR102196380B1 KR1020197005255A KR20197005255A KR102196380B1 KR 102196380 B1 KR102196380 B1 KR 102196380B1 KR 1020197005255 A KR1020197005255 A KR 1020197005255A KR 20197005255 A KR20197005255 A KR 20197005255A KR 102196380 B1 KR102196380 B1 KR 102196380B1
Authority
KR
South Korea
Prior art keywords
user
end user
emotional state
way
biometric
Prior art date
Application number
KR1020197005255A
Other languages
English (en)
Other versions
KR20190032502A (ko
Inventor
조지 알리스테어 생어
사무엘 에이. 밀러
그레엄 존 디바인
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20190032502A publication Critical patent/KR20190032502A/ko
Application granted granted Critical
Publication of KR102196380B1 publication Critical patent/KR102196380B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06K9/00308—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/175—Static expression
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Library & Information Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

가상 이미지 생성 시스템을 동작시키는 방법은, 최종 사용자가 적어도 하나의 가상 객체를 포함하는 3-차원 환경과 상호작용할 수 있게 하는 단계, 3-차원 환경의 맥락에서 최종 사용자에게 자극을 제시하는 단계, 최종 사용자에 대한 자극의 제시에 대한 응답으로 최종 사용자의 적어도 하나의 바이오메트릭(biometric) 파라미터를 감지하는 단계, 감지된 바이오메트릭 파라미터(들) 각각에 대한 바이오메트릭 데이터를 생성하는 단계, 감지된 바이오메트릭 파라미터(들) 각각에 대한 바이오메트릭 데이터에 기초하여, 최종 사용자가 적어도 하나의 특정 감정 상태에 있는지를 결정하는 단계, 및 최종 사용자가 특정 감정 상태(들)에 있다고 결정되는지에 적어도 부분적으로 기초하여, 현재의 목적을 가능하게 하기 위해 최종 사용자에 대해 인식 가능한 액션(action)을 수행하는 단계를 포함한다.

Description

사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
[0001] 본 출원은, 대리인 일련 번호 ML.30042.00으로 2016년 7월 21일에 출원된 "TECHNIQUE FOR CONTROLLING VIRTUAL IMAGE GENERATION SYSTEM USING EMOTIONAL STATES OF USER"라는 명칭의 미국 가특허 출원 번호 제62/364,957호를 우선권으로 주장한다. 이로써, 전술한 특허 출원의 내용은 그 전체가 인용에 의해 본원에 명시적으로 포함된다.
[0002] 본 발명은 일반적으로 하나 이상의 사용자들에 대한 상호작용식 가상 및 증강 현실 환경들을 가능하게 하도록 구성된 시스템들 및 방법들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제인 것으로 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실(virtual reality; VR) 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하는 반면, 증강 현실(augmented reality; AR) 시나리오는 통상적으로 최종 사용자 주위의 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다.
[0004] 예컨대, 도 1을 참조하면, 증강 현실 장면(scene)(4)이 도시되며, 여기서 AR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(8)을 피처링(featuring)하는 실세계 공원-형 세팅(6)을 본다. 이들 아이템들에 더하여, AR 기술의 최종 사용자는 또한, 자신이 실세계 플랫폼(8) 상에 서 있는 로봇 동상(10), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(12)를 보는 것을 지각하더라도, 이들 엘리먼트들(10, 12)은 실세계에 존재하지 않는다. 밝혀진 바와 같이, 인간 시각적 지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 가능하게 하는 VR 또는 AR 기술을 생성하는 것은 난제이다.
[0005] VR 및 AR 시스템들은 통상적으로 사용자의 머리에 적어도 느슨하게 커플링된 머리-착용 디스플레이들(또는 헬멧-장착 디스플레이들 또는 스마트 안경)을 사용하고, 이에 따라 최종 사용자의 머리가 움직일 때 움직인다. 최종 사용자의 머리 움직임들이 디스플레이 시스템에 의해 검출되는 경우, 디스플레이되는 데이터는 머리 포즈(즉, 사용자의 머리의 방향(orientation) 및/또는 위치)의 변화를 고려하여 업데이트될 수 있다.
[0006] 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상의 3차원(3D) 객체의 가상 표현을 응시하고(view) 3D 객체가 나타나는 영역 주위를 걷는 경우, 그 3D 객체는, 각각의 관점에 대해 다시 렌더링되어 최종 사용자가 실제 공간을 점유한 객체 주위를 걷고 있다는 지각을 최종 사용자에게 제공할 수 있다. 머리-착용 디스플레이가 가상 공간(예컨대, 풍부한 가상 세계) 내에 다수의 객체들을 제시하는 데 사용되는 경우, 최종 사용자의 동적으로 변하는 머리 위치 및 방향에 매칭하도록 장면을 다시 렌더링하고 가상 공간에서의 증가된 몰입감을 제공하도록 머리 포즈의 측정들이 사용될 수 있다.
[0007] AR(즉, 실제 및 가상 엘리먼트들의 동시적 응시)을 가능하게 하는 머리-착용 디스플레이들은 몇 개의 상이한 유형의 구성들을 가질 수 있다. "비디오 시-스루(video see-through)" 디스플레이로서 종종 지칭되는 하나의 이러한 구성에서, 카메라는 실제 장면의 엘리먼트들을 캡처하고 컴퓨팅 시스템이 캡처된 실제 장면 상에 가상 엘리먼트들을 중첩하며 불투명 디스플레이가 합성 이미지를 눈들에 제시한다. 다른 구성은 "광학 시-스루(optical see-through)" 디스플레이로서 종종 지칭되며, 여기서 최종 사용자는 환경의 실제 객체들로부터의 광을 직접 응시하기 위해 디스플레이 시스템의 투명(또는 반투명) 엘리먼트들을 통해 볼 수 있다. "조합기(combiner)"로서 종종 지칭되는 투명 엘리먼트는 실세계의 최종 사용자의 뷰 위에 디스플레이로부터의 광을 중첩한다.
[0008] VR 및 AR 시스템들에서, 만족스러운 결합(engagement)을 방해하거나 방지하는 것으로 밝혀진 팩터들을 제거하거나 덜 강조하면서 이러한 결합을 장려하거나 증가시키는 것으로 밝혀진 팩터들을 강조함으로써, 사용자와 VR/AR 시스템 간의 경험 및/또는 결합의 품질을 증가시키는 것이 바람직하다. 통상적으로, 사용자들의 초점 그룹은 VR/AR 시스템들의 하드웨어 및/또는 소프트웨어를 테스트하기 위해 조립된다. 사용자들은 자신이 좋아하거나 싫어하는 특징들에 대해 질의를 받을 수 있다. 그 후, 그들의 응답이 분석되고 VR/AR 시스템들의 하드웨어/소프트웨어 특징들을 오프라인으로 재설계하거나 다른 방식으로 수정하기 위해 사용될 수 있다. 오프-라인 포커스 그룹들의 사용은 일반적으로 테스트 중인 VR/AR 시스템과의 사용자 경험이 개선되게 하지만, 이 기술은 VR/AR 시스템을 특정 사용자에 맞추지 않고, VR/AR 시스템을 결합하기 위한 사용자의 잠재의식적인 동기(subconscious motivation)들을 고려하지 않고, VR/AR 시스템을 반복적으로 개선하기 위한 초점 그룹들의 반복되는 사용으로 인해 비교적 값비싸고 시간 소모적일 수 있다.
[0009] 따라서, 사용자와 VR/AR 시스템 사이의 경험 및/또는 결합의 품질을 개선할 필요가 있다.
[0010] 본 발명들의 제1 양상에 따라, 가상 이미지 생성 시스템을 동작시키는 방법은, 최종 사용자가 적어도 하나의 가상 객체를 포함하는 3-차원 환경과 상호작용할 수 있게 하는 단계를 포함한다. 최종 사용자가 3-차원 환경과 상호작용할 수 있게 하는 단계는, 3-차원 환경의 복수의 합성 이미지 프레임들을 렌더링하는 단계 및 최종 사용자에게 합성 이미지 프레임들을 순차적으로 디스플레이하는 단계를 포함할 수 있다. 합성 이미지 프레임들은 최종 사용자의 머리에 장착되는 프레임 구조를 통해 최종 사용자의 시야에 디스플레이될 수 있고, 최종 사용자에 의해 시각화된 실제 장면 위에 중첩될 수 있다.
[0011] 방법은, 3-차원 환경의 맥락에서 최종 사용자에게 자극을 (예컨대, 시각적으로 또는 청각적으로) 제시하는 단계, 최종 사용자에 대한 자극의 제시에 대한 응답으로 최종 사용자의 적어도 하나의 바이오메트릭(biometric) 파라미터를 감지하는 단계, 및 감지된 바이오메트릭 파라미터(들) 각각에 대한 바이오메트릭 데이터를 생성하는 단계를 더 포함한다. 일 실시예에서, 최종 사용자의 바이오메트릭 파라미터(들)는 자극의 제시에 대한 응답으로 복수의 상이한 시간에 감지되고, 바이오메트릭 데이터는 이들 상이한 시간에 생성된다. 감지된 바이오메트릭 파라미터(들)는, 적어도 하나의 얼굴 표정(예컨대, 입의 자세 및 최종 사용자의 눈들 주위의 눈꼬리 잔주름(crow's feet) 중 하나 또는 둘 모두), 어깨들의 움츠림(hunching), 호흡수, 심박수, 체온, 혈압, 손 움직임들의 빈도 및/또는 위치, 신체 경련들의 빈도 및/또는 위치, 눈 움직임들 사이의 경과된 시간 및 미세-표정을 포함할 수 있다.
[0012] 방법은, 감지된 바이오메트릭 파라미터(들) 각각에 대한 바이오메트릭 데이터에 기초하여, 최종 사용자가 적어도 하나의 특정 감정 상태(예컨대, 분노, 경멸, 혐오, 두려움, 행복, 슬픔, 놀람, 혼란, 부끄러움, 경계함, 피로함, 긴장풀림, 불만, 지루함, 당황 중 적어도 하나)에 있는지를 결정하는 단계를 더 포함한다. 감지된 바이오메트릭 파라미터(들)는 복수의 상이한 감지된 바이오메트릭 파라미터들을 포함할 수 있으며, 이 경우에, 최종 사용자가 특정 감정 상태(들)에 있는지를 결정하는 단계는 생성된 바이오메트릭 데이터에 대해 패턴 인식 분석을 수행하는 단계를 포함할 수 있다. 예컨대, 감지된 바이오메트릭 파라미터(들)가 최종 사용자의 입의 자세 및 눈들 주위의 눈꼬리 잔주름을 포함하는 경우, 특정 감정 상태(들)는 행복을 포함하는 것으로 결정될 수 있다.
[0013] 최종 사용자가 특정 감정 상태(들)에 있다고 결정하는 단계는, 생성된 바이오메트릭 데이터와, 적어도 하나의 특정 감정 상태와 상관되는 기준 바이오메트릭 데이터를 비교하는 단계를 포함할 수 있다. 예컨대, 감지된 바이오메트릭 파라미터(들) 중 하나에 대해 생성된 바이오메트릭 데이터는 바이오메트릭 스칼라 데이터 값일 수 있고 기준 바이오메트릭 데이터는 기준 바이오메트릭 값 범위를 포함할 수 있으며, 이 경우에, 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터를 비교하는 단계는 바이오메트릭 스칼라 데이터 값이 기준 바이오메트릭 값 범위 내에 있는지를 결정하는 단계를 포함할 수 있다. 다른 예로서, 감지된 바이오메트릭 파라미터(들) 중 하나에 대해 생성된 바이오메트릭 데이터는 바이오메트릭 다차원 데이터 벡터일 수 있고, 기준 바이오메트릭 데이터는 기준 바이오메트릭 다차원 데이터 벡터를 포함할 수 있으며, 이 경우에, 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터를 비교하는 단계는 생성된 바이오메트릭 다차원 데이터 벡터와 기준 바이오메트릭 다차원 데이터 벡터 사이에서 상관 함수를 수행하는 단계를 포함할 수 있다. 선택적인 실시예에서, 최종 사용자가 특정 감정 상태에 있는지를 결정하는 단계는 최종 사용자의 커스텀(custom) 감정 상태 프로파일로부터 기준 바이오메트릭 데이터를 리트리브(retrieve)하는 단계를 더 포함할 수 있다.
[0014] 방법은, 최종 사용자가 특정 감정 상태(들)에 있다고 결정되는지에 적어도 부분적으로 기초하여, 현재의 목적을 가능하게 하기 위해 최종 사용자에 대해 인식 가능한 액션(action)을 수행하는 단계를 더 포함한다.
[0015] 일 실시예에서, 현재의 목적은, 원하는 지속기간 동안 최종 사용자에서 원하는 감정 상태를 유발하는 것, 또는 원하는 지속기간 동안 최종 사용자에서 원하지 않는 감정 상태를 유발하지 않는 것, 또는 원하는 지속기간 동안 최종 사용자에서 복수의 상이한 원하는 감정 상태들을 유발하는 것이고; 예컨대, 관련 시간 기간에서 1번, 관련 시간 기간에서 복수 번이거나 또는 관련 시간 기간에 걸쳐 연속적이다.
[0016] 예컨대, 현재의 목적이 원하는 지속기간 동안 최종 사용자에서 원하는 감정 상태를 유발하는 것일 수 있고, 특정 감정 상태(들)는 원하는 감정 상태와 일치할 수 있다. 최종 사용자가 원하는 지속기간 동안 특정 감정 상태(들)에 있다고 결정되는 경우, 수행되는 액션은 최종 사용자가 이 자극을 보다 이용 가능하게 하는 것을 포함할 수 있고, 대조적으로, 최종 사용자가 원하는 지속기간 동안 특정 감정 상태(들)에 있지 않다고 결정되는 경우, 수행되는 액션은 최종 사용자가 이 자극을 덜 이용 가능하게 하는 것을 포함할 수 있다.
[0017] 다른 예로서, 현재의 목적이 원하는 지속기간 동안 최종 사용자에서 원하지 않은 감정 상태를 유발하지 않는 것일 수 있고, 특정 감정 상태(들)는 원하지 않는 감정 상태와 일치할 수 있다. 최종 사용자가 원하는 지속기간 동안 적어도 하나의 특정 감정 상태에 있지 않다고 결정되는 경우, 수행되는 액션은 최종 사용자가 이 자극을 보다 이용 가능하게 하는 것을 포함할 수 있고, 대조적으로, 최종 사용자가 원하는 지속기간 동안 특정 감정 상태(들)에 있다고 결정되는 경우, 수행되는 액션은 최종 사용자가 이 자극을 덜 이용 가능하게 하는 것을 포함할 수 있다.
[0018] 또 다른 예로서, 현재의 목적은 원하는 지속기간 동안 최종 사용자에서 복수의 상이한 원하는 감정 상태들을 유발하는 것일 수 있고, 복수의 상이한 감정 상태들은 복수의 원하는 감정 상태들과 일치할 수 있다. 최종 사용자가 원하는 지속기간 동안 복수의 상이한 감정 상태들에 있다고 결정되는 경우, 수행되는 액션은 최종 사용자가 이 자극을 보다 이용 가능하게 하는 것을 포함할 수 있고, 대조적으로, 최종 사용자가 원하는 지속기간 동안 복수의 상이한 감정 상태들에 있지 않다고 결정되는 경우, 수행되는 액션은 최종 사용자가 이 자극을 덜 이용 가능하게 하는 것을 포함할 수 있다.
[0019] 다른 실시예에서, 자극은 비디오 게임, 프로그램, 배경 음악 작품(musical background piece), 보상, 가상 객체 또는 경고의 형태를 취하며, 이 경우에, 수행되는 액션은 최종 사용자가 비디오 게임, 프로그램, 배경 음악 작품, 보상, 가상 객체 또는 경고를 보다 이용 가능하게 또는 덜 이용 가능하게 하는 것을 포함할 수 있다. 또 다른 실시예에서, 자극은 최종 사용자가 비디오 게임, 프로그램, 배경 음악 작품, 보상, 가상 객체 또는 경고의 특징(feature)의 형태를 취하며, 이 경우에, 수행되는 액션은 비디오 게임, 프로그램, 배경 음악 작품, 보상 또는 경고를 보다 이용 가능하게 또는 덜 이용 가능하게 하는 것을 포함할 수 있다.
[0020] 또 다른 실시예에서, 자극은 전략 비디오 게임의 형태를 취하고 현재의 목적이 전략 비디오 게임에서 최종 사용자를 이기는 것이며, 이 경우에, 수행되는 액션은 최종 사용자에 대해 특정 감정 상태 결정을 사용하여 게임을 진행시키는 것을 포함할 수 있다. 예컨대, 전략 비디오 게임이 최종 사용자와 시합하는 하나 이상의 시뮬레이션된 플레이어들을 갖는 카드 놀이 비디오 게임(예컨대, 포커 비디오 게임)일 수 있고, 특정 감정 상태(들)는 최종 사용자가 블러핑(bluffing)을 하고 있는지 여부를 표시하는 것일 수 있으며, 이 경우에, 수행되는 액션은 최종 사용자가 블러핑을 하는지 여부에 관한 지식을 사용하여 시뮬레이션된 플레이어(들)가 최종 사용자와 카드들을 시합하는 것을 포함할 수 있다.
[0021] 또 다른 실시예에서, 자극은 최종 사용자에게 제시된 질문의 형태를 취하고, 현재의 목적은 최종 사용자가 질문에 대한 응답으로 거짓말을 하고 있는지 여부를 결정하는 것이며, 이 경우에, 수행되는 액션은 특정 감정 상태 결정을 사용하여 최종 사용자가 거짓말을 하고 있는지 여부를 최종 사용자에게 통지하는 것을 포함할 수 있다.
[0022] 또 다른 실시예에서, 자극은 최종 사용자에게 제시된 복수의 옵션들의 형태를 취하고, 현재의 목적은 복수의 객체들 중 어느 것이 최종 사용자가 생각하고 있는 것인지를 결정하는 것이며, 이 경우에, 수행되는 액션은 특정 감정 상태 결정을 사용하여 최종 사용자가 생각하고 있는 것이 어느 객체인지를 최종 사용자에게 통지하는 것을 포함할 수 있다.
[0023] 또 다른 실시예에서, 자극은 시뮬레이션된 얼굴의 형태를 취하고 현재의 목적은 최종 사용자를 웃게 만드는 것이며, 이 경우에, 수행되는 액션은, 특정 감정 상태 결정을 사용하여 최종 사용자가 웃을려고 하는지를 결정하는 것 그리고 최종 사용자를 웃게 만들기 위해 시뮬레이션된 얼굴을 수정하는 것을 포함할 수 있다.
[0024] 본 발명의 제2 양상에 따라, 가상 이미지 생성 시스템을 동작시키는 방법은, 최종 사용자가 적어도 하나의 가상 객체를 포함하는 3-차원 환경과 상호작용할 수 있게 하는 단계를 포함한다. 최종 사용자가 3-차원 환경과 상호작용할 수 있게 하는 단계는, 3-차원 환경의 복수의 합성 이미지 프레임들을 렌더링하는 단계 및 최종 사용자에게 합성 이미지 프레임들을 순차적으로 디스플레이하는 단계를 포함할 수 있다. 합성 이미지 프레임들은 최종 사용자의 머리에 장착되는 프레임 구조를 통해 최종 사용자의 시야에 디스플레이될 수 있고, 최종 사용자에 의해 시각화된 실제 장면 위에 중첩될 수 있다.
[0025] 이 방법은 3-차원 환경의 맥락에서 최종 사용자에게 자극을 (예컨대, 시각적으로 또는 청각적으로) 제시하는 단계를 더 포함한다. 자극은 예컨대, 비디오 게임, 프로그램, 배경 음악 작품, 보상, 가상 객체 또는 경고, 또는 이들의 특징일 수 있다.
[0026] 방법은, 최종 사용자에 대한 자극의 제시에 대한 응답으로 최종 사용자의 적어도 하나의 바이오메트릭 파라미터를 감지하는 단계, 및 감지된 바이오메트릭 파라미터(들) 각각에 대한 바이오메트릭 데이터를 생성하는 단계를 더 포함한다. 일 실시예에서, 최종 사용자의 바이오메트릭 파라미터(들)는 자극의 제시에 대한 응답으로 복수의 상이한 시간에 감지되고, 바이오메트릭 데이터는 이들 상이한 시간에 생성된다. 감지된 바이오메트릭 파라미터(들)는, 적어도 하나의 얼굴 표정(예컨대, 입의 자세 및 최종 사용자의 눈들 주위의 눈꼬리 잔주름 중 하나 또는 둘 모두), 어깨들의 움츠림, 호흡수, 심박수, 체온, 혈압, 손 움직임들의 빈도 및/또는 위치, 신체 경련들의 빈도 및/또는 위치, 및 눈 움직임들 사이의 경과된 시간 및 미세-표정을 포함할 수 있다.
[0027] 방법은, 생성된 바이오메트릭 데이터를 최종 사용자의 특정 감정 상태(예컨대, 분노, 경멸, 혐오, 두려움, 행복, 슬픔, 놀람, 혼란, 부끄러움, 경계함, 피로함, 긴장풀림, 불만, 지루함, 당황 중 적어도 하나)와 상관시키는 단계를 더 포함한다. 일 실시예에서, 생성된 바이오메트릭 데이터는 특정 신뢰도 레벨로 특정 감정 상태와 상관된다. 일 실시예에서, 생성된 바이오메트릭 데이터를 특정 감정 상태와 상관시키는 단계는, 지속기간(예컨대, 자극이 최종 사용자에게 제시되어서, 자극이 최종 사용자에게 제시되는 동안 최종 사용자가 3-차원 환경과 상호작용하는 지속기간 및 횟수들 중 하나)을 추적하는 단계, 추적된 지속기간과 임계 지속기간을 비교하는 단계, 및 비교에 기초하여 생성된 바이오메트릭 데이터를 특정 감정 상태와 상관시키는 단계를 포함한다. 다른 실시예에서, 생성된 바이오메트릭 데이터를 특정 감정 상태와 상관시키는 단계는, 최종 사용자에서 상이한 감정 상태들 또는 상이한 정도들의 감정 상태를 유발하도록 상이한 자극들로 여러 번, 자극을 제시하는 단계, 바이오메트릭 파라미터를 감지하는 단계, 및 바이오메트릭 데이터를 생성하는 단계를 반복하는 단계, 및 특정 감정 상태와 최상으로 매칭하는 바이오메트릭 데이터를 선택하는 단계를 포함한다.
[0028] 방법은 상관된 바이오메트릭 데이터로부터 기준 바이오메트릭 데이터를 유도하는 단계, 및 최종 사용자의 커스텀 프로파일에, 특정 감정 상태와 상관되는 기준 바이오메트릭 데이터를 저장하는 단계를 더 포함한다. 일 실시예에서, 감지된 바이오메트릭 파라미터(들) 중 하나에 대해 생성된 바이오메트릭 데이터는 바이오메트릭 스칼라 데이터 값이고, 기준 바이오메트릭 데이터는 기준 바이오메트릭 값 범위를 포함한다. 다른 실시예에서, 감지된 바이오메트릭 파라미터(들) 중 하나에 대해 생성된 바이오메트릭 데이터가 바이오메트릭 다차원 데이터 벡터이고 기준 바이오메트릭 데이터는 기준 바이오메트릭 다차원 데이터 벡터를 포함한다.
[0029] 선택적인 방법은, 다른 3-차원 환경의 맥락에서 최종 사용자에게 (이전에 제시된 자극과 상이할 수 있는) 후속 자극을 제시하는 단계, 후속적으로 제시된 자극에 대한 응답으로 최종 사용자의 적어도 하나의 감지된 바이오메트릭 파라미터를 감지하는 단계, 후속적으로 제시된 자극에 대한 응답으로 감지된 바이오메트릭 파라미터(들) 각각에 대한 바이오메트릭 데이터를 생성하는 단계, 커스텀 프로파일로부터 기준 바이오메트릭 데이터를 리트리브하는 단계, 생성된 바이오메트릭 데이터와 리트리브된 기준 바이오메트릭 데이터를 비교하는 단계, 및 비교에 기초하여 최종 사용자가 특정 감정 상태에 있다고 결정하는 단계를 더 포함한다.
[0030] 본 발명의 부가적인 그리고 다른 목적들, 특징들 및 이점들은 상세한 설명, 도면들 및 청구항들에서 설명된다.
[0031] 도면들은 본 발명의 바람직한 실시예들의 설계 및 유용성을 예시하며, 유사한 엘리먼트들은 공통 참조 번호들에 의해 지칭된다. 본 발명들의 위에서 언급된 그리고 다른 이점들 및 목적들이 어떻게 달성되는지를 더 잘 인지하기 위해, 위에서 간략하게 설명한 본 발명들의 보다 구체적 설명이 첨부 도면들에서 예시되는 본 발명의 특정 실시예들을 참조하여 제공될 것이다. 이들 도면들이 단지 본 발명의 통상적인 실시예들을 도시할 뿐이며, 이에 따라 본 발명의 범위를 제한하는 것으로 간주되지 않는다는 것을 이해하면서, 본 발명은 첨부된 도면들의 사용을 통해 부가적인 특이성 및 세부사항에 관해 설명되고 기술될 것이다.
[0032] 도 1은 종래 기술의 증강 현실 생성 디바이스에 의해 최종 사용자에게 디스플레이될 수 있는 3-차원 증강 현실 장면의 사진이다.
[0033] 도 2는 본 발명의 일 실시예에 따라 구성된 증강 현실 시스템의 블록도이다.
[0034] 도 3a는 도 2의 증강 현실 시스템을 착용하는 데 사용될 수 있는 하나의 기술의 도면이다.
[0035] 도 3b는 도 2의 증강 현실 시스템을 착용하는 데 사용될 수 있는 다른 기술의 도면이다.
[0036] 도 3c는 도 2의 증강 현실 시스템을 착용하는 데 사용될 수 있는 또 다른 하나의 기술의 도면이다.
[0037] 도 3d는 도 2의 증강 현실 시스템을 착용하는 데 사용될 수 있는 또 다른 하나의 기술의 도면이다.
[0038] 도 4는 최종 사용자에 대한 커스텀 감정 상태 프로파일을 생성하기 위해 도 2의 증강 현실 시스템을 동작시키는 방법을 예시하는 흐름도이다.
[0039] 도 5는 최종 사용자의 감정 상태들을 감지하는 것에 기초하여 액션들을 수행하도록 도 2의 증강 현실 시스템을 동작시키는 방법을 예시하는 흐름도이다.
[0040] 이어지는 설명은 증강 현실 시스템들에서 사용되는 디스플레이 시스템들 및 방법들에 관한 것이다. 그러나, 본 발명은 증강 현실의 애플리케이션들에 매우 적합하지만, 본 발명은 그의 가장 넓은 양상들에서, 그러한 것으로 제한되지 않을 수 있다는 것이 이해될 것이다. 예컨대, 본 발명은 가상 현실 시스템들을 포함하는 임의의 가상 이미지 생성 시스템에 적용될 수 있다. 따라서, 종종 본원에서 증강 현실 시스템의 관점에서 설명되지만, 교시들이 그러한 용도들의 그러한 시스템들로 제한돼서는 안 된다.
[0041] 도 2를 참조하면, 본 발명들에 따라 구성된 증강 현실 시스템(100)의 일 실시예가 이제 설명될 것이다. 증강 현실 시스템(100)은 최종 사용자(50)의 시야에서 실제 객체들과 혼합되는 가상 객체들의 이미지들을 제공한다. 증강 현실 시스템(100) 및 본원에서 교시된 다양한 기술들은 증강 현실 이외의 애플리케이션들에서 사용될 수 있다. 예컨대, 다양한 기술들이 임의의 프로젝션 또는 디스플레이 시스템에 적용될 수 있다. 또는, 본원에서 설명된 다양한 기술들은, 움직임이 최종 사용자의 머리보단 오히려 손에 의해 이루어질 수 있는 경우 피코 프로젝터(pico projector)들에 적용될 수 있다. 따라서, 종종 본원에서 증강 현실 시스템의 관점에서 설명되지만, 교시들이 그러한 용도들의 그러한 시스템들로 제한돼서는 안 된다.
[0042] 증강 현실 시스템(100)을 동작시킬 때 2개의 기본 접근법들이 있다. "비디오 시-스루(video see-through)"로서 지칭되는 제1 접근법에서, 증강 현실 시스템(100)은 실제 장면의 엘리먼트들을 캡처하고, 캡처된 실제 장면 상에 가상 객체들을 중첩하고, 디스플레이 상에서 합성 이미지를 최종 사용자(50)에게 제시한다. "광학 시-스루(optical see-through)"로서 지칭되는 제2 접근법에서, 최종 사용자(50)는 투명 또는 반투명 디스플레이를 통해 실제 장면을 직접 보고, 증강 현실 시스템(100)은 디스플레이 상에서 최종 사용자의 실제 장면의 뷰 위에 가상 객체들을 중첩한다.
[0043] 본 발명들에 더욱 적절하게는, 증강 현실 시스템(100)은 아래에서 추가로 상세히 설명되는 바와 같이, 3-차원 환경의 맥락에서 최종 사용자에 대한 자극들의 제시에 대한 응답으로 최종 사용자의 감정 상태를 결정하고, 증강 현실 시스템(100)의 현재의 목적에 따라, 결정된 감정 상태에 대한 응답으로 최종 사용자(50)에 대해 인식 가능한 액션을 수행한다. 본 명세서에서, "감정 상태"라는 용어는, "행복", "슬픔", "불만" 등과 같은 정적인 감정 상태들로서 흔히 지칭되는 것(그러나 이에 제한되지 않음)을 커버하는 것을 의미하는 방식으로 사용된다.
[0044] 증강 현실 시스템(100)은, 최종 사용자(50)에 의해 착용되는 프레임 구조(102), 디스플레이 시스템(104)이 최종 사용자(50)의 눈들(52) 전면에 포지셔닝되도록 프레임 구조(102)에 의해 지지되는 디스플레이 시스템(104), 및 스피커(106)가 최종 사용자(50)의 외이도에 인접하게 포지셔닝되도록 프레임 구조(102)에 의해 지지되는 스피커(106)(선택적으로, 다른 스피커(도시되지 않음)가 입체 음향/형상화 가능한 사운드 제어를 제공하도록 최종 사용자(50)의 다른 외이도에 인접하게 포지셔닝됨)를 포함한다. 디스플레이 시스템(104)은, 합성 이미지 프레임들을 최종 사용자(50)에게 순차적으로 디스플레이하고, 예시된 실시예에서, 최종 사용자(50)의 눈들(52)에, 2-차원 콘텐츠를 제시 가능할 뿐만 아니라, 고레벨의 이미지 품질 및 3-차원 지각들로, 물리적 현실에 대한 가상 콘텐츠 증강들로서 편안하게 지각될 수 있는 이미지-와이즈 변조 광(image-wise modulated light)을 제시하도록 설계된다. 디스플레이 시스템(104)은 단일 코히어런트(coherent) 장면의 지각을 제공하는 높은 빈도로 프레임들의 시퀀스를 제시한다.
[0045] 예시된 실시예에서, 디스플레이 시스템(104)은 프로젝션 서브시스템(108), 및 프로젝션 서브시스템(108)이 최종 사용자(50)의 필드에 이미지들을 프로젝팅하는 부분적으로 투명한 접안 렌즈(110)를 포함한다. 접안 렌즈(110)는 최종 사용자(50)의 눈들(52)과 주위 환경 사이에서 최종 사용자(50)의 시야 내에 포지셔닝된다. 예시된 실시예에서, 프로젝션 서브시스템(108)은 하나 이상의 광섬유들(112)(예컨대, 단일 모드 광섬유)을 포함하며, 이들 각각은 광이 수용되는 하나의 단부(112a) 및 광이 부분적으로 투명한 접안 렌즈(110)에 제공되는 다른 단부(112b)를 갖는다. 프로젝션 서브시스템(108)은 또한, 광을 생성(예컨대, 정의된 패턴들로 상이한 컬러들의 광을 방출)하고 광을 광섬유(들)(112)의 다른 단부(112a)에 통신 가능하게 커플링하는 하나 이상의 광 소스들(114)을 포함할 수 있다. 광 소스(들)(114)는 매우 다양한 형태들 중 임의의 형태, 예컨대, 픽셀 정보 또는 데이터의 각각의 프레임들에 특정된 정의된 픽셀 패턴들에 따라 적색, 녹색 및 청색 코히어런트 시준 광을 각각 생성하도록 동작 가능한 한 세트의 RGB 레이저들(예컨대, 적색, 녹색 및 청색 광을 출력할 수 있는 레이저 다이오드들)의 형태를 취할 수 있다. 레이저 광은 높은 채도 및 높은 에너지 효율을 제공한다.
[0046] 디스플레이 시스템(104)은 제어 신호들에 대한 응답으로 미리 결정된 패턴으로 광섬유(들)(112)를 스캔하는 스캐닝 디바이스(116)를 더 포함할 수 있다. 디스플레이 시스템(104)의 예를 설명하는 추가의 세부사항들은 "Display System and Method"란 명칭의 미국 특허 출원 일련 번호 제14/212,961호에서 제공되며, 이는 인용에 의해 본원에 명시적으로 포함된다. 디스플레이 시스템(104)이 스캐닝 섬유 기술로 구현되는 것으로 설명되었지만, 디스플레이 시스템(104)은 임의의 디스플레이 기술, 예컨대, LCD(liquid crystal display)들, DLP(digital light processing) 디스플레이들 등에 기초할 수 있다는 것이 인지되어야 한다.
[0047] 도 2를 다시 참조하면, 증강 현실 시스템(100)은 하나 이상의 센서들(126)을 더 포함한다. 센서(들)(126)는, 최종 사용자(50)가 3-차원 환경에 몰입되도록 최종 사용자(50) 입장의 관점에서 3-차원 환경의 이미지들의 렌더링을 가능하게 하기 위해 최종 사용자(50)의 눈 포지션 및 눈간 거리(inter-ocular distance)에 관한 정보(예컨대, 움직임, 깜박임 및 초점 심도) 및/또는 최종 사용자(50)의 머리(54)의 움직임들에 관한 정보(예컨대, 속도, 가속도 및 포지션)를 감지, 측정 또는 수집할 수 있다.
[0048] 본 발명들에 대해 보다 중요하게는, 최종 사용자(50)에 제시된 자극들에 대한 응답으로, 센서(들)(126)는 최종 사용자(50)의 바이오메트릭 파라미터들을 감지하고 이들 감지된 바이오메트릭 파라미터들을 나타내는 바이오메트릭 데이터를 생성하도록 구성된다. 증강 현실 시스템(100)에 의해 생성되는 자극들은 최종 사용자(50)에 의한 물리적 반응을 유발할 수 있는 임의의 자극들일 수 있다. 자극들은 디스플레이 시스템(104)을 통해 최종 사용자(50)에게 시각적으로 제시되고 그리고/또는 스피커(들)(106)를 통해 최종 사용자(50)에게 청각적으로 제시될 수 있다. 자극들은 심지어, 기계적 액추에이터들(도시되지 않음)을 통해 최종 사용자(50)에게 촉각적으로 제시될 수 있다. 각각의 바이오메트릭 파라미터는 특정 자극의 제시에 대한 응답으로 1번만 또는 복수의 상이한 시간들에 감지될 수 있으며, 바이오메트릭 데이터는 각각의 바이오메트릭 파라미터가 감지될 때마다 생성된다. 감지되는 각각의 바이오메트릭 파라미터에 대한 바이오메트릭 데이터는 하나 이상의 값들의 형태를 취할 수 있다. 예컨대, 바이오메트릭 데이터는, 각각의 감지된 바이오메트릭 파라미터에 대해 (예컨대, 스칼라 데이터 값의 형태의) 단일 데이터 값, 데이터 값들의 1-차원 어레이(예컨대, 특징 벡터), 또는 (예컨대, 이미지 데이터의 형태의) 데이터 값들의 2-차원 어레이일 수 있다.
[0049] 하나의 경우에, 자극들은 하나의 가상 객체(예컨대, 스크린)가 다른 가상 객체(예컨대, 다른 스크린)로 트랜지션(transition)하는 방식과 관련될 수 있다. 예컨대, 하나의 스크린이 다른 스크린으로 순간적으로 트랜지션할 수 있거나, 또는 하나의 스크린이 다른 스크린으로 디졸브(dissolve)할 수 있다. 이 경우에, 상이한 자극들은 하나의 스크린이 다른 스크린으로 트랜지션하는 방식이며, 이는 최종 사용자(50)에서 상이한 감정들을 유발할 수 있다. 예컨대, 최종 사용자(50)는 스크린들 사이의 순간적인 트랜지션으로 만족감을 경험할 수 있지만, 스크린들 사이의 디졸빙 트랜지션으로 불만을 경험할 수 있다.
[0050] 다른 경우에, 자극들은 가상 객체의 구성(composition)(예컨대, 메뉴)과 관련될 수 있다. 예컨대, 하나의 유형의 메뉴는 정사각형 버튼들을 가질 수 있고, 다른 유형의 메뉴는 원형 버튼들을 가질 수 있다. 이 경우에, 상이한 자극들은 메뉴의 상이한 구성들이며, 이는 최종 사용자(50)에서 상이한 감정들을 유발할 수 있다. 예컨대, 최종 사용자(50)는 사각형 버튼들을 갖는 메뉴로 긴장풀림을 경험할 수 있지만, 원형 버튼들을 갖는 메뉴로 지루함을 경험할 수 있다.
[0051] 또 다른 경우에, 자극들은 배경 음악 피스(background musical piece)의 장르 또는 그의 특징과 관련될 수 있다. 예컨대, 하나의 유형의 음악(예컨대, 록)이 배경에서 플레이될 수 있거나, 또는 다른 유형의 음악(예컨대, 클래식)이 배경에서 플레이될 수 있다. 이 경우에, 상이한 자극들은 상이한 유형들의 음악이며, 이는 최종 사용자(50)에서 상이한 감정들을 유발할 수 있다. 예컨대, 최종 사용자(50)는 록 음악으로 불안감을 경험할 수 있지만, 클래식 음악으로 즐거움을 경험할 수 있다.
[0052] 또 다른 경우에, 자극은 경보들의 본질과 관련될 수 있다. 예컨대, 하나의 유형의 경보(예컨대, 후핑(whooping) 사운드)가 최종 사용자(50)에게 울릴 수 있거나, 또는 다른 유형의 경보(예컨대, 깜박이는 광)가 최종 사용자(50)에게 디스플레이될 수 있다. 이 경우에, 상이한 자극들은 상이한 유형의 경보들이며, 이는 최종 사용자(50)에서 상이한 감정들을 유발할 수 있다. 예컨대, 최종 사용자(50)는 후핑 사운드로 경계함(attentiveness)을 경험할 수 있지만, 깜박이는 광으로 비경계함을 경험할 수 있다.
[0053] 또 다른 경우에, 자극들은 비디오 게임 또는 프로그램 또는 그의 특징과 관련될 수 있다. 예컨대, 하나의 유형의 비디오 게임(예컨대, 액션 비디오 게임)이 최종 사용자(50)에게 제시될 수 있거나, 또는 다른 유형의 비디오 게임(예컨대, 전략 비디오 게임)이 최종 사용자(50)에게 제시될 수 있다. 이 경우에, 상이한 자극들은 상이한 비디오 게임들이며, 이는 최종 사용자(50)에서 상이한 감정들을 유발할 수 있다. 예컨대, 최종 사용자(50)는 액션 비디오 게임으로 흥분 또는 다양한 상이한 감정들을 경험할 수 있지만, 지적 비디오 게임으로 지루함을 경험할 수 있다.
[0054] 또 다른 경우에, 자극들은 (예컨대, 비디오 게임을 플레이할 때) 3-차원 환경과 상호작용하는 최종 사용자(50)의 성공적인 결과에 대한 응답으로 최종 사용자(50)에게 제시된 시청각적 보상, 또는 심지어 3-차원 환경과 상호작용하는 최종 사용자(50)의 비성공적인 결과에 대한 응답으로 최종 사용자(50)에게 제시되는 시청각적 패널티들과 관련될 수 있다. 이러한 보상들/패널티들은 단순 오디오 경고음부터 정교한 애니메이션까지 길이, 지속기간, 내용 등에서 변동될 수 있다. 보상들/패널티들은 예컨대, 개, 클립(paperclip), 다수의 춤추는 고블린, 주먹 인사들 또는 하이 파이브들, 슬롯 머신 노이즈, 영화로부터의 장면 등을 피처링할 수 있다.
[0055] 또 다른 경우에, 자극들은 심지어, 3-차원 환경으로부터 발생하는 주변 광 또는 사용자(50)의 시야 내의 3-차원 환경의 비디오일 수 있다. 후자의 경우에, 사용자(50)의 시야 내의 3-차원 환경의 이미지들을 캡처하기 위해 전방을 향하는 카메라(도시되지 않음)가 프레임 구조(102)에 장착될 수 있다.
[0056] 생성된 바이오메트릭 데이터는 최종 사용자(50)에게 자극이 제시될 때 최종 사용자(50)의 감정 상태를 결정하는 데 사용될 것이다. 그러한 감정 상태들은, 분노, 경멸, 혐오, 두려움, 행복, 슬픔 및 놀람과 같은 7개의 기본 감정들을 포함(그러나 이에 제한되지 않음)할 수 있지만, 혼란, 부끄러움, 경계함, 피로함, 긴장풀림, 불만, 지루함, 당황과 같은 다른 감정 상태들이 있을 수 있다.
[0057] 각각의 바이오메트릭 파라미터는 최종 사용자(50)의 감정 상태를 나타내는 물리적 반응과 관련된 임의의 파라미터의 형태를 취할 수 있다. 최종 사용자(50)의 감정 상태의 최상의 물리적 표시자는 최종 사용자(50)의 얼굴 표정이다. 인간의 얼굴 표정들은 얼굴의 근막 및 피부에 연결된 근육들의 움직임에 의해 야기된다. 이 근육들은 피부를 움직여 선들과 접힘부들을 생성하고 입 및 눈썹들과 같은 얼굴 특징들의 움직임을 야기한다.
[0058] 두려움의 감정은 통상적으로, 이마가 낮춰진 채로 눈들이 응시하는 것과 더불어, 주름을 형성하도록 함께 쪼그라드는 눈썹들, 꽉 조여지고 펴진 눈꺼풀들 및 약간 낮춰진 머리에 의해 표현된다. 얼굴 표정이 긴장하고 불안해진다. 경멸의 감정은 통상적으로, 하나의 입가가 위로 그리고 뒤로 끌어당겨 지고 눈들은 중립 포지션에 있는 채로, 일측성(unilateral)(한쪽으로 치우진) 표현에 의해 표현된다. 혐오의 감정은, 아래로 끌어당겨 진 눈썹들, 주름진 코, 입술들이 느슨하게 유지된 채로 위로 끌어당겨 진 윗입술에 의해 표현될 수 있다. 두려움의 감정은 통상적으로, 넓어진 눈들, 위쪽으로 경사진 눈썹들 및 약간 벌려진 입에 의해 표현된다. 행복의 감정은 통상적으로, 미소(입 아귀들을 위로 들어올림), 위로 올려지는 뺨들, 초승달-형상 눈들, 보이는 치아 및 눈들 주위의 눈꼬리 잔주름에 의해 표현된다. 슬픔의 감정은 통상적으로, 찌푸림, 위로 경사지는 눈썹들 및 아래로 처진 얼굴에 의해 표현된다. 놀람의 감정은 통상적으로, 넓어진 눈들 및 크게 벌어진 입, 및 더 큰 동공들에 의해 표현된다. 혼란의 감정은 통상적으로, 이마 및 코의 찡그림, 하나의 상승된 눈썹, 그리고 함께 오므려진 입술들에 의해 표현된다. 부끄러움의 감정은 통상적으로, 아래로 돌려진 눈들, 아래를 향하는 머리, 찌푸림(frowning) 또는 중립적인 입(입 아귀들의 처짐 또는 들어올리지 않음)에 의해 표현된다. 경계함의 감정은 통상적으로, 사람이 객체를 포커싱한 경우 눈의 응시에 의해 또는 사람이 생각에 빠진 경우, 덜 깜박이는 채로 위를 보는 눈들 또는 한쪽으로 돌려진 눈들에 의해 표현된다. 피로의 감정은 통상적으로, 눈꺼풀들이 반쯤-열려있지만 상승된 눈썹들로 표현된다. 긴장풀림의 감정은 통상적으로, 약간의 미소 및 약간 감긴 눈꺼풀들로 표현된다. 불만의 감정은 통상적으로, 주름지게 조여지는 안으로 경사진 눈썹들, 상승된 턱, 함께 가압되는 입술들, 한쪽으로 비뚤어진 입 및 뺨 상의 주름에 의해 표현된다. 지루함의 감정은 통상적으로, 반쯤 열린 눈꺼풀들, 상승된 눈썹들, 및 약간 오므린 입의 측 배치에 의해 표현된다. 당황의 감정은 통상적으로, 입 아귀들을 들어올리지 않고 이루어지는 웃음인 강제 미소 및 홍조에 의해 표현된다.
[0059] 따라서, 각각의 바이오메트릭 파라미터는 입의 자세(또는 형상), 눈들 주위의 눈꼬리 잔주름, 눈썹 각도 및 눈 움직임들을 포함(그러나 이에 제한되지 않음)하는 얼굴 표정들과 연루된 신체적 특징들과 관련되지만, 어깨들의 움츠림, 호흡수, 심박수, 체온, 혈압, 손 움직임들의 빈도 및/또는 위치, 및 몸 경련(twitch)의 빈도 및/또는 위치와 같이 얼굴 표정들과 연루되지 않은 신체적 특징들과 관련된 바이오메트릭 파라미터들이 사용될 수 있다.
[0060] 미세-표정(micro-expression)들은 1초의 프랙션(fraction) 동안 사람의 얼굴에 순간적으로 나타나는(flash) 얼굴 표정들이며, 인간의 진정한 느낌들 또는 감정들을 결정하는 데 도움이 될 수 있다. 미세-표정의 기본 특성들은 비자발적 탄로 및 입, 눈 움직임들 및 눈썹들을 통한 빠른 속도이며, 종종 사람이 정직한지 여부를 결정하는 데 사용된다. 통상적으로, 거짓말하는 사람의 감정 상태는, 눈썹들이 이마의 빈 곳(idle) 쪽으로 위로 끌어당겨 져 이마의 피부에 걸쳐 짧은 선들이 나타나게 하는 것, 긴장하고 입술들을 오므리는 것, 위로 그리고 좌측 또는 우측으로의 눈들의 움직임들, 빠른 눈 깜박임 등을 특징으로 하는 하나의 고뇌(distress)일 것이다.
[0061] 센서(들)(126)는 이미지 캡처 디바이스들(이를테면, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들을 포함할 수 있다. 예컨대, 센서(들)(126)는 입의 자세, 눈들 주위의 눈꼬리 잔주름을 포함하는 얼굴 주름들, 눈썹 각도 및 눈 움직임들 사이의 경과된 시간을 포함해서, 최종 사용자(50)의 물리적 얼굴 반응들을 추적하기 위해 프레임 구조(102)에 장착된 한 쌍의 후방을 향하는 카메라들을 포함할 수 있다. 최종 사용자(50)의 눈들(52)의 움직임, 깜박임 및 초점 심도는 눈들(52)에 광을 프로젝팅하고, 그 프로젝팅된 광의 적어도 일부의 리턴 또는 반사를 검출함으로써 인식 가능할 수 있다. 눈 추적 디바이스들을 논의하는 추가의 세부사항들은, "Display System and Method"란 명칭의 미국 특허 출원 일련번호 제xx/xxx,xxx호(대리인 문서 번호 ML-30006-US), "Methods and System for Creating Focal Planes in Virtual and Augmented Reality"란 명칭의 미국 특허 출원 일련번호 제xx/xxx,xxx호(대리인 문서 번호 ML-30017-US) 및 "System and Method for Augmented and Virtual Reality"란 명칭의 미국 특허 출원 일련번호 제xx/xxx,xxx호(대리인 문서 번호 ML-30005-US)에서 제공되며, 이들은 명시적으로 인용에 의해 본원에 포함된다. 센서(들)(126)는 손의 움직임들의 빈도 및/또는 위치, 신체 경련들의 빈도 및/또는 위치, 및 어깨 움츠림들을 추적하기 위해 최종 사용자(50)의 관련 신체 부분에 장착된 가속도계들을 포함할 수 있다. 센서(들)(126)는 최종 사용자(50)의 호흡수, 심박수, 체온 및 혈압을 감지하기 위한 종래의 활력 징후 센서들을 포함할 수 있다.
[0062] 증강 현실 시스템(100)은 센서(들)(126)에 의해 생성된 바이오메트릭 데이터에 기초하여 최종 사용자(50)의 감정 상태를 결정하도록 그리고 특히, 생성된 바이오메트릭 데이터를 특정 감정 상태로서 해석하도록 구성된 감정 상태 결정 모듈(128)을 포함한다. 감정 상태 결정 모듈(128)을 보조하기 위해, 증강 현실 시스템(100)은 예시된 실시예에서, 센서(들)(126)에 의해 감지된 관련 바이오메트릭 파라미터들에 대한 기준 바이오메트릭 데이터를 하나 이상의 감정 상태들과 상관시키는, 최종 사용자(50)에 대한 감정 상태 프로파일을 저장하도록 구성된 감정 상태 데이터베이스(130)를 더 포함한다. 예시된 실시예에서, 감정 상태 결정 모듈(128)은 예컨대, 패턴 인식 분석을 사용하여, 최종 사용자(50)의 감정 상태 프로파일의 특정 관심 감정 상태와 상관된 기준 바이오메트릭 데이터와 현재 생성된 바이오메트릭 데이터를 비교함으로써 특정 관심 감정 상태로서 센서(들)(126)에 의해 생성된 바이오메트릭 데이터를 해석한다.
[0063] 예컨대, 즐거움의 감정에 대해, 특정 최종 사용자(50)에 의한 행복을 표시하는 것으로 알려진 기준 바이오메트릭 데이터(예컨대, 최종 사용자(50)의 입의 자세 및 최종 사용자(50)의 눈들(52) 주위의 눈꼬리 잔주름과 관련된 바이오메트릭 데이터)가 감정 상태 데이터베이스(130)에 저장될 수 있다. 최종 사용자(50)의 다른 감정 상태들과 상관된 기준 바이오메트릭 데이터가 또한 감정 상태 데이터베이스(130)에 저장될 수 있다. 따라서, 감정 상태 결정 모듈(128)은 현재 생성된 바이오메트릭 데이터와 감정 상태 데이터베이스(130)에 저장된 대응하는 기준 바이오메트릭 데이터를 비교하고, 매칭이 존재하는 경우, 최종 사용자(50)가 이 기준 바이오메트릭 데이터와 상관된 감정 상태에 있다고 결정하고, 매칭이 존재하지 않는 경우, 최종 사용자(50)가 이 감정 상태에 있지 않다고 결정할 수 있다.
[0064] 아래에서 추가로 상세히 설명되는 바와 같이, 감정 상태 프로파일은, 예컨대, 최종 사용자(50)에 의해 경험된 감정 상태들에 고유한 바이오메트릭 데이터를 학습하기 위해, 몇몇 상이한 유형의 자극들이 최종 사용자(50)에게 제시될 수 있고 관심 감정 상태들과 관련된 바이오메트릭 파라미터들이 감지될 수 있는 트레이닝 세션 동안, 시간이 지남에 따라 최종 사용자(50)에 대해 커스터마이징될 수 있다. 따라서, 시간이 지남에 따라 바이오메트릭 데이터가 수집됨에 따라, 최종 사용자(50)의 개인적인 그리고 개별 신체적 표현들을, 이들에 의해 반영되는 유망한(likely) 감정 상태에 매칭시키는, 최종 사용자(50)에 대한 감정 상태 프로파일이 구축되며, 이에 따라 최종 사용자(50)에 대한 감정 상태들의 보다 정확한 분석을 점진적으로 가능하게 한다. 커스텀 감정 상태 프로파일은, 임의의 자극에 대한 응답으로 최종 사용자(50)가 어떤 감정 상태에 있는지를 결정하는 데 사용될 수 있다. 예컨대, 커스텀 감정 상태 프로파일은, 최종 사용자(50)가 비디오 게임을 플레이할 때 구축될 수 있고, 그 후 완전히 상이한 비디오 게임을 플레이할 때, 또는 심지어 비-비디오 게임 자극들에 대한 응답으로 최종 사용자(50)의 감정 상태를 결정하는 데 후속적으로 사용될 수 있다.
[0065] 바이오메트릭 데이터를 사용하는 것 외에도, 감정 상태 결정 모듈(126)은 자극들에 대한 응답으로, 최종 사용자(50)의 감정 상태를 결정하는 것을 돕기 위해 비-바이오메트릭 데이터를 사용할 수 있다. 예컨대, 자극들이 최종 사용자(50)에게 제시되는 동안 최종 사용자(50)가 3-차원 환경과 상호작용하는 지속기간(예컨대, 자극들이 최종 사용자에게 제시되는 횟수들 또는 시간 기간)이 추적될 수 있다. 최종 사용자(50)가 비디오 게임을 오랜 시간 동안 플레이하는 경우, 이 시간 동안 생성된 바이오메트릭 데이터는 최종 사용자(50)의 감정 상태가 행복하다는 매우 양호한 표시이다. 이 바이오메트릭 데이터는 그 후 커스텀 감정 상태 프로파일에 저장되고 행복의 감정 상태와 상관될 수 있다. 대조적으로, 최종 사용자(50)가 비디오 게임을 짧은 시간 동안 플레이하는 경우, 이 시간 동안 생성된 바이오메트릭 데이터는 최종 사용자(50)의 감정 상태가 지루하다는 매우 양호한 표시이다. 이 바이오메트릭 데이터는 그 후 무시되거나, 또는 심지어 커스텀 감정 상태 프로파일에 저장되고 지루함의 감정 상태와 상관될 수 있다.
[0066] 생성된 바이오메트릭 데이터의 패턴 인식 분석이 특정 감정 상태를 드러내기 위해 다수의 바이오메트릭 파라미터들이 감지될 필요가 있을 수 있다는 것이 인지되어야 한다. 예컨대, 행복을 경험하는 사람은 미소를 지을 것임이 알려져 있다. 또한, 행복을 경험하지 않는 사람이 미소를 짓는 척할 수 있다는 것이 알려져 있다. 그러나 진정으로 행복을 경험하는 사람은 눈들 주위의 눈꼬리 잔주름을 가질 것이다. 따라서, 최종 사용자(50)가 미소를 짓고 있으며, 눈꼬리 잔주름을 갖는다고 센서(들)(126)로부터 획득된 바이오메트릭 데이터가 표시하는 경우, 감정 상태 결정 모듈(128)은 최종 사용자(50)가 실제로, 행복을 경험하고 있다고 결정할 수 있다. 그러나 최종 사용자(50)가 미소를 짓고 있지만, 눈꼬리 잔주름을 갖지 않는다고 센서(들)(126)로부터 획득된 바이오메트릭 데이터가 표시하는 경우, 감정 상태 결정 모듈(128)은 최종 사용자(50)가 실제로, 행복을 경험하고 있지 않다고 결정할 수 있다.
[0067] 감정 상태 결정 모듈(128)이 현재 생성된 바이오메트릭 데이터를 기준 바이오메트릭 데이터와 비교하는 방식은 바이오메트릭 데이터의 본질에 의존할 것이다.
[0068] 특정 바이오메트릭 파라미터에 대해 현재 생성된 데이터가 스칼라 데이터 값의 형태를 취하는 경우, 그 특정 바이오메트릭 파라미터에 대응하는 기준 바이오메트릭 데이터는 하나 이상의 값 범위들의 형태를 취할 수 있다. 예컨대, 바이오메트릭 파라미터가 최종 사용자(50)의 입의 자세이고, 행복이 관련된 감정 상태인 경우, 값 범위는, 행복한 것으로 알려졌을 때 최종 사용자(50)에 대한 미소를 표시하기 위해 입 아귀들이 밀리미터 단위로 얼마나 많이 위를 향해야만 하는지에 대응하는 거리 범위일 수 있다. 미소의 정도를 나타내는 다수의 거리 범위들이 사용될 수 있다. 예컨대, 5-10mm의 거리 범위는 약간의 미소를 나타낼 수 있고, 10-20mm의 거리 범위는 중간 미소를 나타낼 수 있으며, 20mm를 초과하는 범위는 완전한 미소를 나타낼 수 있다. 그 후, 현재 생성된 바이오메트릭 데이터 값은, 바이오메트릭 데이터 값이 기준 바이오메트릭 값 범위 내에 있는지, 또는 다수의 기준 메트리컬(metrical) 값 범위들이 존재하는지(만약 있다면, 바이오메트릭 데이터 값이 어느 범위 내에 있는지)를 결정함으로써, 그 특정 바이오메트릭 파라미터에 대한 기준 바이오메트릭 값 범위(들)와 비교될 수 있다. 따라서, 바이오메트릭 데이터 값이 특정 기준 바이오메트릭 값 범위 내에 있는지 여부는, 현재 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터 간의 매칭을 적어도 부분적으로 지시할 것이다.
[0069] 특정 바이오메트릭 파라미터에 대해 현재 생성된 데이터가 다차원 데이터 벡터(예컨대, 이미지 데이터)의 형태를 취하는 경우, 그 특정 바이오메트릭 파라미터에 대응하는 기준 바이오메트릭 데이터는 데이터 및 하나 이상의 상관 데이터 범위들의 다차원 어레이의 형태를 취할 수 있다. 예컨대, 바이오메트릭 파라미터가 최종 사용자(50)의 눈들 주위의 눈꼬리 잔주름이고 행복이 관련된 감정 상태인 경우, 눈꼬리 잔주름과 일치하는 기준 데이터 어레이의 관련 부분은, 행복한 것으로 알려졌을 때 최종 사용자(50)의 이미지 데이터를 포함할 수 있다. 현재 생성된 바이오메트릭 데이터 벡터는 그 후, (예컨대, -1 내지 1의 범위의) 계수를 산출하는 적합한 데이터 어레이 비교 함수, 이를테면, 피어슨 상관 계수(Pearson Correlation Coefficient) 함수 또는 최소 제곱 기반 함수를 사용하여 기준 데이터 어레이와 비교될 수 있다. 그 후, 이 계수는 그것이 기준 상관 데이터 범위 내에 있는지를 결정하기 위해 기준 상관 데이터 범위와 비교될 수 있다. 눈꼬리 잔주름의 정도를 나타내는 다수의 계수 범위들이 사용될 수 있으며, 이 경우에, 계수는 다수의 기준 상관 데이터 범위들과 비교되어, 만약 있다면, 계수가 어느 범위에 속하는지를 결정할 수 있다. 예컨대, .5-.7의 계수는 약간의 눈꼬리 잔주름을 나타낼 수 있고, .7-.85의 계수는 중간의 눈꼬리 잔주름을 나타낼 수 있고, .85 초과의 계수는 완전한 눈꼬리 잔주름을 나타낼 수 있다. 따라서, 계수가 특정 기준 상관 데이터 범위 내에 있는지 여부는, 현재 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터 간의 매칭을 적어도 부분적으로 지시할 것이다.
[0070] 최종 사용자(50)가 특정 감정 상태에 있는지 여부를 결정하기 위해 다수의 바이오메트릭 파라미터들이 사용되는 경우, 현재 생성된 바이오메트릭 데이터와 각각의 바이오메트릭 파라미터들에 대한 각각의 기준 바이오메트릭 데이터 간의 비교들의 기능는, 최종 사용자(50)가 대응하는 감정 상태에 있는지를 결정하기 위해 감정 상태 결정 모듈(128)에 의해 사용될 수 있다. 이 경우에, 다수의 바이오메트릭 파라미터들에 대해 현재 생성된 데이터는 1-차원 어레이(예컨대, 특징 벡터)의 형태를 취할 수 있다. 예컨대, 특징 벡터 내의 하나의 스칼라 엘리먼트는 미소(smile) 생물학적 파라미터일 수 있고, 특징 벡터 내의 다른 스칼라 엘리먼트는 눈꼬리 잔주름 생물학적 파라미터일 수 있다.
[0071] 일 예에서, 현재 생성된 바이오메트릭 데이터는 최종 사용자(50)가 대응하는 감정 상태에 있다는 결정을 트리거하기 위해 모든 관련 바이오메트릭 파라미터들에 대한 기준 바이오메트릭 데이터와 매칭되어야 한다(예컨대, 현재 생성된 데이터 값은 관련 바이오메트릭 파라미터들 각각에 대한 기준 데이터 범위 내에 있어야 함). 다른 예에서, 현재 생성된 바이오메트릭 데이터는, 최종 사용자(50)가 대응하는 감정 상태에 있다는 결정을 트리거하기 위해 단지 관련 바이오메트릭 파라미터들의 과반수(majority)에 대한 기준 바이오메트릭 데이터와 매칭되어야 한다(예컨대, 현재 생성된 데이터 값은 관련 바이오메트릭 파라미터들의 과반수의 각각의 바이오메트릭 파라미터에 대한 기준 데이터 범위 내에 있어야 함). 특정 바이오메트릭 파라미터에 대한 생성된 바이오메트릭 데이터가 각각의 기준 바이오메트릭 데이터와 매칭하는 정도는, 다른 바이오메트릭 파라미터들에 대한 생성된 바이오메트릭 데이터가 각각의 기준 바이오메트릭 데이터와 매칭하는 정도를 포함하는 다양한 팩터들에 의존할 수 있다. 패턴 인식의 분류 기술들은, 사용자로부터 획득된 바이오메트릭 데이터의 특정 세트가 하나 이상의 감정 상태들에 대응하는 하나 이상의 기준 바이오메트릭 데이터 세트들과 매칭하는지를 결정하는 데 사용될 수 있다. 패턴 인식 분류기들의 예들은, 비제한적인 예로서, 가우시안 혼합 모델들 및 인공 뉴럴 네트워크들을 포함한다. 또한, 특정 감정 상태에 대한 각각의 관련 바이오메트릭 파라미터는 이 감정 상태에 대한 다른 관련 바이오메트릭 파라미터들에 대해 가중화될 수 있다.
[0072] 예컨대, 행복의 감정 상태를 결정할 때, 눈꼬리 잔주름의 존재는 미소의 존재보다 높게 가중화될 수 있다. 예컨대, 현재 생성된 바이오메트릭 데이터 벡터와 눈꼬리 잔주름을 나타내는 기준 데이터 어레이의 비교로부터 발생된 계수가 중간 또는 최고 범위(예컨대, 0.70 초과) 내에 있는 경우, 미소를 나타내는 현재 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터 간의 매칭은, 미소를 나타내는 현재 생성된 바이오메트릭 값이 기준 데이터 범위들 중 임의의 것(예컨대, 5mm 초과의 값) 내에 있는 경우 발생할 수 있다(그리하여 감정 상태가 행복이라는 결정을 트리거함). 대조적으로, 현재 생성된 바이오메트릭 데이터 벡터와 눈꼬리 잔주름을 나타내는 기준 데이터 어레이의 비교로부터 발생된 계수가 최저 범위(예컨대, 0.5 내지 0.7 초과) 내에 있는 경우, 미소를 나타내는 현재 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터 간의 매칭은, 미소를 나타내는 현재 생성된 바이오메트릭 값이 최고 기준 데이터 범위(예컨대, 20mm 초과의 값) 내에 있는 경우에만 발생할 수 있다(그리하여, 감정 상태가 행복이라는 결정을 트리거함).
[0073] 증강 현실 시스템(100)은 매우 다양한 형태들 중 임의의 형태를 취할 수 있는 제어 서브시스템을 더 포함한다. 제어 서브시스템은, 다수의 제어기들, 예컨대, 하나 이상의 마이크로제어기들, 마이크로프로세서들 또는 CPU(central processing unit)들, 디지털 신호 프로세서들, GPU(graphics processing unit)들, 다른 집적 회로 제어기들, 이를테면, ASIC(application specific integrated circuit)들, PGA(programmable gate array)들, 예컨대, FPGA(field PGA)들 및/또는 PLU(programmable logic controller)들을 포함한다.
[0074] 예시된 실시예에서, 증강 현실 시스템(100)은 CPU(central processing unit)(132), GPU(graphics processing unit)(134) 및 하나 이상의 프레임 버퍼들(136)을 포함한다. CPU(132)는 전체 동작을 제어하는 반면, GPU(134)는 원격 데이터 리포지토리(150)에 저장된 3-차원 데이터로부터 프레임들을 렌더링(즉, 3-차원 환경을 좌안 및 우안 이미저리로 변환)하고 이들 프레임들을 프레임 버퍼(들)(136)에 저장한다. 예시되지 않았지만, 하나 이상의 부가적인 집적 회로들은 프레임 버퍼(들)(136) 내로의 프레임들의 판독 및/또는 이로부터의 프레임들의 판독 및 디스플레이 시스템(104)의 스캐닝 디바이스의 동작을 제어할 수 있다. 프레임 버퍼(들)(146) 내로의 그리고/또는 이로부터의 판독은, 예컨대, 프레임들이 오버-렌더링되는 경우 동적 어드레싱을 이용할 수 있다. 증강 현실 시스템(100)은 ROM(read only memory)(138) 및 RAM(random access memory)(140)을 더 포함한다. 증강 현실 시스템(100)은 GPU(134)가 프레임들을 렌더링하기 위해 하나 이상의 장면들의 3-차원 데이터에 액세스할 수 있는 3-차원 데이터베이스(142)를 더 포함한다.
[0075] 본 발명들에 대해 중요하게는, CPU(132)는 3-차원 환경의 맥락에서 최종 사용자(50)에게 전술한 자극들을 제시하도록 디스플레이 시스템(104) 및/또는 스피커(106)에 지시하고, 증강 현실 시스템(100)의 현재의 목적에 따라, 결정된 감정 상태에 대한 응답으로 최종 사용자(50)에 대해 인식 가능한 후속 액션을 수행한다.
[0076] 일 실시예에서, 증강 현실 시스템(100)의 현재의 목적은 원하는 지속기간 동안 최종 사용자(50)에서 원하는 감정 상태를 유발하는 것일 수 있다. 다른 실시예에서, 증강 현실 시스템(100)의 현재의 목적은 원하는 지속기간 동안 최종 사용자(50)에서 원하지 않는 감정 상태를 유발하지 않는 것일 수 있다. 또 다른 실시예에서, 증강 현실 시스템(100)의 현재의 목적은 원하는 지속기간 동안 최종 사용자(50)에서 복수의 상이한 원하는 감정 상태들을 유발하는 것일 수 있다. 원하는 지속기간은 예컨대, 관련 시간 기간에서 1번, 관련 시간 기간에서 복수 번이거나 또는 관련 시간 기간에 걸쳐 연속적일 수 있다. 예컨대, 증강 현실 시스템(100)의 현재의 목적은, 관련 시간 기간에 1번 최종 사용자(50)에서 행복을 유발하거나, 관련 시간 기간에 여러 번 최종 사용자(50)에서 행복을 유발하거나, 또는 관련 시간 기간에 걸쳐 연속적으로 최종 사용자(50)에서 행복을 유발하는 것일 수 있다. 아니면, 증강 현실 시스템(100)의 현재의 목적은, 관련 시간 기간에 1번도 최종 사용자(50)에서 지루함을 유발하지 않거나, 관련 시간 기간에 여러 번 최종 사용자(50)에서 지루함을 유발하지 않거나, 또는 관련 시간 기간에 걸쳐 연속적으로 최종 사용자(50)에서 지루함을 유발하지 않는 것일 수 있다. 아니면, 증강 현실 시스템(100)의 현재의 목적은 관련 시간 기간에 최종 사용자(50)에서 행복 및 놀람을 교번적으로 유발하는 것일 수 있다.
[0077] 증강 현실 시스템(100)에 의해 수행되는 액션은, 최종 사용자(50)가 관련 감정 상태에 있는 것으로 또는 그렇지 않은 것으로 결정되는지 여부 및 이러한 관련 감정 상태가 증강 현실 시스템(100)의 현재의 목적과 일치하는지에 의존할 것이다.
[0078] 예컨대, 최종 사용자(50)가 원하는 지속기간 동안 특정 감정 상태(예컨대, 행복 또는 놀람)에 있는 것으로 결정되며(예컨대, 최종 사용자(50)는 관련 시간 기간에 여러 번 행복하거나 놀란 것으로 결정됨), 이 특정 감정 상태가 원하는 감정 상태(예컨대, 행복 또는 놀람)와 일치하는 경우, 증강 현실 시스템(100)에 의해 수행되는 액션은 최종 사용자(50)가 이 감정 상태를 유발하는 자극들을 후속적으로 보다 이용 가능하게 할 수 있다. 대조적으로, 최종 사용자(50)가 원하는 지속기간 동안 이 특정 감정 상태에 있지 않은 것으로 결정되는 경우(예컨대, 최종 사용자(50)는 관련 시간 기간에 여러 번 행복하지 않거나 놀라지 않은 것으로 결정됨), 증강 현실 시스템(100)에 의해 수행되는 액션은 최종 사용자(50)가 이 감정 상태를 유발하지 않는 자극들을 후속적으로 덜 이용 가능하게 할 수 있다.
[0079] 다른 예로서, 최종 사용자(50)가 원하는 지속기간 동안 특정 감정 상태(예컨대, 슬픔 또는 불만)에 있지 않은 것으로 결정되며(예컨대, 최종 사용자(50)는 관련 시간 기간에 어느 시간에도 슬프거나 불만이 있지 않은 것으로 결정됨), 이 특정 감정 상태가 원하지 않는 감정 상태(예컨대, 슬픔 또는 불만)와 일치하는 경우, 증강 현실 시스템(100)에 의해 수행되는 액션은 최종 사용자(50)가 이 감정 상태를 유발하는 자극들을 후속적으로 보다 이용 가능하게 할 수 있다. 대조적으로, 최종 사용자(50)가 원하는 지속기간 동안 이 특정 감정 상태에 있는 것으로 결정되는 경우(예컨대, 최종 사용자(50)는 관련 시간 기간에 적어도 한번 슬프거나 불만이 있는 것으로 결정됨), 증강 현실 시스템(100)에 의해 수행되는 액션은 최종 사용자(50)가 이 감정 상태를 유발하지 않는 자극들을 후속적으로 덜 이용 가능하게 할 수 있다.
[0080] 또 다른 예로서, 최종 사용자(50)가 원하는 시간 기간 동안 복수의 상이한 감정 상태들(예컨대, 교번하는 행복 및 놀람)에 있는 것으로 결정되며(예컨대, 관련 시간 기간 동안 이들 감정 상태들 각각에 대해 여러 번), 이 상이한 감정 상태들이 원하는 감정 상태들(예컨대, 교번하는 행복 및 놀람)과 일치하는 경우, 증강 현실 시스템(100)에 의해 수행되는 액션은 최종 사용자(50)가 이 감정 상태를 유발하는 자극들을 후속적으로 보다 이용 가능하게 할 수 있다. 대조적으로, 최종 사용자(50)가 원하는 지속기간 동안 이들 상이한 감정 상태들에 있지 않은 것으로 결정되는 경우, 증강 현실 시스템(100)에 의해 수행되는 액션은 최종 사용자(50)가 이 감정 상태를 유발하지 않는 자극들을 후속적으로 덜 이용 가능하게 할 수 있다.
[0081] 따라서, 비디오 게임들, 프로그램들, 배경 음악, 보상들, 경고들, 이들의 특징들 등과 같은 자극들이 최적화될 수 있고, 그리하여 증강 현실 시스템(100)의 증가된 사용을 촉진시킨다.
[0082] 예컨대, 증강 현실 시스템(100)의 현재의 목적은 비디오 게임들에 대한 최종 사용자(50)의 행복을 최대화하는 것이라고 가정한다. 비디오 게임의 형태로 제시된 자극에 대한 응답으로, 최종 사용자(50)의 감정 상태가 비디오 게임의 관련 부분 동안 충분한 횟수로 행복하거나 흥분한 것으로 결정되는 경우, CPU(132)에 의해 수행되는 후속적인 액션은, 예컨대, 동일한 비디오 게임을 최종 사용자(50)에게 후속적으로 제시하거나 그렇지 않으면, 비디오 게임 선택 메뉴 구조의 최상위에 비디오 게임을 유지함으로써(예컨대, 비디오 게임을 즐겨찾기의 리스트에 넣음으로써), 최종 사용자(50)가 비디오 게임을 후속적으로 보다 이용 가능하게 하는 것일 수 있다. 대조적으로, 최종 사용자(50)의 감정 상태가 비디오 게임의 관련 부분 동안 단일 인스턴스에서 불만이거나 지루한 것으로 결정되는 경우, CPU(132)에 의해 수행되는 후속적인 액션은, 예컨대, 상이한 비디오 게임을 최종 사용자(50)에게 후속적으로 제시하거나 그렇지 않으면, 비디오 게임 선택 메뉴 구조에서 비디오 게임을 더 아래 배치(burying)함으로써, 최종 사용자(50)가 비디오 게임을 후속적으로 덜 이용 가능하게 하는 것일 수 있다.
[0083] 유사한 방식으로, 증강 현실 시스템(100)의 현재의 목적은 특정 비디오 게임에 대한 최종 사용자(50)의 행복을 최대화하는 것이라고 가정한다. 비디오 게임의 특징의 형태로 제시된 자극에 대한 응답으로, 최종 사용자(50)의 감정 상태가 특징의 제시 동안 연속적으로 행복하거나 흥분한 것으로 결정되는 경우, CPU(132)에 의해 수행되는 후속적인 액션은, 예컨대, 동일한 특징을 최종 사용자(50)에게 후속적으로 제시하거나 그렇지 않으면, 비디오 게임 동안 이 동일한 특징이 최종 사용자(50)에게 제시될 가능성을 증가시킴으로써, 최종 사용자(50)가 이 비디오 게임의 특징을 후속적으로 보다 이용 가능하게 하는 것일 수 있다. 대조적으로, 최종 사용자(50)의 감정 상태가 특징의 제시 동안 단일 인스턴스에서 불만이거나 지루한 것으로 결정되는 경우, CPU(132)에 의해 수행되는 후속적인 액션은, 예컨대, 비디오 게임으로부터 이 특징을 제거하거나 그렇지 않으면, 비디오 게임 동안 이 동일한 특징이 최종 사용자(50)에게 제시될 가능성을 감소시킴으로써, 최종 사용자(50)가 이 비디오 게임의 특징을 후속적으로 덜 이용 가능하게 하는 것일 수 있다.
[0084] 증강 현실 시스템(100)의 현재의 목적은 비디오 게임에 사운드 트랙을 최적화함으로써 비디오 게임의 관련 부분들 동안 최종 사용자(50)에서 원하는 감정 상태들을 유발하는 것이라고 가정한다. 목적은 비디오 게임의 선택된 부분들 동안 최종 사용자(50)가 긴장을 느끼게 하거나 경이감 또는 모든 상이한 유형의 감정들을 느끼게 하는 것일 수 있다. 템포, 피치, 리듬, 연주법(instrumentation), 특정 악기(예컨대, 기타)를 포함할지 여부, 특정 악기의 사운드(예컨대, 드럼 비트), 세그먼트들이 플레이되는 순서 등이 최적화될 수 있다. 예컨대, 사운드 트랙의 형태로 제시된 자극에 대한 응답으로, 최종 사용자(50)의 흥분이 의도되는 비디오 게임의 부분 동안 최종 사용자(50)의 감정 상태가 흥분되는 것으로 결정되는 경우, CPU(132)는 최종 사용자(50)가 다음번에, 비디오 게임의 이 부분에 직면할 때 사운드 트랙의 이 부분을 유지할 수 있다. 대조적으로, 최종 사용자(50)의 감정 상태가 비디오 게임의 그 부분 동안 지루한 것으로 결정되는 경우, CPU(132)는 최종 사용자(50)가 비디오 게임의 이 부분에 직면하는 다음번에 사운드 트랙의 그 부분을 수정할 수 있다. 이 프로세스가 반복해서 일어남에 따라, 비디오 게임 동안 사운드 트랙이 플레이되는 방법에 미묘한 변화들이 도입된다. 사운드 트랙 및 최종 사용자(50)의 대응하는 감정 상태들의 변화들은, 비디오 게임 동안 최종 사용자(50)의 실제 감정 상태와 최종 사용자(50)의 원하는 감정 상태 사이의 최상의 매칭을 위해 사운드 트랙의 변화들이 점진적으로 최적화되도록 추적될 수 있다.
[0085] 증강 현실 시스템(100)의 현재의 목적은 최종 사용자(50)가 비디오 게임과 상호작용한 결과로서 성공적인 결과에 대해 주어진 보상에 관하여 최종 사용자(50)의 행복을 최대화하는 것이라고 가정한다. 애니메이션 보상의 형태로 제시되는 자극에 대한 응답으로, 최종 사용자(50)의 감정 상태가 단일 인스턴스에서 행복한 것으로 결정되는 경우, CPU(132)는, 예컨대, 동일한 애니메이션을 최종 사용자(50)에게 제시하거나 그렇지 않으면, 비디오 게임과의 상호작용에 있어 다음 성공적인 결과에 대한 응답으로 동일한 애니메이션이 최종 사용자(50)에게 제시될 가능성을 증가시킴으로써, 최종 사용자(50)가 동일한 애니메이션을 후속적으로 보다 이용 가능하게 할 수 있다. 대조적으로, 최종 사용자(50)의 감정 상태가 단일 인스턴스에서 불만이거나 지루한 것으로 결정되는 경우, CPU(132)는 예컨대, 보상으로서 상이한 애니메이션을 제시하거나 그렇지 않으면, 비디오 게임과의 상호작용에 있어 다음 성공적인 결과에 대한 응답으로 동일한 보상이 최종 사용자(50)에게 제시될 가능성을 감소시킴으로써, 최종 사용자(50)가 동일한 애니메이션을 후속적으로 덜 이용 가능하게 할 수 있다. 이러한 방식으로, 보상들이 주어질 때 최종 사용자(50)가 최대의 행복을 경험할 때까지 보상을 수정함으로써 보상이 최적화될 수 있다.
[0086] 증강 현실 시스템(100)의 현재의 목적은 배경 음악에 대한 행복 또는 긴장풀림을 최대화하는 것이라고 가정한다. 음악은 취향의 문제이기 때문에, 상이한 음악에 대한 반응들이 변동될 것이고; 음악 피스(piece of music)는 다양한 리스너들로부터 상이한 감정들을 이끌어 낼 수 있다. 특정 음악 피스의 형태로 제시된 자극들에 대한 응답으로, 최종 사용자(50)의 감정 상태가 음악 피스 동안 연속적으로 행복하거나 긴장이 풀린 것으로 결정되는 경우, CPU(132)는 후속적으로 예컨대, 로테이션(rotation)으로 플레이되는 리스트에 그 음악 피스를 포함시킴으로써 최종 사용자(50)가 그 음악 피스를 보다 이용 가능하게 할 수 있다. CPU(132)는 심지어, 최종 사용자(50)를 행복하게 또는 긴장을 풀리게 만든 음악 피스와 동일한 장르의 음악 피스들을 리스트에 포함시킬 수 있다. 예컨대, 음악 피스가 클래식인 경우, CPU(132)는 리스트에 다른 클래식 음악을 포함시킬 수 있다. 대조적으로, 최종 사용자(50)의 감정 상태가 단일 인스턴스에서 슬프거나, 불만이거나, 또는 지루한 것으로 결정되는 경우, CPU(132)는 후속적으로, 예컨대, 로테이션으로 플레이되는 리스트로부터 그 음악 피스를 제외시킴으로써 최종 사용자(50)가 그 음악 피스를 덜 이용 가능하게 할 수 있다. CPU(132)는 심지어, 최종 사용자(50)를 슬프거나 불만있게, 또는 지루하게 만든 음악 피스와 동일한 장르의 음악 피스들을 리스트로부터 제외시킬 수 있다. 예컨대, 음악 피스가 록인 경우, CPU(132)는 리스트로부터 모든 록을 제외시킬 수 있다.
[0087] 증강 현실 시스템(100)의 현재의 목적은 영화에 대해 최종 사용자(50)에서 다양하고 대단히 상이한 감정들을 유발하는 것이라고 가정한다. 특정 코미디/서스펜스 영화의 형태의 자극에 대한 응답으로, 최종 사용자(50)가 행복으로부터 슬픔을 지나 놀람까지의 상이한 감정들의 범위를 경험하는 것으로 결정되는 경우, CPU(130)는 최종 사용자(50)가 그 영화 또는 유사한 영화들을 후속적으로 보다 이용 가능하게 할 수 있다. 대조적으로, 최종 사용자(50)가 다양한 상이한 감정들을 경험하는 것이 아니라 오히려 지루함을 경험하는 것으로 결정되는 경우, CPU(130)는 최종 사용자(50)가 그 영화 또는 유사한 영화들을 후속적으로 덜 이용 가능하게 할 수 있고, 심지어, 최종 사용자(50)에게 완전히 상이한 영화를 제시할 수 있다.
[0088] 따라서, CPU(132)는 자동으로 최종 사용자(50)에게 좋아하는 것을 제시하고, 좋아하지 않는 것을 덜 제시할 수 있다. CPU(132)는 "기쁘지 않은(non-pleased)" 최종 사용자(50)로부터 "기쁘지 않은" 경험을 숨기고, 다른 경험들이 최종 사용자를 얼마나 기쁘게 하는지에 따라 최종 사용자(50)가 이들 경험들을 보다 이용 가능하게 한다.
[0089] 증강 현실 시스템(100)의 현재의 목적은 3-차원 환경과 상호작용할 때 최종 사용자(50)에게 보다 기쁜 경험을 제공하는 감정 상태를 유발하는 것으로 제한되지 않을 수 있다. 예컨대, 증강 현실 시스템(100)의 현재의 목적은 경보 신호를 통해 최종 사용자(50)를 주목(attention)의 상태로 신속하게 진입시키게 하는 것일 수 있다. 특정 경고 신호(이를테면, 깜박이는 광)의 형태의 자극에 대한 응답으로, 최종 사용자(50)가 신속하게 주목하게 되는 경우, CPU(130)는 후속적으로, 예컨대, 최종 사용자(50)에게 경고하고자 할 때마다 최종 사용자(50)에게 깜박이는 광을 후속적으로 제시하거나 그렇지 않으면, 깜박이는 광이 최종 사용자(50)에게 제시될 가능성을 증가시킴으로써 최종 사용자(50)가 동일한 경고 신호를 보다 이용 가능하게 할 수 있다. 대조적으로, 최종 사용자(50)가 신속하게 주목하지 않거나 전혀 주목하지 않는 경우, CPU(130)는 후속적으로, 예컨대, 최종 사용자(50)에게 경고하고자 하는 다음번에 상이한 경고 신호(예컨대, 후핑 사운드)를 후속적으로 제시하거나 그렇지 않으면, 깜박이는 광이 최종 사용자(50)에게 제시될 가능성을 감소시킴으로써 최종 사용자(50)가 동일한 경고 신호를 덜 이용 가능하게 할 수 있다.
[0090] 증강 현실 시스템(100)의 현재의 목적은 3-차원 환경과 상호작용할 때 최종 사용자(50)에서 하나 이상의 특정 감정 상태들을 유발하는 것으로 제한되지 않는다. 예컨대, 증강 현실 시스템(100)의 현재의 목적은 전략 비디오 게임, 예컨대, 최종 사용자(50)와 시합하는 하나 이상의 시뮬레이션된 플레이어들을 갖는 비디오 포커 게임에서 최종 사용자(50)를 이기는 것일 수 있다. 비디오 포커 게임 동안, 예컨대, 카드들이 최종 사용자(50) 및 시뮬레이션된 플레이어들에게 초기에 돌려진 직후, 최종 사용자(50)의 특정 감정 상태가 결정될 수 있고, CPU(130)는 최종 사용자(50)에 대한 특정 감정 상태 결정을 이용하여 게임을 진행시킬 수 있다. 이 경우에, 결정되는 최종 사용자(50)의 특정 감정 상태는 최종 사용자(50)가 블러핑(bluffing)하는지 여부를 나타내는 것이며, CPU(130)가 게임을 진행시키는 것은 최종 사용자(50)가 최종 사용자(50)에 대해 블러핑하는지 여부의 결정을 이용하여 최종 사용자(50)와 카드들을 시합하는 것이다. 따라서, 시뮬레이션된 플레이어들은 최종 사용자(50)가 블러핑할 때를 감지하는 이점들을 갖는다. 포커 게임 시뮬레이터와 상호작용함으로써, 최종 사용자(50)는 실제 포커 게임을 플레이할 때 보다 확실한 "포커 페이스"를 갖도록 학습할 것이다.
[0091] 증강 현실 시스템(100)의 현재의 목적은 최종 사용자(50)가 거짓말하고 있는지를 결정하는 것을 시도하는 것만 큼 간단할 수 있다. 예컨대, 질문 형태의 자극에 대한 응답으로, 최종 사용자(50)가 거짓말하고 있다고 나타내는 감정 상태를 최종 사용자(50)가 경험하는 것으로 결정되는 경우, CPU(132)는 최종 사용자가 거짓말하고 있다고 최종 사용자(50)에 통지할 수 있다. 대조적으로, 최종 사용자(50)가 진실임을 나타내는 감정 상태를 최종 사용자(50)가 경험하는 것으로 결정되는 경우, CPU(132)는 최종 사용자가 진실을 말하고 있다고 최종 사용자(50)에게 통지할 것이다. 게임 또는 트레이닝 디바이스로서, 최종 사용자(50)는 거짓말 탐지기를 속이려는 시도로 의도적으로 거짓말을 할 수 있다.
[0092] 증강 현실 시스템(100)의 현재의 목적은 복수의 객체들 중 어느 것이 최종 사용자(50)가 생각하고 있는 것인지를 결정하는 것이라고 가정한다. 예컨대, 여러 개의 카드 놀이들과 같은 다양한 객체들을 제시하는 형태의 자극에 대한 응답으로, 최종 사용자(50)가 특정 카드 놀이에 초점을 맞추고 있음을 나타내는 감정 상태를 최종 사용자(50)가 경험하는 것으로 결정되는 경우, CPU(132)는 최종 사용자(50)가 생각하고 있는 것이 어떤 카드 놀이(예컨대, 하트의 퀀(queen of hearts))를 인지를 최종 사용자(50)에게 통지할 것이다.
[0093] 증강 현실 시스템(100)의 현재의 목적은 "웃을 때까지 빤히 쳐다보기(stare-until-laughing)" 게임에서와 같이 최종 사용자(50)를 웃게 만드는 것이라고 가정한다. 재미있는 얼굴과 같이 최종 사용자(50)로부터 웃음을 유발할 가능성이 높은 객체를 디스플레이하는 형태의 자극에 대한 응답으로, 최종 사용자(50)의 감정 상태는 웃는 "성향을 보이는 것"으로 결정되는 경우, CPU(132)는 최종 사용자(50)가 완전한 미소 또는 웃음을 경험할 때까지 임박한 웃음의 징후들을 최대화하기 위해 재미있는 얼굴을 수정할 수 있다. CPU(132)는 최종 사용자(50)가 더 웃는 성향을 보일 때를 테스트하기 위해 임의의 다양한 방식으로 재미있는 얼굴을 수정할 수 있다.
[0094] 증강 현실 시스템(100)의 다양한 프로세싱 컴포넌트들은 분산 시스템에 물리적으로 포함될 수 있다. 예컨대, 도 3a 내지 도 3d에 예시된 바와 같이, 증강 현실 시스템(100)은 이를테면, 유선 리드 또는 무선 연결성(146)에 의해, 디스플레이 시스템(104) 및 센서들에 동작 가능하게 커플링된 로컬 프로세싱 및 데이터 모듈(144)을 포함한다. 로컬 프로세싱 및 데이터 모듈(144)은 다양한 구성들로 장착되는데, 이를테면, 프레임 구조(102)에 고정적으로 부착되고(도 3a), 헬멧 또는 모자(56)에 고정적으로 부착되거나(도 3b), 헤드폰들에 내장되거나, 최종 사용자(50)의 몸통(58)에 제거 가능하게 부착되거나(도 3c), 또는 벨트-커플링 스타일 구성으로 최종 사용자(50)의 엉덩이(60)에 제거 가능하게 부착될 수 있다(도 3d). 증강 현실 시스템(100)은 이를테면, 유선 리드 또는 무선 연결성(150, 152)에 의해, 로컬 프로세싱 및 데이터 모듈(144)에 동작 가능하게 커플링되는 원격 프로세싱 모듈(148) 및 원격 데이터 리포지토리(150)를 더 포함하여서, 이들 원격 모듈들(148, 150)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(144)에 대한 자원으로서 이용 가능하다.
[0095] 로컬 프로세싱 및 데이터 모듈(144)은 전력-효율적 프로세서 또는 제어기뿐만 아니라, 디지털 메모리 이를테면, 플래시 메모리를 포함할 수 있으며, 이들 둘 모두는 센서들로부터 캡처되고 그리고/또는 원격 프로세싱 모듈(148) 및/또는 원격 데이터 리포지토리(150)를 이용하여 취득 및/또는 프로세싱되어, 가능하다면, 이러한 프로세싱 또는 리트리브 후에 디스플레이 시스템(104)으로의 전달을 위한 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 원격 프로세싱 모듈(148)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 원격 데이터 리포지토리(150)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 비교적 대형-스케일 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 모든 데이터는 저장되고 모든 컴퓨테이션은 로컬 프로세싱 및 데이터 모듈(144)에서 수행되어, 임의의 원격 모듈들로부터 완전히 자율적인 사용을 허용한다.
[0096] 위에서 설명된 다양한 컴포넌트들 사이의 커플링(coupling)들(146, 152, 154)은 유선 또는 광학 통신들을 제공하기 위한 하나 이상의 유선 인터페이스들 또는 포트들, 또는 이를테면, RF, 마이크로파 및 IR을 통해, 무선 통신들을 제공하기 위한 하나 이상의 무선 인터페이스들 또는 포트들을 포함할 수 있다. 일부 구현들에서, 모든 통신들은 유선일 수 있지만, 다른 구현들에서, 모든 통신들은 무선일 수 있다. 또 다른 구현들에서, 유선 및 무선 통신들의 선택이 도 3a 내지 도 3d에 도시된 것과 상이할 수 있다. 따라서, 유선 또는 무선 통신들의 특정 선택이 제한되는 것으로 간주되어서는 안 된다.
[0097] 예시된 실시예에서, 감정 상태 결정 모듈(128) 및 감정 상태 데이터베이스(130)는 로컬 프로세싱 및 데이터 모듈(144)에 포함되는 반면, CPU(132) 및 GPU(134)는 원격 프로세싱 모듈(148)에 포함되지만, 대안적인 실시예들에서, CPU(132), GPU(124) 또는 그의 부분들은 로컬 프로세싱 및 데이터 모듈(144)에 포함될 수 있다. 3D 데이터베이스(142)가 원격 데이터 리포지토리(150)와 연관될 수 있다.
[0098] 증강 현실 시스템(100)의 구조 및 기능을 설명하였고, 최종 사용자(50)에 대한 커스텀 감정 프로파일을 구축하기 위해 증강 현실 시스템(100)에 의해 수행되는 하나의 방법(200)이 이제 도 4와 관련하여 설명될 것이다. 먼저, 증강 현실 시스템(100)은, 예컨대, 비디오 시-스루 접근법 또는 광학 시-스루 접근법을 사용하여, 최종 사용자(50)가 실제 객체들 및 가상 객체들 둘 모두를 포함하는 3-차원 환경을 시각화할 수 있게 한다(단계 202). 물론, 증강 현실 시스템(100) 대신, 가상 현실 시스템이 사용되는 경우에, 3-차원 환경 전체는 가상 객체들로만 구성될 것이다.
[0099] 다음으로, 증강 현실 시스템(100)은 3-차원 환경의 맥락에서 최종 사용자(50)에게 자극을 시각적으로 그리고/또는 청각적으로 제시하도록 디스플레이 시스템(104) 및/또는 스피커(106)에 지시한다(단계 204). 위에서 설명된 바와 같이, 자극은 최종 사용자(50)의 물리적 반응을 유발할 수 있는 임의의 자극, 예컨대, 비디오 게임, 프로그램, 배경 음악 작품, 보상, 가상 객체 또는 경고, 또는 이들의 임의의 특징일 수 있고, (예컨대, 보상 또는 패널티로서) 3-차원 환경의 일부로서 또는 3-차원 환경의 배경에서 최종 사용자(50)에게 제시될 수 있거나, 또는 비디오 게임 또는 영화와 같은 3-차원 환경 전체일 수 있다.
[00100] 다음으로, 센서(들)(126)는 제시된 자극에 대한 응답으로 최종 사용자(50)의 적어도 하나의 바이오메트릭 파라미터를 감지한다(단계 206). 위에서 논의된 바와 같이, 각각의 바이오메트릭 파라미터는 최종 사용자(50)의 감정 상태를 나타내는 물리적 반응과 관련된 임의의 파라미터의 형태를 취할 수 있다. 그 후, 센서(들)(126)는 감지된 바이오메트릭 파라미터(들)에 대한 바이오메트릭 데이터를 생성한다(단계 208). 또한, 위에서 논의된 바와 같이, 바이오메트릭 데이터는, 예컨대, 하나 이상의 값들의 형태를 취할 수 있다. 예컨대, 바이오메트릭 데이터는 단일 스칼라 데이터 값 또는 다차원 데이터 벡터일 수 있다.
[00101] 그 후, 감정 상태 결정 모듈(128)은 생성된 바이오메트릭 데이터가 예컨대, 패턴 인식 분석을 이용하여, 특정 신뢰도 레벨(예컨대, 95% 신뢰도)로 관심 감정 상태와 상관될 수 있는지를 결정한다(단계 210).
[00102] 생성된 바이오메트릭 데이터가 특정 신뢰도 레벨로 관심 감정 상태와 상관될 수 없는 경우, 생성된 바이오메트릭 데이터가 관심 감정 상태와 상관될 때까지(단계 214), 동일한 자극에 대해 또는 상이한 자극에 대해 단계들(204-210)이 반복된다(단계 212).
[00103] 예컨대, 바이오메트릭 파라미터(들)를 감지하고 바이오메트릭 데이터를 생성하면서 동일한 자극이 반복적으로 최종 사용자(50)에게 제시될 수 있다. 이 경우에, 반복들에 걸쳐 감지된 바이오메트릭 파라미터들 각각에 대해 생성된 바이오메트릭 데이터는 일반적으로 거의 동일할 것이다. 자극이 최종 사용자(50)에게 제시되는 동안 최종 사용자(50)가 3-차원 환경과 상호작용하는 지속기간(예컨대, 자극이 최종 사용자에게 제시되는 횟수들 또는 시간 기간)이 추적되고 임계 지속기간과 비교될 수 있다. 추적된 지속기간이 임계 지속기간을 초과하는 경우 그리고 생성된 바이오메트릭 데이터가 관심 감정 상태를 나타내는 경우, 생성된 바이오메트릭 데이터는 관심 감정 상태와 상관될 수 있다.
[00104] 예컨대, 관심 감정 상태가 행복이고 최종 사용자(50)가 비교적 긴 지속기간 동안 3-차원 환경과 상호작용하는 경우, 생성된 바이오메트릭 데이터가 최종 사용자(50)의 미소 및 눈꼬리 잔주름을 표시한다면, 최종 사용자(50)는 자극에 의해 제공된 경험으로 행복하다고 가정될 수 있다. 따라서, 생성된 바이오메트릭 데이터는 행복의 감정 상태와 상관될 수 있다.
[00105] 그러나, 최종 사용자(50)가 비교적 짧은 지속기간 동안 3-차원 환경과 상호작용하는 경우, 생성된 바이오메트릭 데이터가 최종 사용자(50)의 미소 및 눈꼬리 잔주름을 표시하더라도, 최종 사용자(50)는 자극에 의해 제공된 경험으로 행복하지 않다고 가정될 수 있다. 따라서, 생성된 바이오메트릭 데이터는 행복의 감정 상태와 상관되지 않는다. 최종 사용자(50)가 비교적 긴 지속기간 동안 3-차원 환경과 상호작용한 경우조차도, 생성된 바이오메트릭 데이터가 최종 사용자(50) 상의 미소 및 눈꼬리 잔주름이 아니라 오히려, 안으로 경사진 눈썹들, 상승된 턱, 함께 가압되는 입술들, 한쪽으로 비뚤어진 입 및 뺨 상의 주름을 표시하면, 최종 사용자(50)는 자극에 의해 제공된 경험으로 행복한 것이 아니라 불만이라고 가정될 수 있다. 따라서, 생성된 바이오메트릭 데이터는 행복의 감정 상태와 상관되지 않고, 사실상, 불만의 감정 상태와 상관될 수 있다.
[00106] 다른 예로서, 상이한 자극들에 대한 응답으로 최종 사용자(50)가 가질 수 있는 상이한 감정 상태들 또는 감정 상태의 정도에 기초하여 최종 사용자(50)의 감정 궤적(emotional trajectory)을 결정하기 위해 바이오메트릭 파라미터(들)를 감지하고 바이오메트릭 데이터를 생성하면서, 상이한 자극들이 반복적으로 최종 사용자(50)에게 제시될 수 있다. 이 경우에, 반복들에 걸쳐 각각의 감지된 바이오메트릭 파라미터에 대해 생성된 바이오메트릭 데이터는 실질적으로 서로 상이할 것이다. 그 후, 감정 상태 결정 모듈(128)은 상관될 특정 감정 상태와 최상으로 매칭하는 바이오메트릭 데이터를 선택할 수 있다.
[00107] 예컨대, 특정 템포를 갖는 음악은, 최종 사용자(50)가 3-차원 환경과 상호작용할 때 배경에서 최종 사용자(50)에게 플레이될 수 있다. 최종 사용자(50)가 슬프거나, 불만이거나 지루하다는 것을 생성된 바이오메트릭 데이터가 반영하는 경우, 음악의 템포가 증가될 수 있다. 그 후, 최종 사용자(50)가 슬프거나, 불만이거나 지루하지 않다는 것을 생성된 바이오메트릭 데이터가 표시하는 경우, 최종 사용자(50)가 행복을 표시하는 미소 및 눈꼬리 잔주름을 갖는다는 것을 생성된 바이오메트릭 데이터가 반영할 때까지, 음악의 템포가 추가로 증가될 수 있다. 음악의 템포는 최종 사용자(50)의 미소 및 눈꼬리 잔주름을 최대화하도록 점진적으로 증가될 수 있다. 결과적인 바이오메트릭 데이터는 그 후 최종 사용자(50)에 대한 행복의 감정 상태와 상관될 수 있다. 동일한 음악의 상이한 템포들 대신에, 상이한 유형들 또는 스타일들의 음악이 최종 사용자(50)에게 제시될 수 있다는 것을 제외하면, 유사한 기술이 최종 사용자(50)에 의한 최대의 행복을 표시하는 바이오메트릭 데이터를 결정하는 데 사용될 수 있다.
[00108] 일단 바이오메트릭 데이터가 단계(214)에서 관심 감정 상태와 상관되면, 감정 상태 결정 모듈(128)은 상관된 바이오메트릭 데이터로부터 기준 바이오메트릭 데이터를 유도한다(단계 216). 예컨대, 각각의 감지된 바이오메트릭 파라미터에 대한 하나 이상의 기준 바이오메트릭 데이터 범위들, 하나 이상의 바이오메트릭 데이터 특징 벡터들 및/또는 하나 이상의 기준 2-차원 바이오메트릭 데이터 어레이가 관심 감정 상태와 상관된 바이오메트릭 데이터로부터 유도될 수 있다. 그 후, 기준 바이오메트릭 데이터는 관심 감정 상태와 관련하여 감정 상태 데이터베이스(130)의 감정 상태 프로파일에 저장된다(단계 218).
[00109] 다음으로, 감정 상태 결정 모듈(128)은 모든 관심 감정 상태들이 바이오메트릭 데이터와 상관되고 감정 상태 프로파일에 저장되었는지를 결정한다(단계 218). 만약 아니라면, 다른 관심 감정 상태에 대해 단계들(204-216)이 반복된다(단계 220). 예컨대, 행복의 감정들을 유발할 가능성이 높은 자극들이 단계들(204-218) 동안 최종 사용자(50)에게 이전에 제시된 경우, 슬픔, 불만 또는 지루함과 같은 상이한 관심 감정 상태가 단계들(204-218) 동안 최종 사용자(50)에게 제시되고 대응하는 기준 바이오메트릭 데이터와 함께 감정 상태 프로파일에 저장될 수 있다. 따라서, 완결된 감정 상태 프로파일은 복수의 감정 상태들 및 대응하는 기준 바이오메트릭 데이터를 포함할 수 있으며(단계 222), 이는 다양한 상이한 3-차원 환경들 중 임의의 것의 맥락에서 최종 사용자(50)에게 제시되는 상이한 자극들에 대한 응답으로, 최종 사용자(50)의 감정 상태를 결정하기 위해 감정 상태 결정 모듈(128)에 의해 후속적으로 액세스될 수 있다. 예컨대, 음악을 플레이하는 것과 관련된 자극들이 감정 상태 프로파일을 구축하기 위해 비디오 게임의 맥락에서 최종 사용자(50)에게 제시되더라도, 최종 사용자(50)가 영화의 맥락에서 다양한 상이한 자극들 중 임의의 하나에 대한 응답으로 저장된 감정 상태들 중 임의의 것을 갖는지를 결정하기 위해 감정 상태 프로파일이 액세스될 수 있다.
[00110] 이제 도 5를 참조하면, 증강 현실 시스템(100)을 동작시키는 하나의 방법(300)이 이제 설명될 것이다. 먼저, 증강 현실 시스템(100)은, 예컨대, 비디오 시-스루 접근법 또는 광학 시-스루 접근법을 사용하여, 최종 사용자(50)가 실제 객체들 및 가상 객체들 둘 모두로 구성되는 3-차원 환경을 시각화할 수 있게 한다(단계 302). 물론, 증강 현실 시스템(100) 대신, 가상 현실 시스템이 사용되는 경우에, 3-차원 환경 전체는 가상 객체들로만 구성될 것이다.
[00111] 다음으로, 증강 현실 시스템(100)은 3-차원 환경의 맥락에서 최종 사용자(50)에게 자극을 제시하도록 디스플레이 시스템(104) 및/또는 스피커(106)에 지시한다(단계 304). 위에서 설명된 바와 같이, 자극들은 (예컨대, 보상 또는 패널티로서) 3-차원 환경의 일부로서 또는 3-차원 환경의 배경에서 최종 사용자(50)에게 제시될 수 있거나, 또는 비디오 게임 또는 영화와 같은 3-차원 환경 전체일 수 있다.
[00112] 다음으로, 센서(들)(126)는 제시된 자극에 대한 응답으로 최종 사용자(50)의 적어도 하나의 바이오메트릭 파라미터를 감지한다(단계 306). 위에서 논의된 바와 같이, 각각의 바이오메트릭 파라미터는 최종 사용자(50)의 감정 상태를 나타내는 물리적 반응과 관련된 임의의 파라미터의 형태를 취할 수 있다. 그 후, 센서(들)(126)는 감지된 바이오메트릭 파라미터(들) 각각에 대한 바이오메트릭 데이터를 생성한다(단계 308). 또한, 위에서 논의된 바와 같이, 바이오메트릭 데이터는, 예컨대, 하나 이상의 값들의 형태를 취할 수 있다. 예컨대, 바이오메트릭 데이터는 단일 스칼라 데이터 값, 1-차원 특징 벡터 또는 다차원 데이터 벡터일 수 있다. 각각의 바이오메트릭 파라미터는 제시된 자극에 대한 응답으로 복수의 상이한 시간들에 감지될 수 있으며, 이 경우에, 바이오메트릭 데이터는 이들 상이한 시간들에 생성될 것이다.
[00113] 다음으로, 감정 상태 결정 모듈(128)은, 생성된 바이오메트릭 값들에 기초하여, 예컨대, 생성된 바이오메트릭 데이터에 대해 패턴 인식 분석을 수행함으로써(예컨대, 분류 알고리즘, 예컨대, ANN, 가우시안 혼합 평가 등을 실행함으로써) 최종 사용자(50)가 적어도 하나의 특정 감정 상태에 있는지를 결정한다(단계 310). 이는 생성된 바이오메트릭 데이터와 특정 감정 상태(들)와 상관된 기준 바이오메트릭 데이터를 비교함으로써 달성될 수 있다. 예컨대, 감지된 바이오메트릭 파라미터(들) 중 하나에 대해 생성된 바이오메트릭 데이터가 스칼라 데이터 값이고 기준 바이오메트릭 데이터가 기준 값 범위를 포함하는 경우, 생성된 바이오메트릭 데이터는, 스칼라 데이터 값이 기준 바이오메트릭 값 범위 내에 있는지를 결정함으로써 기준 바이오메트릭 데이터와 비교될 수 있다. 감지된 바이오메트릭 파라미터(들) 중 하나에 대해 생성된 바이오메트릭 데이터가 바이오메트릭 다차원 데이터 벡터이고 기준 바이오메트릭 데이터가 기준 다차원 데이터 벡터를 포함하는 경우, 생성된 바이오메트릭 데이터는, 생성된 다차원 데이터 벡터와 기준 다차원 데이터 벡터 사이에서 상관 함수를 수행함으로써 기준 바이오메트릭 데이터와 비교될 수 있다.
[00114] 위의 비교 기능들을 수행함에 있어서, 감정 상태 결정 모듈(128)은 커스텀(개인화된) 감정 상태 프로파일에 액세스하여 특정 감정 상태(들)에 대응하는 기준 바이오메트릭 데이터를 리트리브(retrieve)하고, 현재 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터를 비교하고, 현재 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터 사이의 매칭이 존재하는지를 결정할 수 있다. 매칭이 존재하는 경우, 감정 상태 결정 모듈(128)은 최종 사용자(50)가 특정 감정 상태(들)에 있다고 결정하고, 매칭이 존재하지 않는 경우, 감정 상태 결정 모듈(128)은, 최종 사용자(50)가 특정 감정 상태에 있지 않다고 결정한다.
[00115] 다음으로, CPU(132)는 최종 사용자(50)가 특정 감정 상태(들)에 있다고 결정되는지에 적어도 부분적으로 기초하여, 현재의 목적을 가능하게 하도록 최종 사용자(50)에 대해 인식 가능한 액션을 수행한다(단계 312). 현재의 목적은 다양한 목적들 중 하나일 수 있다. 예컨대, 최종 사용자(50)에서 물리적 반응을 유발하는 자극이 비디오 게임, 프로그램, 배경 음악 작품, 보상, 가상 객체 또는 경고 또는 이들의 임의의 특징인 경우, 현재의 목적은 원하는 지속기간 동안 최종 사용자(50)에서 원하는 감정 상태를 유발하는 것, 또는 원하는 지속기간 동안 최종 사용자(50)에서 원하지 않는 감정 상태를 유발하지 않는 것, 또는 원하는 지속기간 동안 최종 사용자(50)에서 복수의 상이한 원하는 감정 상태들을 유발하는 것일 수 있다. 원하는 지속기간은 예컨대, 관련 시간 기간에서 1번, 관련 시간 기간에서 복수 번이거나 또는 관련 시간 기간에 걸쳐 연속적일 수 있다.
[00116] 현재의 목적이 원하는 지속기간 동안 최종 사용자에서 원하는 감정 상태를 유발하는 것이며, 특정 감정 상태(들)는 원하는 감정 상태와 일치한다고 가정한다. 최종 사용자(50)가 원하는 지속기간 동안 특정 감정 상태에 있다고 결정되는 경우, CPU(132)는 후속적으로 최종 사용자(50)가 자극을 보다 이용 가능하게 할 것이고, 최종 사용자(50)가 원하는 지속기간 동안 특정 감정 상태에 있지 않다고 결정되는 경우, CPU(132)는 후속적으로 최종 사용자(50)가 자극을 덜 이용 가능하게 할 것이다. 대조적으로, 현재의 목적이 원하는 지속기간 동안 최종 사용자(50)에서 원하지 않는 감정 상태를 유발하지 않으며, 특정 감정 상태(들)가 원하지 않는 감정 상태와 일치한다고 가정한다. 최종 사용자(50)가 원하는 지속기간 동안 특정 감정 상태에 있지 않다고 결정되는 경우, CPU(132)는 후속적으로 최종 사용자(50)가 자극을 보다 이용 가능하게 할 것이고, 최종 사용자(50)가 원하는 지속기간 동안 특정 감정 상태에 있다고 결정되는 경우, CPU(132)는 후속적으로 최종 사용자(50)가 자극을 덜 이용 가능하게 할 것이다. 추가로 대조적으로, 현재의 목적은 원하는 지속기간 동안 최종 사용자에서 복수의 상이한 원하는 감정 상태들을 유발하는 것이고, 특정 감정 상태(들)는 복수의 원하는 감정 상태들과 일치한다고 가정한다. 최종 사용자(50)가 원하는 지속기간 동안 복수의 상이한 감정 상태들에 있다고 결정되는 경우, CPU(132)는 후속적으로 최종 사용자(50)가 자극을 보다 이용 가능하게 할 것이고, 최종 사용자(50)가 원하는 지속기간 동안 복수의 상이한 감정 상태들에 있지 않다고 결정되는 경우, CPU(132)는 후속적으로 최종 사용자(50)가 이 자극을 덜 이용 가능하게 할 것이다.
[00117] 물론, 현재의 목적은 최종 사용자(50)에서 원하는 또는 원하지 않는 감정 상태들을 유발하는 것 또는 이들을 유발하지 않는 것과 상이할 수 있다. 예컨대, 자극이 전략 비디오 게임의 형태를 취하고 현재의 목적이 전략 비디오 게임에서 최종 사용자를 이기는 것인 경우, CPU는 후속적으로, 최종 사용자(50)에 대한 특정 감정 상태 결정을 사용하여 게임을 진행시킬 수 있다. 예컨대, 전략 비디오 게임이 최종 사용자와 시합하는 하나 이상의 시뮬레이션된 플레이어들을 갖는 카드 놀이 비디오 게임인 경우, 특정 감정 상태는 최종 사용자가 블러핑을 하고 있는지 여부를 표시하는 것일 수 있으며, 이 경우에, 시뮬레이션된 플레이어들은 최종 사용자(50)가 블러핑하는지 여부에 관한 지식을 사용하여 최종 사용자(50)와 카드들을 시합할 수 있다. 다른 예로서, 자극이 최종 사용자(50)에게 제시된 질문의 형태를 취하고, 현재의 목적은 최종 사용자가 질문에 대한 응답으로 거짓말을 하고 있는지 여부를 결정하는 것인 경우, CPU(132)는 특정 감정 상태 결정을 사용하여 최종 사용자(50)가 거짓말을 하고 있는지 여부를 최종 사용자(50)에게 후속적으로 통지할 수 있다. 또 다른 예로서, 자극이 최종 사용자(50)에게 제시된 복수의 옵션들의 형태를 취하고, 현재의 목적은 객체들 중 어느 것이 최종 사용자(50)가 생각하고 있는 것인지를 결정하는 것인 경우, CPU(132)는 특정 감정 상태 결정을 사용하여 최종 사용자(50)가 생각하고 있는 것이 어느 객체인지를 최종 사용자(50)에게 후속적으로 통지할 수 있다. 또 다른 예로서, 자극이 시뮬레이션된 얼굴의 형태를 취하고 현재의 목적은 최종 사용자(50)를 웃게 만드는 것인 경우, CPU(132)는 후속적으로 특정 감정 상태 결정을 사용하여 최종 사용자(50)가 웃을려고 하는지를 결정하고 최종 사용자(50)를 웃게 만들기 위해 시뮬레이션된 얼굴을 수정할 수 있다.
[00118] 위의 명세서에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 본 발명에 대해 행해질 수 있다는 것은 명백할 것이다. 예컨대, 위에서-설명된 프로세스 흐름들은, 프로세스 동작들의 특정한 순서를 참조하여 설명된다. 그러나, 설명된 프로세스 동작들 대부분의 순서는 본 발명의 범위 또는 동작에 영향을 주지 않으면서 변경될 수 있다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

Claims (58)

  1. 착용가능한 디스플레이 디바이스를 포함하는 증강 현실(augmented reality; AR) 디스플레이 시스템을 동작시키는 방법으로서,
    상기 착용가능한 디스플레이 디바이스를 통해 사용자에게 상호작용식 3-차원 환경을 제시하는 단계 ― 상기 상호작용식 3-차원 환경은 실제 장면 및 상기 AR 디스플레이 시스템에 의해 생성되어 상기 실제 장면 내에 제시되는 적어도 하나의 가상 객체를 포함함 ―;
    상기 3-차원 환경에서 자극을 제시하는 것에 응답하여, 상기 사용자의 적어도 하나의 바이오메트릭(biometric) 파라미터를 감지하는 단계 ― 상기 적어도 하나의 바이오메트릭 파라미터는 상기 착용가능한 디스플레이 디바이스에 부착된 적어도 하나의 센서를 이용하여 감지됨 ―;
    적어도 하나의 감지된 바이오메트릭 파라미터 각각에 대해, 바이오메트릭 데이터를 생성하는 단계;
    상기 적어도 하나의 감지된 바이오메트릭 파라미터 각각에 대해, 상기 바이오메트릭 파라미터에 기초하여 상기 사용자의 적어도 하나의 감정 상태를 결정하는 단계; 및
    상기 사용자가 상기 적어도 하나의 감정 상태에 있다는 결정에 적어도 부분적으로 기초하여 상기 AR 디스플레이 시스템을 통해 액션을 수행하는 단계
    를 포함하고,
    상기 액션은, 상기 착용가능한 디스플레이 디바이스를 통해 상기 사용자에게 상기 적어도 하나의 가상 객체가 제시되고 있는 동안에, 상기 적어도 하나의 가상 객체를 수정하는 것을 포함하고, 상기 적어도 하나의 가상 객체의 수정은 상기 사용자의 상기 적어도 하나의 감정 상태를 변화시키도록 선택되는,
    방법.
  2. 제1항에 있어서,
    지속기간 동안 상기 사용자의 상기 적어도 하나의 감정 상태를 결정하는 단계를 더 포함하고,
    상기 사용자가 상기 지속기간 동안 상기 적어도 하나의 감정 상태에 있다는 결정에 적어도 부분적으로 기초하여, 상기 AR 디스플레이 시스템을 통해 상기 액션이 수행되는,
    방법.
  3. 제2항에 있어서,
    상기 적어도 하나의 감정 상태는 복수의 상이한 감정 상태들을 포함하는,
    방법.
  4. 제1항에 있어서,
    상기 자극은, 비디오 게임, 프로그램, 배경 음악 작품(musical background piece), 보상, 가상 객체, 또는 경고를 포함하고,
    상기 액션을 수행하는 단계는, 상기 사용자가 상기 비디오 게임, 프로그램, 배경 음악 작품, 보상, 가상 객체, 또는 경고를 보다 이용 가능하게 또는 덜 이용 가능하게 하는 단계를 포함하는,
    방법.
  5. 제1항에 있어서,
    상기 자극은, 비디오 게임, 프로그램, 배경 음악 작품, 보상, 가상 객체, 또는 경고의 특징을 포함하고,
    상기 액션을 수행하는 단계는, 상기 사용자가 상기 비디오 게임, 프로그램, 배경 음악 작품, 보상, 또는 경고를 보다 이용 가능하게 또는 덜 이용 가능하게 하는 단계를 포함하는,
    가상 이미지 생성 시스템을 동작시키는 방법.
  6. 제1항에 있어서,
    상기 자극은, 전략 비디오 게임을 포함하고,
    상기 액션을 수행하는 단계는, 상기 사용자의 상기 적어도 하나의 감정 상태를 이용하여 게임을 진행시키는 단계를 포함하는,
    방법.
  7. 제6항에 있어서,
    상기 전략 비디오 게임은 상기 사용자와 대결하는 하나 이상의 시뮬레이션된 플레이어들을 갖는 카드 놀이 비디오 게임이고,
    상기 적어도 하나의 감정 상태는 상기 사용자가 블러핑(bluffing)을 하고 있는지 여부를 나타내는 것이고,
    상기 액션을 수행하는 단계는, 상기 사용자가 블러핑을 하는지 여부에 관한 지식을 사용하여, 상기 하나 이상의 시뮬레이션된 플레이어들이 상기 사용자와 대결하여 카드 놀이를 하는 단계를 포함하는,
    방법.
  8. 제7항에 있어서,
    상기 카드 놀이 비디오 게임은 포커 비디오 게임인,
    방법.
  9. 제1항에 있어서,
    상기 자극은 상기 사용자에게 제시되는 질문을 포함하고,
    상기 액션을 수행하는 단계는, 상기 적어도 하나의 감정 상태를 사용하여 상기 사용자가 거짓말을 하고 있는지 여부를 상기 사용자에게 통지하는 것을 포함하는,
    방법.
  10. 제1항에 있어서,
    상기 자극은 상기 사용자에게 제시되는 복수의 옵션들을 포함하고,
    상기 액션을 수행하는 단계는, 상기 적어도 하나의 감정 상태를 사용하여 상기 사용자가 어떤 옵션을 선호하는지를 상기 사용자에게 통지하는 단계를 포함하는,
    방법.
  11. 제1항에 있어서,
    상기 자극은 시뮬레이션된 얼굴을 포함하고,
    상기 액션을 수행하는 단계는, 상기 적어도 하나의 감정 상태를 사용하여 상기 사용자가 웃을려고 하는지를 결정하는 단계 및 상기 사용자를 웃게 하기 위해 상기 시뮬레이션된 얼굴을 수정하는 단계를 포함하는,
    방법.
  12. 제1항에 있어서,
    상기 사용자의 적어도 하나의 바이오메트릭 파라미터는 상기 자극을 제시하는 것에 대한 응답으로 복수의 상이한 시간들에 감지되고, 상기 바이오메트릭 데이터는 상기 복수의 상이한 시간들에 생성되는,
    방법.
  13. 제1항에 있어서,
    상기 자극은 상기 착용가능한 디스플레이 디바이스를 통해 상기 사용자에게 시각적으로 제시되는,
    방법.
  14. 제1항에 있어서,
    상기 적어도 하나의 감지된 바이오메트릭 파라미터는 복수의 상이한 감지된 바이오메트릭 파라미터들을 포함하는,
    방법.
  15. 제14항에 있어서,
    상기 사용자의 적어도 하나의 감정 상태를 결정하는 단계는 상기 생성된 바이오메트릭 데이터에 대해 패턴 인식 분석을 수행하는 단계를 포함하는,
    방법.
  16. 제1항에 있어서,
    상기 적어도 하나의 감지된 바이오메트릭 파라미터는 적어도 하나의 얼굴 표정을 포함하는,
    방법.
  17. 제16항에 있어서,
    상기 적어도 하나의 얼굴 표정은 상기 사용자의 입의 자세(attitude of the mouth) 및 눈들 주위의 눈꼬리 잔주름(crow's feet) 중 하나 또는 둘 모두인,
    방법.
  18. 제17항에 있어서,
    상기 적어도 하나의 감정 상태는 행복을 포함하는,
    방법.
  19. 제1항에 있어서,
    상기 적어도 하나의 감지된 바이오메트릭 파라미터는, 얼굴 표정, 어깨들의 움츠림(hunching), 호흡수, 심박수, 체온, 혈압, 손 움직임들의 빈도 및/또는 위치, 신체 경련들의 빈도 및/또는 위치, 및 눈 움직임들 사이의 경과된 시간 중 적어도 하나를 포함하는,
    방법.
  20. 제1항에 있어서,
    상기 적어도 하나의 감지된 바이오메트릭 파라미터는 적어도 하나의 미세-표정(micro-expression)을 포함하는,
    방법.
  21. 제1항에 있어서,
    상기 적어도 하나의 감정 상태는, 분노, 경멸, 혐오, 두려움, 행복, 슬픔, 놀람, 혼란, 부끄러움, 경계함, 피로함, 긴장풀림, 불만, 지루함, 당황 중 적어도 하나를 포함하는,
    방법.
  22. 제1항에 있어서,
    상기 사용자의 적어도 하나의 감정 상태를 결정하는 단계는, 상기 생성된 바이오메트릭 데이터와, 상기 적어도 하나의 감정 상태와 상관되는 기준 바이오메트릭 데이터를 비교하는 단계를 포함하는,
    방법.
  23. 제22항에 있어서,
    상기 적어도 하나의 감지된 바이오메트릭 파라미터 중 하나에 대한 상기 생성된 바이오메트릭 데이터는 바이오메트릭 스칼라 데이터 값이고,
    상기 기준 바이오메트릭 데이터는 기준 바이오메트릭 값 범위를 포함하고,
    상기 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터를 비교하는 단계는, 상기 바이오메트릭 스칼라 데이터 값이 상기 기준 바이오메트릭 값 범위 내에 있는지를 결정하는 단계를 포함하는,
    방법.
  24. 제22항에 있어서,
    상기 적어도 하나의 감지된 바이오메트릭 파라미터 중 하나에 대한 상기 생성된 바이오메트릭 데이터는 바이오메트릭 다차원 데이터 벡터이고,
    상기 기준 바이오메트릭 데이터는 기준 바이오메트릭 다차원 데이터 벡터를 포함하고,
    상기 생성된 바이오메트릭 데이터와 기준 바이오메트릭 데이터를 비교하는 단계는, 생성된 바이오메트릭 다차원 데이터 벡터와 상기 기준 바이오메트릭 다차원 데이터 벡터 사이에서 상관 함수를 수행하는 단계를 포함하는,
    방법.
  25. 제22항에 있어서,
    상기 사용자의 적어도 하나의 감정 상태를 결정하는 단계는, 상기 사용자의 커스텀(custom) 감정 상태 프로파일로부터 상기 기준 바이오메트릭 데이터를 리트리브(retrieving)하는 단계를 더 포함하는,
    방법.
  26. 제1항에 있어서,
    상기 착용가능한 디스플레이 디바이스를 통해 사용자에게 상호작용식 3-차원 환경을 제시하는 단계는, 3-차원 환경의 복수의 합성 이미지 프레임들을 렌더링하는 단계 및 상기 착용가능한 디스플레이 디바이스를 통해 상기 사용자에게 상기 합성 이미지 프레임들을 순차적으로 디스플레이하는 단계를 포함하는,
    방법.
  27. 제26항에 있어서,
    상기 합성 이미지 프레임들은 상기 사용자의 머리에 장착되는 프레임 구조를 통해 상기 사용자의 시야 내의 투명 디스플레이 표면으로부터 프로젝팅되는,
    방법.
  28. 제26항에 있어서,
    상기 합성 이미지 프레임들은 상기 사용자에 의해 시각화되는 실제 장면 위에 중첩되는,
    방법.
  29. 제1항에 있어서,
    상기 AR 디스플레이 시스템은 상기 착용가능한 디스플레이 디바이스에 커플링된 스피커를 더 포함하고,
    상기 자극은 상기 스피커를 통해 청각적으로 제시되는,
    방법.
  30. 제1항에 있어서,
    상기 AR 디스플레이 시스템은 기계적 액추에이터를 더 포함하고,
    상기 자극은 상기 기계적 액추에이터를 통해 촉각적으로 제시되는,
    방법.
  31. 제1항에 있어서,
    상기 적어도 하나의 센서는 상기 착용가능한 디스플레이 디바이스에 커플링된 후방 카메라를 포함하고,
    상기 적어도 하나의 바이오메트릭 파라미터는 상기 사용자의 얼굴 움직임을 포함하는,
    방법.
  32. 제1항에 있어서,
    상기 적어도 하나의 센서는 상기 착용가능한 디스플레이 디바이스에 커플링된 마이크로폰을 포함하는,
    방법.
  33. 제1항에 있어서,
    상기 적어도 하나의 센서는 상기 사용자의 신체 일부에 커플링된 가속도계를 포함하고,
    상기 적어도 하나의 바이오메트릭 파라미터는 상기 사용자의 신체 부분의 움직임을 포함하는,
    방법.
  34. 제1항에 있어서,
    상기 사용자의 상기 결정된 적어도 하나의 감정 상태는 행복 또는 흥분이고,
    상기 적어도 하나의 가상 객체의 수정은 제시되는 자극을 증가시키는,
    방법.
  35. 제1항에 있어서,
    상기 사용자의 상기 결정된 적어도 하나의 감정 상태는 불만 또는 지루함이고,
    상기 적어도 하나의 가상 객체의 수정은 제시되는 자극을 감소시키는,
    방법.
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
KR1020197005255A 2016-07-21 2017-07-20 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술 KR102196380B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662364957P 2016-07-21 2016-07-21
US62/364,957 2016-07-21
PCT/US2017/043133 WO2018017868A1 (en) 2016-07-21 2017-07-20 Technique for controlling virtual image generation system using emotional states of user

Publications (2)

Publication Number Publication Date
KR20190032502A KR20190032502A (ko) 2019-03-27
KR102196380B1 true KR102196380B1 (ko) 2020-12-30

Family

ID=60988486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005255A KR102196380B1 (ko) 2016-07-21 2017-07-20 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술

Country Status (9)

Country Link
US (4) US10540004B2 (ko)
EP (1) EP3488371A4 (ko)
JP (2) JP6838135B2 (ko)
KR (1) KR102196380B1 (ko)
CN (1) CN109844735A (ko)
AU (2) AU2017300636A1 (ko)
CA (1) CA3030169A1 (ko)
IL (1) IL264217B (ko)
WO (1) WO2018017868A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514766B2 (en) * 2015-06-09 2019-12-24 Dell Products L.P. Systems and methods for determining emotions based on user gestures
KR102196380B1 (ko) 2016-07-21 2020-12-30 매직 립, 인코포레이티드 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
US10395693B2 (en) * 2017-04-10 2019-08-27 International Business Machines Corporation Look-ahead for video segments
US11311188B2 (en) * 2017-07-13 2022-04-26 Micro Medical Devices, Inc. Visual and mental testing using virtual reality hardware
US10441886B2 (en) * 2018-01-29 2019-10-15 Sony Interactive Entertainment LLC Dynamic allocation of contextual assistance during game play
US10610783B2 (en) 2018-01-31 2020-04-07 Sony Interactive Entertainment LLC Assignment of contextual game play assistance to player reaction
CN108445624B (zh) * 2018-02-08 2021-01-26 上海橙旺智能科技有限公司 具有增强现实功能的头戴式显示装置
CN110794950A (zh) * 2018-08-01 2020-02-14 深圳先进技术研究院 一种数据监测实验方法、装置、终端设备及存储介质
EP3617847A1 (en) 2018-08-29 2020-03-04 Koninklijke Philips N.V. Controlling the operation of one or more devices
GB2580937B (en) * 2019-01-31 2022-07-13 Sony Interactive Entertainment Europe Ltd Method and system for generating audio-visual content from video game footage
CN110379234A (zh) * 2019-07-23 2019-10-25 广东小天才科技有限公司 一种学习辅导方法及装置
CN110837294B (zh) * 2019-10-14 2023-12-12 成都西山居世游科技有限公司 一种基于眼球追踪的面部表情控制方法及***
GB2590473B (en) * 2019-12-19 2022-07-27 Samsung Electronics Co Ltd Method and apparatus for dynamic human-computer interaction
US10987592B1 (en) 2020-06-05 2021-04-27 12traits, Inc. Systems and methods to correlate user behavior patterns within an online game with psychological attributes of users
CN113763531B (zh) * 2020-06-05 2023-11-28 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
US11468713B2 (en) 2021-03-02 2022-10-11 Bank Of America Corporation System and method for leveraging a time-series of microexpressions of users in customizing media presentation based on users# sentiments
US11727424B2 (en) 2021-06-04 2023-08-15 Solsten, Inc. Systems and methods to correlate user behavior patterns within digital application environments with psychological attributes of users to determine adaptations to the digital application environments
US20240050003A1 (en) * 2021-09-09 2024-02-15 GenoEmote LLC Method and system for validating the response of a user using chatbot
US20230237844A1 (en) * 2022-01-26 2023-07-27 The Regents Of The University Of Michigan Detecting emotional state of a user based on facial appearance and visual perception information
US20240094801A1 (en) * 2022-09-21 2024-03-21 International Business Machines Corporation Contextual virtual reality rendering and adopting biomarker analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110207100A1 (en) 2008-10-20 2011-08-25 Koninklijke Philips Electronics N.V. Controlling an influence on a user in a rendering environment
US20140316191A1 (en) 2013-04-17 2014-10-23 Sri International Biofeedback Virtual Reality Sleep Assistant
US20140354532A1 (en) 2013-06-03 2014-12-04 Daqri, Llc Manipulation of virtual object in augmented reality via intent

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6001065A (en) 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
JPH11219446A (ja) * 1998-02-03 1999-08-10 Matsushita Electric Ind Co Ltd 映像音響再生システム
KR20010053322A (ko) * 1999-04-30 2001-06-25 이데이 노부유끼 전자 페트 시스템, 네트워크 시스템, 로봇, 및 기억 매체
US8972266B2 (en) * 2002-11-12 2015-03-03 David Bezar User intent analysis extent of speaker intent analysis system
JP4389512B2 (ja) 2003-07-28 2009-12-24 ソニー株式会社 腕時計型会話補助装置、会話補助システム、眼鏡型会話補助装置および会話補助装置
US20050216243A1 (en) 2004-03-02 2005-09-29 Simon Graham Computer-simulated virtual reality environments for evaluation of neurobehavioral performance
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US8766983B2 (en) * 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7721883B2 (en) * 2006-07-10 2010-05-25 Finest Products Limited Disk protective enclosure
US20080065468A1 (en) * 2006-09-07 2008-03-13 Charles John Berg Methods for Measuring Emotive Response and Selection Preference
CN101512574A (zh) * 2006-09-07 2009-08-19 宝洁公司 用于测量情绪响应和选择偏好的方法
US8386313B2 (en) * 2007-08-28 2013-02-26 The Nielsen Company (Us), Llc Stimulus placement system using subject neuro-response measurements
US8633371B2 (en) * 2007-11-09 2014-01-21 The Boeing Company Device and method for generating electrical power
EP2229228B1 (en) * 2008-01-16 2014-07-16 Koninklijke Philips N.V. System and method for automatically creating an atmosphere suited to social setting and mood in an environment
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
JP5804405B2 (ja) * 2010-01-27 2015-11-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US20170098122A1 (en) * 2010-06-07 2017-04-06 Affectiva, Inc. Analysis of image content with associated manipulation of expression presentation
EP2492705B1 (en) * 2011-02-24 2015-12-30 Takasago International Corporation fMRI method to identify olfactive stimuli of the dopaminergic reward system
US20130022950A1 (en) 2011-07-22 2013-01-24 Muniz Simas Fernando Moreira Method and system for generating behavioral studies of an individual
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US9573053B2 (en) 2011-09-30 2017-02-21 Bally Gaming, Inc. Augmented reality for table games
IN2014DN07138A (ko) * 2012-03-09 2015-04-24 Dsm Ip Assets Bv
US20150339363A1 (en) * 2012-06-01 2015-11-26 Next Integrative Mind Life Sciences Holding Inc. Method, system and interface to facilitate change of an emotional state of a user and concurrent users
US20140015858A1 (en) * 2012-07-13 2014-01-16 ClearWorld Media Augmented reality system
US9361730B2 (en) 2012-07-26 2016-06-07 Qualcomm Incorporated Interactions of tangible and augmented reality objects
US20140045158A1 (en) * 2012-08-10 2014-02-13 Tammy Zietchick Movsas System And Method For Associating Auditory Stimuli With Visual Depictions
CN102908772B (zh) * 2012-10-16 2015-02-18 东南大学 利用增强现实技术的上肢康复训练***
US20140128161A1 (en) 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
JP2013077013A (ja) 2012-11-20 2013-04-25 Sony Corp 表示装置、表示方法
US9030495B2 (en) * 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9380413B1 (en) * 2012-11-29 2016-06-28 Intuit Inc. Dynamically forming the content of a message to a user based on a perceived emotion
WO2014089390A1 (en) * 2012-12-07 2014-06-12 Medtronic, Inc. Minimally invasive implantable neurostimulation system
US20140171729A1 (en) * 2012-12-13 2014-06-19 Elekta Ab (Publ) System and Method for Improving the Medical Environment
CN105229719B (zh) 2013-03-15 2018-04-27 奇跃公司 显示***和方法
EP2972678A4 (en) * 2013-03-15 2016-11-02 Interaxon Inc CLOTHING COMPUTER APPARATUS AND ASSOCIATED METHOD
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9832452B1 (en) * 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
US10013892B2 (en) * 2013-10-07 2018-07-03 Intel Corporation Adaptive learning environment driven by real-time identification of engagement level
WO2015095737A2 (en) * 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
KR102223278B1 (ko) * 2014-05-22 2021-03-05 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
US20160011657A1 (en) 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
US20160042648A1 (en) * 2014-08-07 2016-02-11 Ravikanth V. Kothuri Emotion feedback based training and personalization system for aiding user performance in interactive presentations
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
US9861151B2 (en) * 2014-12-05 2018-01-09 SaPHIBeat Technologies, Inc. Activity monitoring systems and methods for accident detection and response
US9336481B1 (en) * 2015-02-02 2016-05-10 James Albert Ionson Organically instinct-driven simulation system and method
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US10078784B2 (en) * 2015-10-12 2018-09-18 Droneseed Co. Forestry information management systems and methods streamlined by automatic biometric data prioritization
US10154191B2 (en) * 2016-05-18 2018-12-11 Microsoft Technology Licensing, Llc Emotional/cognitive state-triggered recording
KR102196380B1 (ko) 2016-07-21 2020-12-30 매직 립, 인코포레이티드 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
US10657718B1 (en) * 2016-10-31 2020-05-19 Wells Fargo Bank, N.A. Facial expression tracking during augmented and virtual reality sessions
WO2018161085A1 (en) * 2017-03-03 2018-09-07 BehaVR, LLC Dynamic multi-sensory simulation system for effecting behavior change
US10999066B1 (en) * 2018-09-04 2021-05-04 Wells Fargo Bank, N.A. Brain-actuated control authenticated key exchange

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110207100A1 (en) 2008-10-20 2011-08-25 Koninklijke Philips Electronics N.V. Controlling an influence on a user in a rendering environment
US20140316191A1 (en) 2013-04-17 2014-10-23 Sri International Biofeedback Virtual Reality Sleep Assistant
US20140354532A1 (en) 2013-06-03 2014-12-04 Daqri, Llc Manipulation of virtual object in augmented reality via intent

Also Published As

Publication number Publication date
WO2018017868A1 (en) 2018-01-25
US20200401216A1 (en) 2020-12-24
AU2017300636A1 (en) 2019-01-31
US11656680B2 (en) 2023-05-23
JP6838135B2 (ja) 2021-03-03
CA3030169A1 (en) 2018-01-25
US20200117269A1 (en) 2020-04-16
IL264217A (en) 2019-02-28
EP3488371A4 (en) 2019-07-17
KR20190032502A (ko) 2019-03-27
EP3488371A1 (en) 2019-05-29
IL264217B (en) 2021-02-28
US10802580B2 (en) 2020-10-13
US20180024626A1 (en) 2018-01-25
US20230244306A1 (en) 2023-08-03
JP2021089757A (ja) 2021-06-10
AU2022204527A1 (en) 2022-07-21
JP7041763B2 (ja) 2022-03-24
US10540004B2 (en) 2020-01-21
JP2019532374A (ja) 2019-11-07
CN109844735A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
KR102196380B1 (ko) 사용자의 감정 상태들을 사용하여 가상 이미지 생성 시스템을 제어하기 위한 기술
CN109496331B (zh) 用户界面菜单的情景感知
CN102470273B (zh) 基于玩家表情的视觉表示表情
US11178456B2 (en) Video distribution system, video distribution method, and storage medium storing video distribution program
JP4481682B2 (ja) 情報処理装置及びその制御方法
JP5785254B2 (ja) 顔の表情のリアルタイムアニメーション
CN109643162A (zh) 用现实世界内容增强虚拟现实内容
JP2019532374A5 (ko)
US11645823B2 (en) Neutral avatars
US20120194648A1 (en) Video/ audio controller
JP7416903B2 (ja) 動画配信システム、動画配信方法、及び動画配信プログラム
JP7479618B2 (ja) 情報処理プログラム、情報処理方法、情報処理装置
JP2008186075A (ja) インタラクティブ画像表示装置
KR102433084B1 (ko) 가상 현실 게임용 플레이어 감정 분석 방법, 플레이어 감정 기반 가상 현실 서비스 운용 방법 및 가상 현실 시스템
WO2017085963A1 (ja) 情報処理装置、及び映像表示装置
CN114025854A (zh) 程序、方法以及终端装置
KR20240002078A (ko) 제스처 증강 몰입도-추론 기반 교감-유도형 dht 생성 방법 및 이를 적용하는 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant