KR20130111234A - 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력 - Google Patents
인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력 Download PDFInfo
- Publication number
- KR20130111234A KR20130111234A KR1020127033285A KR20127033285A KR20130111234A KR 20130111234 A KR20130111234 A KR 20130111234A KR 1020127033285 A KR1020127033285 A KR 1020127033285A KR 20127033285 A KR20127033285 A KR 20127033285A KR 20130111234 A KR20130111234 A KR 20130111234A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- story
- images
- linear
- narrative
- Prior art date
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 39
- 230000033001 locomotion Effects 0.000 claims description 59
- 230000003993 interaction Effects 0.000 claims description 56
- 239000013598 vector Substances 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 abstract description 12
- 230000009471 action Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006855 networking Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 210000003739 neck Anatomy 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 206010042008 Stereotypy Diseases 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
- A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
- A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
-
- A63F13/10—
-
- A63F13/12—
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/45—Controlling the progress of the video game
- A63F13/47—Controlling the progress of the video game involving branching, e.g. choosing one of several possible scenarios at a given point in time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
- G06F16/4387—Presentation of query results by the use of playlists
- G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/63—Methods for processing data by generating or executing the game program for controlling the execution of the game in time
- A63F2300/632—Methods for processing data by generating or executing the game program for controlling the execution of the game in time by branching, e.g. choosing one of several possible story developments at a given point in time
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
인터랙티브한 게임 양태들을 선형 스토리로 결합하는 시스템 및 방법에 개시된다. 사용자는 NUI 시스템을 통해 선형 스토리와 인터랙션함으로써 사용자에게 프리젠테이션되는 스토리 및 이미지를 변경할 수 있다. 일례로, 사용자는 사전 정의된 탐사 제스처를 취함으로써 선형 스토리를 변경할 수 있다. 이런 제스처는 디스플레이된 이미지의 3-D 세계로 사용자를 데려간다. 특히, 화면에 디스플레이된 이미지는 사용자가 3-D 가상 세계로 들어와 있다는 인상을 주어 사용자가 다른 관점에서 가상 객체를 탐사하고 조사하거나, 또는 가상 객체들 주위를 응시하게 수 있게 할 수 있다.
Description
과거에는, 컴퓨터 게임 및 멀티미디어 애플리케이션을 비롯한 컴퓨팅 애플리케이션에서 제어기, 리모콘, 키보드, 마우스 등을 사용하여 사용자들이 게임 캐릭터나 애플리케이션의 기타 양태들을 제어할 수 있었다. 최근 들어, 컴퓨터 게임 및 멀티미디어 애플리케이션은 카메라 및 소프트웨어 제스처 인식 엔진을 이용하여 내츄럴 사용자 인터페이스("NUI")를 제공하기 시작하였다. NUI를 통해, 사용자 제스처 및 음성(speech)이 탐지, 해석 및 사용되어 게임 캐릭터나 애플리케이션의 기타 양태들을 제어하게 된다.
지금은, 게임 애플리케이션에서 NUI 시스템이 널리 사용되고 있다. 그러나, 지금까지 NUI 시스템은 선형 스토리 텔링(linear story telling)의 매체로서 사용되지는 않았다. 선형 스토리는 예컨대, 종래의 TV 프로그램, 영화 및 책에서 제공되는 것과 같이, 전통적이고, 수동적이며, 넌-인터랙티브한(non-interactive) 경험이다. 선형 스토리는 수십년 동안 대중에게 폭넓게 이용되어 왔다. 특히 NUI 시스템을 갖고 있는 게임은 상대적으로 새로운 것으로, 지금까지 훨씬 더 제한적으로 받아들여졌다.
인터랙티브한 게임 양태들을 선형 스토리로 결합하는 인터랙티브한 스토리 경험을 제공하는 시스템 및 방법이 본원에 개시된다. 사용자는 원한다면 사용자 인터랙션 없이 처음부터 끝까지 선형 스토리를 볼 수 있다. 또는, 사용자는 선형 스토리와 인터랙션하여 인터랙티브한 경험을 제공할 수도 있다. 사용자는, 컴퓨팅 환경, 사용자 움직임 데이터를 캡쳐하고 이를 컴퓨팅 장치에 제공하는 캡쳐 장치, 및 스토리를 프리젠테이션하기 위한 오디오비주얼 장치를 포함하는 NUI 시스템을 통해 선형 스토리와 인터랙션할 수 있다.
일 실시예에서, 사용자는 사전 정의된 탐사 제스처(exploration gesture)를 수행함으로써 선형 스토리를 변경할 수 있다. 이런 제스처는, 캡쳐 장치에서 탐지되어 컴퓨팅 환경에서 인식될 때, 디스플레이된 이미지의 3-D 세계로 사용자를 데려온다. 특히, 화면에 디스플레이된 이미지는 사용자가 3-D 가상 세계로 들어와 있다는 인상을 주어 사용자가 그 장면에서 돌아다닐 수 있고, 그 장면의 다른 관점에서 가상 객체들을 탐사하고 조사하거나, 또는 그 장면의 가상 객체들 주위를 응시하게 할 수 있다.
일 실시예에서, 본원의 시스템은 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법에 관한 것이다. 상기 방법은 a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 선형 스토리를 프리젠테이션하는 단계 - 선형 스토리는 사용자가 스토리와 인터랙션하지 않는 경우 사용자에게 프리젠테이션되는 이미지 또는 내러티브의 기본 집합을 가지고 있음 -, b) 캡쳐 장치를 통해 사용자의 움직임 및 음성 명령어 중 적어도 하나를 탐지하는 단계, c) 단계 b)에서 탐지된 움직임 또는 음성 명령어가 이미지들 또는 내러티브의 기본 집합에 포함되지 않는 추가 이미지들 및 추가 내러티브 중 적어도 하나를 가지고 있는 스토리 분기를 포함하도록 선형 스토리를 변경하는 선형 스토리와의 인터랙션인지를 식별하는 단계, 및 d) 오디오비주얼 장치를 통해 추가 이미지들 및 추가 내러티브의 적어도 하나를 사용자에게 프리젠테이션함으로써 선형 스토리를 변경하는 단계를 포함한다.
다른 실시예에서, 본 시스템은 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법을 실행하도록 프로세서를 프로그래밍하는 프로세서-판독가능 저장 매체에 관한 것으로, 상기 방법은 a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 선형 스토리를 프리젠테이션하는 단계 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -, b) 오디오비주얼 장치에 연계된 캡쳐 장치를 통해 사용자에 의한 움직임을 탐지하는 단계, c) 단계 b)에서 탐지된 움직임이 이미지들의 기본 집합에는 포함되지 않는 추가 이미지들을 가지고 있는 스토리 분기를 포함하도록 선형 스토리의 수정을 필요로 하는 선형 스토리와의 인터랙션인지를 식별하는 단계, d) 저장되거나 처리된 데이터를 기초로 하여 추가 이미지들이 렌더링될 수 있는지를 판단하는 단계, e) 추가 이미지들이 단계 d)에서 렌더링될 수 있다고 판단되는 경우, 오디오비주얼 장치를 통해 사용자에게 추가 이미지들을 프리젠테이션함으로써 선형 스토리를 변경하는 단계, 및 f) 사용자 인터랙션에 점수를 매기는 단계 - 인터랙션은 인터랙션에 기초하여 사전 결정된 점수를 부여하거나 빼는 것에 대응됨 - 를 포함한다.
또 다른 실시예에서, 본 시스템은 인터랙티브한 게임 양태들을 선형 스토리로 결합하기 위한 시스템에 관한 것이다. 상기 시스템은 이미지들 및 오디오 나레이션 중 적어도 하나를 프리젠테이션하는 오디오비주얼 장치, 사용자로부터 이미지들 및 오디오 데이터 중 적어도 하나를 캡쳐하는 이미지 캡쳐 장치, 및 오디오비주얼 장치 및 이미지 캡쳐 장치에 접속된 컴퓨팅 환경을 포함한다. 상기 컴퓨팅 환경은 a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 선형 스토리를 프리젠테이션하고 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -, b) 캡쳐 장치를 통해 사용자의 움직임을 탐지하며, c) 탐지된 움직임이 탐사 제스처인지를 식별하고, d) 움직임을 탐사 제스처로 식별하면 선형 스토리로부터 스토리 분기로 분기하도록 동작한다. 상기 분기는 d1) 사용자가 가리키는 오디오비주얼 장치 상의 포인트를 감지하고, d2) 사용자의 일부로부터 사용자가 가리키는 오디오비주얼 장치 상의 포인트까지의 3-D 현실 세계 벡터를 계산하며, d3) 3-D 현실 세계 벡터를 현재 관점에서의 기점 및 3-D 머신 공간에서의 가상 객체에서의 종점을 갖고 있는 3-D 머신 공간 벡터로 해석하고, d4) 3-D 머신 공간 벡터의 종점에서의 관점에서 가상 객체를 디스플레이하는 동작들을 포함한다.
본 요약은 아래의 상세한 설명에서 추가적으로 설명되는 일련의 컨셉을 간략화된 형태로 소개하기 위한 것이다. 본 요약은 특허청구된 대상의 핵심적인 특징 또는 필수적인 특징을 밝히기 위한 것이 아니며, 특허청구된 대상의 범위를 결정하는 데 일조하기 위해 사용되는 것도 아니다. 또한, 특허청구된 대상은 본 개시에서 언급된 임의의 또는 모든 단점들을 해결하는 구현에 한정되지 않는다.
도 1a는 인터랙티브한 스토리 경험을 제공하는 타겟 인식, 분석 및 트래킹 시스템의 예시적인 실시예를 도시한다.
도 1b는 인터랙티브한 스토리 경험을 제공하는 타겟 인식, 분석 및 트래킹 시스템의 예시적인 추가 실시예를 도시한다.
도 2는 타겟 인식, 분석 및 트래킹 시스템에서 사용될 수 있는 캡쳐 장치의 예시적인 실시예를 도시한다.
도 3a는 타겟 인식, 분석 및 트래킹 시스템에서 하나 이상의 제스처를 해석하는 데 사용될 수 있는 컴퓨팅 환경의 예시적인 실시예를 도시한다.
도 3b는 타겟 인식, 분석 및 트래킹 시스템에서 하나 이상의 제스처를 해석하는 데 사용될 수 있는 컴퓨팅 환경의 다른 예시적인 실시예를 도시한다.
도 4는 도 1a-2의 타겟 인식, 분석 및 트래킹 시스템에서 생성된 사용자의 골격 매핑(skeletal mapping)을 도시한다.
도 5는 인터랙티브한 스토리 경험을 제공하는 본 기술의 실시예의 동작에 관한 상위 레벨 순서도이다.
도 6은 캡쳐 장치에 의해 탐지된 음성과 인터랙티브한 스토리 경험을 상호 연관시키는 본 기술의 실시예의 동작에 관한 순서도이다.
도 7은 가상 장면의 3-D 탐사에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 8은 온스크린 캐릭터 행동의 사용자 제어에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 9는 인터랙티브한 스토리 경험의 플롯(plot)을 변경하기 위한 사용자와 장면의 인터랙션에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 9a는 장면이 사전-녹화된 비디오로 프리젠테이션되는 인터랙티브한 스토리 경험의 플롯을 변경하기 위한 사용자와 장면의 인터랙션에 관한 본 기술의 또 다른 실시예의 동작에 관한 순서도이다.
도 10은 디스플레이된 장면에서 가상 객체들을 탐사 및 조사하기 위한 사용자의 탐사 제스처 실행의 일례이다.
도 11은 단일 스토리 결과로 다시 모이는 분기 서브플롯(branching subplot)을 도시한다.
도 12는 복수의 스토리 결과 중 하나가 되는 분기 플롯을 도시한다.
도 13은 제스처를 인식하는 제스처 인식 엔진을 나타내는 블록도이다.
도 14는 도 13의 제스처 인식 엔진의 동작에 관한 순서도이다.
도 1b는 인터랙티브한 스토리 경험을 제공하는 타겟 인식, 분석 및 트래킹 시스템의 예시적인 추가 실시예를 도시한다.
도 2는 타겟 인식, 분석 및 트래킹 시스템에서 사용될 수 있는 캡쳐 장치의 예시적인 실시예를 도시한다.
도 3a는 타겟 인식, 분석 및 트래킹 시스템에서 하나 이상의 제스처를 해석하는 데 사용될 수 있는 컴퓨팅 환경의 예시적인 실시예를 도시한다.
도 3b는 타겟 인식, 분석 및 트래킹 시스템에서 하나 이상의 제스처를 해석하는 데 사용될 수 있는 컴퓨팅 환경의 다른 예시적인 실시예를 도시한다.
도 4는 도 1a-2의 타겟 인식, 분석 및 트래킹 시스템에서 생성된 사용자의 골격 매핑(skeletal mapping)을 도시한다.
도 5는 인터랙티브한 스토리 경험을 제공하는 본 기술의 실시예의 동작에 관한 상위 레벨 순서도이다.
도 6은 캡쳐 장치에 의해 탐지된 음성과 인터랙티브한 스토리 경험을 상호 연관시키는 본 기술의 실시예의 동작에 관한 순서도이다.
도 7은 가상 장면의 3-D 탐사에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 8은 온스크린 캐릭터 행동의 사용자 제어에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 9는 인터랙티브한 스토리 경험의 플롯(plot)을 변경하기 위한 사용자와 장면의 인터랙션에 관한 본 기술의 실시예의 동작에 관한 순서도이다.
도 9a는 장면이 사전-녹화된 비디오로 프리젠테이션되는 인터랙티브한 스토리 경험의 플롯을 변경하기 위한 사용자와 장면의 인터랙션에 관한 본 기술의 또 다른 실시예의 동작에 관한 순서도이다.
도 10은 디스플레이된 장면에서 가상 객체들을 탐사 및 조사하기 위한 사용자의 탐사 제스처 실행의 일례이다.
도 11은 단일 스토리 결과로 다시 모이는 분기 서브플롯(branching subplot)을 도시한다.
도 12는 복수의 스토리 결과 중 하나가 되는 분기 플롯을 도시한다.
도 13은 제스처를 인식하는 제스처 인식 엔진을 나타내는 블록도이다.
도 14는 도 13의 제스처 인식 엔진의 동작에 관한 순서도이다.
이제 도 1a-14를 참조하여, 일반적으로 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 인터랙티브한 스토리 경험을 제공하는 시스템 및 방법에 관한 본 기술의 실시예들이 설명될 것이다. 인터랙티브한 스토리 애플리케이션을 실행하기 위한 NUI 시스템이 제공된다. 사용자 인터랙션 없이 실행되는 경우, 스토리 애플리케이션은 사용자에게 처음부터 끝까지 선형 스토리를 제공하게 된다. 또는, 사용자는 NUI 시스템을 통해 스토리 애플리케이션과 인터랙션하여 다양한 동작들을 실행할 수도 있다.
일 실시예에서, 사용자는 사전 정의된 탐사 제스처를 수행함으로써 선형 스토리를 변경할 수 있다. 이런 제스처는 사용자가 자신에게 디스플레이되는 삼차원(3-D) 가상 세계에 들어가서 탐사하기 원하는 시스템에 전달된다. 실행된 탐사 제스처에 따라, 사용자가 3-D 가상 세계로 들어와 있다는 인상을 주어 사용자가 그 장면에서 돌아다닐 수 있고, 그 장면의 다른 관점에서 가상 객체를 탐사하고 조사할 수 있도록 디스플레이된 이미지가 변경될 수 있다. 사용자는 그 장면의 가상 객체들 뒤를 응시하여, 이들 가상 객체의 뒷면을 보거나 또는 전경에 있는 객체에 의해 잘 보이지 않는 다른 객체들을 보다 가깝게 조사할 수 있다.
3-D 가상 세계 안에서 탐사하면서, 또는 다른 제스처나 움직임을 실행함으로써, 사용자는 선형 스토리의 플롯을 변경할 수 있다. 본 실시예에서, 스토리 애플리케이션은 다른 서브플롯들 및 가능한 경우 다른 스토리 결과로 분기할 수 있다.
처음에 도 1a-2를 참조하면, 본 기술을 구현하기 위한 하드웨어는 사용자(18)와 같은 인간 타겟을 인식, 분석 및/또는 트래킹하는 데 사용 가능한 타겟 인식, 분석 및 트래킹 시스템(10)을 포함한다. 타겟 인식, 분석 및 트래킹 시스템(10)의 실시예로 이하에서 설명되는 바와 같은 인터랙티브한 스토리 애플리케이션과 같은 게임 또는 기타 애플리케이션을 실행하는 컴퓨팅 환경(12)이 포함된다. 컴퓨팅 환경(12)은 게임 및/또는 비-게임 애플리케이션을 실행하는 데 사용될 수 있도록 하드웨어 컴포넌트 및/또는 소프트웨어 컴포넌트를 포함할 수 있다. 일 실시예에서, 컴퓨팅 환경(12)은 본원에 설명된 프로세스를 실행하기 위한 프로세서 판독가능 저장 장치에 저장된 인스트럭션을 실행 가능한 표준화된 프로세서, 특화된 프로세서, 마이크로 프로세서 등을 비롯한 프로세서를 포함할 수 있다.
또한 시스템(10)은 캡쳐 장치에 의해 감지된 하나 이상의 사용자 및/또는 객체에 관한 이미지 및 오디오 데이터를 캡쳐할 수 있는 캡쳐 장치(20)를 포함한다. 실시예에서, 캡쳐 장치(20)는 한 명 이상의 사용자의 움직임, 제스처 및 음성과 관련된 정보를 캡쳐하기 위해 사용될 수 있고, 이 정보는 컴퓨팅 환경에서 수신되어 게임 또는 기타 애플리케이션의 양태들을 렌더링, 인터랙션 및/또는 제어하는 데 사용된다. 컴퓨팅 환경(12) 및 캡쳐 장치(20)의 예시들이 이하에서 보다 상세하게 설명된다.
타겟 인식, 분석 및 트래킹 시스템(10)의 실시예들이 디스플레이(14)가 있는 오디오/비주얼 장치(16)에 연결될 수 있다. 이 장치(16)는 예를 들어, 사용자에게 게임 또는 애플리케이션 비주얼 및/또는 오디오를 제공하는 텔레비전, 모니터, HDTV(high-definition television) 등일 수 있다. 예를 들어, 컴퓨팅 환경(12)은 게임 또는 기타 애플리케이션에 관련된 오디오/비주얼 신호를 제공할 수 있는 그래픽 카드 등의 비디오 어댑터 및/또는 사운드 카드 등의 오디오 어댑터를 포함할 수 있다. 오디오/비주얼 장치(16)는 컴퓨팅 환경(12)으로부터 오디오/비주얼 신호를 수신하여, 이 오디오/비주얼 신호와 관련된 게임 또는 애플리케이션의 비주얼 및/또는 오디오를 사용자(18)에게 제공할 수 있다. 일 실시예에 따르면, 오디오/비주얼 장치(16)는 예를 들어, S-Video 케이블, 동축 케이블, HDMI 케이블, DVI 케이블, VGA 케이블, 컴포넌트 비디오 케이블 등을 통해 컴퓨팅 환경(12)에 연결될 수 있다.
도 1a 및 1b에 도시된 바와 같이, 예시적인 일 실시예에서, 컴퓨팅 환경(12)에서 실행되는 스토리 애플리케이션은 다양한 스토리 설정을 나타낼 수 있다. 도 1a에는 집(21), 괴물(23), 및 구름(25)을 포함하는 장면(19)을 도시하고 있다. 이하에서 설명되는 바와 같이, 사용자는 다양한 방식으로 장면(19)과 인터랙션할 수 있다. 일례로, 사용자는 스토리 애플리케이션에서 제공하는 선형 스토리를 변경할 수 있는 구름들(25)을 도시된 대로 함께 이동시킬 수 있다. 예를 들어, 구름들을 함께 이동시킴으로써 비가 내릴 수 있다.
실시예에서, 컴퓨팅 환경(12), A/V 장치(16) 및 캡쳐 장치(20)는 협력하여, 사용자(18)에 의해 최소한 부분적으로 제어되는 디스플레이(14) 상의 온스크린 캐릭터(23)를 렌더링할 수 있다. 도 1b에 도시된 바와 같이, 온스크린 캐릭터(23)는 현실 세계에서 사용자(18)의 움직임을 본 그대로 흉내낸다. 따라서, 사용자(18)는 디스플레이(14) 상의 캐릭터(23)의 움직임 및 행동을 제어하는 움직임을 실행할 수 있다. 또한, 사용자는 사전 정의된 제스처로서 컴퓨팅 환경에서 인식하고 있는 특정 움직임을 실행할 수도 있다. 이들 사전 정의된 제스처는 제어되는 캐릭터(23)로 하여금 사전 정의된 제스처와 관련된 메모리의 특정 행동들을 실행하게 할 수 있다. 사전 정의된 제스처는 아래에서 설명되는 바와 같이 다양한 다른 행동들을 시작하기 위해 사용될 수도 있다.
도 1a 및 1b의 장면(19)은 컴퓨팅 환경(12)에서 실행되는 스토리 애플리케이션에서 생성될 수 있는 많은 다른 장면들 중 하나이다. 또한, 시스템(10)을 사용하여 사용자(18)의 움직임을 컴퓨팅 환경(12)에서 실행되는 스토리 애플리케이션 영역 밖의 운영 체제 및/또는 애플리케이션 제어로서 해석할 수 있다.
시스템(10) 및 그 컴포넌트들의 적절한 예시들은 다음의 동시 계류 중인 특허 출원들: "Environment And/Or Target Segmentation"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/475,094호, "Auto Generating a Visual Representation"이라는 발명의 명칭으로 2009년 7월 29일에 출원된 미국 특허 출원 제 12/511,850호, "Gesture Tool"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/474,655호, "Pose Tracking Pipeline"이라는 발명의 명칭으로 2009년 10월 21일에 출원된 미국 특허 출원 제 12/603,437호, "Device for Identifying and Tracking Multiple Humans Over Time"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/475,308호, "Human Tracking System"이라는 발명의 명칭으로 2009년 10월 7일에 출원된 미국 특허 출원 제 12/575,388호, "Gesture Recognizer System Architecture"라는 발명의 명칭으로 2009년 4월 13일에 출원된 미국 특허 출원 제 12/422,661호, "Standard Gestures"라는 발명의 명칭으로 2009년 2월 23일에 출원된 미국 특허 출원 제 12/391,150호, "Gesture Tool"이라는 발명의 명칭으로 2009년 5월 29일에 출원된 미국 특허 출원 제 12/474,655호에서 발견되며, 이들 모두는 특히 참조로서 본원에 통합된다.
도 2는 타겟 인식, 분석 및 트래킹 시스템(10)에서 사용 가능한 캡쳐 장치(20)의 예시적인 실시예를 도시한다. 예시적인 실시예에서, 캡쳐 장치(20)는 비행 시간(time-of-flight), 구조광(structured light), 스테레오 이미지 등을 포함하는 적절한 임의 기술을 통해, 깊이 값을 포함하는 깊이 이미지 등 깊이 정보가 있는 비디오를 캡쳐하도록 구성될 수 있다. 일 실시예에 따르면, 캡쳐 장치(20)는 "Z 레이어들", 또는 깊이 카메라로부터 시선을 따라 연장되는 Z 축에 수직인 레이어들로 깊이 정보를 체계화시킬 수 있다.
도 2에 도시된 바와 같이 캡쳐 장치(20)는 이미지 카메라 컴포넌트(22)를 포함할 수 있다. 일 실시예에 따르면, 이미지 카메라 컴포넌트(22)는 장면의 깊이 이미지를 캡쳐하는 깊이 카메라일 수 있다. 깊이 이미지는 캡쳐된 장면의 2-D(two-dimensional) 화소 영역을 포함할 수 있고, 2-D 화소 영역의 각 화소는 카메라로부터 캡쳐된 장면에서 사물의 길이 또는 거리 등의 깊이 값을 센티미터, 밀리미터 등으로 나타낼 수 있다.
도 2에 도시된 바와 같이, 예시적인 실시예에 따르면, 이미지 카메라 컴포넌트(22)는 장면의 깊이 이미지를 캡쳐하기 위해 사용되는 적외선 컴포넌트(IR light component, 24), 3-D(three-dimensional) 카메라(26) 및 RGB 카메라(28)를 포함할 수 있다. 예를 들면, 비행 시간 분석법에서는, 캡쳐 장치(20)의 적외선 컴포넌트(24)가 장면으로 적외선을 내보내고, 센서들(도시되지 않음)을 사용하여 3-D 카메라(26) 및/또는 RGB 카메라(28)를 사용한 장면의 하나 이상의 타겟 및 사물들의 표면으로부터 후방 산란되는 빛을 검출한다.
몇몇 실시예에서는, 펄스 적외선(pulsed infrared light)을 사용하여, 나가는 광 펄스와 이에 대응하여 들어오는 광 펄스 간의 시간을 측정하고, 이를 사용하여 캡쳐 장치(20)로부터 장면의 타겟 또는 사물들의 특정 지점까지의 물리적인 거리를 결정할 수 있다. 또한, 또 다른 실시예에서는, 나가는 광파의 위상과 들어오는 광파의 위상을 비교하여 위상 변위(phase shift)를 결정할 수 있다. 이후, 이 위상 변위를 사용하여 캡쳐 장치(20)로부터 타겟 또는 사물의 특정 지점까지의 물리적인 거리를 결정할 수 있다.
다른 실시예에 따르면, 비행 시간 분석법을 사용하여 셔터 광 펄스 이미징(shuttered light pulse imaging)을 포함하는 다양한 기술을 통해 시간에 따른 반사광의 강도를 분석함으로써 캡쳐 장치(20)로부터 타겟 또는 사물의 특정 지점까지의 물리적인 거리를 간접적으로 결정할 수 있다.
또 다른 실시예에서, 캡쳐 장치(20)는 구조광을 사용하여 깊이 정보를 캡쳐할 수 있다. 이러한 분석법에서는, 패턴화된 광(즉, 그리드 패턴이나 스트라이프 패턴과 같이 공지된 패턴으로 디스플레이되는 광)이 적외선 컴포넌트(24)를 통해 장면에 투사될 수 있다. 그 장면의 하나 이상의 타겟 또는 사물의 표면에 부딪치면, 패턴이 그에 따라 변형되게 된다. 이러한 패턴의 변형이 예컨대, 3-D 카메라(26) 및/또는 RGB 카메라(28)에 의해 캡쳐된 후에 분석되어, 캡쳐 장치(20)로부터 타겟 또는 사물의 특정 지점까지의 물리적인 거리를 결정할 수 있다.
또 다른 실시예에 따르면, 캡쳐 장치(20)는, 깊이 정보의 생성을 위해 분석되는 비주얼 스테레오 데이터를 얻기 위해 각기 다른 각도에서 장면을 볼 수 있는 물리적으로 분리된 둘 이상의 카메라들을 포함할 수 있다. 또 다른 실시예에서, 캡쳐 장치(20)는 포인트 클라우드 데이터(point cloud data) 및 타겟 디지털화 기법을 사용하여 사용자의 특징들을 탐지할 수 있다.
캡쳐 장치(20)는 마이크로폰(30)을 더 포함할 수 있다. 마이크로폰(30)은 소리를 수신하여 이를 전기 신호로 변환하는 변환기(transducer) 또는 센서를 포함할 수 있다. 일 실시예에 따르면, 마이크로폰(30)은 타겟 인식, 분석 및 트래킹 시스템(10)의 캡쳐 장치(20)와 컴퓨팅 환경(12) 사이의 피드백을 감소시키기 위해 사용될 수 있다. 게다가, 컴퓨팅 환경(12)에서 실행 가능한 게임 애플리케이션, 비게임 애플리케이션 등의 애플리케이션들을 제어하기 위해 사용자로부터 제공되는 오디오 신호를 수신하기 위해 마이크로폰(30)이 사용될 수 있다.
일 실시예에서, 캡쳐 장치(20)는 이미지 카메라 컴포넌트(22)와 통신 가능한 논리 프로세서(32)를 더 포함할 수 있다. 프로세서(32)는 깊이 이미지를 수신하고, 그 깊이 이미지에 적절한 타겟의 포함 여부를 결정하고, 적절한 타겟을 타겟의 골격 형상 또는 모델로 변환하는 인스트럭션을 포함하는 인스트럭션들 또는 기타 임의의 적절한 인스트럭션을 실행하는 표준화된 프로세서, 특화된 프로세서, 마이크로 프로세서를 포함할 수 있다.
캡쳐 장치(20)는, 프로세서(32)로 실행 가능한 인스트럭션, 3-D 카메라 또는 RGB 카메라로 캡쳐된 이미지 또는 이미지 프레임, 또는 기타 임의의 적절한 정보, 이미지 등을 저장하는 메모리 컴포넌트(34)를 더 포함할 수 있다. 일 실시예에 따르면, 메모리 컴포넌트(34)는 RAM(random access memory), ROM(read only memory), 캐시(cache), 플래시 메모리, 하드 디스크 또는 기타 적절한 저장 컴포넌트를 포함한다. 도 2에 도시된 바와 같이, 일 실시예에서, 메모리 컴포넌트(34)는 이미지 카메라 컴포넌트(22) 및 프로세서(32)와 통신하는 별개의 컴포넌트일 수 있다. 또 다른 실시예에 따르면, 메모리 컴포넌트(34)가 프로세서(32) 및/또는 이미지 카메라 컴포넌트(22)에 통합될 수도 있다.
도 2에 도시된 바와 같이, 캡쳐 장치(20)는 통신 링크(36)를 통해 컴퓨팅 환경(12)과 통신할 수 있다. 통신 링크(36)는 USB 연결, 파이어와이어(Firewire) 연결, 이더넷 케이블 연결 등을 포함하는 유선 연결 및/또는 무선 802.11b, g, a 또는 n 연결 등의 무선 연결일 수 있다. 일 실시예에 따르면, 컴퓨팅 환경(12)은 장면을 언제 캡쳐할 지를 결정하는 데에 사용되는 클럭을 통신 링크(36)를 통해 캡쳐 장치(20)로 제공할 수 있다.
또한, 캡쳐 장치(20)는 예를 들어, 3-D 카메라(26) 및/또는 RGB 카메라(28)에서 캡쳐되는 깊이 정보 및 이미지들, 및/또는 캡쳐 장치(20)로부터 생성되는 골격 모델을 통신 링크(36)를 통해 컴퓨팅 환경(12)으로 제공할 수 있다. 캡쳐 장치(20)에 의해 탐지된 타겟 또는 객체가 인간 타겟에 대응하는 지를 결정하기 위한 다양한 공지 기술이 존재한다. 사용자의 골격 상의 다양한 지점들, 손, 손목, 팔꿈치, 무릎, 코, 발목, 어깨 및 골반이 척추를 만나는 곳의 관절들을 결정하는 데 골격 매핑 기법이 사용될 수 있다. 다른 기법들로는 이미지를 사람의 신체 모델 형상으로 전환하고, 이미지를 사람의 메쉬 모델 형상으로 전환하는 것이 있다.
컴퓨팅 환경이 다양한 동작을 실행할 수 있도록 골격 모델이 컴퓨팅 환경(12)에 제공될 수 있다. 컴퓨팅 환경은 또한, 예컨대, 골격 모델로부터 인식된 사용자의 제스처에 기반하여, 컴퓨팅 환경에서 실행되고 있는 애플리케이션에서 어떤 제어를 수행할 지를 결정할 수 있다. 예를 들어, 도 2에 도시된 바와 같이, 컴퓨팅 환경(12)은 사용자가 사전 정의된 제스처를 언제 수행하였는 지를 결정하기 위한 제스처 인식 엔진(190)을 포함할 수 있다.
도 3a는 타겟 인식, 분석 및 트래킹 시스템에서 사용자의 여러 위치 및 모션을 해석하는 데에 사용되는 컴퓨팅 환경의 일 실시예를 도시한다. 도 1a-2와 관련하여 전술한 컴퓨팅 환경(12) 등의 컴퓨팅 환경은 게임 콘솔과 같은 멀티미디어 콘솔(100)일 수 있다. 도 3a에 도시된 바와 같이, 멀티미디어 콘솔(100)은, 레벨 1 캐시(102), 레벨 2 캐시(104) 및 플래시 ROM(106)을 포함하는 CPU(central processing unit, 101)를 갖는다. 레벨 1 캐시(102) 및 레벨 2 캐시(104)는 데이터를 임시로 저장하여 메모리 액세스 사이클의 수를 감소시킴으로써, 처리 속도와 처리율을 향상시킨다. CPU(101)에는 하나 이상의 코어, 따라서 추가적인 레벨 1 및 레벨 2 캐시(102 및 104)가 제공될 수 있다. 플래시 ROM(106)은 멀티미디어 콘솔(100)의 전원이 켜질 때 부팅 프로세스(boot process)의 초기 단계 동안 로딩되는 실행가능 코드를 저장할 수 있다.
그래픽 처리 장치(GPU, 108)와 비디오 인코더/비디오 코덱(코더/디코더, 114)은 고속 및 고해상도 그래픽 처리를 위해 비디오 처리 파이프라인을 형성한다. 데이터는 버스를 통해 GPU(108)에서 비디오 인코더/비디오 코덱(114)으로 전달된다. 비디오 처리 파이프라인은 텔레비전이나 다른 디스플레이로의 전송을 위해 A/V(오디오/비디오) 포트(140)로 데이터를 출력한다. 메모리 제어기(110)는 GPU(108)에 접속되어, RAM과 같은, 하지만 이에 제한되지는 않는, 다양한 유형의 메모리(112)로의 프로세서 액세스를 용이하게 한다.
멀티미디어 콘솔(100)은, 모듈(118)에서 바람직하게 구현되는 I/O 제어기(120), 시스템 관리 제어기(122), 오디오 처리 장치(123), 네트워크 인터페이스 제어기(124), 제 1 USB 호스트 제어기(126), 제 2 USB 호스트 제어기(128), 및 전면 패널 I/O 서브어셈블리(130)를 포함한다. USB 제어기들(126 및 128)은 주변 제어기들(142(1) ~ 142(2)), 무선 어댑터(148) 및 외부 메모리 장치(146, 예를 들어, 플래시 메모리, 외부 CD/DVD ROM 드라이브, 이동식 매체 등)를 위한 호스트들로서 기능한다. 네트워크 인터페이스(124) 및/또는 무선 어댑터(148)는 네트워크(예를 들어, 인터넷, 홈 네트워크 등)로의 액세스를 제공하고, 이더넷 카드, 모뎀, 블루투스 모듈, 케이블 모뎀 등을 포함하는 아주 다양한 유무선 어댑터 컴포넌트들 중 임의의 것일 수 있다.
시스템 메모리(143)는 부팅 프로세스 동안에 로딩되는 애플리케이션을 저장하기 위해 제공된다. 미디어 드라이브(144)가 제공되고, 이는 DVD/CD 드라이브, 하드 드라이브, 또는 다른 이동식 미디어 드라이브 등을 포함할 수 있다. 미디어 드라이브(144)는 멀티미디어 콘솔(100)의 내부 또는 외부에 있을 수 있다. 애플리케이션 데이터는 멀티미디어 콘솔(100)에 의한 실행, 플레이백 등을 위해 미디어 드라이브(144)를 통해 액세스될 수 있다. 미디어 드라이브(144)는, 직렬 ATA 버스 또는 기타 고속 접속(예를 들어, IEEE 1394)과 같은 버스를 통해 I/O 제어기(120)에 접속된다.
시스템 관리 제어기(122)는 멀티미디어 콘솔(100)의 가용성의 보장과 관련된 다양한 서비스 기능들을 제공한다. 오디오 처리 장치(123)와 오디오 코덱(132)은 고신뢰성과 스테레오 처리를 갖는 대응 오디오 처리 파이프라인을 형성한다. 오디오 데이터는 통신 링크를 통해 오디오 처리 장치(123)와 오디오 코덱(132) 사이에서 전달된다. 오디오 처리 파이프라인은 오디오 기능이 있는 외부 오디오 플레이어 또는 장치에 의한 재생을 위해 A/V 포트(140)로 데이터를 출력시킨다.
전면 패널 I/O 서브어셈블리(130)는 전원 버튼(150), 배출 버튼(eject button, 152), 및 멀티미디어 콘솔(100)의 외부 표면에 노출된 임의의 LED들(light emitting diodes) 또는 기타 인디케이터들의 기능을 지원한다. 시스템 전원 모듈(136)은 멀티미디어 콘솔(100)의 컴포넌트들에 전력을 공급한다. 팬(fan, 138)은 멀티미디어 콘솔(100) 내의 회로를 냉각시킨다.
멀티미디어 콘솔(100) 내의 CPU(101), GPU(108), 메모리 제어기(110) 및 기타 다양한 컴포넌트들은 직렬 및 병렬 버스들, 메모리 버스, 주변장치 버스, 또는 다양한 버스 아키텍처들 중의 임의의 것을 사용하는 프로세서나 로컬 버스를 포함하는 하나 이상의 버스들을 통해 상호접속된다. 예를 들어, 이러한 아키텍쳐에는 PCI(Peripheral Component Interconnects) 버스, PCI 익스프레스(PCI-Express) 버스 등이 포함될 수 있다.
멀티미디어 콘솔(100)의 전원이 켜질 때, 시스템 메모리(143)로부터 애플리케이션 데이터가 메모리(112) 및/또는 캐시(102, 104)로 로딩되어, CPU(101)에서 실행될 수 있다. 애플리케이션은 멀티미디어 콘솔(100)에서 이용 가능한 다른 미디어 유형들로 네비게이트할 때 일관된 사용자 경험을 제공하는 그래픽 사용자 인터페이스를 제공할 수 있다. 동작 시에는, 미디어 드라이브(144) 내에 포함된 애플리케이션들 및/또는 기타 미디어들이 미디어 드라이브(144)로부터 시작되거나 재생되어, 멀티미디어 콘솔(100)에 추가 기능들을 제공할 수 있다.
멀티미디어 콘솔(100)은 텔레비전이나 기타 디스플레이에 시스템을 단순히 접속시킴으로써 독립형 시스템으로서 동작할 수 있다. 이 독립형 모드에서, 멀티미디어 콘솔(100)은 한 명 이상의 사용자들이 시스템과 인터랙트하고, 영화를 보고, 음악을 듣게 하도록 할 수 있다. 그러나, 네트워크 인터페이스(124) 또는 무선 어댑터(148)를 통해 이용가능하게 된 통합 광대역 접속으로 인해, 멀티미디어 콘솔(100)은 보다 큰 네트워크 커뮤니티의 참가자로서 동작할 수도 있다.
멀티미디어 콘솔(100)의 전원이 켜지면, 설정량의 하드웨어 리소스들이 멀티미디어 콘솔 운영 체제에 의한 시스템 사용을 위해 예약된다. 이러한 리소스들은 메모리(예컨대, 16 MB), CPU 및 GPU 사이클(예컨대, 5 %), 네트워킹 대역폭(예컨대, 8 kbs) 등의 예약을 포함할 수 있다. 이러한 리소스들은 시스템 부팅 시간에 예약되기 때문에, 애플리케이션의 관점에서는 예약된 리소스들이 존재하지 않는다.
특히, 개시 커널(launch kernel), 동시(concurrent) 시스템 애플리케이션 및 드라이버를 포함할 수 있을 정도로 메모리 예약이 충분히 큰 것이 바람직하다. 예약된 CPU 사용량이 시스템 애플리케이션에서 사용되지 않는 경우, 휴지 쓰레드(idle thread)가 미사용 사이클들을 쓸 수 있도록 CPU 예약이 일정한 것이 바람직하다.
GPU 예약과 관련하여, 팝업이 오버레이되도록 코드를 스케줄링하는 GPU 인터럽트를 사용하여, 시스템 애플리케이션에서 생성되는 간단한 메시지(예컨대, 팝업)가 디스플레이된다. 오버레이에 필요한 메모리량은 오버레이 영역 크기에 따르며, 오버레이는 스크린 해상도에 맞춰 스케일링되는 것이 바람직하다. 동시 시스템 애플리케이션이 풀 유저 인터페이스(full user interface)를 사용하는 경우에는, 애플리케이션 해상도와는 별개의 해상도를 사용하는 것이 바람직하다. 주파수를 변경하고 TV를 재동기화시킬 필요가 없도록 이 해상도를 설정하기 위해, 스케일러가 사용될 수 있다.
멀티미디어 콘솔(100)이 부팅되고 시스템 리소스가 예약된 후에, 동시 시스템 애플리케이션이 실행되어 시스템 기능들을 제공한다. 시스템 기능들은, 상기에서 설명한 예약된 시스템 리소스들 내에서 실행되는 일련의 시스템 애플리케이션에서 캡슐화되어 있다. 운영 체제 커널은 시스템 애플리케이션 쓰레드인지 게임 애플리케이션 쓰레드인지를 식별한다. 일관적인 시스템 리소스 뷰를 애플리케이션에 제공하기 위해, 시스템 애플리케이션은 사전 설정된 시간 및 간격으로 CPU(101)에서 실행되도록 스케줄링되는 것이 바람직하다. 스케줄링은 콘솔에서 실행되는 게임 애플리케이션에 대한 캐시 중단을 최소화하기 위한 것이다.
동시 시스템 애플리케이션이 오디오를 필요로 할 때, 오디오 처리는 시간에 대한 민감도로 인해 게임 애플리케이션과 비동기적으로 스케줄링된다. 시스템 애플리케이션이 동작할 때, 멀티미디어 콘솔 애플리케이션 관리자(이하에서 설명됨)는 게임 애플리케이션 오디오 레벨(예컨대, 음소거(mute), 감쇠(attenuate))을 제어한다.
게임 애플리케이션 및 시스템 애플리케이션은 입력 장치들(예컨대, 제어기(142(1) 및 142(2)))을 공유한다. 입력 장치들은 예약된 리소스들이 아니지만, 각 시스템 애플리케이션 및 게임 애플리케이션이 입력 장치의 포커스를 갖도록 애플리케이션들 사이에서 스위칭될 것이다. 애플리케이션 관리자는 게임 애플리케이션에 대한 정보 없이 입력 스트림의 스위칭을 제어하는 것이 바람직하며, 드라이버는 포커스 스위치에 관한 상태 정보를 보유한다. 카메라(26, 28) 및 캡쳐 장치(20)는 콘솔(100)을 위한 추가적인 입력 장치들일 수 있다.
도 3b는 타겟 인식, 분석 및 트래킹 시스템에서의 여러 위치 및 모션들의 해석, 및/또는 타겟 인식, 분석 및 트래킹 시스템에 의해 디스플레이되는 아바타, 온스크린 캐릭터, 온스크린 객체 등의 가상 캐릭터의 애니메이션화를 위해 사용되는 도 1a-2에 도시된 컴퓨팅 환경(12)의 또 다른 실시예인 컴퓨팅 환경(220)을 도시한다. 컴퓨팅 시스템 환경(220)은 적합한 컴퓨팅 환경의 일례일 뿐, 본원에 개시된 대상의 사용이나 기능의 범위를 제한하는 것은 아니다. 컴퓨팅 환경(220)은, 예시적인 운영 환경(220)에 도시된 임의의 컴포넌트 또는 컴포넌트 조합에 관한 의존성이나 요구 사항을 가지는 것으로 해석되어서는 안 된다. 몇몇 실시예에서, 도시된 다양한 컴퓨팅 구성요소들은 본 개시의 특정 양태들에 대한 예를 들어 설명하는 회로를 포함할 수 있다. 예를 들어, 본 개시에서 사용되는 회로는 펌웨어나 스위치로 기능(들)을 실행하도록 구성되는 특화된 하드웨어 컴포넌트들을 포함할 수 있다. 또 다른 실시예에서, 회로는 기능(들)을 실행하는 논리 동작을 구현하는 소프트웨어 인스트럭션으로 구성되는 범용 처리 장치(general purpose processing unit), 메모리 등을 포함할 수 있다. 하드웨어와 소프트웨어의 조합을 포함하는 회로의 실시예들에 있어서, 구현자는 논리를 구현하는 소스 코드를 작성하고, 이 소스 코드는 범용 처리 장치에서 처리될 수 있는 기계 판독가능 코드로 컴파일될 수 있다. 실시예들에서, 당업자라면 하드웨어, 소프트웨어 또는 하드웨어/소프트웨어의 조합 간에 차이가 거의 없는 방향으로 선행 기술이 발전해왔다는 점을 알 수 있으므로, 특정 기능을 구현하기 위한 하드웨어 대 소프트웨어의 선택은 구현자에게 달려 있는 설계 선택에 불과하다. 특히, 당업자라면 소프트웨어 프로세스가 동등한 하드웨어 구조로 변환가능하고, 하드웨어 구조 또한 동등한 소프트웨어 프로세스로 변환가능하다는 점을 알 수 있다. 따라서, 하드웨어 구현 대 소프트웨어 구현의 선택은 설계 선택으로, 구현자에게 달려 있다.
도 3b에서, 컴퓨팅 환경(220)은, 일반적으로 다양한 컴퓨터 판독가능 매체를 포함하는 컴퓨터(241)를 포함한다. 컴퓨터 판독가능 매체는 컴퓨터(241)가 액세스할 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 모두를 포함하는 임의의 가용 매체일 수 있다. 시스템 메모리(222)는 ROM(223) 및 RAM(260)과 같은 휘발성 및/또는 비휘발성 메모리의 형태인 컴퓨터 저장 매체를 포함한다. 스타트업 동안과 같이 컴퓨터(241) 내의 구성요소들 사이의 정보 전송을 돕는 기본 루틴을 포함하는 기본 입출력 시스템(BIOS, 224)은 일반적으로 ROM(223)에 저장된다. RAM(260)은 일반적으로 처리 장치(259)에 의해 즉시 액세스 가능 및/또는 바로 동작되는 데이터 및/또는 프로그램 모듈들을 포함한다. 예를 들어, 도 3b는 운영 체제(225), 애플리케이션 프로그램(226), 다른 프로그램 모듈(227), 및 프로그램 데이터(228)를 도시하고 있으며, 이들로서 제한되는 것은 아니다. 애플리케이션 프로그램(226)의 일례로 본원에서 설명되는 바와 같이 사용자에게 인터랙티브한 스토리 경험을 프리젠테이션하기 위해 사용되는 스토리 애플리케이션(226)이 있다. 도 3b는 고속 및 고해상도 그래픽 처리 및 저장을 위한 관련 비디오 메모리(230)를 갖고 있는 그래픽 처리 장치(GPU, 229)도 포함한다. GPU(229)는 그래픽 인터페이스(231)를 통해 시스템 버스(221)에 접속될 수 있다.
또한, 컴퓨터(241)는 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체를 포함할 수 있다. 예를 들어, 도 3b는 비이동식, 비휘발성 자기 매체에 판독 또는 기록하는 하드 디스크 드라이브(238), 이동식, 비휘발성 자기 디스크(254)에 판독 또는 기록하는 자기 디스크 드라이브(239), 및 CD ROM 또는 다른 광학 매체와 같은 이동식, 비휘발성 광 디스크(253)에 판독 또는 기록하는 광 디스크 드라이브(240)를 도시한다. 예시적인 운영 환경에서 사용 가능한 다른 이동식/비이동식, 휘발성/비휘발성 컴퓨터 저장 매체는, 자기 테이프 카세트, 플래시 메모리 카드, DVD, 디지털 비디오 테이프, 고체 상태 RAM, 고체 상태 ROM 등을 포함하지만, 이들로서 제한되는 것은 아니다. 하드 디스크 드라이브(238)는 일반적으로 인터페이스(234)와 같은 비이동식 메모리 인터페이스를 통해 시스템 버스(221)에 연결되며, 자기 디스크 드라이브(239) 및 광 디스크 드라이브(240)는 일반적으로 인터페이스(235)와 같은 이동식 메모리 인터페이스에 의해 시스템 버스(221)에 연결된다.
앞서 논의되었으며 도 3b에 도시된 드라이브 및 그 관련 컴퓨터 저장 매체는 컴퓨터(241)를 위한 컴퓨터 판독가능 인스트럭션, 데이터 구조, 프로그램 모듈 및 기타 데이터를 저장한다. 도 3b에서, 예를 들어, 하드 디스크 드라이브(238)는 운영 체제(258), 애플리케이션 프로그램(257), 다른 프로그램 모듈(256) 및 프로그램 데이터(255)를 저장하는 것으로 도시되어 있다. 이러한 컴포넌트들은 운영 체제(225), 애플리케이션 프로그램(226), 다른 프로그램 모듈(227) 및 프로그램 데이터(228)와 동일할 수도 또는 다를 수도 있음을 알 것이다. 운영 체제(258), 애플리케이션 프로그램(257), 다른 프로그램 모듈(256), 및 프로그램 데이터(255)는, 최소한 이들이 상이한 카피들임을 나타내기 위해 본원에서 상이한 번호가 부여된다. 사용자는 키보드(251), 및 일반적으로 마우스, 트랙볼, 또는 터치 패드로 불리는 포인팅 장치(252)를 비롯한 입력 장치들을 통해 명령어 및 정보를 컴퓨터(241)에 입력할 수 있다. 다른 입력 장치들(도시되지 않음)은 마이크, 조이스틱, 게임 패드, 위성 접시, 스캐너, 리모콘 등을 포함할 수 있다. 이들 및 다른 입력 장치들은 보통 시스템 버스에 연결된 사용자 입력 인터페이스(236)를 통해 처리 장치(259)에 접속되지만, 병렬 포트, 게임 포트, 또는 USB(universal serial bus)를 비롯한 다른 인터페이스 및 버스 구조에 의해 접속될 수도 있다. 카메라(26, 28) 및 캡쳐 장치(20)는 콘솔(100)의 추가 입력 장치에 해당한다. 모니터(242) 또는 다른 형태의 디스플레이 장치도 비디오 인터페이스(232)와 같은 인터페이스를 통해 시스템 버스(221)에 접속된다. 모니터뿐만 아니라, 컴퓨터들은, 출력 주변 기기 인터페이스(233)를 통해 접속될 수 있는 스피커(244) 및 프린터(243)를 비롯한 다른 주변 기기 출력 장치들을 포함할 수 있다.
컴퓨터(241)는 원격 컴퓨터(246)와 같은 하나 이상의 원격 컴퓨터들에 대한 논리적인 연결들을 사용하여 네트워킹된 환경에서 동작할 수 있다. 원격 컴퓨터(246)는 개인용 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치(peer device) 또는 다른 공통 네트워크 노드일 수 있으며, 단지 메모리 저장 장치(247)만이 도 3b에 도시되어 있지만, 일반적으로 컴퓨터(241)와 관련하여 전술한 다수의 또는 모든 구성요소들을 포함한다. 도 4에 도시된 논리적인 연결은 LAN(local area network, 245) 및 WAN(wide area network, 249)을 포함하지만, 또한 다른 네트워크들도 포함할 수 있다. 이러한 네트워킹 환경들은 사무실, 기업(enterprise-wide) 컴퓨터 네트워크, 인트라넷 및 인터넷에 흔하다.
LAN 네트워킹 환경에서 사용될 때, 컴퓨터(241)는 네트워크 인터페이스 또는 어댑터(237)를 통해서 LAN(245)에 연결된다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(241)는 일반적으로 모뎀(250) 또는 인터넷과 같이 WAN(249)을 통해 통신을 구축하기 위한 다른 수단을 포함한다. 내부 또는 외부에 존재할 수 있는 모뎀(250)은 사용자 입력 인터페이스(236), 또는 다른 적절한 메카니즘을 통해 시스템 버스(221)에 연결될 수 있다. 네트워킹 환경에서, 컴퓨터(241) 또는 그 일부분에 관련하여 도시된 프로그램 모듈들이 원격 메모리 저장 장치 내에 저장될 수 있다. 예를 들면, 도 3b는 메모리 장치(247) 상에 존재하는 원격 애플리케이션 프로그램들(248)을 도시하고 있다. 도시된 네트워크 연결들은 예시적인 것이며, 컴퓨터들 간에 통신 링크를 구축하는 다른 수단이 사용될 수 있음을 이해할 것이다.
도 4는 캡쳐 장치(20)에서 캡쳐되는 이미지 데이터로부터 생성될 수 있는 사용자의 골격 매핑의 일례를 도시한다. 본 실시예에서, 각 손(302), 각 팔뚝(304), 각 팔꿈치(306), 이두박근(308), 각 어깨(310), 각 엉덩이(312), 각 허벅지(314), 각 무릎(316), 각 종아리(318), 각 발(320), 머리(322), 몸통(324), 척추 상부(326)와 하부(328) 및 허리(330) 등 다양한 관절들과 뼈들이 식별된다. 더 많은 포인트들이 트래킹되면, 손가락 또는 발가락의 뼈 및 관절들, 또는 코 및 눈과 같은 얼굴 각각의 특징 등의 추가 특징들이 식별될 수 있다.
도 5는 내츄럴 사용자 인터페이스를 통해 인터랙티브한 스토리 경험을 제공하는 본 기술의 실시예의 동작에 관한 상위 레벨 순서도이다. 단계(400)에서, 사용자는 시스템(10)을 시작하고 컴퓨팅 환경(12) 및 캡쳐 장치(20)를 동작시킬 수 있다. 단계(404)에서, 시스템(10)은 스토리 애플리케이션(226)을 실행한다. 단계(406)에서, 스토리 애플리케이션은 디스플레이(14)를 통해 사용자에게 스토리의 다음 프레임을 프리젠테이션한다.
스토리는 디스플레이(14)를 통해 그래픽으로 프리젠테이션되고, 관련 음성 내러티브(audio narrative)를 가질 수도 있다. 스토리는 디스플레이(14) 상에 불연속, 정지-이미지 패널(still-image panel)로, 즉, 정지 프레임으로써 연속해서 프리젠테이션되는 일련의 정적 이미지로 디스플레이될 수 있다. 또는, 이야기는 동적 컴퓨터-그래픽(CG) 애니메이션으로 또는 비디오 카메라로 찍힌 실제 배우들의 장면으로 프리젠테이션될 수도 있다. 음성 내러티브는 이하에서 설명되는 바와 같이, 스토리 애플리케이션, 사용자, 및/또는 스토리가 프리젠테이션되는 동안에는 나타나지 않는 제삼자가 제공하는 오디오일 수 있다. 음성 내러티브는 또한 프리젠테이션되는 스토리의 캐릭터들 간의 대화도 포함할 수 있다. 역시, 이 캐릭터들 간의 대화는 스토리 애플리케이션, 한 명 이상의 사용자, 및/또는 스토리가 프리젠테이션되는 동안에는 나타나지 않는 한 명 이상의 제삼자에 의해 제공될 수 있다.
CG 애니메이션을 사용하는 실시예에서, 스토리 애플리케이션(226)은 컴퓨팅 환경(12)의 GPU에서 생성되는 애니메이션의 첫 번째 프레임을 프리젠테이션할 수 있고, 프레임은 캡쳐 장치의 재생 빈도(refresh rate)(예컨대, 30 Hz)로 재생될(refresh) 수 있다. 재생 빈도는 다른 실시예에서의 재생 빈도보다 빠르거나 늦을 수 있다. 정지-이미지 패널을 사용하는 실시예에서, 정적 이미지는 책이나 만화책의 페이지와 유사하다. 정적 이미지는 예컨대 몇 초 동안 디스플레이에 프리젠테이션될 수 있다. 비디오를 사용하는 실시예에서, 프레임은 비디오의 프레임 빈도(frame rate)로 재생될 수 있고, 이는 예컨대, 30 Hz일 수 있다.
실시예에서, 스토리 애플리케이션을 실시하면, 사용자(18)는 프리젠테이션된 스토리와 인터랙션할 필요가 없다. 즉, 사용자는 단순히 스토리의 처음부터 끝까지 그 스토리를 시청할 수 있다. 아래에서 설명되는 추가 실시예에서, 사용자는 스토리 애플리케이션(226)에 의해 프리젠테이션되는 스토리와 인터랙션할 수도 있다.
캡쳐 장치(20)는 사용자가 스토리 애플리케이션을 보거나 및/또는 스토리 애플리케이션과 인터랙션할 때 사용자를 모니터링하고 있다. 단계(408)에서, 캡쳐 장치(20)에서 사용자가 시야에서 벗어나고 있음을 감지하면, 스토리 애플리케이션은 사용자가 시야로 다시 들어올 때까지 단계(412)에서 일시 정지할 수 있다. 단계(408 및 412)는 다른 실시예에서 생략될 수도 있다. 앞서 언급한 바와 같이, 사용자는 단순히 앉아서, 스토리 애플리케이션에서 프리젠테이션하는 스토리를 시청할 수 있다. 단계(416)에서, 사용자 인터랙션이 감지되지 않는 경우, 스토리는 그냥 끝까지 계속될 것이다. 하지만, 사용자 인터랙션이 단계(416)에서 감지되는 경우, 아래에서 설명되는 바와 같이, 시스템은 일반적으로 인터랙션을 결정하고, 그 인터랙션에 따라 다른 동작들을 실행하게 된다.
단계(418)에서, 스토리 애플리케이션은 캡쳐 장치(20)의 마이크로폰 어레이(30)에서 음성을 탐지하였는지를 확인할 수 있다. 마이크로폰 어레이(30)에서 얻은 소리를 구분하여 소리 중 하나 이상이 사람의 음성인지 여부를 결정하기 위한 기법이 알려져 있다. 마이크로폰 어레이(30)는 마이크로폰 어레이(30)에서 탐지 가능한 저대역 노이즈를 감쇠하기 위해, 예컨대, 고대역 필터와 같은 각종 공지된 필터를 포함할 수 있다.
단계(418)에서 음성이 탐지되면, 시스템은 도 6에 제시된 단계들을 실행하며, 이는 이제부터 설명될 것이다. 실시예에서, 특정 사용자가 화자(speaker)인지 또는 음성이 다른 소스로부터 오고 있는지를 식별하는 것이 바람직할 수 있다. 예컨대, 음성 특성의 특정 사용자와의 이전 연관성 및 음향 소스 국지화 기법(acoustic source localization technique)과 같이, 시야 내의 사용자와 음성을 연계시키기 위한 다양한 기법이 존재한다. 이들 및 기타 기법을 사용하여 단계(450)에서 화자를 식별할 수 있다. 단계(450)은 다른 실시예에서 생략될 수 있다.
스토리 애플리케이션은 오디오/비주얼 장치(16)와 연계된 스피커를 통해 방송될 수 있는 스토리를 나레이션하기 위한 관련 내러티브를 가지고 있을 수 있다. 그러나, 스토리를 듣는 사용자가 읽을 수 있도록 내러티브가 화면에 글로 디스플레이될 수도 있다. 일례로, 아이가 디스플레이(14)에서 펼쳐지는 스토리를 보면서, 아이는 읽는 법을 배우고 부모는 그 스토리를 읽을 수 있다. 화면에 나타나는 글 대신에, 사용자는 컴퓨팅 환경(12)과 한 쌍을 이루며 스토리 애플리케이션(12)의 동일한 인스턴스에 참여하고 있는 컴퓨팅 장치를 가지고 있을 수 있다. 본 실시예에서, 내러티브를 위한 글은 디스플레이(14) 대신에 사용자의 한 쌍을 이루는 컴퓨팅 장치에 디스플레이될 수 있다.
다른 실시예로, 스토리 애플리케이션(226)이 시스템(10) 상에서 스토리를 보여주고 있을 때 참석하지 않은 제삼자가 내러티브를 읽을 수 있는 경우를 생각해 본다. 제삼자는 누구든지 될 수 있고, 실시예에서, 제삼자는, 예컨대, 스토리 애플리케이션이 실행 중일 때 참석하지 않지는 않았지만 시스템(10) 상의 스토리를 듣고 보는 아이에게 프리젠테이션되는 내러티브의 음성이기를 원하는 부모나 조부모일 수 있다.
본 실시예에서, 제삼자는 스토리 애플리케이션을 위한 내러티브를 사전에 녹음하고, 스토리 애플리케이션이 실행될 때 이 녹음이 재생되어 스토리에 대한 내러티브를 제공할 수 있다. 본 실시예에서, 녹음은 시스템(10)에 연계되거나 연계되지 않은 오디오 재생 장치에서 재생될 수 있다. 다른 실시예에서, 시스템(10) 상에서 스토리 애플리케이션이 실행될 때 제삼자가 실시간으로 스토리 애플리케이션(226)의 내러티브를 읽을 수도 있지만, 제삼자는 전화 또는 VOIP 접속을 통해 컴퓨팅 환경(12)에 연결된다.
단계(454)에서, 스토리 애플리케이션은 단계(418)에서 감지된 음성이 스토리의 내러티브와 연관성이 있는지를 결정한다. 이를 위해, 내러티브의 공지된 단어를 음소(phoneme)로 파싱하고, 마이크로폰 어레이(30)에서 감지한 음성에 대해서도 동일하게 파싱하고, 매치를 찾기 위해 두 음소 스트림을 비교하는 것을 포함한 공지된 음성 분석 기법이 사용될 수 있다.
단계(454)에서, 발성 음성(spoken voice)이 스토리 애플리케이션의 내러티브와 연관성이 있는 경우, 그 발성 음성은 스토리 애플리케이션이 스토리를 진행시키는 속도를 설정할 수 있다. 예를 들어, 스토리가 정지 이미지 패널로 프리젠테이션될 때, 스토리 애플리케이션은 특정 패널에 관련된 내러티브의 마지막 말을 하였는지를 단계(464)에서 결정할 수 있다. 하지 않았다면, 다음 패널로 진행할 시간이 아직 아니므로, 도 5에 관해 이하에서 설명되는 바와 같이 흐름은 다음 인터랙션을 찾기 위해 되돌아갈 수 있다. 반면, 스토리 애플리케이션에서 특정 패널에 관련된 내러티브의 마지막 말을 하였다고 결정하면, 스토리 애플리케이션은 단계(466)에서 다음 패널로 진행될 수 있다. 흐름은 도 5에 관해 이하에서 설명되는 바와 같이 다음 인터랙션을 찾기 위해 되돌아갈 수 있다.
이미지가 비디오 또는 동적 애니메이션인 경우, 스토리 애플리케이션은 내러티브를 발성 음성에 연관시키고, 디스플레이된 이미지의 속도를 높이거나 낮추어 사용자나 제삼자가 말하는 내러티브의 속도와 동기화시킬 수 있다. 스토리 애플리케이션은 도 5의 순서도에서 순환될 수 있으며, 주기적으로 음성을 확인하고, 그 음성이 프리젠테이션된 스토리의 내러티브와 연관성이 있는지를 확인하며, 프리젠테이션된 이미지를 내러티브를 읽는 속도와 동기화시킬 수 있다.
스토리 애플리케이션이 단계(454)에서 음성을 내러티브와 연관시킬 수 없는 경우, 스토리 애플리케이션은 다음 단계(456)에서 그 소리가 스토리 애플리케이션 또는 시스템(10)의 동작에 대한 음향 명령어(audible instruction)로 인식되는지를 확인할 수 있다. 인식되지 않는 경우, 이하에서 설명되는 바와 같이, 컴퓨팅 환경(12)은 도 5로 되돌아가서 단계(422)에서 스토리 애플리케이션과의 다른 가능한 사용자 인터랙션을 찾을 수 있다. 반면, 단계(456)에서 음성이 명령어로 인식되는 경우, 그 명령어와 관련된 동작이 단계(460)에서 실행된 후에, 시스템은 다음 인터랙션을 확인하기 위해 도 5의 순서도로 되돌아갈 수 있다.
이제 도 5로 되돌아가서, 단계(422)에서 본 시스템은 본원에서 "탐사 제스처"라고 하는 특정 유형의 제스처를 찾을 수 있다. 특히, 사용자가 실제로 디스플레이(14)에 프리젠테이션된 가상 세계로 들어와, 디스플레이 상의 가상 객체들을 탐사 및/또는 조사하게 되는 하나의 유형의 인터랙션을 가능하게 하는 것이 본 기술의 특징이다. 매우 다양한 예시들 중 하나로, 스토리에서 사용자에게 방을 디스플레이할 수 있다. 사용자의 인터랙션 없이도, 사용자에게 일정 기간 동안 방을 보여준 후, 스토리는 다른 장소를 보여주려고 이동할 수 있다. 하지만, 단순히 이동하는 대신에, 사용자는 자세히 보기 위해 및/또는 다른 관점에서 객체들을 보기 위해 방안의 가상 객체들을 탐사 및 조사하려는 바람을 나타내며 탐사 제스처를 취할 수 있다. 실시예에서, 사용자가 장면 안의 가상 객체들을 집고 조작할 수 있게끔, 컴퓨팅 환경(12)에 의해 해석되는 제스처 및 모션을 사용자가 실행할 수도 있다.
도 5의 단계(422)에서, 컴퓨팅 환경(12)은 사전 정의된 탐사 제스처를 찾는다. 본 기술의 실시예에서는 사용자에 의한 다양한 움직임 및 제스처가 사전 정의된 탐사 제스처로 설정될 수 있다. 이제 도 10과 관련하여 설명되는 이런 일 실시예에서, 캡쳐 장치(20)는 사용자의 머리 및/또는 몸 움직임을 캡쳐한다. 예를 들어, 도 10에서, 사용자는 현실 세계에서 객체 주변 또는 객체 뒤를 들여다보려 할 때 옆으로 숙여 목을 길게 뺐다. 제스처 인식 엔진(190)의 동작이 이하에서 설명되며, 제스처 인식 엔진(190)은 이런 몸 움직임을 찾기 위해 사전 정의된 규칙을 가지고 있으며, 움직임을 찾으면, 이를 탐사 제스처로 해석한다. 목을 길게 빼고 및/또는 허리를 숙이는 것뿐만 아니라, 탐사 제스처는 추가적으로 및 이를 대신하여 예컨대, 도 10에 도시된 것과 같은 가리키는 제스처와 같은 다른 제스처를 포함할 수 있다.
다른 실시예에서 매우 다양한 다른 몸 움직임이 탐사 제스처로 정의될 수 있음을 알 것이다. 이런 몇몇 실시예에서, 사용자 움직임은 사용자가 가상 세계에서 하길 원하는 동작에 대해 현실 세계에서의 연관성을 가질 수 있다. 사용자가 옆으로 숙여 목을 길게 빼서 객체 주변 또는 객체 뒤를 보려는 바람을 나타내는 일례가 앞서 소개되었다. 다른 실시예에서, 사용자는 가상 세계로 들어가려는 바람을 나타내며, 추가적으로 또는 대안적으로 디스플레이 방향으로 걸어갈 수 있다. 다른 실시예에서, 현실 세계에서 의미가 없는 일련의 임의의 제스처들이 정의될 수 있다. 하지만, 임의의 몸 및/또는 음성 제스처가 실행될 때, 제스처 인식 엔진이 이를 인식하여 객체 뒤를 보려고 가상 장면으로 들어오는 것과 같은 관련 동작을 실행하도록 하기 위해, 제스처 인식 엔진(190)에서 이런 임의의 몸 및/또는 음성 제스처를 개발 및 기록할 수 있다.
단계(422)에서 탐사 제스처가 인식되면, 컴퓨팅 환경(12)은 도 7의 순서도와 관련하여 이제부터 설명되는 단계들(490에서 538)을 실행한다. 단계(490)에서, 컴퓨팅 환경(12)은 사용자가 다른 위치에서 디스플레이된 장면을 보기 위한 디스플레이를 보여주는 삼차원 가상 세계로 들어가기 원하는지를 결정한다. 역시, 이런 바람은 물론 사용자가 가상 장면으로 들어가려는 방향 또한 사전 정의된 머리, 손 또는 기타 제스처를 통해 사용자에 의해 제어된다. 본 실시예는 장면이 CG 애니메이션으로 프리젠테이션되는 경우에도 동작할 수 있다. 장면이 고정 패널이나 녹화된 비디오로 프리젠테이션되는 경우, CG 애니메이션이 그 디스플레이 모델에 삽입되어 아래에서 설명되는 바와 같은 가상 장면의 탐사를 제공할 수 있다. 다른 실시예에서, 비디오는 360도로 촬영되어, 사용자의 비디오 장면으로의 입장 및 탐사를 어느 정도 가능하게 할 수도 있다.
일례로, 탐사 제스처가 실행되면, 캡쳐 장치(20) 및 컴퓨팅 장치(12)는 예컨대, 도 10의 포인트(610)와 같이 사용자가 초점을 맞추고 있는 디스플레이 상의 포인트를 결정할 수 있다. 이 포인트는 사용자의 눈이 가리키는 곳을 캡쳐함으로써 및/또는 사용자의 손이 가리키는 곳을 캡쳐함으로써 결정될 수 있다. 다른 실시예에서, 사용자는 추가적으로 또는 대안적으로 그 방향으로 걸어갈 수도 있다. 단계(490)에서 사용자가 그 장면을 다른 위치에서 보기 원한다고 결정되면, 컴퓨팅 환경은 단계(494)에서 사용자가 가상 세계에서 이동하기 원하는 벡터를 정의할 수 있다.
단계(494)에서 벡터는 사용자에 있는 기준 포인트(point of reference)로부터 디스플레이 상의 관심 포인트(610)까지의 하나 이상의 현실 세계 삼차원 벡터들(612)에 기초하여 결정될 수 있다. 도 10에서, 벡터들(612)은 사용자의 눈으로부터 관심 포인트(610)까지 및 사용자의 가리키는 손으로부터 관심 포인트(610)까지이다. 기준 포인트(눈, 손 등)는 공지된 x, y 및 z 좌표 위치를 가진다.
디스플레이(14) 상의 가상 장면은 3-D 데이터로 표현된다. 즉, 가상 장면 및 그 장면 내의 가상 객체의 포인트들에 x, y 및 z 값이 부여되어, 본원에서 3-D 머신 공간이라고 하는 3-D 가상 공간을 생성한다. 사용자가 움직이고 있는 현실 세계에 대한 캡쳐 장치(20)의 공지된 위치에 대해, 3-D 현실 세계 공간과 3-D 머신 공간 사이에 공지된 관계가 존재한다. 따라서, 벡터들(612)은 공지된 변환 행렬을 사용하여 3-D 현실 세계 공간에서 3-D 머신 공간으로 해석될 수 있다. 현실 세계 벡터들(612)의 3-D 머신 공간으로의 해석은 사용자가 3-D 가상 장면으로 움직여야 하는 벡터를 단계(494)에서 제공한다. 이하에서 설명되는 바와 같이, 사용자가 가상 장면으로 이동하여 가상 객체들을 검토하는 효과를 만들기 위해, 장면의 다른 영역 및 객체들의 뷰를 상이한 줌인 또는 줌아웃 위치로부터 제공하도록 디스플레이의 관점이 바뀌게 된다. 이는, 가상 객체들이 단지 디스플레이 상에서 2-차원 포인트들로서 정의된 것이 아니라 머신 공간에서 3-D 해상도를 가지고 있기 때문에 가능한 것이다.
단계(498)에서, 사용자를 원하는 장소로 즉시 옮기는 대신에, 사용자의 가상 머신에 대한 뷰가 점차 증가되어 바뀔 수 있다. 사용자 뷰가 바뀌는 증가분은 임의로 설정될 수 있지만, 실시예에서, 사용자가 정상적으로 걷는 속도로 장면에 걸어 들어가는 인상을 만들도록 그 뷰가 바뀐다. 단계(502)에서, 디스플레이(14) 상에 디스플레이되는 장면의 뷰는 단계(498)의 점차 증가하여 변하는 뷰로 업데이트될 수 있다. 다시 말하지만, 디스플레이된 장면의 뷰를 3-D 머신 공간의 임의의 관점으로 해석하는 변환 행렬은 공지되어 있다. 단계(506)에서, 단계(502)에서 결정된 새로운 위치의 뷰로부터 장면이 렌더링될 수 있다.
이후에 순서는 단계(490)로 되돌아 가서, 사용자가 객체를 조사하기 원하는 가상 장면 내의 위치에 도착했는지 또는 사용자가 가상 장면 내에서 계속 움직이기 원하는지를 결정할 수 있다. 이는 사용자의 몸 위치 및 사용자가 디스플레이 상에서 초점을 두고 있는 곳, 또는 기타 임의의 몸 움직임이나 음성 제스처로 나타낼 수 있다. 사용자가 가상 장면 내에서 계속 이동하기 원하는 경우, 사용자가 가상 장면 내에서 원하는 위치에 도달할 때까지 단계들(490에서 506)이 반복된다.
단계(490)에서 사용자가 가상 장면에서 원하는 위치에 있는지(즉, 장면이 원하는 관점에서 디스플레이에 프리젠테이션이 되는지)를 결정하면, 흐름은 단계(510)로 분기되어, 사용자가 장면 내에서의 그 위치에서 좀 더 가까이 객체에 초점을 맞추길 원하는지를 결정할 수 있다. 또한, 이런 바람은 하나 이상의 사전 정의된 제스처로, 즉, 사용자가 현실 세계에서 객체 쪽으로 이동 및/또는 객체에 초점을 맞추는 현실 세계 움직임을 흉내 내거나 또는 가상 세계 내의 객체를 탐사하고 객체에 초점을 맞추기 위해 정의된 임의의 제스처로 나타낼 수 있다.
단계(510)에서 사용자가 장면의 객체에 좀 더 가까이에서 초점을 맞추기 원한다고 결정되는 경우, 컴퓨팅 환경(12)은 단계(514)에서 현재 위치(즉, 장면의 현재 뷰)를 기준 위치로 저장한다. 이하에서 설명되는 바와 같이, 이 기준 위치는 사용자가 특정 가상 객체에 대한 초점 맞추기를 끝낼 때 시스템이 되돌아가는 뷰로서 사용될 것이다. 단계(518)에서, 컴퓨팅 환경(12)은 기준 위치로부터 가상 객체까지의 벡터 방향을 결정한다. 이는 전술한 바와 같이 현실 세계에서 x, y, z 공간에서의 사용자의 머리 위치 및 사용자가 디스플레이 상에서 보고 있는 곳을 탐지하여 그 벡터를 가상 머신 공간의 벡터로 해석함으로써 수행될 수 있다.
단계(522)에서, 이 벡터를 따라 중간 증가 위치(intermediate incremental position)가 전술한 바와 같이 결정될 수 있다. 단계(524)에서, 장면의 관점이 단계(522)에서 결정된 위치로 해석될 수 있고, 단계(528)에서는, 단계(524)에서 결정된 관점에서 장면이 렌더링될 수 있다. 단계(532)에서, 시스템은 사용자가 가상 장면 내의 특정 객체에 초점을 둔 것을 마쳤는지를 결정할 수 있다. 이는 각종 사전 정의된 제스처 중 임의의 제스처로 나타낼 수 있다. 시스템이 사용자가 초점 뷰를 마쳤다고 판단하지 않으면, 흐름은 단계(510)로 되돌아가고, 단계들(510에서 528)이 반복되어 장면 내의 가상 객체들에 대한 다른 추가적인 초점을 제공할 수 있다. 반면, 단계(532)에서 사용자가 초점을 두었던 뷰를 마쳤다고 나타내는 사전 정의된 제스처를 실행하면, 단계(536)에서 그 뷰는 (단계(514)에서 저장된) 기준 위치로부터의 뷰로 다시 해석될 수 있다.
컴퓨팅 환경(12)이 단계(490 및 510)에서의 추가 탐사 제스처를 구분하지 못하는 경우, 흐름은 단계(538)로 분기되어, 사용자가 장면 탐사를 마쳤음을 나타내는 사전 정의된 제스처를 실행하고 있는지를 본다. 실행하고 있지 않으면, 흐름은 단계(490)로 되돌아가서 사용자가 다른 위치에서 장면을 보기 원하는지를 보고, 원하지 않으면, 흐름은 단계(510)로 이동하여 사용자가 그 현재 위치에서 장면 내의 객체에 초점을 맞추기 원하는지를 결정한다. 한편, 단계(538)에서 사용자가 3-D 장면 내에서의 탐사를 마쳤음을 나타내는 사전 정의된 특정 제스처가 실행되는 경우, 흐름은 도 5로 되돌아가서 다음 유형의 사용자 인터랙션이 있는지를 확인할 수 있다.
단계들(490에서 538)은 사용자가 스토리 애플리케이션에 의해 디스플레이(14) 상에 제공되는 삼차원 가상 세계로 어떻게 들어가서 이동하는지에 관한 일례에 불과하다는 것을 알 것이다.
본 시스템의 실시예에서, 사용자는 스토리를 보고 3-D 가상 세계에서 탐사를 하는 것뿐만 아니라, 스토리 안의 하나 이상의 캐릭터를 제어하는 옵션도 가질 수 있다. 본 실시예는 장면이 CG 애니메이션으로 프리젠테이션되는 경우에도 동작할 수 있다. 장면이 고정 패널이나 녹화된 비디오로 프리젠테이션되는 경우, CG 애니메이션이 그 디스플레이 모델에 삽입되어 아래에서 설명되는 바와 같이 캐릭터 제어를 할 수 있다.
실시예에서, 사용자(18)는 온스크린 캐릭터(23)의 움직임 및/또는 동작을 제어하려는 사용자의 바람을 나타내는 사전 정의된 특정 제스처를 취할 수 있다. 사전 정의된 제스처는 예컨대, 특정 온스크린 캐릭터를 가리키는 사용자의 모션과 관련된 임의의 제스처들일 수 있다. 이와 같은 캐릭터 제어가 스토리 애플리케이션(226)에서 허용될 때, 사용자는 단계(426)에서 그 캐릭터로서 등록된 후, 도 8의 단계들(540에서 558)에 관해서 이하에서 설명되는 바와 같이 사용자가 그 캐릭터를 제어할 수 있게 된다.
사용자가 캐릭터를 제어하는 것으로 등록된 이후에, 사용자는 제어되는 온스크린 캐릭터의 행동을 애니메이션화고 그 행동에 영향을 주기 위해 사용되는 특정 모션 및 제스처를 취할 수 있다. 단계(540)에서, 컴퓨팅 환경은 사용자가 사전 정의되고 인식된 제스처를 취하였는지를 결정한다. 제스처를 취한 경우, 컴퓨팅 환경은 단계(542)에서 온스크린 캐릭터가 인식된 제스처에 대응하는 동작을 행하도록 허용되었는지 여부를 확인한다. 특히, 실시예에서, 사용자는 온스크린 캐릭터의 동작 또는 행동을 전적으로 제어하기 보다는, 스토리 애플리케이션(226)과 온스크린 캐릭터의 제어를 공유하고 있다. 실시예에서, 사용자는 캐릭터의 움직임을 어느 정도 제어할 수 있지만, 애플리케이션이 이런 움직임에 대한 경계를 정의하고, 예컨대, 캐릭터의 행동 및 개성에 관련된 것과 같은 온스크린 캐릭터의 다른 양태들의 제어를 제한할 수 있다. 예컨대, 사용자가 온스크린 캐릭터가 가능한 스토리 분기(story branch)(이하에서 설명됨)에서 예상하지 못한 특정 동작을 행하도록 하는 경우, 사용자의 무제한적인 온스크린 캐릭터 제어는 스토리 애플리케이션의 진행을 방해할 수 있다. 한편, 다른 실시예에서는, 사용자에게 온스크린 캐릭터의 무제한적인 제어권이 주어질 수도 있음을 이해할 것이다.
단계(542)에서 스토리 애플리케이션에 의해 캐릭터(23)가 제스처 동작을 취하도록 허용된 경우, 캐릭터는 단계(544)에서 제스처에 관련된 그 동작을 수행한다. 도 1b는 사용자에게 온스크린 캐릭터(23)의 상체를 제어하는 능력이 부여되는 일례를 도시한다. 이런 특정 스토리 애플리케이션은 사용자가 팔을 들어올리는 제스처를 인식할 수 있고, 이는 예컨대, 위협을 위해 팔을 들어올리는 괴물과 같은 온스크린 캐릭터에 대응한다. 도 8의 단계(540)에서 이런 사용자 제스처를 인식하면, 캐릭터는 단계(544)에서 대응 동작을 수행한다.
단계(540)에서 인식된 제스처가 아무것도 실행되지 않은 경우, 컴퓨팅 환경은 그 다음으로 캡쳐 장치(20)에 의해 사용자 움직임이 탐지되었는지를 단계(546)에서 확인한다. 탐지되었다면, 시스템은(550)은 전술한 바와 같이, 온스크린 캐릭터가 사용자가 움직인 대로 움직이도록 허용되었는지를 단계(550)에서 확인한다. 허용되었다면, 온스크린 캐릭터는 단계(552)에서 사용자의 움직임 본 그대로의 방식으로 애니메이션화된다. 컴퓨팅 환경이 단계(540)에서 사전 정의된 제스처를 또는 단계(546)에서 사용자 움직임을 탐지하지 못하면, 컴퓨팅 환경은 도 5의 단계(428)로 되돌아가서 이하에서 설명되는 바와 같이 장면과의 다른 사용자 인터랙션을 탐지할 수 있다.
단계(554)에서, 시스템은 사용자가 캐릭터의 제어를 종료하려는 바람을 나타내는 몇몇 사전 정의된 제스처 취했는지를 확인한다. 단계(554)에서 이런 제스처가 탐지되면, 사용자의 캐릭터 제어가 종료되고, 캐릭터는 단계(556)에서 스토리 애플리케이션(226)에 의해 전적으로 제어된다. 시스템이 단계(546)에서 사용자 움직임을 탐지하지만 캐릭터가 단계(550)에서 그 방식대로 움직이도록 허용되지 않는 경우, 또는 사용자가 단계(554)에서 캐릭터 제어를 종료하는 경우, 시스템은 도 5의 단계(428)로 되돌아가서 디스플레이된 장면과 사용자의 다른 인터랙션을 찾을 수 있다.
이제 도 5로 돌아와서, 단계(428)에서 컴퓨팅 환경(12)은 디스플레이된 장면과 사용자의 인터랙션, 특히 스토리의 서브플롯의 결과에 영향을 주거나 또는 스토리의 전체 결과에 영향을 줄 수 있는 사용자 인터랙션을 찾을 수 있다. 이런 인터랙션이 탐지되면, 시스템은 도 9의 단계들(560에서 588)을 실행한다. 이는, 단계(418)과 관련하여 전술한 음성 명령어의 결과, 단계(422)와 관련하여 전술한 탐사 제스처, 단계(426)와 관련하여 전술한 온스크린 캐릭터의 사용자 제어, 또는 스토리와의 다른 인터랙션의 결과로서 일어날 수 있다.
인터랙션의 정도(degree of interactivity)는 스토리에서 디스플레이되는 이미지의 유형에 의해 부분적으로 결정될 수 있다. CG 애니메이션은 높은 수준의 인터랙션을 제공하는 반면, 정지 패널 및 녹화된 비디오는 그보다는 낮은 수준의 인터랙션을 제공할 수 있다. CG 애니메이션이 정지 패널 및/또는 녹화된 비디오에 삽입되어 더 많은 인터랙션을 제공할 수 있음을 이해할 것이다. 실시예에서, 스토리의 불연속적인 지점에서 온스크린 스토리와 인터랙션할 기회가 사용자에게 주어질 수 있다. 이들 지점은 스토리에서 일시 정지 또는 프롬프트로 사용자에게 표시될 수 있다. 다른 실시예에서, 사용자는 애플리케이션(226)에 의한 스토리 프리젠테이션 도중에 임의의 지점에서 스토리와 인터랙션하는 옵션을 가질 수 있다.
단계(428)에서 디스플레이된 장면과의 인터랙션이 있으면, 시스템은 처음에 사용자가 모션 또는 인식된 제스처를 취했는지를 결정하는 단계(560)를 실행한다. 모션 또는 인식된 제스처를 취했다면, 컴퓨팅 환경(12)은 다음으로 단계(564)에서 그 모션 또는 제스처에 관련된 동작이 다른 스토리 라인으로의 분기를 필요로 하는지를 확인한다. 사용자 동작이 다른 스토리 라인으로의 분기를 필요로 하는지를 결정하고 그 스토리 분기로부터 어떻게 진행할지를 결정하기 위한 다양한 공지된 방법이 존재한다. 일례로, 스토리 애플리케이션은 스토리 안의 모든 객체 및 캐릭터에 대해 상태 데이터 값을 유지할 수 있다. 장면 또는 캐릭터에 관한 무언가가 변하면, 그 장면 또는 캐릭터에 대한 상태 데이터도 따라서 변한다. 이들 상태 데이터 값은 스토리 객체 또는 캐릭터를 렌더링하고 이들 객체 또는 캐릭터에 일어나는 일을 제어하는 데 사용될 수 있다.
실시예에서, 스토리 애플리케이션은 객체 및 캐릭터에 대한 상태 데이터 값에 따라 각종 다른 스토리 라인으로 분기될 수 있으며, 이 상태 데이터는 객체 및/또는 캐릭터와의 사용자 인터랙션의 결과에 따라 변경될 수 있다. 다른 실시예에서, 사용자는 온스크린 객체 또는 캐릭터와 인터랙션하지 않거나 이에 영향을 미치지 않는 특정 제스처를 취할 수 있지만, 그럼에도 불구하고 스토리 라인이 변경될 수 있다. 일례로서, 사용자는 방에 관해서 보여지고 설명될 스토리의 중요한 양태들이 밝혀지기 전에 스크린 상에 디스플레이된 방을 떠나기로 선택할 수 있다.
단계(564)에서, 컴퓨팅 환경(12)은 사용자가 취한 제스처와 관련된 동작이 다른 스토리 라인으로의 분기를 필요로 하는지를 결정한다. 언급한 바와 같이, 이는 사용자에 의해 변경된, 스토리의 객체 및 캐릭터에 대한 상태 데이터 값을 가지고 일어날 수 있다. 특히, 상태 데이터 값이 바뀌어서 단계(560)에서의 사용자의 제스처 이전에 존재했던 스토리를 계속하는 것이 전체적으로 객체, 캐릭터 또는 스토리와 관련된 현재 상태 데이터 값에 부합하지 않게 된다. 사용자의 제스처가 다른 스토리 라인으로의 분기를 필요로 하는 경우, 컴퓨팅 환경(12)은 사용자의 인터랙션과 일치하는 스토리의 공지된 분기가 있는지를 단계(568)에서 확인할 수 있다.
사용자가 단계(560)에서 모션 또는 인식된 제스처를 취하지 않는 경우, 또는 단계(564)에서 사용자의 모션/인식된 제스처가 다른 스토리 라인으로의 분기를 필요로 하지 않는 경우, 시스템은 도 5로 되돌아가서, 이하에서 설명되는 바와 같이 단계(432)에서 다른 임의의 유형의 움직임 또는 제스처를 찾을 수 있다. 또한, 사용자가 다른 스토리 라인으로의 분기를 필요로 하는 동작을 취했지만 스토리 애플리케이션(226)이 알고 있거나 또는 식별 가능한 사용자의 인터랙션과 일치하는 분기가 없는 경우, 단계(568)에서 스토리 라인에 대한 사용자의 제스처의 영향은 무시되어, 흐름은 이하에서 설명되는 바와 같이 도 5의 단계(432)로 되돌아갈 수 있다.
사용자의 제스처가 새로운 분기 스토리 라인으로의 분기를 필요로 하고, 그 스토리 라인이 스토리 애플리케이션에 의해 실행될 수 있다고 가정하면, 스토리 애플리케이션은 사용자가 취한 모션 또는 제스처에 따라 객체, 캐릭터 및 애플리케이션과 관련된 상태 데이터를 전체적으로 수정할 수 있다. 도 11 및 12를 참조하면, 몇몇 사용자 인터랙션은 전체 결과에는 영향을 주지 않고 단지 스토리의 서브플롯에 변화를 주는 스토리 분기에 영향을 준다. 도 11에서 볼 수 있는 것처럼, 사용자는 스토리 애플리케이션을 분기 1, 분기 2, ..., 분기 N으로 분기시키는 인터랙션(620)을 수행할 수 있고, 이후에는 모든 분기들이 다시 모여 원래 스토리 라인이 계속된다. 매우 다양한 이런 서브플롯 스토리 분기들을 생각할 수 있다. 예를 들어, 도 1a에서, 사용자는 집(21)에 비를 내리게 하는 지점으로 구름(25)을 이동시키는 제스처를 취할 수 있다. 비가 전체 플롯에는 영향을 주지 않을 수 있다. 비가 한동안 내리다가, 멈추고, 스토리 라인은 비가 내리지 않았을 경우에서와 같이 계속될 수 있다. 다른 실시예에서, 애플리케이션 스토리는 사용자가 질문에 대답하거나 퍼즐을 풀도록 묻고, 스토리 라인은 그 물음에 대한 사용자의 대답에 따라 다른 서브플롯으로 분기할 수 있다. 사용자가 질문에 잘 대답하거나 퍼즐을 풀면, 스토리가 원래 스토리 라인으로 다시 모여 계속될 수 있다.
한편, 다른 유형의 사용자 인터랙션이 스토리의 전체적인 결과에 변화를 주는 스토리 분기에 영향을 미칠 수 있다. 즉, 스토리와의 사용자 인터랙션에 따라 스토리가 다르게 종료될 것이다. 예를 들어, 도 12에서, 사용자는 스토리 분기를 다시 모이지 않는 N 개의 분기 중 하나로 가게 하는 인터랙션(624)을 수행한다. 또한, 이들 분기 중 임의의 분기는 이후에 추가 사용자 인터랙션에 따라 자체적으로 분기할 수 있다. 예를 들어, 사용자 인터랙션(624)이 분기 번호 1로 스토리를 분기시키면, 사용자는 그 스토리를 추가적으로 가능한 결과들로 분기되게 하는 다른 인터랙션(628)을 수행할 수 있다. 스토리 애플리케이션이 많은 서브플롯 및 전체 플롯 분기들을 처리하도록 작성되었는지에 따라, 스토리는 임의의 수의 서브플롯 분기 또는 전체 플롯 분기를 가질 수 있다.
실시예에서, 한 명의 사용자가 스토리 애플리케이션이 서브플롯 분기 또는 전체 플롯 분기를 수행하게 하는 인터랙션을 수행할 수 있다. 다른 실시예에서, 다수의 사용자들이 스토리를 보고 있을 수 있다. 이들 다수의 사용자들은 애플리케이션(226)의 동일한 인스턴스 및 동일한 스토리 경험을 공유할 수 있도록 네트워크화된 상이한 시스템(10)을 사용하여 같은 장소에 있거나 다른 장소에 있을 수 있다. 본 실시예에서, 스토리 애플리케이션(226)은 스토리 라인이 새로운 서브플롯 또는 새로운 전체 플롯으로 분기하기 전에는 여러 명의 사용자들의 일치된 동작을 필요로 할 수 있다.
이제 도 9로 돌아가서, 컴퓨팅 환경(12)이 단계(564)에서 스토리 라인 분기를 필요로 하는 사용자 움직임이나 제스처를 식별하고, 스토리 애플리케이션이 그 새로운 스토리 라인을 처리하도록 준비된 경우, 단계(570)에서 스토리 애플리케이션(226)은 그 새로운 라인으로 분기된다. 스토리 애플리케이션은 단계(572)에서 임의의 객체, 캐릭터, 또는 애플리케이션에 대한 상태 데이터를 전체적으로 수정한다. 단계(574)에서, 스토리 애플리케이션(226)은 새로운 스토리 라인 및 상태 데이터에 따라 장면의 그래픽을 렌더링할 수 있고, 스토리 애플리케이션은 단계(578)에서 식별된 분기대로 계속될 수 있다.
본 시스템의 하나의 양태는 사용자에게 보여지고 있는 스토리에 게임 메카닉(game meganics)을 추가하는 것이다. 따라서, 스토리를 보여주는 것은 물론, 스토리 애플리케이션(226)은 사용자가 스토리와 어떻게 인터랙션하는지에 따라 증가 또는 감소될 수 있는 사용자 점수를 보관할 수 있다. 특히, 사용자의 특정 제스처 또는 동작은 사전 결정된 스토리 값, 및 관련 제스처의 수행에 따라 사용자의 전체 점수에 더하거나 빼야 하는 관련 점수들을 가지고 있을 수 있다. 따라서, 단계(582)에서, 스토리 애플리케이션은 단계(560)에서 수행된 사용자 인터랙션과 관련된 점수가 있는지를 확인한다. 없다면, 흐름은 도 5의 단계(432)로 되돌아간다. 사용자 인터랙션과 관련된 점수가 있는 경우, 사용자의 점수는 그에 따라 단계(588)에서 조정되고, 흐름은 이하에서 설명되는 바와 같이 도 5의 단계(432)로 되돌아 갈 수 있다.
도 9의 실시예는 정적 이미지 패널이나 동적 CG 이미지 애니메이션을 사용하는 스토리에서 사용될 수 있다. 도 9a는 녹화 비디오의 사용에 관한 추가적인 실시예를 도시한다. 단계들(560에서 572)은 도 9에서 전술한 것과 같다. 실시예에서, 녹화 비디오와의 인터랙션은 비디오와의 사전 정의된 인터랙션 포인트에서 발생하게 된다. 녹화된 비디오 스토리의 경우, 스토리 애플리케이션은 스토리의 가능한 각각의 분기에 대해 다른 비디오 클립을 가지고 있을 수 있다. 단계(590)에서 스토리 애플리케이션은 스토리의 결정된 분기에 적합한 미디어 클립을 검색할 수 있다. 단계(594)에서, 컴퓨팅 환경(12)이 그 클립을 렌더링할 수 있다. 다른 분기들에 대해 사전-녹화된 비디오 클립 대신에 또는 클립에 더해서, 컴퓨팅 환경에 의해 CG 애니메이션이 구성되어 삽입될 수도 있다.
스토리 분기로부터의 이미지를 사용자가 본 후에, 단계(596)에서 스토리가 새로운 라인으로 분기되지 않았다면, 스토리 애플리케이션(226)은 그 스토리에 대한 미디어 클립으로 되돌아가 이를 보여줄 수 있다. 예를 들어, 스토리는 형사들이 용의자를 심문하려고 하는 범죄 드라마에 관련될 수 있다. 사용자는 스토리 애플리케이션과 인터랙션하여 용의자를 심문하기 원하고 있음을 나타내는 사전 정의된 제스처를 취할 수 있다. 사용자는 질문을 하고, 다른 방식 및 다른 태도로 심문을 할 수 있다. 이들 동작은 예컨대, 사용자가 질문을 선택할 수 있는 스크립트에 의해 그 범위가 제한될 수 있다. 또는, 사용자가 묻고 싶은 임의의 질문일 수도 있다.
사용자는 또한 심문 중인 용의자 캐릭터에게 잘 통할 것 같은 다른 태도로 질문을 할 수도 있다. 사용자는 용의자에게 겁을 주려고 할 수도 있고, 상냥한 태도로 진행해 정보를 얻으려 할 수도 있다. 캡쳐 장치(20)는 이렇게 상이한 매너리즘을 탐지할 수 있고, 특정 동작이 정의되어 저장된 매너리즘 데이터에 매치하는 경우, 컴퓨팅 환경(12)에서 이런 상이한 매너리즘을 식별할 수 있다. 사용자가 심문을 마치면, 심문을 한 형사의 비디오 클립이 재생될 수 있다. 형사 캐릭터가 재생된 장면에서 얻은 정보와 비교하여 사용자가 용의자로부터 얻을 수 있었던 정보의 양의 면에서, 사용자는 자신이 형사보다 잘 했는지 못 했는지를 볼 수 있다.
단계(600)에서 스토리 라인은 식별된 분기로 계속된다. 이는 원래 스토리 라인으로 다시 모일 수도 있고, 또는 전체 플롯에 대한 새로운 결과를 가져올 수도 있다. 단계(604)에서, 사용자의 인터랙션에 점수가 매겨질 수 있다. 예를 들어, 사용자가 상기의 예시에서 형사 캐릭터가 얻은 정보보다 더 많은 정보를 얻어낼 수 있었다면, 사용자는 사전 정의된 점수를 받을 수 있다. 또는 사용자가 적은 정보를 얻었다면, 사전 결정된 점수를 잃을 수 있다. 사용자의 점수가 그런 식으로 조정되고, 흐름은 이하에서 설명되는 바와 같이 도 5의 단계(432)로 되돌아갈 수 있다.
도 5로 되돌아가서, 사용자의 제스처는 단계(422)에서 탐사 제스처가 아니고, 단계(426)에서 캐릭터를 제어하기 위한 것도 아니며, 단계(428)에서 스토리 라인을 바꾸기 위해 디스플레이된 장면과 인터랙션하는 것도 아닐 수 있다. 따라서, 컴퓨팅 환경(12)은 다른 이런 제스처를 단계(432)에서 확인하게 된다. 단계(432)에서 다른 이런 제스처가 인식되지 않는 경우, 스토리 애플리케이션은 단계(406)으로 다시 돌아가서 스토리의 다음 프레임을 프리젠테이션하고 전술한 단계들이 반복된다. 반면, 단계(432)에서 다른 제스처가 인식되는 경우, 시스템은 그 제스처가 스토리를 종료하기 위한 것인지를 단계(434)에서 확인한다. 만일 그렇다면, 스토리는 단계(436)에서 종료된다. 아닌 경우, 단계(438)에서, 시스템은 단계(432)에서 인식된 제스처와 관련된 임의의 동작을 수행하고, 흐름은 단계(406)로 되돌아 가서 스토리의 다음 프레임을 프리젠테이션한다.
앞서 언급한 바와 같이, 사용자가 스토리를 들을 때 아무런 동작을 취하지 않는 경우, 스토리는 각각의 이미지 및/또는 내러티브의 기본 집합 또는 대화에 대해 선형으로 진행될 수 있다. 다른 실시예에서, 사용자가 아무런 동작을 취하지 않을 때조차, 선형 스토리의 구성 요소들이 미리 정해진 각종 인자에 기초하여 스토리의 인스턴스에 대해 동적으로 바뀔 수 있다. 이들 인자로 스토리가 보여진 횟수(예컨대, 네 번째에 새로운 사건이 일어남), 시청자의 수, 및 날씨 또는 시각(예컨대, 스토리의 날씨가 계절에 따라 변하거나 또는 현실 세계 날씨와 연동됨)을 포함할 수 있다. 날씨 또는 시각은 시스템(10)에 알려져 있거나, 또는 시스템(10)과 네트워크로 연결된 서비스에 저장될 수 있다. 또한, 다른 스토리에서의 이벤트가 영향을 줄 수 있다 - 스토리 B에서 소개된 캐릭터를 스토리 A에 등장하게 할 수 있다. 전술한 본 시스템의 다른 특징들과 함께, 이런 특징들은 스토리를 좀 더 역동적이게 하고 또한 반복적으로 시청하고 실험하도록 장려하게 된다.
전술한 인터랙션 중 다수가 사전 정의된 제스처에 의해 트리거된다. 도 13은 제스처 인식 엔진(190)의 블록도를 도시하며, 도 14는 도 13의 제스처 인식 엔진(190)의 동작에 관한 블록도를 도시한다. 제스처 인식 엔진(190)은 단계(660)에서 자세(pose) 정보(650)를 수신한다. 자세 정보는 이미지 데이터에서 탐지된 사용자의 신체 부위 및 관절의 위치 및/또는 모션에 관한 각종 파라미터들을 포함할 수 있다.
제스처 인식 엔진(190)은 단계(664)에서 수신된 자세 정보(650)를 분석하여, 자세 정보가 제스처 라이브러리(654)에 저장된 사전 정의된 규칙(658)에 매치하는지를 살펴본다. 저장된 규칙(658)은 자세 정보(650)가 나타내는 특정 위치 및/또는 운동(kinetic) 모션을 사전 정의된 제스처로서 언제 해석해야 할지를 설명한다. 실시예에서, 각각의 제스처는 상이하고, 고유한 규칙 또는 일련의 규칙들(658)을 가지고 있을 수 있다. 각각의 규칙은 도 4에 도시되는 신체 부위 중 하나 이상에 대해 여러 파라미터들(관절 위치 벡터, 최대/최소 위치, 위치의 변화 등)을 가지고 있을 수 있다. 저장된 규칙은, 각각의 파라미터 및 도 4에 도시된 각각의 신체 부위(302에서 330)에 대해, 단일 값, 값 범위, 최대값, 최소값, 또는 그 신체 부위에 대한 파라미터가 규칙에 포함되는 제스처의 결정과는 무관하다는 표시를 정의할 수 있다. 규칙들은 게임 작가, 게임 플랫폼의 호스트 또는 사용자들에 의해 작성될 수 있다.
제스처 인식 엔진(190)은 식별된 제스처 및 사용자의 위치/움직임이 그 제스처에 해당될 가능성인 신뢰도(confidence level)를 출력할 수 있다. 특히, 규칙은, 제스처를 위해 필요한 파라미터들을 정의하는 것뿐만 아니라, 자세 정보(650)가 제스처로서 해석되기 전에 필요한 임계 신뢰도 역시 포함할 수 있다. 몇몇 제스처는 시스템 명령어 또는 게임 설명보다 더 큰 영향을 미칠 수 있으므로, 그런 경우에 하나의 자세가 그 제스처로 해석되기 전에 고도의 신뢰도를 요구하게 된다. 규칙에 관해 저장된 파라미터와 자세 정보의 비교로 인해 자세 정보가 제스처를 나타내는지에 대한 누적된 신뢰도가 도출된다.
특정 자세 또는 모션이 특정 제스처 규칙을 만족하는지에 관해 신뢰도가 결정되면, 제스처 인식 엔진(190)은 신뢰도가 고려 중인 규칙에 대해 사전 결정된 임계치를 초과하는지를 단계(668)에서 결정한다. 임계 신뢰도는 고려 중인 규칙과 관련해 저장될 수 있다. 신뢰도가 임계치 이하이면, 아무런 제스처도 탐지되지 않고(단계(670)) 아무런 동작도 취해지지 않는다. 반면, 신뢰도가 임계치를 초과하면, 사용자의 모션이 고려 중인 제스처 규칙을 충족하는 것으로 결정되어, 제스처 인식 엔진(190)은 단계(674)의 식별된 제스처로 되돌아 간다. 제스처 인식 엔진(190)은 다른 실시예에서 다른 방법으로 동작할 수 있다.
본 발명의 시스템의 전술된 상세한 설명은 예시 및 설명의 목적으로 제시되었다. 이는 포괄적이거나 본 발명의 시스템을 개시된 정확한 형태로 제한하기 위한 것이 아니다. 많은 수정 및 변형이 전술된 개시에 기초하여 가능하다. 설명된 실시예는 본 발명의 시스템의 원리 및 그의 실질적인 애플리케이션을 가장 잘 설명함으로써 당업자들이 고려되는 특정 사용에 적합하게 된 바와 같이 다양한 실시예에서 그리고 다양한 수정과 함께 본 발명의 시스템을 가장 잘 이용하게 하기 위해 선택되었다. 본 발명의 시스템의 범위는 본 명세서에 첨부된 특허청구범위에 의해 제한되도록 의도된다.
Claims (15)
- 사용자 모션을 캡쳐하는 캡쳐 장치 및 이미지 디스플레이 및/또는 오디오 제공을 위한 오디오비주얼 장치에 접속된 컴퓨팅 환경을 포함하는 시스템에서, 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법으로서,
a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 상기 선형 스토리를 프리젠테이션하는 단계 - 상기 선형 스토리는 사용자가 상기 스토리와 인터랙션하지 않는 경우 사용자에게 프리젠테이션되는 이미지 또는 내러티브의 기본 집합을 가지고 있음 -,
b) 상기 캡쳐 장치를 통해 사용자의 움직임 및 음성 명령어 중 적어도 하나를 탐지하는 단계,
c) 상기 단계 b)에서 탐지된 움직임 및/또는 음성 명령어가 상기 이미지들 또는 내러티브의 기본 집합(default set)에 포함되지 않는 추가 이미지들 및 추가 내러티브 중 적어도 하나를 가지고 있는 스토리 분기를 포함하도록 상기 선형 스토리를 변경하는 상기 선형 스토리와의 인터랙션인지를 식별하는 단계, 및
d) 상기 오디오비주얼 장치를 통해 상기 추가 이미지들 및 추가 내러티브중 적어도 하나를 사용자에게 프리젠테이션함으로써 상기 선형 스토리를 변경하는 단계를 포함하는 방법.
- 제 1 항에 있어서,
상기 선형 스토리는 가상 머신 공간에서 장면의 삼차원 설명에 의해 정의되는 스토리 장면을 가지고 있는 이미지들을 포함하고, 상기 선형 스토리를 변경하는 상기 단계 d)는 상기 가상 머신 공간 내의 다른 삼차원 관점에서 상기 이미지의 기본 집합으로부터의 장면을 보여주는 추가 이미지들을 프리젠테이션하는 단계 e)를 포함하는 방법.
- 제 2 항에 있어서,
상기 단계 e)에서 프리젠테이션되는 상기 추가 이미지들은 사용자가 상기 장면으로 들어가는 인상(impression)을 만들어내는 방법.
- 제 2 항에 있어서,
상기 단계 e)에서 프리젠테이션되는 상기 추가 이미지들은 사용자가 상기 장면의 객체를 다른 관점에서 조사하는 인상을 만들어내는 방법.
- 제 2 항에 있어서,
상기 단계 e)에서 프리젠테이션되는 상기 추가 이미지들은 사용자가 상기 장면에서 객체의 뒤를 보고 있는 인상을 만들어내는 방법.
- 제 1 항에 있어서,
상기 선형 스토리는 오디오 내러티브 및 이미지들을 포함하고,
상기 선형 스토리를 프리젠테이션하는 상기 단계 a)는
a1) 사용자가 상기 내러티브를 말하는 단계,
a2) 상기 사용자가 말한 내러티브를 상기 선형 스토리의 대응 이미지들에 매치시키는 단계, 및
a3) 상기 사용자가 말한 내러티브의 속도(pace)에 의해 결정되는 속도로 상기 이미지들을 프리젠테이션하는 단계를 포함하는 방법.
- 제 1 항에 있어서,
상기 선형 스토리는 사용자에게 프리젠테이션되는 오디오 내러티브 및 이미지들을 포함하고,
상기 선형 스토리를 프리젠테이션하는 상기 단계 a)는
a1) 제삼자가 상기 내러티브를 말하는 단계 - 상기 제삼자는 상기 사용자와 함께 있지 않으며 상기 제삼자의 음성은 상기 사용자 근처에서 스피커를 통해 상기 내러티브로서 제공됨,
a2) 상기 제삼자가 말한 내러티브를 상기 선형 스토리의 대응 이미지들에 매치시키는 단계, 및
a3) 상기 제삼자가 말한 내러티브의 속도에 의해 결정되는 속도로 상기 이미지들을 프리젠테이션하는 단계를 포함하는 방법.
- 인터랙티브한 게임 양태들을 선형 스토리로 결합하는 방법을 실행하도록 프로세서를 프로그래밍하는 프로세서-판독가능 저장 매체에 있어서,
상기 방법은
a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 상기 선형 스토리를 프리젠테이션하는 단계 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 상기 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -,
b) 상기 오디오비주얼 장치에 연계된 캡쳐 장치를 통해 사용자에 의한 움직임을 탐지하는 단계,
c) 상기 단계 b)에서 탐지된 상기 움직임이 상기 이미지들의 기본 집합에는 포함되지 않는 추가 이미지들을 가지고 있는 스토리 분기를 포함하도록 상기 선형 스토리의 수정을 필요로 하는 상기 선형 스토리와의 인터랙션인지를 식별하는 단계,
d) 저장되거나 처리된 데이터를 기초로 하여 상기 추가 이미지들이 렌더링될 수 있는지를 판단하는 단계,
e) 상기 추가 이미지들이 상기 단계 d)에서 렌더링될 수 있다고 판단되는 경우, 상기 오디오비주얼 장치를 통해 사용자에게 상기 추가 이미지들을 프리젠테이션함으로써 상기 선형 스토리를 변경하는 단계, 및
f) 사용자 인터랙션에 점수를 매기는 단계 - 상기 인터랙션은 상기 인터랙션에 기초하여 사전 결정된 점수를 부여하거나 빼는 것에 대응됨 - 를 포함하는 프로세서-판독가능 저장 매체.
- 제 8 항에 있어서,
상기 선형 스토리는 가상 머신 공간에서의 상기 장면의 삼차원 설명에 의해 정의된 스토리 장면들을 갖고 있는 이미지들을 포함하고, 상기 선형 스토리를 변경하는 상기 단계 e)는 상기 가상 머신 공간 내의 다른 삼차원 관점에서 상기 이미지들의 기본 집합으로부터의 장면을 보여주는 추가 이미지들을 프리젠테이션하는 단계 g)를 포함하는 프로세서-판독가능 저장 매체.
- 제 8 항에 있어서,
상기 단계 b)는 상기 선형 스토리의 일부로서 디스플레이되는 캐릭터의 적어도 부분적인 제어를 사용자가 맡는 단계 h)를 포함하는 프로세서-판독가능 저장 매체.
- 제 8 항에 있어서,
상기 단계들 a) 및 e)는 정지-이미지 패널, 동적 컴퓨터 그래픽 애니메이션 및 선형 비디오 중 적어도 하나로 상기 선형 스토리 및/또는 스토리 분기를 디스플레이하는 단계를 포함하는 프로세서-판독가능 저장 매체.
- 인터랙티브한 게임 양태들을 선형 스토리로 결합하기 위한 시스템에 있어서,
상기 시스템은
이미지들 및 오디오 나레이션 중 적어도 하나를 프리젠테이션하는 오디오비주얼 장치,
사용자로부터 이미지들 및 오디오 데이터 중 적어도 하나를 캡쳐하는 이미지 캡쳐 장치, 및
상기 오디오비주얼 장치 및 이미지 캡쳐 장치에 접속된 컴퓨팅 환경을 포함하고,
상기 컴퓨팅 환경은
a) 이미지들 및 오디오 내러티브 중 적어도 하나를 사용하여 오디오비주얼 장치를 통해 상기 선형 스토리를 프리젠테이션하고 - 사용자에 의한 인터랙션이 사용자 움직임을 모니터링하는 캡쳐 장치에 의해 감지되지 않는 경우, 상기 선형 스토리는, 처음부터 끝까지 이미지들의 기본 집합을 포함하며, 완전한 스토리로서 프리젠테이션됨 -,
b) 상기 캡쳐 장치를 통해 사용자의 움직임을 탐지하며,
c) 상기 탐지된 움직임이 탐사 제스처인지를 식별하고,
d) 상기 움직임을 탐사 제스처로 식별하면 상기 선형 스토리로부터 스토리 분기로 분기하고, 상기 분기는
d1) 상기 사용자가 가리키는 상기 오디오비주얼 장치 상의 포인트를 감지하고,
d2) 상기 사용자의 일부로부터 사용자가 가리키는 상기 오디오비주얼 장치 상의 상기 포인트까지의 3-D 현실 세계 벡터를 계산하며,
d3) 상기 3-D 현실 세계 벡터를 상기 현재 관점에서의 기점(start point) 및 3-D 머신 공간에서의 상기 가상 객체에서의 종점을 갖고 있는 3-D 머신 공간 벡터로 해석하고, 및
d4) 상기 3-D 머신 공간 벡터의 상기 종점에서의 관점에서 상기 가상 객체를 디스플레이하는 것을 포함하는 시스템.
- 제 12 항에 있어서,
상기 컴퓨팅 환경은 상기 사용자의 머리 위치를 감지하는 상기 캡쳐 장치에 의해 상기 사용자가 가리키는 상기 오디오비주얼 장치 상의 상기 포인트를 감지하는 시스템.
- 제 12 항에 있어서,
상기 컴퓨팅 환경은 상기 사용자의 손이 가리키는 포인트를 감지하는 상기 캡쳐 장치에 의해 상기 사용자가 가리키는 상기 오디오비주얼 장치 상의 상기 포인트를 감지하는 시스템.
- 제 12 항에 있어서,
상기 사용자는 상기 선형 및 분기된 스토리와 인터랙션 시에 상기 사용자의 경험과 관련된 점수를 증가시킬 수 있는 시스템.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/819,983 | 2010-06-21 | ||
US12/819,983 US8381108B2 (en) | 2010-06-21 | 2010-06-21 | Natural user input for driving interactive stories |
PCT/US2011/039881 WO2011162974A2 (en) | 2010-06-21 | 2011-06-09 | Natural user input for driving interactive stories |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130111234A true KR20130111234A (ko) | 2013-10-10 |
KR101838312B1 KR101838312B1 (ko) | 2018-03-13 |
Family
ID=45329786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127033285A KR101838312B1 (ko) | 2010-06-21 | 2011-06-09 | 인터랙티브한 스토리를 구동하기 위한 내츄럴 사용자 입력 |
Country Status (8)
Country | Link |
---|---|
US (2) | US8381108B2 (ko) |
EP (1) | EP2583155A4 (ko) |
JP (1) | JP5944384B2 (ko) |
KR (1) | KR101838312B1 (ko) |
CN (1) | CN102947774B (ko) |
CA (1) | CA2800533C (ko) |
TW (1) | TWI531396B (ko) |
WO (1) | WO2011162974A2 (ko) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101428014B1 (ko) * | 2013-10-31 | 2014-08-07 | 동국대학교 산학협력단 | 가상화 환경에서 nui 및 nux를 시뮬레이션하는 방법 및 장치 |
KR20150125060A (ko) * | 2014-04-29 | 2015-11-09 | 주식회사 두드림 | 체험형 콘텐츠 제공 시스템 및 방법 |
WO2018190507A1 (ko) * | 2017-04-14 | 2018-10-18 | 네이버 주식회사 | 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템 |
KR20190072277A (ko) * | 2017-12-15 | 2019-06-25 | 주식회사 디자인에이포인트 | 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 |
Families Citing this family (102)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8645140B2 (en) * | 2009-02-25 | 2014-02-04 | Blackberry Limited | Electronic device and method of associating a voice font with a contact for text-to-speech conversion at the electronic device |
US8355903B1 (en) | 2010-05-13 | 2013-01-15 | Northwestern University | System and method for using data and angles to automatically generate a narrative story |
US9208147B1 (en) | 2011-01-07 | 2015-12-08 | Narrative Science Inc. | Method and apparatus for triggering the automatic generation of narratives |
US11989659B2 (en) | 2010-05-13 | 2024-05-21 | Salesforce, Inc. | Method and apparatus for triggering the automatic generation of narratives |
US9542091B2 (en) | 2010-06-04 | 2017-01-10 | Apple Inc. | Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator |
US20120042282A1 (en) * | 2010-08-12 | 2012-02-16 | Microsoft Corporation | Presenting Suggested Items for Use in Navigating within a Virtual Space |
US10185477B1 (en) | 2013-03-15 | 2019-01-22 | Narrative Science Inc. | Method and system for configuring automatic generation of narratives from data |
US10657201B1 (en) | 2011-01-07 | 2020-05-19 | Narrative Science Inc. | Configurable and portable system for generating narratives |
US9720899B1 (en) | 2011-01-07 | 2017-08-01 | Narrative Science, Inc. | Automatic generation of narratives from data using communication goals and narrative analytics |
US9092132B2 (en) * | 2011-01-24 | 2015-07-28 | Apple Inc. | Device, method, and graphical user interface with a dynamic gesture disambiguation threshold |
US20120242793A1 (en) * | 2011-03-21 | 2012-09-27 | Soungmin Im | Display device and method of controlling the same |
KR20120119756A (ko) * | 2011-04-22 | 2012-10-31 | 삼성전자주식회사 | 타 기기와 연동하여 상호 동작이 가능한 에듀테인먼트 시스템을 위한 방법 및 장치 |
US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
US8881010B2 (en) * | 2011-09-29 | 2014-11-04 | Microsoft Corporation | Adapting trick commands to prior usage |
US9628843B2 (en) * | 2011-11-21 | 2017-04-18 | Microsoft Technology Licensing, Llc | Methods for controlling electronic devices using gestures |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
US8898687B2 (en) * | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
TWI557685B (zh) * | 2012-05-23 | 2016-11-11 | 雲南恆達睿創三維數字科技有限公司 | 網格動畫製作方法 |
TWI470511B (zh) * | 2012-06-06 | 2015-01-21 | Wistron Corp | 雙模輸入裝置 |
WO2014008185A1 (en) * | 2012-07-02 | 2014-01-09 | Sony Computer Entertainment Inc. | Methods and systems for interaction with an expanded information space |
US9833698B2 (en) * | 2012-09-19 | 2017-12-05 | Disney Enterprises, Inc. | Immersive storytelling environment |
KR20140039757A (ko) * | 2012-09-25 | 2014-04-02 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
US9141281B2 (en) * | 2012-09-28 | 2015-09-22 | Fabrizio Ferri Photography | System and method for controlling the progression of multmedia assets on a computing device |
CN102945672B (zh) * | 2012-09-29 | 2013-10-16 | 深圳市国华识别科技开发有限公司 | 一种多媒体设备语音控制***及方法 |
EP2916558B1 (en) * | 2012-11-05 | 2022-03-09 | Sony Interactive Entertainment Inc. | Information processing device |
US20140192140A1 (en) * | 2013-01-07 | 2014-07-10 | Microsoft Corporation | Visual Content Modification for Distributed Story Reading |
US9448634B1 (en) * | 2013-03-12 | 2016-09-20 | Kabam, Inc. | System and method for providing rewards to a user in a virtual space based on user performance of gestures |
US10268660B1 (en) | 2013-03-15 | 2019-04-23 | Matan Arazi | Real-time event transcription system and method |
US9747898B2 (en) * | 2013-03-15 | 2017-08-29 | Honda Motor Co., Ltd. | Interpretation of ambiguous vehicle instructions |
CN103164995A (zh) * | 2013-04-03 | 2013-06-19 | 湖南第一师范学院 | 儿童体感交互式学习***及方法 |
TW201510771A (zh) * | 2013-09-05 | 2015-03-16 | Utechzone Co Ltd | 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體 |
US9474068B2 (en) | 2013-09-16 | 2016-10-18 | Disney Enterprises, Inc. | Storytelling simulator and device communication |
US9836984B2 (en) * | 2013-09-16 | 2017-12-05 | Disney Enterprises, Inc. | Storytelling environment: story and playgroup creation |
US20150165310A1 (en) * | 2013-12-17 | 2015-06-18 | Microsoft Corporation | Dynamic story driven gameworld creation |
TWI530909B (zh) | 2013-12-31 | 2016-04-21 | 財團法人工業技術研究院 | 影像合成系統及方法 |
US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9898162B2 (en) | 2014-05-30 | 2018-02-20 | Apple Inc. | Swiping functions for messaging applications |
US9971500B2 (en) | 2014-06-01 | 2018-05-15 | Apple Inc. | Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application |
US10852838B2 (en) | 2014-06-14 | 2020-12-01 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9602191B2 (en) * | 2014-06-27 | 2017-03-21 | X Development Llc | Streaming display data from a mobile device using backscatter communications |
CN106232010B (zh) * | 2014-07-02 | 2020-03-31 | 柯惠有限合伙公司 | 用于检测气管的***和方法 |
US20160094866A1 (en) * | 2014-09-29 | 2016-03-31 | Amazon Technologies, Inc. | User interaction analysis module |
US20160103655A1 (en) * | 2014-10-08 | 2016-04-14 | Microsoft Corporation | Co-Verbal Interactions With Speech Reference Point |
US11341338B1 (en) | 2016-08-31 | 2022-05-24 | Narrative Science Inc. | Applied artificial intelligence technology for interactively using narrative analytics to focus and control visualizations of data |
US10747823B1 (en) | 2014-10-22 | 2020-08-18 | Narrative Science Inc. | Interactive and conversational data exploration |
US11288328B2 (en) | 2014-10-22 | 2022-03-29 | Narrative Science Inc. | Interactive and conversational data exploration |
US11238090B1 (en) | 2015-11-02 | 2022-02-01 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from visualization data |
US11922344B2 (en) | 2014-10-22 | 2024-03-05 | Narrative Science Llc | Automatic generation of narratives from data using communication goals and narrative analytics |
US11250630B2 (en) * | 2014-11-18 | 2022-02-15 | Hallmark Cards, Incorporated | Immersive story creation |
KR101630153B1 (ko) * | 2014-12-10 | 2016-06-24 | 현대자동차주식회사 | 제스처 인식 장치, 그를 가지는 차량 및 차량의 제어 방법 |
CN104898669B (zh) * | 2015-04-30 | 2019-01-11 | 广东虚拟现实科技有限公司 | 一种基于惯性传感器进行虚拟现实行走控制的方法及*** |
CN104932549B (zh) * | 2015-06-01 | 2018-12-21 | 广东小天才科技有限公司 | 一种智能控制终端旋转的方法 |
WO2016209039A1 (ko) * | 2015-06-24 | 2016-12-29 | 주식회사 브이터치 | 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
GB2559296A (en) | 2015-08-25 | 2018-08-01 | Bernard Davis George | Presenting interactive content |
US10249091B2 (en) * | 2015-10-09 | 2019-04-02 | Warner Bros. Entertainment Inc. | Production and packaging of entertainment data for virtual reality |
US11232268B1 (en) | 2015-11-02 | 2022-01-25 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from line charts |
US11222184B1 (en) | 2015-11-02 | 2022-01-11 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from bar charts |
US11170038B1 (en) | 2015-11-02 | 2021-11-09 | Narrative Science Inc. | Applied artificial intelligence technology for using narrative analytics to automatically generate narratives from multiple visualizations |
US10928915B2 (en) * | 2016-02-10 | 2021-02-23 | Disney Enterprises, Inc. | Distributed storytelling environment |
US10311622B2 (en) * | 2016-03-29 | 2019-06-04 | Htc Corporation | Virtual reality device and method for virtual reality |
US10092827B2 (en) * | 2016-06-16 | 2018-10-09 | Disney Enterprises, Inc. | Active trigger poses |
JP6190497B1 (ja) * | 2016-07-13 | 2017-08-30 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
TWI605862B (zh) * | 2016-07-28 | 2017-11-21 | 南臺科技大學 | 可偵測認知功能的個人化遊戲系統 |
US10272329B2 (en) * | 2016-08-10 | 2019-04-30 | Google Llc | Cooperative immersive live action 360-degree video and virtual reality |
US10135950B2 (en) * | 2016-10-10 | 2018-11-20 | Google Llc | Creating a cinematic storytelling experience using network-addressable devices |
US10525355B2 (en) * | 2016-11-01 | 2020-01-07 | Htc Corporation | Method, device, and non-transitory computer readable storage medium for interaction to event in virtual space |
US10990753B2 (en) * | 2016-11-16 | 2021-04-27 | Disney Enterprises, Inc. | Systems and methods for a procedural system for emergent narrative construction |
US10467808B2 (en) | 2017-02-09 | 2019-11-05 | Disney Enterprises, Inc. | Systems and methods to provide narrative experiences for users of a virtual space |
US11068661B1 (en) | 2017-02-17 | 2021-07-20 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on smart attributes |
US10762304B1 (en) * | 2017-02-17 | 2020-09-01 | Narrative Science | Applied artificial intelligence technology for performing natural language generation (NLG) using composable communication goals and ontologies to generate narrative stories |
US11568148B1 (en) | 2017-02-17 | 2023-01-31 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on explanation communication goals |
US10699079B1 (en) | 2017-02-17 | 2020-06-30 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on analysis communication goals |
US11954445B2 (en) | 2017-02-17 | 2024-04-09 | Narrative Science Llc | Applied artificial intelligence technology for narrative generation based on explanation communication goals |
US10943069B1 (en) | 2017-02-17 | 2021-03-09 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation based on a conditional outcome framework |
US11433302B2 (en) | 2017-10-16 | 2022-09-06 | Lego A/S | Interactive play apparatus |
US10535345B2 (en) * | 2017-10-20 | 2020-01-14 | Yingjia LIU | Interactive method and system for generating fictional story |
WO2019083805A1 (en) * | 2017-10-23 | 2019-05-02 | Intuitive Surgical Operations, Inc. | SYSTEMS AND METHODS FOR PRESENTING ENHANCED REALITY ON A SCREEN OF A TELEOPERATION SYSTEM |
TWI635418B (zh) * | 2017-11-14 | 2018-09-11 | 國立政治大學 | Wearable virtual interactive display system |
US11042709B1 (en) | 2018-01-02 | 2021-06-22 | Narrative Science Inc. | Context saliency-based deictic parser for natural language processing |
US11561986B1 (en) | 2018-01-17 | 2023-01-24 | Narrative Science Inc. | Applied artificial intelligence technology for narrative generation using an invocable analysis service |
US10755046B1 (en) | 2018-02-19 | 2020-08-25 | Narrative Science Inc. | Applied artificial intelligence technology for conversational inferencing |
US11343595B2 (en) | 2018-03-01 | 2022-05-24 | Podop, Inc. | User interface elements for content selection in media narrative presentation |
US10936124B2 (en) * | 2018-05-21 | 2021-03-02 | Compal Electronics, Inc. | Interactive projection system and interactive projection method |
US11232270B1 (en) | 2018-06-28 | 2022-01-25 | Narrative Science Inc. | Applied artificial intelligence technology for using natural language processing to train a natural language generation system with respect to numeric style features |
US11012760B2 (en) * | 2018-10-03 | 2021-05-18 | Wanjeru Kingori | System and method for branching-plot video content and editing thereof |
CN109284056A (zh) * | 2018-10-24 | 2019-01-29 | 深圳市领点科技有限公司 | 一种高效的虚拟场景共享方法和装置 |
US11145306B1 (en) | 2018-10-31 | 2021-10-12 | Ossum Technology Inc. | Interactive media system using audio inputs |
US11341330B1 (en) | 2019-01-28 | 2022-05-24 | Narrative Science Inc. | Applied artificial intelligence technology for adaptive natural language understanding with term discovery |
US11017688B1 (en) | 2019-04-22 | 2021-05-25 | Matan Arazi | System, method, and program product for interactively prompting user decisions |
US11551803B1 (en) | 2019-04-22 | 2023-01-10 | Aimcast Ip, Llc | System, method, and program product for generating and providing simulated user absorption information |
US11228810B1 (en) | 2019-04-22 | 2022-01-18 | Matan Arazi | System, method, and program product for interactively prompting user decisions |
US11328009B2 (en) * | 2019-08-28 | 2022-05-10 | Rovi Guides, Inc. | Automated content generation and delivery |
US11520677B1 (en) | 2019-09-25 | 2022-12-06 | Aimcast Ip, Llc | Real-time Iot device reliability and maintenance system and method |
CN111212311A (zh) * | 2020-01-13 | 2020-05-29 | 四川长虹电器股份有限公司 | 一种语音交互视频的生成及播放方法 |
CN113409778A (zh) * | 2020-03-16 | 2021-09-17 | 阿里巴巴集团控股有限公司 | 语音交互方法、***和终端 |
US11394799B2 (en) * | 2020-05-07 | 2022-07-19 | Freeman Augustus Jackson | Methods, systems, apparatuses, and devices for facilitating for generation of an interactive story based on non-interactive data |
US11285388B2 (en) * | 2020-08-31 | 2022-03-29 | Nawaf Al Dohan | Systems and methods for determining story path based on audience interest |
EP3979245A1 (en) * | 2020-09-30 | 2022-04-06 | Al Sports Coach GmbH | System and method for providing interactive storytelling |
US12045383B2 (en) | 2022-09-01 | 2024-07-23 | Snap Inc. | Virtual AR interfaces for controlling IoT devices using mobile device orientation sensors |
US20240077984A1 (en) * | 2022-09-01 | 2024-03-07 | Lei Zhang | Recording following behaviors between virtual objects and user avatars in ar experiences |
CN116009748B (zh) * | 2023-03-28 | 2023-06-06 | 深圳市人马互动科技有限公司 | 儿童互动故事中图片信息交互方法及装置 |
Family Cites Families (241)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5274758A (en) * | 1989-06-16 | 1993-12-28 | International Business Machines | Computer-based, audio/visual creation and presentation system and method |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
US5181162A (en) * | 1989-12-06 | 1993-01-19 | Eastman Kodak Company | Document management and production system |
JPH03103822U (ko) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
JPH04307585A (ja) * | 1991-04-05 | 1992-10-29 | Matsushita Electric Ind Co Ltd | 語学学習装置 |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
WO1993010708A1 (en) | 1991-12-03 | 1993-06-10 | French Sportech Corporation | Interactive video testing and training system |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
US5953485A (en) * | 1992-02-07 | 1999-09-14 | Abecassis; Max | Method and system for maintaining audio during video control |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5938447A (en) * | 1993-09-24 | 1999-08-17 | Readspeak, Inc. | Method and system for making an audio-visual work with a series of visual word symbols coordinated with oral word utterances and such audio-visual work |
US6062863A (en) * | 1994-09-22 | 2000-05-16 | Kirksey; William E. | Method of associating oral utterances meaningfully with word symbols seriatim in an audio-visual work and apparatus for linear and interactive application |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5692212A (en) | 1994-06-22 | 1997-11-25 | Roach; Richard Gregory | Interactive multimedia movies and techniques |
US5999172A (en) * | 1994-06-22 | 1999-12-07 | Roach; Richard Gregory | Multimedia techniques |
US5948040A (en) * | 1994-06-24 | 1999-09-07 | Delorme Publishing Co. | Travel reservation information and planning system |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
JPH0926970A (ja) * | 1994-12-20 | 1997-01-28 | Sun Microsyst Inc | 情報を検索するコンピュータによる実行方法及び装置 |
US5799304A (en) * | 1995-01-03 | 1998-08-25 | Intel Corporation | Information evaluation |
US5636995A (en) * | 1995-01-17 | 1997-06-10 | Stephen A. Schwartz | Interactive story book and graphics tablet apparatus and methods for operating the same |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
AU5442796A (en) * | 1995-04-06 | 1996-10-23 | Avid Technology, Inc. | Graphical multimedia authoring system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
GB9517806D0 (en) * | 1995-08-31 | 1995-11-01 | Philips Electronics Uk Ltd | Information handling for interactive apparatus |
GB9517808D0 (en) | 1995-08-31 | 1995-11-01 | Philips Electronics Uk Ltd | Interactive entertainment personalisation |
WO1999044698A2 (en) | 1998-03-03 | 1999-09-10 | Arena, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US6028593A (en) | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
US6278418B1 (en) | 1995-12-29 | 2001-08-21 | Kabushiki Kaisha Sega Enterprises | Three-dimensional imaging system, game device, method for same and recording medium |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
GB9602431D0 (en) | 1996-02-07 | 1996-04-03 | Philips Electronics Nv | Interactive audio entertainment apparatus |
WO1997030397A1 (en) * | 1996-02-16 | 1997-08-21 | Cyber Marketing, Inc. | Remote interactive multimedia preview and data collection kiosk system |
CA2253626A1 (en) | 1996-05-08 | 1997-11-13 | Real Vision Corporation | Real time simulation using position sensing |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
AU3954997A (en) | 1996-08-14 | 1998-03-06 | Nurakhmed Nurislamovich Latypov | Method for following and imaging a subject's three-dimensional position and orientation, method for presenting a virtual space to a subject, and systems for implementing said methods |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
ATE232621T1 (de) | 1996-12-20 | 2003-02-15 | Hitachi Europ Ltd | Verfahren und system zur erkennung von handgesten |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6705868B1 (en) | 1998-03-18 | 2004-03-16 | Purdue Research Foundation | Apparatus and methods for a shape memory spring actuator and display |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
WO1999019840A1 (en) | 1997-10-15 | 1999-04-22 | Electric Planet, Inc. | A system and method for generating an animatable character |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
AU1099899A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6243740B1 (en) * | 1998-02-13 | 2001-06-05 | Xerox Corporation | Public interactive document |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6088020A (en) | 1998-08-12 | 2000-07-11 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | Haptic device |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
DE69936620T2 (de) | 1998-09-28 | 2008-05-21 | Matsushita Electric Industrial Co., Ltd., Kadoma | Verfahren und Vorrichtung zum Segmentieren von Handgebärden |
AU1930700A (en) | 1998-12-04 | 2000-06-26 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
EP2026035A2 (en) | 1998-12-16 | 2009-02-18 | 3DV Systems Ltd. | 3D camera for distance measurements |
US6342901B1 (en) * | 1998-12-22 | 2002-01-29 | Xerox Corporation | Interactive device for displaying information from multiple sources |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6190174B1 (en) | 1999-06-03 | 2001-02-20 | Kader Industrial Company Limited | Electronic story board |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
US6408257B1 (en) * | 1999-08-31 | 2002-06-18 | Xerox Corporation | Augmented-reality display method and system |
US6512838B1 (en) | 1999-09-22 | 2003-01-28 | Canesta, Inc. | Methods for enhancing performance and data acquired from three-dimensional image systems |
US7333967B1 (en) | 1999-12-23 | 2008-02-19 | International Business Machines Corporation | Method and system for automatic computation creativity and specifically for story generation |
US6674877B1 (en) | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US7445550B2 (en) * | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US7878905B2 (en) * | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US7246315B1 (en) | 2000-05-10 | 2007-07-17 | Realtime Drama, Inc. | Interactive personal narrative agent system and method |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6544040B1 (en) | 2000-06-27 | 2003-04-08 | Cynthia P. Brelis | Method, apparatus and article for presenting a narrative, including user selectable levels of detail |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US20020108009A1 (en) * | 2000-12-29 | 2002-08-08 | Michele Borgatti | Electronic system having modular expansion function facilities |
BR0207103A (pt) * | 2001-02-07 | 2004-03-02 | Infosphere Inc | Método para transferir uma apresentação de meios interativos para um terminal de cliente; e sistema de computador para a transferência de uma apresentação de meios interativos a um terminal de cliente |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US20040174431A1 (en) * | 2001-05-14 | 2004-09-09 | Stienstra Marcelle Andrea | Device for interacting with real-time streams of content |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
US6705686B2 (en) | 2002-03-26 | 2004-03-16 | Ford Motor Company | Method and apparatus for braking a hybrid electric vehicle |
US7062712B2 (en) * | 2002-04-09 | 2006-06-13 | Fuji Xerox Co., Ltd. | Binding interactive multichannel digital document system |
ATE321689T1 (de) | 2002-04-19 | 2006-04-15 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US7646372B2 (en) * | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7627139B2 (en) | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US7962430B1 (en) * | 2002-11-11 | 2011-06-14 | James Ralph Heidenreich | Systems and methods for facilitating user thinking about an arbitrary problem with additional search capabilities |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
EP1477924B1 (en) | 2003-03-31 | 2007-05-02 | HONDA MOTOR CO., Ltd. | Gesture recognition apparatus, method and program |
US7372977B2 (en) | 2003-05-29 | 2008-05-13 | Honda Motor Co., Ltd. | Visual tracking using depth data |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
JP4546956B2 (ja) | 2003-06-12 | 2010-09-22 | 本田技研工業株式会社 | 奥行き検出を用いた対象の向きの推定 |
WO2005041579A2 (en) | 2003-10-24 | 2005-05-06 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
US20080088631A1 (en) * | 2003-11-19 | 2008-04-17 | Reuven Bakalash | Multi-mode parallel graphics rendering and display system supporting real-time detection of scene profile indices programmed within pre-profiled scenes of the graphics-based application |
WO2005104010A2 (en) | 2004-04-15 | 2005-11-03 | Gesture Tek, Inc. | Tracking bimanual movements |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7295220B2 (en) * | 2004-05-28 | 2007-11-13 | National University Of Singapore | Interactive system and method |
KR100458287B1 (ko) * | 2004-06-07 | 2004-11-26 | 엔에이치엔(주) | 건물 발전 방식의 온라인 롤-플레잉 게임 서비스 시스템 및 그 방법 |
US20060003824A1 (en) * | 2004-07-01 | 2006-01-05 | Aruze Corporation | Game system |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
KR100754385B1 (ko) | 2004-09-30 | 2007-08-31 | 삼성전자주식회사 | 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법 |
US20060190285A1 (en) * | 2004-11-04 | 2006-08-24 | Harris Trevor M | Method and apparatus for storage and distribution of real estate related data |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
PE20060777A1 (es) * | 2004-12-24 | 2006-10-06 | Boehringer Ingelheim Int | Derivados de indolinona para el tratamiento o la prevencion de enfermedades fibroticas |
US7379566B2 (en) | 2005-01-07 | 2008-05-27 | Gesturetek, Inc. | Optical flow based tilt sensor |
JP2008537190A (ja) | 2005-01-07 | 2008-09-11 | ジェスチャー テック,インコーポレイテッド | 赤外線パターンを照射することによる対象物の三次元像の生成 |
ES2791718T3 (es) | 2005-01-07 | 2020-11-05 | Qualcomm Inc | Detección y seguimiento de objetos en imágenes |
WO2006086508A2 (en) | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
US7492367B2 (en) | 2005-03-10 | 2009-02-17 | Motus Corporation | Apparatus, system and method for interpreting and reproducing physical motion |
JPWO2006098299A1 (ja) * | 2005-03-14 | 2008-08-21 | 新世代株式会社 | 情報処理システム及びそのための情報入力装置 |
US7317836B2 (en) | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
EP1886509B1 (en) | 2005-05-17 | 2017-01-18 | Qualcomm Incorporated | Orientation-sensitive signal output |
TW200707257A (en) | 2005-08-10 | 2007-02-16 | Hong-Yi Lin | Image interactive story house |
TWI412392B (zh) * | 2005-08-12 | 2013-10-21 | Koninkl Philips Electronics Nv | 互動式娛樂系統及其操作方法 |
ATE412882T1 (de) | 2005-08-12 | 2008-11-15 | Mesa Imaging Ag | Hochempfindliches, schnelles pixel für anwendung in einem bildsensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
US20070087798A1 (en) * | 2005-10-13 | 2007-04-19 | Elliot Mcgucken | Morality system and method for video game: system and method for creating story, deeper meaning and emotions, enhanced characters and AI, and dramatic art in video games |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
EP1966767A2 (en) * | 2005-12-31 | 2008-09-10 | BRACCO IMAGING S.p.A. | Systems and methods for collaborative interactive visualization of 3d data sets over a network ("dextronet") |
US7627536B2 (en) | 2006-06-13 | 2009-12-01 | Microsoft Corporation | Dynamic interaction menus from natural language representations |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
US9696808B2 (en) * | 2006-07-13 | 2017-07-04 | Northrop Grumman Systems Corporation | Hand-gesture recognition method |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
EP1912193A1 (en) * | 2006-10-02 | 2008-04-16 | Koninklijke Philips Electronics N.V. | Interactive storyteller system |
TW200839666A (en) | 2006-11-14 | 2008-10-01 | Patent Category Corp | Interactive system |
US8351646B2 (en) | 2006-12-21 | 2013-01-08 | Honda Motor Co., Ltd. | Human pose estimation and tracking using label assignment |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
WO2008107905A2 (en) * | 2007-03-08 | 2008-09-12 | Sync-Rx, Ltd. | Imaging and tools for use with moving organs |
US20080252596A1 (en) | 2007-04-10 | 2008-10-16 | Matthew Bell | Display Using a Three-Dimensional vision System |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
JP5430572B2 (ja) | 2007-09-14 | 2014-03-05 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | ジェスチャベースのユーザインタラクションの処理 |
EP2203893A4 (en) | 2007-10-30 | 2014-05-07 | Hewlett Packard Development Co | INTERACTIVE DISPLAY SYSTEM WITH GROUP GESTURE DETECTION |
US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
KR100930370B1 (ko) * | 2007-11-30 | 2009-12-08 | 광주과학기술원 | 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체 |
GB2455316B (en) | 2007-12-04 | 2012-08-15 | Sony Corp | Image processing apparatus and method |
WO2009101153A2 (en) * | 2008-02-13 | 2009-08-20 | Ubisoft Entertainment S.A. | Live-action image capture |
CN102016877B (zh) | 2008-02-27 | 2014-12-10 | 索尼计算机娱乐美国有限责任公司 | 用于捕获场景的深度数据并且应用计算机动作的方法 |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
US8904430B2 (en) * | 2008-04-24 | 2014-12-02 | Sony Computer Entertainment America, LLC | Method and apparatus for real-time viewer interaction with a media presentation |
MY168264A (en) * | 2008-07-15 | 2018-10-16 | Dtt holdings pty ltd | Method for preparing a patent for a medical treatment |
WO2010019632A1 (en) * | 2008-08-11 | 2010-02-18 | Haven Holdings Llc | Interactive entertainment and competition system |
US9399167B2 (en) | 2008-10-14 | 2016-07-26 | Microsoft Technology Licensing, Llc | Virtual space mapping of a variable activity region |
CN101739120A (zh) * | 2008-11-12 | 2010-06-16 | 华硕电脑股份有限公司 | 交互式显示方法及其相关显示装置 |
US8219513B2 (en) * | 2008-12-19 | 2012-07-10 | Eastman Kodak Company | System and method for generating a context enhanced work of communication |
WO2010132718A2 (en) * | 2009-05-13 | 2010-11-18 | Coincident.Tv , Inc. | Playing and editing linked and annotated audiovisual works |
WO2010138975A1 (en) * | 2009-05-29 | 2010-12-02 | Sk Telecom Americas, Inc. | System and method for motivating users to improve their wellness |
US8510656B2 (en) * | 2009-10-29 | 2013-08-13 | Margery Kravitz Schwarz | Interactive storybook system and method |
US9299223B2 (en) * | 2010-05-19 | 2016-03-29 | Bally Gaming, Inc. | Controlling bingo game interactivity |
WO2011149558A2 (en) * | 2010-05-28 | 2011-12-01 | Abelow Daniel H | Reality alternate |
EP2617025B1 (en) * | 2010-09-13 | 2019-05-08 | Barry Lynn Jenkins | Delivering and controlling streaming interactive media comprising renderable geometric, texture and lighting data |
US8613646B2 (en) * | 2011-01-21 | 2013-12-24 | Henk B. Rogers | Systems and methods for controlling player characters in an interactive multiplayer story |
US10127563B2 (en) * | 2011-09-15 | 2018-11-13 | Stephan HEATH | System and method for providing sports and sporting events related social/geo/promo link promotional data sets for end user display of interactive ad links, promotions and sale of products, goods, gambling and/or services integrated with 3D spatial geomapping, company and local information for selected worldwide locations and social networking |
US9031382B1 (en) * | 2011-10-20 | 2015-05-12 | Coincident.Tv, Inc. | Code execution in complex audiovisual experiences |
-
2010
- 2010-06-21 US US12/819,983 patent/US8381108B2/en active Active
-
2011
- 2011-04-29 TW TW100115150A patent/TWI531396B/zh not_active IP Right Cessation
- 2011-06-09 KR KR1020127033285A patent/KR101838312B1/ko active IP Right Grant
- 2011-06-09 CA CA2800533A patent/CA2800533C/en active Active
- 2011-06-09 EP EP11798610.9A patent/EP2583155A4/en not_active Withdrawn
- 2011-06-09 JP JP2013516598A patent/JP5944384B2/ja active Active
- 2011-06-09 CN CN201180030439.3A patent/CN102947774B/zh active Active
- 2011-06-09 WO PCT/US2011/039881 patent/WO2011162974A2/en active Application Filing
-
2013
- 2013-02-19 US US13/770,483 patent/US9274747B2/en active Active
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101428014B1 (ko) * | 2013-10-31 | 2014-08-07 | 동국대학교 산학협력단 | 가상화 환경에서 nui 및 nux를 시뮬레이션하는 방법 및 장치 |
KR20150125060A (ko) * | 2014-04-29 | 2015-11-09 | 주식회사 두드림 | 체험형 콘텐츠 제공 시스템 및 방법 |
WO2018190507A1 (ko) * | 2017-04-14 | 2018-10-18 | 네이버 주식회사 | 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템 |
US11004452B2 (en) | 2017-04-14 | 2021-05-11 | Naver Corporation | Method and system for multimodal interaction with sound device connected to network |
KR20190072277A (ko) * | 2017-12-15 | 2019-06-25 | 주식회사 디자인에이포인트 | 제스처 인식 모듈을 이용한 부동산 모델하우스 가상공간에 대한 이동 및 제어 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR101838312B1 (ko) | 2018-03-13 |
US9274747B2 (en) | 2016-03-01 |
CN102947774B (zh) | 2016-05-04 |
CA2800533A1 (en) | 2011-12-29 |
CN102947774A (zh) | 2013-02-27 |
JP5944384B2 (ja) | 2016-07-05 |
EP2583155A4 (en) | 2013-10-16 |
US8381108B2 (en) | 2013-02-19 |
TWI531396B (zh) | 2016-05-01 |
TW201210663A (en) | 2012-03-16 |
EP2583155A2 (en) | 2013-04-24 |
JP2013538593A (ja) | 2013-10-17 |
WO2011162974A2 (en) | 2011-12-29 |
WO2011162974A3 (en) | 2012-03-29 |
US20130165225A1 (en) | 2013-06-27 |
CA2800533C (en) | 2018-03-06 |
US20110314381A1 (en) | 2011-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9274747B2 (en) | Natural user input for driving interactive stories | |
US10534438B2 (en) | Compound gesture-speech commands | |
US8866898B2 (en) | Living room movie creation | |
US8542252B2 (en) | Target digitization, extraction, and tracking | |
JP5632474B2 (ja) | ユーザーから学習した入力を介し視覚表示を実写のようにする方法及びシステム | |
US8334842B2 (en) | Recognizing user intent in motion capture system | |
US20110311144A1 (en) | Rgb/depth camera for improving speech recognition | |
KR101643020B1 (ko) | 애니메이션을 체이닝하는 방법 및 애니메이션 블렌딩 장치 | |
JP5859456B2 (ja) | プレゼンテーション用カメラ・ナビゲーション | |
US8654152B2 (en) | Compartmentalizing focus area within field of view | |
US9400695B2 (en) | Low latency rendering of objects | |
US8856691B2 (en) | Gesture tool | |
US9069381B2 (en) | Interacting with a computer based application | |
US20110221755A1 (en) | Bionic motion | |
CN102449576A (zh) | 姿势快捷方式 | |
US20100295771A1 (en) | Control of display objects | |
US20120311503A1 (en) | Gesture to trigger application-pertinent information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
AMND | Amendment | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |