JP7462069B2 - 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択 - Google Patents
複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択 Download PDFInfo
- Publication number
- JP7462069B2 JP7462069B2 JP2022562530A JP2022562530A JP7462069B2 JP 7462069 B2 JP7462069 B2 JP 7462069B2 JP 2022562530 A JP2022562530 A JP 2022562530A JP 2022562530 A JP2022562530 A JP 2022562530A JP 7462069 B2 JP7462069 B2 JP 7462069B2
- Authority
- JP
- Japan
- Prior art keywords
- space
- location
- instructions
- user
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 title claims description 14
- 238000000034 method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 239000011521 glass Substances 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001931 thermography Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
- A63F13/35—Details of game servers
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
- A63F13/525—Changing parameters of virtual cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
- A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
Claims (20)
- 命令でプログラムされた少なくとも1つのプロセッサ、
を含む装置であって、
前記命令は、前記少なくとも1つのプロセッサによって、
ユーザによって識別される空間内の少なくとも1つの位置であって、前記ユーザによって装着される頭部搭載型装置から離れた前記少なくとも1つの位置を識別することであって、前記空間内の位置は、カメラと同じ位置に配置されない、識別することと、
それぞれの複数のカメラによって生成された前記空間の複数のビデオにアクセスして、前記空間内の位置のバンテージポイントから前記空間の合成ビデオを生成することであって、前記複数のカメラは、前記頭部搭載型装置に搭載される、生成することと、
前記合成ビデオを少なくとも1つの頭部搭載型装置に表示することと、
を実行可能である、前記装置。 - 前記頭部搭載型装置は、拡張現実ヘッドマウントディスプレイ(HMD)を含む、請求項1に記載の装置。
- 前記頭部搭載型装置は、拡張現実メガネを含む、請求項1に記載の装置。
- 前記バンテージポイントは、仮想カメラの位置及び向きを含む、請求項1に記載の装置。
- 前記命令は、レーザからの光を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項1に記載の装置。
- 前記命令は、前記頭部搭載型装置の着用者のジェスチャを撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項1に記載の装置。
- 前記命令は、前記頭部搭載型装置の着用者の眼を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項1に記載の装置。
- 前記命令は、ビデオ撮像を必要とする空間内の領域のインジケーションを前記頭部搭載型装置に提示することを実行可能である、請求項1に記載の装置。
- 前記命令は、
前記ユーザの位置及び動きを識別することと、
前記合成ビデオに、空間内の前記ユーザの前記位置で描かれた前記ユーザを表すアバターであって、前記ユーザの前記動きに従って動く前記アバターを含ませることと、
を実行可能である、請求項1に記載の装置。 - 前記命令は、音声信号に少なくとも部分的に基づいて前記空間内の位置を識別することを実行可能である、請求項1に記載の装置。
- 少なくとも1つのそれぞれのカメラを各々が含む、少なくとも第一及び第二ヘッドマウントデバイス(HMD)と、
命令によってプログラムされた少なくとも1つのプロセッサと、
を含むアセンブリであって、
前記命令は、前記プロセッサを、
カメラが位置付けられていない空間内の少なくとも1つの位置を識別し、
前記HMDの前記カメラからの画像を使用して、前記空間内の前記位置のバンテージポイントからのビデオを生成し、
前記HMDのうちの少なくとも1つに前記ビデオを提示する、
ように構成する、前記アセンブリ。 - 前記バンテージポイントは、仮想カメラの位置及び向きを含む、請求項11に記載のアセンブリ。
- 前記命令は、レーザからの光を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項11に記載のアセンブリ。
- 前記命令は、前記HMDのうちの1つの着用者のジェスチャを撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項11に記載のアセンブリ。
- 前記命令は、前記HMDのうちの1つの着用者の眼を撮像することに少なくとも部分的に基づいて、前記空間内の位置を識別することを実行可能である、請求項11に記載のアセンブリ。
- 前記命令は、ビデオ撮像を必要とする空間内の領域のインジケーションを前記HMDの少なくとも1つに提示することを実行可能である、請求項11に記載のアセンブリ。
- それぞれのカメラによって撮られた空間の複数のビデオから合成ビデオを生成することであって、前記合成ビデオは、前記それぞれのカメラのそれぞれの位置から離れたバンテージポイントから、ユーザによる前記バンテージポイントの識別に基づいて生成される、生成することと、
前記ユーザが装着した頭部搭載型装置に前記合成ビデオを提示することであって、前記頭部搭載型装置は、前記バンテージポイントから離れている、提示することと、
を含む、方法。 - 前記カメラは、それぞれの頭部搭載型装置に搭載される、請求項17に記載の方法。
- レーザからの光を撮像することに少なくとも部分的に基づいて前記バンテージポイントを識別することを含む、請求項17に記載の方法。
- 前記ユーザを撮像することに少なくとも部分的に基づいて前記バンテージポイントを識別することを含む、請求項17に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/871,819 US11431952B2 (en) | 2020-05-11 | 2020-05-11 | User selection of virtual camera location to produce video using synthesized input from multiple cameras |
US16/871,819 | 2020-05-11 | ||
PCT/US2021/031725 WO2021231390A1 (en) | 2020-05-11 | 2021-05-11 | User selection of virtual camera location to produce video using synthesized input from multiple cameras |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023522654A JP2023522654A (ja) | 2023-05-31 |
JP7462069B2 true JP7462069B2 (ja) | 2024-04-04 |
Family
ID=78413290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022562530A Active JP7462069B2 (ja) | 2020-05-11 | 2021-05-11 | 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11431952B2 (ja) |
EP (1) | EP4150588A4 (ja) |
JP (1) | JP7462069B2 (ja) |
CN (1) | CN115485736A (ja) |
WO (1) | WO2021231390A1 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007042073A (ja) | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
WO2014162825A1 (ja) | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
WO2017068824A1 (ja) | 2015-10-21 | 2017-04-27 | シャープ株式会社 | 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP2018097280A (ja) | 2016-12-16 | 2018-06-21 | カシオ計算機株式会社 | 表示装置、表示方法及びプログラム |
JP2018113683A (ja) | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2018156339A (ja) | 2017-03-16 | 2018-10-04 | 株式会社リコー | 情報表示システム、情報表示装置、制御方法、およびプログラム |
WO2018193509A1 (ja) | 2017-04-17 | 2018-10-25 | 株式会社オプティム | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム |
JP2019179080A (ja) | 2018-03-30 | 2019-10-17 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6133944A (en) * | 1995-12-18 | 2000-10-17 | Telcordia Technologies, Inc. | Head mounted displays linked to networked electronic panning cameras |
US9619104B2 (en) * | 2010-10-01 | 2017-04-11 | Smart Technologies Ulc | Interactive input system having a 3D input space |
WO2014106823A2 (en) * | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
JP6641122B2 (ja) * | 2015-08-27 | 2020-02-05 | キヤノン株式会社 | 表示装置及び情報処理装置及びその制御方法 |
US20180261120A1 (en) * | 2015-12-01 | 2018-09-13 | Sharp Kabushiki Kaisha | Video generating device, method of controlling video generating device, display system, video generation control program, and computer-readable storage medium |
JP6212667B1 (ja) | 2016-12-26 | 2017-10-11 | 株式会社コロプラ | 仮想空間を介して通信するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置 |
WO2018144396A1 (en) | 2017-02-02 | 2018-08-09 | PreNav, Inc. | Tracking image collection for digital capture of environments, and associated systems and methods |
US10204456B2 (en) * | 2017-03-07 | 2019-02-12 | vGolf, LLC | Mixed reality golf simulation and training system |
JP6257827B1 (ja) * | 2017-06-01 | 2018-01-10 | 株式会社コロプラ | 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置 |
US10460515B2 (en) * | 2017-08-07 | 2019-10-29 | Jaunt, Inc. | Systems and methods for reference-model-based modification of a three-dimensional (3D) mesh data model |
JP6419916B1 (ja) * | 2017-09-04 | 2018-11-07 | 株式会社コロプラ | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
CN113010125B (zh) * | 2019-12-20 | 2024-03-19 | 托比股份公司 | 方法、计算机程序产品和双目式头戴装置控制器 |
-
2020
- 2020-05-11 US US16/871,819 patent/US11431952B2/en active Active
-
2021
- 2021-05-11 EP EP21804079.8A patent/EP4150588A4/en active Pending
- 2021-05-11 WO PCT/US2021/031725 patent/WO2021231390A1/en unknown
- 2021-05-11 CN CN202180031459.6A patent/CN115485736A/zh active Pending
- 2021-05-11 JP JP2022562530A patent/JP7462069B2/ja active Active
-
2022
- 2022-08-13 US US17/819,624 patent/US11689704B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007042073A (ja) | 2005-07-01 | 2007-02-15 | Canon Inc | 映像提示システム、映像提示方法、該映像提示方法をコンピュータに実行させるためのプログラム、および記憶媒体 |
WO2014162825A1 (ja) | 2013-04-04 | 2014-10-09 | ソニー株式会社 | 表示制御装置、表示制御方法およびプログラム |
WO2017068824A1 (ja) | 2015-10-21 | 2017-04-27 | シャープ株式会社 | 映像生成装置、映像生成装置の制御方法、表示システム、映像生成制御プログラム、およびコンピュータ読み取り可能な記録媒体 |
JP2018097280A (ja) | 2016-12-16 | 2018-06-21 | カシオ計算機株式会社 | 表示装置、表示方法及びプログラム |
JP2018113683A (ja) | 2017-01-06 | 2018-07-19 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2018156339A (ja) | 2017-03-16 | 2018-10-04 | 株式会社リコー | 情報表示システム、情報表示装置、制御方法、およびプログラム |
WO2018193509A1 (ja) | 2017-04-17 | 2018-10-25 | 株式会社オプティム | 遠隔作業支援システム、遠隔作業支援方法、及びプログラム |
JP2019179080A (ja) | 2018-03-30 | 2019-10-17 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11431952B2 (en) | 2022-08-30 |
WO2021231390A1 (en) | 2021-11-18 |
CN115485736A (zh) | 2022-12-16 |
EP4150588A4 (en) | 2024-07-03 |
EP4150588A1 (en) | 2023-03-22 |
JP2023522654A (ja) | 2023-05-31 |
US20220394227A1 (en) | 2022-12-08 |
US20210352254A1 (en) | 2021-11-11 |
US11689704B2 (en) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112334969B (zh) | 多点slam捕获 | |
US10530818B2 (en) | Server-based sound mixing for multiuser voice chat system | |
US20220258045A1 (en) | Attention-based ai determination of player choices | |
JP2023551665A (ja) | 仮想位置を指示する実世界ビーコン | |
US11508072B2 (en) | Smart phones for motion capture | |
US10915945B2 (en) | Method and apparatuses for intelligent TV startup based on consumer behavior and real time content availability | |
JP7462069B2 (ja) | 複数のカメラからの合成入力を使用してビデオを生成するための仮想カメラ位置のユーザ選択 | |
US11103794B2 (en) | Post-launch crowd-sourced game qa via tool enhanced spectator system | |
WO2021091799A1 (en) | Adaptive time dilation based on player performance | |
WO2019245726A1 (en) | Gesture-based user interface for ar and vr with gaze trigger | |
US11474620B2 (en) | Controller inversion detection for context switching | |
US20220180854A1 (en) | Sound effects based on footfall | |
US20240042312A1 (en) | Haptics support for ui navigation | |
US11373342B2 (en) | Social and scene target awareness and adaptation of an occlusion system for increased social and scene interaction in an optical see-through augmented reality head mounted display | |
US20220180664A1 (en) | Frame of reference for motion capture | |
US20210129033A1 (en) | Spectator feedback to game play | |
WO2021231051A1 (en) | Highly interactive display environment for gaming | |
US20190020808A1 (en) | Remotely controllable camera on head-mount for the blind |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7462069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |