JP7026213B2 - 仮想現実画像の提供方法及びこれを用いたプログラム - Google Patents
仮想現実画像の提供方法及びこれを用いたプログラム Download PDFInfo
- Publication number
- JP7026213B2 JP7026213B2 JP2020517853A JP2020517853A JP7026213B2 JP 7026213 B2 JP7026213 B2 JP 7026213B2 JP 2020517853 A JP2020517853 A JP 2020517853A JP 2020517853 A JP2020517853 A JP 2020517853A JP 7026213 B2 JP7026213 B2 JP 7026213B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image frame
- virtual reality
- data
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Computer Networks & Wireless Communication (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
Claims (7)
- 仮想現実画像の提供方法において、
サーバから仮想現実画像データを受信して第1レイヤに割り当てる段階と、
少なくとも1つのコントローラの制御情報を表示する第2レイヤを生成する段階と、
前記少なくとも1つのコントローラの動作情報を受信し、前記動作情報に基づいて前記仮想現実画像データ内の所定のオブジェクトと前記制御情報の衝突地点を決定する段階と、
前記衝突地点の法線データに基づいて変形された前記制御情報を含む結合データを前記第2レイヤに割り当てる段階と、
前記第1レイヤ及び前記第2レイヤを合成して最終画像フレームを生成する段階と、を含み、
前記仮想現実画像データを前記第1レイヤに割り当てる段階は、
前記仮想現実画像データを複数のオーバーレイ項目に分割してそれぞれ別途のチャネル単位で受信する段階と、
前記別途のチャネルを介して受信した複数のオーバーレイ項目を結合して複数の第1レイヤに割り当てる段階と、
前記サーバから第1時点の第1画像フレームが受信されたが、前記第1時点より後の第2時点の第2画像フレームが受信されない場合、前記第1時点の画像方向データと前記第2時点の再生方向データとの差異を算出する段階と、
前記差異に基づいて前記第1画像フレームを補正して第2代替画像フレームを生成する段階と、
前記第2代替画像フレームを前記第1レイヤに割り当てる段階と、
を含み、
前記最終画像フレームを生成する段階は、前記第2代替画像フレームを含む第1レイヤと、補正が行われていない前記第2レイヤとを合成して最終画像フレームを生成する段階を含み、
前記再生方向データは、特定時点にクライアントの画面上に再生されるべき画像フレームの方向に関するデータであり、
前記画像方向データは、前記サーバにより生成された画像フレームの3次元空間上の方向に関するデータであり、
前記法線データは、仮想現実画像内の前記衝突地点における前記所定のオブジェクトの配置状態を把握するためのものであり、
前記第2レイヤに割り当てる段階は、前記法線データに基づいて、前記衝突地点における前記所定のオブジェクトの配置状態を把握し、前記制御情報を前記法線データの垂直方向に合うように変形させた結合データを前記第2レイヤに割り当てる段階を含み、
前記動作情報は、前記少なくとも1つのコントローラの位置情報及び前記コントローラが指す方向に関する情報を含み、
前記制御情報は、前記コントローラの仮想現実画像におけるイメージデータ、前記コントローラが指示する方向を示すイメージ、前記コントローラと仮想現実画像内のオブジェクトが衝突する地点を示すイメージ、及びコントローラが指す地点のすぐ上に表示されたグラフィックユーザインターフェースを含み、
ユーザーの動きに応じてクライアントが移動する場合、前記第1レイヤに表示される前記仮想現実画像データの画像フレームは、前記クライアントの位置又は方向に応じて決定される再生方向データ及び画像方向データに対応する画像フレームに変更され、前記第2レイヤに表示される前記グラフィックユーザインターフェースの位置は変更されず、ユーザーの視線と共に移動する、
仮想現実画像の提供方法。 - 前記衝突地点を決定する段階は、
第1チャネルを介して、前記衝突地点を決定するためのオブジェクトを含むオーバーレイ項目を受信する段階と、
前記受信したオーバーレイ項目を用いて、クライアントで衝突地点を決定する段階と、
前記衝突地点の法線ベクトルを決定する段階と、
を含むことを特徴とする請求項1に記載の仮想現実画像の提供方法。 - 前記オーバーレイ項目は(x,y)座標を有しており、
前記サーバは、前記オーバーレイ項目を更新する必要がある毎に該当部分をクライアントに伝送することを特徴とする請求項1に記載の仮想現実画像の提供方法。 - 前記衝突地点を決定する段階は、
前記コントローラの動作情報をサーバに伝送し、前記衝突地点及び法線データを要請する段階と、
前記サーバで決定された前記仮想現実画像データ内の所定のオブジェクトと前記制御情報の衝突地点及び法線データを受信する段階と、
を含むことを特徴とする請求項1に記載の仮想現実画像の提供方法。 - 前記制御情報は、ユーザーの視線及びコントローラの中心ポインタのうち少なくとも1つを示すイメージを含むことを特徴とする請求項1に記載の仮想現実画像の提供方法。
- 前記再生方向データを獲得する段階は、ユーザーの頭の動きを測定して前記再生方向データを獲得する段階を含むことを特徴とする請求項1に記載の仮想現実画像の提供方法。
- 媒体に格納され、請求項1~6の何れか一項に記載の方法をハードウェアであるコンピュータに実行させるための仮想現実画像の再生プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2017-0128020 | 2017-09-29 | ||
KR1020170128020A KR101990373B1 (ko) | 2017-09-29 | 2017-09-29 | 가상현실 영상 제공 방법 및 이를 이용한 프로그램 |
PCT/KR2018/011594 WO2019066591A1 (ko) | 2017-09-29 | 2018-09-28 | 가상현실 영상 제공 방법 및 이를 이용한 프로그램 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020535542A JP2020535542A (ja) | 2020-12-03 |
JP7026213B2 true JP7026213B2 (ja) | 2022-02-25 |
Family
ID=65903521
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020517853A Active JP7026213B2 (ja) | 2017-09-29 | 2018-09-28 | 仮想現実画像の提供方法及びこれを用いたプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11127208B2 (ja) |
EP (1) | EP3691259B1 (ja) |
JP (1) | JP7026213B2 (ja) |
KR (1) | KR101990373B1 (ja) |
CN (1) | CN111345037B (ja) |
TW (1) | TWI728269B (ja) |
WO (1) | WO2019066591A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3470974A1 (en) * | 2017-10-10 | 2019-04-17 | Thomson Licensing | Selection of animated viewing angle in an immersive virtual environment |
JP2021022182A (ja) * | 2019-07-29 | 2021-02-18 | 株式会社電通グループ | 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004505394A (ja) | 2000-08-04 | 2004-02-19 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | イメージ変換および符号化技術 |
JP2012124884A (ja) | 2010-12-07 | 2012-06-28 | Fujifilm Corp | 立体視画像表示装置および方法並びにプログラム |
JP2012141939A (ja) | 2010-12-16 | 2012-07-26 | Nintendo Co Ltd | 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法 |
JP2017004356A (ja) | 2015-06-12 | 2017-01-05 | 株式会社コロプラ | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 |
KR101716326B1 (ko) | 2015-09-08 | 2017-03-14 | 클릭트 주식회사 | 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4758013B2 (ja) * | 2000-03-14 | 2011-08-24 | 三星電子株式会社 | 三次元シーンのノード処理方法及びその装置 |
JP4651435B2 (ja) * | 2005-03-31 | 2011-03-16 | 株式会社バンダイナムコゲームス | プログラム、情報記憶媒体及び画像生成システム |
EP2299699A3 (en) * | 2009-09-04 | 2012-10-31 | Samsung Electronics Co., Ltd. | Image processing apparatus and controlling method of the same |
KR101661142B1 (ko) * | 2009-09-04 | 2016-10-11 | 삼성전자주식회사 | 영상처리장치 및 영상처리장치의 제어 방법 |
US9778814B2 (en) * | 2014-12-19 | 2017-10-03 | Microsoft Technology Licensing, Llc | Assisted object placement in a three-dimensional visualization system |
KR20160139461A (ko) * | 2015-05-27 | 2016-12-07 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 및 그 제어 방법 |
US10222932B2 (en) * | 2015-07-15 | 2019-03-05 | Fyusion, Inc. | Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations |
EP3332314B1 (en) * | 2015-08-04 | 2024-04-10 | Google LLC | Input via context sensitive collisions of hands with objects in virtual reality |
US20170052701A1 (en) * | 2015-08-19 | 2017-02-23 | Vrideo | Dynamic virtual keyboard graphical user interface |
TW201721519A (zh) * | 2015-12-01 | 2017-06-16 | 英業達股份有限公司 | 虛擬試衣系統及虛擬試衣方法 |
CN105447898B (zh) * | 2015-12-31 | 2018-12-25 | 北京小鸟看看科技有限公司 | 一种虚拟现实设备中显示2d应用界面的方法和装置 |
KR101769118B1 (ko) * | 2016-02-05 | 2017-08-17 | 주식회사 케이티 | 텔레프레젠스 영상 합성 장치, 텔레프레젠스 영상 합성 시스템 및 원격지 촬영 장치 |
CN105912123A (zh) * | 2016-04-15 | 2016-08-31 | 北京小鸟看看科技有限公司 | 一种三维沉浸式环境下的界面布局方法和装置 |
US10218793B2 (en) * | 2016-06-13 | 2019-02-26 | Disney Enterprises, Inc. | System and method for rendering views of a virtual space |
JP6681352B2 (ja) * | 2017-01-06 | 2020-04-15 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理装置、情報処理方法、ゲームシステム、ゲームプログラム、ゲーム装置、及びゲーム方法 |
KR101788545B1 (ko) * | 2017-03-06 | 2017-10-20 | 클릭트 주식회사 | 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램 |
-
2017
- 2017-09-29 KR KR1020170128020A patent/KR101990373B1/ko active IP Right Grant
-
2018
- 2018-09-28 WO PCT/KR2018/011594 patent/WO2019066591A1/ko unknown
- 2018-09-28 JP JP2020517853A patent/JP7026213B2/ja active Active
- 2018-09-28 EP EP18860265.0A patent/EP3691259B1/en active Active
- 2018-09-28 CN CN201880070405.9A patent/CN111345037B/zh active Active
- 2018-09-28 TW TW107134456A patent/TWI728269B/zh active
-
2020
- 2020-03-27 US US16/833,473 patent/US11127208B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004505394A (ja) | 2000-08-04 | 2004-02-19 | ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド | イメージ変換および符号化技術 |
JP2012124884A (ja) | 2010-12-07 | 2012-06-28 | Fujifilm Corp | 立体視画像表示装置および方法並びにプログラム |
JP2012141939A (ja) | 2010-12-16 | 2012-07-26 | Nintendo Co Ltd | 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法 |
JP2017004356A (ja) | 2015-06-12 | 2017-01-05 | 株式会社コロプラ | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 |
KR101716326B1 (ko) | 2015-09-08 | 2017-03-14 | 클릭트 주식회사 | 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
EP3691259B1 (en) | 2022-11-23 |
CN111345037B (zh) | 2023-06-09 |
US11127208B2 (en) | 2021-09-21 |
TW201916681A (zh) | 2019-04-16 |
KR20190038044A (ko) | 2019-04-08 |
TWI728269B (zh) | 2021-05-21 |
CN111345037A (zh) | 2020-06-26 |
EP3691259A4 (en) | 2021-05-19 |
JP2020535542A (ja) | 2020-12-03 |
EP3691259A1 (en) | 2020-08-05 |
KR101990373B1 (ko) | 2019-06-20 |
WO2019066591A1 (ko) | 2019-04-04 |
US20200286287A1 (en) | 2020-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6298432B2 (ja) | 画像生成装置、画像生成方法、及び画像生成プログラム | |
US10629107B2 (en) | Information processing apparatus and image generation method | |
US10701344B2 (en) | Information processing device, information processing system, control method of an information processing device, and parameter setting method | |
JP6731482B2 (ja) | 仮想現実映像伝送方法、再生方法、及びこれらを用いたプログラム | |
KR101788545B1 (ko) | 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램 | |
US11880499B2 (en) | Systems and methods for providing observation scenes corresponding to extended reality (XR) content | |
JP7026213B2 (ja) | 仮想現実画像の提供方法及びこれを用いたプログラム | |
WO2021200494A1 (ja) | 仮想空間における視点変更方法 | |
TWI755636B (zh) | 虛擬實境影像播放方法及使用其之程式 | |
KR102192153B1 (ko) | 가상현실 영상 제공 방법 및 이를 이용한 프로그램 | |
JP2020071718A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP7471307B2 (ja) | シーンの画像表現 | |
KR102179810B1 (ko) | 가상현실영상 재생방법 및 이를 이용한 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200526 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7026213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |