JP6992956B2 - 仮想場面に関連付けられた映像再生およびデータの提供 - Google Patents
仮想場面に関連付けられた映像再生およびデータの提供 Download PDFInfo
- Publication number
- JP6992956B2 JP6992956B2 JP2019562566A JP2019562566A JP6992956B2 JP 6992956 B2 JP6992956 B2 JP 6992956B2 JP 2019562566 A JP2019562566 A JP 2019562566A JP 2019562566 A JP2019562566 A JP 2019562566A JP 6992956 B2 JP6992956 B2 JP 6992956B2
- Authority
- JP
- Japan
- Prior art keywords
- video segment
- viewing angle
- segment data
- data
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 100
- 238000004891 communication Methods 0.000 claims description 59
- 239000011521 glass Substances 0.000 description 17
- 238000009877 rendering Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000006872 improvement Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Social Psychology (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
Description
Claims (24)
- 仮想場面における映像再生方法であって、
サーバから送信された現在の映像セグメントデータを受信する段階であって、前記現在の映像セグメントデータは映像セグメントを表し、前記現在の映像セグメントデータは少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、段階と、
前記現在の映像セグメントデータにより表される前記映像セグメントを再生し、再生中にユーザの現在の視野角を取得する段階と、
前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する段階であって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、段階と
を備える、映像再生方法。 - 前記現在の映像セグメントデータはヘッダデータフィールドおよび本体データフィールドを含み、前記少なくとも1つの指定視野角、および前記指定視野角が対象とする前記映像セグメントデータを表す前記データ識別子が前記ヘッダデータフィールドに格納される、請求項1に記載の映像再生方法。
- 前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する前記段階の後に、前記映像再生方法はさらに、
前記目標指定視野角が対象とする前記映像セグメントデータを示すデータ識別子を前記サーバに送信し、前記目標指定視野角が対象とする前記映像セグメントデータを前記サーバから取得する段階を備える、請求項1または2に記載の映像再生方法。 - サーバから送信された現在の映像セグメントデータを受信する前記段階の後に、前記映像再生方法はさらに、
前記現在の映像セグメントデータに含まれる個々の映像セグメントデータのデータ識別子が対象とする映像セグメントデータを前記サーバから取得する段階を備え、
それに応じて、前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する前記段階の後に、前記映像再生方法はさらに、
取得した前記個々の映像セグメントデータから、前記目標指定視野角が対象とする目標映像セグメントデータを決定し、前記目標映像セグメントデータにより表される映像セグメントを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生する段階を備える、請求項1から3のいずれか一項に記載の映像再生方法。 - 前記サーバの映像セグメントデータはそれぞれ、さらに方向情報を含み、それに応じて、サーバから送信された現在の映像セグメントデータを受信する前記段階の後に、前記映像再生方法はさらに、
前記現在の映像セグメントデータに含まれる個々のデータ識別子から、前記現在の映像セグメントデータの方向情報と一致する方向情報を有する映像セグメントデータのデータ識別子を決定し、決定された前記データ識別子が対象とする前記映像セグメントデータを前記サーバから取得する段階を備える、請求項1から4のいずれか一項に記載の映像再生方法。 - 各指定視野角は視野角範囲に対応し、
それに応じて、前記少なくとも1つの指定視野角から前記現在の視野角に合致する目標指定視野角を決定する前記段階は、
前記現在の視野角の視野角範囲を決定し、決定された前記視野角範囲に対応する指定視野角を前記目標指定視野角として使用する段階を含む、請求項1から5のいずれか一項に記載の映像再生方法。
- 前記現在の視野角に合致する前記目標指定視野角が、前記少なくとも1つの指定視野角に存在しない場合、前記映像再生方法はさらに、
前記現在の映像セグメントデータにより表される前記映像セグメントのフレームを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に表示する段階を備える、請求項1から6のいずれか一項に記載の映像再生方法。 - 前記仮想場面は少なくとも1つの経路を含み、前記経路はそれぞれ、前記経路の指定方向において撮られたパノラマ映像に関連付けられ、前記パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割される、請求項1から7のいずれか一項に記載の映像再生方法。
- 前記映像再生方法はさらに
前記パノラマ映像を分割することにより取得された映像セグメントに従って、前記映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階を備え、前記逆方向映像セグメントの再生順序は、対応する前記映像セグメントの再生順序の逆である、請求項8に記載の映像再生方法。 - クライアントであって、
前記クライアントは、ネットワーク通信ポート、ディスプレイ、およびプロセッサを備え、
前記ネットワーク通信ポートは、サーバから送信された現在の映像セグメントデータを受信するように構成され、
前記ディスプレイは、映像セグメントを再生するように構成され、
前記プロセッサは、
前記ネットワーク通信ポートを介して、前記サーバから送信された前記現在の映像セグメントデータを受信することであって、前記現在の映像セグメントデータは映像セグメントを表し、前記現在の映像セグメントデータは少なくとも1つの指定視野角および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含む、受信することと、
前記現在の映像セグメントデータにより表される前記映像セグメントを、前記ディスプレイを介して再生し、再生中にユーザの現在の視野角を取得することと、
前記少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定することであって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、決定することと
を行うように構成される、クライアント。 - 仮想場面におけるデータ提供方法であって、
映像セグメントデータセットが提供され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、各映像セグメントデータは少なくとも1つの指定視野角および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
前記データ提供方法は、
クライアントから送信された映像セグメントデータロードリクエストを受信する段階であって、前記映像セグメントデータロードリクエストは前記仮想場面においてユーザの現在位置を表すために使用される、受信する段階と、
前記ユーザの前記現在位置に対応する現在の映像セグメントデータを前記クライアントにフィードバックして、前記クライアントが前記現在の映像セグメントデータにより表される映像セグメントを再生できるようにし、再生中に前記ユーザの現在の視野角を取得する段階と、
前記クライアントから送信された目標映像セグメントデータのデータ識別子を受信する段階であって、前記目標映像セグメントデータを対象とする目標指定視野角が前記現在の視野角と合致する、受信する段階と
を備える、データ提供方法。 - 前記映像セグメントデータセットの映像セグメントデータはそれぞれ、ヘッダデータフィールドおよび本体データフィールドを含み、前記少なくとも1つの指定視野角、および前記指定視野角が対象とする前記映像セグメントデータを表す前記データ識別子が前記ヘッダデータフィールドに格納される、請求項11に記載のデータ提供方法。
- 各指定視野角は視野角範囲に対応し、
それに応じて、前記現在の視野角に合致する前記目標映像セグメントデータを対象とする前記目標指定視野角は、
前記目標指定視野角の視野角範囲内にある前記現在の視野角を含む、請求項11または12に記載のデータ提供方法。 - 前記仮想場面は少なくとも1つの経路を含み、前記経路はそれぞれ、前記経路の指定方向において撮られたパノラマ映像に関連付けられ、前記パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割される、請求項11から13のいずれか一項に記載のデータ提供方法。
- 前記データ提供方法はさらに、
前記パノラマ映像を分割することにより取得された映像セグメントに従って、前記映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階であって、前記逆方向映像セグメントの再生順序は、対応する前記映像セグメントの再生順序の逆である、生成する段階を備える、請求項14に記載のデータ提供方法。 - サーバであって、前記サーバは、ネットワーク通信ポート、メモリ、およびプロセッサを備え、
前記ネットワーク通信ポートは、クライアントとネットワークデータ通信を行うように構成され、
前記メモリは映像セグメントデータセットを格納するように構成され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、映像セグメントデータはそれぞれ、少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
前記プロセッサは、
前記ネットワーク通信ポートを介して、前記クライアントから送信された映像セグメントデータロードリクエストを受信することであって、前記映像セグメントデータロードリクエストは仮想場面においてユーザの現在位置を表すために使用される、受信することと、
前記ユーザの前記現在位置に対応する現在の映像セグメントデータを前記クライアントにフィードバックするように前記ネットワーク通信ポートを制御して、前記クライアントが前記現在の映像セグメントデータにより表される映像セグメントを再生できるようにし、再生中に前記ユーザの現在の視野角を取得することと、
前記クライアントから送信された目標映像セグメントデータのデータ識別子を、前記ネットワーク通信ポートを介して受信することであって、前記目標映像セグメントデータを対象とする目標指定視野角が前記現在の視野角と合致する、受信することと
を行うように構成される、サーバ。 - 仮想場面における映像再生方法であって、
映像セグメントデータセットが提供され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、各映像セグメントデータは少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
前記映像再生方法は、
前記映像セグメントデータセットから、前記仮想場面においてユーザの現在位置に対応する現在の映像セグメントデータを決定する段階と、
前記現在の映像セグメントデータにより表される映像セグメントを再生し、再生中に前記ユーザの現在の視野角を取得する段階と、
前記現在の映像セグメントデータの少なくとも1つの指定視野角から、前記現在の視野角に合致する目標指定視野角を決定する段階であって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、決定する段階と
を備える、映像再生方法。 - 前記映像セグメントデータセットの映像セグメントデータはそれぞれ、ヘッダデータフィールドおよび本体データフィールドを含み、前記少なくとも1つの指定視野角、および前記指定視野角が対象とする前記映像セグメントデータを表す前記データ識別子が前記ヘッダデータフィールドに格納される、請求項17に記載の映像再生方法。
- 前記現在の映像セグメントデータの少なくとも1つの指定視野角から前記現在の視野角と合致する目標指定視野角を決定する前記段階の後に、
前記映像再生方法はさらに、
前記目標指定視野角が対象とする前記映像セグメントデータのデータ識別子に従って、前記映像セグメントデータセットから前記データ識別子に対応する目標映像セグメントデータを決定し、前記目標映像セグメントデータにより表される映像セグメントを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生する段階を備える、請求項17または18に記載の映像再生方法。 - 各指定視野角は視野角範囲に対応し、
それに応じて、前記現在の映像セグメントデータの少なくとも1つの指定視野角から前記現在の視野角に合致する目標指定視野角を決定する前記段階は、
前記現在の視野角の視野角範囲を決定し、決定された前記視野角範囲に対応する指定視野角を前記目標指定視野角として使用する段階を含む、請求項17から19のいずれか一項に記載の映像再生方法。 - 前記現在の視野角に合致する前記目標指定視野角が、前記現在の映像セグメントデータの前記少なくとも1つの指定視野角に存在しない場合、前記映像再生方法はさらに
前記現在の映像セグメントデータにより表される前記映像セグメントのフレームを、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に表示する段階を備える、請求項17から20のいずれか一項に記載の映像再生方法。 - 前記仮想場面は少なくとも1つの経路を含み、前記経路はそれぞれ、前記経路の指定方向において撮られたパノラマ映像に関連付けられ、前記パノラマ映像は、指定時間間隔で少なくとも1つの映像セグメントに分割される、請求項17から21のいずれか一項に記載の映像再生方法。
- 前記映像再生方法はさらに、
前記パノラマ映像を分割することにより取得された映像セグメントに従って、前記映像セグメントにそれぞれ対応する逆方向映像セグメントを生成する段階であって、前記逆方向映像セグメントの再生順序は、対応する前記映像セグメントの再生順序の逆である、生成する段階を備える、請求項22に記載の映像再生方法。 - クライアントであって、前記クライアントは、メモリ、ディスプレイ、およびプロセッサを備え、
前記メモリは映像セグメントデータセットを格納するように構成され、前記映像セグメントデータセットは少なくとも1つの映像セグメントデータを含み、前記映像セグメントデータは映像セグメントを表し、映像セグメントデータはそれぞれ、少なくとも1つの指定視野角、および前記指定視野角が対象とする映像セグメントデータを表すデータ識別子を含み、
前記ディスプレイは映像セグメントを表示するように構成され、
前記プロセッサは、
前記メモリの前記映像セグメントデータセットから仮想場面におけるユーザの現在位置に対応する現在の映像セグメントデータを決定することと、
前記ディスプレイを介して、前記現在の映像セグメントデータにより表される映像セグメントを再生し、再生中に前記ユーザの現在の視野角を取得することと、
前記現在の映像セグメントデータの少なくとも1つの指定視野角から、前記現在の視野角と合致する目標指定視野角を決定することであって、前記目標指定視野角が対象とする映像セグメントデータにより表される映像セグメントが、前記現在の映像セグメントデータにより表される前記映像セグメントの前記再生の最後に再生される、決定することと
を行うように構成される、クライアント。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710321559.8 | 2017-05-09 | ||
CN201710321559.8A CN108882018B (zh) | 2017-05-09 | 2017-05-09 | 虚拟场景中的视频播放、数据提供方法、客户端及服务器 |
PCT/CN2018/071556 WO2018205663A1 (zh) | 2017-05-09 | 2018-01-05 | 虚拟场景中的视频播放、数据提供方法、客户端及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020520190A JP2020520190A (ja) | 2020-07-02 |
JP6992956B2 true JP6992956B2 (ja) | 2022-01-13 |
Family
ID=64104404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019562566A Active JP6992956B2 (ja) | 2017-05-09 | 2018-01-05 | 仮想場面に関連付けられた映像再生およびデータの提供 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11272154B2 (ja) |
JP (1) | JP6992956B2 (ja) |
CN (1) | CN108882018B (ja) |
TW (1) | TWI663874B (ja) |
WO (1) | WO2018205663A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111277866B (zh) | 2018-12-04 | 2022-05-10 | 华为技术有限公司 | 一种控制vr视频播放的方法及相关装置 |
JP7497683B2 (ja) | 2018-12-25 | 2024-06-11 | ソニーグループ株式会社 | 映像再生装置、再生方法、プログラム、3d形状映像データの生成方法 |
CN109840952A (zh) * | 2018-12-29 | 2019-06-04 | 深圳市虚拟现实科技有限公司 | 虚拟现实记忆再现***及其方法 |
CN111669666A (zh) * | 2019-03-08 | 2020-09-15 | 北京京东尚科信息技术有限公司 | 模拟现实的方法、装置和*** |
WO2020206647A1 (zh) * | 2019-04-11 | 2020-10-15 | 华为技术有限公司 | 跟随用户运动控制播放视频内容的方法和装置 |
CN110784750B (zh) * | 2019-08-13 | 2022-11-11 | 腾讯科技(深圳)有限公司 | 视频播放方法、装置及计算机设备 |
CN113691779B (zh) * | 2021-08-25 | 2024-04-05 | 济南大学 | 一种ar***中增强呈现方式的方法 |
CN114786061B (zh) * | 2022-04-12 | 2023-08-22 | 杭州当虹科技股份有限公司 | 一种基于vr设备的画面视角修正方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008232A (ja) | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
JP2003208635A (ja) | 2002-01-15 | 2003-07-25 | Canon Inc | 画像再生装置及び情報処理方法 |
JP2009181587A (ja) | 2001-09-28 | 2009-08-13 | Fuji Xerox Co Ltd | ビデオシステム、及びビデオシステム用プログラム |
JP6025280B1 (ja) | 2015-12-28 | 2016-11-16 | 株式会社タッグ | 3次元画像生成サーバ、電子カタログ表示装置、3次元画像表示システム、3次元画像表示方法および3次元画像表示プログラム |
JP2017535985A (ja) | 2014-09-03 | 2017-11-30 | ネクストブイアール・インコーポレイテッド | コンテンツを取り込み、ストリーミングし、および/または、再生するための方法および装置 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5828410A (en) | 1995-07-19 | 1998-10-27 | Drapeau; Raoul E. | Video-wall viewing-angle enhancement system |
US6504990B1 (en) | 1998-11-12 | 2003-01-07 | Max Abecassis | Randomly and continuously playing fragments of a video segment |
US6408128B1 (en) | 1998-11-12 | 2002-06-18 | Max Abecassis | Replaying with supplementary information a segment of a video |
US6741250B1 (en) | 2001-02-09 | 2004-05-25 | Be Here Corporation | Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path |
US8207964B1 (en) | 2008-02-22 | 2012-06-26 | Meadow William D | Methods and apparatus for generating three-dimensional image data models |
CN101055494B (zh) * | 2006-04-13 | 2011-03-16 | 上海虚拟谷数码科技有限公司 | 基于空间索引立方体全景视频的虚拟场景漫游方法及其*** |
US8274564B2 (en) | 2006-10-13 | 2012-09-25 | Fuji Xerox Co., Ltd. | Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity |
US7990394B2 (en) * | 2007-05-25 | 2011-08-02 | Google Inc. | Viewing and navigating within panoramic images, and applications thereof |
TWI434129B (zh) * | 2010-12-22 | 2014-04-11 | Univ Nat Taipei Technology | 全景影像播放裝置與系統 |
EP2805523B1 (en) | 2012-01-19 | 2019-03-27 | VID SCALE, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
US8882662B2 (en) | 2012-06-27 | 2014-11-11 | Camplex, Inc. | Interface for viewing video from cameras on a surgical visualization system |
US9179232B2 (en) * | 2012-09-17 | 2015-11-03 | Nokia Technologies Oy | Method and apparatus for associating audio objects with content and geo-location |
US9241103B2 (en) * | 2013-03-15 | 2016-01-19 | Voke Inc. | Apparatus and method for playback of multiple panoramic videos with control codes |
US9244940B1 (en) * | 2013-09-27 | 2016-01-26 | Google Inc. | Navigation paths for panorama |
KR20150072231A (ko) | 2013-12-19 | 2015-06-29 | 한국전자통신연구원 | 멀티 앵글 뷰 서비스 제공 장치 및 방법 |
US9189839B1 (en) * | 2014-04-24 | 2015-11-17 | Google Inc. | Automatically generating panorama tours |
IL302194A (en) | 2015-04-01 | 2023-06-01 | Owl Labs Inc | Connecting and resizing angularly separated sub-scenes |
US9554160B2 (en) | 2015-05-18 | 2017-01-24 | Zepp Labs, Inc. | Multi-angle video editing based on cloud video sharing |
CN105704478B (zh) * | 2015-08-31 | 2017-07-18 | 深圳超多维光电子有限公司 | 用于虚拟和现实场景的立体显示方法、装置及电子设备 |
US10204449B2 (en) | 2015-09-01 | 2019-02-12 | Siemens Healthcare Gmbh | Video-based interactive viewing along a path in medical imaging |
US10694249B2 (en) * | 2015-09-09 | 2020-06-23 | Vantrix Corporation | Method and system for selective content processing based on a panoramic camera and a virtual-reality headset |
EP3196840B1 (en) * | 2016-01-22 | 2022-12-14 | Nokia Technologies Oy | Displaying visual information of views captured at geographic locations |
US9602795B1 (en) | 2016-02-22 | 2017-03-21 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
US9973746B2 (en) | 2016-02-17 | 2018-05-15 | Gopro, Inc. | System and method for presenting and viewing a spherical video segment |
CN105933343B (zh) * | 2016-06-29 | 2019-01-08 | 深圳市优象计算技术有限公司 | 一种用于720度全景视频网络播放的码流缓存方法 |
US10650590B1 (en) * | 2016-09-07 | 2020-05-12 | Fastvdo Llc | Method and system for fully immersive virtual reality |
CN106383655A (zh) * | 2016-09-19 | 2017-02-08 | 北京小度互娱科技有限公司 | 在全景播放过程中控制视角转换的交互控制方法及装置 |
CN106447788B (zh) * | 2016-09-26 | 2020-06-16 | 北京疯景科技有限公司 | 观看视角的指示方法及装置 |
CN106534892A (zh) * | 2016-11-23 | 2017-03-22 | 上海沙塔信息科技有限公司 | 基于可视角度再编码的虚拟现实直播***和方法 |
CN106502427B (zh) * | 2016-12-15 | 2023-12-01 | 北京国承万通信息科技有限公司 | 虚拟现实***及其场景呈现方法 |
-
2017
- 2017-05-09 CN CN201710321559.8A patent/CN108882018B/zh active Active
-
2018
- 2018-01-05 JP JP2019562566A patent/JP6992956B2/ja active Active
- 2018-01-05 WO PCT/CN2018/071556 patent/WO2018205663A1/zh active Application Filing
- 2018-01-05 US US16/611,312 patent/US11272154B2/en active Active
- 2018-02-01 TW TW107103626A patent/TWI663874B/zh not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008232A (ja) | 1999-06-25 | 2001-01-12 | Matsushita Electric Ind Co Ltd | 全方位映像出力方法と装置 |
JP2009181587A (ja) | 2001-09-28 | 2009-08-13 | Fuji Xerox Co Ltd | ビデオシステム、及びビデオシステム用プログラム |
JP2003208635A (ja) | 2002-01-15 | 2003-07-25 | Canon Inc | 画像再生装置及び情報処理方法 |
JP2017535985A (ja) | 2014-09-03 | 2017-11-30 | ネクストブイアール・インコーポレイテッド | コンテンツを取り込み、ストリーミングし、および/または、再生するための方法および装置 |
JP6025280B1 (ja) | 2015-12-28 | 2016-11-16 | 株式会社タッグ | 3次元画像生成サーバ、電子カタログ表示装置、3次元画像表示システム、3次元画像表示方法および3次元画像表示プログラム |
Also Published As
Publication number | Publication date |
---|---|
US11272154B2 (en) | 2022-03-08 |
TWI663874B (zh) | 2019-06-21 |
US20200169711A1 (en) | 2020-05-28 |
WO2018205663A1 (zh) | 2018-11-15 |
CN108882018A (zh) | 2018-11-23 |
JP2020520190A (ja) | 2020-07-02 |
CN108882018B (zh) | 2020-10-20 |
TW201902227A (zh) | 2019-01-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6992956B2 (ja) | 仮想場面に関連付けられた映像再生およびデータの提供 | |
KR102494795B1 (ko) | 상이한 비디오 데이터 스트림들 내의 상이한 유리한 지점들로부터 표현된 가상 오브젝트 및 실세계 오브젝트에 기초하여 병합된 현실 장면을 생성하기 위한 방법들 및 시스템들 | |
US10845969B2 (en) | System and method for navigating a field of view within an interactive media-content item | |
US10627908B2 (en) | Facilitate user manipulation of a virtual reality environment view using a computing device with touch sensitive surface | |
US11577168B2 (en) | Apparatus and method of video playback | |
US10750213B2 (en) | Methods and systems for customizing virtual reality data | |
US20110169928A1 (en) | Video eyewear for smart phone games | |
WO2016164178A1 (en) | Control of personal space content presented via head mounted display | |
US20210178264A1 (en) | Methods and systems for spectating characters in follow-mode for virtual reality views | |
US10462497B2 (en) | Free viewpoint picture data distribution system | |
US10699749B2 (en) | Methods and systems for customizing virtual reality data | |
KR20210095160A (ko) | 내비게이션 가능한 가상 공간에서 렌더링되는 3차원 디스플레이 대상들을 통하여 2차원 콘텐츠의 표현을 통한 사용자 인터페이스를 제공하도록 구성되는 기술 | |
CN112823528B (zh) | 信息处理装置、信息处理方法和信息处理程序 | |
US10296592B2 (en) | Spherical video in a web browser | |
KR20180068254A (ko) | 게임 영상 제공 장치 및 게임 영상 제공 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6992956 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |