CN114762353B - 实时播放由多个摄像头输入的虚拟现实影像的装置及方法 - Google Patents

实时播放由多个摄像头输入的虚拟现实影像的装置及方法 Download PDF

Info

Publication number
CN114762353B
CN114762353B CN202080083114.0A CN202080083114A CN114762353B CN 114762353 B CN114762353 B CN 114762353B CN 202080083114 A CN202080083114 A CN 202080083114A CN 114762353 B CN114762353 B CN 114762353B
Authority
CN
China
Prior art keywords
image
real
user terminal
virtual reality
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080083114.0A
Other languages
English (en)
Other versions
CN114762353A (zh
Inventor
车东佑
郑泰植
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpha Space Co ltd
Original Assignee
Alpha Space Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpha Space Co ltd filed Critical Alpha Space Co ltd
Publication of CN114762353A publication Critical patent/CN114762353A/zh
Application granted granted Critical
Publication of CN114762353B publication Critical patent/CN114762353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放装置，其特征在于，包括：多个拍摄部，用于在同一时间拍摄同一位置的不同方向；影像选择部，对多个拍摄部分别覆盖的视角与用户终端的视线方向进行比较，选择多个拍摄部中的拍摄与用户终端的视线方向对应的影像的拍摄部的影像；影像传输部，向用户终端实时传输由影像选择部所选择的拍摄部拍摄的虚拟现实影像；以及视线方向接收部，接收对收看虚拟现实影像的用户终端的视线方向的反馈来向影像选择部传递，本发明并不拼接(stitching)由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。

Description

实时播放由多个摄像头输入的虚拟现实影像的装置及方法
技术领域
本发明涉及虚拟现实再生装置及方法。
背景技术
虚拟现实(Virtual Reality)为通过使用计算机等人工智能技术来提供与实际类似的环境的技术。
360VR影像为利用多个摄像头来覆盖360度全方位的影像，欣赏影像的用户可以感受到犹如置身于该影像的拍摄现场的高度沉浸感。
360VR影像通过如下方式制作，以拍摄不同方向的方式配置多个摄像头之后，连接各个摄像头拍摄的影像来形成犹如同时拍摄360度全方位的原始影像。在此情况下，将以自然地显示多个摄像头拍摄的不同方向的影像的方式进行连接的编辑过程称为拼接(stitching)。
拼接技术是一种根据预定的视野角度和画面大小的标准来修改由多个摄像头拍摄的影像的焦距和失真率之后将其进行连接的技术。为了准确的拼接，需要在相邻的多个影像的边缘匹配所拍摄的图像的颜色信息、位置、角度，需要修改因摄像头的性能差异而发生的图像清晰度或拍摄物的垂直、水平线等。
但是，如上所述，为了校正拼接多个影像，修改及编辑将消耗相当长的时间。
因此，为了将实况直播的内容作为360VR影像进行流式传输，无法实时播放内容，且发生至少延迟拼接所需时间的问题。
对此，本发明的发明人为了解决上述问题，经过长时间的研究且反复进行试验和开发，最终完成了本发明。
发明内容
技术问题
本发明为了解决上述问题而提供如下装置，即，并不对利用在同一位置中向不同的方向配置的多个摄像头来拍摄的虚拟现实影像进行拼接，而是实时播放所拍摄的虚拟现实影像。
另一方面，本发明并未明示的其他目的在可从以下的详细说明及其效果中轻松推论的范围内追加考虑。
解决问题的方案
本发明的第一实施方式提供用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放装置，其特征在于，包括：多个拍摄部，用于在同一时间拍摄同一位置的不同方向；影像选择部，对多个拍摄部分别覆盖的视角与用户终端的视线方向进行比较，选择多个拍摄部中的拍摄与用户终端的视线方向对应的影像的拍摄部的影像；影像传输部，向用户终端实时传输由影像选择部所选择的拍摄部拍摄的虚拟现实影像；以及视线方向接收部，接收对收看虚拟现实影像的用户终端的视线方向的反馈来向影像选择部传递，上述实时播放装置并不拼接(stitching)由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。
在优选实施例中，多个拍摄部包括用于在同一时间拍摄同一位置的不同方向的N个摄像头部，N个摄像头部用于对拍摄视角进行拍摄，上述拍摄视角是通过在将N个摄像头部所覆盖的总视角分为N个来得到的临时视角的两侧分别加上规定的保护视角来得到的值，从而被设定为一个摄像头部拍摄的视角与在两侧相邻的其他摄像头部所覆盖的视角重叠规定视角。
在优选实施例中，视线方向接收部接收能够在用户终端中再生的用户终端固有的再生视角及用户的视线方向，若随着用户终端的视线方向发生变化，再生视角的一端进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角，则影像选择部判断再生视角的一端是否满足规定的切换标准，当再生视角的一端满足规定的切换标准时，切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻拍摄部的影像。
本发明第二实施方式提供用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放方法，其为利用第一实施方式所述的虚拟现实影像实时播放装置来实时播放的实时播放方法，其特征在于，包括：步骤(a)，确定由多个拍摄部所包括的摄像头部拍摄的拍摄视角；步骤(b)，向用户终端实时传输由多个拍摄部中的与用户终端的视线方向匹配的拍摄部正在拍摄的影像；步骤(c)，接收用户终端的视线方向及能够在用户终端中再生的用户终端固有的再生视角；步骤(d)，随着用户终端的视线方向发生变化，判断再生视角的一端和当前实时播放中的拍摄部的拍摄视角是否满足规定的切换标准；以及步骤(e)，若满足切换标准，则切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻的拍摄部的影像。
在优选实施例中，在步骤(a)中，多个拍摄部被设定为对拍摄视角进行拍摄，上述拍摄视角是通过在将N个摄像头部所覆盖的总视角分为N个来得到的临时视角的两侧分别加上规定的保护视角来得到的值，多个拍摄部包括用于在同一时间拍摄同一位置的不同方向的N个摄像头部，步骤(d)包括：步骤(d-1)，随着用户终端的视线方向发生变化，判断再生视角的一端是否进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角；步骤(d-2)，若再生视角的一端进入到保护视角，则判断再生视角的一端是否满足规定的切换标准；以及步骤(d-3)，若再生视角的一端脱离保护视角，则停止对于是否满足切换标准的判断。
在优选实施例中，在步骤(e)中，若开始拍摄部的切换步骤，则仅在拍摄部的影像的关键帧中执行影像的切换，从而实现切换前后影像之间的帧同步。
发明的效果
本发明具有如下效果，即，并不对利用在同一位置中向不同的方向配置的多个摄像头来拍摄的虚拟现实影像进行拼接，而是实时播放所拍摄的虚拟现实影像。
因此，本发明具有可节约拼接多个虚拟现实影像所需要的装置和时间。
本发明可以确保实时性，因此，具有能够实况直播传输虚拟现实内容的优点。
另一方面，即使是在此并未明示性提及的效果，在通过本发明的技术特征所预期的以下的说明书中记载的效果及其临时效果如在本发明的说明书中记载。
附图说明
图1为用于示出本发明的实时播放装置的优选实施例的图。
图2为用于示出对于由本发明的多个拍摄部拍摄的拍摄视角的优选实施例的图。
图3为示出本发明的实时播放方法的优选实施例的图。
图4为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
附图是为了理解本发明的技术思想而参照的例示，本发明的发明要求保护范围并不局限于此。
具体实施方式
在说明本发明的过程中，在判断为对于相关的公知功能对本发明所属技术领域的普通技术人员是显而易见的且会使本发明的主旨不清楚的情况下，将省略对其的详细说明。
图1为用于示出本发明的实时播放装置的优选实施例的图。图2为用于示出对于由本发明的多个拍摄部拍摄的拍摄视角的优选实施例的图。
本发明的实时播放装置的特征在于，并不拼接由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。以下，详细说明具体内容。
如图1及图2所示，本发明的实时播放装置100包括多个拍摄部110、影像选择部120、影像传输部130、视线方向接收部140。
多个拍摄部110包括在同一时间拍摄不同影像的N个摄像头部。在优选实施例中，多个拍摄部110用于在同一时间拍摄同一位置的不同方向。
如图2的(a)部分所示，多个拍摄部110可以拍摄并未相互重叠的临时视角。但是，在优选实施例中，多个拍摄部110能够以相互重叠规定保护视角的方式配置。若规定的保护视角重叠，则可以更加轻松地控制实施播放中的拍摄部的切换时间点。
如图2的(b)部分所示，多个拍摄部110可包括用于在同一时间拍摄同一位置的不同方向的N个摄像头部。N个摄像头部能够用于对拍摄视角进行拍摄，上述拍摄视角是通过在将N个摄像头部所覆盖的总视角分为N个来得到的临时视角的两侧分别加上规定的保护视角得到的值。若如上配置，则被设定为：一个摄像头部拍摄的视角与在两侧相邻的其他摄像头部所覆盖的视角重叠规定视角。
例如，在使用3个摄像头部来传输360VR影像的情况下，各个摄像头部的临时视角可以为120度。但是，若设定为两末端还具有15度的保护视角，则一个摄像头部所覆盖的拍摄视角可以为150度。
另一方面，多个拍摄部所包括的摄像头部可包括用于实现3D的一对摄像头。一对摄像头可分别为右眼影像用摄像头及左眼影像用摄像头。
影像选择部120对多个拍摄部110分别覆盖的拍摄视角与用户终端的视线方向进行比较，以选择多个拍摄部中的拍摄与用户终端的视线方向对应的影像的拍摄部的影像。
影像选择部120选择实时传输的拍摄部的方法可具有多种实施例。
用户终端具有用户终端的显示器可覆盖的固有的视角，将其定义为再生视角。并且，将用户终端观察的特定方向定义为视线方向。
影像选择部120可利用从视线方向接收部140接收的再生视角及视线方向。
在优选实施例中，随着用户终端的视线方向发生变化，影像选择部120判断再生视角的一端是否进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角。若判断为再生视角的一端进入到保护视角，则影像选择部120判断再生视角的一端是否满足规定的切换标准。若判断为再生视角的一端满足规定的切换标准，则影像选择部120切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻拍摄部的影像。规定的切换标准也可具有多种实施例。在优选实施例中，切换标准可以为再生视角的一端1)进入到保护视角的瞬间以及2)到达与保护视角的1/2对应的位置的瞬间等，但并不局限于此。
影像传输部130向用户终端实时传输由影像选择部所选择的拍摄部拍摄的虚拟现实影像。
视线方向接收部140接收对收看虚拟现实影像的用户终端的视线方向的反馈来向影像选择部传递。视线方向接收部140可接收与能够在用户终端的显示装置中再生的固有的范围对应的用户终端的固有的再生视角及用户的视线方向。
图3为示出本发明的实时播放方法的优选实施例的图，图3的实时播放方法通过本发明的实时播放装置实现。
如图3所示，实时播放方法执行确定由多个拍摄部所包括的摄像头部拍摄的拍摄视角的步骤S1100。
在优选实施例中，对于拍摄视角，当假设为了在同一时间拍摄同一位置的不同方向而具有N个摄像头部时，将N个摄像头部所覆盖的总视角分为N个来得到的值确定为临时视角，拍摄视角可被确定为在临时视角的两侧分别加上规定保护视角而得到的值。
若以如上方式确定拍摄视角，则一个摄像头部拍摄的视角与在两侧相邻的其他摄像头部所覆盖的视角重叠规定视角。
接着，向用户终端实时传输由多个拍摄部中的与用户终端的视线方向匹配的拍摄部正在拍摄的影像(步骤S1200)。
在此情况下，本发明的实时播放方法并不拼接由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。
接着，从用户终端接收用户终端的视线方向及可在用户终端中再生的用户终端固有的再生视角(步骤S1300)。
接着，随着用户终端的视线方向发生变化，判断再生视角的一端和当前实时播放中的拍摄部的拍摄视角是否满足规定的切换标准(步骤S1400)。
在优选实施例中，是否满足切换标准可通过以下方法判断。
首先，随着用户终端的视线方向发生变化，判断再生视角的一端是否进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角。
若再生视角的一端进入到保护视角，则开始进行再生视角的一端是否满足规定的切换标准的步骤。
相反，若再生视角的一端脱离保护视角，则停止对于是否满足切换标准的判断，以减少负荷。
若满足切换标准，则切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻拍摄部的影像(步骤S1500)。
切换前后再生影像的帧同步方法
若更换实时播放中的拍摄部的影像，则有可能发生在用户终端中再生的影像中断的现象。为了防止这种问题，在本发明优选实施例中，若开始进行拍摄部的切换步骤，则可仅在拍摄部影像的关键帧(key frame)执行影像的切换，从而实现切换前后影像之间的帧同步。
如下对其进行更具体的说明。
图像组(Group of Picture：GOP)为在MPEG图像处理中包含一张以上的I帧的集合。帧存在I(帧内编码(Intra-coded))、P(预测编码(Predictive-coded))、B(双向编码(Bidirectional-coded))帧。I帧作为关键帧，在不参照其他帧的情况下编码。因此，I帧并不参照其他帧，而是可以独立解码。
P帧参照之前的I帧及P帧来编码。B帧均使用之前、之后的I帧和P帧来编码。因此，对B帧进行解码需要很长的时间。
因此，在切换后再生影像的帧为B帧的情况下，对其进行解码所需要的时间将大幅度增加，这有可能导致同步失败。
对此，本发明仅在关键帧中实现影像间的切换，从而将解码所需要的时间维持在可预测范围内。
为此，本发明的优选实施例利用规定的方法来缩减影像的关键帧距离(key framedistance：KFD)。而且，当随着用户的视线发生变化，对再生影像进行切换时，仅在构成影像的帧中的关键帧(key frame)执行影像的切换，从而实现在切换前后影像之间的帧同步。
在一实施例中，关键帧距离可通过防止B帧包含在图像组的方法进行缩减。这是因为B帧为了进行解码而需要的时间很长。
另一方面，为了仅在关键帧中进行切换而非即刻切换，需要确保规定的延迟时间。换句话说，需要延迟规定的延迟时间来进行切换，且不能发生在延迟时间内再生的画面中断的问题。为此，如上所述，本发明可通过设定规定的保护视角，并轻松设置切换标准来确保上述延迟时间。
广域影像、补丁影像等的实时播放
在优选实施例中，在本发明中实时传输的虚拟现实影像包含广域影像、补丁影像、分割影像。
图4为用于说明本发明的广域影像、补丁影像、多个分割影像的概念的图。
利用图4的(a)部分来说明对于本发明的广域影像和补丁影像的概念。当将整个360度的虚拟现实区域10以球表现时，广域影像V0为表现比整个360度的虚拟现实区域10或补丁影像更大的区域的影像。以下，为了便利，以广域影像覆盖整个虚拟现实区域进行说明，但并不局限于此。
补丁影像V1～V3为表现360度的虚拟现实影像10的一部分的影像。补丁影像V1～V3所覆盖的区域有可能不同，面积及画质也有可能不同。例如，第一补丁影像V1可以为覆盖前面部的上下一部分区域的高画质的影像。若虚拟现实内容为音乐剧，则第一补丁影像V1可以为覆盖音乐剧的舞台的区域。第二补丁影像V2可以为覆盖后面部上端一部分区域的影像，第三补丁影像V3可以为覆盖后面部下端一部分区域的影像。
补丁影像V1～V3通过在广域影像V0上重叠或修补(patched)来再生。因此，即使根据需要关闭(off)再生的补丁影像V1～V3中的一个，在后面再生广域影像V0，因此，影像不会发生空白。
补丁影像V1～V3与广域影像V0同步再生。若并未实现补丁影像V1～V3与广域影像V0的同步，则有可能引起用户头晕。
异步内容V4意味着与多个虚拟现实影像无关地由制作人员的意图任意***的内容。异步内容V4可以为视频，也可以为特定事件工作。内容上可以为广告，也可以为与虚拟现实影像有关的事件。
异步内容V4并不与多个虚拟现实影像同步。即，与补丁影像V1～V3和广域影像V0的同步无关地，通过单独的触发信息再生或工作。在优选实施例中，触发信息包含与用户的视线是否观察异步内容V4的位置有关的信息。
利用图4的(b)部分来说明本发明的分割影像V1～VN的概念。
在一实施例中，分割影像V1～VN可以为被分割成并不相互重叠的N个区域的影像。多个分割影像V1～VN可以为不同尺寸，也可以为不同画质。
图2中已说明了相互重叠规定保护视角的影像，因此，将省略重复说明。
对本发明所属技术领域的普通技术人员来说，在不超出本发明的特征的范围内，本发明可具体化成其他特定形态是显而易见的。因此，上述详细说明在所有方面均是例示性，而并非限定本发明。本发明的范围通过附加的发明要求保护范围的合理解释确定，在本发明的等同范围内的所有变更均属于本发明的范围内。

Claims (6)

1.一种用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放装置，其特征在于，
包括：
多个拍摄部，用于在同一时间拍摄同一位置的不同方向；
影像选择部，对多个拍摄部分别覆盖的视角与用户终端的视线方向进行比较，选择多个拍摄部中的拍摄与用户终端的视线方向对应的影像的拍摄部的影像；
影像传输部，向用户终端实时传输由影像选择部所选择的拍摄部拍摄的虚拟现实影像；以及
视线方向接收部，接收对收看虚拟现实影像的用户终端的视线方向的反馈来向影像选择部传递，
上述实时播放装置为了确保实时性并不拼接由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。
2.根据权利要求1所述的用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放装置，其特征在于，
多个拍摄部包括用于在同一时间拍摄同一位置的不同方向的N个摄像头部，
N个摄像头部用于对拍摄视角进行拍摄，上述拍摄视角是通过在将N个摄像头部所覆盖的总视角分为N个来得到的临时视角的两侧分别加上规定的保护视角来得到的值，被设定为一个摄像头部拍摄的视角与在两侧相邻的其他摄像头部所覆盖的视角重叠规定视角。
3.根据权利要求1所述的用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放装置，其特征在于，视线方向接收部接收能够在用户终端中再生的用户终端固有的再生视角及用户的视线方向，若随着用户终端的视线方向发生变化，再生视角的一端进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角，则影像选择部判断再生视角的一端是否满足规定的切换标准，当再生视角的一端满足规定的切换标准时，切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻拍摄部的影像。
4.一种用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放方法，其为利用权利要求1所述的虚拟现实影像实时播放装置来实时播放的实时播放方法，其特征在于，
包括：
步骤(a)，确定由多个拍摄部所包括的摄像头部拍摄的拍摄视角；
步骤(b)，向用户终端实时传输由多个拍摄部中的与用户终端的视线方向匹配的拍摄部正在拍摄的影像；
步骤(c)，接收用户终端的视线方向及能够在用户终端中再生的用户终端固有的再生视角；
步骤(d)，随着用户终端的视线方向发生变化，判断再生视角的一端和当前实时播放中的拍摄部的拍摄视角是否满足规定的切换标准；以及
步骤(e)，若满足切换标准，则切换拍摄部，以断开当前实时播放中的拍摄部的影像并传输相邻的拍摄部的影像，
上述实时播放方法为了确保实时性并不拼接由多个拍摄部拍摄的多个虚拟现实影像，而是向用户终端仅传输包含用户终端的视线方向的拍摄部的影像来实现虚拟现实内容的实时播放。
5.根据权利要求4所述的用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放方法，其特征在于，
在步骤(a)中，多个拍摄部被设定为对拍摄视角进行拍摄，上述拍摄视角是通过在将N个摄像头部所覆盖的总视角分为N个来得到的临时视角的两侧分别加上规定的保护视角来得到的值，多个拍摄部包括用于在同一时间拍摄同一位置的不同方向的N个摄像头部，
步骤(d)包括：
步骤(d-1)，随着用户终端的视线方向发生变化，判断再生视角的一端是否进入到包含在当前实时播放中的拍摄部的拍摄视角的保护视角；
步骤(d-2)，若再生视角的一端进入到保护视角，则判断再生视角的一端是否满足规定的切换标准；以及
步骤(d-3)，若再生视角的一端脱离保护视角，则停止对于是否满足切换标准的判断。
6.根据权利要求4所述的用于实时播放由多个摄像头输入的虚拟现实影像的虚拟现实影像实时播放方法，其特征在于，在步骤(e)中，若开始拍摄部的切换步骤，则仅在拍摄部影像的关键帧中执行影像的切换，从而实现切换前后影像之间的帧同步。
CN202080083114.0A 2019-11-29 2020-11-27 实时播放由多个摄像头输入的虚拟现实影像的装置及方法 Active CN114762353B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020190156487A KR102295265B1 (ko) 2019-11-29 2019-11-29 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법
KR10-2019-0156487 2019-11-29
PCT/KR2020/017154 WO2021107708A1 (ko) 2019-11-29 2020-11-27 복수의 카메라로부터 입력된 가상현실영상을 실시간 방송하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
CN114762353A CN114762353A (zh) 2022-07-15
CN114762353B true CN114762353B (zh) 2023-01-24

Family

ID=76129824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080083114.0A Active CN114762353B (zh) 2019-11-29 2020-11-27 实时播放由多个摄像头输入的虚拟现实影像的装置及方法

Country Status (4)

Country Link
US (1) US11503268B2 (zh)
KR (1) KR102295265B1 (zh)
CN (1) CN114762353B (zh)
WO (1) WO2021107708A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291804A (zh) * 2023-09-28 2023-12-26 武汉星巡智能科技有限公司 基于加权融合策略的双目图像实时拼接方法、装置及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598235A (zh) * 2016-11-29 2017-04-26 歌尔科技有限公司 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
CN107169924A (zh) * 2017-06-14 2017-09-15 歌尔科技有限公司 三维全景图像的建立方法和***
KR20190085681A (ko) * 2018-01-11 2019-07-19 주식회사 제이슨와이 실감형 ｖｒ 영상의 제공 방법 및 이를 위한 서버 장치
JP2019174811A (ja) * 2019-04-23 2019-10-10 株式会社スクウェア・エニックス 表示システム及び表示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577627B1 (ko) * 2014-04-25 2015-12-15 세종대학교산학협력단 혼합 현실 콘텐츠 재생 장치 및 렌더링 방법
JP2018033107A (ja) 2016-08-26 2018-03-01 株式会社ｈｏｌｏ 動画の配信装置及び配信方法
US10186075B2 (en) * 2016-11-30 2019-01-22 Adcor Magnet Systems, Llc System, method, and non-transitory computer-readable storage media for generating 3-dimensional video images
KR101908952B1 (ko) * 2017-02-27 2018-12-19 (주)진명아이앤씨 Uhd동영상 스티칭 방법 및 그 장치
KR101887380B1 (ko) 2017-03-30 2018-08-10 에스피테크놀러지 주식회사 복수 개의 카메라를 이용한 촬영 이미지의 전송 및 처리를 위한 장치 및 방법
KR102111501B1 (ko) * 2017-06-19 2020-05-15 주식회사 케이티 가상 현실 체험 서비스를 제공하는 서버, 사용자 단말 및 방법
KR20180137916A (ko) * 2017-06-20 2018-12-28 (주)레드몽키픽처스 가상현실 영상컨텐츠 제공시스템 및 제공방법
KR20190078553A (ko) * 2019-06-14 2019-07-04 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
US11362251B2 (en) * 2019-12-02 2022-06-14 Facebook Technologies, Llc Managing thermal resistance and planarity of a display package

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598235A (zh) * 2016-11-29 2017-04-26 歌尔科技有限公司 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
CN107169924A (zh) * 2017-06-14 2017-09-15 歌尔科技有限公司 三维全景图像的建立方法和***
KR20190085681A (ko) * 2018-01-11 2019-07-19 주식회사 제이슨와이 실감형 ｖｒ 영상의 제공 방법 및 이를 위한 서버 장치
JP2019174811A (ja) * 2019-04-23 2019-10-10 株式会社スクウェア・エニックス 表示システム及び表示方法

Also Published As

Publication number Publication date
US20220295035A1 (en) 2022-09-15
CN114762353A (zh) 2022-07-15
KR20210067155A (ko) 2021-06-08
KR102295265B1 (ko) 2021-08-30
WO2021107708A1 (ko) 2021-06-03
US11503268B2 (en) 2022-11-15

Similar Documents

Publication Publication Date Title
US9774896B2 (en) Network synchronized camera settings
JP6267961B2 (ja) 映像提供方法および送信装置
WO2010064774A1 (ko) 3차원 영상신호 전송 방법과, 3차원 영상표시 장치 및 그에 있어서의 신호 처리 방법
CN106550239A (zh) 360度全景视频直播***及其实现方法
US20180167685A1 (en) Multi-source video navigation
CN111355966A (zh) 环绕自由视角直播方法及***
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
KR20190083906A (ko) 복수의 촬영 영상 전송을 위한 시스템 및 그 제어방법
CN114762353B (zh) 实时播放由多个摄像头输入的虚拟现实影像的装置及方法
US20140354770A1 (en) Digital broadcast receiving method for displaying three-dimensional image, and receiving device thereof
CN1848917A (zh) 在取景器中具有画中画的摄像机***
JP4250814B2 (ja) ３次元映像の送受信システム及びその送受信方法
US20120162365A1 (en) Receiver
CN113938617A (zh) 一种多路视频显示方法、设备、网络摄像机及存储介质
Jack et al. Dictionary of video and television technology
CN116320363B (zh) 一种多角度虚拟现实拍摄方法及***
CN115643491A (zh) 视频流的播放方法和视频监控***、存储介质及电子装置
CN113949884A (zh) 多视点视频数据处理方法、设备及存储介质
KR20200001597A (ko) 다채널 영상 생성 방법, 다채널 영상 재생 방법 및 다채널 영상 재생 프로그램
GB2354388A (en) System and method for capture, broadcast and display of moving images
JP2618913B2 (ja) ビデオカメラ装置
JP2600693B2 (ja) 立体画像再生装置
JPH11261884A (ja) パノラマ映像放送方法および放送受信装置
JPH07226958A (ja) 立体映像表示方式
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant