CN116762347A - 通过vr广播流的远程呈现 - Google Patents

通过vr广播流的远程呈现 Download PDF

Info

Publication number
CN116762347A
CN116762347A CN202280010265.2A CN202280010265A CN116762347A CN 116762347 A CN116762347 A CN 116762347A CN 202280010265 A CN202280010265 A CN 202280010265A CN 116762347 A CN116762347 A CN 116762347A
Authority
CN
China
Prior art keywords
video
content
broadcast
panel display
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280010265.2A
Other languages
English (en)
Inventor
B·坎德洛尔
A·戈德堡
F·安斯菲尔德
G·克利夫特
L·皮内达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority claimed from PCT/IB2022/057318 external-priority patent/WO2023012745A1/en
Publication of CN116762347A publication Critical patent/CN116762347A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6143—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

描述了用于在鲁棒地递送下一代广播电视服务方面扩展和/或改进高级电视***委员会(ATSC)3.0电视协议的技术。通过空中(OTA)虚拟现实(VR)广播流来提供远程呈现。

Description

通过VR广播流的远程呈现
技术领域
本申请涉及必然植根于计算机技术并且针对数字电视的技术进步，并且更具体地，涉及高级电视***委员会(ATSC)3.0。
背景技术
高级电视***委员会(ATSC)3.0标准套是如A/300中所指示的用于递送下一代广播电视的超过十几个行业技术标准的集合。ATSC 3.0支持将宽范围的电视服务(包括电视视频、交互式服务、数据的非实时递送和定制广告)递送给大量接收设备(从超高清晰度电视到无线电话)。ATSC 3.0还安排广播内容(被称为“空中(over the air)”或OTA)与相关宽带递送内容和服务(被称为“过顶(over the top)”或OTT)之间的协调。ATSC 3.0被设计为是灵活的，以便随着技术演进，可以容易地包含进步，而不需要任何相关技术标准的彻底修改。
发明内容
使用鼠标或触摸屏，可以在PC、平板计算机或智能电话上平移(pan)一百八十/三百六十度(180°/360°)视场4K或8K或更高分辨率视频。使用护目镜，可以利用手动控制器或头部运动来平移视频。VR护目镜可以感测头部的自然转动或倾斜以便平移护目镜内示出的图像以使佩戴者感觉存在于该位置处，仿佛被“远距传送”一样。
如本文中所设想的，180/360视频可以是单视场的或立体的。如本文中所使用的，平面显示器可以呈现单视场或立体视频，其中立体视频被用于渲染3D视频，并且单视场视频通常被视为2D视频。如本文中所使用的，“平面显示”或“平面视频”意味着这样的视频：在该视频中，被处理的整个图像局限于显示器，通常具有16x9的宽高比，具有任何接收的分辨率，没有平移的能力。因此，“平面”视频可以被视为180/360视频的“主视图”视频。它可以是导演或内容创作者想要使用户的注意力集中的地方。“环绕视频”未被示出。“平面视频”加上“环绕视频”构成整个180/360视频。
示例可以包括与正常平面馈送一起提供实况新闻事件的180°/360°环绕馈送。诸如在事故、***、示威游行、政治集会等的位置处的实况新闻事件可以被显示为护目镜上的180°/360°球形表示的360°馈送。并且这不仅仅是实况新闻事件，还是展示人和组织的实况“人情味”故事。360°馈送可以为观看者提供关于他们要做什么的更好的主意，因为他们能够“环顾四周”并且看见平面馈送不能显示的事物。当没有护目镜的人在TV上观看正常平面视频时，具有护目镜的人可以通过平移180°/360°环绕馈送来在整个场景周围平移。对于支持180°/360°视频的显示的TV，可以使用遥控器、通过按压遥控器上的上、下、左和右按钮来实现平移。视频可以是单视场的或立体的。立体视频可以将单独的图像递送给每只眼睛，并且这被称为“3D”视频。利用180°/360°视频可以支持3D视频，但并非所有180°/360°视频都是3D。本原理还适用于旅行游客内容和以180°/360°VR拍摄的任何节目或内容，诸如音乐会、摩托车比赛、滑板滑雪或徒步旅行。许多VR视频是以单视场方式拍摄的，例如，将相同内容递送给每只眼睛，并且往往具有被设置为无穷远的焦点，这使用户在3D中经历的恶心最小化。单视场视频可以提供“身临其境”和远程呈现(telepresence)的非常令人满意的体验。
因此，一种数字电视装置包括：具有至少一个处理器的至少一个接收器，所述至少一个处理器被利用指令编程以将处理器配置为：在主显示器上呈现事件的平面视频，以及在虚拟现实(VR)头戴式设备(headset)上呈现所述事件的一百八十或三百六十度(180°或360°)视频。
在另一方面，在其中至少一个接收器能够接收广播信号的数字电视中，一种方法包括：至少接收第一广播视频信号。所述方法还包括：在至少一个正常平面显示器上呈现第一广播视频信号中的内容，以及在至少一个显示器上呈现所述内容的180°/360°视频。所述方法包括：响应于至少一个命令，在所述至少一个显示器上平移所述180°/360°视频。
在一些实施例中，所述至少一个显示器包括虚拟现实(VR)头戴式设备。
在一些实施例中，所述至少一个显示器包括平面显示器。
在一些实现方案中，在第一广播视频流中接收所述180°/360°视频，第一广播流不包括所述内容的其他视频，并且所述平移包括在平面显示器上平移视频。
在其他实施例中，在第一广播视频流中接收所述180°/360°视频，第一广播流不包括所述内容的其他视频，并且所述180°/360°视频在平面显示器上被呈现为平面视频作为向后兼容内容视图。
在一些实现方案中，在第一广播视频流中接收所述180°/360°视频，并且其中的内容被呈现在平面显示器上，并且所述方法包括将所述内容从平面显示器发送到VR头戴式设备。在其他实现方案中，在第一广播视频流中接收所述180°/360°视频，并且其中的内容被呈现在平面显示器上，并且所述方法包括在不经过平面显示器的情况下将所述内容发送到VR头戴式设备。
可以在第一广播视频流中与所述180°/360°视频中的内容的平面馈送一起接收所述180°/360°视频。或者，可以从过顶(OTT)源接收所述180°/360°视频。
在另一方面，一种装置包括：至少一个接收器组件，所述至少一个接收器组件被配置为：至少接收第一广播视频信号，以及在至少一个平面显示器上呈现第一广播视频信号中的内容。所述接收器组件还被配置为：在至少一个显示器上呈现所述内容的180°/360°视频。响应于至少一个命令，所述组件被配置为在所述至少一个显示器上平移所述180°/360°视频。
可以参照附图最好地理解关于本申请的结构和操作两者的本申请的细节，附图中相同的附图标记指代相同的部分，并且附图中：
附图说明
图1图示了高级电视***委员会(ATSC)3.0***；
图2图示了图1中所示的设备的组件；
图3图示了用于提供远程呈现视频的第一技术；
图4图示了用于提供远程呈现视频的第二技术；
图5图示了与本原理一致的示例特定***；
图6图示了与本原理一致的示例流程图格式的示例逻辑；
图7图示了具有两个显示器的接收器***，一个显示器用于呈现事件的平面视图，并且另一个显示器用于提供事件的360度VR远程呈现视图；
图8图示了用于在TV上提供360°远程呈现视频作为可以被平移的平面视频的第一技术；
图9图示了用于在TV上提供360°远程呈现视频作为平面向后兼容视频的第二技术；
图10图示了用于在TV上以及在VR护目镜上提供360°远程呈现视频的第三技术；并且
图11图示了用于将360°远程呈现视频直接提供给VR护目镜的第四技术。
具体实施方式
本公开涉及数字电视中(诸如高级电视***委员会(ATSC)3.0电视中)的技术进步。本文中的示例***可以包括ATSC 3.0源组件和客户端组件，所述ATSC 3.0源组件和客户端组件经由广播和/或通过网络连接，使得可以在客户端组件和ATSC 3.0源组件之间交换数据。客户端组件可以包括一个或多个计算设备，该一个或多个计算设备包括便携式电视(例如，智能TV、支持互联网的TV)、便携式计算机(诸如膝上型计算机和平板计算机)以及其他移动设备，包括智能电话和下文中讨论的附加示例。这些客户端设备可以用各种操作环境来操作。例如，作为示例，一些客户端计算机可采用来自Microsoft的操作***或Unix操作***或者由Apple Computer或Google生产的操作***(诸如)。这些操作环境可以被用于执行一个或多个浏览程序，诸如由Microsoft或Google或Mozilla制作的浏览器或者可以访问由下文中讨论的互联网服务器托管的网站的其他浏览器程序。
ATSC 3.0源组件可以包括广播传输组件和服务器和/或网关，所述广播传输组件和服务器和/或网关可以包括执行指令的一个或多个处理器，所述指令将源组件配置为通过诸如互联网之类的网络来广播数据和/或传输数据。可以通过诸如Sony之类的游戏控制台、个人计算机等来实例化客户端组件和/或本地ATSC 3.0源组件。
可以通过网络在客户端和服务器之间交换信息。为了这个目的并且为了安全性，服务器和/或客户端可以包括防火墙、负载均衡器、临时存储装置和代理以及用于可靠性和安全性的其他网络基础设施。
如本文中所使用的，指令是指用于处理***中的信息的计算机实现的步骤。指令可以用软件、固件或硬件来实现，并且包括由***的组件执行的任何类型的编程的步骤。
处理器可以是能够通过各种线(诸如地址线、数据线和控制线)以及寄存器和移位寄存器来执行逻辑的单芯片或多芯片处理器。
本文中通过流程图和用户界面的方式描述的软件模块可以包括各种子例程、过程等。在不限制本公开的情况下，陈述为由特定模块执行的逻辑可以被重新分配给其他软件模块和/或一起组合在单个模块中和/或在可共享的库中可用。虽然可以使用流程图格式，但应该理解的是，软件可以被实现为状态机或其他逻辑方法。
本文中描述的本原理可以被实现为硬件、软件、固件或其组合；因此，说明性的组件、块、模块、电路和步骤是根据其功能而阐述的。
除了上文中已经提到的内容之外，还可以利用被设计为执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或其他可编程逻辑器件(诸如专用集成电路(ASIC))、分立式门或晶体管逻辑、分立式硬件组件或其任何组合来实现或执行逻辑块、模块和电路。处理器可以由控制器或状态机或计算设备的组合来实现。
当以软件实现时，可以用适当的语言来编写下文中描述的功能和方法，所述适当的语言诸如但不限于超文本标记语言(HTML)-5、/Javascript、C#或C++，并且所述功能和方法可以被存储在计算机可读存储介质上或通过计算机可读存储介质来传输，该计算机可读存储介质诸如随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)或其他光盘存储装置(诸如数字多功能盘(DVD))、磁盘存储装置或其他磁存储设备(包括可移除通用串行总线(USB)拇指驱动器)等。连接可以建立计算机可读介质。作为示例，此类连接可以包括硬连线线缆，该硬连线线缆包括光纤和同轴线和数字订户线(DSL)和双绞线。
一个实施例中包括的组件可以以任何适当的组合被用于其他实施例。例如，本文中描述的和/或附图中描绘的各种组件中的任何组件可以被组合、互换或从其他实施例中排除。
“具有A、B和C中的至少一个”(同样地，“具有A、B或C中的至少一个”和“具有A、B、C中的至少一个”)的叙述包括单独A、单独B、单独C、A和B一起、A和C一起、B和C一起和/或A、B和C一起等。
本原理可以采用各种机器学习模型，包括深度学习模型。与本原理一致的机器学习模型可以使用以包括监督学习、无监督学习、半监督学习、强化学习、特征学习、自学习和其他形式的学习的方式训练的各种算法。可以由计算机电路实现的此类算法的示例包括一种或多种神经网络，诸如卷积神经网络(CNN)、循环神经网络(RNN)和被称为长短期记忆(LSTM)网络的一种类型的RNN。支持向量机(SVM)和贝叶斯网络也可以被视为机器学习模型的示例。
如在本文中理解的那样，执行机器学习可以因此涉及访问模型然后在训练数据上训练模型以使模型能够处理进一步的数据从而进行推断。通过机器学习训练的人工神经网络/人工智能模型可以因此包括输入层、输出层和其间的多个隐藏层，这些层被配置并且加权以推断适当的输出。
转到图1，ATSC 3.0源组件的示例被标记为“广播器装置”10，并且可以包括空中(OTA)装置12，该空中(OTA)装置12用于通常以一对多关系经由正交频分复用(OFDM)向多个接收器14(诸如ATSC 3.0电视)无线地广播电视数据。一个或多个接收器14可以通过可由低功耗蓝牙、无线HDMI、Amimon无线HD视频链路、其他近场通信(NFC)协议、红外(IR)等实现的短距离、通常是无线的链路18与一个或多个配套设备16进行通信，该一个或多个配套设备16诸如遥控器、平板计算机、移动电话、虚拟现实(VR)头戴式设备(诸如计算机模拟180°/360°头戴式设备，诸如计算机游戏头戴式设备，诸如Sony/>头戴式设备等)。
此外，一个或多个接收器14可以经由诸如互联网之类的有线和/或无线网络链路20通常以一对一关系与广播器装置10的过顶(OTT)装置22进行通信。OTA装置12可以与OTT装置22位于同一位置，或者广播器装置10的两侧12、22可以彼此远离并且可以通过适当的手段彼此通信。在任何情况下，接收器14可以通过调谐到ATSC 3.0的电视信道来通过OTA接收ATSC 3.0电视信号，并且还可以通过OTT(宽带)接收相关内容，包括电视。注意，在本文的所有附图中描述的计算机化的设备可以包括针对图1和图2中的各种设备所阐述的组件中的一些或所有。
现在参照图2，可以看到图1中所示的组件的示例的细节。图2图示了可由硬件和软件的组合实现的示例协议栈。使用图2中所示并且针对广播器侧适当地修改的ATSC 3.0协议栈，广播器可以发送混合服务递送，其中经由计算机网络(在本文中被称为“宽带”和“过顶”(OTT))以及经由无线广播(在本文中被称为“广播”和“空中”(OTA))来递送一个或多个节目元素。图2还图示了具有可由接收器实施的硬件的示例栈。
根据广播器装置10公开图2，访问一个或多个计算机存储介质202(诸如本文中描述的任何存储器或存储装置)的一个或多个处理器200可以被实现为提供顶层应用层204中的一个或多个软件应用。应用层204可以包括在运行时环境中运行的、用例如HTML5/Javascript编写的一个或多个软件应用。应用栈204中的应用可以包括但不限于线性TV应用、交互式服务应用、配套屏幕应用、个性化应用、紧急警报应用和使用情况报告应用。应用通常被实施在表示观看者体验的元素的软件中，其包括视频编码、音频编码和运行时环境。作为示例，可以提供使用户能够控制对话、使用备用音轨、控制音频参数(诸如归一化和动态范围)等的应用。
在应用层204下方是表示层206。在广播(OTA)侧，表示层206包括被称为媒体处理单元(MPU)208的广播音频-视频回放设备，当在接收器中被实现时，该媒体处理单元(MPU)208在一个或多个显示器和扬声器上对无线广播的音频视频内容进行解码和回放。MPU 208被配置为呈现国际标准化组织(ISO)基础媒体文件格式(BMFF)数据表示210和具有例如杜比音频压缩(AC-4)格式的音频的高效视频编码(HEVC)的视频。ISO BMFF是被分为“段”和表示元数据的用于基于时间的媒体文件的通用文件结构。每个文件本质上是嵌套对象的集合，每个对象具有类型和长度。为了促进解密，MPU 208可以访问广播侧加密媒体扩展(EME)/通用加密(CENC)模块212。
图2进一步图示了：在广播侧，表示层206可以包括信令模块，该信令模块包括运动图像专家组(MPEG)媒体传输协议(MMTP)信令模块214或通过单向传输的实时对象递送(ROUTE)信令模块216，用于递送应用层204可访问的非实时(NRT)内容218。NRT内容可以包括但不限于存储的替换广告。
在宽带(OTT或计算机网络)侧，当由接收器实现时，表示层206可以包括一个或多个通过超文本传输协议(HTTP)的动态自适应流传输(DASH)播放器/解码器220，用于对来自互联网的音频-视频内容进行解码和播放。为此，DASH播放器220可以访问宽带侧EME/CENC模块222。可以作为ISO/BMFF格式的DASH段224来提供DASH内容。为了支持本发明的各种实施例，DASH段对各种媒体内容成分类型(诸如音频、视频或文本)进行编码。预计可以存在多于一种视频类型，一种视频类型包括传统主视图，并且新的视频类型包括环绕视频。传统播放器/解码器对基于传统主视图的传统视频类型进行解码，而增强型播放器对包括环绕视频的附加视频类型进行平移和解码。
如广播侧的情况那样，表示层206的宽带侧可以包括文件226中的NRT内容，并且还可以包括用于提供回放信令的信令对象228。
在协议栈中的表示层206下方是会话层230。在广播侧，会话层230包括MMTP协议232或ROUTE协议234。注意，ATSC标准提供了将MPEG MMT用于传输的选项，虽然它在这里未被示出。
在宽带侧，会话层230包括可被实现为安全HTTP(HTTP(S))的HTTP协议236。会话层230的广播侧还可以采用HTTP代理模块238和服务列表表(SLT)240。SLT 240包括用于建立基本服务列表并且提供广播内容的引导发现的信令信息的表。媒体呈现描述(MPD)被包括在由ROUTE传输协议通过用户数据报协议(UDP)递送的“ROUTE信令”表中。
在协议栈中，传输层242在会话层230下方，用于建立低时延并且容忍丢失的连接。在广播侧，传输层242使用UDP 244，并且在宽带侧，传输层242使用传输控制协议(TCP)246。
图2中所示的示例非限制性协议栈还包括在传输层242下方的网络层248。网络层248在两侧使用互联网协议(IP)以进行IP分组通信，其中在广播侧多播递送是典型的，并且在宽带侧单播是典型的。
在网络层248下方是物理层250，物理层250包括广播发送/接收装置252和(一个或多个)计算机网络接口254，用于在与两侧相关联的相应物理介质上进行通信。物理层250将互联网协议(IP)分组转换为适合于通过相关介质来传输，并且可以添加前向纠错功能以使得能够在接收器处进行纠错，以及包含调制和解调模块以并入调制和解调功能。这将位转换成符号，以进行长距离传输以及增加带宽效率。在OTA侧，物理层250通常包括无线广播发射器以使用正交频分复用(OFDM)无线地广播数据，而在OTT侧，物理层250包括计算机传输组件以通过互联网发送数据。
通过协议栈中的各种协议(HTTP/TCP/IP)发送的DASH行业论坛(DASH-IF)简档可以被用在宽带侧。基于ISO BMFF的DASH-IF简档中的媒体文件可以被用作用于广播和宽带递送两者的递送、媒体封装和同步格式。
每个接收器14通常包括与广播器装置的协议栈互补的协议栈。
如图2中所示，图1中的接收器14可以包括具有ATSC 3.0TV调谐器(等效地，控制TV的机顶盒)256的支持互联网的TV。接收器14可以是基于的***。可替代地，接收器14可以由计算机化的支持互联网的(“智能”)电话、平板计算机、笔记本计算机、可穿戴计算机化设备等来实现。无论如何，应该理解的是，接收器14和/或本文中描述的其他计算机被配置为执行本原理(例如，与其他设备通信以执行本原理、执行本文中描述的逻辑以及执行本文中描述的任何其他功能和/或操作)。
因此，为了执行此类原理，可以由图1中所示的组件中的一些或所有来建立接收器14。例如，接收器14可以包括一个或多个显示器258，该一个或多个显示器258可以由高清晰度或超高清晰度“4K”或更高的平面屏幕来实现，并且该一个或多个显示器258可以是或者可以不是用于经由在显示器上的触摸接收用户输入信号的支持触摸的。接收器14还可以包括用于根据本原理输出音频的一个或多个扬声器260以及用于例如将可听命令输入到接收器14以控制接收器14的至少一个附加输入设备262(诸如例如音频接收器/麦克风)。示例接收器14还可以包括用于在一个或多个处理器266的控制下通过至少一个网络(诸如互联网、WAN、LAN、PAN等)通信的一个或多个网络接口264。因此，接口264可以是但不限于作为无线计算机网络接口的示例的Wi-Fi收发器，诸如但不限于网状网络收发器。接口264可以是但不限于收发器、/>收发器、红外数据协会(IrDA)收发器、无线USB收发器、有线USB、有线LAN、电力线或同轴电缆多媒体联盟(MoCA)。应该理解的是，处理器266控制接收器14以执行本原理，包括本文中描述的接收器14的其他元件，诸如例如控制显示器258以在显示器258上呈现图像并且从其接收输入。此外，注意网络接口264可以是例如有线或无线调制解调器或路由器或者其他适当的接口，诸如例如无线电话收发器或如上所述的Wi-Fi收发器等。
除了前述的之外，接收器14还可以包括一个或多个输入端口268，诸如用于物理连接(使用有线连接)到另一CE设备的高清晰度多媒体接口(HDMI)端口或USB端口和/或用于将耳机连接到接收器14以通过耳机将来自接收器14的音频表现给用户的耳机端口。例如，输入端口268可以经由电线或无线地连接到音频视频内容的卫星源或线缆。因此，该源可以是分离或集成的机顶盒或者***。或者，该源可以是游戏控制台或盘播放器。
接收器14还可以包括一个或多个计算机存储器270，诸如并非暂态信号的基于盘的存储装置或固态存储装置，在一些情况下，该一个或多个计算机存储器270在接收器的机箱中被实施为独立设备，或者被实施为用于回放音频视频(AV)节目的在接收器的机箱内部或外部的个人视频记录设备(PVR)或视频盘播放器，或者被实施为可移除存储器介质。此外，在一些实施例中，接收器14可以包括定位或位置接收器272，诸如但不限于蜂窝电话接收器、全球定位卫星(GPS)接收器和/或高度计，该定位或位置接收器272被配置为例如从至少一个卫星或蜂窝电话塔接收地理定位信息，并且将该信息提供给处理器266和/或与处理器266结合确定接收器14被布置的海拔高度。然而，应该理解的是，可以根据本原理使用除蜂窝电话接收器、GPS接收器和/或高度计之外的另一合适的定位接收器以确定接收器14的位置，例如在所有三个维度上。
继续描述接收器14，在一些实施例中，接收器14可以包括一个或多个相机274，该一个或多个相机274可以包括以下相机中的一个或多个：热成像相机、数码相机(诸如网络摄像头)和/或集成到接收器14中并可由处理器266控制以根据本原理采集图片/图像和/或视频的相机。在接收器14上还可以包括收发器276或其他近场通信(NFC)元件，以用于分别使用/>和/或NFC技术与其他设备通信。示例NFC元件可以是射频识别(RFID)元件。
此外，接收器14可以包括向处理器266提供输入的一个或多个辅助传感器278(诸如运动传感器，诸如加速度计、陀螺仪、回转计或磁传感器或惯性测量单元(IMU)及其组合)、用于从遥控器接收IR命令的红外(IR)传感器、光学传感器、速度和/或节奏传感器、手势传感器(用于感测手势命令)等。可以提供IR传感器280以从无线遥控器接收命令。可以提供电池(未示出)来为接收器14供电。
配套设备16可以包含关于上述接收器14示出的元件中的一些或所有。
本文中描述的方法可以被实现为由处理器执行的软件指令、合适地配置的专用集成电路(ASIC)或现场可编程门阵列(FPGA)模块或者如本领域技术人员将会理解的任何其他方便的方式。在软件指令被采用的情况下，软件指令可以被实施在非暂态设备(诸如CDROM或闪存驱动器)中。可替代地，软件代码指令可以被实施在暂态布置(诸如无线电或光信号)中，或者通过互联网经由下载而被实施。
现在参照图3。实况事件300可以由事件相机302拍摄以用于广播，该事件相机302经由OTA广播发射器304将真实的正常平面图像发送到一个或多个接收器306。同时，可移动的一百八十/三百六十度(180°/360°)4K或8K或更高相机308在每个方向上拍摄事件300，并且经由OTT源310(诸如互联网服务器)将它的输出发送到接收器306。(180°/360°)4K或8K或更高相机308可以提供事件的环绕视图，并且还可以提供比由平面相机302提供的事件的正视图更大的事件的正视图。在示例中，(180°/360°)4K或8K或更高相机308可以被安装在无人机上以拍摄事件300。如果需要，(180°/360°)4K或8K或更高相机308可以输出180°/360°视频。AC-4音频例如可以伴随(180°/360°)4K或8K或更高视频。(180°/360°)4K或8K或更高相机308可以以大角度格式捕获事件300。
另一方面，图4图示了这样的实施例：其中平面相机302的输出和(180°/360°)4K或8K或更高相机308的输出两者经由OTA广播304被发送到接收器306。由相机302、308产生的两个视频流可以在单个物理层管道(PLP)或相关PLP中被发送，并且可以伴随着两个视频流都可用的信令，识别每一个视频流是什么，例如平面或者(180°/360°)4K或8K。
在另一实施例中，可以从图4中省略平面相机302，并且可以仅将来自(180°/360°)4K或8K或更高相机308的视频流通过OTA发送到接收器以用于如下所述的处理。在这个实施例中，流可以具有使用主视频内容类型的主视图。
图5图示了接收器组件可以包括OTA接收器500和OTT接收器502和平面显示器504(诸如TV)。接收器组件还可以包括虚拟现实(VR)头戴式设备506(诸如护目镜)和用于平移视频(诸如在VR头戴式设备506上呈现的180°/360°视频)的一个或多个设备。这些设备可以包括指向和点击机构，诸如TV的遥控器(RC)508上的操纵杆或按钮、智能电话510上的触摸屏或者头戴式设备506上的触摸屏或触摸板512。平移设备还可以包括头戴式设备506或RC508中的一个或多个运动传感器514。代替触摸屏或触摸板512，头戴式设备可以具有RC 508以实现平移。上述事物的组合可以被用于平移。图5中所示的组件中的每一个可以包括来自图2的适当的组件，包括处理器、存储设备和网络接口。
图6图示了可由图5的接收器组件中的一个或多个处理器执行的示例逻辑。在框600处开始，例如通过OTA接收平面视频流，或者在未提供平面事件相机302时从单个(180°/360°)4K或8K或更高视频流导出平面视频流。(180°/360°)4K或8K或更高视频流可以具有本质上是平面视图流的主视图。在框602处，该平面流可以被呈现在例如图5中的TV 504上。
移动到框604，如上所述，通过OTA或OTT接收(180°/360°)4K或8K或更高视频流，并且在框606处接收任何平移信号。在框308处，(180°/360°)4K或8K或更高180°/360°视频可以被呈现在图5中所示的VR头戴式设备506上。
图7图示了图3中的事件300的平面流可以被呈现在TV 504上，而同时同一事件300的(180°/360°)4K或8K或更高180°/360°版本可以被呈现在头戴式设备506上，其中由箭头700指示的平移特征允许头戴式设备506的佩戴者虚拟地存在于事件300处并且移动他的头部或操纵另一平移设备(例如，RC 508)以“环顾事件四周”，仿佛他实际上在那里一样。注意，平移包括方位角平移和仰角平移两者。
图8图示了第一技术，在该第一技术中，(180°/360°)4K或8K或更高视频800由TV504通过OTA接收以在TV上呈现为平面视频。观看者可以使用任何上述输入设备(例如，RC508上的操纵杆或按钮、智能电话510上的触摸屏等)在TV 504上平移视频。
图9图示了(180°/360°)4K或8K或更高视频800由TV 504通过OTA接收并且在TV上被渲染为平面以建立向后兼容视图而没有平移。
图10图示了(180°/360°)4K或8K或更高视频800可以由TV 504通过OTA接收并且被渲染为平面以呈现在TV上，其中(180°/360°)4K或8K或更高视频800从TV被转发到头戴式设备506(例如经由蓝牙或Wi-Fi)，以用于在能够如上所述平移视图的头戴式设备上的180°/360°的呈现。
图11图示了(180°/360°)4K或8K或更高视频800可以由头戴式设备506通过OTA或OTT直接接收，以用于在能够如上所述平移视图的头戴式设备上的180°/360°的呈现，而不需要TV 504介入来转发180°/360°视频。
应理解的是，虽然已经参照一些示例实施例描述了本原理，但这些不旨在是限制性的，并且各种替代布置可以被用于实现本文中要求保护的主题。

Claims (20)

1.在其中至少一个接收器能够接收广播信号的数字电视中，一种方法，包括：
至少接收第一广播视频信号；
在至少一个平面显示器上呈现第一广播视频信号中的内容；
在至少一个显示器上呈现所述内容的180°/360°视频；以及
响应于至少一个命令，在所述至少一个显示器上平移所述180°/360°视频。
2.根据权利要求1所述的方法，其中所述至少一个显示器包括虚拟现实(VR)头戴式设备。
3.根据权利要求1所述的方法，其中所述至少一个显示器包括平面显示器。
4.根据权利要求1所述的方法，其中在第一广播视频流中接收所述180°/360°视频，第一广播流不包括所述内容的其他视频，并且所述平移包括在平面显示器上平移视频。
5.根据权利要求1所述的方法，其中在第一广播视频流中接收所述180°/360°视频，第一广播流不包括所述内容的其他视频，并且所述180°/360°视频在平面显示器上被呈现为平面视频作为向后兼容内容视图。
6.根据权利要求2所述的方法，其中在第一广播视频流中接收所述180°/360°视频，并且其中的内容被呈现在平面显示器上，并且所述方法包括将所述内容从平面显示器发送到VR头戴式设备。
7.根据权利要求2所述的方法，其中在第一广播视频流中接收所述180°/360°视频，并且其中的内容被呈现在平面显示器上，并且所述方法包括在不经过平面显示器的情况下将所述内容发送到VR头戴式设备。
8.根据权利要求1所述的方法，其中在第一广播视频流中与所述180°/360°视频中的内容的平面馈送一起接收所述180°/360°视频。
9.根据权利要求1所述的方法，其中从过顶(OTT)源接收所述180°/360°视频。
10.根据权利要求1所述的方法，其中数字电视接收器包括高级电视***委员会(ATSC)3.0接收器。
11.一种装置，包括：
至少一个接收器组件，所述至少一个接收器组件被配置为：
至少接收第一广播视频信号；
在至少一个平面显示器上呈现第一广播视频信号中的内容；
在至少一个显示器上呈现所述内容的180°/360°视频；以及
响应于至少一个命令，在所述至少一个显示器上平移所述180°/360°视频。
12.根据权利要求11所述的装置，其中所述至少一个显示器包括虚拟现实(VR)头戴式设备。
13.根据权利要求11所述的装置，其中所述至少一个显示器包括平面显示器。
14.根据权利要求11所述的装置，其中在第一广播视频流中接收所述180°/360°视频，第一广播流不包括所述内容的其他视频，并且所述平移包括在平面显示器上平移视频。
15.根据权利要求11所述的装置，其中在第一广播视频流中接收所述180°/360°视频，第一广播流不包括所述内容的其他视频，并且所述180°/360°视频在平面显示器上被呈现为平面视频作为向后兼容内容视图。
16.根据权利要求12所述的装置，其中在第一广播视频流中接收所述180°/360°视频，并且其中的内容被呈现在平面显示器上，并且能够执行指令以将所述内容从平面显示器发送到VR头戴式设备。
17.根据权利要求12所述的装置，其中在第一广播视频流中接收所述180°/360°视频，并且其中的内容被呈现在平面显示器上，并且能够执行指令以在不经过平面显示器的情况下将所述内容发送到VR头戴式设备。
18.根据权利要求11所述的装置，其中在第一广播视频流中与所述180°/360°视频中的内容的平面馈送一起接收所述180°/360°视频。
19.根据权利要求11所述的装置，其中从过顶(OTT)源接收所述180°/360°视频。
20.一种数字电视装置，包括：
包括至少一个处理器的至少一个接收器，所述至少一个处理器被利用指令编程以将处理器配置为：
在主显示器上呈现事件的平面视频；以及
在虚拟现实(VR)头戴式设备上呈现所述事件的一百八十或三百六十度(180°或360°)视频。
CN202280010265.2A 2021-08-06 2022-08-05 通过vr广播流的远程呈现 Pending CN116762347A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163260023P 2021-08-06 2021-08-06
US63/260,023 2021-08-06
US17/569,969 2022-01-06
US17/569,969 US11818414B2 (en) 2021-08-06 2022-01-06 Telepresence through OTA VR broadcast streams
PCT/IB2022/057318 WO2023012745A1 (en) 2021-08-06 2022-08-05 Telepresence through vr broadcast streams

Publications (1)

Publication Number Publication Date
CN116762347A true CN116762347A (zh) 2023-09-15

Family

ID=85153315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280010265.2A Pending CN116762347A (zh) 2021-08-06 2022-08-05 通过vr广播流的远程呈现

Country Status (4)

Country Link
US (1) US11818414B2 (zh)
EP (1) EP4360326A1 (zh)
KR (1) KR20230145115A (zh)
CN (1) CN116762347A (zh)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180316948A1 (en) 2012-04-24 2018-11-01 Skreens Entertainment Technologies, Inc. Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
EP3219098B1 (en) 2014-11-14 2021-10-06 PCMS Holdings, Inc. System and method for 3d telepresence
US10931980B2 (en) * 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service
US10827211B2 (en) * 2016-10-10 2020-11-03 At&T Intellectual Property I, L.P. Method and apparatus for managing over-the-top video rate
US10217488B1 (en) * 2017-12-15 2019-02-26 Snap Inc. Spherical video editing
WO2019209588A1 (en) 2018-04-27 2019-10-31 Pcms Holdings, Inc. 360 degree multi-viewport system
US10284753B1 (en) * 2018-07-03 2019-05-07 Sony Corporation Virtual reality media content generation in multi-layer structure based on depth of field
US11770579B2 (en) 2018-12-21 2023-09-26 Streamlayer, Inc. Method and system for providing interactive content delivery and audience engagement
WO2020264088A1 (en) 2019-06-25 2020-12-30 Apple Inc. Immersive teleconferencing and telepresence
US11374779B2 (en) 2019-06-30 2022-06-28 Charter Communications Operating, Llc Wireless enabled distributed data apparatus and methods
WO2021101934A1 (en) 2019-11-18 2021-05-27 Sinclair Broadcast Group, Inc. Adaptive broadcast media and data services

Also Published As

Publication number Publication date
US20230037736A1 (en) 2023-02-09
US11818414B2 (en) 2023-11-14
KR20230145115A (ko) 2023-10-17
EP4360326A1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
US11025978B2 (en) Dynamic video image synthesis using multiple cameras and remote control
EP2628306B1 (en) Streaming digital video between video devices using a cable television system
US20180176608A1 (en) Point of view multimedia platform
US11350138B2 (en) Managing a multi-view event comprising several streams, stream buffers, and rendering onto a single canvas
CN116097656A (zh) 用于atsc 3.0实时广播移动应用的快速信道改变的长持续时间纠错
JP2016012351A (ja) クライアントデバイスにより超高解像度ビデオコンテンツ内をナビゲートするための方法、システムおよびデバイス
KR20240093629A (ko) 인터넷으로 넘어가는 atsc 경계 조건
US11818414B2 (en) Telepresence through OTA VR broadcast streams
US11363310B2 (en) ATSC 3.0 hospitality TV system
WO2023012745A1 (en) Telepresence through vr broadcast streams
EP3386203B1 (en) Signalling of auxiliary content for a broadcast signal
US11553230B2 (en) Platform-independent USB driver communicating I2C commands to USB dongle through JAVA application
US11606528B2 (en) Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute
US11451854B2 (en) Dongle to convert formats to ATSC 3.0 low power wireless
US11695488B2 (en) ATSC over-the-air (OTA) broadcast of public volumetric augmented reality (AR)
US11153640B2 (en) Memory management of replacement content in digital TV system
US11895345B2 (en) Obfuscating replaceable content in advanced television systems committee (ATSC) 3.0 system
CN118339839A (zh) 在先进电视***委员会（atsc）3.0***中模糊可替换内容
WO2021116839A1 (en) Advanced television systems committee (atsc) 3.0 latency-free display of content attribute
WO2023242663A1 (en) Obfuscating replaceable content in advanced television systems committee (atsc) 3.0 system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination