CN104247413B - 用于3d服务的信号处理设备和方法 - Google Patents

用于3d服务的信号处理设备和方法 Download PDF

Info

Publication number
CN104247413B
CN104247413B CN201380021518.7A CN201380021518A CN104247413B CN 104247413 B CN104247413 B CN 104247413B CN 201380021518 A CN201380021518 A CN 201380021518A CN 104247413 B CN104247413 B CN 104247413B
Authority
CN
China
Prior art keywords
information
video
services
time
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380021518.7A
Other languages
English (en)
Other versions
CN104247413A (zh
Inventor
洪昊泽
崔智铉
黄修振
徐琮烈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104247413A publication Critical patent/CN104247413A/zh
Application granted granted Critical
Publication of CN104247413B publication Critical patent/CN104247413B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了用于3D服务的信号处理设备和方法。在本说明书中公开的用于3D服务的信号处理方法的实施例包括:接收包括信令信息和用于3D服务的内容的信号;从接收的信令信息中提取和解码事件信息表;如果来自在解码的事件信息表中的描述符的事件是用于3D服务的事件,则识别服务是否是非实时3D服务;识别所识别的非实时3D服务的增强文件是否被下载;计算用于同步的CT,并且基于计算的CT查找采样的位置;和通过基于所计算的CT执行同步过程来再现3D内容。

Description

用于3D服务的信号处理设备和方法
技术领域
本发明涉及处理用于3D(3维)服务信号的方法及其装置,尤其是,涉及经由各种路径、信道、介质等等收发和处理用于3D服务的方法及其装置。
背景技术
随着3DTV(3维电视)日益普及,不仅通过存储介质,而且通过广播促进3D服务的普及。
通常,3维视频使用两个眼睛的立体视觉原理提供3D效果。由于人类经由两个眼睛的视差来感觉透视,换言之,由于在两个彼此远离大约65mm的眼睛之间的间距造成的双目视差,3D视频可以以提供使左眼和右眼分别看到相关的平面视频的视频的方式提供3D效果和透视。
3D视频显示方法包括立体技术、体技术、全息摄影技术等等。在立体技术的情况下,提供应当由左眼看到的左视视频,和应当由右眼看到的右视视频。立体技术允许观众使用偏振眼镜或者显示设备本身使左眼和右眼分别观看左视视频和右视视频的方式来识别3D视频效果。
尤其是,在立体3D视频内容的情况下,如果不同时间帧的至少两个类似的视频被发送,则接收机能够使用该两个视频显示3D视频。
通常,不同时间帧的两个类似的视频用于在传统广播信道,即,相同的信道上发送。与相关技术不同,如果两个视频不在相同的信道上发送,必须知道何时/如何两个视频需要被同步以适当地对用户提供以3D服务。
发明内容
技术任务
本发明被设计解决前面提到的问题。本发明的技术任务之一是定义混合方案的3D服务(3维服务),并且提供处理用于3D服务的信号的方法及其装置。
本发明的另一个技术任务是定义用于混合方案的3D服务的标准视频和附加视频的时间同步方法,并且提供处理用于3D服务的信号的方法及其装置。
本发明的另一个技术任务是提供与传统方案相比提供或者处理更高压缩率和高分辨率的3D服务的方法,以及经由混合方案提高信号的传输效率同时保持与传统方案兼容性的方法及其装置。
本发明的另一个技术任务是提供不仅可适用于立体3D服务,而且可适用于多视图3D服务的方法及其装置。
技术方案
为了实现这些目的和其他的优点,和根据本发明的目的,如在此处实施和广泛地描述的,根据一个实施例,一种处理3D服务的方法包括步骤:接收包括用于3D服务的内容和信令信息的信号,以从接收的信令信息中提取事件信息表的方式解码事件信息表,如果来自在解码的事件信息表中的描述符的事件对应于用于3D服务的事件,则识别该事件是否对应于非实时3D服务,识别是否所识别的非实时3D服务的增强文件被下载,计算用于同步的CT,并且基于所计算的CT搜索采样的位置,以及以基于计算的CT执行同步过程的方式播放3D内容。
为了进一步实现这些和其它的优点,并且根据本发明的目的,根据不同的实施例,一种3D服务处理设备包括:接收部分,配置为接收包括用于3D服务的内容和信令信息的信号;信令信息解码器,配置为从接收的信令信息中提取事件信息表,并且解码事件信息表,并且如果来自在解码的事件信息表中的描述符的事件对应于用于3D服务的事件,则控制器被配置为识别事件是否对应于非实时3D服务,控制器被配置为识别是否所识别的非实时3D服务的增强文件被下载,控制器被配置为计算用于同步的CT,并且基于所计算的CT搜索采样的位置,控制器被配置为以基于所计算的CT执行同步过程的方式播放3D内容。
在这种情况下,信令信息解码器能够以从信令信息中提取节目映射表的方式解码节目映射表,并且该控制器能够从解码的节目映射表中提取用于标准视频的视频流的PID,并且控制从用于标准视频的视频流中获得当前的PTS。
并且,该控制器能够控制从在事件信息表的描述符中获得开始PTS,控制从在事件信息表的描述符中提取用于附加视频的增强文件的获取信息,并且。控制基于所提取的有关增强文件的获取信息提取有关增强文件的时间标度信息。
并且,在由信令信息解码器解码的事件信息表中的描述符可以对应于event_enhancement_descriptor。
并且,该控制器可以根据是否存在event_enhancement_descriptor确定事件是否对应于用于3D服务的事件。
在这种情况下,增强文件可以对应于MPEG-2传输流(TS)和基于ISO的文件格式的一个。
并且,控制器可以基于获得的当前的PTS、开始PTS和提取的时间标度信息计算CT。控制器能够基于计算的CT的值控制要查找的同步采样,基于找到的同步采样控制要查找的采样区块,以及基于找到的采样区块控制用于要获得的附加视频的基本流的位置。
有益效果
根据本发明,能够获得以下的效果。
首先,可以处理混合方案的3DTV服务。
其次,用于混合方案的3DTV服务的标准视频和附加视频能够彼此同步。
第三,信号传输效率能够提高,同时保持与传统方案的兼容性。另外,与传统方案相比能够提供或者处理更高压缩率和更高分辨率的3DTV服务。
第四,本发明不仅能够适用于立体3DTV服务,而且能够适用于多视图3DTV服务。
附图说明
图1是用于解释配置服务器***100的一个实施例的示意图;
图2是用于解释配置与前面提到的图1的服务器***100相对应的接收机***200的一个实施例的示意图;
图3是用于解释用于非实时混合3D服务的PMT表分段的比特流语法的一个实施例的示意图;
图4是用于解释program_enhancement_descriptor()的比特流语法结构的一个实施例的示意图;
图5是用于解释用于非实时混合3D服务的TVCT表分段的比特流语法的一个实施例的示意图;
图6是用于解释channel_enhancement_descriptor()的比特流语法结构的一个实施例的示意图;
图7是用于解释用于非实时混合3D服务的SDT表分段的比特流语法的一个实施例的示意图;
图8是用于解释service_enhancement_descriptor()的比特流语法结构的一个实施例的示意图;
图9是用于解释用于非实时混合3D服务的EIT表分段的比特流语法的一个实施例的示意图;
图10是用于解释用于非实时混合3D服务的EIT表分段的比特流语法的不同的实施例的示意图;
图11至13是用于解释用于非实时混合3D服务的event_enhancement_descriptor()的一个实施例的示意图;
图14是用于解释用于非实时混合3D服务的event_enhancement_descriptor()的不同的实施例的示意图;
图15是用于解释与在图14中示出的NRT服务有关的接收机操作的一个实施例的流程图;
图16是用于解释在非实时混合3D服务中的同步情形的一个实施例的示意图;
图17是用于解释在图16中示出的同步情形的流程图;
图18是用于解释处理用于非实时混合3D服务信号的方法的一个实施例的流程图。
具体实施方式
现在将详细地介绍本发明的优选实施例,其示例在附图中说明。但是,本发明可以不受实施例的限制。
虽然在本说明书中使用的术语是考虑到功能从当前广泛使用的常规术语中选择出来的,但是它们可以根据从事于对应领域的技术人员的意图、习惯、新技术的出现等等变化。有时候,某些术语可以由申请人任意地选择。在这种情况下,任意选择的术语的含义将在说明书的详细说明的对应部分中描述。因此,在本说明书中使用的术语需要基于对应术语的实质上的含义和在本说明书中公开的整个内容解释,而不认为是术语的简单名称。
在本说明书中,包括3D服务的信号处理装置及其方法在下面参考附图详细描述。关于此,本说明书定义混合方案的3D服务,处理3D服务信号的方法及其装置,用于混合方案的3D服务的参考视频(基本流或者基本视图)和附加视频(附加流或者附加视图)的时间同步方法。并且,本说明书描述提供或者处理与传统方案相比更高压缩率和更高分辨率的3D服务的方法,以及经由混合方案提高传输效率同时保持向后兼容的方法,及其装置。另外,本说明书描述不仅可适用于立体3D服务,而且可适用于多视图3D服务的方法和装置。
在下文中,在本说明书中描述的“混合”通常称作经由彼此不同的信道、路径或者介质发送用于3D服务信号的方案。例如,混合方案包括在不同的信道或者不同的介质上发送附加视频以保证传统信道带的传输量的情形。混合3D服务方案包括实时混合方案和非实时混合方案。例如,实时混合方案表示使用用于互联网传输的实时流动技术经由广播和互联网(互联网协议)同时接收视频的方案。在实时混合方案中,经由互联网发送的流主要使用与主要用于广播的流相同的MPEG-2传输流(TS)发送。因此,在这种情况下,能够使用相同的PTS/DTS(显示时间戳/解码时间戳)执行同步。在这种情况下,广播站基于使PTS/DTS相互匹配的相同的时钟对广播和互联网的标准/附加视频执行传输流(TS)编码,并且能够仅仅以划分传输介质的方式发送视频。但是,在这种情况下,应当保证能够在互联网中发送和接收实时广播的带宽。相反地,例如,非实时混合方案表示下述方案:在实时广播之前附加视频被下载到接收机,并且以在规定的时间与标准视频同步的方式与根据实时广播时序广播的标准视频一起示出附加视频。与诸如直播广播这样的实时发送附加视频的实时混合方案不同,非实时混合方案能够下载附加视频持续足够的时间,而无需任何带宽负担。因此,非实时混合方案能够主要用于诸如电影等等这样通过3D预先生成的内容。因此,根据非实时混合方案,如果对应的内容被预先下载,并且同步被良好地匹配,则能够无需任何缓存等等来提供比实时方案的服务更加稳定的服务。非实时混合方案广泛地用于低容量存储目的,而不是大容量传输流(TS)形式。例如,MP4文件格式可以用于非实时混合方案。因此,本说明书提供处理MPEG-2 TS和MP4文件格式的方法,而对于同步MPEG-2 TS和MP4文件格式,在这里同步方案彼此不同,没有任何问题。
在下文中,在本说明书中描述的“时间同步”通常称作根据在用于混合3D服务的标准视频和附加视频之间的时间信息差值的同步方案。如果时间同步没有恰当地实现,则混合3D服务不能适当地提供给用户。由于时间同步主要导致在前面提到的非实时混合3D服务方案中的问题,所以本说明书基于非实时混合3D服务方案描述。
尤其是,本说明书公开了一个实施例,其中对于混合3D服务,标准视频以实时方案被发送,并且附加视频以非实时方案发送。并且,本说明书公开了一个实施例,其中附加视频在与标准视频的信道相同/不同的信道上,或者不同的介质,即,IP上发送,同时附加视频被以非实时方案发送。
显示3维视频的方法可以包括考虑两个视点的立体技术,和考虑超过3个视点的多视图视频技术(或者多视图技术)。相比较地,常规的单视图视频技术可以被称作单视觉技术。
立体技术使用通过以彼此分开某个距离的左相机和右相机拍摄相同的对象获得的一对视频,即,左视视频(在下文中,左视频)和右视视频(在下文中,右视频)。或者,立体技术使用一对视频,即,标准视频和附加视频。但是,标准视频和附加视频不必分别映射到左视频和右视频。这能够通过信令信息来识别。在以下的描述中,左、右视频和标准、附加视频能够用作与在立体方案的3D视频中中包括的元素相同或者类似的含义。同时,多视图技术使用通过以具有某个距离和角度的3个或更多的相机拍摄获得的超过3个的视频。为了清楚,虽然在以下的描述中本发明主要解释立体技术作为一个实施例,如在先前的描述中提及的,很明显,本发明的想法也可以使用相同或者类似的方案适用于多视图技术。
根据本发明,立体技术包括并排、上下、棋盘、帧顺序技术等等。例如,并排技术是通过在左视频和右视频的每个上分别水平地执行一半下采样配置一个立体视频,并且将一个采样视频置于左区域中,并将另一个采样视频置于右区域中的技术。相反地,上下技术是通过在左视频和右视频的每个上分别垂直地执行一半下采样配置一个立体视频,并且将一个采样视频置于顶区域中,并将另一个采样视频置于底区域中的技术。并且,棋盘技术是通过以左视频和右视频分别水平和垂直地相交的方式执行一半下采样配置一个视频的技术。但是,根据本发明的立体技术可以不受前面提到的示例限制。在使用立体方案的情况下,必须使信令信息来将左视频与右视频,或者标准视频与附加视频相耦合用于3D服务。
如在先前的描述中提及的,作为立体方案,当前的3D服务主要以将屏幕划分为两个的方式使用发送屏幕的并排或者上下方案。但是,虽然当前的3D服务可以照原样使用传统广播***,即,传输***,但是如果模式被切换到3D模式,则分辨率降低为一半,并且视频质量劣化。为了补偿前面提到的问题,已经建立了全HD(高清晰度)质量3D广播标准。这个方案是在发送具有全HD质量的2D视频的同时使用备用的带或者多视图CODEC与传统视频一起发送多视图视频的方案。但是,由于这个方案用于发送具有全HD质量的所有多视图视频,所以传输量可能是相当大的。
关于这点,在下文中本说明书主要描述非实时混合3D服务方案。有关实时混合方案的详细解释在以下的描述中被省略。
图1是用于解释配置服务器***100的一个实施例的示意图。
如图所示,在图1中服务器***100的配置主要划分为主部分和子部分。在这种情况下,主部分可以对应于用于处理标准视频的配置,并且子部分可以对应于用于处理附加视频的配置。当然,用于每个视频的配置可以以相反的方式配置。并且,主部分是用于在广播信道(VHF/UHF)上以传输流形式发送标准视频的配置,并且子部分是用于经由IP(互联网协议)以MPEG-4 ISO文件形式发送附加视频的配置。
在下文中参考图1更详细地解释发送端,即,服务器***100的部件。
与此同时,服务器***100可以主要划分为内容产生部分、流产生部分/调制部分和混合服务器部分。
在这种情况下,内容产生部分可以包括3D内容产生部分112、内容服务器114/132和编码器116/134。
3D内容产生部分112产生同步的标准和附加视频,并且将产生的视频的每个分别发送给主部分的内容服务器114和子部分的内容服务器132。
内容服务器114/132将从3D内容产生部分112发送的对应的视频经由专用的接口传送给编码器116/134。
编码器116/134压缩经由内容服务器114/132发送的视频,即,不使用CODEC实时压缩的视频,并且产生ES(基本流)。在这种情况下,CODEC可以包括MPEG-2视频(MP2V)、AVC、HEVC、MVC等等。同时,视频可以根据部分在每个编码器中通过相同或者不同的CODEC压缩。例如,MPEG-2视频能够用作在主部分的编码器116中的CODEC,并且AVC能够用作在子部分的编码器134中的CODEC。
必须产生发送标准视频和附加视频的形式或者格式,其是基于ES(基本流)由内容产生部分最终产生的,并且调制该形式或者格式。
流生成器/调制器可以包括分组器118、信令信息生成器120、***时钟部分122、多路复用器124和调制器126。
与此同时,流生成器/调制器用于产生和调制用于ES(基本流)的所有流,ES(基本流)用于由主部分的编码器116产生的标准视频。同时,有关用于由前面提到的子部分的编码器134产生的附加视频的ES(基本流)的处理由对应于流生成器/调制器的混合服务器部分处理。
因此,用于主部分的流产生部分/调制器在这里描述,并且有关子部分的处理稍后将描述。
分组器118以将由编码器116产生的基本流划分为规定大小的方式产生PES(分组的ES)。在这种情况下,例如,产生的PES可以包括根据***时钟部分122的***时钟的DTS/PTS(解码时间戳/显示戳)信息(33比特)。在这种情况下,能够以将应当开始与附加视频同步的PTS值(起点PTS)发送给信令信息生成器120的方式产生相关信息。
信令信息生成器120产生与MPEG-2传输流(TS)有关的信令信息。在这种情况下,信令信息生成器也可以传送与非实时广播的起点有关的PTS信息。
多路复用器124多路复用诸如由分组器118产生的音频和视频数据PES、信令信息等等这样的专用分段,并且产生传输流(TS)。
调制器126利用规定的调制方案调制由多路复用器124产生的传输流(TS),并且经由发送端将其发送。在这种情况下,例如,规定的调制方案包括所有调制方案,包括VSB(残余边带)、OFDM(正交频分多路复用)等等。
***时钟部分122产生***参考时钟。例如,***时钟部分将包括PCR、DTS、PTS等等的时间信息***进PES和传输流(TS)中。
在下文中,解释混合服务器侧。直到用于附加视频的基本流(ES)经由编码器134产生为止的过程与以上提及的相同。
混合服务器包括文件格式器136和文件传输器138。在这种情况下,如在先前的描述中提及的,文件格式器136处理ISO文件,并且以网络服务器的示例解释文件传输器138。
文件格式器136将基本流划分为规定的大小,以每个规定的单元配置随机接入点(RAP)(采样),并且以ISO文件格式的形式进行格式化。例如,文件格式器136一起存储诸如视频、音频等等这样的基本流,并且在moov盒中存储有关流的信息。在这种情况下,例如,moov盒对应于信令位置。同时,有关流的信息可以存储在不同的盒以及moov盒中。并且,例如,文件格式器136能够与诸如从***时钟部分122接收的时间标度信息等等这样的参考时间一起存储诸如DT(解码时间)、CT(组成时间)等等这样的用于同步和随机接入的时间信息。
文件传输器138根据接收机的请求经由文件传输协议发送预存的附加视频文件。在这种情况下,例如,文件传输协议包括各种协议,包含HTTP(超文本传输协议)、FTP(文件传输协议)、HTTPS(经安全套接字接层的超文本传输协议)等等的。
图2是用于解释配置与前面提到的图1的服务器***100相对应的接收机***200的一个实施例的示意图。
根据本说明书的一个实施例,3D服务处理设备包括:接收机,配置为接收包括用于3D服务的内容和信令信息的信号;信令信息解码器,配置为从接收的信号信息中提取和解码事件信息表,并且如果来自于解码的事件信息表中的描述符的事件对应于用于3D服务的事件,则控制器被配置为识别事件是否对应于非实时3D服务,控制器被配置为识别是否所识别的非实时3D服务的增强文件被下载,控制器被配置为计算用于同步的CT,并且控制器被配置为基于计算的CT以找到采样位置的方式控制3D内容播放,并且基于计算的CT执行同步过程。
在这种情况下,信令信息解码器从信令信息中提取节目映射表,并且解码节目映射表。控制器从解码的节目映射表中提取用于标准视频的视频流的PID,并且能够控制从用于标准视频的视频流中获得当前的PTS。
并且,控制器控制从事件信息表的描述符中获得开始PTS,控制从事件信息表的描述符中提取增强文件获取信息,并且控制基于提取的增强文件获取信息提取有关增强文件的时间标度信息。
并且,在由信令信息解码器解码的事件信息表中的描述符可以对应于event_enhancement_descriptor。
并且,控制器能够根据是否存在event_enhancement_descriptor识别该事件是否对应于用于3D服务的事件。
在这种情况下,增强文件可以对应于MPEG-2传输流(TS)和基于ISO的文件格式的一个。
并且,控制器可以基于获得的当前PTS、开始PTS和提取的时间标度信息计算CT。控制器基于计算的CT查找同步采样,基于找到的同步采样查找采样区块,并且能够控制从找到的采样块中获得用于附加视频的基本流的位置。
如图2所示,接收机***200被配置为对应于在图1中示出的服务器***100。因此,接收机***200主要被划分为主部分处理部分和子部分处理部分。在这种情况下,例如,主部分处理部分对应于DTV接收部分。主部分处理部分能够被配置为处理标准视频。例如,子部分处理部分对应于混合接收部分。子部分处理部分能够被配置为处理附加视频。当然,如在先前的描述中提及的,用于每个部分的配置可以以相反的方式配置。并且,主部分处理部分能够被配置为接收和处理在广播信道(VHF/UHF)上的传输流(TS),并且子部分处理部分能够被配置为接收和处理根据诸如HTTP、FTP等等这样的传输协议经由IP发送的文件。此外,接收机***200可以进一步包括同步和呈现部分,用于控制主部分处理部分和子部分处理部分的操作,并且然后可以能够控制整个输出过程。
在下文中,参考图2更详细地解释接收端,即,接收机***200的部件。
首先,在下文中参考附图解释作为主部分处理部分的DTV接收部分。
DTV接收部分包括调谐器(未描绘)、解调器212、多路分解器214、视频解码器缓存器(VDEC缓存器)216、解码器218、信令信息解码器220、视频处理单元(主)等等。在这种情况下,视频处理单元(主)通过顺序的视频解码器缓存器216、解码器218和视频(帧)缓存器222配置。
解调器212以利用对应于调制方案的解调方案解调经由调谐器接收的信号的方式接收传输流(TS)。
多路分解器214经由分组识别符(PID)筛选将接收的传输流(TS)多路分解为音频基本流、视频基本流、数据基本流和专用分段形式的信令信息。
在前面提到的描述中,多路分解器214还能够从传输流(TS)中提取PCR,其用于校正接收机的***时钟。提取的PCR经由***时钟部分224传送给同步部分226。关于这点,多路分解器214提取DTS和PTS,并且将DTS和PTS传送给同步部分226。在这种情况下,根据同步部分226的控制,DTS用于控制在视频解码器缓存器216中的解码时间,并且根据同步部分226的控制,PTS用于指定或者控制在视频缓存器222中的输出时间。
信令信息解码器220接收由多路分解器214多路分解的信令信息的专用分段,并且解码有关流和服务的信息。
信令信息解码器220将解码的信令信息传送给同步部分226。在这种情况下,起点PTS也能够被传送给同步部分226。
视频处理部分(主)使用CODEC将由多路分解器214多路分解的视频基本流(ES)解码为视频图像。
随后,在下文中参考附图解释混合接收部分。
与此同时,混合接收部分包括文件传输器232、存储器234、文件解码器236和视频处理部分。在这种情况下,视频处理部分能够类似于前面提到的DTV接收部分以顺序的视频解码器缓存器238、解码器240和视频(帧)缓存器242配置。
文件传输器232使用规定的协议经由IP接收用于附加视频的视频文件。在这种情况下,规定的协议例如包括FTP、HTTP等等。规定的协议可以对应于发送端的传输协议。同时,视频文件可以通过ISO文件格式形式配置。
存储器234存储经由文件传输器232接收的文件。
文件解码器236从存储器234提取在特定时间存储的文件。在这种情况下,文件解码器236从存储器与时间标度一起提取诸如用于同步和随机接入的DT、CT等等这样的定时信息,并且将其与提取的文件一起传送给同步部分226。同时,提取的定时信息和时间标度可以与提取的文件有关。
视频处理部分使用CODEC将提取的文件解码为用于附加视频的视频图像。
在前面提到的描述中,文件解码器236和视频处理部分等等的操作由同步部分226控制。关于这点,当解释同步部分226的时候将详细描述。
最后,在下文中参考附图详细描述同步部分和呈现部分。
如在先前的描述中提及的,***时钟部分224接收由多路分解器214提取的PCR信息,并且将PCR信息传送给同步部分226。PCR信息用于为接收机提供参考时间信息。接收机的时间能够通过PCR校正。同时,在将各种时间信息、时间标度等等传送给不同的部件,或者控制各种时间信息、时间标度等等的情况下,同步部分226可以基于从***时钟部分224传送的PCR信息执行传送或者控制。
同步部分226接收由多路分解器214提取的DTS/PTS、从信令信息解码器220传送的起点PTS,和从文件解码器236提取的DT/CT和时间标度信息。同步部分226将接收的时间信息的每个在规定的时间传送给对应的视频处理部分、文件解码器等等,以涉及和控制标准视频和附加视频的解码。换句话说,同步部分226基于时间信息调整或者控制用于标准视频和附加视频的视频流的同步定时。
3D格式器244根据显示部分(未描绘)的输出频率,将经由视频(帧)缓存器部分222/242的每个输出的标准视频和附加视频格式化为3D视频,并且呈现视频图像用于3D服务。呈现的3D视频经由显示部分输出。
在前面提到的内容中,描述了用于非实时混合3D服务的发送端和接收端的配置及其处理。尤其是,如在先前的描述中提及的,由于经由彼此不同的信道或者介质发送并且配置视频图像的文件的形式在非实时混合3D服务处理过程中可能彼此不同,所以同步过程是非常重要的。甚至在2D服务中,如果在视频数据和音频数据之间的同步互相稍微不匹配,则可能造成电视观众相当大的负担和不便。因此,在3D服务的情况下,用于多个视频流,即标准视频和附加视频的流同步可以是更加重要的点。
因此,在前面提到的发送端和接收端的配置和过程之中,在以下的描述中参考附图更详细地解释同步过程。同时,同步过程例如可以使用信令信息。基于信令信息解释同步过程。
在本说明书中,当参考时间被配置的时候,在实时标准视频的情况下,基于PTS的MPEG-2传输流(TS)能够用于设置参考时间。或者,能够使用具有与MPEG-2传输流(TS)相对应的同步/基于时钟的结构的流方案。同时,在非实时混合3D服务的情况下,必须将实时标准视频与预先下载的附加视频的3D内容起点匹配。例如,使用诸如PSI、PSIP、DVB-SI等等这样的信令信息用信号通知开始时间,并且接收机可以在该时间开始附加视频的回放。在这种情况下,优选地,使用PSI、PSIP和DVB-SI用于开始时间的精度。并且,在非实时附加视频的情况下,能够使用基于ISO的文件格式或者具有与基于ISO的文件格式相对应的同步/基于时钟的结构的存储方案。
前面提到的信令信息能够配置如下。信令能够以描述符形式添加到在PSIP或者DVB-SI中包括的EIT(事件信息表)的事件信息。在这种情况下,能够基于预先下载了附加视频的开始时间以及与附加视频的起点相对应的实时流的信号PTS配置开始时间。同时,在事件的中间接入服务的情况下,基于附加视频文件的时间信息和采样信息,以及在标准视频流中在描述符的起点和PTS之间的相互关系,计算在特定的时间附加视频的回放定时。并且,为了应对除了开始时间之外在随机定时观看混合3D视频的情形,能够另外用信号通知附加视频的回放时间和与附加视频的回放时间相对应的实时PTS值。
同时,在下文中解释文件方案的下载支持。如果标准视频和附加视频仅仅使用PTS彼此同步,则存储方案可以局限于MPEG-2传输流(TS)。但是,由于传输流(TS)具有大的文件大小,并且不对应于用于存储目的的格式,所以可能在下载和管理存储介质方面出现困难。相反地,由于基于ISO的文件格式由各种介质设备使用,所以便于管理文件,并且容易实现与文件回放有关的产品。作为有代表性的示例,MPEG-4文件格式被广泛地使用。
此外,基于各种时间标度的时钟支持在下文中解释。时间标度被分别在基于ISO的文件格式中指定,同时MPEG-2传输流的同步时钟局限于90MHz。因此,如果提出与分别指定的时间标度同步的方案,则当以除了ISO之外的不同形式的介质执行同步的时候,可以能够使用相同的方案与实时广播同步。
首先,图3是用于解释用于非实时混合3D服务的PMT表分段的比特流语法的一个实施例的示意图。
PMT(节目映射表)是提供在节目编号和节目元素之间映射的表。增强数据,其与对应的节目或者节目元素联锁,被使用描述符在PMT的节目级别或者ES(基本流)级别上用信号通知。
在下文中,参考附图描述在PMT表分段中包括的每个数据。
table_id字段是8比特字段,并且TS_program_map_section被设置为“0×02”的值。
section_syntax_indicator字段是1比特字段,并且被设置为“1”。
section_length字段由12比特组成,并且前2比特对应于“00”。这个字段表示分段的字节数目,并且表示从就在这个字段之后到CRC的长度。这个字段的值不超过1021。
program_number字段由16比特组成。这个字段表示program_map_PID可适用其的节目。一个节目定义仅仅由一个TS_program_map_section发送。这隐含节目定义不能超过1016。
version_number字段表示PMT分段的版本号。在对应的表分段中对于每个变化,版本号增加“1”。
current_next_indicator字段是1比特字段。这个字段标识发送的PMT分段当前是否可适用。如果发送的PMT分段当前是可适用的,则这个字段的值被设置为“1”。如果值被设置为“0”,这指的是发送的PMT分段尚不可适用,并且下一个表分段是有效的。
section_number字段是8比特字段,并且被设置为“0×00”。
last_section_number字段是8比特字段,并且被设置为“0×00”。
PCR_PID字段是13比特字段。这个字段表示包括PCR字段的传输流(TS)分组的PID(分组标识符),其对于由节目编号描述的节目是有效的。
program_info_length字段是12比特字段,并且前2比特对应于“00”。剩余的10比特解释紧接在这个字段之后的描述符的字节数目。
stream_type字段是8比特字段,并且表示以在具有elementary_PID的PID值的分组中包括的方式发送的节目元素的类型。在这种情况下,stream_type字段的值可以在下文中如表1所示定义或者分配。
[表1]
elementary_PID字段是13比特字段,并且表示包括相关的节目元素的传输流(TS)的PID(分组标识符)。
ES_info_length字段是12比特字段,并且前2比特对应于“00”。剩余的10比特表示跟随这个字段的相关的节目元素的描述符的字节数目。
CRC_32字段是32比特字段,并且表示在解码器中进行注册为零输出的CRC值。
图4是用于解释program_enhancement_descriptor()的比特流语法结构的一个实施例的示意图。
在下文中,参考附图描述program_enhancement_descriptor()的数据。
在本说明书中,program_enhancement_descriptor()提供有关配置为以与对应的节目联锁的方式提供3D服务的增强数据的信息。例如,该信息表示节目是否被联锁。
例如,在图4中示出的program_enhancement_descriptor()能够在图3的PMT分段中以节目级别或者ES级别定义和包括在一个描述符中。
参考图4,program_enhancement_descriptor()包括combined_service_type、enhancement_type、enhancement_right_flag、sync_type、enhancement_stream_format、enhancement_stream_sampling_factor、linked_TSID、linked_program_number、linked_elementary_PID、internet_linkage_information、disparity_near、disparity_far等等。同时,字段或者数据的每个可以根据规定的条件是有效或者无效的。
combined_service_type表示当经由两个或更多个单独的路径、信道、介质等等发送的分量彼此组合的时候最终提供的服务类型。例如,这个字段表示以将对应的节目或者节目元素与经由由当前的描述符指定的位置接收的增强数据组合的方式提供的最终的服务类型。
在这种情况下,如果combined_service_type对应于“0×1”、“0×1”、“0×2”和“0×3”,其分别表示2D可缩放的视频服务、3D立体视频服务、3D多视图服务和超清晰度(UD)视频服务。此外,当前的字段的值可以通过标识实时或者非实时混合3D服务的值定义。
enhancement_type标识用于对应的节目的增强数据在其上被发送的信道、路径或者介质的类型。这个字段的值的含义与在前面提到的event_enhancement_descriptor()中定义的内容相同。但是,在该值应用于节目单元而不是服务单元方面存在差别。
当3D服务的定时使用增强数据呈现的时候,enhancement_right_flag标识视频的左视频或者右视频。例如,如果当前字段的值对应于“1”,则表示增强数据或者通过增强数据获得的视频的视图对应于右视频。
sync_type表示有关用于对应的节目分量和增强数据的传输的同步和组合方法的信息。
enhancement_stream_format表示有关用于对应事件的增强数据的数据格式、CODEC等等的信息。
enhancement_stream_sampling_factor表示增强数据的分辨率。这个字段表示用于对应事件的视频流(标准视频)的水平和垂直采样因子。如果这个字段的值对应于“0×00”,则表示与标准视频的分辨率相同的分辨率。如果这个字段的值对应于“0×XY”,则表示与标准视频的分辨率相比,水平方向的分辨率对应于1/(X+1),并且垂直方向的分辨率对应于1/(Y+1)。例如,在具有1/4水平大小和1/8垂直大小的深度信息(深度/视差图)的情况下,这个字段具有0×37的值。
如果enhancement_type字段的值对应于“0×01”或者“0×02”,则linked_TSID的值、linked_program_number的值、linked_elementary_PID的值等等被定义。
在这种情况下,linked_TSID表示用于包括与当前节目/信道组合以提供完整的3D视频服务的流的节目/信道的transport_stream_id值。
linked_program_number表示用于包括与当前节目/信道组合以提供完整的3D视频服务的流的节目/信道的program_number值。
linked_elementary_PID表示与当前虚拟信道组合以提供完整的3D视频服务的流的elementary_PID值。
同时,如果enhancement_type字段的值对应于“0×03”,则internet_linkage_information()等等被定义。
在这种情况下,在经由互联网发送增强数据的情况下,internet_linkage_information()提供有关增强数据的信息。internet_linkage_information()可以包括表示是否IP地址对应于32比特或者128比特、IP地址、端口编号、诸如URI等等对应的流的附加信息,以及可用的时隙的字段。在这种情况下,可用的时隙可以包括开始时间和期满时间。可用的时隙可以与avail_time_start字段重叠。
并且,如果enhancement_stream_format的值对应于“0×25”或者“0×26”,则disparity_near、disparity_far等等关于深度/视差数据被定义。
同时,如果增强数据对应于深度(视差/深度图)信息,则disparity_near和disparity_far表示深度范围。disparity_near和disparity_far分别表示对应于离用户最近的目标点和离用户最远的目标点的视差值。
图5是用于解释用于非实时混合3D服务的TVCT(陆地虚拟信道表)表分段的比特流语法的一个实施例的示意图。
TVCT是包括在传输流(TS)中包括的虚拟信道的属性列表的表。
在下文中,参考附图描述包括在TCVT分段中的数据。
table_id字段是8比特字段,并且表示对应的表分段的类型。例如,当前字段的值具有‘0×C8’来表示TVCT表分段。
section_syntax_indicator是1比特字段。这个字段的值被设置为“1”。
private_indicator是1比特字段。这个字段的值被设置为“1”。
section_length字段由12比特组成,并且前2比特对应于“00”。这个字段表示分段的字节数目,并且表示从就在这个字段之后到CRC的长度。这个字段的值不超过1021。
transport_stream_id字段是16比特字段。这个字段对应于MPEG-2传输流(TS)标识符(ID)。当前字段能够区分不同的TVCT。
version_number字段是5比特字段。这个字段表示当前表的版本号。在VCT中对于每个变化,版本值增加“1”。如果版本值达到“31”,则下一个版本值变为“0”。
current_next_indicator字段是1比特字段。这个字段标识VCT当前是当前可适用的。在VCT当前是可适用的情况下,当前字段的值被设置为“1”。如果值被设置为“0”,则指的是VCT尚不可适用,并且下一个表是有效的。
section_number字段是8比特字段。这个字段表示当前分段的编号。例如,TVCT的第一分段的值是“0×00”,并且对每个附加分段,该值增加“1”。
last_section_number字段是8比特字段,并且表示当前表的最后分段的编号。因此,所有TVCT分段之中具有最高section_number的分段变为最后分段。
protocol_version字段是8比特字段,并且作用是允许在将来不同于由当前协议定义的表的不同类型的表。“0”是仅在当前协议中有效的值。除了“0”之外的值将在用于结构上不同的表的以后的版本中使用。
num_channels_in_section字段是8比特字段,并且表示在VCT分段中虚拟信道的数目。
short_name字段表示虚拟信道的名称。
major_channel_number字段是10比特字段,并且表示在for循环中以对应的顺序定义的虚拟信道的主要信道编号。虚拟信道的每个由主要信道编号和次要信道编号组成。主要信道编号与次要信道编号一起用于用户的对的虚拟信道的参考编号的作用。例如,主要信道编号具有从1到99范围的值,并且一对主要/次要信道编号在TVCT中不具有重复值。
minor_channel_number字段是10比特字段,并且具有从0到999范围的值。次要信道编号与主要信道编号一起作为两部分信道编号操作。例如,在服务类型或者是ATSC_digital_television或者ATSC_audio_only的情况下,次要信道编号具有从1到99范围的值。一对主要/次要信道编号在TVCT中不具有重复值。
modulation_mode字段是8比特字段,并且表示与对应的虚拟信道有关的传输载波的调制模式。
carrier_frequency字段具有0的值。虽然检查载频使用当前字段是被允许的,但是其被拒绝。
channel_TSID字段是16比特字段。这个字段具有从“0×0000”到“0×FFFF”范围的值,并且其是MPEG-2 TSID,其与传送由这个虚拟信道引用的MPEG-2节目的传输流(TS)有关。
program_number字段是16比特字段,并且将在TVCT中定义的虚拟信道附接到MPEG-2 PAT(节目相关表)和TS PMT。
ETM_location字段是2比特字段,并且表示扩展的文字消息(ETM)的存在和位置。
access_controlled字段是1位布尔标记。如果该标记对应于“1”,则可以表示与对应的虚拟信道相关的事件的接入被限制。如果该标记对应于“0”,则表示该接入不受限制。
隐藏字段是1位布尔标记。如果该标记对应于“1”,则虽然对应的数字直接由用户输入,但是接入不被允许。在用户浏览频道的情况下,隐藏虚拟信道被跳过,并且可以视为它们未被定义。
hide_guide字段是布尔标记。如果这个字段被设置的“0”用于隐藏信道,虚拟信道和隐藏信道的事件可以在EPG显示中看到。如果隐藏比特没有设置,则这个字段被忽略。因此,不管hide_guide比特的状态,非隐藏信道及其事件属于EPG显示。
service_type字段是6比特字段,并且检查由对应的虚拟信道传送的服务类型。
source_id字段是16比特字段,并且标识与虚拟信道相关的节目源。在这种情况下,源可以对应于从由视频、文字、数据和音频广播节目组成的组中选择出来的一个。source_id“0”是预留的值。这个字段的值在传送VCT的TS中具有从“0×0001”到“0×0FFF”范围的唯一的值。并且,这个字段的值在区域级别中具有从“0×1000”到“0×FFFF”范围的唯一的值。
descriptor_length字段以字节为单位表示跟随对应的虚拟信道的描述符的长度。
在descriptor()中可以不包括描述符或者包括一个或多个描述符。
additional_descriptors_length字段以字节为单位表示跟随VCT描述符列表的总长度。
CRC_32字段表示在解码器中进行注册为零输出的CRC值。
有关被配置为以与对应的虚拟信道的分量联锁的方式提供3D视频服务增强数据的信息在TVCT的虚拟信道级别上使用描述符用信号通知。该信息表示是否信道被联锁。
图6是用于解释channel_enhancement_descriptor()的比特流语法结构的一个实施例的示意图。
在下文中,参考附图描述channel_enhancement_descriptor()的数据。
在本说明书中,channel_enhancement_descriptor()提供有关配置为以与对应的虚拟信道联锁的方式提供3D服务的增强数据的信息。例如,该信息表示是否虚拟信道被联锁。
例如,在图6中示出的channel_enhancement_descriptor()能够在图5的TVCT分段中以服务级别定义和包括在一个描述符中。
参考图6,channel_enhancement_descriptor()包括combined_service_type、enhancement_type、enhancement_right_flag、sync_type、enhancement_stream_format、enhancement_stream_sampling_factor、linked_TSID、linked_program_number、linked_service_ID、linked_elementary_PID、internet_linkage_information、disparity_near、disparity_far等等。同时,字段或者数据的每个可以根据规定的条件是有效或者无效的。
combined_service_type表示当经由两个或更多个单独的路径、信道、介质等等发送的分量彼此组合的时候最终提供的服务类型。这个字段包括与在图4中前面提到的信息相同的信息。
enhancement_type标识用于对应的虚拟信道的增强数据在其上发送的信道、路径或者介质的类型。例如,该类型可以包括陆地信道、互联网等等。这个字段的值的含义与在图4中定义的内容相同。但是,在该值应用于虚拟信道单元而不是事件或者节目单元方面存在差别。
当3D服务的定时使用增强数据呈现的时候,enhanncement_right_flang标识视频的左视频或者右视频。例如,如果当前字段的值对应于“1”,则表示增强数据或者通过增强数据获得的视频的视图对应于右视频。
sync_type表示有关用于对应的虚拟信道分量和增强数据的传输的同步和组合方法的信息。
enhancement_stream_format表示有关用于对应的虚拟信道的增强数据的数据格式、CODEC等等的信息。
enhancement_stream_sampling_factor表示增强数据的分辨率。这个字段表示用于对应的虚拟信道的视频流(标准视频)的水平和垂直采样因子。如果这个字段的值对应于“0×00”,则表示与标准视频的分辨率相同的分辨率。如果这个字段的值对应于“0×XY”,则表示与标准视频的分辨率相比,水平方向的分辨率对应于1/(X+1),并且垂直方向的分辨率对应于1/(Y+1)。例如,在具有1/4水平大小和1/8垂直大小的深度信息(深度/视差图)的情况下,这个字段具有0×37的值。
如果enhancement_type字段的值对应于“0×01”或者“0×02”,则linked_TSID的值、linked_program_number的值、linked_major_channel_number的值、linked_minor_channel_number的值、linked_source_id的值、linked_elementary_PID的值等等被定义。
linked_TSID表示用于包括与当前虚拟信道组合以提供完整的3D视频服务的流的节目/信道的transport_stream_id值。
linked_program_number表示用于包括与当前虚拟信道组合以提供完整的3D视频服务的流的虚拟信道的program_number值。
linked_major_channel_number表示包括与当前虚拟信道组合以提供完整的3D视频服务的流的信道的major_channel_number。
linked_minor_channel_number表示包括与当前虚拟信道组合以提供完整的3D视频服务的流的信道的minor_channel_number。
linked_source_id表示包括与当前虚拟信道组合以提供完整的3D视频服务的流的信道的source_id值。
linked_elementary_PID表示与当前虚拟信道组合以提供完整的3D视频服务的流的elementary_PID值。
同时,如果enhancement_type字段的值对应于“0×03”,则internet_linkage_information()等等被定义。
在这种情况下,在经由互联网发送增强数据的情况下,internet_linkage_information()提供有关增强数据的信息。internet_linkage_information()可以包括表示是否IP地址对应于32比特或者128比特、IP地址、端口编号、诸如URI等等对应的流的附加信息,和可用的时隙的字段。在这种情况下,可用的时隙可以包括开始时间和期满时间。可用的时隙可以与avail_time_start字段重叠。
并且,如果enhancement_stream_format的值对应于“0×25”或者“0×26”,则disparity_near、disparity_far等等关于深度/视差数据被定义。
同时,如果增强数据对应于深度(视差/深度图)信息,则disparity_near和disparity_far表示深度范围。disparity_near和disparity_far分别表示对应于离用户最近的目标点和离用户最远的目标点的视差值。
图7是用于解释用于非实时混合3D服务的SDT表分段的比特流语法的一个实施例的示意图。
如在先前的描述中提及的,信令信息不仅包括ATSC方案,而且包括DVB方案。尤其是,图5示出使用与在图4示出的ATSC方案的TVCT相对应的DVB方案的DVB-SI的STD的信令方法。
在下文中,参考附图描述在图5示出的SDT分段中包括的数据。
类似于早前在图4中提及的TVCT,SDT示出在特定的传输流(TS)中包括的服务。
在本说明书中,有关与由对应的service_id指定的服务联锁的增强数据的信息被使用在SDT的服务级别中的描述符用信号通知。该信息表示是否存在与对应的服务联锁的数据。
table_id字段是8比特字段,并且表示当前分段属于STD表分段。
section_syntax_indicator是1比特字段。这个字段的值被设置为“1”。
section_length字段由12位组成,并且前2比特设置为“00”。这个字段表示包括就在这个字段之后到CRC的分段的字节数目。
transport_stream_id字段是16比特字段。这个字段起区分传输流(TS)的标签的作用。
version_number字段是5比特字段。这个字段表示sub_table的版本号。在sub_table中对于每个变化,版本值增加“1”。如果版本值达到“31”,则下一个版本值变为“0”。
current_next_indicator字段是1比特字段。在sub_table当前是可适用的情况下,当前字段的值被设置为“1”。如果值被设置为“0”,则指的是sub_table尚不可适用,并且下一个表是有效的。
section_number字段是8比特字段。这个字段表示当前分段的编号。例如,在所有表分段之中的第一分段具有“0×00”的值,并且对包括相同的table_id、相同的transport_stream_id和相同的original_network_id的每个附加分段,该值增加“1”。
last_section_number字段是8比特字段,并且表示对应的sub_table的最后分段(即,最高的section_number)的编号。
orginal_network_id字段是16比特字段,并且对应于检查传输***的network_id的标签。
service_id是16比特字段,并且起到使当前服务与在TS中包括的不同服务区分的标签的作用。这个字段与program_map_section的program_number字段是相同的。
EIT_schedule_flag是1比特字段。如果当前字段被设置为“1”,则表示用于对应的服务的EIT调度信息包括在当前TS中。如果当前字段被设置为“0”,则表示该信息不包括在TS中。
EIT_present_following_flag是1比特字段。如果当前字段被设置为“1”,则表示用于对应的服务的EIT_present_following信息包括在当前传输流(TS)中。如果当前字段被设置为“0”,则表示EIT_present_following信息不包括在当前传输流(TS)中。
running_status是3比特字段,并且表示服务的状态。
free_CA_mode是1比特字段。如果当前字段被设置为“0”,则表示对应的服务的所有元素流没有被加扰。如果当前字段被设置为“1”,则表示一个或多个流由CAS(有条件的接入***)控制。
descriptors_loop_length是12比特字段,并且以字节为单位表示跟随的描述符的总长度。
descriptor()包括在下文中描述的service_enhancement_descriptor()。
CRC_32是32比特字段,并且表示在解码器中进行注册为零输出的CRC值。
图8是用于解释service_enhancement_descriptor()的比特流语法结构的一个实施例的示意图。
在下文中,参考附图描述service_enhancement_descriptor()的数据。
在本说明书中,service_enhancement_descriptor()提供有关配置为以与对应的服务联锁的方式提供3D服务的增强数据的信息。例如,该信息表示是否服务被联锁。
例如,在图8中示出的service_enhancement_descriptor()能够在图7的SDT分段中在服务级别定义和包括在一个描述符中。
参考图8,service_enhancement_descriptor()包括combined_service_type、enhancement_type、enhancement_right_flag、sync_type、enhancement_stream_format、enhancement_stream_sampling_factor、linked_TSID、linked_original_network_id、linked_service_ID、linked_elementary_PID、internet_linkage_information、disparity_near、disparity_far。
combined_service_type表示当经由两个或更多个单独的路径、信道、介质等等发送的分量彼此组合的时候最终提供的服务类型。这个字段包括与在图4中前面提到的信息相同的信息。
enhancement_type标识用于对应的服务的增强数据在其上发送的信道、路径或者介质的类型。例如,该类型可以包括陆地信道、互联网等等。这个字段的值的含义与在图4中定义的内容相同。但是,在该值应用于服务单元而不是事件或者节目单元方面存在差别。
当3D服务的定时使用增强数据呈现的时候,enhanncement_right_flang标识视频的左视频或者右视频。例如,如果当前字段的值对应于“1”,则表示增强数据或者通过增强数据获得的视频的视图对应于右视频。
sync_type表示有关用于对应的服务分量和增强数据的传输的同步和组合方法的信息。
enhancement_stream_format表示有关用于对应的服务的增强数据的数据格式、CODEC等等的信息。
enhancement_stream_sampling_factor表示增强数据的分辨率。这个字段表示用于对应的服务的视频流(标准视频)的水平和垂直采样因子。如果这个字段的值对应于“0×00”,则表示与标准视频的分辨率相同的分辨率。如果这个字段的值对应于“0×XY”,则表示与标准视频的分辨率相比,水平方向的分辨率对应于1/(X+1),并且垂直方向的分辨率对应于1/(Y+1)。例如,在具有1/4水平大小和1/8垂直大小的深度信息(深度/视差图)的情况下,这个字段具有0×37的值。
如果enhancement_type字段的值对应于“0×01”或者“0×02”,则linked_TSID的值、linked_original_network_id的值、linked_service_id的值、linked_elementary_PID的值等等被定义。
linked_TSID表示用于包括与当前虚拟信道组合以提供完整的3D视频服务的流的服务的transport_stream_id值。
linked_original_network_id表示包括与当前服务组合以提供完整的3D视频服务的流的服务的original_network_id值。
linked_service_id表示包括与当前服务组合以提供完整的3D视频服务的流的服务的service_id值。
linked_elementary_PID表示与当前虚拟信道组合以提供完整的3D视频服务的流的elementary_PID值。
在图8中,linked_program_number字段经由linked_service_id字段被省略。但是,可以在某些情形下进一步包括linked_program_number字段。
在这种情况下,有关对应于增强数据的视频流的详细信息能够参考在对应的服务中的component_descriptor获知。或者,对应分量的component_tag值或者elementary_PID值被添加到service_enhancement_descriptor,并且有关视频流的详细信息能够直接从添加的字段的值查找。尤其是,根据实施例,用于相关的视频/音频流的linked_component_tag字段或者linked_elementary_PID字段可以包括在service_enhancement_descriptor中。另外,诸如linked_stream_content和linked_component_type这样的流相关的信息可以同样包括在service_enhancement_descriptor中。
或者,有关对应的服务的增强数据信息可以使用服务级别的linkage_descriptor用信号通知。在这种情况下,有关与服务联锁的增强数据的信息包括在linkage_descriptor中。该信息的内容与service_enhancement_descriptor相同。
在前面提到的描述中,例如,component_descriptor、linkage_descriptor等等可以引用在DVB-SI中定义的内容。详细解释此时被省略。
同时,如果enhancement_type字段的值对应于“0×03”,则internet_linkage_information()等等被定义。
在这种情况下,在经由互联网发送增强数据的情况下,internet_linkage_information()提供有关增强数据的信息。internet_linkage_information()可以包括表示是否IP地址对应于32比特或者128比特、IP地址、端口编号、诸如URI等等的对应的流的附加信息,和可用的时隙的字段。在这种情况下,可用的时隙可以包括开始时间和期满时间。可用的时隙可以与avail_time_start字段重叠。
并且,如果enhancement_stream_format的值对应于“0×25”或者“0×26”,则disparity_near、disparity_far等等关于深度/视差数据被定义。
同时,如果增强数据对应于深度(视差/深度图)信息,则disparity_near和disparity_far表示深度范围。disparity_near和disparity_far分别表示对应于离用户最近的目标点和离用户最远的目标点的视差值。
图9是用于解释用于非实时混合3D服务的EIT表分段的比特流语法的一个实施例的示意图。
与对应的事件联锁的增强数据使用在EIT的事件级别中的描述符用信号通知。
EIT包括有关有关定义的虚拟信道、开始时间等等的事件标题的信息。
在下文中,参考图6更详细地描述在EIT分段中包括的数据。
table_id字段是8比特字段,并且被设置为“0×CB”。这个字段表示对应的分段属于EIT。
section_syntax_indicator是1比特字段。这个字段的值被设置为“1”。
private_indicator是1比特字段。这个字段的值被设置为“1”。
section_length字段由12比特组成。这个字段表示从就在当前字段之后到CRC_32字段的分段的剩余字节数目。
source_id是16比特字段,并且表示传送在这个分段中描述的事件的虚拟信道的source_id。
version_number字段是5比特字段。这个字段表示EIT-i的版本号。
current_next_indicator字段是1比特字段。这个字段对于EIT分段始终设置为“1”。
section_number字段是8比特字段。这个字段表示当前分段的分段编号。
last_section_number字段是8比特字段,并且表示在EIT表分段之中的最后分段的分段编号。
protocol_version字段是8比特字段,并且起到允许在将来不同于由当前协议定义的表的不同类型的表的作用。“0”是仅在当前协议中有效的值。
num_event_in_section字段是8比特字段,并且表示在当前分段的中事件的编号。例如,如果当前字段的值被设置为0,则表示在当前分段中没有定义事件。
event_id是14比特字段,并且表示描述的事件的标识符(事件ID)。
start_time是32比特字段,并且表示在1980.1.6.00:00:00 UTC(协调的全球时间)之后,以GPS(全球定位***)秒单位计的事件的开始时间。在任何虚拟信道中,start_time字段的值不能小于先前的事件的结束时间(end_time)。在这种情况下,结束时间由事件的开始时间(start_time)和事件的长度(length_in_seconds)的和值定义。
ETM_location字段是2比特字段,并且表示扩展的文字消息(ETM)的存在和位置。
length_in_seconds字段表示以秒单位计的事件的持续时间。
title_length字段以字节为单位表示title_text()的长度。如果这个字段的值对应于0,则表示没有对应事件的标题。
title_text()表示多个字符串结构格式的事件的名称。
descriptor_length字段以字节为单位表示跟随事件描述符的总长度。
由于for状态(for循环),descriptor()字段包括在EIT中0个以上的描述符。定义为在EIT中使用的描述符的类型可以包括conten_advisory_descriptor()、caption_service_descriptor()、AC-3audio_stream_descriptor()等等。并且,descriptor()字段也可以包括event_enhancement_descriptor()作为EIT的描述符,稍后将描述。
CRC_32字段是32比特字段,并且表示在解码器中进行注册为零输出的CRC值。
图10是用于解释用于非实时混合3D服务的EIT表分段的比特流语法的不同的实施例的示意图。
例如,在图6中早前提及的EIT示出在ATSC方案中使用的EIT部分,并且在图7中早前提及的EIT示出在DVB方案中使用的DVB-SI的EIT。
在下文中,参考图7更详细地描述在EIT分段中包括的数据。
类似于在图6中早前定义的EIT,EIT提供有关在每个服务中包括的事件的按时间顺序的信息。
与对应的事件联锁的增强数据使用在EIT的事件级别中的描述符用信号通知。
table_id字段是8比特字段,并且表示当前分段属于EIT分段。
section_syntax_indicator是1比特字段。这个字段的值被设置为“1”。
section_length字段由12位组成。这个字段表示包括就在当前字段之后到CRC的分段的字节数目。
service_id是16比特字段,并且起到使当前服务与在TS中的包括不同的服务区分的标签的作用。这个字段具有与PMT分段的program_number字段相同的值。
version_number字段是5比特字段。这个字段表示sub_table的版本号。在sub_table中对于每个变化,版本值增加“1”。如果版本值达到“31”,则下一个版本值变为“0”。
current_next_indicator字段是1比特字段。如果sub_table当前是可适用的,则这个字段的值被设置为1。
section_number字段是8比特字段。这个字段表示当前分段的分段编号。例如,EIT表分段的第一分段具有“0×00”的值,并且对包括相同的table_id、相同的transport_stream_id和相同的original_network_id的每个附加分段,该值增加“1”。
last_section_number字段是8比特字段,并且表示对应的sub_table的最后分段(即,最高的section_number)的分段编号。
transport_stream_id字段是16比特字段。这个字段起到区分传输流(TS)的标签的作用。
original_network_id是16比特字段。这个字段是用于检查传输***的network_id的标签。
segment_last_section_number是8比特字段,并且表示sub_table的分段最后分段的分段编号。对于未分段的sub_table,这个字段具有与last_section_number字段的值相同的值。
last_table_id是8比特字段,并且表示最后使用的table_id。
event_id是16比特字段,并且包括表示事件的标识符(ID编号)。当前字段的值在服务定义中被唯一地分配。
start_time是40比特字段,并且包括UTC形式和MJD(简化儒略日期)形式的事件开始时间。这个字段包括通过MJD的16个LSB编码的16比特,和通过6位4比特二进制编码十进制(BCD)编码的24比特。如果开始时间没有定义(例如,NVOD服务),则所有比特被设置为1。
持续时间是24比特字段,并且包括以时间、分钟和秒单位计的事件的持续时间。因此,这个字段包括以通过6位4比特BCD表示的方式的24比特。
running_status是3比特字段,并且表示事件的状态。
free_CA_mode是1比特字段。如果当前字段被设置为“0”,则表示对应的服务的所有元素流没有被加扰。如果当前字段被设置为“1”,则表示一个或多个流由CAS(有条件的接入***)控制。
descriptors_loop_length是12比特字段,并且以字节为单位表示跟随的描述符的总长度。
CRC_32字段是32比特字段,并且表示在解码器中进行注册为零输出的CRC值。
图11至13是用于解释用于非实时混合3D服务的event_enhancement_descriptor()的一个实施例的示意图。
在下文中,参考附图详细描述用于非实时混合3D服务的event_enhancement_descriptor的数据。
参考图11至13,用于非实时混合3D服务的event_enhancement_descriptor()可以以描述符形式定义和/或包括在图9至10中早前提及的EIT分段中。虽然在前面提到的enhancement_descriptor中没有详细说明,但是类似的字段可以引用在下文中描述的内容。
在这种情况下,event_enhancement_descriptor()包括combined_service_type、enhancement_type、enhancement_right_flag、sync_type、enhancement_stream_format、enhancement_stream_sampling_factor、avail_time_start、linked_TSID、linked_program_number、linked_elementary_PID、internet_linkage_information、disparity_near、disparity_far、available_start_time_UTC、available_end_time_UTC、download_protocol、download_format、start_time_PTS等等。同时,在这种情况下,每个数据可以根据规定的条件是有效或者无效的。
图12(a)是用于combined_service_type的一个实施例的示意图。
combined_service_type是表示当经由两个或更多个单独的路径、信道、介质等等发送的分量彼此组合的时候最终提供的服务类型的字段。换句话说,这个字段表示以组合对应的事件与经由通过当前的描述符指定的位置接收的增强数据的方式提供的最终服务的类型。
参考图12(a),如果combined_service_type的值对应于“0×0”、“0×1”、“0×2”和“0×3”,则分别表示2D可缩放的视频服务、3D立体视频服务、3D多视图服务和超清晰度(UD)视频服务。
当3D服务的定时使用增强数据呈现的时候,enhancement_right_flag标识对应的视频的左视频或者右视频。例如,如果当前标记的值对应于“1”,则表示增强数据或者通过增强数据获得的视频的视图对应于右视频。
图12(b)是用于enhancement_type的值的一个实施例的示意图。
如在先前的描述中提及的,enhancement_type标识用于对应的事件的增强数据在其上发送的路径的类型。例如,该类型可以包括陆地信道、互联网等等。
在这种情况下,参考图12(b),如果enhancement_type的值对应于“0×0”,则表示对应的事件包括用于服务的所有必需的分量。这表示增强数据也以包括作为对应事件分量的方式被接收。
如果enhancement_type的值对应于“0×1”,则增强数据在不同于对应事件的信道的信道上接收,并且接收路径的类型与对应事件的接收路径的类型相同。例如,如果事件对应于陆地,则用于事件的增强数据在与陆地的不同的信道上被接收。有关增强数据的详细路径信息使用linked_TSID和linked_program_number。
如果enhancement_type的值对应于“0×2”,则表示对应的事件仅仅包括增强数据,并且基本数据在相同类型的路径上被发送。尤其是,增强数据和基本数据两者在陆地上被接收。以相同的方式,有关基本数据的详细路径信息使用linked_TSID和linked_program_number。
如果enhancement_type的值对应于“0×3”,则表示用于对应事件的增强数据在互联网上被接收。用于接入增强数据的路径信息使用internet_linkage_information。
图13(a)是用于sinc_type的值的一个实施例的示意图。
sync_type表示用于对应事件的分量和增强数据传输的同步和组合方法。
如果sync_type的值对应于“0×0”,则对应事件的分量和增强数据被同时发送。其可以称作同步传输。
如果sync_type的值对应于“0×1”,则增强数据在对应的数据之后被发送。为了观看正常的3D视频,对应的事件被预先记录,并且需要将最近接收的增强数据与记录的对应事件联锁或者组合。
如果sync_type的值对应于“0×2”,则增强数据在对应的数据之前被发送。为了观看正常的3D视频,需要将实时接收的事件分量与预先接收/存储的增强数据联锁或者组合。尤其是,能够表示非实时混合3D服务/事件。
如果sync_type的值对应于“0×3”,虽然其与“0×1”的情形相同,但是表示增强数据的同步传输也是可能的。
如果sync_type的值对应于“0×4”,虽然其与“0×2”的情形相同,但是表示增强数据的同步传输也是可能的。
图13(b)是用于enhancement_stream_format的值的一个实施例的示意图。
enhancement_stream_format表示有关用于对应事件的增强数据的数据格式、CODEC等等的信息。
图13(c)是用于enhancement_stream_sampling_factor的值的一个实施例的示意图。
enhancement_stream_sampling_factor表示增强数据的分辨率。这个字段表示用于对应事件的视频流(标准视频)的水平和垂直采样因子。
如果这个字段的值对应于“0×00”,则表示与标准视频的分辨率相同的分辨率。如果这个字段的值对应于“0×XY”,则表示与标准视频的分辨率相比,水平方向的分辨率对应于1/(X+1),并且垂直方向的分辨率对应于1/(Y+1)。例如,在具有1/4水平大小和1/8垂直大小的深度信息(深度/视差图)的情况下,这个字段具有“0×37”的值。
avail_time_start表示增强数据被发送的开始时间,增强数据以与当前事件的分量组合的方式配置3D视频内容。这个字段是32比特字段,并且表示在1980.1.600:00:00UTC之后,以GPS秒单位计的这个事件的开始时间。如果这个字段的值对应于‘0’,则表示增强数据始终是可用的。
linked_TSID表示在其中包括增强数据的传输流(TS)的transport_stream_id的值。
linked_program_number表示在其中包括增强数据的节目/信道的program_number的值。尤其是,在其中包括增强数据的流可以使用linked_TSID和linked_program_number唯一地定义。
与linked_TSID和linked_program_number一起,linked_elementary_PID能够在event_enhancement_descriptor()中包括用于增强数据的elementary_PID的值。
在经由互联网发送增强数据的情况下,internet_linkage_information提供有关增强数据的信息。internet_linkage_information能够包括表示是否IP地址对应于32比特或者128比特、IP地址、端口编号、诸如URI等等的对应的流的附加信息,和可用的时隙的字段。在这种情况下,可用的时隙可以包括开始时间和期满时间。可用的时隙可以与avail_time_start字段重叠。
如果增强数据对应于深度(视差/深度图)信息,则disparity_near和disparity_far表示深度范围。disparity_near和disparity_far分别表示对应于离用户最近的目标点和离用户最远的目标点的视差值。
在前面提到的描述符中,也能够用信号通知多个增强流。为此,能够使用在描述符中的循环用信号通知n个增强流。
尤其是,在非实时传输的情况下,如果sinc_type对应于“0×2”,则不管传输信道和介质如何,进一步包括下载信息。
在下文中,参考附图更详细地解释非实时下载信息。
available_start/end_time_UTC是32比特字段,并且表示附加视频的下载对于其是可用的时间信息。这个字段由UTC时间表示,并且可以以持续时间形式而不是结束时间来使用。
download_protocol是8比特字段,并且表示用于下载附加视频的协议。例如,可以使用以下的方案。
如果当前字段的值对应于“0×00”、“0×01”、“0×02”和“0×03”,则可以分别由HTTP、FTP、FLUTE和NRT协议定义。
同时,download_format是7比特字段,并且表示附加视频的存储形式。例如,可以使用以下的方案。
如果当前字段的值对应于“0×00”和“0×02”,则可以分别由MPEG-2TS和MPEG-4文件格式(ISO兼容的)定义。
并且,start_point_PTS是33比特字段,并且表示开始附加视频回放的定时的PTS值。这个字段可以用于同步附加视频与标准视频。
在先前的描述中,如果download_format对应于“0”,即,download_format对应于MPEG-2传输流(TS),则PTS通过与彼此相比较来直接使用。如果download_format对应于“0”,即,download_format对应于MPEG-4文件格式,则对应采样的CT值能够以根据前面提到的公式计算CT值的方式使用。
图14是用于解释用于非实时混合3D服务的event_enhancement_descriptor()的不同实施例的示意图。
在下文中,参考附图详细描述用于不同的实施例的非实时混合3D服务的enhancement_descriptor的数据。
参考图14,用于非实时混合3D服务的event_enhancement_descriptor()可以以描述符形式定义和/或包括在图9至10中早前提及的EIT分段中。
在这种情况下,event_enhancement_descriptor()包括combined_service_type、enhancement_type、enhancement_right_flag、sync_type、enhancement_stream_format、enhancement_stream_sampling_factor、avail_time_start、linked_TSID、linked_program_number、linked_elementary_PID、internet_linkage_information、disparity_near、disparity_far、available_start_time_UTC、available_end_time_UTC、download_protocol、download_format、start_time_PTS、major_channel_number、minor_channel_number、source_id、channel_TSID、program_number、service_id、content_linkage等等。同时,在这种情况下,每个数据可以根据规定的条件是有效或者无效的。
在下文中,由于直到start_time_PTS为止前面提到的数据与在图13中早前提及的内容是相同的,因此此时详细解释被省略,并且替代地可以引用前面提到的内容。
在以下的描述中,主要地描述不同于图13的部分。
尤其是,图14的event_enhnacement_descriptor不同于图13的event_enhnacement_descriptor之处在于download_protocol的值对应于“0×03”,即,NRT服务或者信道。
在这种情况下,如示意图所示,可以进一步包括附加信息和节目图信息以及service_id、content_linkage等等,以标识NRT内容,附加信息包括major_channel_number、minor_channel_number、source_id、channel_TSID,和用于在其上执行NRT服务的虚拟信道的program_number。
图15是用于解释关于在图14中示出的NRT服务的接收机操作的一个实施例的流程图。
有关在其上发送NRT内容的虚拟信道和节目编号的信息被识别[S102]。
用于节目编号的PMT被分析[S104]。在这种情况下,service_ID_descriptor能够在步骤S104中使用。
识别用于DSM-CC可寻址的分段流的分组标识符(PID)值,DSM-CC可寻址的分段流包括向其发送NRT内容的NRT服务[S106]。在这种情况下,NRT服务能够通过service_id标识,并且DSM-CC可寻址的分段流可以通过stream_type的值标识。在这种情况下,stream_type的值可以对应于“0×0D”。
通过解码包括识别的分组标识符的流处理包括NRT服务信令信道的IP/UDP分组[S108]。
内容调度和接入信息使用NRT-IT(非实时信息表)、SMT(服务映射表)等等标识[S110]。
NRT内容被下载[S112]。
图16是用于解释在非实时混合3D服务中的同步情形的一个实施例的示意图,并且图17是用于解释在图16中示出的同步情形的流程图。
在本说明书中公开的处理用于3D服务信号的方法的一个实施例包括步骤:接收包括用于3D服务内容和信令信息的信号,从接收的信令信息中提取事件信息表并解码该事件信息表,并且如果来自在解码的事件信息表中的描述符的事件对应于用于3D服务的事件,则识别是否事件对应于非实时3D服务,识别是否识别的非实时3D服务的增强文件被下载,计算用于同步的CT,并且基于计算的CT搜索采样的位置,以及以基于计算的CT执行同步过程的方式播放3D内容。
在这种情况下,该方法能够进一步包括步骤:从信令信息中提取节目映射表,并且解码该节目映射表,从解码的节目映射表中提取用于标准视频的视频流的PID,并且从用于标准视频的视频流中获得当前PTS。
并且,该方法能够进一步包括步骤:从在事件信息表中的描述符中获得开始PTS。
并且,该方法能够进一步包括步骤:从在事件信息表的描述符中提取有关附加视频的增强文件获取信息。
并且,该方法能够进一步包括步骤:基于提取的增强文件获取信息提取有关增强文件的时间标度信息。
并且,在事件信息表中的描述符可以对应于event_enhancement_descriptor。
并且,是否事件对应于用于3D服务的事件能够根据是否存在event_enhancement_descriptor识别。
并且,增强文件可以对应于MPEG-2传输流(TS)和基于ISO的文件格式的一个。
并且,CT能够基于获得的当前的PTS、开始PTS和提取的时间标度信息来计算。
并且,同步采样能够基于计算的CT查找,采样区块能够基于找到的同步采样查找,并且能够从找到的采样区块中获得用于附加视频的标准流的位置。在这种情况下,例如,时间标度信息从介质头部中提取。同时,介质头部、同步采样和采样区块都包括在moov盒中。并且,在moov盒中的位置(k)适用于在mdat盒中包括CT(k)的采样。
在下文中,图16的情形参考图17的流程图顺序解释。
图16(a)示出信令信息处理块,图16(b)示出标准视频处理块,图16(c)示出附加视频处理块,图16(d)示出随机接入点处理块,和图16(e)示出同步处理块。在这种情况下,图16(a)至(e)为了清楚表示为块。块不必是硬件配置。块彼此区分仅仅是为了更加容易地解释同步情形的过程。
并且,在图16和17中示出的同步情形主要涉及在接收部分中处理的内容。这是因为同步主要在接收部分中实现3D服务的过程中导致问题。因此,为了接收部分处理的方便起见,传输部分有必要适当地提供同步信息给信令信息。
首先,接收机接收用于3D服务的数据和包括信令信息的信号。随后,接收机以经过诸如在图2中示出的过程的过程的方式多路分解和解码信令信息,诸如在图16(a)中示出的。
接收机从在解码的信令信息之中的PMT提取用于标准视频的视频分组标识符(视频PID),并且识别视频PID。
并且,接收机从在解码的信令信息之中的EIT提取有关附加视频流的信息。在这种情况下,例如,有关附加视频流的信息包括用于发送和接收附加视频流的地址信息和同步信息。同时,作为一个示例,地址信息包括URL信息。并且,作为一个示例,同步信息包括开始PTS信息。
换句话说,如图16(a)所示,接收机从信令信息中获得开始PTS信息[S202]。
并且,接收机基于在图16(a)中示出的PMT从用于在图16(b)示出的标准视频的PES获得当前PTS信息[S204]。同时,接收机基于在图16(a)中示出的EIT,从用于在图16(c)中示出的附加视频流的文件获得时间标度信息[S206]。在这种情况下,例如,步骤S204和步骤S206能够同时或者顺序执行。
随后,基于经由步骤S202至步骤S206获得的开始PTS信息、当前PTS信息和时间标度信息计算随机接入点,即,CT。在这种情况下,例如,采样CT能够通过以下的公式1计算。
[公式1]
采样CT=(当前PTS–开始PTS)/90,000*时间标度
在这种情况下,采样CT对应于时间标度基准,并且(当前PTS–开始PTS)例如通过90KHz基准来计算,本说明书可以不受其限制。
随后,同步采样从在步骤S208中计算的采样CT中查找[S210]。
随后,用于附加视频的基本流(ES)的ES位置从采样区块中获得[S212]。
用于附加视频的采样基于在步骤S212中获得的ES位置获得[S214]。
随后,接收机将用于标准视频的视频基本流(主)与用于附加视频的视频基本流(子)同步[S216]。
图18是用于解释处理用于非实时混合3D服务信号的方法的一个实施例的流程图。
图18主要划分为确定是否观看3D的过程、观看的过程、下载的过程等等。
当用户接通接收机并且观看的时候,接收机从对应的信道接收内容和用于该内容的信令信息,并且解码信令信息。
例如,接收机下载EIT并解码EIT[S302]。
接收机确定在EIT中是否存在event_ehnacement_descriptor[S304]。
如果在步骤S304中确定存在event_ehnacement_descriptor,则接收机能够识别对应的事件是用于3D服务的事件。因此,为了使该事件是可识别的,接收机产生UI(用户界面)或者OSD(在屏显示)数据,并且询问用户是否观看3D事件[S306]。
如果用户接受或者请求3D事件,则接收机解码event_ehnacement_descriptor[S308]。
是否提供实时或者非实时3D服务是从在步骤S308中解码的event_ehnacement_descriptor识别的[S310]。
在步骤S310中,如果确定提供实时3D服务,则接收机开始3D流式传输[S312],基于MPEG-2传输流(TS)的PTS同步[S314],并且用户能够观看3D内容[S330]。
相反地,在步骤S310中,如果确定提供非实时3D服务,则接收机确定是否下载增强文件[S316]。
在步骤S316中,如果确定尚未下载增强文件,则接收机确定下载当前是否是可用的[S318]。因此,如果下载是不可用的,则接收机推迟或者等待下载,直到下载变为可用为止[S320]。但是,在步骤S318中,如果确定下载当前是可用的,则接收机下载增强文件[S322]。
在步骤S316中,如果确定经由步骤S322增强文件已经下载,或者如果增强文件的下载完成,则接收机识别增强文件的类型。换句话说,接收机确定是否增强文件的类型对应于基于ISO的文件格式[S324]。
在步骤S324中,如果确定增强文件的类型对应于MPEG-2传输流,而不是基于ISO的文件格式,则执行步骤S314的过程。
但是,在步骤S324中,如果确定增强文件的类型对应于基于ISO的文件格式,诸如MP4,则接收机计算用于同步的CT并基于计算的CT搜索采样位置[S326]。
随后,基于用于直播流的PTS和用于基于ISO的文件格式的CT执行同步过程[S328]。
通过这样做,用户观看3D内容[S330]。
解释观看的过程。如在先前的描述中提及的,在实时3D的情况下,接收机以接收流信息的方式接收实时3D,并且基于MPEG-2 TS的PTS以同步接收的流信息与传统视频的方式开始3D观看。在非实时3D的情况下,如果预先下载的附加视频存在于接收机中,则基于MPEG-2 TS的PTS,或者取决于文件格式基于ISO的文件格式的CT,以同步预先下载的附加视频与传统视频的方式开始3D观看。
解释下载的过程。在非实时3D的情况下,如果附加视频文件尚未下载,则接收机检查是否下载是可用的,并且使用由描述符指定的协议方案下载附加视频文件。在这种情况下,如果下载是不可用的,则接收机预留下载,并且稍后下载附加视频文件。
如在先前的描述中提及的,根据本说明书,首先,能够处理混合方案的3DTV服务。其次,在标准视频和附加视频之间的时间同步能够对于混合方案的3DTV服务执行。第三,信号传输效率能够提高,同时保持与传统方案的向后兼容。另外,与传统方案相比更高的压缩率和更高的分辨率的3DTV服务能够被提供或者处理。并且,根据本说明书,本发明可以不仅适用于立体3DTV服务,而且适用于多视图3DTV服务。
发明的实施方式
如在先前的描述中提及的,在前文对于发明的具体实施方式中解释了本发明的各种实施例。
工业实用性
如在先前的描述中提及的,本发明能够整体地或者部分地适用于广播或者通信***。

Claims (3)

1.一种处理3D服务的方法,包括步骤:
由3D服务处理设备经由陆地广播网络接收第一信号,所述第一信号承载用于与信令信息多路复用的所述3D服务的参考视频部件,
其中,所述第一信号基于MPEG-2传输流(TS),
其中,所述信令信息包括专用分段,并且所述专用分段包括用于接入附加视频部件的参考信息以与所述参考视频部件配对,以及
其中,所述参考信息包括用于所述3D服务的所述附加视频部件的统一资源标识符(URI)信息;
由所述3D服务处理设备经由交互网络接收第二信号,所述第二信号承载用于所述3D服务的所述附加视频部件;
其中,所述第二信号以基于ISO(国际标准组织)的文件格式为基础;
由所述3D服务处理设备解码所述第一信号;
从所述第一信号提取链接信息用于配对所述参考视频部件和所述附加视频部件,
其中,所述信令信息包括虚拟信道表VCT和事件信息表EIT,以及
其中,所述EIT包括开始显示时间戳(PTS)信息,
其中,所述VCT和所述EIT包括用于用信号通知所述3D服务的服务类型的信息,并且
其中所述第一信号包括所述参考视频部件的当前显示时间戳信息;
由所述3D服务处理设备搜索用于配对所述参考视频部件和所述附加视频部件的同步采样,并且获得所述附加视频部件的采样,
其中,从采样组成时间搜索所述同步采样,所述组成时间通过以下公式计算:
采样组成时间=(当前PTS–开始PTS)/90000*在第二信号中的ISO文件的时间标度;以及
由所述3D服务处理设备基于所述当前PTS和所获得的所述附加视频部件的采样来呈现所述3D服务。
2.根据权利要求1所述的方法,其中,所述第一信号是广播信号。
3.根据权利要求1所述的方法,进一步包括:
由所述3D服务处理设备解码所述第一信号;以及
由所述3D服务处理设备从所述第一信号提取所述链接信息。
CN201380021518.7A 2012-04-23 2013-04-23 用于3d服务的信号处理设备和方法 Expired - Fee Related CN104247413B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261636741P 2012-04-23 2012-04-23
US61/636,741 2012-04-23
PCT/KR2013/003468 WO2013162256A1 (ko) 2012-04-23 2013-04-23 3d 서비스를 위한 신호 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
CN104247413A CN104247413A (zh) 2014-12-24
CN104247413B true CN104247413B (zh) 2017-12-29

Family

ID=49483478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380021518.7A Expired - Fee Related CN104247413B (zh) 2012-04-23 2013-04-23 用于3d服务的信号处理设备和方法

Country Status (5)

Country Link
US (1) US20150089564A1 (zh)
EP (1) EP2822282B1 (zh)
KR (1) KR20150004318A (zh)
CN (1) CN104247413B (zh)
WO (1) WO2013162256A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150009289A1 (en) * 2013-07-08 2015-01-08 Electronics And Telecommunications Research Institute Method and apparatus for providing three-dimensional (3d) video
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3d 방송 서비스 제공 시스템 및 방법
WO2016153273A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US20180124439A1 (en) * 2015-05-18 2018-05-03 Lg Electronics Inc. Broadcast signal transmitting apparatus, broadcast signal receiving apparatus, broadcast signal transmitting method, and broadcast signal receiving method
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
KR101916022B1 (ko) * 2015-10-06 2018-11-07 한국전자통신연구원 세그먼트 기반의 방송 콘텐츠 반복 전송 방법 및 장치
US10931980B2 (en) * 2016-07-19 2021-02-23 Electronics And Telecommunications Research Institute Method and apparatus for providing 360 degree virtual reality broadcasting service

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1187734A (zh) * 1996-10-24 1998-07-15 次级***有限公司 立体视频序列的同步
CN101911713A (zh) * 2008-09-30 2010-12-08 松下电器产业株式会社 3d影像的记录介质、再现装置、***lsi、再现方法、眼镜、显示装置
CN102027750A (zh) * 2009-03-30 2011-04-20 松下电器产业株式会社 记录介质、再现装置及集成电路
WO2012014494A1 (en) * 2010-07-30 2012-02-02 Sony Corporation Image processing apparatus and method and program

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1051673C (zh) * 1995-05-05 2000-04-26 李文献 性病灭菌组合物及制备方法和用途
KR100864826B1 (ko) * 2006-09-29 2008-10-23 한국전자통신연구원 디지털 방송기반의 3차원 정지영상 서비스 방법 및 장치
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
KR101486772B1 (ko) * 2008-06-04 2015-02-04 삼성전자주식회사 재생 위치에 따라 디지털 컨텐츠를 관리하는 방법과 장치및 실행하는 방법 및 장치
KR100972792B1 (ko) * 2008-11-04 2010-07-29 한국전자통신연구원 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
KR101305789B1 (ko) * 2009-01-22 2013-09-06 서울시립대학교 산학협력단 지상파 디지털멀티미디어방송에서 비실시간 스테레오스코픽 서비스 수행 방법 및 지상파 디지털멀티미디어방송 수신 장치
WO2010117129A2 (en) * 2009-04-07 2010-10-14 Lg Electronics Inc. Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
US8599107B2 (en) * 2009-06-10 2013-12-03 Panasonic Corporation Image system, display device and eyeglasses device used in the same
US9036700B2 (en) * 2009-07-15 2015-05-19 Google Technology Holdings LLC Simulcast of stereoviews for 3D TV
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
KR20110123658A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 3차원 방송 서비스 송수신 방법 및 시스템
KR101531240B1 (ko) * 2010-07-27 2015-06-25 한국전자통신연구원 디지털 방송 시스템에서 다시점 프로그램을 송수신하는 방법 및 장치
KR20120036783A (ko) * 2010-10-08 2012-04-18 한국전자통신연구원 디지털 방송에서의 콘텐츠 재생 방법
KR101750047B1 (ko) * 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
US8553071B2 (en) * 2010-10-26 2013-10-08 Verizon Patent And Licensing, Inc. Methods and systems for presenting adjunct content during a presentation of a media content instance
JP5412404B2 (ja) * 2010-11-15 2014-02-12 シャープ株式会社 情報統合装置、情報表示装置、情報記録装置
KR101831775B1 (ko) * 2010-12-07 2018-02-26 삼성전자주식회사 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법
KR20120084252A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 복수의 실시간 전송 스트림을 수신하는 수신 장치와 그 송신 장치 및 멀티미디어 컨텐츠 재생 방법
KR20120103510A (ko) * 2011-03-10 2012-09-19 한국전자통신연구원 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
WO2013032221A1 (ko) * 2011-08-31 2013-03-07 엘지전자 주식회사 디지털 방송 신호 처리 방법 및 장치
KR20140105367A (ko) * 2011-12-28 2014-09-01 파나소닉 주식회사 재생장치, 송신장치, 재생방법 및 송신방법
US20150085071A1 (en) * 2012-04-04 2015-03-26 Ruiz Rodriquez Ezequiel System for generating and receiving a stereoscopic 2d-backward-compatible video stream, and method thereof
US20130276046A1 (en) * 2012-04-13 2013-10-17 Electronics And Telecommunications Research Institute Receiving apparatus for receiving a plurality of signals through different paths and method for processing signals thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1187734A (zh) * 1996-10-24 1998-07-15 次级***有限公司 立体视频序列的同步
HK1010775A1 (en) * 1996-10-24 1999-06-25 Gen Instrument Corp Synchronization of a stereoscopic video sequence
CN1112806C (zh) * 1996-10-24 2003-06-25 通用仪器公司 排列立体视频序列的视频画面用于译码的方法
CN101911713A (zh) * 2008-09-30 2010-12-08 松下电器产业株式会社 3d影像的记录介质、再现装置、***lsi、再现方法、眼镜、显示装置
CN102027750A (zh) * 2009-03-30 2011-04-20 松下电器产业株式会社 记录介质、再现装置及集成电路
WO2012014494A1 (en) * 2010-07-30 2012-02-02 Sony Corporation Image processing apparatus and method and program

Also Published As

Publication number Publication date
EP2822282B1 (en) 2018-11-07
KR20150004318A (ko) 2015-01-12
WO2013162256A1 (ko) 2013-10-31
EP2822282A4 (en) 2015-11-25
US20150089564A1 (en) 2015-03-26
EP2822282A1 (en) 2015-01-07
CN104247413A (zh) 2014-12-24

Similar Documents

Publication Publication Date Title
CN104247413B (zh) 用于3d服务的信号处理设备和方法
US9338431B2 (en) Method and apparatus for processing a broadcast signal for 3D broadcast service
US9712803B2 (en) Receiving system and method of processing data
CN103262549B (zh) 用于接收数字广播信号的设备和方法
EP2744214A2 (en) Transmitting device, receiving device, and transceiving method thereof
US20130002819A1 (en) Receiving system and method of processing data
US9516086B2 (en) Transmitting device, receiving device, and transceiving method thereof
KR101875615B1 (ko) 삼차원 디스플레이를 위한 디지털 방송 신호를 처리하는 방법 및 장치
CN104301705B (zh) 广播接收机和三维视频数据处理方法
US20180213216A1 (en) Media data transmission device, media data reception device, media data transmission method, and media data rececption method
MX2012008818A (es) Metodo y aparato para transmitir flujo de difusion digital usando informacion de enlace acerca de flujo de video multivistas y metodo y aparato para su recepcion.
CN103891275B (zh) 数字广播信号处理方法及设备
CN105075253A (zh) 用于处理3维广播信号的方法和设备
KR20110123658A (ko) 3차원 방송 서비스 송수신 방법 및 시스템
EP2685729A2 (en) Transmission device and method for providing program-linked stereoscopic broadcasting service, and reception device and method for same
US20140147088A1 (en) Transmission device, receiving/playing device, transmission method, and receiving/playing method
KR20130044264A (ko) 스테레오스코픽 영상 정보의 전송 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171229

Termination date: 20180423