CN104205824A - 产生、传送和重构立体视频流的方法 - Google Patents

产生、传送和重构立体视频流的方法 Download PDF

Info

Publication number
CN104205824A
CN104205824A CN201380013377.4A CN201380013377A CN104205824A CN 104205824 A CN104205824 A CN 104205824A CN 201380013377 A CN201380013377 A CN 201380013377A CN 104205824 A CN104205824 A CN 104205824A
Authority
CN
China
Prior art keywords
image
moment
video streaming
stereo video
signaling data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380013377.4A
Other languages
English (en)
Inventor
P·达默托达摩托
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sisvel SpA
Original Assignee
Sisvel SpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sisvel SpA filed Critical Sisvel SpA
Publication of CN104205824A publication Critical patent/CN104205824A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

描述了一种产生包括组合帧(C)的立体视频流(84)的方法,所述组合帧包括关于用于场景的三维显示的左图像(L)和右图像(R)的信息,其中选择所述左图像(L)和右图像(R)的像素并且将所述选择的像素加入到所述立体视频流的组合帧(C)中,其中在一时刻拍摄所述图像(L,R)中的一个,该时刻相对于另一个图像(R,L)被拍摄的时刻延迟大致恒定和预定的间隔(60)。

Description

产生、传送和重构立体视频流的方法
技术领域
本发明涉及产生、传送和重构立体视频流的方法。
背景技术
对于3D视频信号的传输,通常使用所谓的“帧兼容”格式。这样的格式允许将组成立体对的两幅图像加入用作容器的全HD帧。以此方式,由两个视频流(一个用于左眼以及一个用于右眼)组成的3D信号成为由单个视频流组成的信号,从而可以穿过用于2D电视的生产和分发基础设施,更重要的是,可以由当前市场上可获得的2D和3D接收机来播放,特别是用于高清电视。
发明内容
图1a和图1b示意性显示了由1920列像素乘以1080行像素(被称为1080p)组成的两个HD帧,其分别属于用于左眼L和右眼R的视频流。左L和右R两个图像可以通过选择他们各自的像素而构成组合帧,一个挨着另一个,由此产生所谓的“并排”格式,或者一个在另一个之上,由此产生所谓的“顶部底部”或“上下”格式(参见图2a和图2b)。这两种格式都具有在两个方向中的任一个方向上使分辨率减半的缺点,即,对于并排格式在水平方向上,或者对于上下格式在垂直方向上。
还提出了被称为“瓦片格式(tile format)”的第三种格式,其中将两个720p图像(1280×720渐进扫描像素)加入1080p容器帧。根据该格式,将两个图像中的一个图像不变地加入容器,而将另一个图像分成三部分,依次将所述三部分加入由第一图像剩下的可用空间(参看图2c)。
这些加入操作以所包含的视频流的帧率频率来执行,取决于所采用的标准,该帧率频率的典型值大约为24,50或60Hz(或者fps,帧每秒)。
通常,然后通过使用合适的编码技术来压缩流图像,并且对流图像进行其它处理(多路复用、频道编码等),以便适于在再现之前的存储或传输。
如前所述,所有这三种格式都可被用于产生和传送(在物理介质上的传输或存储),然而不适合于传送目的的其他格式(即,所谓的“线交替”和“帧交替”格式)被用于可视化。
在“线交替”格式中,两个图像L和R交织;例如,参考图3,图像L320占据组合帧350的所有奇数行,而图像R 330占据组合帧350的所有偶数行。这种格式在针对被动式眼镜的显示中使用,其中两个镜片被不同地极化。如果线交替的极化滤波器被放置在屏幕的前面,则左眼将仅看见对应于图像L的线,而右眼将仅看见对应于图像R的线。明显地,这使得两幅图像的垂直分辨率减半,但是人类视觉***可以通过将属于图像L的细节和属于图像R的细节一起放入三维图像中来部分地补偿该损失。
与之相比,在“帧交替”显示***中,图像L和图像R交替显示在屏幕上(参见图4,其中序列450包括交替的帧L420和R430)。为了进行分离,即向每个眼睛发送相对应的图像,需要佩戴也被称为“主动式”眼镜的快门式眼镜:基于例如由电视机经由红外线发送到眼镜的同步信号,快门交替遮蔽两个镜片中的一个。3D信号不是直接以两种最常见的显示格式发送的原因在于,这样的格式不允许视频信号的有效压缩,因为它们破坏相邻行或连续帧之间的关联。所以,为了获得满意的质量,需要比用于传输用作容器的HD信号所需的比特率高很多的比特率。结果就是,传输格式和显示格式不同,并被处理为就好像它们彼此独立一样。
然而,这样的独立处理不允许优化图像质量。换句话说,如果使用帧交替显示格式,最优的传送格式将不同于对线交替显示格式而言最优的格式,反之亦然。该事实通常被忽略,由此导致或者可用带宽未被充分利用,或者交替被引入到立体图像中。换句话说,当前用于传送视频流的帧打包格式没有根据视频流在再现装置上的可视化进行优化。
对于帧交替显示,所有上述三种帧兼容格式都可用于传送视频信号,最好的格式是瓦片格式,因为瓦片格式保持垂直分辨率和水平分辨率之间的平衡。然而,所有三种格式都具有缺点,即,加入同一组合帧的两个图像L和R参考同一时刻(其中两个视频摄像机通过相同的同步信号(同步锁相“gen-lock”)进行同步(进行同步锁相“gen-locked”)),但是按照时间连续进行显示。
如果使用1080p视频摄像机,则以预设的时间间隔Δt同时拍摄考虑中的两个图像,但是以减半的间隔Δt/2按照延迟的和交替的方式显示这两个图像。例如,如果使用中的电视***是50Hz的欧洲电视***(每20ms一对L-R帧),则该显示将以100Hz显示连续图像(每10ms一帧L或R),其中以L、R、L、R进行交替等。图5a示意性地示出了如何根据现有技术拍摄时间上连续的帧L和R,所述时间上连续的帧L和R包括相对于视频摄像机的视点水平移动的矩形对象。替代地,图6a示出了如何以传统的帧交替显示来显示相同的帧。由于矩形对象的水平移动,该矩形对象在不同时刻对、在相同位置而不是在其应该在的位置显现给两只眼睛。产生了时间连续图像的交替,这将被人类视觉***转换为深度误差。
这种误差类似于由所谓的“普尔弗里希效应(Pulfrich effect)”产生的误差,这在包含水平移动对象的测试图像中可见,例如在垂直于眼睛钟摆连接线的平面上振荡的钟摆(参见图7)。当观看者佩戴具有一个被部分遮蔽的镜片的特殊眼镜时,被遮蔽的眼睛的图像具有比未被遮蔽的眼睛的图像更长的延时,因此头脑将发现该图像具有一定的延迟。人类视觉***将这种感知延迟转换为“视差误差”(或深度误差),使得钟摆被观看者感知为不在该钟摆正振荡的平面q上移动,而是沿着位于垂直于平面q的平面r内的椭圆轨道移动;因此当钟摆在一个方向上移动时,看起来将会从屏幕突出,而当钟摆在另一方向上移动时,看起来将会位于屏幕后方。
钟摆的明显的旋转方向取决于哪只眼睛正被遮蔽;在图7的情况中,假定右眼已被部分遮蔽,这产生明显的逆时针旋转。
普尔弗里希效应非常有提示性,因为它使得三维图像显现在用于显示普通2D图像的普通2D电视机的屏幕上。这是已被用来有意地产生三维效果的视错觉,但是在实践中很少使用,因为这种三维效果以非控制的形式并且仅在存在相对于观察者水平移动的对象的情况下显示。
因此,本发明的目标是提供用于产生、传送和重构立体视频流的方法,该立体视频流当以帧交替显示来再现时没有深度误差。
简而言之,为了消除上述视错觉,需要的是,加入到同一组合帧的两个图像L和R不被同时拍摄,而是互相地延迟半帧(在渐进格式的情况下)或半场(在交替格式的情况下),即,当使用50Hz欧洲电视***时延迟10ms,其中每20ms拍摄一帧或一场。这应用于所有三种帧兼容格式(例如:并排格式、顶部底部格式、瓦片格式)。图5b和图6b应该与图5a和图6a进行比较,后一对涉及两幅图像被同时拍摄并且以半帧或半场的延迟被显示的情况。
当然,如果在拍摄阶段进行该时间偏移,视频信号应该包括指定立体对的两个视图中的哪一个首先被拍摄的合适的信令。事实上,如果以相对于拍摄处理的相反次序显示所述对,使得例如左图像在右图像之后交替地显示在屏幕上,但是左图像首先被拍摄,则观看者的视觉中的深度误差将增加,而非移除。
信令特别简单,因为仅存在两种可能性:或者左图像L被首先获取,或者右图像R被首先获取。因此,例如,该信令可被赋予仅一个比特,该比特的值0(零)指示所述情况的前者是真的,而值1(一)指示后一种情况是真的。
然而,如果还希望用信号表示同时拍摄两个图像的情况,即,不使用本发明的情况(例如,因为使用了线交替显示),则清楚的是,信令必须包括至少两个比特,一个比特用于指示例如两个图像的同时或不同时,而另一个比特可指示两个图像的哪一个先于另一个图像。第一比特可被接收机用来了解正被发送的信号是否针对使用的显示类型进行了优化:需要提醒的是,非同时拍摄的图像的传输对于帧交替显示来说是最优的,而同时拍摄的图像的传输对于线交替显示来说是最优的。在非最优传输的情况下,接收机可以采取不同的动作:例如其可以通过显示在屏幕上的消息通知用户可能存在深度误差和/或可建议用户选择2D模式,或者其甚至可以自动切换为2D模式。接收机的另一可能性是,通过本地处理接收到的图像L和R来尝试并校正深度误差:然而,这种处理在计算方面相当繁重,并且获得的校正将绝不会完美。
附图说明
本发明的其它特征和目标在所附的权利要求书中给出,其旨在是本说明书的不可缺少的部分,参照附图结合其实施例的优选的但非限制性的示例的以下详细描述,其教导将变得更加明显,在附图中:
-图1示出了分别属于立体视频流的用于左眼的视频流和用于右眼的视频流的1080p格式的两个HD帧;
-图2a、图2b和图2c分别示出了并排格式、上下格式和瓦片格式的立体图像对;
-图3和图4分别示出了线交替类型和帧交替类型的立体视频流的显示格式;
-图5a和图6a示意性地示出了根据现有技术的用于拍摄和显示包括相对于视频摄像机拍摄的视点而水平移动的矩形对象的时间上连续的左帧和右帧的方法;
-图5b和图6b示意性地示出了根据本发明的用于拍摄和显示图5a和图5b的时间上连续的左帧和右帧的方法;
-图7示出了普尔弗里希效应的示意图;
-图8和图9分别示出了根据本发明的用于立体视频流的产生***和处理***。
具体实施方式
图8示出了根据本发明的用于例如在电视产生演播室中或在电影装置上产生由相互关联的离散组件组成的立体视频流的一个可能的***800。类似于人类视觉***中所发生的,一对2D视频摄像机830’和830”从两个不同视点拍摄场景。第一视频摄像机830’拍摄对应于左眼L的场景,而第二视频摄像机830”拍摄对应于右眼R的场景。
用于产生拍摄同步810的同步锁相装置产生用于两个视频摄像机的普通同步信号以指示视频图像拍摄的时间,其在欧洲视频***中通常以50Hz的1/Δt频率来进行,即每20ms一个图像,等同于在属于连续对L-R的两个立体图像的拍摄之间流逝的间隔Δt。这两个同步锁相信号中的一个,例如供应至第二视频摄像机830”的同步锁相信号,通过***在同步锁相装置810和第二视频摄像机830”之间的延迟设备820,被延迟大致等于Δt/2的时间间隔,即针对50Hz视频标准的10ms。如果延迟设备820是多标准类型,即,能够操作于50Hz欧洲标准和60Hz美国标准两者,则可以提供的是,经由合适的调节或编程方式,所述时间间隔是可调节的或可编程的。
因此,以与右图像相同的频率1/Δt(通常为50或60Hz)拍摄左图像L,但是相对于同一立体对的图像R提前Δt/2(参见图5b)。除了由电子组件的不可移除的物理现象本质所导致的任何不期望的不确定性之外,延迟设备820所产生的延迟优选地等于视频摄像机的拍摄频率的倒数的一半,以便确保用于一只眼睛的图像的拍摄和用于另一只眼睛的图像的下一个拍摄之间流逝的时间间隔的一致性;这样的一致性被转换为对通过视频摄像机830’和830”获取帧的场景中的移动的更平滑和更真实的感知。
本发明无差别地可应用于任何类型的视频摄像机。特别地,本发明可以以不同视频分辨率进行操作,例如全HD分辨率,即1920×1080像素(简写为1080)或1280×720像素(简写为720)。另外,本发明可以以50或60Hz或fps输出渐进(p)或交织(i)视频信号。特别地,本发明可应用到例如能够以下面模式中的至少一种拍摄视频流的一对2D视频摄像机:1080p50Hz,1080p60Hz,720p50Hz,720p60Hz,1080i50Hz和1080i60Hz。其他用于电影拍摄和放映的高端格式采用每秒24幅图像。
在交织1080i格式的情况下,视频摄像机830’和830”输出由1920×540像素的奇偶半帧的交替组成的视频流,其分别由相同的全HD 1080p帧的540个奇数行和540个偶数行构成。因此,两条线83’和83”分别传送属于一个立体对的视图L和R的时间交替的奇偶半帧,其中,这两个视图中的一个视图的拍摄在时间上被延迟。
当本发明应用于TV产生演播室时,视频摄像机830’和830”输出根据SDI(串行数字接口)标准系列中的一种标准而格式化的两个视频信号,该SDI(串行数字接口)标准系列由SMPTE(电影与电视工程师学会)管理。
然后,由视频摄像机830’和830”产生的图像被帧打包器840打包为上述格式中的一种,即并排、顶部底部或瓦片。由此获得的立体视频流被编码器850压缩,该编码器850还可以基于例如来自同步锁相装置810(参见图8中的虚线连接81)的信息增加信令,该信令指示组合帧中的两个图像中的哪一个被首先拍摄。
作为替换,可以通过视频摄像机830’或830”中的一个将信令加入到视频流83’和83”的数据域中,例如SDI流的数据域中。在另一个实施例中,可以通过打包器840、或替选地通过图8中未示出的合适的信令加入单元来加入信令。在这种情况下,编码器850可以读取包含在传入的视频流84中的信令,并且取决于具体实施方式,或者可以保持该信令不变,或者遵从管理该信令的压缩标准适当地重新输入信令。在MPEG AVC压缩标准的情况下,还涉及ITU-TH.264,考虑中的信令有利地可被包括在所谓的SEI(补充增强信息)中,该SEI已经被使能以传送关于在产生帧兼容立体视频流时使用的帧打包格式的信息。
图8仅仅是根据本发明的用于产生立体流的***的示例性表示:图8突出显示用于执行***的一个或多个操作的不同功能块。实际上,一些功能块或甚至所有功能块可被合并到单个装置中,该单个装置执行针对图中的每个块描述的操作。
拍摄装置已经存在,不论是消费类型还是专业类型,其将立体拍摄所需的两个视频摄像机合并到单个容器中。在这种情况下,同步锁相装置810的延迟装置也可被有利地合并到拍摄设备中。
如前所述,本发明适合于与以所谓的帧交替技术操作的显示装置结合使用,其中每个立体对的左图像和右图像在时间上被交替地显示在屏幕上。如果显示设备以线交替技术操作,则将无法应用本发明。
被加入到正被传输的视频流的信令必须被显示设备使用,以重构正确的帧交替序列,该信令指示包含在给定的组合帧中的两个图像中的哪一个相对于另一个被延迟。事实上,如果没有正确重构序列,即,首先显示的图像是进行拍摄时被延迟的图像,则深度误差将增加,而不是被移除。
图9图示了根据本发明的视频处理***900的一个可能的实施例。该视频处理***900通常包括在视频接收和/或再现***中,该视频接收和/或再现***可选地包括其它操作单元,也至少部分地在图9中示出,例如视频处理器960和屏幕970。
例如,再现和/或接收***可以包括电视调谐器910(DVB-T/T2、DVB-S/S2或者DVB-C/C2、ATSC等),该电视调谐器910能够被调谐到包括由根据本发明的立体流产生***(例如,它可以是类似于图8中示出的***)产生的立体视频流的电视信号,该视频流随后被适当地处理(例如,经由信道编码、多路复用等),以通过任何通信信道被远程地传输,例如通过无线电传输单元860(图8)进行广播。在这种情况下,调谐器910执行与由单元860执行的操作相反的操作以获得输出视频流92,输出视频流92非常类似于输入到单元860的视频流,差别仅包括由接收误差、干扰和/或噪声所导致的不期望的改变。
可替代地或附加地,视频流92可以来自于适于读取任何存储介质870(硬盘、DVD、蓝光盘、半导体类型闪存等)的读取单元(图9中未示出),该读取单元可以通过例如包括在根据图8的立体视频流产生单元中的存储或记录单元来读取之前存储在这样的介质上的视频流。
具有延迟的立体拍摄92的视频流被发送到例如MPEG4-AVC(H.264)类型的解码器930,该解码器930执行与由编码器850在产生阶段执行的操作相反的解压缩操作。还读取由编码器850加入的信令,该信令指示包含在组合帧C中的图像L和R中的哪一个在另一个之前被拍摄。
如果输入视频流来自于利用交织拍摄***操作的拍摄***,则接着对解码器视频流93进行交织操作。该操作可以由合适的单元940执行,该单元940接收交织的解码流93并且产生具有延迟的立体拍摄的渐进式视频流94。如果流图像来自于渐进式拍摄***,则不需要解交织操作,并且已处于渐进形式的解码流93可以被直接提供给解包单元950,该解包单元950执行与由打包单元840执行的操作相反的操作。
然后,通过从每个组合帧C中提取左图像L和右图像R,分别将解码的渐进式立体视频流93或94拆分为两个单图像视频流95’L和95”R。用于左眼和右眼的两个视频流不一定以不同的视频流的形式通过两个单独的连接线提供给下一阶段960,如通过图9中的示例所示出的,因为他们也可以在包括任何格式的两个组成流的单个多路复用流95(图9中未示出)中传输,其可以被下一阶段识别和处理。
下一阶段960包括能够产生具有正确次序的右和左两个图像的帧交替序列的视频处理器,该次序可以通过由解码器930接收到的信令来导出,该信令必须以某种方式传输到设备960。例如,图9示出了通信线路98,解码器930通过该通信线路98将所述拍摄次序信令传输到视频处理器960。
作为图9中所示的配置的替选方式,再现和接收***900可以包括微处理器单元(未示出),该微处理器单元协调并控制该***900的操作,同时也作为采集信令和所有控制信号的中央单元。在本发明的该实施例中,微处理器单元从解码器930接收指示拍摄次序的信令,并指示视频处理器960在屏幕上显示视频流,通过经由数据连接线将适当的控制信号发送到视频处理器960,以正确的次序交替图像L和R。
应当注意的是,例如,视频处理***900可以合并到电视信号接收机中,而不论是否配备有内置屏幕970;因此,视频处理***900可以用在例如机顶盒或电视装置内。
同样地,例如,***900可以合并到能够显示三维视频内容的任何多媒体再现装置中,例如DVD或蓝光盘阅读器、平板计算机等,而不论是否配备有用于图像显示的内置屏幕。
必须指出的是,本发明也可以用于利用能够完全模仿三维立体场景(计算机图形)的现场拍摄的软件和硬件装置来产生和再现虚拟图像。虚拟拍摄通常用于制作动画视频和电影,其中三维效果是基于从两个视点拍摄一个场景的相同的普遍原理,以便模仿人类视觉***。
所以,可以容易理解的是,在不偏离如下面的权利要求书中清楚地指定的本发明主题的创新精神的情况下,可以对本文中描述的内容进行等同部分和组件的许多修改、改变或替换。

Claims (23)

1.一种产生包括组合帧(C)的立体视频流(84)的方法,所述组合帧包括关于用于场景的三维显示的左图像(L)和右图像(R)的像素信息,其中选择所述左图像(L)和右图像(R)的像素并且将所述选择的像素加入到所述立体视频流的组合帧(C)中,其特征在于,在一时刻拍摄所述组合帧中所包括的所述图像(L,R)中的一个,所述时刻相对于另一个图像(R,L)被拍摄的时刻延迟大致恒定和预定的间隔(60)。
2.根据权利要求1的方法,其中所述间隔(60)是可调整的或可编程的。
3.根据权利要求1的方法,其中可以使得所述间隔(60)大致等于两个连续的左图像(L)或右图像(R)的拍摄之间流逝的时间(65)的一半。
4.根据权利要求1的方法,其中将第一信令数据加入到立体视频流(84)中以指示所述组合帧中所包括的所述两个图像(L,R)中的哪一个已经在相对于另一个图像(R,L)被拍摄的时刻而延迟的时刻被拍摄。
5.根据权利要求1的方法,其中将第二信令数据加入到立体视频流(84)以指示所述图像(L,R)的拍摄的同时或不同时。
6.一种产生包括组合帧(C)的立体视频流(84)的设备,所述组合帧包括关于用于场景的三维显示的左图像(L)和右图像(R)的像素信息,所述设备包括适于选择所述左图像(L)和右图像(R)的所述像素并且将所述选择的像素加入到所述立体视频流的组合帧(C)中的装置,其特征在于,所述设备包括:适于使得在一时刻拍摄所述图像(L,R)中的一个的装置,所述时刻相对于另一图像(R,L)被拍摄的时刻延迟大致恒定和预定的间隔(60)。
7.根据权利要求6的设备,其中设置有用于调整或编程所述间隔(60)的装置。
8.根据权利要求6的设备,包括:适于允许使得所述间隔(60)大致等于两个连续的左图像(L)或右图像(R)的拍摄之间流逝的时间(65)的一半的装置。
9.根据权利要求6的设备,包括:能够将第一信令数据加入到所述立体视频流(84)中以指示所述两个图像(L,R)中的哪一个已经在相对于另一个图像(R,L)被拍摄的时刻而延迟的时刻被拍摄的装置。
10.根据权利要求6的设备,其中设置有用于将第二信令数据加入到所述立体视频流中以指示所述图像(L,R)的拍摄的同时或不同时的装置。
11.一种再现包括组合帧(C)的立体视频流(92)的方法,所述组合帧包括关于用于场景的三维显示的左图像(L)和右图像(R)的像素信息,其特征在于,从所述组合帧(C)中的一个提取所述左图像(L)和右图像(R),并且按照与拍摄所述两个图像(L,R;R,L)相同的时间次序,在一时刻使得所述图像(L,R)中的一个可见,所述时刻相对于使得另一个图像(R,L)可见的时刻延迟大致恒定和预定的间隔(70)。
12.根据权利要求11的方法,其中所述间隔(70)大致等于左(L)和右(R)两个图像的拍摄被延迟的间隔(60)。
13.根据权利要求11的方法,其中所述间隔(70)大致等于两个连续的所述左图像(L)或右图像(R)的拍摄之间流逝的时间(65)的一半。
14.根据权利要求11的方法,其中从所述立体视频流(92)读取第一信令数据,第一信令数据指示所述组合帧中的所述两个图像(L,R)中的哪一个已经在相对于另一个图像(R,L)被拍摄的时刻而延迟的时刻被拍摄,并且其中,按照与拍摄所述两个图像(L,R;R,L)相同的时间次序使得左(L)和右(R)两个图像可见。
15.根据权利要求11的方法,其中从所述立体视频流(92)读取第二信令数据,第二信令数据指示所述图像(L,R)的拍摄的同时或不同时,所述第二信令数据用于确定所述立体视频流(92)是否针对与正显示所述流(92)的、特别是线交替或帧交替类型的显示相关联的设备进行了优化。
16.根据权利要求15的方法,其中,如果所述第二信令数据指示所述立体视频流(92)没有针对正显示所述流(92)的显示类型、特别是线交替或帧交替类型进行优化,则所述设备执行以下过程中的一个或多个:通知用户由所述非优化情况所导致的深度或视差误差的可能存在;建议用户以2D模式显示所述立体视频流(92)和/或自动切换为2D模式;通过本地处理所述图像(L,R)校正所述深度或视差误差。
17.一种再现包括组合帧(C)的立体视频流(92)的设备,所述组合帧包括关于用于场景的三维显示的左图像(L)和右图像(R)的像素信息,其特征在于,所述设备包括:适于从所述组合帧(C)中的一个提取所述左图像(L)和右图像(R)并且按照与拍摄所述两个图像(L,R;R,L)相同的时间次序在一时刻使得所述图像(L,R)中的一个可见的装置,所述时刻相对于使得另一个图像(R,L)可见的时刻延迟大致恒定和预定的间隔(70)。
18.根据权利要求17的设备,包括:适于使得所述间隔(70)大致等于所述左图像(L)和右图像(R)的拍摄被延迟的间隔(60)的装置。
19.根据权利要求17的设备,包括:适于使得所述间隔(70)大致等于两个连续的左图像(L)或右图像(R)的拍摄之间流逝的时间(65)的一半的装置。
20.根据权利要求17的设备,包括:适于读取存在于所述立体视频流(92)中的第一信令数据,并且适于按照取决于所述信令数据被读取的时间次序使得所述左(L)图像和右(R)图像可见的装置,第一信令数据指示所述两个图像(L,R)中的哪一个已经在相对于另一个图像(R,L)被拍摄的时刻而延迟的时刻被拍摄。
21.根据权利要求17的设备,包括:适于读取存在于所述立体视频流(92)中的第二信令数据的装置,第二信令数据指示所述图像(L,R)的拍摄的同时或不同时;以及用于确定所述立体视频流(92)是否针对正显示所述流(92)并与所述设备关联的显示类型、特别是线交替或帧交替类型进行优化的装置。
22.根据权利要求21的设备,其中,如果所述第二信令数据指示所述立体视频流(92)没有针对正显示所述流(92)的显示类型、特别是线交替或帧交替类型进行了优化,则所述设备执行以下过程中的一个或多个:通知用户深度或视差误差的可能存在;建议用户以2D模式显示所述立体视频流(92)和/或自动切换为2D模式;通过本地处理所述图像(L,R)校正深度或视差误差。
23.一种包括组合帧(C)的立体视频流(84),所述组合帧包括关于用于场景的三维显示的左图像(L)和右图像(R)的像素信息,其特征在于,所述立体视频流(84)包括信令数据,所述信令数据指示所述两个图像(L,R)中的哪一个已经在相对于另一个图像(R,L)被拍摄的时刻而延迟的时刻被拍摄。
CN201380013377.4A 2012-03-09 2013-03-08 产生、传送和重构立体视频流的方法 Pending CN104205824A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT000208A ITTO20120208A1 (it) 2012-03-09 2012-03-09 Metodo di generazione, trasporto e ricostruzione di un flusso video stereoscopico
ITTO2012A000208 2012-03-09
PCT/IB2013/051865 WO2013132469A1 (en) 2012-03-09 2013-03-08 Method for generating, transporting and reconstructing a stereoscopic video stream

Publications (1)

Publication Number Publication Date
CN104205824A true CN104205824A (zh) 2014-12-10

Family

ID=46028084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380013377.4A Pending CN104205824A (zh) 2012-03-09 2013-03-08 产生、传送和重构立体视频流的方法

Country Status (5)

Country Link
US (1) US20150130897A1 (zh)
EP (1) EP2823640A1 (zh)
CN (1) CN104205824A (zh)
IT (1) ITTO20120208A1 (zh)
WO (1) WO2013132469A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107079193B (zh) * 2014-10-31 2020-12-11 瑞典爱立信有限公司 用于视频同步的方法、服务器***、用户设备和介质
US9894342B2 (en) * 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
WO2018133312A1 (zh) * 2017-01-19 2018-07-26 华为技术有限公司 一种处理的方法及设备
US11729442B2 (en) * 2017-12-29 2023-08-15 Sling Media L.L.C. Multiplexed place shifting device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1172267A (zh) * 1996-07-29 1998-02-04 冯有纲 新型立体视觉图象技术及装置
EP0899969A2 (en) * 1997-08-29 1999-03-03 Mixed Reality Systems Laboratory Inc. 3D image reconstructing apparatus and 3D image capturing apparatus
US6040852A (en) * 1993-12-29 2000-03-21 Leica Microsystems Ag Method and device for the recording and reproduction of stereoscopic video images
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
JP2003199126A (ja) * 2001-12-25 2003-07-11 Canon Inc 画像処理装置およびその方法
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
CN101228798A (zh) * 2005-07-19 2008-07-23 奥林巴斯映像株式会社 三维图像文件、摄像装置、图像再现装置及图像加工装置
CN102111638A (zh) * 2009-12-24 2011-06-29 索尼公司 摄像机***和摄像机控制方法
CN102282855A (zh) * 2009-01-19 2011-12-14 稻叶稔 立体影像摄像显示***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8558830B2 (en) * 2008-12-18 2013-10-15 3D Fusion, Inc. System and method for adaptive scalable dynamic conversion, quality and processing optimization, enhancement, correction, mastering, and other advantageous processing of three dimensional media content
JP5299111B2 (ja) * 2009-06-19 2013-09-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101291071B1 (ko) * 2010-06-08 2013-08-01 주식회사 에스칩스 입체 영상 오류 개선 방법 및 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6040852A (en) * 1993-12-29 2000-03-21 Leica Microsystems Ag Method and device for the recording and reproduction of stereoscopic video images
CN1172267A (zh) * 1996-07-29 1998-02-04 冯有纲 新型立体视觉图象技术及装置
EP0899969A2 (en) * 1997-08-29 1999-03-03 Mixed Reality Systems Laboratory Inc. 3D image reconstructing apparatus and 3D image capturing apparatus
US20020009137A1 (en) * 2000-02-01 2002-01-24 Nelson John E. Three-dimensional video broadcasting system
JP2003199126A (ja) * 2001-12-25 2003-07-11 Canon Inc 画像処理装置およびその方法
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
CN101228798A (zh) * 2005-07-19 2008-07-23 奥林巴斯映像株式会社 三维图像文件、摄像装置、图像再现装置及图像加工装置
CN102282855A (zh) * 2009-01-19 2011-12-14 稻叶稔 立体影像摄像显示***
CN102111638A (zh) * 2009-12-24 2011-06-29 索尼公司 摄像机***和摄像机控制方法

Also Published As

Publication number Publication date
US20150130897A1 (en) 2015-05-14
ITTO20120208A1 (it) 2013-09-10
EP2823640A1 (en) 2015-01-14
WO2013132469A1 (en) 2013-09-12

Similar Documents

Publication Publication Date Title
CN103202021B (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
CN1647546B (zh) 用于处理立体图像流的压缩图像流的方法和***
CN101904176B (zh) 用于立体再现的图像编码方法
EP2537347B1 (en) Apparatus and method for processing video content
US9066077B2 (en) 3D image reproduction device and method capable of selecting 3D mode for 3D image
JP5482254B2 (ja) 受信装置、送信装置、通信システム、表示制御方法、プログラム、及びデータ構造
US8836758B2 (en) Three-dimensional image processing apparatus and method of controlling the same
KR20110088334A (ko) 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
RU2605368C2 (ru) Способ формирования и восстановления стереоскопически совместимого видеопотока и связанные с ним устройства кодирования и декодирования
JP2010503310A (ja) 符号化されたステレオスコピック映像データのファイルフォーマット
KR20110064161A (ko) 3차원 영상에 관한 압축 방법 및 장치, 그리고 3차원 영상 디스플레이 장치 및 그 시스템
JP2008109267A (ja) 立体画像生成装置及び立体画像復号装置
WO2012001606A1 (en) Method for decoding 2d-compatible stereoscopic video flows
CN103262547B (zh) 3d图像数据的转移
US8941718B2 (en) 3D video processing apparatus and 3D video processing method
KR20120127409A (ko) 수신 장치, 송신 장치, 통신 시스템, 수신 장치의 제어 방법, 및 프로그램
US20140002621A1 (en) Video processing device and video processing method
US8780186B2 (en) Stereoscopic image reproduction method in quick search mode and stereoscopic image reproduction apparatus using same
CN104205824A (zh) 产生、传送和重构立体视频流的方法
Coll et al. 3D TV at home: Status, challenges and solutions for delivering a high quality experience
JP5412404B2 (ja) 情報統合装置、情報表示装置、情報記録装置
WO2014037822A1 (en) Method for generating, transmitting and receiving stereoscopic images and relating devices
Broberg Infrastructures for home delivery, interfacing, captioning, and viewing of 3-D content
US20110150355A1 (en) Method and system for dynamic contrast processing for 3d video
KR101556149B1 (ko) 수신 시스템 및 데이터 처리 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20141210