CN102598676B - 立体叠加层偏移创建和编辑 - Google Patents

立体叠加层偏移创建和编辑 Download PDF

Info

Publication number
CN102598676B
CN102598676B CN201080050434.2A CN201080050434A CN102598676B CN 102598676 B CN102598676 B CN 102598676B CN 201080050434 A CN201080050434 A CN 201080050434A CN 102598676 B CN102598676 B CN 102598676B
Authority
CN
China
Prior art keywords
superimposed layer
user
video
display
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080050434.2A
Other languages
English (en)
Other versions
CN102598676A (zh
Inventor
罗伯特·奥波
彼得·艾文蒂
丹尼斯·亚当斯
高岛芳和
约翰·英
汤米·周
乔治·瑞斯
迈克尔·汤普森
吉鲁斯卡·克里沙达瓦拉简
唐·埃克伦德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Corp of America
Sony Pictures Entertainment Inc
Original Assignee
Sony Corp
Sony Corp of America
Sony Pictures Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Corp of America, Sony Pictures Entertainment Inc filed Critical Sony Corp
Publication of CN102598676A publication Critical patent/CN102598676A/zh
Application granted granted Critical
Publication of CN102598676B publication Critical patent/CN102598676B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183On-screen display [OSD] information, e.g. subtitles or menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

调整立体视频中的叠加层定位,包括:接收包括多个叠加层的叠加层数据,每个叠加层具有横轴值、纵轴值以及深度值;接收立体视频并将其作为视频预览显示和立体显示的至少一个显示给用户,每个显示包括来自叠加层数据的一叠加层,其中每个显示中的叠加层的位置是基于叠加层的横轴值、纵轴值以及深度值的,并且其中视频预览显示包括用于调整每个显示中的叠加层的位置的界面;接收来自用户的、与叠加层的深度值有关的输入;以及基于来自用户的输入调整视频预览显示中的叠加层的位置。

Description

立体叠加层偏移创建和编辑
技术领域
本发明涉及用于操作视频内容中的叠加层(overlay)的***,更具体地,涉及操作立体视频的立体叠加层。
背景技术
字幕经常被添加至诸如电视节目或电影的视频中。然而,这些字幕和视频典型地为二维格式。对于立体视频使用二维字幕可能是有问题的。因此,支持立体字幕的工具将为作者提供更好的控制并得到更符合需要的视频序列。
发明内容
本发明的实施例提供了对立体媒体中叠加层定位的调整。
在一个实施例中,公开了调整立体视频中的叠加层定位的方法。该方法包括:接收包括多个叠加层的叠加层数据,每个叠加层具有横轴值、纵轴值以及深度值;接收立体视频并将其作为视频预览显示和立体显示的至少一个显示给用户,每个显示包括来自叠加层数据的一叠加层,其中每个显示中的叠加层的位置是基于叠加层的横轴值、纵轴值以及深度值的,并且其中视频预览显示包括用于调整每个显示中的叠加层的位置的界面;接收来自用户的、与叠加层的深度值有关的输入;以及基于来自用户的输入调整视频预览显示中的叠加层的位置。
在另一实施例中,公开了在立体视频中显示叠加层数据的叠加层定位***。该***包括:视频预览显示区,其配置成将立体视频作为至少一个预览图像显示给用户,该视频预览显示区包括来自叠加层数据的叠加层,其中在至少一个预览图像中的叠加层的位置是基于叠加层的横轴值、纵轴值以及深度值的;以及叠加层调整界面,其配置成基于来自用户的、与叠加层的深度值有关的输入调整在至少一个预览图像中的叠加层的位置。
在又一实施例中,公开了一种非易失性存储介质,存储用于调整在立体视频中的叠加层定位的计算机程序。该计算机程序包括可执行的指令,其使得计算机执行以下的步骤:接收包括多个叠加层的叠加层数据,每个叠加层具有横轴值、纵轴值以及深度值;接收立体视频并将其作为视频预览显示和立体显示的至少一个显示给用户,每个显示包括来自叠加层数据的一叠加层,其中在所述每个显示中的叠加层的位置是基于叠加层的横轴值、纵轴值以及深度值的,并且其中视频预览显示包括用于调整所述每个显示中的叠加层的位置的界面;接收来自用户的、与叠加层的深度值有关的输入;以及基于来自用户的输入调整视频预览显示中的叠加层的位置。
在审阅下面的详细描述和附图之后,本发明的其它特征和优点对于本领域的普通技术人员将变得更加显而易见。
附图说明
图1A示出了按照本发明一个实施例的计算机***和用户。
图1B为功能框图,示出了容纳字幕布置***的计算机***。
图2示出了按照本发明一个实施例的用于定位字幕的***的界面。
图3是示出按照本发明一个实施例的定位字幕技术的流程图。
图4A示出了按照本发明一个实施例的用于定位字幕的***的界面。
图4B图示了按照本发明一个实施例的用于定位字幕的使用效果。
图5是示出按照本发明一个实施例的识别可重新定位的字幕的技术的流程图。
具体实施方式
本文所公开的某些实施例提供了对立体媒体中叠加层的定位。在一个实施例中,叠加层包括图形项和基于文本的项。图形叠加层包括诸如图形字幕和菜单之类的项。基于文本的叠加层包括诸如基于文本或基于字体的字幕之类的项。
在阅读本描述之后,怎样以各种备选实施例以及备选应用来实现本发明将变得明确。然而,尽管本文将描述本发明的各种实施例,应理解的是仅仅通过示例的方式介绍这些实施例,而不是用于限制。这样,对各种备选实施例的详细描述不应该理解为限制本发明的范围或广度。
在立体媒体中,字幕对于其布置可具有x、y以及z分量。x和y分量对应于与标准二维媒体关联的横轴和纵轴。而z分量或深度对应于与x轴和y轴垂直的轴。在传统的二维媒体中不存在此深度分量。立体媒体中字幕的深度位置会极大地影响这种字幕的可读性。例如,深度太浅的字幕可能被感知为更靠近用户的视频或图像埋没。因此,期望提供这样的***,用于确定和适当地设置立体媒体中字幕的深度。
图1A示出了计算机***100、用户102以及立体显示器105。用户102使用计算机***100来将叠加层定位在本文描述的立体媒体数据中。用户102使用立体显示器105来观看通过计算机***100执行的叠加层定位的结果。用户102可使用眼镜(未示出)或其它装置来观看立体显示器105上的立体媒体。计算机***100存储并且运行叠加层定位***190。
图1B是功能框图,示出了容纳叠加层定位***190的计算机***100。控制器110是可编程处理器并且控制计算机***100及其组件的操作。控制器110从存储器120或嵌入式控制器存储器(未示出)加载指令(例如,计算机程序的形式),并且执行这些指令以控制***。在其执行中,控制器110能使作为软件***的叠加层定位***190进行如下操作,诸如,基于用户输入来定位叠加层,自动检测可能需要重新定位的叠加层,或执行本文描述的其它任务。或者,该服务可实现为控制器110或计算机***100中单独的硬件组件。
存储器(memory)120临时存储由计算机***100的其它组件使用的数据。在一个实施例中,存储器120被实现为RAM。在一个实施例中,存储器120也包括长期或永久存储器,诸如闪速存储器和/或ROM。
存储装置(storage)130临时或长期地存储由计算机***100的其它组件使用的数据,诸如用于存储由叠加层定位***190使用的数据。在一个实施例中,存储装置130为硬盘驱动器。
媒体装置140接收可移动的媒体并且从***的媒体中读取数据和/或向***的媒体写入数据。在一个实施例中,例如,媒体装置140是光盘驱动器。
用户接口150包括这样的组件,它们用于接受来自计算机***100的用户的用户输入并将信息呈现给用户。在一个实施例中,用户接口150包括键盘、鼠标、音频扬声器以及显示器。控制器110利用来自用户的输入来调整计算机***100的操作。在本实施例中使用了用户接口控制器。
I/O接口160包括一个或多个I/O端口以连接至相应的I/O装置,诸如外部存储器或辅助装置(例如,立体显示器105,打印机或PDA)。在一个实施例中,I/O接口160的端口包括诸如USB端口、PCMCIA端口、串行端口和/或并行端口这样的端口。在另一个实施例中,I/O接口160包括用于与外部装置无线通信的无线接口。
网络接口170包括有线和/或无线网络连接,诸如支持以太网连接的RJ-45或“Wi-Fi”接口(包括,但不限于802.11)。
计算机***100包括计算机***所通常具有的其它硬件和软件(例如,电源、冷却***、操作***),尽管为了简洁起见没有在图1B中具体示出这些模块。在其它的实施例中,可使用不同的计算机***配置(例如,不同的总线或存储配置或多处理器配置)。
图2示出了用于按照本发明一个实施例的叠加层定位***的界面(interface,接口)200的一种表示形式。具体地,该表示形式是用于字幕定位***的图形用户界面200的示例性截屏。在一个实施例中,界面200在计算机***100上显示给用户。界面200包括视频预览显示区210、字幕事件表230以及字幕偏移图表220。
在一个实施例中,视频预览显示区210能以各种不同的预览模式显示视频和叠加层数据,所述预览模式包括并排模式、上下模式、棋盘模式、仅仅左视频和叠加层数据模式、仅仅右视频和叠加层数据模式以及要求使用具有合适的滤色片的眼镜的3D补色立体模式。因此,例如,并排模式包括设置成彼此邻接的两幅图像。上下模式包括在上下垂直方向设置的两幅图像。3D补色立体模式包括在彼此叠放设置的两幅图像。
在图2所示的实施例中,视频预览显示区210配置为包括左图像区212和右图像区214的并排显示。在一个示例中,立体媒体包括多对图像。可选地,将一对图像中的每个图像交替地显示给用户的一只眼睛或另一只眼睛。然后用户的大脑把分离的图像组合成感知的立体图像。视频预览显示区210显示该一对图像。在呈现给用户之前可修改左图像和右图像的宽高比或其它特性。例如,可压缩图像以适应更小的区域。可选地,可使用图像的固有宽高比。
在适当的场合,左图像和右图像包含相关联的字幕。在显示给用户时,左图像和右图像之内的字幕的相对位置影响着字幕的感知深度。例如,为了增加深度,即,让字幕看起来离用户更远,可移动左图像和右图像中的字幕使它们在各自的图像中互相远离。例如,可将右图像中的字幕向右移动一个像素并且将左图像中的字幕向左移动一个像素。
视频预览显示逐帧可视化地向用户提供立体媒体中字幕位置。可使用图1的立体显示器105来执行立体媒体的实际立体输出。
界面200还包括字幕事件表230。字幕事件表230描述一个或多个字幕事件。在一个实施例中,字幕表示为图像文件或文本文件。字幕事件指的是与何时和怎样显示特定字幕有关的信息集合。例如,字幕事件表230包括字幕事件232。字幕事件232包括事件索引、起始时间(也称作进入时间)、停止时间(也称作退出时间)、被显示字幕的标识(例如,文件名),以及其它的与字幕的显示有关的信息。该其它信息例如可包括裁剪信息、条件显示信息、定位信息、尺寸(sizing)信息以及效果信息。利用字幕事件表230用户可在各字幕事件间导航。在一个实施例中,在特定的字幕事件被选择时,在视频预览显示区210中显示对应于该字幕事件的起始时间的立体帧。
界面200还包括字幕偏移图表220。如上所述,每个字幕能以x轴、y轴以及深度来定位。偏移图表220示出随时间而变化的字幕的深度值。如下所述,可更改字幕的深度位置。对字幕的偏移位置的改变反映在偏移图表220中。对字幕深度的改变也能在视频预览显示区210中的字幕的位置中示出。偏移图表与时间线240对准。
界面200还包括一个或多个字幕轨迹242。字幕轨迹242是字幕事件表230中的字幕事件的视觉表示。字幕轨迹242也与时间线240对准。
界面200还包括视频轨迹250。视频轨迹250表示其中字幕正被调整的立体媒体。视频轨迹250也与时间线240一致。
图3示出了按照本发明的一个实施例的定位叠加层的方法300的流程图。在一个实施例中,可在图1的计算机***100上实现方法300。具体地,可将方法300实现为图1的叠加层定位***190的一部分。
在步骤310,***100接收立体媒体数据。在一个实施例中,可从计算机***100的存储装置130、媒体装置140或网络170中获取立体媒体数据。在传输流(Transport Stream)容器中使用MPEG-2编解码器可对立体媒体进行并排编码。或者,例如,如果在预处理步骤中对媒体进行编码,则可使用运动图像专家组4(MP4)或素材交换格式(MXF)容器。视频媒体的分辨率可以比如是1920×1080或1280×720。媒体的分辨率可用来确定叠加层定位。例如,不允许叠加层位置超过基于媒体分辨率的量。如果包括嵌入式音频,它也能被导入。如果可获得单独的音频,它也能被导入并且被手动地与源视频同步。音频媒体可使用任何格式,包括,但不限于:WAV、BWF、AIFF、FLAC、OGG或MP3。可导入多个源媒体文件,并且与蓝光光盘导航(BDN)字幕文件中的时间码对准。
接下来,在步骤320,计算机***100接收叠加层数据。在一个实施例中,可从计算机***100的存储装置130、媒体装置140、网络170或从另一个源获取叠加层数据。
在一个实施例中,用户通过按下图2的界面200中的按钮(未示出)导入字幕并且选择BDN蓝光字幕文件。该文件具有对字幕图形文件以及它们在时间上的起始和终止位置的引用。***100创建新的字幕轨迹242并且在这些新的轨迹上创建字幕事件。这些事件也表示在字幕事件表230中。在一个实施例中,使用两个轨迹,一个用于左眼而一个用于右眼。它们被自动地缩放和偏移以在并排立体源媒体的左眼图像和右眼图像两者之上合成。如果任何字幕在时间上重叠则创建另外的一对轨迹。
在另一个实施例中,叠加层定位***190允许从应用程序中创建BDN字幕数据而不是从现有的BDN.xml文件中导入叠加层数据。用户可定义通用的投射特性——帧速率和分辨率,并且通过定义单独的特性,诸如起始时间、终止时间以及位置,来生成叠加层图像。在本实施例中,实际的叠加层图像可从现有的图形导入或由操作者通过输入文本、定义字体和尺寸以及诸如字体轮廓和叠加层位置的其它特性来创建。
在一个实施例中,叠加层定位***190包括叠加层调整界面,其配置成基于来自于用户的、与叠加层的深度值有关的输入来调整在至少一个预览图像中的叠加层的位置。
在一个实施例中,仅仅导入来自BDN文件的图形事件,并且忽略文本事件。在另一个实施例中,使用图形事件和文本事件两者。在另一个实施例中,仅仅使用文本事件。
在一个实施例中,在不存在字幕的时间范围中,或在没有BDN源可获得时,可示出可选的占位符图形来代替。如果偏移流被其它字幕或交互式图层使用,它就被用于在这些区中设置深度。
虽然已讨论BDN文件类型,但将意识到的是,也可使用其它表示字幕数据的文件类型。例如,可使用XML文件类型。
接下来,在步骤330,将立体媒体数据和叠加层数据呈现给用户。在一个实施例中,利用图1的计算机***100经由图2的界面200将媒体和诸如字幕的叠加层呈现给用户。例如,界面200被显示在***100的监视器上并且是二维显示。利用***100的音频子***传送音频。在另一个实施例中,利用图1的立体显示器105将媒体和诸如字幕的叠加层呈现给用户。例如,媒体和字幕经由与HDMI(或DVI)输出兼容的视频卡被输出至有立体功能的3D显示器。通过以3D模式进行显示,该内容以立体3D形式被显示出来,并且通过利用字幕的当前偏移值进行字幕的叠加,则在戴上3D眼镜时观看者会看到深度。
在另一个实施例中,可使用***100和监视器105的组合。有利地,通过提供具有2D界面200的监视器和具有媒体和诸如字幕的叠加层的立体视图的独立立体显示器105两者,可提高调整叠加层位置的效率。
在一个实施例中,用户可通过直接操纵(拖动光标或在时间线中点击)或通过输入绝对时间码值或相对时间码值来将回放光标定位在媒体文件中的任何地方。在另一个实施例中,利用输入装置比如键盘或兼容性慢进/快进装置诸如Contour Design公司的ShuttlePro和PreSonus公司的Faderport装置,用户可逐帧向前进或向后退。
在一个实施例中,用户可以正常速度和以全帧速率回放。例如,可使用空格或回车开始回放,并且可使用空格停止(以及倒回),或使用回车暂停在当前的位置。也可对这些使用GUI控件(未示出)。
用户也可以小于全速(例如,0.25x、0.5x,向前或倒退)回放,或以大于1x(例如,2x、4x,向前或倒退)的速度快进播放。在一个示例中,利用键盘上的“JKL”键,或GUI控件,或诸如ShuttlePro的兼容性慢进/快进装置来完成这种操作。
在另一个实施例中,界面200中的GUI按钮会跳至下一个(或前一个)字幕事件。
接下来,在步骤340,计算机***100接收来自用户的布置数据。布置数据也可称为偏移数据。可用各种方式接收字幕布置数据/值。在一个实施例中,每一个字幕事件可具有缺省字幕布置值。或者,用于字幕事件的源文件可存储每个事件的布置值。每个布置值可包括X值、Y值以及深度值。也可利用其它偏移值表示。当暂停时或在回放期间,用户可调整字幕事件的布置值。
在一个实施例中,用户可利用输入装置比如键盘来做相对的调整。例如,指定两个键比如向上键和向下键用于使字幕移入或移出屏幕。可将修饰键(Modifier key)用于更精细或更粗糙的控制。例如,在按向上键时按住移位键(shift),则在每次按键时可使字幕移动更大的距离。
在另一个实施例中,可利用诸如键盘的输入装置提供绝对布置值。例如,可在界面200中示出当前偏移的数字读数,例如,(X值、Y值、深度值)。这些和其它的值可被编辑,以设置绝对布置值。
在另一个实施例中,可使用诸如鼠标滚轮的输入控制设备来调整布置值。例如,远离用户地滚动鼠标滚轮会将字幕推得更深,而朝向用户滚动鼠标滚轮会使得字幕更近。为了鼠标滚轮为深度调整而工作,可能要求将鼠标放置在界面200之上。
在另一个实施例中,如果与机械化的增益调节器一起附加了兼容的控制面,诸如具有内置的人体触敏控制面的PreSonus FaderPort装置,则增益调节器移动至与当前偏移值匹配。在用户触摸增益调节器时,则增益调节器上的用户的运动被记录为新的偏移信息。因此,该触敏动作允许***在检测到用户触摸时开启应用***的记录功能并且在用户触摸释放时解除记录功能。在增益调节器被释放时,使用控制面增益调节器记录的偏移能自动地被平滑。
在另一个实施例中,用户可通过操纵图2的字幕偏移图表220来提供布置数据。图4A示出偏移图表400的一部分的一个视图,其有时被称为包络。横轴表示时间并且可对应图2的时间线240的一部分。纵轴表示诸如深度值的布置值。图表400包括柄(handle)410、412、416以及420。柄表示所记录的布置值。例如,如果用户在时间线中的特定时间对字幕输入绝对布置值,则该值表示为柄。图表400还包括诸如过渡(transition)414和418的过渡。在一个实施例中,字幕偏移值是连续的,即在时间线上的每个点都具有值。可使用光滑的曲线或其它类型的曲线来对在所记录的柄之间的过渡进行插值。
除了这些其它偏移编辑方法以外,用户可直接操作柄点,例如,在时间或值上移动它们、增加新的柄或去除柄。此外,可直接绘制过渡,其带有自动平滑。在一个示例中,通过为另外的场景***时间,利用直接过渡操纵可将剧场剪辑的偏移数据调整至适应于扩展剪辑。过渡数据也能在不同的项目(project)之内或不同的项目之间被剪辑/拷贝/粘贴。
图4B示出了一组预定义的过渡形状430。在一个实施例中,用户可选择形状之一作为图表400中的柄之间的过渡。如图所示,过渡包括保持(hold)曲线432、线性曲线434、快速曲线436、慢速曲线438、尖锐曲线440以及光滑曲线442。每一条曲线都有利地提供不同的视觉用户体验。用户还可定义其它的过渡形状。
作为输入过程的一部分,用户可预览偏移数据并记录偏移数据。在一个实施例中,对应于这两种行为,用户可选择预览模式或记录模式。在预览模式中,忽略输入装置并且使用现有的偏移数据。在记录模式中,输入装置有效并且使用来自输入装置的值来偏移字幕,这些值也被记录下来。在记录时,根据所做调整实时更新3D显示。
在一个实施例中,最小和最大偏移值存储在偏好配置文件中。用户可创建新的配置文件、修改现有的配置文件以及从可用的配置文件中选择。每一个项目可存储来自选定的偏好配置文件的设置。可将偏移调整限制于处于在该范围之内。
除了能够在任意时刻重写偏移值外,可利用″撤消(undo)″和″重做(redo)″命令来返回到先前的状态。可经由诸如键盘的输入装置或经由界面200上的按钮直接输入命令。
虽然讨论的是深度值,同样将意识到的是,也可将所描述的***和方法用于操作X位置和Y位置。例如,使用替身(stand-in)字幕时,用户可在视频的某些部分之上定位字幕。在另一个实施例中,用户可重新定位实际的字幕以避开视频的一部分。可利用输入机制和用户界面来重新定位字幕的X-Y坐标以促成用户偏好。
回到图3,在步骤350,计算机***100产生偏移元数据文件。计算机***可响应于经由诸如键盘的输入装置或经由界面200上的按钮的用户输入而生成文件。例如,在完成经由界面200调整深度的过程之后,用户可选择生成偏移元数据文件。在一个实施例中,偏移元数据文件包括偏移值的流,其中每个偏移值对应于源媒体中的视频的特定帧。如果多个源媒体文件组合至单条时间线,则偏移元数据文件可包括用于每个源媒体的偏移值的流。在另一个实施例中,偏移元数据文件可被包括或嵌入在媒体流中。
可在完成的各个阶段保存用户的在项目上的工作。例如,可保存如界面200所表示的布局。或者,也可保存完成的偏移元数据文件。在任一情况下,保存的项目状态可被加载并且进一步编辑或修改。
在一个实施例中,叠加层定位***190能够识别具有内置人体触敏控制面的、诸如PreSonus公司的Faderport装置的外部控制装置并与之通信。这种触敏动作允许***190在检测到人体触摸时开启应用的记录功能并且在人体触摸释放时解除记录功能。
图5是示出自动地识别可能需要重新定位的诸如字幕的叠加层的方法500的流程图。该方法500可由图1B的计算机***100执行。在一些实施例中,可能期望在叠加层具有比视频的相同区域中的图像对象更小的深度值时重新定位叠加层。在这种情况下,叠加层可被图像对象埋没或视觉遮挡。在一个实施例中,方法500提供了对这种深度问题的自动检测。
在步骤510,计算机***100接收立体媒体数据。媒体数据代表视频。在步骤520,计算机***100接收叠加层数据。叠加层数据包括字幕的偏移值。
接下来,在步骤530,计算机***100将视频数据的偏移信息与叠加层的偏移信息相比较。例如,***能确定叠加层的深度值是大于、小于或等于在该叠加层区域的视频数据的深度值。在一个实施例中,可利用立体对应功能来确定源视频的偏移值。
接下来,在步骤540,计算机***100基于该比较来识别一个或多个叠加层。如上所述,计算机***可识别在相同的区域比视频对象更深的叠加层的集合,即,叠加层的深度值小于在相同区域的视频对象的深度值。也可使用其它的识别准则。例如,***可识别那些叠加层,其中叠加层的深度值处于相同区域中视频对象的深度值的预定阈值量之内。
接下来,在步骤550,***100输出一个或多个识别出的叠加层事件给用户。例如,***可在叠加层界面200中生成窗口,列出识别的叠加层。可选地,界面200可放置视觉指示符,比如在事件表230中的事件旁放置红旗。也可使用其它的通知方案。
在另一个实施例中,***100可自动地调整识别的叠加层事件的偏移值。例如,***100可如此改变识别的叠加层的偏移值,以便识别的叠加层事件的深度大于或等于在相同区域的视频对象的深度。这种自动处理方法可有利地减少由用户手工执行的重新定位的量。
上面公开了的对各实施例的描述,以使本领域的任何技术人员能够制造或使用本发明。对这些实施例的各种修改对于本领域技术人员将是显而易见的,并且本文描述的一般原则可应用于其它的实施例,而不背离本发明的精神或范围。因此,附加的实施例和变化也在本发明的范围之内。另外,应该理解的是,本文的描述和附图代表着本发明主题的广泛和深入思考。还应该理解的是,本发明的范围完全包含了对于本领域技术人员显而易见的其它实施例,并且因此本发明的范围除了所附的权利要求之外不受任何限制。

Claims (20)

1.一种调整立体视频中的叠加层定位的方法,所述方法包括:
接收包括多个叠加层的叠加层数据,每一个叠加层具有横轴值、纵轴值以及深度值;
接收所述立体视频并将其作为视频预览显示和立体显示的至少一个显示给用户,每个显示包括来自所述叠加层数据的一叠加层,
其中所述每个显示中的所述叠加层的位置是基于所述叠加层的横轴值、纵轴值以及深度值的,并且
其中所述视频预览显示包括用于调整所述每个显示中的所述叠加层的位置的界面;
接收来自所述用户的、与所述叠加层的所述深度值有关的输入;并且
基于来自所述用户的所述输入在所述视频预览显示中调整所述叠加层的所述位置,并且
其中来自所述用户的、与所述叠加层的所述深度值有关的输入包括预定义的过渡形状,所述过渡形状表示从立体视频中的一个帧中的叠加层的位置到后续帧中的叠加层的位置的变化曲线。
2.根据权利要求1所述的方法,其中所述叠加层数据包括字幕数据,并且所述叠加层包括字幕。
3.根据权利要求1所述的方法,还包括:
基于所述叠加层的位置的所述调整,为所述叠加层确定更新的横轴值、更新的纵轴值以及更新的深度值;以及
生成包括所述叠加层的所述更新的横轴值、所述更新的纵轴值以及所述更新的深度值的输出文件。
4.根据权利要求1所述的方法,其中,以并排模式、上下模式、棋盘模式、仅仅左视频和叠加层数据模式、仅仅右视频和叠加层数据模式以及3D补色立体模式的至少一种模式显示所述视频预览显示。
5.根据权利要求4所述的方法,其中,所述并排模式将包括用于左眼的第一叠加层的第一图像邻接于包括用于右眼的第二叠加层的第二图像而显示。
6.根据权利要求5所述的方法,其中,为所述第一图像中的所述第一叠加层定义第一位置,并且为所述第二图像中的所述第二叠加层定义第二位置。
7.根据权利要求6所述的方法,其中,在向用户显示时,所述第一位置和所述第二位置的相对位置提供所述叠加层的感知深度。
8.根据权利要求1所述的方法,其中,来自所述用户的、与所述叠加层的所述深度值有关的输入包括:
操作包括Faderport装置的输入控制设备。
9.根据权利要求1所述的方法,其中,叠加层数据包括BDN蓝光字幕文件。
10.根据权利要求1所述的方法,其中,在叠加层定位***内创建叠加层数据。
11.一种叠加层定位***,用于显示立体视频中的叠加层数据,所述***包括:
视频预览显示区,其配置成将所述立体视频作为至少一个预览图像显示给用户,所述视频预览显示区包括来自所述叠加层数据的叠加层,
其中在所述至少一个预览图像中的所述叠加层的位置是基于所述叠加层的横轴值、纵轴值以及深度值的;以及,
叠加层调整界面,其配置成基于来自所述用户的、与所述叠加层的深度值有关的输入来调整在所述至少一个预览图像中的所述叠加层的位置,并且
其中来自所述用户的、与所述叠加层的所述深度值有关的输入包括预定义的过渡形状,所述过渡形状表示从立体视频中的一个帧中的叠加层的位置到后续帧中的叠加层的位置的变化曲线。
12.根据权利要求11所述的叠加层定位***,还包括:
立体显示区,其配置成显示具有经过所述用户调整的所述叠加层的所述立体视频。
13.根据权利要求11所述的叠加层定位***,还包括:
叠加层事件表,其包括至少一个叠加层事件,该至少一个叠加层事件描述何时以及怎样在所述视频预览显示区域中显示所述叠加层。
14.根据权利要求13所述的叠加层定位***,其中,所述至少一个叠加层事件包括下列内容中的至少一个:
事件索引、起始时间、停止时间、所显示的所述叠加层的标识符,以及与所述叠加层的显示有关的其它信息。
15.根据权利要求14所述的叠加层定位***,其中所述其他信息包括下列信息中的至少一个:
裁剪信息、条件显示信息、定位信息、尺寸信息以及效果信息。
16.根据权利要求11所述的叠加层定位***,还包括:
叠加层偏移图表,其配置成显示随时间变化的所述叠加层的所述深度值。
17.根据权利要求16所述的叠加层定位***,其中所述叠加层调整界面包括:
图表调整模块,其配置成允许通过操作所述叠加层偏移图表来调整所述叠加层的所述位置。
18.一种用于调整立体视频中的叠加层定位的设备,所述设备包括:
用于接收包括多个叠加层的叠加层数据的装置,每个叠加层具有横轴值、纵轴值以及深度值;
用于接收所述立体视频并将其作为视频预览显示和立体显示的至少一个显示给用户的装置,每个显示包括来自所述叠加层数据的一叠加层,
其中所述每个显示中的叠加层的位置是基于所述叠加层的所述横轴值、所述纵轴值以及所述深度值的,以及
其中所述视频预览显示包括用于调整所述每个显示中的所述叠加层的所述位置的界面;
用于接收来自所述用户的、与所述叠加层的所述深度值有关的输入的装置;以及
用于基于来自所述用户的所述输入调整所述视频预览显示中的所述叠加层的所述位置的装置,并且
其中来自所述用户的、与所述叠加层的所述深度值有关的输入包括预定义的过渡形状,所述过渡形状表示从立体视频中的一个帧中的叠加层的位置到后续帧中的叠加层的位置的变化曲线。
19.根据权利要求18所述的设备,其中所述叠加层数据包括字幕数据,并且所述叠加层包括字幕。
20.根据权利要求18所述的设备,其中以并排模式、上下模式、棋盘模式、仅仅左视频和叠加层数据模式、仅仅右视频和叠加层数据模式以及3D补色立体模式的至少一个模式显示所述视频预览显示。
CN201080050434.2A 2009-11-06 2010-11-02 立体叠加层偏移创建和编辑 Active CN102598676B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US25902109P 2009-11-06 2009-11-06
US61/259,021 2009-11-06
US28512009P 2009-12-09 2009-12-09
US61/285,120 2009-12-09
US28548509P 2009-12-10 2009-12-10
US61/285,485 2009-12-10
PCT/US2010/055168 WO2011056803A2 (en) 2009-11-06 2010-11-02 Stereoscopic overlay offset creation and editing

Publications (2)

Publication Number Publication Date
CN102598676A CN102598676A (zh) 2012-07-18
CN102598676B true CN102598676B (zh) 2015-06-03

Family

ID=43970714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080050434.2A Active CN102598676B (zh) 2009-11-06 2010-11-02 立体叠加层偏移创建和编辑

Country Status (5)

Country Link
US (1) US9030533B2 (zh)
EP (1) EP2484120B1 (zh)
JP (1) JP5564117B2 (zh)
CN (1) CN102598676B (zh)
WO (1) WO2011056803A2 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0922046A2 (pt) * 2008-11-18 2019-09-24 Panasonic Corp dispositivo de reprodução, método de reprodução e programa para reprodução estereoscópica
US10553001B2 (en) * 2009-11-20 2020-02-04 Adobe Inc. Master page overlay
JP2013520925A (ja) * 2010-02-25 2013-06-06 トムソン ライセンシング 視差推定を用いる、視差の時間的変動を制限する2眼式立体字幕付け
KR20110115103A (ko) 2010-04-14 2011-10-20 삼성전자주식회사 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
US20120300034A1 (en) * 2011-05-23 2012-11-29 Qualcomm Incorporated Interactive user interface for stereoscopic effect adjustment
EP2627093A3 (en) * 2012-02-13 2013-10-02 Thomson Licensing Method and device for inserting a 3D graphics animation in a 3D stereo content
US20140169760A1 (en) * 2012-12-14 2014-06-19 Rembrandt 3D Corp Media Player with Recorder Optimization
CN103873842A (zh) * 2012-12-15 2014-06-18 联想(北京)有限公司 一种显示方法和装置
US9654757B2 (en) * 2013-03-01 2017-05-16 Nokia Technologies Oy Method, apparatus, and computer program product for including device playback preferences in multimedia metadata
US9436358B2 (en) * 2013-03-07 2016-09-06 Cyberlink Corp. Systems and methods for editing three-dimensional video
BR102013021423B1 (pt) * 2013-08-22 2021-01-19 Roberto Massaru Amemiya filmadora e televisão produtoras de imagem real que utilizam dispositivos de fltro de raios paralelos formados por múltiplos cristais líquidos emparelhados; processador de impulsos elétricos com parâmetros da imagem para obtenção de projeção de imagem real e controle de distância à frente e atrás da superfície da televisão; introdução e controle de imagem tridimensional no campo de projeção da imagem real; processos para obtenção desses dispositivos
CN104575547B (zh) * 2013-10-17 2017-12-22 深圳市云帆世纪科技有限公司 多媒体文件制作方法、播放方法及***
BR112017028445A2 (pt) * 2015-06-30 2018-08-28 Thomson Licensing método e aparelho para controlar uma reprodução de mídia usando um único controle
US10089793B2 (en) * 2016-09-02 2018-10-02 Russell Holmes Systems and methods for providing real-time composite video from multiple source devices featuring augmented reality elements
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0905988A1 (en) * 1997-09-30 1999-03-31 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus
CN1795683A (zh) * 2003-05-28 2006-06-28 三洋电机株式会社 立体视频显示装置、文本数据处理装置、程序及存储介质
CN101013507A (zh) * 2006-01-30 2007-08-08 日本电气株式会社 三维处理装置、信息终端、计算机程序和三维处理方法
US20080226199A1 (en) * 2007-03-16 2008-09-18 Apple Inc. Parameter setting superimposed upon an image

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5784097A (en) 1995-03-29 1998-07-21 Sanyo Electric Co., Ltd. Three-dimensional image display device
JPH09172654A (ja) 1995-10-19 1997-06-30 Sony Corp 立体画像編集装置
JPH11234586A (ja) * 1998-02-13 1999-08-27 Toshiba Corp 副映像表示装置
US6563143B2 (en) * 1999-07-29 2003-05-13 Stmicroelectronics, Inc. CMOS circuit of GaAs/Ge on Si substrate
JP2002041014A (ja) 2000-05-19 2002-02-08 Sony Computer Entertainment Inc 表示制御プログラムが記憶された記憶媒体、エンタテインメント装置および表示制御プログラム
JP2003037792A (ja) * 2001-07-25 2003-02-07 Toshiba Corp データ再生装置及びデータ再生方法
JP4072674B2 (ja) * 2002-09-06 2008-04-09 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
US7336277B1 (en) * 2003-04-17 2008-02-26 Nvidia Corporation Per-pixel output luminosity compensation
US7439542B2 (en) * 2004-10-05 2008-10-21 International Business Machines Corporation Hybrid orientation CMOS with partial insulation process
FR2888990B1 (fr) * 2005-07-22 2007-09-07 Commissariat Energie Atomique Dispositif microelectronique dote de transistors surmontes d'une couche piezoelectrique
JP4037884B2 (ja) 2005-10-25 2008-01-23 株式会社オリエンタルランド 字幕表示システム
JP4349359B2 (ja) 2005-11-25 2009-10-21 ソニー株式会社 画像表示制御装置および方法
CN101682793B (zh) 2006-10-11 2012-09-26 皇家飞利浦电子股份有限公司 创建三维图形数据
KR100884664B1 (ko) 2007-05-30 2009-02-18 주식회사 휴맥스 디지털 방송 수신기에서의 서브타이틀 표시 장치 및 방법
PL2362671T3 (pl) * 2008-07-25 2014-05-30 Koninklijke Philips Nv Obsługa napisów przez wyświetlacz 3D
US8436918B2 (en) * 2009-02-27 2013-05-07 Deluxe Laboratories, Inc. Systems, apparatus and methods for subtitling for stereoscopic content
US8331611B2 (en) * 2009-07-13 2012-12-11 Raytheon Company Overlay information over video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0905988A1 (en) * 1997-09-30 1999-03-31 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus
CN1795683A (zh) * 2003-05-28 2006-06-28 三洋电机株式会社 立体视频显示装置、文本数据处理装置、程序及存储介质
CN101013507A (zh) * 2006-01-30 2007-08-08 日本电气株式会社 三维处理装置、信息终端、计算机程序和三维处理方法
US20080226199A1 (en) * 2007-03-16 2008-09-18 Apple Inc. Parameter setting superimposed upon an image

Also Published As

Publication number Publication date
EP2484120B1 (en) 2018-04-11
US20110109730A1 (en) 2011-05-12
US9030533B2 (en) 2015-05-12
EP2484120A2 (en) 2012-08-08
JP5564117B2 (ja) 2014-07-30
WO2011056803A2 (en) 2011-05-12
JP2013510511A (ja) 2013-03-21
EP2484120A4 (en) 2013-08-21
WO2011056803A3 (en) 2011-11-17
CN102598676A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
CN102598676B (zh) 立体叠加层偏移创建和编辑
US8091039B2 (en) Authoring interface which distributes composited elements about the display
US11074940B2 (en) Interface apparatus and recording apparatus
US10735361B2 (en) Scripted digital media message generation
US8631047B2 (en) Editing 3D video
JPWO2007091512A1 (ja) 要約情報生成システム、要約情報生成方法、及び、要約情報を用いたコンテンツ配信システム
US20100156893A1 (en) Information visualization device and information visualization method
US11070724B2 (en) Image processing apparatus and method
MX2012009888A (es) Subtitulado para imagenes estereoscopicas.
US8819558B2 (en) Edited information provision device, edited information provision method, program, and recording medium
US9646009B2 (en) Method and apparatus for generating a visual representation of object timelines in a multimedia user interface
CN113811843B (zh) 媒体管理***
US11308670B2 (en) Image processing apparatus and method
CN103503445A (zh) 立体三维视频信息创建方法和装置及其显示方法和装置
KR20140051115A (ko) 미디어 파일들의 이벤트의 로그
KR102648288B1 (ko) 편집 환경에서 다수의 미디어 요소들을 갖는 미디어 콘텐츠를 제시하기 위한 방법들 및 시스템들
US20210295875A1 (en) Touch panel based video editing
KR20230096677A (ko) 합성 영상 콘텐츠 제작을 위한 ar 효과 저작 장치
JP2012137566A (ja) 描写データ記録再生プログラムおよび描写データ記録再生装置ならびに描写データ記録再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant