CN101512553A - 用于虚拟内容安置的***和方法 - Google Patents
用于虚拟内容安置的***和方法 Download PDFInfo
- Publication number
- CN101512553A CN101512553A CNA2007800334481A CN200780033448A CN101512553A CN 101512553 A CN101512553 A CN 101512553A CN A2007800334481 A CNA2007800334481 A CN A2007800334481A CN 200780033448 A CN200780033448 A CN 200780033448A CN 101512553 A CN101512553 A CN 101512553A
- Authority
- CN
- China
- Prior art keywords
- artwork
- video
- container
- original video
- version
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000007795 chemical reaction product Substances 0.000 claims abstract description 20
- 238000002513 implantation Methods 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 30
- 230000004048 modification Effects 0.000 claims description 26
- 238000012986 modification Methods 0.000 claims description 26
- 230000008859 change Effects 0.000 claims description 25
- 239000003550 marker Substances 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 abstract description 2
- 238000000844 transformation Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 31
- 230000000007 visual effect Effects 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000000047 product Substances 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 238000010521 absorption reaction Methods 0.000 description 7
- 238000009877 rendering Methods 0.000 description 7
- 239000007943 implant Substances 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- CDBYLPFSWZWCQE-UHFFFAOYSA-L Sodium Carbonate Chemical compound [Na+].[Na+].[O-]C([O-])=O CDBYLPFSWZWCQE-UHFFFAOYSA-L 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004087 circulation Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007598 dipping method Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 208000037805 labour Diseases 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/254—Management at additional data server, e.g. shopping server, rights management server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
一种在多个阶段中将艺术品嵌入视频中的设备和方法。最初,在原始视频内识别并且标记适于艺术品安置的段,并且在其中植入容器以确定未来艺术品对象的适当位置和视频变换。然后,艺术品提供器进行试验,针对每个容器发送艺术品并且观看安置在该视频内的艺术品,直到批准安置当前艺术品。最后,渲染并且针对分送器改动包括嵌入在原始视频内的选择的艺术品的最终版本,并且按传统方式分送和观看终端产品。容器植入是相对费力的并且因此昂贵,但是成本随后可以在相同容器内的不同艺术品安置的许多会话上进行分配。典型应用是广告、艺术和娱乐。
Description
技术领域
本发明涉及视频中的虚拟内容安置,具体地讲,涉及离线虚拟内容安置。
背景技术
虚拟内容安置是一种主要用于广告的视频技术,用于通过加入图像、消息、标语或标记以使它们看来起是所显示的原始图像的一部分,来改变视频图像。为了看起来逼真,虚拟内容安置必须精确地考虑由于拍摄原始视频的摄像机的位置和焦距的改变而导致的背景物件的位置、尺寸和透视的改变。如果特意地获取原始视频来支持虚拟内容安置,则原始拍摄的场景可以包括用于帮助内容安置的特殊的可用视觉识别的区域或标记。在其它情况下,恰巧存在于拍摄的场景中的可用视觉识别的区域或者对象被用于内容安置处理。
针对虚拟内容安置存在两种基本情景:实时和离线。在实时虚拟内容安置中,通常在体育竞赛的现场直播期间,存在确定可用视觉识别的区域和点的准备阶段,这将用于圈起(enclose)产品安置区域并且用于识别动态变化的放大率和透视。总的来讲,实时虚拟内容安置受益于并且可以取决于具有诸如网球场的可用视觉识别的静态竞技场。在离线情况下,背景可以从一个场景改变成另一个场景;因此,逐段地对现有视频进行分析以确定持续时间、视觉特征和情节足以用于产品安置的段;然后,基于图像处理技术并且由有经验的人类操作员的人工辅助进行支持的自动化工具被用来进行段选择和内容安置。尽管在针对原始段进行匹配和调整安置的内容的过程中这些人工过程提供了高质量,但是由于相关的人力劳动所以这些人工过程的成本相对较高。
虚拟内容安置的成本通常由广告主承担。在分送给非常大量的观众的视频中,不管是运动竞赛的实时广播还是广播的电影或者点播视频,广告主都能够承担得起虚拟内容安置的成本。然而,当视频内容到达相对少量的观众时,虚拟内容安置变得在经济上不可行。
公共数据网络(例如,互联网和移动网)引入了视频分送的全新领域。现在,许多业余摄影师拍摄视频并且经由商业和非商业频道共享它们;许多专业视频制作者利用互联网分送和推销新的和存档的内容;并且越来越多的视频内容经由蜂窝电话被观看。通常,这些内容代表广告主的机会。然而,在这些情况下离线虚拟内容安置通常成本太高,这是因为观众的数目可能太小或者无法预测。
在广告主之间以及在时间上的成本分配应用于一些低成本广告技术中,诸如横幅、文本广告、前/后角色以及入流(in-stream),这能够容易地实现显示独立于视频内容的变化的广告内容。即使当呈送相对少量的观众时,相关的成本分配仍可以承担得起广告,这是因为改变进行广告的消息容易并且整体制造成本低;然而,观众通常并不喜欢这些广告方法。离线虚拟内容安置可以为广告主和观众提供更加有吸引力的解决方案,但是不幸的是,目前的内容安置技术使特定广告内容适应于特定视频段,并且不支持广告主之间的成本分配或者随时间改变的广告。
如果针对内容安置的成本分配变得可行,则非广告应用也能承担得起离线虚拟内容安置;例如,业余或者专业视频拍摄者能够利用虚拟内容安置作为他们的视频的特殊效果,从而加入艺术或娱乐效果。
因此,需要支持在多个广告主之间的成本分配和/或随时间改变的广告内容的离线虚拟内容安置的***和功能,并且具有这种***和功能是有利的。
发明内容
本发明寻求提供用于支持在同一原始视频内的多个内容安置会话的离线虚拟内容安置的***和功能。
根据第一方面,本发明的某些实施例将一个或更多个容器植入视频中。在本发明的上下文中,“容器”是选择的视频段所特有的一组计算机可执行视频处理命令,所述命令用于指示可由软件和/或硬件实现的视频渲染处理器接收视频段和兼容艺术品(artwork),并且自动将该艺术品安置到该视频段内从而使得该艺术品看上去成为视频的一部分,就好像当拍摄该视频时该艺术品就存在于原始场景内一样。应该注意,“视频”包括由于诸如运动对象、运动摄像机、改变的光照和/或摄像机焦距的改变等的变化而彼此不同的多个帧,并且正是容器指示视频渲染处理器安置艺术品从而使得艺术品经历与它的静态或运动背景相似的变换。换言之,在容器的命令之下,根据安置有该艺术品的选择的视频段,安置的艺术品被“动画化”。容器因此是进行艺术品安置的通用手段,可以在接收到用于安置的预期艺术品之前创建该容器。优点在于:容器可以重用于自动地且因此经济地完成的艺术品安置的多个实例。存在二维(2D)容器和三维(3D)容器,其中,该二维容器适于安置诸如告示牌或虚拟TV屏幕的二维艺术品,而该三维容器适于安置诸如汽车或者饮料罐的三维艺术品对象。“艺术品”或者可与之互换的“内容”是期望安置到视频内的视觉多媒体对象;它可以是二维或三维的并且可以是静态的(例如,静止图像或者3D模型)或者动态的(例如,2D视频剪辑或运动3D对象)。安置在视频内的艺术品也可以称作“嵌入的艺术品”或者“嵌入的内容”。“将艺术品安置在容器中”的概念例示了渲染处理器的技术操作,在称为“容器”的一组命令下,该操作将艺术品嵌入在包括该容器的对应视频段内从而使其显现为拍摄的原始视频的一部分。
根据可选的第二方面,最初在每个容器内安置一虚拟物(dummy)。在本发明的上下文中,“虚拟物”是符合对应于目标容器的艺术品规格并且具有不同的视觉外观的任意艺术品。容器内的虚拟物安置甚至在接收到要安置的实际关注艺术品之前,就产生了对应视频段的“演示版本”用以可视地识别在该视频段内可用于艺术品安置的空间的位置、尺寸和朝向。例如,虚拟物可以是与众不同的色斑或者具有与众不同的徽标或者利用与众不同的颜色、图案或框进行加亮的示例性艺术品。
根据第三方面,本发明的优选实施例提供允许艺术品提供器将其选择的艺术品安置在视频内而不需要用于内容安置的工具和技能和/或不需要花费传统的离线内容安置所需的时间和精力的***和方法。这是通过将包括嵌入的艺术品(可以是虚拟物)的视频的修改版本呈现给艺术品提供器并且允许艺术品提供器提供被自动且立即安置在各容器内替代先前嵌入的艺术品的各个艺术品来实现的。这向艺术品提供器提供了虚拟艺术品安置的交互体验,而不涉及关联的复杂度和劳动,这已经在容器植入阶段被解决。
为了在针对艺术品安置进行反复试验的过程中节省带宽和时间,与原始视频相比,通过排除部分原始视频(优先排除不包括容器的部分)、和/或应用低于原始视频的分辨率、和/或减小色彩空间、和/或应用额外视频压缩,可选择进一步对演示版本和/或修改视频进行压缩。在极端情况下,压缩的演示/修改版本能够被缩减到多个静止图像,每个静止图像显示代表标记的视频段的所选帧,显示嵌入在其中的艺术品(在演示的情况下可以是虚拟物)。
修改视频被呈现给艺术品提供器,艺术品提供器批准将它发表或者发送一些其它艺术品以替代当前艺术品。由艺术品提供器提供的替代艺术品可以与先前艺术品完全不同,或者它可以是先前艺术品的修改版本,例如剪切或旋转的版本或者仅仅是影响如何显示艺术品的选项的改变。当艺术品提供器批准了修改的视频版本时,通过将当前艺术品安置在原始(即非压缩)视频内的各个容器内,完成最终版本。针对选择的分送器可选择进一步对最终版本进行定制,并且将获得的终端产品发送到所选择的分送器以分送到终端用户。
相同的演示可优选地但并非必须被发送到多个艺术品提供器,该多个艺术品提供器将它们自身的艺术品安置在各容器内,直到达到它们各自的最终版本。另外或者另选地,一个艺术品提供器能够利用这里描述的***和过程来形成多个不同版本,例如用于对不同产品进行广告。这在多个艺术品安置情况上分配了段选择和标记以及容器植入的相对昂贵动作的成本,这是本发明的优选实施例的有利方面。替代将完全相同的演示发送到多个艺术品提供器,例如通过选择带有预期艺术品提供器的标识的虚拟物或者选择利用由预期艺术品提供器提供的艺术品的虚拟物,能够针对特定艺术品提供器定制演示版本。在一些情况下,通过利用由艺术品提供器发送的艺术品针对该艺术品提供器定制的演示可以足够好从而不需要进行另外的改变,由此提供了最终版本的基础。在其它情况下,将需要反复进行多次艺术品安置,直到艺术品提供器满意并且批准当前嵌入的艺术品用于最终版本。
采用以上方法的服务中心优选包括多个功能单元:容器植入器单元,用于获得原始视频,选择并标记用于嵌入内容的段,并且在选择的段内植入容器;和渲染器单元,用于通过在容器内安置艺术品而产生修改版本。渲染器单元还用于产生最终版本,其中,最新艺术品被嵌入在原始视频内。产生器单元最终使内容适应所选择的分送器,并且将终端产品发送到分送器。
因此,根据本发明的优选实施例,提供了一种用于在视频中嵌入艺术品的方法、服务中心和软件产品,该方法从通过获得原始视频准备用于安置的原始视频开始,对原始视频的段进行标记并且在标记的段内植入容器。这提供了可重用容器,该可重用容器能够被利用多次以在标记的段内安置内容。通过根据容器规格选择与容器匹配的艺术品,然后自动地将选择的艺术品安置在容器内,实现每个这种内容安置,这有效地渲染了可视地显示根据标记的段而动画化的艺术品的修改视频段。容器内艺术品安置的这些重复会话能够用于两个目的:(1)允许艺术品提供器针对标记的段交互式地选择并且改动该艺术品;和(2)允许不同的艺术品提供器(或者相同艺术品提供器在另一个时间)基于相同原始视频产生不同的版本,例如用于对不同产品进行广告。
可选择的是,在第一次反复中,由服务中心进行控制而没有艺术品提供器的交互参与,嵌入的艺术品可以是虚拟物,在这种情况下,修改段形成演示的一部分以向预期艺术品提供器给出在原始视频场景内显示的期望艺术品的尺寸和形状的一般印象。以后的版本显示由艺术品提供器提供的并且针对关于是否批准当前艺术品或者用另一个艺术品替代它的艺术品提供器的决定而呈现的嵌入艺术品。
通常,对原始视频内的超过一个的段进行标记以容纳容器。另外,可以在选择的段内植入超过一个的容器。因此,在许多实际情况下,修改视频包括安置在多个视频段内的多个容器内的多个艺术品。
与原始视频相比,通过利用诸如排除原始视频的至少一个部分、利用代表性静止图像表示视频段、应用低于原始视频的分辨率、减小色彩空间或者应用额外视频压缩的技术,能够进一步压缩演示版本和/或修改版本。
当艺术品提供器批准修改的视频时,产生最终版本,其中,所有当前艺术品被嵌入在各容器内。最终版本优选是通过标准视频播放器可观看的传统视频。例如,如果在移动电话屏幕上观看视频的话,通过减小尺寸和色彩空间以及改变该视频的高宽比,有时候可以将最终版本进一步变换成适于特定分送器的终端产品。
附图说明
结合附图基于下面的详细描述将更加全面地明白和理解本发明,在附图中:
图1是描述根据本发明优选实施例的***的简化框图。
图2是描述图1的***内的数据流的简化流程图。
图3是描述图1的***的操作的简化流程图。
图4是二维容器的简化框图。
图5是三维容器的简化框图。
图6是描述段选择、容器植入和艺术品规格产生的简化流程图。
图7是描述三维容器植入的简化流程图。
图8是描述二维容器中的虚拟物安置的简化流程图。
图9是描述2D艺术品的规格的简化框图。
图10是描述3D艺术品的规格的简化框图。
图11是2D艺术品的简化框图。
图12是3D艺术品的简化框图。
图13是艺术品安置选项的简化框图。
图14是描述艺术品安置的简化流程图。
图15是描述渲染处理的简化流程图。
图16A到16C是描述视频帧的原始版本、演示版本和修改版本的示意性展示。
图17是示出根据本发明优选实施例的虚拟内容安置的简化流程图。
具体实施方式
现在参照图1,图1描述了根据本发明优选实施例的***100。
服务中心160是计算机或计算机***,用于向一个或更多艺术品提供器118提供将艺术品安置到由一个或更多视频提供器114提供的视频中的服务。然后,包括嵌入的艺术品的最终视频被发送到一个或更多分送器122,这些分送器122将最终视频分送到多个终端用户130。诸如互联网的网络150将服务中心160与视频提供器114、艺术品提供器118和分送器122连接,而可以与网络150相同或者不同的网络152(例如,它可以是用于将视频分送到移动电话的蜂窝网络)用于将内容从分送器122发送到终端用户130。
视频提供器114是商业或非商业实体的计算机,其已经生成或者以其它方式拥有视频并且愿意提供它的视频用于虚拟艺术品安置。艺术品提供器118是商业或非商业实体的计算机,其已经生成或者以其它方式拥有艺术品并且愿意将该艺术品安置到视频中。分送器122是商业或者非商业实体的计算机,其运行对终端用户130的视频分送操作。终端用户130是个人终端,其能够经由网络152从分送器122接收视频并且显示该视频。
服务中心160包括三个主要逻辑单元:容器植入器162、渲染器164和生成器166。这些逻辑单元能够被实现为为服务中心160服务的一个或更多计算机的硬件单元和软件模块的任何组合。容器植入器162用于选择并标记适合艺术品安置的视频段,并且将一个容器(或者多个容器)植入每个这种段中。渲染器164用于将视频、它的容器和艺术品组合成包括嵌入艺术品的修改视频,并且提供这种修改视频的完整或者压缩版本以供预览或观看。“修改视频”是传统上可观看的视频,它包括已经安置在其中的嵌入艺术品。视频的“压缩版本”用来减小下面描述的艺术品安置处理期间的带宽需要、通信时间、和/或观看时间,可以跳过未被选择并被标记用于艺术品安置的视频部分,减小图像分辨率,利用额外视频压缩,应用减小的色彩空间等。在极端情况下,可由静止图像的集合表示压缩版本,每个静止图像显示代表标记的视频段的选择帧。利用“额外视频压缩”是指:显著降低图像质量的压缩水平还足以用于预览目的。生成器166根据由分送器122定义的特征,改动由渲染器164生成的最终版本,并且将它发送到分送器122,例如,如果原始视频具有高分辨率并且分送器122将视频内容分送到移动电话130,则生成器166可以根据移动电话屏幕的特征减小终端产品的分辨率;另选地,当服务中心160与分送器122达成一致时,生成器166可以向分送器122提供全分辨率终端产品,然后由分送器122针对所需特征(例如移动电话屏幕的所需特征)进行改动。
数据流
现在参照图2,图2描述了在图1的优选实施例内流动的数据。在该附图中,矩形框表示图1的单元或模块,而圆角框表示在这些单元或模块之间移动的数据实体。
因此,原始视频200是由视频提供器114提供给服务中心160的容器植入器162以供艺术品安置的原始视频。然后,人类操作员辅助容器植入器162来识别并标记适于艺术品安置的视频段,在每个这种段中植入一个或更多容器,并且生成适合每个容器的艺术品的规格。然后,得到的容器和规格204被发送到渲染器164。
可任选的是,在一些优选实施例中,渲染器164在每个容器内放置符合容器规格的对应的可进行视觉区分的虚拟物并且生成演示版本,该演示版本显示嵌入了虚拟物的原始视频或者部分原始视频。考虑到效率和带宽,可以通过降低分辨率和/或应用额外视频压缩,减小色彩空间和/或跳过不包括容器的一些视频部分对演示进行压缩,或者可以通过静止图像的集合来表示演示,每个静止图像显示代表标记的视频段的所选帧。然后,渲染器164将容器和规格204中的规格以及演示封装到演示和规格208中,然后演示和规格208被发送到艺术品提供器118。应该注意,演示和规格208向艺术品提供器118提供可用于艺术品安置的区域的视觉展示(经由虚拟物)以及关于适于每个容器(即用于替代每个虚拟物)的艺术品的易读准则(规格)。因此,艺术品提供器118不需要涉及容器的技术细节,而仅需涉及在预定规格下的可视虚拟物替代。艺术品提供器118的人类操作员由此不需要具有虚拟内容安置的传统方法的知识和经验以及对其花费时间;他或她仅需选择符合规格的艺术品并且在美学和环境上适于替代演示内的可进行视觉识别的虚拟物。然而,在另选实施例中,渲染器164最初没有生成使用虚拟物的演示,并且消息208仅仅提供将适于植入的容器的一般规格,并且然后艺术品提供器最初盲目地发送兼容艺术品,并且在修改视频216的第一版本中得到使用它自身的艺术品(替代了虚拟物)的视频的第一印象。
在接收到演示和规格208后,艺术品提供器118的操作员针对每个虚拟物替代(即,针对每个容器)选择艺术品。另选地,如果消息208仅仅包括一般规格而没有演示,则艺术品提供器118的操作员选择与该规格匹配的艺术品。在任一情况下,能够从艺术品提供器118的现有艺术品池中选择艺术品,或者能够特别针对演示和规格/一般规格208准备或改动艺术品。然后,艺术品提供器118将艺术品和选项212返回到渲染器164,该艺术品和选项212包括针对每个容器选择的艺术品、以及如何在由艺术品规格定义的准则下在容器内显示艺术品的可选选项。
渲染器164将接收到的艺术品安置在各个容器内,并且根据选择的选项产生修改视频216。如果消息208包含演示,则根据由艺术品提供器118选择的选项并且利用当前由艺术品提供器118提供的艺术品来有效替代演示和规格208中的虚拟物。另外在这里,考虑到效率和带宽,利用较低分辨率、较高压缩、减小色彩空间、跳过不包括容器的一些视频部分或者甚至通过显示嵌入了对应艺术品的代表性原始视频帧的静止图像来表示视频段,可以可选地压缩修改视频216。如果艺术品提供器118的操作员满意当前的修改视频216,则他可以批准当前版本(例如,发送批准消息212);另选地,他能够通过替代艺术品和/或更新选项来修改艺术品和选项212,并且观看另一个修改视频216,直到修改视频216令人满意。应该注意优选的是,渲染器164通过发送修改视频216快速响应接收到的艺术品和选项212,这将循环220变成艺术品提供器118的交互式体验,也就是说,通过观看修改视频216立即检查所提供的艺术品和/或选项212中的变化的效果。
一旦渲染器164从艺术品提供器118接收到批准消息212,它将原始视频与由艺术品提供器118批准的最新嵌入艺术品组合成最终版本224,然后最终版本224被发送到生成器166。然后,生成器166可选地改动最终版本224以适应由分送器122指定的特征(例如,分辨率、屏幕高宽比、片长),由此生成终端产品230,该终端产品230由服务中心160发送到分送器122,分送器122传统地将具有嵌入的艺术品的终端产品视频分送到终端用户130。
应该明白,服务中心160的容器植入器162、渲染器164和生成器166是功能性单元,这些功能性单元可以实现在使用通用和/或专用硬件的一个或更多物理计算机内。因此,在一个极端示例性实施例中,通过在一个通用计算机内的专用软件模块实现服务中心160,而在另一个示例性实施例中,在经由互联网互连并且还利用专用硬件组件进行图像处理的三个不同的计算机或计算机***内实现容器植入器162、渲染器164和生成器166。
***操作
现在参照图3,图3示意性地描述了图1到图2的优选实施例的服务中心160的操作。在步骤301中,服务中心160从视频提供器114获得原始视频200。在步骤303中,容器植入器162在人类操作员的指令下进行操作,来识别适于艺术品安置的视频段并且对每个这种段进行标记。在步骤305中,容器植入器162将一个或更多容器植入每个标记的段中。在步骤307中,容器植入器162产生适于每个容器的艺术品的规格;优选的是,这些规格还识别用于艺术品安置的可选选项(见图4到图5)。步骤305到307的结果作为容器和规格204被传送到渲染器164,在可选步骤311中,渲染器164通过将各个虚拟物安置到所有容器中并且可能通过消除未标记的视频部分、或者利用代表性静止图像表示标记的视频段、和/或减小分辨率、和/或减小色彩空间、和/或应用额外视频压缩,来压缩演示版本,从而生成演示。在步骤315中,服务中心160与艺术品提供器118进行通信,并且演示和规格208(或者仅为在步骤307中产生的一般规格)被发送到艺术品提供器118。在步骤321中,渲染器164最初从艺术品提供器118接收艺术品和选项212;在第二次或者以后的反复中,它可以从艺术品提供器118接收对当前版本的批准。在步骤323中,渲染器164根据各个选项将当前接收到的艺术品自动安置在各个容器内,并且在步骤331中,它将得到的视频(可能如以上针对步骤311所述进行了压缩)作为修改视频216发送到艺术品提供器118,并且通过通路325循环返回到步骤321。如果在步骤321中渲染器164从艺术品提供器118接收到批准,则该处理经由通路353移动到步骤335,在步骤335,包括具有由艺术品提供器118在步骤321中批准的嵌入艺术品的原始视频200的当前艺术品提供器的最终版本被渲染器164提供给生成器166。在步骤341中,生成器166通过针对分送器122的具体要求修改最终版本224的分辨率、格式和/或片长,任意地改动终端产品230以适应分送器122,并且将它发送到分送器122,然后服务中心160准备好经由通路351移动到步骤315,从而服务于另一个艺术品提供器118,或者服务于同一艺术品提供器118,用以将不同艺术品安置到原始视频200内的相同容器中产生另一个视频版本。
应该注意,尽管在图3中通路351被描述为串行处理,其中服务中心160进行操作首先完成将来自第一艺术品提供器的艺术品安置到原始视频200中,然后准备好服务于另一个艺术品提供器,但是服务中心160也能够进行操作同时服务于多个艺术品提供器,将它们的艺术品嵌入到原始视频200的相同容器中,针对每个艺术品提供器产生终端产品230的定制版本。还应该注意,当涉及“另一个艺术品提供器”时,实际上现有艺术品提供器可以再次利用***例如通过对另一个产品进行广告或者利用另选艺术品来产生相同视频的另一个版本。
成本分配
图3能够用于展示本发明的成本分配优点。应该注意,服务中心160的操作的最耗时和人工的部分在步骤303、305和307中。步骤311到341对于服务中心160大部分是自动的,并且因此对于服务中心160而言成本相对较低。因此,使用通路351服务于额外艺术品安置会话的次数越多,每次会话的成本就变得越低。因此,在通路351***作大量次数的操作模式下,非商业用户也能够承担得起为了艺术效果或娱乐的艺术品安置。
另外,应该明白,在艺术品提供器118侧通常需要一些人工劳动以在步骤321内提供艺术品和选项212。然而,由艺术品提供器118单独地计算和证明这种劳动,这不会直接影响服务中心160的成本结构。此外,与较老的安置方法相比,与在传统内容安置中进行协商、提交和批准艺术品的情况相比,在交互处理220(图2)下提供、改动以及试验艺术品安置的行为更加有效、高效和便宜。
说明性示例
现在参照图16A到图16C,其中,图16A展示了原始视频帧950A,图16B展示了可选的演示视频帧950B,其中该演示视频帧950B显示了安置在原始帧内的虚拟物,图16C展示了其中安置了艺术品的修改视频帧950C。
因此,在图3的步骤303中已选择并标记了原始视频帧950A。可选的演示视频帧950B是步骤311的结果,并且在当前示例中包括通过不同的颜色和/或图案可识别的两个虚拟物:二维虚拟物954B和三维虚拟物958B。这些虚拟物针对艺术品提供器识别在步骤305中植入到原始视频帧950A内的各个容器的位置、尺寸、朝向和背景,这些容器优选(但不必)对自身不可见。当在步骤321中从艺术品提供器接收到实际艺术品时,在步骤323中该艺术品被安置在对应容器内,由此产生修改视频帧950C,该修改视频帧950C显示了安置在原始视频帧950A中的实际二维艺术品954C和三维艺术品958C。
容器
图4和图5分别描述了2D(二维)容器和3D(三维)容器。容器实际上是对选择的视频段特定的视频处理命令的集合,该集合可以指示渲染器164接收视频段和符合容器的规格的艺术品,并且将该艺术品自动地安置在该视频段内,从而与各个视频段内容纳容器(由此容纳该艺术品)的背景相似地自动使艺术品动画化。进行如此设计是为了对选择进行安置的任何兼容艺术品给出一种外观,就好像当拍摄视频时该艺术品就存在于选择的视频段的场景中。
二维容器
现在参照图4,图4描述了根据本发明优选实施例的二维容器。利用下面描述的多个图形特征来定义二维容器。选择用于植入的帧的标识346标记了原始视频200的安置有2D容器的所有帧。用于每个选择的帧的指令348包括针对每个帧描述容器的图形特征的信息。下面参照框350到364详细描述该信息。
表面位置350描述2D容器的表面的位置,优选的是指表示表面的实际三维位置的X、Y和Z坐标。表面弯曲352描述能够弯曲并且包括凸起、凹陷和顶点而没有限制的表面的实际形状;利用由具有固定位置、旋度和标度的多边形构成的3D模型形状来描述弯曲。表面纹理354描述了包裹表面的纹理。例如,该纹理可以具有木头或金属状的纹理特征。纹理可以由图像组成或者可以由具有不同混合的固定颜色的多个层组成。此外,除了纹理层的原始颜色或图像以外,任何纹理层能够具有诸如环境算子和镜面算子的质量。下面参照图15描述的纹理由艺术品和选项212组成以形成表面的最终覆盖。这意味着艺术品替代与其它层一起形成覆盖期望表面的纹理的(由虚拟物表示)多层之一。
图形材料356详细描述了覆盖2D容器的表面的纹理。例如,如果2D容器是告示牌,则多个表面中的一个表面可以被金属状纹理覆盖。此外,一个或更多2D容器的表面保持虚拟物艺术品。艺术品或虚拟物包括覆盖一个或更多2D容器的表面的纹理。艺术品材料可由包括艺术品或虚拟物艺术品的多个纹理组成,这意味着结果能够让复杂材料覆盖表面。例如,该材料可以由金属状纹理和jpeg艺术品组成,金属状纹理和jpeg艺术品一起形成覆盖一个或更多艺术品表面的材料。渲染参数358描述当将三维场景变换成二维图像序列时利用什么效果和特征。渲染参数358优选包括四个不同的参数:高宽比358A,描述像素高宽比;尺寸358D,描述图像宽度和高度;帧率358F,在产生的图像被封装到一个视频中的情况下描述所述图像的帧率;和编码358C,描述输出图像或视频文件的编码和格式。在诸如PAL或NTSC的公共视频标准中,设置所有这四个参数。另选地,这些参数也可支持具有非传统帧率、尺寸、高宽比和编码的新型视频格式。
仍然在图4中,2D效果360优选包括一组二维滤波器,这组二维滤波器对图像像素进行操纵以产生期望视觉效果,从而获得更好视觉对比度和重点,这组二维滤波器为:着色360C,将来自艺术品和选项212的***艺术品的颜色变换成被安置艺术品的期望颜色;和模糊360B,使被安置艺术品模糊。此外,噪声360N将随机噪声添加到来自艺术品和选项212的被安置艺术品以使像素噪声与原始视频200的像素噪声匹配,而混合模式360M确定被安置艺术品的每个像素如何与原始视频的对应背景像素进行混合,优选地指数字成像中的四个常用的混合模式之一:正常、正片叠底(multiply)、叠加和屏幕。3D效果362包括考虑3D场景参数用以产生期望的图形效果的滤波器。投射光362L定义人造(即,计算机产生的)光源,该人造光源在2D容器上投射可选择类型的光模型,诸如OMNI光、平行光或定向聚光。这些光根据光模型改变2D容器的像素颜色。运动模糊362B定义了根据容器运动而添加到2D容器的模糊。DOF362D根据艺术品在场景中的位置以及距离摄像机的距离,描述艺术品模糊。另外,该效果根据每个像素的相对位置对每个像素施加不同的模糊参数。反射362R定义了2D容器以及来自艺术品和选项212的被安置艺术品在相对平面上的反射。应该注意,2D效果360和3D效果362允许容器植入器162以可控制方式在原始视频上加亮、强调和区分被安置艺术品,同时保留当拍摄原始视频时就存在被安置艺术品的视觉印象。调整这些效果可能需要来自容器植入器162的人类操作员在试验期间的输入,这是本发明在不同艺术品提供器之间实现分配的成本因素之一。仍然在图4中,封闭规划对象364是包括覆盖被安置艺术品的所有对象的像素的RGBA通道的图像序列。以这种方式,最终版本224由被安置艺术品所覆盖的背景视频组成,其中该被安置艺术品被封闭规划对象层覆盖。
三维容器
现在参照图5,图5描述了三维容器的元素,即将来自艺术品和选项212的三维艺术品安置到原始视频200中所需的图形参数。3D容器366包括边界盒368的定义,该边界盒368的定义描述了限定用于安置来自艺术品和选项212的艺术品的边界的盒状形状的尺寸、朝向和位置。边界限定了被安置艺术品的最大尺寸并且限制如何能够将这个艺术品定位以避免超出边界。仍然在图5中,用于植入的帧的选择370对原始视频200的安置有3D容器的所有帧进行标记。用于每个选择的帧的指令372包括针对每个帧描述容器的图形特征的信息。下面参照框374到382详细描述该信息。
渲染参数374描述了当将三维场景变换成二维图像序列时利用什么效果和特征。渲染参数374优选包括四个不同的参数:高宽比374A,描述像素高宽比;尺寸374D,描述图像宽度和高度;帧率374F,在产生的图像被封装到一个视频中的情况下描述产生的图像的帧率;和编码374C,描述输出图像或视频文件的编码和格式。在诸如PAL或NTSC的公共视频标准之中,设置所有这四个参数。另选地,这些参数也可以支持具有非传统帧率、尺寸、高宽比和编码的新型视频格式。2D效果378优选包括一组二维滤波器,这组二维滤波器操纵图像像素以产生期望视觉效果,从而获得更好的视觉对比度和重点,这组二维滤波器包括:着色378C,将来自艺术品和选项212的***艺术品的颜色变换成被安置艺术品的期望颜色;和模糊378B,使被安置艺术品模糊。此外,噪声378N将随机噪声添加到来自艺术品和选项212的被安置艺术品从而使像素噪声与原始视频200的像素噪声匹配,而混合模式378M确定被安置艺术品的每个像素如何与原始视频的对应背景像素进行混合,优选地指数字成像中的四个常用的混合模式之一:正常、正片叠底、叠加和屏幕。3D效果380包括考虑3D场景参数用以产生期望的图形效果的滤波器。投射光380L定义人造(即,计算机产生的)光源,该人造光源在3D容器上投射可选择类型的光模型,诸如OMNI光、平行光或定向聚光。这些光根据光模型改变3D容器的像素颜色。运动模糊380B定义了根据容器运动而添加到3D容器的模糊。DOF 380D根据艺术品在场景中的位置以及距离摄像机的距离,描述艺术品模糊。另外,该效果根据每个像素的相对位置对每个像素施加不同的模糊参数。反射380R定义了3D容器以及来自艺术品和选项212的被安置艺术品在相对平面上的反射。投射阴影380S定义了在存在光源和对象的情况下的阴影表面以及它们吸收阴影的方式。封闭规划对象382是包括覆盖被安置艺术品的所有对象的像素的RGBA通道的图像序列。以这种方式,最终版本224由被安置艺术品所覆盖的背景视频组成,其中该被安置艺术品被封闭规划对象层覆盖。应该注意,2D效果378和3D效果380允许容器植入器162以可控制方式在原始视频上加亮、强调和区分被安置艺术品,同时保留当拍摄原始视频时就存在被安置艺术品的视觉印象。调整这些效果可能需要来自容器植入器162的人类操作员在试验期间的输入,这是本发明在不同艺术品提供器之间实现分配的成本因素之一。
段选择、容器产生和规格产生
现在参照图6,图6描述了通过容器植入器162进行的二维和/或三维容器的产生以及用于引导艺术品提供器118的每个容器的规格的产生。在步骤401中,容器植入器162的操作员运行对原始视频200的快速扫描以通过其内容和环境来识别适于内容安置的潜在段(帧范围)。
在步骤405中,在进行快速扫描后,对选择出的段进行标记(例如,通过记录帧范围),并且针对每个段,粗略地草拟优选内容的类型(2D或3D)和表面位置350及其基本参数;这些参数将在步骤417中被进一步精细调整,并且优选包括表面弯曲352、表面纹理354和图形材料356。另外,在步骤405中,操作员在规格中对每个容器加上标签。加上标签的目的在于描述针对该容器的正确艺术品环境是什么。例如,可以对容器加上标签“面向儿童”、“户外”、“喜剧”。
在步骤409中,容器植入器162的操作员针对每个容器提取跟踪信息。提取跟踪以在每个帧中为容器分配其正确位置、旋度和标度。例如,如果期望将内容安置在形成场景的一部分的墙壁上并且摄像机正在该场景中移动,则需要改变每个帧中的艺术品的位置和透视以匹配该墙壁的变化透视。存在优选针对每个容器提取的两种类型的跟踪信息。第一种类型是摄像机跟踪信息。当对象保持固定而摄像机沿着场景移动时,提取出这个数据。该摄像机具有在各帧间改变的七个不同的参数:三个位置参数、三个旋度参数和一个缩放参数。第二种类型的跟踪数据涉及对象跟踪:该处理跟踪对象的移动并且完全忽略摄像机。例如,如果在场景中存在移动的公共汽车并且要在它的侧面上植入内容,则对公共汽车的表面进行跟踪,从而当内容被安置在公共汽车的表面上时,它的透射和位置将与公共汽车的透视和位置匹配。
在步骤413中,对应该封闭未来安置的内容的对象进行检测。这涉及如下情况,在该情况中,场景内的一些运动对象将在被安置内容与摄像机之间通过,从而覆盖该内容的某部分。为了实现该效果,需要识别和规划将覆盖未来***的艺术品的任何元素。在规划这些对象的过程中,产生两个视频层。一个层是原始视频,第二层是规划的对象。规划的对象的视频层除了其RGB通道以外还包括阿尔法通道。在跟踪信息可用的情况下,可以利用该信息更好且更快地规划封闭对象。在步骤417中,如下面参照图7到图8所述,嵌入2D和/或3D容器。
在步骤421中,由容器植入器162的操作员检验容器质量,该操作员将测试内容的各种样本植入每个容器内并且观看得到的视频以检验现实外观。当在步骤421中识别出瑕疵时,针对适当容器重复步骤417,直到结果令人满意。在步骤425中,产生艺术品提供器的规格以针对每个容器提供适当内容的准则,如下面参照图7、9和10更详细地描述的。
三维容器产生
参照图7,图7描述了植入三维容器的处理。步骤441包括导入跟踪信息,该跟踪信息要附于三维容器用于正确动画。步骤443包括导入封闭规划对象层。已经在上面参照图6描述了这两个元素。
在步骤445中,容器植入器162的操作员限定用于三维内容的三维边界盒。这个边界盒限定了能够安置在该容器内的内容的最大尺寸。在步骤449中,操作员定义该边界盒的初始位置、旋度和标度;这些参数可以根据影响图像动画的跟踪数据在整个段上改变。在步骤451中,定义保持未来内容的容器的面;优选的是,选择底面。例如,如果将容器安置到形成原始场景的一部分的桌子上,则选择底面允许将3D内容安置到该桌子上。在步骤453中,通过颜色和强度定义虚拟光源并且安置该虚拟光源以模拟原始场景的光源,并且我们将该光安置于正确位置。在步骤455中,产生阴影表面,其能够吸收从未来安置的艺术品投射的阴影。例如,期望的是,桌子上的瓶子所投射的阴影与该桌子上的小罐子所投射的阴影根据瓶子和小罐子的不同尺寸和形状而不同。因此,产生动态表面以吸收动态阴影。优选的是,考虑照明和对应的表面参数自动地产生阴影。
在步骤457中,容器植入器162的操作员精细调整诸如模糊、噪声、运动模糊和景深的附加效果,从而应用于任何***的未来艺术品上以获得期望的美学效果。在步骤459中,为了测试的目的,操作员将虚拟对象***到容器中。在步骤461中,考虑以上计入的所有参数,渲染操作产生显示安置于当前视频段的场景内的容器内的虚拟测试对象的电影剪辑;如果渲染结果不能够令操作员满意,则调整适当参数。当到达令人满意的结果时,然后在步骤461中,导出完成的容器以变成图2的容器和规格204的一部分。然后,针对要植入到原始视频200的被选择并标记的段内的所有三维容器,运行图7的相似处理。
二维容器的产生
参照图8,图8描述了植入二维容器的处理。许多步骤与关于植入三维容器的步骤(图7)相似,并且将参照它们进行描述。
导入跟踪信息的步骤471与步骤441相同。步骤475与步骤443相同。在步骤479中,导入预定的二维容器。实际上,它优选是诸如告示牌、等离子TV或计算机屏幕的三维对象,该三位对象具有选择用于对象(诸如印刷消息、静止图像或视频剪辑)的内容安置的二维表面。先前在图6的步骤405中定义了导入到容器植入器162的二维容器。步骤481、485、487和489分别与图7的步骤449、451、453和455相同。在步骤491中,艺术品提供器118的操作员***二维虚拟测试艺术品用于安置在选择的容器表面上,例如用于覆盖TV屏幕的视频剪辑。步骤493与步骤461相同,并且步骤495与图7的步骤465相同。
艺术品规格-二维和三维
艺术品规格由服务中心160提供给艺术品提供器118,作为针对指定容器选择和/或改动艺术品的准则。在图6的步骤405中产生大多数艺术品规格并且对它们加上标签。
参照图9,其中,二维艺术品的规格500指定了适于指定的二维容器的艺术品的各种属性。段持续时间504描述了艺术品将在屏幕上显示的时间。这会帮助118的操作员,该操作员可能针对什么嵌入艺术品将受益于在屏幕上持续较长时间具有偏好和优先考虑。背景说明508包括容器的环境信息,例如“面向儿童”或“海滩场景”。2D容器说明512描述通过利用从视频、图示或叙述性标题提取的画面支持二维容器(以及将支持要选择的艺术品)的对象,诸如“告示牌”或“TV屏幕”。2D艺术品属性520定义了对二维艺术品的要求。高宽比520A描述了艺术品的像素高宽比。每个像素可以为正方形或矩形。背景不透明性520B定义了艺术品是否应该包括阿尔法通道以及标准RGB通道。尺寸520D描述了开始的像素的优选宽度和高度,诸如320x240像素或者720x576像素。
参照图10,其中,三维艺术品的规格530指定适于指定的三维容器的艺术品的各种属性。段持续时间534和背景说明538分别与上述的段持续时间504和背景说明508相同。3D容器说明542描述了容器的几何特征,例如尺寸和朝向,该几何特征约束了能够安置在该容器内的三维艺术品。3D艺术品属性550包括关于艺术品的边界区域的信息。例如,容器的形状被描述为安置于桌子上的立方体形状。如果***的3D艺术品是非立方体和/或小于容器但是可以被包含在容器边界内,则艺术品提供器118的操作员可以确定将艺术品(例如,苏打罐)安置到立方形容器内的地方。此外,操作员可以确定***的艺术品的角旋度。为了便于安置艺术品,容器包括该容器内艺术品的建议最佳安置和旋度,并且这被用作艺术品的默认位置和旋度,除非艺术品提供器118的操作员决定不这样做。
二维和三维艺术品
参照图11,图11描述了由艺术品提供器118提供的2D艺术品的形式。存在两种类型的2D艺术品,即优选但不必以矩形形式提供的静止图像和视频,它们具有静止图像和视频的技术领域常用的格式,如在图11中由图像/视频的矩形770R所表示的。静止图像和视频二者均可以可选地具有嵌入的阿尔法层770A,这暗示:除了图像的RGB通道外,还存在阿尔法通道形式的不透明通道。利用阿尔法通道***2D艺术品将考虑每个像素的阿尔法值。例如,如果阿尔法值是零,则艺术品在该像素上将是透明的,并且如果阿尔法值是1,则艺术品将覆盖原始视频。尺寸比率770D针对像素确定艺术品的宽度和高度之间的比率。例如,视频可以是320x240像素,并且在这种情况下,该比率将是4x3。像素高宽比770R定义像素自身是正方形像素还是矩形像素。它与尺寸比率770D一起定义了图像/视频的有效高宽比。
参照图12,图12描述了三维艺术品。3D模型774D定义了艺术品的所有面的多边形形状。例如,谷物盒形状由六个多边形构成。更多的弯曲形状可以具有数以千计的多边形,它们一起形成了曲面。覆盖模型的2D材料774M包括用于覆盖赤裸3D模型774D的表面的图像。例如,小的苏打罐可以代表3D模型774D,而在罐子的表面上绘制的标识可以代表覆盖模型774M的2D材料。可选的反应效果774R描述3D模型774D的各面如何与容器中的元素进行反应。例如,它可以包括光亮的反应效果,该效果在从定义为容器的一部分的光源投射出光时显示。
用于艺术品呈现的可选择选项
参照图13。选项778是由艺术品提供器针对每个艺术品提供的可选参数;这些参数影响各个艺术品如何在其容器内被定位和渲染。例如,艺术品提供器118的操作员可以具有如何将诸如苏打罐的艺术品定位在大于期望的实际看起来的罐尺寸的容器内的美学偏好。位置、旋度和标度778P定义了:艺术品将定位在容器内的地方(例如,定位在容器的底面的中心上);艺术品将如何进行旋转;以及艺术品将如何定标以产生与原始视频中显示的对象相比的真实印象。颜色调整778C允许艺术品提供器118的操作员精细调整艺术品的颜色以与原始视频的颜色匹配。
艺术品安置
参照图14,图14描述了利用艺术品提供器118将艺术品安置到植入视频内的容器内的处理。在步骤851中,将可用艺术品的特征与视频的容器规格进行比较,从而通过图形特征和环境识别合适的匹配。然后,在步骤853中,艺术品提供器118的操作员针对每个容器选择艺术品。这个步骤可以包括:如果没有艺术品与特定容器匹配或者与容器匹配的艺术品不能够令操作员满意,则改动艺术品(例如,修剪图像),针对容器产生新的定制艺术品,或者输入有效抵消对应容器的空艺术品(null artwork)。
在步骤855中,艺术品被导入渲染器164。在步骤858中,渲染器扫描容器的元数据。在步骤863中,渲染器利用艺术品自身可视地替代虚拟对象。这个步骤中的替代是逻辑上的而非图形上的。这意味着,在元数据中,艺术品文件替代了虚拟文件并且链接到视频内的对应容器。在步骤867中,渲染器164渲染艺术品在容器内的视频,由此产生新的视频版本,显示在步骤853中选择并且安置在原始视频内的艺术品。在可选的步骤869中,例如通过消除非参与视频部分或者利用静止图像表示视频段、减小分辨率和/或进行额外压缩,来压缩新的视频版本。最后,在步骤871中,针对另一次重复或者批准,该***向艺术品提供器118呈现(压缩的)版本。
渲染处理
参照图15,图15描述了本发明的优选实施例中的渲染器164的操作。描述从渲染器164开始进行渲染的时刻到它产生内部具有艺术品的视频的修改版本的时刻的操作。在步骤901中,所有资源被收集并加载到计算机存储器和RAM中。这些资源包括原始视频、容器和艺术品。在步骤905中,渲染器164将所有资源进行组织以获得时间意义上的优化结果。这是通过将这些资源重新格式化到能够最快地对资源中的每个段进行访问的数据结构中而完成的。优选地应用软件工程领域的已知方法,诸如用于一些资源的树形结构、将XML文件串行化为哈希表和快速访问阵列、以及针对连续存储区域利用先进的存储器分配。在步骤911中,渲染器164将有助于该版本的产生的所有渲染算子加载到它的图形引擎的处理单元上。例如,为植入的艺术品产生动画的跟踪信息、模糊、噪声、抗锯齿滤波器、光以及在图形制作中定义的基本所有效果被加载到图形引擎。在步骤915中,触发渲染循环。这意味着:在每个循环的反复中,在这些资源和效果之中产生新的帧。在步骤919中,图形引擎进行固有3D渲染,该3D渲染在3D模型之中产生2D渲染层。这意味着:在保持被安置艺术品的3D模型(在二维艺术品的情况下)或表示艺术品的3D模型(在三维艺术品的情况下)之中,这个步骤执行三维对象到二维对象的变换。此外,在这个步骤中,存在影响三维渲染的一些效果。例如,运动模糊是考虑三维运动和对象的位置以产生特定运动模糊效果的效果。另一个示例是阴影投射,它考虑对象的三维位置和光以产生自身被变换成二维图像的三维阴影。在步骤923中,图形引擎将原始视频、封闭层和渲染的2D层进行组合以产生2D帧的序列。此外,在将不同的层(封闭层、渲染层、背景层)组合在一起之前,在这些层上执行多个2D效果。例如,2D渲染层通过使渲染结果平滑的抗锯齿滤波器;另一个示例是同样对渲染结果的层进行滤波的模糊效果。在步骤927中,从图形引擎获得的帧被移送到编码任务的缓冲器。在步骤931中,这些单独的帧被编码成视频文件,该视频文件准备好被发送回艺术品提供器或者最终版本224。
内容安置期间的视频变换
现在参照图17,图17总结了根据上述本发明的优选实施例的虚拟内容安置的处理,该处理关注原始视频960所经过的变换。因此,优选地在人类操作员的输入下获得并且标记原始视频960,以识别适于内容安置的一个或更多标记段962,不对剩下的视频段964进行标记。仍然优选地在从人类操作员接收到的命令下,一个或更多容器966被改动并植入各个标记段962中,其中每个容器是2D或3D的,并且优选伴随有定义适于该容器的艺术品的参数的易读规格。然后,针对每个对应的容器接收艺术品968。艺术品968优选符合对应容器的规格并且优选伴随有选项,该选项是影响艺术品将如何显示的视觉方面的参数。然后,优选地在不需要来自人类操作员的详细人工命令的自动处理下,在对应容器966的指示下,将每个标记段962与它的对应艺术品968进行组合,从而提供对应的修改段972,该修改段972显示了定位在对应标记段962内并且根据对应标记段962而动画化的艺术品。分别对应于一个或更多标记段962的一个或更多修改段972的集合形成修改视频970的基础。然而,通过排除部分或全部的未标记段964、利用额外压缩和/或减小分辨率或色彩空间、或者甚至通过利用其中的展示嵌入在各个标记段962内的各个艺术品968的一个帧来表示修改段972,能够将修改视频970压缩。最初,艺术品962可以是虚拟物,在这种情况下修改视频970变成仅仅可视地显示可用于各个标记段962内的艺术品安置的空间和形状的演示。
然后,艺术品提供器118的人类操作员优选地决定(非演示)修改版本是否令人满意,如果不令人满意,则使用通路974进行艺术品安置的另一次反复,其中,所有或者一些艺术品和/或选项发生改变以产生另一个修改版本970。经由通路974进行的另外反复发生,直到艺术品提供器118对修改版本970满意,然后通过将每个最新修改段972的全质量版本982嵌入在原始视频960内产生最终版本980。在一些实施例中,通过产生终端产品990针对特定分送器进一步改动最终版本,该终端产品990与最终版本980在诸如分辨率、色彩空间、高宽比、格式和/或片长的特征方面不同。
然后,使用通路994来利用相同的原始视频960、标记段962和容器966产生嵌入了不同艺术品968的最终版本980和终端产品990的另外版本。
尽管针对有限数目的实施例描述了本发明,但是本领域技术人员应该明白,本发明不限于在此特别显示和描述的内容。相反,本发明的范围包括这里描述的各种特征的组合和子组合以及并非在现有技术中但是当本领域技术人员阅读本说明书时可以想到的变型和修改。
Claims (26)
1.一种用于在视频中嵌入艺术品的方法,该方法包括:
a.通过以下步骤准备用于安置的原始视频:
i.获得所述原始视频,
ii.对所述原始视频的段进行标记,由此定义标记段,以及
iii.在所述标记段内植入容器;以及
b.通过以下步骤将艺术品安置的会话重复至少一次:
i.针对所述容器选择艺术品,以及
ii.将所述艺术品自动安置在所述容器内,由此渲染修改的视频段,其中根据所述标记段使所述艺术品动画化。
2.如权利要求1所述的方法,其中,所述对段进行标记的步骤另外执行至少一次,用于对另外至少一个段进行标记。
3.如权利要求1所述的方法,其中,所述植入容器的步骤另外执行至少一次,用于植入另外至少一个容器。
4.如权利要求3所述的方法,其中,在每个所述会话内,所述选择步骤和自动安置步骤另外执行至少一次。
5.如权利要求1所述的方法,其中,所述至少一次是至少两次。
6.一种嵌入计算机可读介质中的软件产品,用于指示至少一个计算机:
a.通过以下处理准备用于安置的原始视频:
i.获得所述原始视频,
ii.接收用户指令以对所述原始视频的段进行标记,由此定义标记段,以及
iii.接收用户指令以在所述标记段内植入容器;以及
b.通过以下处理将艺术品安置的会话重复至少一次:
i.接收用于所述容器的艺术品,以及
ii.将所述艺术品自动安置在所述容器内,由此渲染修改的视频段,其中根据所述标记段使所述艺术品动画化。
7.如权利要求6所述的软件产品,其中,所述至少一次是至少两次。
8.一种根据对应于形成原始视频的一部分的标记视频段的容器在所述标记视频段内嵌入艺术品的方法,该方法包括:
a.获得所述视频段;
b.获得所述容器;以及
c.将以下步骤重复至少一次:
i.接收适于所述容器的艺术品,以及
ii.将所述艺术品自动安置在所述容器内,由此渲染修改的视频段,其中根据所述标记段使所述艺术品动画化;以及
d.产生原始视频的修改版本,所述产生包括用所述修改的视频段替代所述标记视频段。
9.如权利要求8所述的方法,其中,所述至少一次是至少两次。
10.一种用于在视频中嵌入内容的服务中心,包括:
a.容器植入器单元,被配置为通过以下步骤准备用于安置的原始视频:
i.获得所述原始视频,
ii.对所述原始视频的段进行标记,由此定义标记段,以及
iii.在所述标记段内植入容器;以及
b.渲染器单元,被配置为通过以下步骤将艺术品安置的会话重复至少一次:
i.针对所述容器选择艺术品,以及
ii.将所述艺术品自动安置在所述容器内,由此渲染修改的视频段,其中根据所述标记段使所述艺术品动画化。
11.如权利要求10所述的服务中心,其中,所述至少一次是至少两次。
12.一种用于在视频中嵌入内容的方法,该方法包括:
a.获得原始视频;
b.对所述原始视频的至少一个段进行标记,由此定义至少一个标记段;
c.在至少一个所述标记段内植入至少一个容器;
d.在每个所述容器内安置对应虚拟物,由此自动产生演示版本,所述演示版本显示根据对应于与所述虚拟物对应的所述容器的所述标记段而动画化的每个所述虚拟物;
e.将所述演示版本发送到艺术品提供器;
f.针对每个所述容器从所述艺术品提供器接收对应艺术品;以及
g.自动产生修改的视频,所述修改的视频显示根据对应于与所述艺术品对应的所述容器的所述标记段而动画化的每个所述艺术品。
13.如权利要求12所述的方法,其中,通过由排除所述原始视频的至少一部分、用代表性静止图像表示视频段、应用低于所述原始视频的分辨率、减小色彩空间以及应用额外视频压缩组成的组中的至少一个,从而与所述原始视频相比将所述演示版本和所述修改的视频中的至少一个进一步压缩。
14.如权利要求12所述的方法,还包括:
h.在所述原始视频内部,通过在每个所述容器内安置每个所述对应艺术品,产生最终版本。
15.如权利要求14所述的方法,还包括:
i.针对选择的分送器改动所述最终版本,由此提供终端产品;以及
j.将所述终端产品发送到所述选择的分送器。
16.如权利要求12所述的方法,其中,所述接收步骤后接所述自动产生步骤的序列另外执行至少一次。
17.如权利要求12所述的方法,其中,针对另一个版本,另外执行所述发送步骤、后接所述接收步骤、后接所述自动产生步骤的序列。
18.一种用于在视频中安置内容的方法,该方法包括:
a.获得原始视频;
b.对所述原始视频的至少一个段进行标记,由此定义至少一个标记段;
c.在至少一个所述标记段内植入至少一个容器;以及
d.针对至少两个不同版本中的每个唯一版本,重复以下步骤至少一次:
i.针对每个所述容器,从艺术品提供器接收对应艺术品;
ii.自动产生修改的视频,所述修改的视频显示根据对应于与所述艺术品对应的所述容器的所述标记段而动画化的每个所述艺术品,以及
iii.将所述修改的视频发送到所述艺术品提供器。
19.如权利要求18所述的方法,其中,通过由排除所述原始视频的至少一部分、用代表性静止图像表示视频段、应用低于所述原始视频的分辨率、减小色彩空间以及应用额外视频压缩组成的组中的至少一个,从而与所述原始视频相比将所述修改的视频进一步压缩。
20.如权利要求18所述的方法,还包括:针对至少一个所述版本,在所述原始视频内,通过在每个所述容器内安置每个所述对应艺术品,产生最终版本。
21.如权利要求20所述的方法,还包括:针对选择的分送器改动所述最终版本,由此提供终端产品并且将所述终端产品发送到所述选择的分送器。
22.一种用于在视频中嵌入内容的服务中心,包括:
a.容器植入器单元,被配置为
i.获得所述原始视频,
ii.对所述原始视频的至少一个段进行标记,由此定义至少一个标记段,以及
iii.在至少一个所述标记段内植入至少一个容器;和
b.渲染器单元,被配置为针对至少两个不同版本中的每个唯一版本将以下步骤重复至少一次:
i.针对每个所述容器从艺术品提供器接收对应艺术品;
ii.自动产生修改的视频,所述修改的视频显示根据对应于与所述艺术品对应的所述容器的所述标记段而动画化的每个所述艺术品,以及
iii.将所述修改的视频发送到所述艺术品提供器。
23.如权利要求22所述的服务中心,其中,通过由排除所述原始视频的至少一部分、用代表性静止图像表示视频段、应用低于所述原始视频的分辨率、减小色彩空间以及应用额外视频压缩组成的组中的至少一个,从而与所述原始视频相比将所述修改的视频进一步压缩。
24.如权利要求22所述的服务中心,其中,所述渲染器单元还被配置为在所述原始视频内通过将每个所述对应艺术品安置在每个所述容器内产生最终版本。
25.如权利要求24所述的服务中心,还包括:
c.生成器单元,被配置为针对选择的分送器改动所述最终版本,由此提供终端产品并且将所述终端产品发送到所述选择的分送器。
26.如权利要求22所述的服务中心,其中,所述重复至少一次是重复至少两次。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US80748806P | 2006-07-16 | 2006-07-16 | |
US60/807,488 | 2006-07-16 | ||
US91766507P | 2007-05-13 | 2007-05-13 | |
US60/917,665 | 2007-05-13 | ||
PCT/IL2007/000744 WO2008010203A2 (en) | 2006-07-16 | 2007-06-19 | System and method for virtual content placement |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101512553A true CN101512553A (zh) | 2009-08-19 |
CN101512553B CN101512553B (zh) | 2012-06-20 |
Family
ID=38957185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2007800334481A Expired - Fee Related CN101512553B (zh) | 2006-07-16 | 2007-06-19 | 用于虚拟内容安置的***和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7689062B2 (zh) |
EP (1) | EP2052552A4 (zh) |
CN (1) | CN101512553B (zh) |
WO (1) | WO2008010203A2 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103262528A (zh) * | 2010-12-10 | 2013-08-21 | 德耳塔维德约股份有限公司 | 视频流呈现***与协议 |
WO2014067234A1 (zh) * | 2012-11-02 | 2014-05-08 | 福州福昕软件开发有限公司北京分公司 | 一种显示pdf文件的方法 |
CN104700354A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 一种信息植入方法及装置 |
CN104735467A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 视频画中画广告生成方法及装置 |
CN110599605A (zh) * | 2019-09-10 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9294822B2 (en) | 2006-11-23 | 2016-03-22 | Mirriad Advertising Limited | Processing and apparatus for advertising component placement utilizing an online catalog |
US20080126226A1 (en) | 2006-11-23 | 2008-05-29 | Mirriad Limited | Process and apparatus for advertising component placement |
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
US9137497B2 (en) | 2007-04-11 | 2015-09-15 | At&T Intellectual Property I, Lp | Method and system for video stream personalization |
US9767463B2 (en) * | 2007-05-29 | 2017-09-19 | Cfph, Llc | On demand product placement |
IL185675A0 (en) * | 2007-09-03 | 2008-01-06 | Margalit Eyal | A system and method for manipulating adverts and interactive communications interlinked to online content |
JP5230483B2 (ja) * | 2008-03-18 | 2013-07-10 | キヤノン株式会社 | 撮像装置及びその制御方法 |
US8245124B1 (en) * | 2008-03-20 | 2012-08-14 | Adobe Systems Incorporated | Content modification and metadata |
GB0809631D0 (en) * | 2008-05-28 | 2008-07-02 | Mirriad Ltd | Zonesense |
US8477246B2 (en) * | 2008-07-11 | 2013-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for augmenting video content |
US8908058B2 (en) * | 2009-04-18 | 2014-12-09 | Lytro, Inc. | Storage and transmission of pictures including multiple frames |
KR101688153B1 (ko) * | 2010-08-11 | 2016-12-20 | 엘지전자 주식회사 | 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기 |
US20120207403A1 (en) * | 2011-02-15 | 2012-08-16 | E-On Software | Method of analyzing and/or processing an image |
US8904517B2 (en) | 2011-06-28 | 2014-12-02 | International Business Machines Corporation | System and method for contexually interpreting image sequences |
US20130235154A1 (en) * | 2012-03-09 | 2013-09-12 | Guy Salton-Morgenstern | Method and apparatus to minimize computations in real time photo realistic rendering |
KR20130137927A (ko) * | 2012-06-08 | 2013-12-18 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
US10129524B2 (en) | 2012-06-26 | 2018-11-13 | Google Llc | Depth-assigned content for depth-enhanced virtual reality images |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
CN102938859A (zh) * | 2012-11-26 | 2013-02-20 | 杭州电子科技大学 | 一种虚拟广告***内数据交换的方法 |
GB2508243B (en) | 2012-11-27 | 2016-04-06 | Mirriad Advertising Ltd | Producing video data |
GB2508242B (en) * | 2012-11-27 | 2016-08-03 | Mirriad Advertising Ltd | Producing video data |
US8983172B2 (en) * | 2012-12-28 | 2015-03-17 | Modern Technology Solutions, Inc. | Visual inspection apparatus, secure one-way data transfer device and methods therefor |
US9237322B2 (en) | 2013-02-07 | 2016-01-12 | Cyberlink Corp. | Systems and methods for performing selective video rendering |
EP2765766A1 (en) * | 2013-02-08 | 2014-08-13 | PIXarithmic GmbH | Hard key control panel for a video processing apparatus |
CN105191287B (zh) | 2013-03-08 | 2019-06-21 | 迪基特阿雷纳股份公司 | 替换视频流中的对象的方法及计算机程序 |
US9514381B1 (en) | 2013-03-15 | 2016-12-06 | Pandoodle Corporation | Method of identifying and replacing an object or area in a digital image with another object or area |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10382824B2 (en) * | 2015-07-17 | 2019-08-13 | Tribune Broadcasting Company, Llc | Video production system with content extraction feature |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
JP2017162153A (ja) * | 2016-03-09 | 2017-09-14 | 富士ゼロックス株式会社 | 画像処理装置、画像処理システム及びプログラム |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
TWI605388B (zh) * | 2016-08-12 | 2017-11-11 | 晨星半導體股份有限公司 | 顯示器控制器以及其操作方法 |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
US12041278B1 (en) * | 2022-06-29 | 2024-07-16 | Amazon Technologies, Inc. | Computer-implemented methods of an automated framework for virtual product placement in video frames |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8812891D0 (en) * | 1988-05-31 | 1988-07-06 | Crosfield Electronics Ltd | Image generating apparatus |
BR9307437A (pt) * | 1992-11-16 | 1999-06-01 | Multimedia Systems Corp | Processo para a produção e transmissão de informações de multimídia interativas realçada |
US5903317A (en) * | 1993-02-14 | 1999-05-11 | Orad Hi-Tech Systems Ltd. | Apparatus and method for detecting, identifying and incorporating advertisements in a video |
WO1995010915A1 (en) * | 1993-10-12 | 1995-04-20 | Orad, Inc. | Sports event video |
WO1995012282A1 (en) * | 1993-10-27 | 1995-05-04 | Princeton Electronic Billboard, Inc. | Downstream control of electronic billboard |
IL108957A (en) | 1994-03-14 | 1998-09-24 | Scidel Technologies Ltd | Video sequence imaging system |
US5436672A (en) * | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
US5729279A (en) * | 1995-01-26 | 1998-03-17 | Spectravision, Inc. | Video distribution system |
US5627915A (en) * | 1995-01-31 | 1997-05-06 | Princeton Video Image, Inc. | Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field |
US5808695A (en) * | 1995-06-16 | 1998-09-15 | Princeton Video Image, Inc. | Method of tracking scene motion for live video insertion systems |
ES2134625T3 (es) * | 1995-06-16 | 1999-10-01 | Princeton Video Image Inc | Sistema y metodo para introducir inserciones, en tiempo real, en video, utilizando oclusion adaptativa con una imagen de referencia sintetica. |
US5892554A (en) * | 1995-11-28 | 1999-04-06 | Princeton Video Image, Inc. | System and method for inserting static and dynamic images into a live video broadcast |
GB9601101D0 (en) * | 1995-09-08 | 1996-03-20 | Orad Hi Tech Systems Limited | Method and apparatus for automatic electronic replacement of billboards in a video image |
US5731848A (en) * | 1995-12-22 | 1998-03-24 | Samsung Electronics Co., Ltd. | Digital VSB detector with bandpass phase tracker using Ng filters, as for use in an HDTV receiver |
BR9709751A (pt) * | 1996-04-29 | 1999-08-10 | Princeton Video Image Inc | Inserção eletrônica intensificada de áudio de sinais em víde |
US5900905A (en) * | 1996-06-05 | 1999-05-04 | Microsoft Corporation | System and method for linking video, services and applications in an interactive television system |
US6529613B1 (en) * | 1996-11-27 | 2003-03-04 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
US6100925A (en) * | 1996-11-27 | 2000-08-08 | Princeton Video Image, Inc. | Image insertion in video streams using a combination of physical sensors and pattern recognition |
JP4044965B2 (ja) * | 1996-12-20 | 2008-02-06 | プリンストン ビデオ イメージ,インコーポレイティド | セットトップ装置および選択された映像を映像放送に挿入する方法 |
GB2329292A (en) * | 1997-09-12 | 1999-03-17 | Orad Hi Tec Systems Ltd | Camera position sensing system |
US6750919B1 (en) * | 1998-01-23 | 2004-06-15 | Princeton Video Image, Inc. | Event linked insertion of indicia into video |
FR2775813B1 (fr) * | 1998-03-06 | 2000-06-02 | Symah Vision | Procede et dispositif de remplacement de panneaux cibles dans une sequence video |
US6229550B1 (en) * | 1998-09-04 | 2001-05-08 | Sportvision, Inc. | Blending a graphic |
US6525780B1 (en) * | 1998-12-18 | 2003-02-25 | Symah Vision, Sa | “Midlink” virtual insertion system |
US6741725B2 (en) * | 1999-05-26 | 2004-05-25 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
US7015978B2 (en) * | 1999-12-13 | 2006-03-21 | Princeton Video Image, Inc. | System and method for real time insertion into video with occlusion on areas containing multiple colors |
US6909438B1 (en) * | 2000-02-04 | 2005-06-21 | Sportvision, Inc. | Video compositor |
JP2001283079A (ja) * | 2000-03-28 | 2001-10-12 | Sony Corp | 通信サービス方法とその装置、通信端末装置、通信システム、広告宣伝方法 |
US20020092019A1 (en) * | 2000-09-08 | 2002-07-11 | Dwight Marcus | Method and apparatus for creation, distribution, assembly and verification of media |
US20030028432A1 (en) * | 2001-08-01 | 2003-02-06 | Vidius Inc. | Method for the customization of commercial product placement advertisements in digital media |
US7474698B2 (en) * | 2001-10-19 | 2009-01-06 | Sharp Laboratories Of America, Inc. | Identification of replay segments |
US7139034B2 (en) * | 2002-04-04 | 2006-11-21 | Princeton Video Image, Inc. | Positioning of a cursor associated with a dynamic background |
US20040100581A1 (en) * | 2002-11-27 | 2004-05-27 | Princeton Video Image, Inc. | System and method for inserting live video into pre-produced video |
US7994930B2 (en) | 2006-10-30 | 2011-08-09 | Sony Ericsson Mobile Communications Ab | Product placement |
-
2007
- 2007-06-19 CN CN2007800334481A patent/CN101512553B/zh not_active Expired - Fee Related
- 2007-06-19 US US11/812,412 patent/US7689062B2/en not_active Expired - Fee Related
- 2007-06-19 WO PCT/IL2007/000744 patent/WO2008010203A2/en active Application Filing
- 2007-06-19 EP EP07736480A patent/EP2052552A4/en not_active Withdrawn
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103262528A (zh) * | 2010-12-10 | 2013-08-21 | 德耳塔维德约股份有限公司 | 视频流呈现***与协议 |
CN103262528B (zh) * | 2010-12-10 | 2016-03-09 | 德耳塔维德约股份有限公司 | 视频流呈现***与协议 |
WO2014067234A1 (zh) * | 2012-11-02 | 2014-05-08 | 福州福昕软件开发有限公司北京分公司 | 一种显示pdf文件的方法 |
CN104700354A (zh) * | 2015-03-31 | 2015-06-10 | 北京奇艺世纪科技有限公司 | 一种信息植入方法及装置 |
CN104735467A (zh) * | 2015-03-31 | 2015-06-24 | 北京奇艺世纪科技有限公司 | 视频画中画广告生成方法及装置 |
CN104735467B (zh) * | 2015-03-31 | 2019-03-15 | 北京奇艺世纪科技有限公司 | 视频画中画广告生成方法及装置 |
CN110599605A (zh) * | 2019-09-10 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
CN110599605B (zh) * | 2019-09-10 | 2021-07-13 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置、电子设备和计算机可读存储介质 |
US11538229B2 (en) | 2019-09-10 | 2022-12-27 | Tencent Technology (Shenzhen) Company Limited | Image processing method and apparatus, electronic device, and computer-readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
US7689062B2 (en) | 2010-03-30 |
WO2008010203A2 (en) | 2008-01-24 |
EP2052552A4 (en) | 2011-12-28 |
WO2008010203A3 (en) | 2009-04-09 |
CN101512553B (zh) | 2012-06-20 |
EP2052552A2 (en) | 2009-04-29 |
US20080012988A1 (en) | 2008-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101512553B (zh) | 用于虚拟内容安置的***和方法 | |
CN101946500B (zh) | 实时视频包含*** | |
CN103024293B (zh) | 动态地替换及***节目内容中的电影舞台道具 | |
US7859551B2 (en) | Object customization and presentation system | |
CN102783132B (zh) | 用于定义颜色状态的装置和方法 | |
US8566865B2 (en) | Dynamic insertion of cinematic stage props in program content | |
US8549554B2 (en) | Dynamic replacement of cinematic stage props in program content | |
Crook et al. | Motion graphics: Principles and practices from the ground up | |
US20080007567A1 (en) | System and Method for Generating Advertising in 2D or 3D Frames and Scenes | |
US10322339B2 (en) | Generation of variations in computer graphics from intermediate formats of limited variability, including generation of different game appearances | |
JP2004304794A (ja) | 映画を表示する方法 | |
CN102326181A (zh) | 动态图像拼贴 | |
EP3188121B1 (en) | Method, system and computer program for obtaining the transformation of an image | |
CN101563698A (zh) | 个性化视频 | |
WO1997003517A1 (en) | Methods and apparatus for producing composite video images | |
US10210700B2 (en) | Generation of variations in computer graphics from intermediate file formats of limited variability, including generation of different game outcomes | |
JP2004304791A (ja) | デジタルシネマフレームコンテンツを修正する方法及び装置 | |
CN102117046A (zh) | 一种虚拟体育***的直播控制方法及装置 | |
JP2023520532A (ja) | コンテンツ挿入用のビデオの作成 | |
Kong et al. | Design and Applied Technology (Secondary 4 û 6) | |
CN118135157A (zh) | 一种文创产品vr虚拟展示方法及*** | |
Hristov et al. | Development of educational games using 3D models of historical locations, objects and artefacts | |
Hamed | The effective use of digital image in advertising design process | |
WO2018203115A1 (en) | Generation of variations in computer graphics from intermediate file formats of limited variability, including generation of different game appearances or game outcomes | |
CN115550682A (zh) | 一种图文视频的合成方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120620 Termination date: 20160619 |
|
CF01 | Termination of patent right due to non-payment of annual fee |