CN1144588A - 一种将图像植入视像流的*** - Google Patents
一种将图像植入视像流的*** Download PDFInfo
- Publication number
- CN1144588A CN1144588A CN95192084A CN95192084A CN1144588A CN 1144588 A CN1144588 A CN 1144588A CN 95192084 A CN95192084 A CN 95192084A CN 95192084 A CN95192084 A CN 95192084A CN 1144588 A CN1144588 A CN 1144588A
- Authority
- CN
- China
- Prior art keywords
- cover
- image
- conversion
- feature
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 68
- 239000007943 implant Substances 0.000 claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims description 64
- 238000006243 chemical reaction Methods 0.000 claims description 49
- 230000014509 gene expression Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 21
- 239000000203 mixture Substances 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 14
- 238000013461 design Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000002513 implantation Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000004922 lacquer Substances 0.000 description 2
- 238000002386 leaching Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- RKTYLMNFRDHKIL-UHFFFAOYSA-N copper;5,10,15,20-tetraphenylporphyrin-22,24-diide Chemical compound [Cu+2].C1=CC(C(=C2C=CC([N-]2)=C(C=2C=CC=CC=2)C=2C=CC(N=2)=C(C=2C=CC=CC=2)C2=CC=C3[N-]2)C=2C=CC=CC=2)=NC1=C3C1=CC=CC=C1 RKTYLMNFRDHKIL-UHFFFAOYSA-N 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 239000008141 laxative Substances 0.000 description 1
- 230000002475 laxative effect Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Landscapes
- Multimedia (AREA)
- Signal Processing (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
- Electrotherapy Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
- Television Systems (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Processing Or Creating Images (AREA)
Abstract
公开一种将广告之类的图像与出现在相对不变的空间例如运动场的动作的视像流相混合的***和方法。***利用背景空间的模型改变视像流,使在背景空间的某些位置包括有该图像。***包括一个视像帧捕捉器(10)和一个图像植入***(14)。帧捕捉器(10)一次捕捉视像信号的一个单帧。图像植入***(14)一般将图像植入帧里面背景空间的一个预选场面的预定部位(如果该部位被显示在帧中的话)。
Description
本发明一般地涉及将一个准备好的图象与视像信号并接的技术。
体育竞技场一般包括一个进行比赛的比赛区,一个坐着观众的座席区以及一个将这两个区隔开的某种隔板。一般,隔板至少部分地被赞助比赛的公司的广告所覆盖。当拍摄比赛时,隔板上的广告被作为体育竞技场的一部分拍摄下来。除非电视摄像机专门拍摄,否则广告不能充分地向公众显示。
已经知道几种将预先规定的广告并接到体育竞技场的电视场面上的***。一种***有一个操作员确定竞技场的一个目标场面。然后***锁定在目标场面上并将一个预定的广告与相应于该场面的视像流的部分并接。当摄像机不再朝向该场面时,***便失去目标场面并且操作员必须再一次指定使用哪个场面。
上述***是实时操作的。其他已知的***基本执行同样的操作,不过不是实时。
已经知道其他几种用于将数据并接到视像序列的***。这些***包括将一个图像插在视像场之间,在电视帧的一个固定位置叠加图像数据(例如电视台微标的数据)以及甚至电子***图像数据“替代”专用目标广告牌。后一***采用彩色键控一类的技术实现。
U.S.5,264,933叙述了一种改造电视图像的装置和方法,能够使所加入的广告图像成为原显示图像的一部分。操作员选择在所捕获的图像的什么地方植入广告图像。U.S.5,264,933的***也能根据声频信号例如解说员的标准词句在所选择的主要广播区内植入图像。
PCT申请PCT/FR91/00296叙述了用于在接连的图像中修改一个区域的过程和装置。各图像均显示出一个不变形的目标区(附近有登记标志)。***搜索出登记标志并利用它确定区域的位置。然后,事前准备的图像就可被叠加到该区域上。登记标志是目标区内或其附近的任何易于识别的标志(例如十字或其他语义图)。PCT/FR91/00296的***以许多个分辨率产生被捕获图像,并在其识别过程中利用这许多分辨率。
本发明的一个目的是提供一种将图像例如广告与出现在相对不变的空间中的活动视像流相混合的***和方法。这样的空间可以是一个运动场或球场,一个舞台或一个房间,并且其位置一般都是在活动(即比赛或演出)之前就选定的。图像被“植入”到背景空间的被选场面上(名词“植入”在这里意味着图像被混入到显示被选场面的视像流的一部分上面。
具体地说,本发明利用顾及到背景空间对视像流的变化的先验信息以包括背景空间里面某些位置的图像。无论在视像流中出现背景空间的哪一个透视图对于***和方法操作来说都不重要。
根据本发明的一个优选实施例,***最好包括一个视像帧捕捉器和一个图像植入***。帧捕捉器一次捕捉一单帧视像信号。图像植入***一般将广告图像植入到帧中背景空间一个预选场面的预先规定的部位(如果该部位被显示在帧中的话)。为了确定接受植入的部位的位置,图像植入***包括一个接收单元,用于接收a)背景空间的固定场面的不透明模型和b)一个图像掩罩,它指示不透明模型要被混入图像的部位。图像植入***通过模型识别该部位是否在帧内显示以及显示在什么地方。
此外,根据本发明的一个优选实施例,***还包括一个设计工作站,图像和表示预选场面的图像掩罩可在工作站设计。
再者,识别过程最好包括a)审查帧并从中提取固定场面的特征以及b)确定一个在模型和提取的特征之间的透视图变换。
再又一点,审查和提取过程包括创建一个背景掩罩和一个前景掩罩。背景掩罩表示帧里面背景要素中感兴趣的特征的位置并被用于提取所要求的特征。前景掩罩由帧里面必须保留不变的前景要素组成。
另外,根据本发明的一个优选实施例,植入过程包括的步骤是:a)使用透视图变换变换图像、图像掩罩和共混掩罩(有选择地);b)将所变换的图像、图像掩罩和可选择的共混掩罩与帧和前景掩罩混合。正如上文所述,前景掩罩表示不被所变换的图像遮盖的前景数据的位置。
再者,***最好包括一个查找表,用于将帧里面的中间多种颜色转换为感兴趣的特征的颜色、背景要素的颜色和表示前景要素的颜色中的一个。查找表最好通过让用户指定相关颜色来创建。如果相关颜色不再表示感兴趣的特征和背景(典型地是由于照明变化),用户可指定表示所要求的要素的新的颜色,从而校正查找表。
再又一点,根据本发明的一个优选实施例,查找表被用来创建表示帧里面感兴趣的特征、背景要素和前景要素的位置的帧的背景和前景掩罩。
根据本发明的一个示例性实施例,特征就是一些直线。在一个实施例中,这些直线通过霍克变换法提取。在另一个实施例中,则通过确定直线线段的角来提取。选出感兴趣的象素并打开一个邻域。再划分邻域并选出具有最大活力的扇区。然后延伸并划分所选出的扇区。根据需要反复进行这一过程。
此外,根据本发明的一个优选实施例,***将所提取的特征映射到一个渐近函数上,以确定哪些特征是平行直线的透视图形式。
再者,根据本发明的示例性实施例,背景空间是一个其上标有直线的体育竞技场。***具有一个体育竞技场模型,并且最好有一个模型中各长方形及其拐角的清单。***最好执行以下操作:
a)由提取的特征中选出两条垂直线和两条水平线并定出它们的交点;
b)生成一个由模型的每个长方形拐角点至特征交点的变换短阵;
c)使用每个变换矩阵变换模型;
d)利用背景掩罩的背景要素,使每一个已变换的模型与帧符合;以及
e)选出与帧特征符合最佳的变换矩阵。
此外,根据本发明的一个示例性实施例,摄像机参数可被用来减少识别体育场地所需的帧里面的直线数目。对于本实施例,存在有下面的操作:
接收或提取摄像机的坐标;
将当前变换矩阵表示为坐标、俯仰、偏转和焦距矩阵的剩积,然后确定俯仰、偏转和焦距的数值;以及
识别具有算出的俯仰、偏转和焦距数值的摄像机并将该信息存储起来;以及
每当在视像中出现新的切换,便重复接收、表示和识别步骤。
现在对视像流里面的任一帧均能作为类似于前面的帧,或者作为一架识别过的摄像机拍摄的新切换部分进行处理。
通过下面结合附图所作的详细叙述,本发明将得到更全面的理解和正确评价。在附图中:
图1是一个方框图,说明根据本发明的一个优选实施例构造和工作的用于将图像植入视像流的***;
图2是一个网球比赛的概略图,用作一个说明图1的***工作的例子;
图3是一个用于理解图1***工作的网球场模型图;
图4A是要被植入的图像的一个例图;
图4B是用于图4A的图像和图3的模型的图像区域掩罩的例图;
图4C是用于图4A的图像和图3的模型的共混掩罩的例图;
图5是一个方框图,说明图1***的图像植入单元形成部分的诸部件;
图6是一个示例性视像帧的例图,图4A的图像要被植入其中;
图7是一个根据图6的视像帧生成的背景掩罩的例图;
图8是一个方框图,说明图5的图像植入单元的特征识别单元形成部分的工作;
图9A是一个流程图,说明特征提取方法;
图9B是用于理解图9A的方法的背景掩罩的部位例图;
图9C是图9B的背景掩罩的子扇区的直方图,用来理解图9A的方法;
图10是一个方框图,说明图5的图像植入单元的透视图识别单元形成部分的工作;
图11A是由图7提取的特征的交汇点的例图;
图11B是透视图平行线由于计算的不精确交汇在不同的点的例图;
图12A和12B是心射投影的例示图,用于理解图10透视图识别单元的工作;
图12C是用于图12A和12B的心射投影的示例函数的曲线图;
图13是一个详细方框图,说明10所示的工作过程;
图14A和14B用于理解图13的工作过程;
图15是使用变换矩阵的例图;
图16是用于理解四边形与几何模型之间的符合过程的例图,用来理解图13的工作过程;
图17是一个方框图,说明图5的图像植入单元的变换器和混合单元的工作过程;
图18是一个方框图,说明用于修正图5的图像植入单元中使用的查找表一种校正方法;
图19是摄像机参数的简略说明;
图20是一个流程图,说明当图19的摄像机参数已知或可算出时变换矩阵的工作过程;
图21是一个用于图20所示过程中的表格的例图;以及
图22是一个流程图,说明当摄像器参数已知或可算出时的工作方法。
现在参照图1说明一种用于将广告之类的图像和出现在相对不变的背景空间中的活动视像流相混合的***。图像被植到背景空间的一个被选场面上。***将被叙述在网球比赛(还参照图2说明)的电视播放过程中,不言而喻,本发明工作于活动出现的场面事前已知和可识别的所有情形。
本发明的***一般包括一个视像帧捕捉器10,用于将输入的视像序列(例如网球比赛)转换成视像帧;一个设计工作站12,用于设计要被植入到在视像帧内看得见的被选场面(例如网球场)上的图像(例如广告);一个图像植入***14,用于将视像帧与所设计的图像并接;一个计算机控制***16,用于控制操作员的操作并为操作员提供向图像植入***14的输入;以及一个广播监示器18。
计算机控制***16一般包括一个中央处理单元(CPU)20,一个键盘22,一个鼠标24,一个磁盘26,一个可更换的介质驱动器(例如软盘27)以及一个监示器28。监示器28一般用构成CPU 20的部件的图形适配器驱动。设计工作站12一般还包括诸如软盘27一类的可更换介质驱动器。
计算机控制***16和图像植入***14一般通过总线***29通信。设计工作站和图像植入***16一般通过可更换的介质通信。
视像序列可从任一个信号源例如从录像带,通过卫星、微波或任何其他形式视频通信等等的远地发射台接收。如视像序列由卫星提供,则***不控制视像速率。因而图像植入***14必须在视像速率内完成其操作,卫星视像流的各帧之间的视像速率一般为30ms。如果序列来自录像带,则***能够控制视像速率并以任何要求的速度工作。
视像序列原本产生于比赛场。正如由图2所能见到的,对于网球比赛一般有两架电视摄像机30拍摄网球场32上的活动。电视摄像机30的位置一般不动。
球场32被网34分成两个半场。每个半场具有多个一般漆成第一绿色色调的区域36,各区域36被一般漆地白色的线条分开。外场区40一般被漆成第二绿色色调。
在现实中,直线38是一些平行线和垂直线。由于摄像机30是从一个角度而不是从上方推向活动体,它所接收到的活动图像都是透视图像。于是,在摄像机30的视像输出中,平行线38显得好像会聚于有限远处。视频输出的透视图的角度随摄像机30的角度和焦距量改变。
本发明将在各个透视图角度和焦距量的情形下把一个图像42(例如文字“IMAGE”)植在被选背景场面上的一个要求的位置。对于网球场来说,可能的位置是由四条直线38确定的网球场32的一个半中的任何长方形。如图2所示,图像42不影响选手44的活动;图像42显得好像是漆在球场场面上的。
在现实中,由于球场32的色调和球场32内的直线38的位置均不变,如果图像植入***有一个包括有要被植入图像位置的比赛空间的模型,并至少能够识别拍摄角度和焦距量,就能够将图像并接到视像序列中,使得看起来好像图像被植在所要求的位置。为了做到这一点,图像植入***还需知道摄像机所看到的球场的颜色。这些颜色能够随照明(日光或人造光)的变化而变化。
现在附带参照附图3说明网球场的几何模型50,以及参照图4A、4B和4C说明植入设计师准备的数据。
植入设计师工作在设计工作站12(例如由以色列赫兹利亚的西太克斯公司制造的BLAZE工作站),一般有一个顶视图形式的网球场几何模型50。模型50一般为球场32的一个按比例缩小形式,它指出其要被植入***14识别的要素(例如直线38)。其他的运动场可以包括圆弧或别的明确定义的曲线。其他的识别要素包括直线38的交点54。
植入设计师设计要被植入的图像42(示于图4A)并决定把它放在模型50上的什么地方。若干可能的位置52示于图3。然后,设计师准备一个图像位置掩罩56(图4B)以识别图像42要被放在模型50中的什么地方。掩罩56在模型50中要被放置图像42的位置处透光而在其他各处则不透光。
由于图像42可能是色彩鲜明的,因而可能要求的不是植入图像本身而是其经过柔和处理的形式,以便不致明显干扰球场32上的活动。因而,植入设计师可以有选择地准备一个共混掩罩58(图4C),表示图像42在位置掩罩56所指出的植入位置处应当怎样地与球场32的颜色共混。共混掩罩58可以是这一技术中已知的任何适合掩罩。在图4C中,示出掩罩58具有四个区59,每一区表示球场颜色的最终不同数量,其中外区59一般较内区掺有更多的球场颜色。
现在回过头来参照图1和2。由几何模型50、图像42、图像位置掩罩56以及可选择的共混掩罩58组成的植入数据一般都在相应的网球比赛之前准备好,并且一般都通过可更换的存储介质提供给图像植入***14用于在比赛发生时植入到所输入的视像序列中。
大多数电视直播比赛的视像序列都用一个初始化的操作序列开头,使本地电视台的操作人员能够将自己的***与输入的序列同步。这一点对录像带数据也是正确的。
在本发明中,初始化的视像数据被帧捕捉器10捕捉,并被首先送到计算机控制***16。电视台操作员选出一个具有清楚的赛场景像的帧,并如下文所述,用它提供校准信息。校准信息被图像植入***14用来识别球场32及其特征(例如直线38)。在下文叙述的实施例中,校准信息包括背景中所感兴趣的特征例如场地线、运动场(球场32)以及运动场以外的地面(外球场区40)的颜色。可以接收到的其余颜色均被定为前景颜色。别的运动场可以要求或多或少的特征作定义,并因而要求或多或少的颜色。
电视台的操作员利用鼠标24和键盘22交互定义校准信息。这一点可用许多种方法达到,下面将叙述其中的一种。一个四色层被叠加在控制监示器28当前显示的帧上。开始时,这个四色层仅包括一种颜色-一种透明的颜色。于是,这一当前帧在开始时是可见的。
操作员指定描述三个特征即直线38、内运动场36以及外运动场40之一的象素。当他选出一个象素时,叠加层中对应于当前帧中具有被选颜色的象素的那些象素被着以单一的已调换颜色,因而覆盖当前帧中它们所对应的象素。所选的颜色被存储。对所有三个区重复这一过程。所有未选中的颜色被指定为第四调换色。
如果操作员认可这最后的四色层,则由当前帧选出的颜色之间的查找表(LUT)和调换色便产生出来了。
如果需要,计算机控制***16能够将操作员为以后在LUT校正周期使用选出的象素存储起来,下文中将参照图18叙述。
计算机控制***16向图像植入***14提供由LUT构成的帧数据和用于产生LUT的象素。***14利用上述帧数据识别输入视像信号的每一帧里面的所要求的特征。
现在参照图5说明图像植入***14的通用部件。也参照用于理解***14的工作的图6和7。
***14一般包括一个用于识别在每个输入视像帧中存在球场32的哪些特征的特征识别单元60(图5),以及用于识别活动摄像机30的拍摄角度和焦距并确定模型50和输入视像帧之间的适当透视图变换的透视图识别单元62。***14还包括一个用于将植入数据由模型平面变到图像观察平面的变换器64以及一个用于将透视图植入数据与当前视像相混合从而将图像42植到球32上的混合器66。
正如下文中更详细叙述的一样,特征识别单元60利用LUT创建出输入帧的一个背景掩罩,指出帧的哪一部分具有可能感兴趣的背景特征以及哪一部分是前景,因而在后面的操作中是不会被改变的。因6和7分别提供一个示例性输入帧68及其相应的背景掩罩70。
图6的输入帧68在球场32上有两个选手44。图7的背景掩罩70示出各个四色区。标为1-4的区域分别为直线颜色、内场颜色、外场颜色以及保留颜色的区域。注意选手44的区域被标为背景颜色4并遮盖别的重要区域(例如白色直线1的那些区域)。
单元60(图5)由背景掩罩70提取运动场的特征。对于网球场来说,所感兴趣的特征是直线38。适视图识别单元62将所提取的特征与模型50的那些相比较,并从中产生出一个变换矩阵。
通过使用变换矩阵,变换器64将图像植入数据(即要被植入的图像42、图像位置掩罩56以及共混掩罩58)转换为输入视像帧的透视图。
最后,通过使用已变换的图像位置掩罩56和背景掩罩70,混合器66将透视图形式的图像42植入输入视像帧的所要求的部位。于是,如果选手在球场32植入图像42的部分走动,他们将好像就在被植入的图像“上方”行走。如果需要,已变换的共混掩罩58可被用来将图像42与植入图像42的场地的颜色共混。
现在参照图8详细说明特征识别单元60的工作过程。在步骤72,单元60使用LUT将来自许多彩色帧的输入视像转换为称作背景掩罩70的四色图。具体地说,对于网球场32,LUT提供一个第一数值至具有直线38的颜色的象素,一个第二数值至具有内球场36的颜色的象素,一个第三数值至具有外球场40的颜色的象素以及一个第四数值(表示前景象素)至其余的象素。这一点示于图7。LUT可以这一技术中已知的许多种方法中的任何一种适当方法实现。
背景掩罩70不仅确定哪些象素属于感兴趣的背景,而且包括例如直线38一类的感兴趣的特征。于是,在步骤74,特征识别单元60对背景掩罩70进行处理以提取感兴趣的特征。一般尽管不必要,LUT还是设计得提供具有单色数值的特征。
对于网球比赛的例子,提取过程包括审查背景掩罩70具有第一数值的那些象素并从中提取直线线段。例如,步骤74可通过在背景掩罩70上的一个霍克变换操作来实现。霍克变换叙述在1982年科学院出版社出版的阿兹利尔·罗逊费尔德与艾维纳什·C凯克所著的书“数字图像处理”第二版的第二卷第121-126页。本文中引用该书作为参考。
结果为一组直线参数-各描述背景掩罩70中的一个直线线段。每个线段的直线参数包括描述线段的直线方程的系数以及表示包含在线段中的象素数目的权重数值。
一种另外的提取方法示于现在就来简单参考的图9A、9B和9C,正如9A总体示出的,该方法在背景掩罩70中具有感兴趣的颜色(本例中为白色)的一个第一象素69(图9B)处开始,并考察其邻域75以确定哪里存在更多的白色象素(用阴影标出)。为了做到这一点,将邻域75分成一个预定大小的子扇区71-74,并完成各子扇区中白色象素分布的直方图。图9C示出图9B的扇区71-74的直方图。具有强极大值的一个(子扇区73)被选出作为继续查找的下一个扇区。
在下一个步骤,确定一个由被选的子扇区73及其延伸部分组成的新邻域78。整个邻域78是邻域75的两倍长。这一新的邻域78再划分为四个子扇区76并重复上面的过程。
继续这一过程直到满足下面的判断标准:
1.子扇区窄到足以被确定为一根直线。
2.在直方图中得不出强极大值。
如果达到条件1,则直线的系数被存储起来并且组成直线的象素随即被“着色”列具有“保留颜色”因而从查找中删去。
特征提取过程产生出一组可能的特征,它包括真正的特征和杂散的直线。
现在参照图10一般说明图5的透视图识别单元62的工作过程。还要参照用于一般理解单元62的工作过程的图11A和11B,参照以网球场32作例子详述单元62工作的图13以及参照用于理解图13详述的工作过程的图12A、12B、12C、14A和14B。
通过使用一个先验信息,单元62在步骤80处理可能的特征组并决定哪一个最可能是感兴趣的特征。在步骤82,单元62从最后的真正特征中选出特征的一个最小集合并试图将它们与模型50的特征符合。每当需要时就重复这一过程直到找出符合为止。在步骤84,符合的特征被用来生成一个变换矩阵M,将模型变换为输入视像帧中的特征。
在网球场32的例子中,步骤80利用模型50的直线38在两个方向(垂直和水平)平行并且在透视图中(例如在输入视像帧中)平行线实际上相交于一有限点的事实。这一点示于图11A,图中所有被提取的线段(用实线表示)均用虚线延长。对应于实际平行线的透视图直线(即伪平行线90)相交于一个远离帧的外边沿92的点91。一切别的交点(标为94)均出现在边沿92之内或者紧靠其边界。
但是,如图11B所示,由于数字化误差的关系,有可能确定出三个伪平行线的延长线不在一个单一的点相交。事实上,这些线可能在隔开很远的三个点96相交。
申请人已经实现了,由于透视图平行线在有限远处相交,被提取的直线向一个渐近函数的映射将使得交点靠在一起出现。因而,根据本发明的一个优选实施例,被提取的直线段映射到一个二维渐近函数上。一个这样的映射被称作心射图法,在马萨诸塞州坎布里奇市的MIT出版社1986年出版的伯索尔德·克劳斯·保尔·霍恩所著的“机器人视觉”一书的第258、259和275页有叙述,本文中引用这几页作为参考。心射图法的例子示于图12A和12B。
在心射图法中,XY平面102上的点100被映射到半球面104上的点100′。XY平面上的直线106被映射为半球面104的大弧106′(即一个球面的大圆周的弧)。原点用南极点109表示,无限远点用中纬线108表示。于是,靠近中纬线108的任何点集110(图12B)均表示伪平行线的交点,由此,通过点集110的点的直线均为平行线。
图12B示出对应于一些任意提取的直线段(未示出)的多条大弧(标为120a-120f)。三条弧线120a-120c具有的交点122在中纬线108附近形成一个点集110a。大弧120d-120f也在中纬线附近相交不过是相交于点集110b。各条大弧互相相交,不过它们的另一交点均在比较靠近南极点109的位置,而不是靠近中纬线108。
在步骤130(图13),心射图法被用来根据据由特征提取过程(图8的步骤74)产生的一组直线线段阵列产生一组大弧。
式中f(z交点)为具有类似于图12C的曲线134的曲线的任何函数,其中大多数的点均获得一个低的数值,只有靠近中纬线108的那些点(z=1)获得接近于1的数值。例如,f(z交点)可以是z5。
在步骤136,围绕各个交点122的一个小的邻域被用来查找其他交点。若找出任何一交点,则该交点与已找出的交点被作为点集110(图12B)存储起来。点集110也被定义为一个f(z交点)的数值高于预定的门限值的点集。这样,点集10可以只包含一个交点。在图12B中有三个点集110a-110c,其中之一即110c就只包含一个交点122。
一旦所有的点均被找遍,每一点集110的位置就通过找出点集中各点的“重心”来确定。点集110的权重为点集110中各点的数值VK之和。
在步骤138,选出具有最高权重的两个点集。对于图12B的例子,选出3点集110a和110b。
在步骤140,假定一个点集表示“垂直”线,而另一个则表示“水平线”。而且,在步骤140中,对应于两个选出的点集的直线段被分别标上“垂直”和“水平”字样。
在步骤142,审查“垂直”和“水平”线,并选出两根最重的垂直线和两根最重的水平线,这里的“最重”由Wi的数值确定。所选出的垂直线(标为146)示于图14A并用作图11A的直线。在步骤144,确定四条选出的直线的交点(标为A、B、C和D)并存储起来。如图14A所示,选出的直线可以相交在帧外。
步骤130-144是识别视像帧里面的真正特征(图10的步骤80)所必须的操作过程。步骤144的输出便是要与模型符合的特征。其余的步骤将特征与模型符合和将变换(图10的步骤82和84)确定为整套的操作过程。
一个标准的网球场具有五条垂直线和四条水平线。由于不可能把球场的两个半场区分开,因而仅有三条水平线是重要的。由三条中选出两条水平线(有三种可能的组合)和由五条中选出两条垂直线(有10种可能的组合)能够组成的不同四边形的数目为30。这30个四边形可以在四个不同的方向形成总共120个矩形。
在步骤150,通过选择其四个角(图14中标为A′、B′、C′和D′)选出几何模型50中120个矩形里面的一个来。正如所能看到的,这不是正确的符合。
在步骤152,将模型的四个点A′、B′、C和D′(图14B)变为视像帧的四个点A、B、C和D(图14A)的矩阵M被确定。正如参照图15所说明的,矩阵M可表示为一连串的变换的叠加。
图15示出三个四边形180、182和184。四边形180是示于XY平面上的模型四边形ABCD,四边形182是在TS平面内具有点(0,1)、(1,1)、(0,0)和(1,0)的单位正方形,而四边形184则是UV平面上的透视图四边形。
由模型四边形180至透视图四边形184的变换M可以由两个变换即一个由四边形180至单位正方形182的变换并改变比例的矩阵T和一个由单位正方形182至四边形184的透视图矩阵P的叠加来表示。矩阵T(采用齐次坐标)具有形式: 式中SX和SY分别为X和Y方向的比例因子,TX和TY为X和Y变换因子。SX、SY、TX和TY由方程式
(X,Y,1)*T=(S,t,1) (3)对四边形180的四个坐标(X,Y,1)和单位正方形182的四个坐标(S,t,1)求出。
矩阵P(采用齐次坐标)具有形式:
矩阵P的元素通过解下面的方程求出:
(S,t,1)*P=(U,V,W) (5)式中(U,V,W)表示图15所示的四边形184的点A、B、C和D的四个已知坐标,并且W总是归一化的。
假设a33=1,则可按以下方法计算出P。
由(S,t,1)=(0,0,1),我们求出
a31=U0
a32=V00 (6)
由(S,t,1)=(1,0,1),我们求出:
a11+a31=U10(a13+1)a11=U10(a13+1)-U00 (7)
a12+a32=V10(a13+1)a12=V10(a13+1)-V00
由(S,t,1)=(0,1,1),我们求出:
a21+a13=U01(a13+1)a21=U01(a23+1)-U00 (8)
a22+a32=V01(a23+1)a22=V01(a23+1)-V00
由(S,t,1)=(1,1,1),我们求出:
a11+a21+a31=U11(a13+a23+1) (9)
a12+a22+a32=V11(a13+a23+1)
由方程(7)-(9),产生出含两个未知数a13和a23的两个方程如下:
a13(U10-U11)+a23(U01-U11)=U11+U00-U10-U01(10)
a13(V10-V11)+a23(V01-V11)=V11+V00-V10-V01
一旦求出a13和a23,其余的元素就能由方程(7)和(8)求出。
变换或映射矩阵M等于矩阵T和P的矩阵乘积,如下式:
M=T*P
在步骤154,模型50的直线38被用映射矩阵M映射到视像帧上。结果得到一个在存在模型的已转换象素的地方具有1在别的地方则具有0的变形帧156(图16)。正如所能看到的,点A′、B′、C′和D′分别与点A、B、C和D符合。但是,几何模型50的其余地方则不相符合。
在步骤158,求变形帧156与背景掩罩(图7)的“异或”值。“异或”步骤在两种情形输出一个0:a)变形帧156的象素具有1值和视象帧的象素具有场地线颜色;b)变形帧156的象素具有0值和视象帧的象素具有“非场地线”颜色。其余的情形均得到1值。
在步骤160和161,对具有1值的象素数目计数并将计数数值与变换矩阵M相联系。
所有的矩阵M都已经确定之后,在步骤162,选出具有最小权重的矩阵。由于存在不能达成任何符合的可能性(即电视上正在放映商业广告,电视摄像机正在对着观众,等等),在步骤164,用一个门限值检验被选矩阵的权重,若高于那个值,则提供一个零值变换矩阵。否则,将所选矩阵确定为变换矩阵M。在前面任何步骤的试验条件出现故障时,也提供零变换矩阵。
现在参照图17说明图5的变换器64和混合器66的工作过程。变换器64利用变换矩阵M使每个图像42、图像区域掩罩56以及共混掩罩58变形到视像帧的平面(步骤170)。它也对变形的图像区域掩罩和背景掩罩进行逻辑乘(AND),从中产生一个允许掩罩。允许掩罩表示那些既是背景象素又处在图像区域之中的视像帧的象素。图像将被植到这些象素上。
混合器66根据共混和允许掩罩将变了形的图像与视像帧组合。每一象素(x,y)的实现公式一般为:输出(x,y)=β(x,y)*图像(x,y)+(1-β(x,y))*视像(x,y)(12)
β(x,y)=α(x,y)*P(x,y) (13)式中输入(x,y)为输出帧的象素数值,图像(x,y)和视像(x,y)分别为植入图像42和视像帧的数值,α(x,y)为共混掩罩58中的数值以及P(x,y)为允许掩罩中的数值。
上文的叙述假定了产生背景掩罩70的LUT在整个比赛期间保持正确。如果照明变化(一般出现在室外比赛中),则视像序列的色彩会变化,其结果是,背景掩罩70不再正确表示背景要素。因此可以周期性地执行一个校正过程。校正过程详述在图18中,现在就来参考它。
注意,在校准过程中,表示背景中感兴趣的特征(例如场地线、内球场和外球场)的测试点由操作员选择。点的位置及它们的彩色数值被储存起来。
一旦用于校准视像帧的矩阵被确定,测试点的位置便由视像帧平面转换到几何模型平面(即使用矩阵M的逆变换)。在以后某些时候需要校准时,测试点再转换到当前的视像帧平面。选出当前视像帧里面变了形的测试点并对其邻域取样。计算出每个领域的颜色特性(例如用直方图),并将结果与存储的点的特性相比较。如果在颜色中有任何显著的变化,则校正LUT并将相关的点转换为几何模型且存储起来。
将正确评价在上文中就网球比赛以及就其他背景信息固定不变且已知的情形叙述的本发明所包括的操作程序。如下文所述,上文叙述的操作程序可通过跟踪和通过知道摄像机参数用许多方法改进。
当提供有关摄像机位置、转动角和焦距量的信息(由外部或者由***确定)时,由于透视图矩阵P的自由度数目减少的关系,上文叙述的操作过程可以缩短。
具体地说,透视图矩阵P包括有考虑所用摄像机的位置、转动角以及焦距的信息。这个信息可以提取出来,并且透视图矩阵P(或者同样地,变换矩阵M)可以被重新定义为各个摄像机参数的函数。
图19示出一架摄像机及其参数。其位置用具有离X,Y,Z坐标系172的原点0坐标(x,y,z)的向量171表示。摄像机关于其基轴U、V和W的相应滚动、俯仰、偏转和扫调分别如箭头173、174和175所示。此外,摄像机镜头可以沿V轴调焦距,如箭头176所示。
假设摄像机不滚动并且摄像机的纵横比(摄像机生成的图像中象素的宽度与高度之间的比例)规定为方形象素,则透视图矩阵P可以参数化为摄像机的位置及其俯仰、偏转和焦距的函数。假设摄像机从前帧至后帧不改变位置而仅仅改变其俯仰、偏转、角度或焦距。
图20、21和22表示确定和利用摄像机参数的方法。在图20中,当在视像流中识别出一个新的切换时,则在新切换的第一帧上执行如图10所示的整个透视图识别操作过程(步骤180)。步骤180产生透视图距阵P的元素a(i,j)。过程在两个方向继续进行:
a)由图13的步骤154开始,确定变换矩阵7;以及
b)如MIT出版社1993年出版的奥利弗、福格拉斯所著“三维计算机视觉:一种几何观点”一书的第3.4节所说的那样由矩阵P提取出摄像机坐标(x,y,z)(步骤184)。本文中引用该书作为参考。
一旦提取出摄像机坐标(x,y,z),便执行如下两个检查(步骤186和188):条件186:摄像机在方向174不滚动(旋转)。若元素a13不等于零时,则存在滚动。条件188:摄像机的纵横比(AR)定义一个正方形象素(即AR=1)。
如果任何一个条件不真实,则缩矩操作过程的剩余部分立即停止。
如果两个条件均被满足,则像在“三维计算机视觉:一种几何观点”一书中所说的那样,矩阵P可以被重新表示(步骤190)成下面各矩阵的乘积:
a)焦距(f):摄像机焦平面的投影的矩阵;
b)变换:由坐标系原点至计算出的摄像机位置(x,y,z)的变换的距阵;
c)俯仰(α):围绕U轴转一角度α的旋转矩阵;以及
d)偏转(θ):围绕W轴转一角度θ的旋转矩阵。
使用焦距、俯仰、偏转和变换的数值,将第一摄像机彻底校准(步骤192)并将其参数登载到识别过的摄像机的表格194(示于图21)中。别的摄像机将接下文中叙述的方法识别并登记在表格194中。
然后,在所有的帧上面执行根据图22所叙述的缩短计算过程。使用α、θ和f考查一个帧(步骤196)以确定它与前面的帧的相似性。相似性则通过一个符合系数(即使用计算出的矩阵相继映射到模型上的帧中感兴趣的象素的百分率)来度量。如果得到的相似性良好,则所计算得的矩阵可用于***操作(根据图17所述)。如果符合系数很小,则可能该帧是用表格194里的另一架摄像机来拍摄的。
为了找出另外的摄像机,必须审查当前帧并识别其中的一根直线。而且,还必须识别被识别直线上的一个点例如和另一直线的交点(步骤198)。通常被识别的直线都是“最粗状的”直线。
在步骤200,按下法确定列在表格194中的各架摄像机的符合值:
将被识别的直线和点与几何模型中的一根直线和点联系起来,并且确定出这一联系的透视图矩阵P(它将模型的直线和点交换到被识别的直线和点)。由于每一个透视图矩阵都是当前摄像机(已知)的坐标(x,y,z)和俯仰角α、偏转角θ以及焦距f(未知数)的一个函数,因而,在假定被识别的直线和点很好地符合模型的直线和点的情况下,最终的透视图矩阵P可通过能够算得出来的俯仰、偏转及焦距的数值确定。
如在图10的方法中一样,变换矩阵M根据透视图矩阵P确定,并且几何模型通过矩阵M变换为帧内图像的平面。模型的直线符合图像里的直线并产生一个符合数值。
对几何模型里的直线和点的每一组合反复进行将模型的直线和点与被识别的直线和点联系,根据已知的摄像机坐标及直线和点的联系产生一个透视图矩阵P,并将一个符合数值确定为的过程。如果符合数值大大小于1,就表示符合很差,则对坐标(x,y,z)已知的另一架摄机重复进行上文所述的与被识别直线和点的符合过程。
将对每一架摄像机计算出的最大符合系数登入表格194(图21)的一个标为202的栏中。在步骤204,选出具有系数202的最高值的摄像机,如果系数大于一个预定的门限值,则它的透视图矩阵P被用于图17的图像***过程。如果栏202的最高系数有一个低于门限的数值,则有一个未知的摄像机被用来拍摄了当前帧。执行图10的过程必须继之以图20的摄像机识别过程。
熟悉这一技术的人员将会意识到本发明并不限于上文中特别示出和叙述的那些东西。更确切地说,本发明的范围系由后面的权利要求书所规定。
Claims (36)
1.一种用于将一图像与出现在背景空间的活动视像流相混合的***,背景空间有一个固定的场面并且被至少一架摄像机以不确定的方式扫描,***包括:
一个视像帧捕捉器,用于一次捕捉视像信号的一个单帧;
一个图标植入***,包括:
一个接收装置,用于接收:a)所述固定场面的一个不透明模型以及b)一个图像掩罩,它指示所述不透明模型要被混入所述图像的预选部位;
利用所述模型确定是否在所述帧内以及在帧内何处示出所述预选部位的识别装置;以及
在所述帧示有预选部位时,利用所述识别装置的输出将所述图像植入到所述帧中所述固定场面的所述预选部位的装置。
2.根据权利要求1的***,还包括一个用于预先设计所述图像和所述图像掩罩的设计工作站,所述设计工作站间或与所述用于接收的装置通信。
3.根据权利要求1的***,其中所述识别装置包括:
用于审查所述单帧和用于从中提取所述固定场面的特征的装置;以及
用于确定在所述模型和所述提取的特征之间的透视变换的装置。
4.根据权利要求3的***,其中所述用于审查和提取的装置包括用于创造背景掩罩和前景掩罩的装置以及用于利用背景掩罩提取所要求的特征的提取装置,其中所述背景掩罩指示感兴趣的特征,背景要素和前景要素的位置,其中所述前景掩罩系由所述背景掩罩的前景数据部分组成,以及其中所述提取装置利用所述背景掩罩感兴趣部分的特征提取所述要求的特征。
5.根据权利要求4的***,其中所述用于创建的装置包括一个查找表,用于在所述帧的多种彩色中间转换成所感兴趣的特征的颜色、背景要素的颜色以及表示前景要素的颜色中的一种。
6.根据权利要求5的***,其中所述用于创建的装置包括用于根据用户指定的颜色产生所述查找表的装置以及当所述颜色不再表示感兴趣的特征和背景要素时用于校正所述查找表的校正装置。
7.根据权利要求4的***,其中所述植入装置包括:
用于以所述透视图变换变换所图像和所述图像掩罩的装置;以及
用于将所述变换的图像和所述变换的图像掩罩与所述单帧和所述前景掩罩(它表示不被所述变换的图像遮盖的前景数据的位置)相混合的装置。
8.根据权利要求4的***,其中所述植入装置包括:
用于以所述透视图变换变换所述图像、所述图像掩罩以及共混掩罩的装置;以及
用于将所述变换的图像、所述变换的图像掩罩和所述变换的共混掩罩与所述单帧和所述前景掩带(它表示不被所述变换的图像遮盖的前景数据的位置)相混合的装置。
9.根据权利要求4的***,其中所述特征是直线。
10.根据权利要求9的***,其中所述用于审查和提取的装置包括一个霍克变换。
11。根据权利要求9的***,其中所述用于审查和提取的装置包括用于通过研究象素的邻和使所述邻域不断变窄来确定所述直线线段的角度的装置。
12.根据权利要求9的***,其中所述用于确定的装置包括用于将所述提取的特征映射到一个渐近函数上来确定哪一个所述特征是平行直线的透视图形态的装置。
13.根据权利要求9的***,其中所述背景空间是一个体育竞技场,并且其中所述用于确定的装置还包括:
所述模型的长方形及其拐角点的位置的一个清单;
用于从所述提取的特征中选出两根垂直线和两根水平线,并且用于确定其交点的装置;
用于生成由所述模型每个长方形的拐角点变到所述特征的交点的变换矩阵的装置;
用于以每个变换矩阵变换所述模型的装置;
用于使用所述背景掩罩的所述背景要素使每个变换的模型与所述单帧符合的装置;以及
用于选择与帧特征符合最佳的变换矩阵的装置。
14.根据权利要求13的***,其中所述用于确定的装置还包括:
用于接收或提取一组摄像机坐标的装置;
用于将当前变换矩阵表示成坐标,俯仰、偏转和焦距矩阵之积并进而确定俯仰、偏转和焦距数值的装置;以及
用于反复接收,表示和识别何时出现一个新的视像切换的装置。
15.一种用于将图像与出现在背景空间的活动视像流混合的方法。背景空间具有固定的场面并且被至少一架摄像机以不确定的方式扫描,方法包括的步骤是:
一次捕捉视像信号的一个单帧;
接收a)所述固定场面的一个不透明模型和b)一个表示所述不透明模型的要混合所述图像的预选部位的图像掩罩;
利用所述模型确定是否在所述帧内以及在帧内何处示出所述预选部位;以及
在所述帧示出所述预选部位时,以所述利用步骤的输出将所述图像植入所述帧的所述固定场面的所述预选部位。
16.根据权利要求15的方法,还包括事先设计所述图像和所述图像掩罩并不时地与所述用于接收的装置通信的步骤。
17.根据权利要求15的方法,其中所述利用步骤包括的步骤是:
审查所述单帧以及从中提取所述固定场面的特征;以及
确定所述模型和所述提取的特征之间的透视图变换。
18.根据权利要求17的方法,其中所述审查和提取步骤包括创建背景掩罩和前景掩罩的步骤,其中所述背景掩罩指示所感兴趣的特征,背景要素和前景要素的位置,其中所述前景的掩罩由所述背景掩罩的前景数据部分组成,以及使用所述背景掩罩的感兴趣部位的特征提取所述要求的特征的步骤。
19.根据权利要求18的方法,其中所述创建步骤包括通过一个查找表在所述帧的多种颜色中间转换为感兴趣的特征的颜色、背景要素的颜色以及表示前景要素的颜色中的一种。
20.根据权利要求19的方法,其中所述创建步骤包括根据用户指定的颜色产生所述查找表的步骤以及在所述颜色不再表示所感兴趣的特征和背景要素时校正所述查找表的步骤。
21.根据权利要求18的方法,其中所述利用步骤包括的步骤是:
以所述透视图变换变换所述图像和所述图像掩罩;以及
将所述变换的图像和所述变换的图像掩罩与所述单帧和所述前景掩罩(它表示不被所述变换的图像遮盖的位置)相混合。
22.根据权利要求18的方法,其中所述利用步骤包括的步骤是:
以所述透视图变换变换所述图像,所述图像掩罩和共混掩罩;以及
将所述变换的图像、所述变换的图像掩罩和所述变换的共混掩罩与所述单帧和所述前景掩罩(它表示不被所述变换的图像遮盖的前景数据位置)两者相混合。
23.根据权利要求18的方法,其中所述特征是直线。
24.根据权利要求23的方法,其中所述审查和提取步骤包括进行一次霍克变换。
25.根据权利要求23的方法,其中所述审查和提取步骤包括通过研究象素的邻域和使所述邻域不断变窄来确定所述直线线段的角度的步骤。
26.根据权利要求23的方法,其中所述确定步骤包括将所述提取的特征映射到一个渐近函数来确定哪一个特征是平行线的透视图形态。
27.根据权利要求23的方法,其中所述背景空间是一个体育竞技场,并且其中所述确定步骤还包括的步骤是:
提供所述模型的长方形及其拐角点的位置的一个清单;
从所述提取的特征中选出两根垂直线和两根水平线并确定它们的交点;
生成由所述模型的每个长方形的拐角点变到所述特征的交点的变换矩阵;
用每一个变换矩阵变换所述模型;
使用所述背景掩罩的所述背景要素使每个变换的模型与所述单帧符合;以及
选择与帧的特征符合最佳的变换矩阵。
28.根据权利要求27的方法,其中所述确定步骤还包括的步骤是:
接收和提取一组摄像机的坐标;
将当前变换矩阵表示成坐标、俯仰、偏转和焦距矩阵之积,并进而确定俯仰、偏转和焦距的数值;以及
识别具有标准的俯仰、偏转和焦距的数值并存储这些信息的摄像机;以及
每当出现新的视像切换时重复接收、表示和识别的步骤。
修改的权利要求〔国际局于1995年8月24日收到原权利要求1-28被新的权利要求29-36替换〕
29.一种用于一次将一个图像植入表示出现在背景空间的一连串动作的多个视像帧的一个被选帧的方法,背景空间具有一个固定的平面场面并且被至少一架摄像机扫描,方法包括的步骤是:
生成与所述多个视像帧无关的所述固定场面中的一个被选场面的模型,所述模型包括表征所述场面的几何特征的一种图形;以及
利用所述模型将所述图像植入所述帧内,所述利用步骤包括用透视图法改变所述模型形状的步骤。
30.根据权利要求29的方法,其中所述几何特征包括至少一个由直线和弧线组成的线族。
31.根据权利要求30的方法,还包括提供各条所述直线的弧线之间的平面关系的表示法的步骤。
32.根据权利要求29的方法,其中所述图形是一种平面向量图形。
33.用于一次将一个图像植入表示出现在背景空间的一连串动作的多个视像帧中的一个被选帧的装置,背景空间具有固定的平面场面并被至少一架摄像机扫描,装置包括:
用于生成与所述多个视像帧无关的所述固定场面中的一个被选场面的模型的装置,所述模型包括表征所述场面的几何特征一种图形;以及
利用所述模型将所述图像植入所述帧的装置,所述利用装置包括以透视图的方法改变所述模型形状的装置。
34.根据权利要求33的装置,其中所述几何特征包括至少一个由直线和弧线组成的线族。
35.根据权利要求34的装置,还包括用于提供各条所述直线和弧线之间的平面关系的表示法的装置。
36.根据权利要求33的装置,其中所述图形是一种平面向量图形。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL10895794A IL108957A (en) | 1994-03-14 | 1994-03-14 | Video sequence imaging system |
IL108,957 | 1994-03-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1144588A true CN1144588A (zh) | 1997-03-05 |
CN1087549C CN1087549C (zh) | 2002-07-10 |
Family
ID=11065923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN95192084A Expired - Fee Related CN1087549C (zh) | 1994-03-14 | 1995-02-27 | 一种将图像植入视频流的方法和*** |
Country Status (22)
Country | Link |
---|---|
US (2) | US5491517A (zh) |
EP (1) | EP0750819B1 (zh) |
JP (1) | JPH09510336A (zh) |
KR (1) | KR100260786B1 (zh) |
CN (1) | CN1087549C (zh) |
AT (1) | ATE211872T1 (zh) |
AU (1) | AU692529B2 (zh) |
BG (1) | BG62114B1 (zh) |
BR (1) | BR9507057A (zh) |
CA (1) | CA2179031C (zh) |
CZ (1) | CZ286248B6 (zh) |
DE (1) | DE69524946D1 (zh) |
HU (1) | HU220409B (zh) |
IL (1) | IL108957A (zh) |
LV (1) | LV11716B (zh) |
NO (1) | NO963811L (zh) |
NZ (1) | NZ282275A (zh) |
PL (1) | PL176135B1 (zh) |
RU (1) | RU2108005C1 (zh) |
TW (1) | TW367452B (zh) |
WO (1) | WO1995025399A1 (zh) |
ZA (1) | ZA951403B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1324531C (zh) * | 2001-02-01 | 2007-07-04 | 索尼公司 | 图像处理装置和图像处理方法 |
CN101251704B (zh) * | 2007-02-19 | 2013-01-02 | 安讯士有限公司 | 一种用于在摄像机中补偿硬件错位的方法 |
CN104219559A (zh) * | 2013-05-31 | 2014-12-17 | 奥多比公司 | 在视频内容中投放不明显叠加 |
CN104618745A (zh) * | 2015-02-17 | 2015-05-13 | 北京影谱互动传媒科技有限公司 | 一种在视频中动态植入广告的方法及装置 |
CN111866301A (zh) * | 2019-04-30 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 数据的处理方法、装置及设备 |
WO2020224428A1 (zh) * | 2019-05-09 | 2020-11-12 | 腾讯科技(深圳)有限公司 | 在视频中植入信息的方法、计算机设备及存储介质 |
CN111986133A (zh) * | 2020-08-20 | 2020-11-24 | 叠境数字科技(上海)有限公司 | 一种应用于子弹时间的虚拟广告植入方法 |
CN112488063A (zh) * | 2020-12-18 | 2021-03-12 | 贵州大学 | 一种基于多阶段聚合Transformer模型的视频语句定位方法 |
Families Citing this family (182)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US5903317A (en) * | 1993-02-14 | 1999-05-11 | Orad Hi-Tech Systems Ltd. | Apparatus and method for detecting, identifying and incorporating advertisements in a video |
NZ271237A (en) * | 1993-10-27 | 1996-09-25 | Princeton Video Image Inc | Electronic billboard insertion of images into broadcast video stream |
IL109487A (en) * | 1994-04-29 | 1996-09-12 | Orad Hi Tec Systems Ltd | Chromakeying system |
EP0711078B1 (en) * | 1994-11-04 | 2002-05-15 | Matsushita Electric Industrial Co., Ltd. | Picture coding apparatus and method |
US5726716A (en) * | 1995-03-07 | 1998-03-10 | Nec Corporation | Perspective representation system for displaying portions of an original picture in a displayable picture |
US6047130A (en) * | 1995-04-24 | 2000-04-04 | Environmental Protection Systems, Inc. | Apparatus and method for portrait photography |
US5892554A (en) * | 1995-11-28 | 1999-04-06 | Princeton Video Image, Inc. | System and method for inserting static and dynamic images into a live video broadcast |
EP0796541B1 (en) * | 1995-06-16 | 1999-05-19 | Princeton Video Image, Inc. | System and method of real time insertions into video using adaptive occlusion with a synthetic reference image |
US5912700A (en) * | 1996-01-10 | 1999-06-15 | Fox Sports Productions, Inc. | System for enhancing the television presentation of an object at a sporting event |
GB9514313D0 (en) * | 1995-07-13 | 1995-09-13 | Beattie Robert J | Live-ads |
GB9601101D0 (en) * | 1995-09-08 | 1996-03-20 | Orad Hi Tech Systems Limited | Method and apparatus for automatic electronic replacement of billboards in a video image |
GB2305050A (en) | 1995-09-08 | 1997-03-26 | Orad Hi Tec Systems Ltd | Determining the position of a television camera for use in a virtual studio employing chroma keying |
US20090012864A1 (en) * | 2007-07-02 | 2009-01-08 | Goldberg Sheldon F | Compensation model for network services |
US6264560B1 (en) | 1996-01-19 | 2001-07-24 | Sheldon F. Goldberg | Method and system for playing games on a network |
GB2312582A (en) * | 1996-01-19 | 1997-10-29 | Orad Hi Tech Systems Limited | Insertion of virtual objects into a video sequence |
US9530150B2 (en) * | 1996-01-19 | 2016-12-27 | Adcension, Llc | Compensation model for network services |
US5823879A (en) * | 1996-01-19 | 1998-10-20 | Sheldon F. Goldberg | Network gaming system |
JP4482161B2 (ja) | 1996-04-29 | 2010-06-16 | ピーヴィーアイ ヴァーチャル メディア サービスイズ,エルエルシー | 映像への電子的な指標の挿入が強化されたオーディオ |
JP2947170B2 (ja) * | 1996-05-29 | 1999-09-13 | 日本電気株式会社 | 線対称図形整形装置 |
WO1997047130A1 (es) * | 1996-06-04 | 1997-12-11 | Rafael Calvo Beca | Plato virtual movil |
SE506544C2 (sv) * | 1996-06-20 | 1998-01-12 | Telia Ab | Anordning och metod för generering av digitala reklamskyltar |
US6075542A (en) * | 1996-07-29 | 2000-06-13 | Eastman Kodak Company | Method of combining two digital images |
US5696995A (en) * | 1996-08-30 | 1997-12-09 | Huang; Sming | Automatic photography booth |
US6229904B1 (en) * | 1996-08-30 | 2001-05-08 | American Alpha, Inc | Automatic morphing photography booth |
US5897220A (en) * | 1996-08-30 | 1999-04-27 | American Alpha Inc. | Automatic photograph booth for forming sketches |
GB9619117D0 (en) * | 1996-09-12 | 1996-10-23 | Pandora Int Ltd | Digital image processing |
US5917553A (en) * | 1996-10-22 | 1999-06-29 | Fox Sports Productions Inc. | Method and apparatus for enhancing the broadcast of a live event |
JP3480648B2 (ja) * | 1996-11-12 | 2003-12-22 | ソニー株式会社 | ビデオ信号処理装置及びビデオ信号処理方法 |
JPH10145674A (ja) | 1996-11-12 | 1998-05-29 | Sony Corp | ビデオ信号処理装置及びビデオ信号処理方法 |
AU5457598A (en) * | 1996-11-27 | 1998-06-22 | Princeton Video Image, Inc. | Image insertion in video streams using a combination of physical sensors and pattern recognition |
US6100925A (en) * | 1996-11-27 | 2000-08-08 | Princeton Video Image, Inc. | Image insertion in video streams using a combination of physical sensors and pattern recognition |
DE69715040T2 (de) * | 1996-12-20 | 2003-05-08 | Princeton Video Image, Inc. | Aufsatzgerät für gezielte elektronische einblendung von zeichen in videosignale |
US6072537A (en) * | 1997-01-06 | 2000-06-06 | U-R Star Ltd. | Systems for producing personalized video clips |
US5953077A (en) * | 1997-01-17 | 1999-09-14 | Fox Sports Productions, Inc. | System for displaying an object that is not visible to a camera |
US6252632B1 (en) | 1997-01-17 | 2001-06-26 | Fox Sports Productions, Inc. | System for enhancing a video presentation |
JPH10232940A (ja) * | 1997-02-20 | 1998-09-02 | Sony Corp | コーナ検出装置及びコーナ検出方法 |
US6209028B1 (en) * | 1997-03-21 | 2001-03-27 | Walker Digital, Llc | System and method for supplying supplemental audio information for broadcast television programs |
US7412533B1 (en) | 1997-03-31 | 2008-08-12 | West Corporation | Providing a presentation on a network having a plurality of synchronized media types |
US7143177B1 (en) | 1997-03-31 | 2006-11-28 | West Corporation | Providing a presentation on a network having a plurality of synchronized media types |
CA2284797C (en) * | 1997-03-31 | 2004-12-28 | Broadband Associates | Method and system for providing a presentation on a network |
US7490169B1 (en) | 1997-03-31 | 2009-02-10 | West Corporation | Providing a presentation on a network having a plurality of synchronized media types |
GB9712724D0 (en) * | 1997-06-18 | 1997-08-20 | Holmes Steven | Method and apparatus for interaction with broadcast television content |
US6011595A (en) * | 1997-09-19 | 2000-01-04 | Eastman Kodak Company | Method for segmenting a digital image into a foreground region and a key color region |
US6061088A (en) * | 1998-01-20 | 2000-05-09 | Ncr Corporation | System and method for multi-resolution background adaptation |
US6750919B1 (en) | 1998-01-23 | 2004-06-15 | Princeton Video Image, Inc. | Event linked insertion of indicia into video |
US6258418B1 (en) | 1998-06-24 | 2001-07-10 | Ronald A. Rudder | Method for producing diamond-tiled cooking utensils and other workpieces for durable stick-resistant surfaces |
RU2157054C2 (ru) * | 1998-09-04 | 2000-09-27 | Латыпов Нурахмед Нурисламович | Способ создания видеопрограмм (варианты) и система для осуществления способа |
US6266100B1 (en) | 1998-09-04 | 2001-07-24 | Sportvision, Inc. | System for enhancing a video presentation of a live event |
US6229550B1 (en) | 1998-09-04 | 2001-05-08 | Sportvision, Inc. | Blending a graphic |
GB2344714A (en) * | 1998-09-22 | 2000-06-14 | Orad Hi Tec Systems Ltd | Method and apparatus for creating real digital video effects |
US20010017671A1 (en) * | 1998-12-18 | 2001-08-30 | Pierre Pleven | "Midlink" virtual insertion system and methods |
US6525780B1 (en) * | 1998-12-18 | 2003-02-25 | Symah Vision, Sa | “Midlink” virtual insertion system |
US11109114B2 (en) | 2001-04-18 | 2021-08-31 | Grass Valley Canada | Advertisement management method, system, and computer program product |
US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
US6381362B1 (en) * | 1999-04-08 | 2002-04-30 | Tata America International Corporation | Method and apparatus for including virtual ads in video presentations |
US6466275B1 (en) * | 1999-04-16 | 2002-10-15 | Sportvision, Inc. | Enhancing a video of an event at a remote location using data acquired at the event |
ES2158797B1 (es) * | 1999-08-12 | 2002-04-01 | Nieto Ramon Rivas | Dispositivo generador multiuso y/o multidestino de los contenidos en modulos o paneles publicitarios, informativos u ornamentaltes y similatres, que quedan integrados en las imagenes retransmitidas y/o filmadas. |
US7996878B1 (en) * | 1999-08-31 | 2011-08-09 | At&T Intellectual Property Ii, L.P. | System and method for generating coded video sequences from still media |
AU1250501A (en) * | 1999-09-10 | 2001-04-10 | Quokka Sports, Inc. | A system for distributing and delivering multiple streams of multimedia data |
JP4427140B2 (ja) * | 1999-09-28 | 2010-03-03 | 株式会社東芝 | オブジェクト映像表示装置 |
US8341662B1 (en) | 1999-09-30 | 2012-12-25 | International Business Machine Corporation | User-controlled selective overlay in a streaming media |
US7010492B1 (en) | 1999-09-30 | 2006-03-07 | International Business Machines Corporation | Method and apparatus for dynamic distribution of controlled and additional selective overlays in a streaming media |
US7075556B1 (en) * | 1999-10-21 | 2006-07-11 | Sportvision, Inc. | Telestrator system |
IL149543A0 (en) * | 1999-11-08 | 2002-11-10 | Mirage Systems Inc | Method and apparatus for real time insertion of images into video |
US6335765B1 (en) * | 1999-11-08 | 2002-01-01 | Weather Central, Inc. | Virtual presentation system and method |
US7230653B1 (en) * | 1999-11-08 | 2007-06-12 | Vistas Unlimited | Method and apparatus for real time insertion of images into video |
AU2090701A (en) * | 1999-12-13 | 2001-06-18 | Princeton Video Image, Inc. | 2-d/3-d recognition and tracking algorithm for soccer application |
US6573945B1 (en) * | 2000-01-12 | 2003-06-03 | General Instrument Corporation | Logo insertion on an HDTV encoder |
IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
US6909438B1 (en) | 2000-02-04 | 2005-06-21 | Sportvision, Inc. | Video compositor |
US6593973B1 (en) * | 2000-03-21 | 2003-07-15 | Gateway, Inc. | Method and apparatus for providing information in video transitions |
JP2001283079A (ja) * | 2000-03-28 | 2001-10-12 | Sony Corp | 通信サービス方法とその装置、通信端末装置、通信システム、広告宣伝方法 |
KR20000054304A (ko) * | 2000-06-01 | 2000-09-05 | 이성환 | 방송 중계 영상 화면에 광고를 삽입하는 시스템 및 그제어방법 |
US6753929B1 (en) * | 2000-06-28 | 2004-06-22 | Vls Com Ltd. | Method and system for real time motion picture segmentation and superposition |
JP3564701B2 (ja) * | 2000-09-01 | 2004-09-15 | オムロン株式会社 | 画像印刷装置および方法 |
US7319479B1 (en) | 2000-09-22 | 2008-01-15 | Brickstream Corporation | System and method for multi-camera linking and analysis |
JP2007189730A (ja) * | 2000-12-27 | 2007-07-26 | Casio Comput Co Ltd | 画像加工システム、光源、撮像装置、及び、画像加工プログラム |
KR20010035174A (ko) * | 2001-01-10 | 2001-05-07 | 엄장필 | 컴퓨터 중독 방지 시스템 |
US6856323B2 (en) * | 2001-04-09 | 2005-02-15 | Weather Central, Inc. | Layered image rendering |
US20020149698A1 (en) * | 2001-04-17 | 2002-10-17 | Bowden Raymond E. | Scoreboard tied to players |
US7224403B2 (en) * | 2001-04-17 | 2007-05-29 | Bowden Raymond E | Televised scoreboard or statistics presentation with colors corresponding to players' uniforms |
US6870945B2 (en) * | 2001-06-04 | 2005-03-22 | University Of Washington | Video object tracking by estimating and subtracting background |
US7231651B2 (en) * | 2001-06-18 | 2007-06-12 | Ta-Ching Pong | System and method for insertion and modification of advertisements |
KR20030002919A (ko) * | 2001-07-02 | 2003-01-09 | 에이알비전 (주) | 방송 영상에서의 실시간 이미지 삽입 시스템 |
KR100387901B1 (ko) * | 2001-07-03 | 2003-06-18 | 에이알비전 (주) | 카메라 센서를 이용한 이미지 추적 및 삽입 시스템 |
US7206434B2 (en) | 2001-07-10 | 2007-04-17 | Vistas Unlimited, Inc. | Method and system for measurement of the duration an area is included in an image stream |
KR20040023672A (ko) * | 2001-07-24 | 2004-03-18 | 유니버시티 오브 피츠버그 | 폴리우레탄 코팅으로 디이소프로필플루오르포스파타제의비가역적 고정 |
GB0120134D0 (en) * | 2001-08-17 | 2001-10-10 | Nokia Corp | Improvements in or relating to communication networks and methods of distributing information around the network |
DE10140902A1 (de) * | 2001-08-21 | 2003-03-27 | Klaus Saitzek | Sportbande |
US7019764B2 (en) * | 2001-09-20 | 2006-03-28 | Genesis Microchip Corporation | Method and apparatus for auto-generation of horizontal synchronization of an analog signal to digital display |
US20050104964A1 (en) * | 2001-10-22 | 2005-05-19 | Bovyrin Alexandr V. | Method and apparatus for background segmentation based on motion localization |
US7341530B2 (en) * | 2002-01-09 | 2008-03-11 | Sportvision, Inc. | Virtual strike zone |
KR20030090372A (ko) * | 2002-05-23 | 2003-11-28 | 주식회사 밀리오네어즈 | 디지털 방송 중계를 위한 광고 교체 방법 및 그 장치 |
US20040002896A1 (en) * | 2002-06-28 | 2004-01-01 | Jenni Alanen | Collection of behavior data on a broadcast data network |
US20040100563A1 (en) | 2002-11-27 | 2004-05-27 | Sezai Sablak | Video tracking system and method |
US20040116183A1 (en) * | 2002-12-16 | 2004-06-17 | Prindle Joseph Charles | Digital advertisement insertion system and method for video games |
WO2004094496A2 (en) | 2003-03-27 | 2004-11-04 | Milliken & Company | High-strength black polyurethane foams |
US20040194127A1 (en) * | 2003-03-28 | 2004-09-30 | Eastman Kodak Company | Method and system for modifying digital cinema frame content |
US20040194128A1 (en) * | 2003-03-28 | 2004-09-30 | Eastman Kodak Company | Method for providing digital cinema content based upon audience metrics |
US20040194123A1 (en) * | 2003-03-28 | 2004-09-30 | Eastman Kodak Company | Method for adapting digital cinema content to audience metrics |
US7116342B2 (en) * | 2003-07-03 | 2006-10-03 | Sportsmedia Technology Corporation | System and method for inserting content into an image sequence |
SE0302065D0 (sv) * | 2003-07-14 | 2003-07-14 | Stefan Carlsson | Video - method and apparatus |
GB2408164A (en) * | 2003-11-12 | 2005-05-18 | Alastair Breward | Controlling a dynamic display apparatus |
US7171024B2 (en) * | 2003-12-01 | 2007-01-30 | Brickstream Corporation | Systems and methods for determining if objects are in a queue |
JP2005184458A (ja) * | 2003-12-19 | 2005-07-07 | Canon Inc | 映像信号処理装置 |
WO2005074255A1 (en) * | 2004-01-20 | 2005-08-11 | Thomson Licensing | Television production technique |
US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
US7742077B2 (en) * | 2004-02-19 | 2010-06-22 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
US7590310B2 (en) | 2004-05-05 | 2009-09-15 | Facet Technology Corp. | Methods and apparatus for automated true object-based image analysis and retrieval |
US20050270372A1 (en) * | 2004-06-02 | 2005-12-08 | Henninger Paul E Iii | On-screen display and privacy masking apparatus and method |
US8212872B2 (en) * | 2004-06-02 | 2012-07-03 | Robert Bosch Gmbh | Transformable privacy mask for video camera images |
US9210312B2 (en) | 2004-06-02 | 2015-12-08 | Bosch Security Systems, Inc. | Virtual mask for use in autotracking video camera images |
US7903902B2 (en) | 2004-07-26 | 2011-03-08 | Sheraizin Semion M | Adaptive image improvement |
US7639892B2 (en) * | 2004-07-26 | 2009-12-29 | Sheraizin Semion M | Adaptive image improvement |
SG119229A1 (en) * | 2004-07-30 | 2006-02-28 | Agency Science Tech & Res | Method and apparatus for insertion of additional content into video |
CN100337473C (zh) * | 2004-09-30 | 2007-09-12 | 中国科学院计算技术研究所 | 运动视频的全景图合成方法 |
US7526142B2 (en) * | 2005-02-22 | 2009-04-28 | Sheraizin Vitaly S | Enhancement of decompressed video |
US7451041B2 (en) * | 2005-05-06 | 2008-11-11 | Facet Technology Corporation | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
GB0510793D0 (en) * | 2005-05-26 | 2005-06-29 | Bourbay Ltd | Segmentation of digital images |
FR2875038B1 (fr) * | 2005-06-29 | 2007-04-06 | Leo Vision Soc Par Actions Sim | Procede pour tracer des objets graphiques virtuels sur des images d'un terrain notamment un terrain de jeu pour un evenement sportif |
US20070035665A1 (en) * | 2005-08-12 | 2007-02-15 | Broadcom Corporation | Method and system for communicating lighting effects with additional layering in a video stream |
IL170320A (en) * | 2005-08-17 | 2010-04-29 | Orad Hi Tec Systems Ltd | System and method for managing the visual effects insertion in a video stream |
KR100703704B1 (ko) | 2005-11-02 | 2007-04-06 | 삼성전자주식회사 | 동적 영상물 자동 생성 장치 및 방법 |
US7596536B2 (en) | 2005-12-01 | 2009-09-29 | Exent Technologies, Ltd. | System, method and computer program product for dynamically measuring properties of objects rendered and/or referenced by an application executing on a computing device |
US7596540B2 (en) | 2005-12-01 | 2009-09-29 | Exent Technologies, Ltd. | System, method and computer program product for dynamically enhancing an application executing on a computing device |
US8629885B2 (en) | 2005-12-01 | 2014-01-14 | Exent Technologies, Ltd. | System, method and computer program product for dynamically identifying, selecting and extracting graphical and media objects in frames or scenes rendered by a software application |
US20070296718A1 (en) * | 2005-12-01 | 2007-12-27 | Exent Technologies, Ltd. | Dynamic resizing of graphics content rendered by an application to facilitate rendering of additional graphics content |
US20070160123A1 (en) * | 2006-01-11 | 2007-07-12 | Gillespie Richard P | System for isolating an object in a broadcast signal |
WO2008010203A2 (en) | 2006-07-16 | 2008-01-24 | Seambi Ltd. | System and method for virtual content placement |
US8098330B2 (en) * | 2006-07-28 | 2012-01-17 | International Business Machines Corporation | Mapping of presentation material |
US20080117333A1 (en) * | 2006-11-17 | 2008-05-22 | Disney Enterprises, Inc. | Method, System And Computer Program Product For Video Insertion |
US10885543B1 (en) | 2006-12-29 | 2021-01-05 | The Nielsen Company (Us), Llc | Systems and methods to pre-scale media content to facilitate audience measurement |
US9363576B2 (en) | 2007-01-10 | 2016-06-07 | Steven Schraga | Advertisement insertion systems, methods, and media |
US8572642B2 (en) * | 2007-01-10 | 2013-10-29 | Steven Schraga | Customized program insertion system |
FR2912026B1 (fr) * | 2007-01-29 | 2010-03-12 | Cineact | Procede de generation d'un signal de modification et d'une sequence infographique, signal source, sequence infographique, procede et dispositif de diffusion et systeme de gestion correspondants |
US8335345B2 (en) * | 2007-03-05 | 2012-12-18 | Sportvision, Inc. | Tracking an object with multiple asynchronous cameras |
US8988609B2 (en) | 2007-03-22 | 2015-03-24 | Sony Computer Entertainment America Llc | Scheme for determining the locations and timing of advertisements and other insertions in media |
GB2452508A (en) * | 2007-09-05 | 2009-03-11 | Sony Corp | Generating a three-dimensional representation of a sports game |
GB2452546B (en) * | 2007-09-07 | 2012-03-21 | Sony Corp | Video processing system and method |
RU2443070C1 (ru) * | 2007-12-13 | 2012-02-20 | Суппонор Ой | Способ изменения содержания телевизионного изображения |
US8281334B2 (en) * | 2008-03-31 | 2012-10-02 | Microsoft Corporation | Facilitating advertisement placement over video content |
US8109829B1 (en) * | 2008-04-10 | 2012-02-07 | Acme Embedded Solutions Inc. | Compositing device for combining visual content |
GB0809631D0 (en) * | 2008-05-28 | 2008-07-02 | Mirriad Ltd | Zonesense |
US8477246B2 (en) * | 2008-07-11 | 2013-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for augmenting video content |
US20110217022A1 (en) * | 2008-11-06 | 2011-09-08 | Ofer Miller | System and method for enriching video data |
US8175413B1 (en) * | 2009-03-05 | 2012-05-08 | Google Inc. | Video identification through detection of proprietary rights logos in media |
US8553982B2 (en) * | 2009-12-23 | 2013-10-08 | Intel Corporation | Model-based play field registration |
TWI423154B (zh) * | 2009-12-30 | 2014-01-11 | Univ Nat Chi Nan | Book Inventory Management System and Its Method |
US8786415B2 (en) | 2010-02-24 | 2014-07-22 | Sportvision, Inc. | Tracking system using proximity and/or presence |
NZ609152A (en) * | 2010-09-20 | 2015-05-29 | Fraunhofer Ges Forschung | Method for differentiating between background and foreground of scenery and also method for replacing a background in images of a scenery |
JP2012156797A (ja) * | 2011-01-26 | 2012-08-16 | Sony Corp | 画像処理装置及び画像処理方法 |
US8941685B1 (en) * | 2011-03-08 | 2015-01-27 | Google Inc. | Showing geo-located information in a 3D geographical space |
JP4977255B1 (ja) * | 2011-03-31 | 2012-07-18 | 株式会社ナナオ | 表示装置、画像処理装置、画像領域検出方法、画像処理方法及びコンピュータプログラム |
US9215383B2 (en) | 2011-08-05 | 2015-12-15 | Sportsvision, Inc. | System for enhancing video from a mobile camera |
US10089550B1 (en) | 2011-08-17 | 2018-10-02 | William F. Otte | Sports video display |
US8538233B2 (en) * | 2011-08-24 | 2013-09-17 | Disney Enterprises, Inc. | Automatic camera identification from a multi-camera video stream |
US8970666B2 (en) * | 2011-09-16 | 2015-03-03 | Disney Enterprises, Inc. | Low scale production system and method |
US9584736B2 (en) | 2011-09-23 | 2017-02-28 | Disney Enterprises, Inc. | Automatic repositioning of video elements |
US8805007B2 (en) | 2011-10-13 | 2014-08-12 | Disney Enterprises, Inc. | Integrated background and foreground tracking |
JP5362052B2 (ja) * | 2012-01-24 | 2013-12-11 | Eizo株式会社 | 表示装置、画像処理装置、画像領域検出方法及びコンピュータプログラム |
EP2765766A1 (en) * | 2013-02-08 | 2014-08-13 | PIXarithmic GmbH | Hard key control panel for a video processing apparatus |
EP3518528A1 (en) * | 2013-03-08 | 2019-07-31 | DigitArena SA | Method of replacing objects in a video stream and computer program |
US20170039867A1 (en) | 2013-03-15 | 2017-02-09 | Study Social, Inc. | Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network |
US9514381B1 (en) | 2013-03-15 | 2016-12-06 | Pandoodle Corporation | Method of identifying and replacing an object or area in a digital image with another object or area |
CN105284122B (zh) | 2014-01-24 | 2018-12-04 | Sk 普兰尼特有限公司 | 用于通过使用帧聚类来***广告的装置和方法 |
EP3103258B1 (en) * | 2014-02-07 | 2020-07-15 | Sony Interactive Entertainment America LLC | Scheme for determining the locations and timing of advertisements and other insertions in media |
EP3094082A1 (en) * | 2015-05-13 | 2016-11-16 | AIM Sport Vision AG | Digitally overlaying an image with another image |
TWI546772B (zh) * | 2015-11-18 | 2016-08-21 | 粉迷科技股份有限公司 | 影像疊層處理方法與系統 |
WO2017165538A1 (en) * | 2016-03-22 | 2017-09-28 | Uru, Inc. | Apparatus, systems, and methods for integrating digital media content into other digital media content |
US10290119B2 (en) | 2016-09-15 | 2019-05-14 | Sportsmedia Technology Corporation | Multi view camera registration |
CN106548446B (zh) * | 2016-09-29 | 2019-08-09 | 北京奇艺世纪科技有限公司 | 一种在球面全景图像上贴图的方法及装置 |
DE102016119640A1 (de) * | 2016-10-14 | 2018-04-19 | Uniqfeed Ag | System zur Erzeugung angereicherter Bilder |
DE102016119639A1 (de) | 2016-10-14 | 2018-04-19 | Uniqfeed Ag | System zur dynamischen Kontrastmaximierung zwischen Vordergrund und Hintergrund in Bildern oder/und Bildsequenzen |
DE102016119637A1 (de) | 2016-10-14 | 2018-04-19 | Uniqfeed Ag | Fernsehübertragungssystem zur Erzeugung angereicherter Bilder |
KR102019299B1 (ko) * | 2017-06-30 | 2019-09-06 | 강동민 | 홈 스타일링 서버 및 이를 포함하는 시스템과, 홈 스타일링을 위한 영상 처리 방법 |
RU2673966C1 (ru) * | 2017-10-23 | 2018-12-03 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) | Способ идентификации кадров в потоке мультимедийных данных |
WO2019125474A1 (en) | 2017-12-21 | 2019-06-27 | Rovi Guides, Inc. | Systems and method for dynamic insertion of advertisements |
US10922871B2 (en) | 2018-01-19 | 2021-02-16 | Bamtech, Llc | Casting a ray projection from a perspective view |
WO2019244153A1 (en) * | 2018-06-21 | 2019-12-26 | Baseline Vision Ltd. | Device, system, and method of computer vision, object tracking, image analysis, and trajectory estimation |
US11336949B2 (en) | 2019-06-07 | 2022-05-17 | Roku, Inc. | Content-modification system with testing and reporting feature |
CN113988906B (zh) * | 2021-10-13 | 2024-05-28 | 咪咕视讯科技有限公司 | 广告投放方法、装置及计算设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2566934B1 (fr) * | 1984-06-29 | 1987-05-07 | Giraud Daniel | Procede d'affichage d'informations telles que par exemple des messages publicitaires sur un certain nombre de panneaux a elements d'affichage disposes dans un lieu de manifestations sportives et systeme pour la mise en oeuvre d'un tel procede |
US4907086A (en) * | 1987-09-04 | 1990-03-06 | Texas Instruments Incorporated | Method and apparatus for overlaying a displayable image with a second image |
US5099331A (en) * | 1987-09-04 | 1992-03-24 | Texas Instruments Incorporated | Apparatus for overlaying a displayed image with a second image |
JPH01296785A (ja) * | 1988-05-24 | 1989-11-30 | Fujitsu Ltd | 画像重畳装置 |
JP3138264B2 (ja) * | 1988-06-21 | 2001-02-26 | ソニー株式会社 | 画像処理方法及び装置 |
GB8822062D0 (en) * | 1988-09-20 | 1988-10-19 | Quantel Ltd | Video processing |
US4947256A (en) * | 1989-04-26 | 1990-08-07 | The Grass Valley Group, Inc. | Adaptive architecture for video effects |
US5279954A (en) * | 1989-06-30 | 1994-01-18 | Board Of Regents Of The University Of Nebraska And Bionebraska | Exopeptidase catalyzed site-specific bonding of supports, labels and bioactive agents to proteins |
FR2661061B1 (fr) * | 1990-04-11 | 1992-08-07 | Multi Media Tech | Procede et dispositif de modification de zone d'images. |
EP0595808B1 (en) * | 1991-07-19 | 1999-06-23 | Princeton Video Image, Inc. | Television displays having selected inserted indicia |
GB9119964D0 (en) * | 1991-09-18 | 1991-10-30 | Sarnoff David Res Center | Pattern-key video insertion |
US5436672A (en) * | 1994-05-27 | 1995-07-25 | Symah Vision | Video processing system for modifying a zone in successive images |
-
1994
- 1994-03-14 IL IL10895794A patent/IL108957A/en not_active IP Right Cessation
-
1995
- 1995-01-19 US US08/375,464 patent/US5491517A/en not_active Expired - Lifetime
- 1995-02-20 ZA ZA951403A patent/ZA951403B/xx unknown
- 1995-02-27 AT AT95911962T patent/ATE211872T1/de not_active IP Right Cessation
- 1995-02-27 CA CA002179031A patent/CA2179031C/en not_active Expired - Lifetime
- 1995-02-27 KR KR1019960705057A patent/KR100260786B1/ko not_active IP Right Cessation
- 1995-02-27 BR BR9507057A patent/BR9507057A/pt not_active Application Discontinuation
- 1995-02-27 AU AU19334/95A patent/AU692529B2/en not_active Expired
- 1995-02-27 PL PL95316621A patent/PL176135B1/pl not_active IP Right Cessation
- 1995-02-27 DE DE69524946T patent/DE69524946D1/de not_active Expired - Lifetime
- 1995-02-27 HU HU9602444A patent/HU220409B/hu not_active IP Right Cessation
- 1995-02-27 WO PCT/US1995/002424 patent/WO1995025399A1/en active IP Right Grant
- 1995-02-27 EP EP95911962A patent/EP0750819B1/en not_active Expired - Lifetime
- 1995-02-27 CN CN95192084A patent/CN1087549C/zh not_active Expired - Fee Related
- 1995-02-27 NZ NZ282275A patent/NZ282275A/en not_active IP Right Cessation
- 1995-02-27 CZ CZ19962653A patent/CZ286248B6/cs not_active IP Right Cessation
- 1995-02-27 RU RU96121405A patent/RU2108005C1/ru active
- 1995-02-27 JP JP7524038A patent/JPH09510336A/ja active Pending
- 1995-03-03 TW TW084102018A patent/TW367452B/zh active
-
1996
- 1996-01-18 US US08/588,221 patent/US5731846A/en not_active Expired - Lifetime
- 1996-08-30 LV LVP-96-349A patent/LV11716B/en unknown
- 1996-09-11 NO NO963811A patent/NO963811L/no not_active Application Discontinuation
- 1996-10-01 BG BG100879A patent/BG62114B1/bg unknown
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1324531C (zh) * | 2001-02-01 | 2007-07-04 | 索尼公司 | 图像处理装置和图像处理方法 |
CN101251704B (zh) * | 2007-02-19 | 2013-01-02 | 安讯士有限公司 | 一种用于在摄像机中补偿硬件错位的方法 |
CN104219559A (zh) * | 2013-05-31 | 2014-12-17 | 奥多比公司 | 在视频内容中投放不明显叠加 |
CN104219559B (zh) * | 2013-05-31 | 2019-04-12 | 奥多比公司 | 在视频内容中投放不明显叠加 |
CN104618745A (zh) * | 2015-02-17 | 2015-05-13 | 北京影谱互动传媒科技有限公司 | 一种在视频中动态植入广告的方法及装置 |
CN111866301B (zh) * | 2019-04-30 | 2022-07-05 | 阿里巴巴集团控股有限公司 | 数据的处理方法、装置及设备 |
CN111866301A (zh) * | 2019-04-30 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 数据的处理方法、装置及设备 |
WO2020224428A1 (zh) * | 2019-05-09 | 2020-11-12 | 腾讯科技(深圳)有限公司 | 在视频中植入信息的方法、计算机设备及存储介质 |
US11785174B2 (en) | 2019-05-09 | 2023-10-10 | Tencent Technology (Shenzhen) Company Limited | Method for implanting information into video, computer device and storage medium |
CN111986133A (zh) * | 2020-08-20 | 2020-11-24 | 叠境数字科技(上海)有限公司 | 一种应用于子弹时间的虚拟广告植入方法 |
CN111986133B (zh) * | 2020-08-20 | 2024-05-03 | 叠境数字科技(上海)有限公司 | 一种应用于子弹时间的虚拟广告植入方法 |
CN112488063A (zh) * | 2020-12-18 | 2021-03-12 | 贵州大学 | 一种基于多阶段聚合Transformer模型的视频语句定位方法 |
CN112488063B (zh) * | 2020-12-18 | 2022-06-14 | 贵州大学 | 一种基于多阶段聚合Transformer模型的视频语句定位方法 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1087549C (zh) | 一种将图像植入视频流的方法和*** | |
CN1122402C (zh) | 用于电子自动更换视频图像中的广告牌的方法和装置 | |
JP4862930B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN1728781A (zh) | 将附加内容***视频的方法和装置 | |
CN1475969A (zh) | 用于增强人像图像的方法和*** | |
US8526057B2 (en) | Image processing apparatus and image processing method | |
US20110050723A1 (en) | Image processing apparatus and method, and program | |
CN1461146A (zh) | 字幕提取装置 | |
CN1578465A (zh) | 用于子画面生成的全局运动估计 | |
CN1922631A (zh) | 创建深度图 | |
CN1678083A (zh) | 基于像素的亮度转换像素的色温的色温转换方法和设备 | |
CN101242474A (zh) | 一种照片在小尺寸屏幕设备上的动态视频浏览方法 | |
JP2011054081A (ja) | 画像処理装置および方法、並びにプログラム | |
JP6392738B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
CN114979689A (zh) | 多机位直播导播方法、设备以及介质 | |
KR20120074977A (ko) | 음성인식 및 명령을 수행하는 증강현실용 교육자재 및 그 사용방법 | |
CN1856991A (zh) | 实时无失真成像的全景视频*** | |
JP2017111620A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
CN113947523B (zh) | 一种背景图像的替换方法和装置 | |
CN1806439A (zh) | 空间信号变换 | |
JP5287965B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
Farnand et al. | The effect of experimental instructions on the number of areas identified as important in photographic images | |
CN115063307A (zh) | 一种基于亮度一致性的增强现实色度调节方法 | |
CN114004734A (zh) | 一种背景图像的替换方法和装置 | |
JP2005284597A (ja) | 合成画像生成方法及び合成画像生成装置並びに合成画像生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C53 | Correction of patent of invention or patent application | ||
COR | Change of bibliographic data |
Free format text: CORRECT: APPLICANT; FROM: SCITEX AMERICA CORP. TO: DELL TECHNOLOGY CO., LTD. |
|
CP03 | Change of name, title or address |
Address after: He Zelie Israel Applicant after: Sdale Tech. Ltd. Address before: Massachusetts USA Applicant before: Scitex America Corp. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: GR Ref document number: 1037535 Country of ref document: HK |