CN1079094A - 视频图象运动测量 - Google Patents

视频图象运动测量 Download PDF

Info

Publication number
CN1079094A
CN1079094A CN 93103372 CN93103372A CN1079094A CN 1079094 A CN1079094 A CN 1079094A CN 93103372 CN93103372 CN 93103372 CN 93103372 A CN93103372 A CN 93103372A CN 1079094 A CN1079094 A CN 1079094A
Authority
CN
China
Prior art keywords
vector
vectors
zone
varifocal
constant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 93103372
Other languages
English (en)
Inventor
迈克尔·布尔
罗德里克·托马森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
British Broadcasting Corp
Original Assignee
British Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by British Broadcasting Corp filed Critical British Broadcasting Corp
Publication of CN1079094A publication Critical patent/CN1079094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Systems (AREA)
  • Control And Safety Of Cranes (AREA)
  • Picture Signal Circuits (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明为在视频图象运动补偿***中补偿非线 性画面变换的方法，该补偿***从多个输入图象中对 每一个图象区域都提取一组尝试运动矢量并将这些 矢量中的一个赋予该视频图象的每个区域单元。该 方法包括如下步骤：估计出一个常数，利用每个区域 的尝试矢量组由该常数得出非线性变换，并把特定区 域中确定非线性变换的矢量加到那个区域的尝试矢 量清单中的矢量上，然后再把这些矢量赋予该区域的 各区域单元。

Description

本发明涉及视频图象运动的测量，特别是关于在视频图象相邻场之间存在摄象机（快速）变焦距、旋转、或某些其他非线性变换时这种运动的测量。
在我们的英国专利GB-B-2188510号中描述了一种TV（电视）画面运动的测量方法，其中对一幅画面的多个测量块的每一个都提取一组运动矢量，并从它们当中得到可以应用于测量块整个区域的运动矢量清单（list），这一过程在整个画面区域上重复地进行。这些矢量是用相位相关技术得到的。然后对图象的每个区域的每个区域单元（elementary    area）指定一个矢量。也可以用其他方法产生这个矢量清单，例如用在欧洲专利申请EP-A-0395264号中描述的块匹配技术。图象区域中被指定一个矢量的每个区域单元可以小到一个画面元素（象素）或者对画面的一块它可由多个画面元素组成。这样得到的运动矢量可以用于例如产生介于两次输入场之间的若干时刻的输出场。当产生慢动作效果时、当视频图象与（电影）胶片相应互转换时、或在变换标准时，都需要这种中间场。
已经发现，用于提取运动矢量的那些方法对于稳定的摄象机位置是很令人满意的，但当涉及摄象机的（快速）变焦距或摄象机相对于它的取景孔（viewing    access）旋转时则会引起一些问题。当这种变焦距或旋转与摄象机摇镜头（camera    pan）相结合时这些问题就特别严重，而且在这些情况下提取运动矢量的方法有时会完全失灵。
本发明的最佳实施例试图提供一种机器方法，用于从场景中的总体运动中提取出由于摄象机变焦距或旋转所引起的运动分量。由于摄象机旋转或变焦距所引起的这类运动，对于每个画面区域的分量将与该区域到图象中一个特定点的距离成比例。
现在将通过举例并参考附图来详细描述本发明的最佳实施例。这些附图是：
图1示意性给出由传统TV图象运动测量***提取的运动矢量类型;
图2示意性给出摄象机摇镜头的效果;
图3给出在图2所示画面区域的顶部行上摄象机变焦距的效果;以及
图4和图5给出使用本发明的一个实施例得到的变焦距和摇镜头表面。
在图1中示意性示出了电视信号的两个相邻帧F0和F1。它们由时间T分开。一个目标2在F0和F1中都出现了，该目标从F0中的第一位置运动到F1中的第二位置。使用GB2188510中描述的那类TV画面运动测量***去分析F0和F1之间的差别，并由此产生矢量V，它描述目标2在相邻帧或场之间的运动。
在图2中所示帧F1被分成多个区域，对于这些区域由该运动测量***得到一组尝试运动矢量。通常使用108个区域，对每个区域得到一组尝试矢量。最好是这些区域重叠，从而能更容易地跟踪穿过边界的运动。在F0和F1之间发生了一次摇镜头，这样，运动测量在这组尝试矢量中产生一个平移矢量，它用于图象中的每个区域以确定摄象机摇镜头。除此之外，包括图1所示类型的运动的那些区域将把确定这类运动的矢量包括在它们的尝试矢量清单中，从而由赋予各区域单元的运动矢量适当地确定重叠于背景摇镜头动作之上的任何前景目标的运动。对于场景中的任何运动而言，摇镜头矢量是背景矢量。
已经发现，对于简单的摄象机扫描运动能容易地取得摇镜头矢量，因为这种情况通常发生在TV图象所分成的60%以上的块中。然而，当同时涉及变焦距时，小量的变焦距将导致提取摇镜头矢量的失败。
为了改正***使之考虑摄象机的任何变焦距或旋转，在本发明的一个实施例中已设计了一个涉及更多内容的处理过程，以便从应用于画面一个区域的矢量中得到变焦距分量以及任何摇镜头分量。
从F1中的图象和F0中的图象的对比中得到赋予一个序列的帧F1中不同块的两个矢量。它们代表了场景中的总体运动，由两个分量组成。由于摇镜头产生的一个分量将在整个画面上为一常数值，而且可以为零。另一个分量将是非线性的，可以是由于变焦距或旋转产生的。这是一个指向或离开画面中一点（通常为中心点）的运动或者该点旋转的运动，其值与离开那点的距离成比例。绕着一个非中心点的旋转能定义为一个摇镜头加上一个绕中心点的旋转。
在图3中显示了图2所示画面区域顶部行上的变焦距效应。在P1得到一个背景矢量V1。它由摇镜头矢量PV1及变焦聚矢量ZV1组成。在P2得到第2个背景矢量V2。它由摇镜头矢量PV2（等于PV1）及变焦距矢量V2组成。
点P1和P2相对于画面中心。这导致一对联立方程如下：
V1＝摇镜头矢量+变焦距常数＊P1
V2＝摇镜头矢量+变焦距常数＊P2
这样，
V1-V2＝变焦距常数＊P1-变焦距常数＊P2
以及
变焦距常数+（V1-V2）/（P1-P2）…（1）
从而，
摇镜头矢量＝V1-变焦距常数＊P1。
利用方程（1），使用一个区域的尝试矢量组中每个矢量并将其在方程（1）中与该图象所有其他区域的尝试矢量组中的每个矢量进行比较，便可估计出变焦距常数。由这些便有可能对该图象作为整体得到变焦距常数，不论在该图象中是否有任何平移运动。其作法是：对场景中的所有矢量对得到变焦距常数分布图，并从这张变焦距图中取得最一般发生之值作为变距常数。除非它们对应于变焦距作用的源目标，否则所得到的那些值将是随机的。
一旦已经取得了尝试矢量组，对变焦距和摇镜头矢量的全部分析可以概括如下：
a）建立一个带有实轴和虚轴的所有可能变焦距值分布图，并设该分布图为零。
b）对于一对画面区域，由这些区域的尝试矢量组用方程（1）得到变焦距常数估计值。对于所有画面区域但不是对来自同一块的矢量重复这一过程。然后将变焦距常数的每个估计值画到变焦聚分布图上。
c）对变焦聚分布图进行滤波以给出光滑表面。
d）变焦距常值被取作带有超过阈值小虚分量的最大非零峰值。虚分量是由于摄象机旋转，通常是相当小的。
e）对于原始尝试矢量清单中的每个块和矢量，减去变焦距常数乘以块位置，从而去掉变焦距分量：
去变焦Vn＝Vn-P1＊变焦距常数，
如果没发生变焦距，则变焦距常数＝0，于是，
去变焦Vn＝Vn。
f）建立所有可能摇镜头值分布图，并置该分布图为零。
g）在摇镜头分布图中与去变焦Vn值对应的位置增加一常数标志。对所有去变焦Vn重复这一过程。
h）对该摇镜头分布图滤波以给出光滑表面并找出最大值。设一阈值等于最大值之半。
i）在摇镜头图表面上的各个峰值对应于画面中的总体运动。通常在阈值之上的最大非零峰值是摇镜头。如果最大峰值是零而又没有其他超过阈值的，则摇镜头等于零。
j）从摇镜头表面中最大峰值出发，对每块计算P2值，如果还没有适当的矢量就把它加到该块上：
P2-矢量（n）摇镜头矢量+变焦距常数＊Pn
在不涉及变焦聚时CCD摄象机趋向于给出零峰值矢量。这被认为是因为CCD电池的背景噪声。这样，当存在变焦距时通常不会发现多于一个摇镜头矢量，但若没有变焦距则常常发现两个摇镜头矢量。如果摇镜头矢量数被设置成一个大数，则仍然不大可能加上一个或二个以上的矢量。
使用这种方法能将组合的的变焦距和摇镜头矢量加到每个区域的尝试矢量清单，然后将矢量赋予画面区域的各区域单元。由此引出一个赋予矢量***，它更精确地确定背景运动并减小接近于前景目标的误差。这使得更直接地追踪场景内接近于前景目标的背景目标，其结果是将正确的矢量赋予F0和F1之间量时刻的中间场。
找出摇镜头的另一种方法是对所有经过变焦距校正的矢量计算其处于一个小参考距离内的矢量数目。具有最大相邻矢量数的矢量将是摇镜头或总体运动。
精通本门技艺的人将会理解，这里所描述的方法能以公知的方式在计算机软件或专用硬件中实现。对于本发明的这一具体实施例而言，至关重要的是提取图象的变焦距和摇镜头分量的实际步骤而不是用于提取这些分量的任何具体硬件。
由上述步骤提取的变焦距面示于图4，其中指出了变焦距峰值。类似地，摇镜头面示于图5，其中最大非零峰值为摇镜头矢量。
为简化提取的变焦距面示于图4，其中指出了变焦距峰值。类似地，摇镜头面示于图5，其中最大非零峰值为摇镜头矢量。
为简化提取摇镜头和变焦距矢量的方法，已经建议，不去生成变焦距和摇镜头分布图，而是可以用带有实轴的一维图来提取变焦距常数。当然，这会忽略由于摄象机旋转造成的任何虚分量。

Claims (6)

1、在视频图象运动补偿***中补偿非线性画面变换的一种机器方法，该补偿***的运作是从多个按顺序的输入图象中对多个图象区域的每一个都提取一组尝试运动矢量并将这些矢量中的一个赋予该视频图象的每个区域单元，该方法包括如下步骤：先估计出一个常数，利用每个区域得到的尝试矢量组由这一常数得出非线性变换，并把对于特定区域确定非线性变换的矢量加到那个区域的尝试矢量清单中的矢量上，然后再把这些矢量赋予该区域的各区域单元。
2、根据权利要求1的一种机器方法，其中的估计步骤包括：将一个区域得到的尝试矢量组中的至少是一些矢量与其他一些区域得到的至少是一些尝试矢量进行比较，并从每个矢量对估计出一个常数。
3、根据权利要求1或2的一种机器方法，其中的非线性变换是摄象机变焦距。
4、根据权利要求1、2或3的一种机器方法，其中的非线性变换是摄象机旋转。
5、根据前述任何一项权利要求的一种机器方法，包括提取一个矢量代表用于视频图象的一个均匀平移位移。
6、基本上如附图所描述的那种一种机器方法，用于在视频图象运动补偿***中对非线性图象变换的补偿。
CN 93103372 1992-03-24 1993-03-24 视频图象运动测量 Pending CN1079094A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB929206396A GB9206396D0 (en) 1992-03-24 1992-03-24 Video image motion measurement
GB9206396.5 1992-03-24

Publications (1)

Publication Number Publication Date
CN1079094A true CN1079094A (zh) 1993-12-01

Family

ID=10712733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 93103372 Pending CN1079094A (zh) 1992-03-24 1993-03-24 视频图象运动测量

Country Status (14)

Country Link
US (1) US5953079A (zh)
EP (1) EP0632915B1 (zh)
JP (1) JPH07505033A (zh)
KR (1) KR950701107A (zh)
CN (1) CN1079094A (zh)
AT (1) ATE213115T1 (zh)
AU (1) AU3763493A (zh)
CA (1) CA2132863A1 (zh)
DE (1) DE69331542T2 (zh)
DK (1) DK0632915T3 (zh)
FI (1) FI944455A0 (zh)
GB (2) GB9206396D0 (zh)
NO (1) NO943554L (zh)
WO (1) WO1993019430A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE162037T1 (de) * 1991-05-24 1998-01-15 British Broadcasting Corp Videobildverarbeitung
GB2330266A (en) * 1997-10-10 1999-04-14 Harlequin Group Limited The Generating camera image data for an image processing system
US6489989B1 (en) * 1999-09-15 2002-12-03 Electric Planet, Inc. System, method and article of manufacture for executing a video setup protocol
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
US20040100563A1 (en) 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method
US7382400B2 (en) * 2004-02-19 2008-06-03 Robert Bosch Gmbh Image stabilization system and method for a video camera
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera
US9210312B2 (en) 2004-06-02 2015-12-08 Bosch Security Systems, Inc. Virtual mask for use in autotracking video camera images
US8212872B2 (en) * 2004-06-02 2012-07-03 Robert Bosch Gmbh Transformable privacy mask for video camera images
US20050270372A1 (en) * 2004-06-02 2005-12-08 Henninger Paul E Iii On-screen display and privacy masking apparatus and method
JP4655957B2 (ja) 2006-02-20 2011-03-23 ソニー株式会社 撮像画像の歪み補正方法、撮像画像の歪み補正装置、撮像方法および撮像装置
JP4210954B2 (ja) * 2006-08-22 2009-01-21 ソニー株式会社 画像処理方法、画像処理方法のプログラム、画像処理方法のプログラムを記録した記録媒体及び画像処理装置
CN108289247B (zh) * 2018-01-18 2020-06-05 逄泽沐风 一种基于视频分析的视频画面拍摄技巧的自动识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118784B2 (ja) * 1984-10-27 1995-12-18 ソニー株式会社 テレビジヨン信号の動き検出方法
FR2633136B1 (fr) * 1988-06-16 1991-10-11 France Etat Procede et installation de diffusion de programmes de television haute definition compatible
EP0534996B1 (de) * 1990-06-22 1994-11-17 Siemens Aktiengesellschaft Verfahren zur segmentierung bewegter objekte durch hintergrundadaption mit kompensation der kamerabewegung
JP2863818B2 (ja) * 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法
JP2677312B2 (ja) * 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5371539A (en) * 1991-10-18 1994-12-06 Sanyo Electric Co., Ltd. Video camera with electronic picture stabilizer
US5247355A (en) * 1992-06-11 1993-09-21 Northwest Starscan Limited Partnership Gridlocked method and system for video motion compensation
JPH06113287A (ja) * 1992-09-30 1994-04-22 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
KR950014343B1 (ko) * 1993-05-20 1995-11-24 한국방송공사 고화질 티브(hdtv)의 화상데이타 움직임 추정방법 및 그 장치

Also Published As

Publication number Publication date
GB2280082A (en) 1995-01-18
DE69331542D1 (de) 2002-03-21
AU3763493A (en) 1993-10-21
US5953079A (en) 1999-09-14
DE69331542T2 (de) 2002-08-29
GB2280082B (en) 1995-08-16
GB9419293D0 (en) 1994-11-16
CA2132863A1 (en) 1994-09-30
EP0632915A1 (en) 1995-01-11
NO943554L (no) 1994-09-26
ATE213115T1 (de) 2002-02-15
GB9206396D0 (en) 1992-05-06
WO1993019430A1 (en) 1993-09-30
JPH07505033A (ja) 1995-06-01
FI944455A (fi) 1994-09-26
NO943554D0 (no) 1994-09-23
EP0632915B1 (en) 2002-02-06
FI944455A0 (fi) 1994-09-26
DK0632915T3 (da) 2002-05-27
KR950701107A (ko) 1995-02-20

Similar Documents

Publication Publication Date Title
CN1206867C (zh) 估计视频序列中的噪声量的方法
CN1079094A (zh) 视频图象运动测量
US5748247A (en) Refinement of block motion vectors to achieve a dense motion field
CN1098596C (zh) 确定特征点的方法与设备
US8243194B2 (en) Method and apparatus for frame interpolation
US20060098737A1 (en) Segment-based motion estimation
DE102011056972A1 (de) Vorrichtung und Verfahren zur digitalen Bildstabilisierung
CN1414787A (zh) 使用自适应运动补偿转换帧和/或半帧速率的装置和方法
CN101065964A (zh) 运动稳定化
Tamgade et al. Notice of Violation of IEEE Publication Principles: Motion Vector Estimation of Video Image by Pyramidal Implementation of Lucas Kanade Optical Flow
CN1853416A (zh) 运动矢量场的再定时
US7305032B2 (en) Image matching device and method for motion pictures
Zhiwei et al. New method of background update for video-based vehicle detection
US20110085026A1 (en) Detection method and detection system of moving object
US5943090A (en) Method and arrangement for correcting picture steadiness errors in telecine scanning
DE69910311T2 (de) Kombinierte räumlich-zeitliche Ausrichtung von Videosequenzen
CN1461556A (zh) 方便运动估计
CN113298707A (zh) 图像帧拼接方法、视频巡检方法、装置、设备及存储介质
Vlachos Simple method for estimation of global motion parameters using sparse translational motion vector fields
US8582882B2 (en) Unit for and method of segmentation using average homogeneity
CN115834800A (zh) 一种控制拍摄内容合成算法的方法
CN1249994C (zh) 转换帧频的装置和方法
CN101365133B (zh) 一种dct域插值舍入误差补偿方法
Dawn et al. Panorama generation from a video
JP3022977B2 (ja) テレビジョン信号内挿方式

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C01 Deemed withdrawal of patent application (patent law 1993)
WD01 Invention patent application deemed withdrawn after publication