JPH07203451A - テレビジョン信号における動きの階層的予測方法 - Google Patents

テレビジョン信号における動きの階層的予測方法

Info

Publication number
JPH07203451A
JPH07203451A JP6306484A JP30648494A JPH07203451A JP H07203451 A JPH07203451 A JP H07203451A JP 6306484 A JP6306484 A JP 6306484A JP 30648494 A JP30648494 A JP 30648494A JP H07203451 A JPH07203451 A JP H07203451A
Authority
JP
Japan
Prior art keywords
motion
points
hierarchy
point
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6306484A
Other languages
English (en)
Inventor
Michael Drexler
ドレクスラー ミヒャエル
Carsten Herpel
ヘアペル カルステン
Heinz Werner Dr Keesen
ケーゼン ハインツ−ヴェルナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deutsche Thomson Brandt GmbH
Original Assignee
Deutsche Thomson Brandt GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deutsche Thomson Brandt GmbH filed Critical Deutsche Thomson Brandt GmbH
Publication of JPH07203451A publication Critical patent/JPH07203451A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 テレビジョン信号中の動きを予測するのに必
要とする回路コストを低減する。 【構成】 ビデオ画像を固定サイズのブロックへ分割す
る。第２のビデオ画像に関する動きを各ブロックごとに
求める。その際、互いに重なり合っていない範囲を解像
度のいっそう高められた下位のハイアラーキレベルで生
成する。この範囲のクリティカルな点をハイアラーキ中
それよりも上位にあるレベルにおいて分析するための点
として用いる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ビデオ画像を固定サイ
ズのブロックへ分割し、第２のビデオ画像に対して相対
的な動きを各ブロックごとに求めるように構成されてい
る、テレビジョン信号における動きの階層的予測方法に
関する。
【０００２】
【従来の技術】テレビジョン信号における動きをこのよ
うに予測すること（いわゆる動き予測）はたとえば、デ
ータ圧縮の目的やレコーダにおける伝送帯域幅や伝送時
間または記憶容量を節約するために用いられる。この場
合、従来のテレビジョン信号の場合のように順次連続す
る画像を完全に伝送するのではなく、動きの予測結果に
したがって、順次連続する各画像間での何らかの変化を
表す差分ファクタ（因子）が伝送される。動き予測のさ
らに別の適用事例として、たとえばくし形フィルタのよ
うな所定の信号処理回路をテレビジョン信号中の動きに
依存してその動作形式に関して切り換えることが挙げら
れる。さらに動き予測はビデオカメラにおいても必要と
され、つまり、カメラの意図的でない揺れに起因して画
像中に生じる突発的な変化を機械的または電子的に補償
するビデオカメラにおいても必要とされる。
【０００３】各ビデオ画像間における動きの予測は、サ
ーチ範囲が大きくなればなるほどいっそう効果的にな
る。このことに伴いハードウェア設計仕様の規模が大き
くなるのを抑える目的で、ハイアラーキ構成が採用され
る。この場合、まずはじめに比較的大雑把にサーチ範囲
全体にわたって最良の動きファクタがサーチされ、この
ことにより次に、見つけられた個所の周りにおいていっ
そう微細に解像してファクタを改善することができる。
【０００４】”ブロックマッチングアルゴリズム”によ
る公知の動き予測方式の場合、処理すべきビデオ画像は
固定サイズのブロックに分割される。各ブロックごとに
第２のビデオ画像に対して相対的な動きが求められ、こ
のことは、１つのサーチ範囲内で生じ得る各変位ないし
ずれ動きごとにブロックの障害量（歪み）を算出し、そ
の後、それらの値のうち最小のものを求めるようにして
行われる。
【０００５】この場合、たとえばＳＧＳ−Ｔｈｏｍｓｏ
ｎによるＳＴＩ３２２０のような市販の動き予測機能素
子チップに基づいてハードウェアが実現される。このモ
ジュールは、水平および垂直方向で−８／＋７のサーチ
範囲内において最小の歪みを有する変位を算出する。こ
のサーチ範囲は、複数のチップをカスケード接続するこ
とで大きくできる。一方では高解像度ＨＤＴＶシステム
のために、他方では、時間的にいっそう隔たっている各
画像間の動きが計算されるＭＰＥＧ規格によるビデオ画
像のために、動きを予測しその際に１／２ｐｅｌ（ｐｅ
ｌ＝ピクセル＝画素）の解像度で変位を求める目的で、
できるかぎり大きいサーチ範囲を使用することが望まれ
る。生じ得る各変位ないしずれ動きが１つの並列的な計
算ユニット（のはたらき）を意味する”フルサーチブロ
ックマッチング”の場合、集積化された動き予測チップ
を用いても数１００個のモジュールが必要である。
【０００６】ハードウェアのコストは、ハイアラーキ方
式で動きを予測することによって低減できる。この場
合、第１のステップにおいて、解像度を低減してサーチ
範囲全体が調べられる。次に新たなステップにおいて、
最も小さい歪みを有する位置の周囲で解像度を高めて最
小の歪み効果が求められる。このプロセスは、何回でも
望むだけそのたびに解像度を高めて繰り返すことができ
る。
【０００７】
【発明が解決しようとする課題】本発明の課題は、この
ような動き予測に要する回路−いわゆるハードウェア−
コストを低減することにある。
【０００８】
【課題を解決するための手段および利点】本発明によれ
ばこの課題は、互いに重なり合っていない範囲を解像度
のいっそう高められた下位のハイアラーキレベルで作成
し、該範囲の重心ないしクリティカルな点をハイアラー
キ中それよりも上位にあるレベルにおいて分析するため
の点として用いることにより解決される。
【０００９】従属請求項には本発明の有利な実施形態が
示されている。有利には、各走査線の間に位置し走査線
ラスタ中の実際の画素を表していない点が互いに重なり
合っていない範囲内で調べられる。
【００１０】次に、図面を参照して本発明を説明する。
【００１１】
【実施例の説明】図１には、重なり合った範囲Ｕを有す
る２つのブロック１，２が示されている。動き予測を行
う場合、まず最初に第１のハイアラーキステップ中、太
く描かれた十字３だけが調べられる。たとえば点４ａが
最適であると判明したならば、この点の周囲の点４ｂ，
４ｃ，４ｄ，４ｅだけを考慮することになる。そしてこ
のことにより、この点付近で評価を行う必要性が生じ
る。図１に示されているように、これはブロック１，２
の１つのブロック内の、細く描かれた×印４で表された
それぞれ８つの点である。つまり第２のハイアラーキス
テップでは、これら８つの点に対して必要とされる回路
コストを割り当てなければならない。このように図１に
は、１ピクセル（ｐｅｌ）の解像度を用いた第１のサー
チと、見つけ出された画素の周囲での１／２ピクセルの
解像度を用いた後続のサーチとを含む実例が示されてい
る。この場合、１つのピクセル値の周囲の１／２ピクセ
ルのサーチ範囲が重なり合っているのがわかる。各１／
２ピクセル値は少なくとも２つのハイアラーキサーチ範
囲に属し、その際、１／２ピクセルの対角線は実際には
４つのサーチ範囲に属している。
【００１２】図２の場合、ブロック１ａとブロック２ａ
はもはや重なり合った範囲を有していない。したがっ
て、各点は最上位カテゴリー内の１つの点に明確に帰属
している。第１のハイアラーキでは○で表された点５が
調べられ、つまり−図１とは異なり−十字で表された点
３は調べられない。その後、第２のハイアラーキステッ
プで、この点５の周囲の４つの点がそれぞれ調べられ
る。この場合には４つの点だけを調べればよく、図１の
場合のように８つの点を調べる必要のないことがわか
る。その結果、必要とされる回路コストないしハードウ
ェアはほぼこのファクタ分だけ低減される。点５はもは
や実際の画素ではない。それというのはこれらの点は、
図１で示された走査線ラスタの外に位置しているからで
ある。しかし、これらの点５を調べるのに要する回路コ
ストは著しく小さい。これは単に１つのフィルタから成
り、そこにおいてこれらの点が加算され、その際に結果
として生じる和が４で除算される。換言すれば、これら
４つの点の実際の平均値の形成が行われる。したがっ
て、第１のハイアラーキステップではもはや元のピクセ
ル値が用いられるのではなく、フィルタ処理されたピク
セル値が用いられる。そして第２のハイアラーキステッ
プでは、フィルタ処理されたそれらの値付近でサーチが
行われる。
【００１３】この方法をマルチレベルハイアラーキ方式
での使用に拡張することもできる。
【００１４】図３には、上位ハイアラーキレベルでの４
ピクセルの解像度とそれに続くピクセル解像度に関する
従来の方式による実例が示されている。この場合、下位
のハイアラーキレベルにおいて２４個の位置を分析しな
ければならない。
【００１５】これに対し図４には、やはり互いに重なり
合っていないブロックを用いた実施例が示されている。
上位ハイアラーキレベルにおいて、この範囲のクリティ
カルな部分に位置する４つのピクセル値が算出される。
その後、最も小さい歪みを有する見つけ出されフィルタ
処理された４つのピクセル値付近でサーチが行われ、こ
の場合にはもはや１６個の位置しか考慮の対象にならな
い。
【００１６】本発明による方法は動きの予測に限定され
るものではなく、ハイアラーキ構造が有意義であるいか
なるところでも使用できる。それぞれの事例において、
互いに重なり合っていない範囲が解像度のいっそう高め
られた下位のハイアラーキレベルで生成され、これらの
範囲のクリティカルな点が、それよりも上位のレベルで
の分析のための点として用いられる。
【００１７】
【発明の効果】本発明によれば、テレビジョン信号にお
ける動きを予測するのに必要とされる回路コストが低減
される。
【図面の簡単な説明】
【図１】動き予測の公知の手法を示す図である。
【図２】本発明による動き予測方法の基本を示す図であ
る。
【図３】上位のハイアラーキレベルにおける４ピクセル
解像度に関する実例を示す図である。
【図４】フィルタ処理された値を算出するための実例を
示す図である。
【符号の説明】
１，２，１ａ，２ａ ブロック
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ミヒャエル ドレクスラー ドイツ連邦共和国 ヘミンゲン イヴェト ートシュトラーセ 20 (72)発明者 カルステン ヘアペル ドイツ連邦共和国 ハノーヴァー グロー セ バーリンゲ 61 (72)発明者 ハインツ−ヴェルナー ケーゼン ドイツ連邦共和国 ハノーヴァー ジーメ ンスシュトラーセ 22

Claims (2)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ画像を固定サイズのブロックへ分
    割し、第２のビデオ画像に対して相対的な動きを各ブロ
    ックごとに求めるように構成されている、テレビジョン
    信号における動きの階層的予測方法において、 互いに重なり合っていない範囲を解像度のいっそう高め
    られた下位のハイアラーキレベルで作成し、該範囲の重
    心ないしクリティカルな点をハイアラーキ中それよりも
    上位にあるレベルにおいて分析するための点として用い
    ることを特徴とする、 テレビジョン信号における動きの階層的予測方法。
  2. 【請求項２】 各走査線の間に位置し走査線ラスタ中の
    実際の画素を表していない点を互いに重なり合っていな
    い範囲内で調べる、請求項１記載の方法。
JP6306484A 1993-12-11 1994-12-09 テレビジョン信号における動きの階層的予測方法 Pending JPH07203451A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE4342305A DE4342305A1 (de) 1993-12-11 1993-12-11 Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal
DE4342305.1 1993-12-11

Publications (1)

Publication Number Publication Date
JPH07203451A true JPH07203451A (ja) 1995-08-04

Family

ID=6504764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6306484A Pending JPH07203451A (ja) 1993-12-11 1994-12-09 テレビジョン信号における動きの階層的予測方法

Country Status (8)

Country Link
US (1) US5635994A (ja)
EP (1) EP0658056B1 (ja)
JP (1) JPH07203451A (ja)
KR (1) KR100332268B1 (ja)
CN (1) CN1083214C (ja)
DE (2) DE4342305A1 (ja)
MY (1) MY115163A (ja)
SG (1) SG49199A1 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19509418A1 (de) * 1995-03-16 1996-09-19 Thomson Brandt Gmbh Verfahren und Schaltungsanordnung zur Unterabtastung bei Bewegungsschätzung
US6873738B2 (en) * 1995-10-02 2005-03-29 Sony Corporation Hierarchical image processor for encoding or decoding, and memory on the same chip
US5790207A (en) * 1996-03-14 1998-08-04 Daewoo Electronics, Co., Ltd. Motion compensation method for use in an image encoding system
US6130912A (en) * 1998-06-09 2000-10-10 Sony Electronics, Inc. Hierarchical motion estimation process and system using block-matching and integral projection
US6459822B1 (en) * 1998-08-26 2002-10-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Video image stabilization and registration
WO2000042771A1 (en) * 1999-01-12 2000-07-20 Koninklijke Philips Electronics N.V. Camera motion parameters estimation method
EP1094669B1 (en) * 1999-10-19 2008-06-04 Thomson Licensing Method of motion estimation for a digital input video signal
EP1094671A1 (en) * 1999-10-19 2001-04-25 Deutsche Thomson-Brandt Gmbh Method of motion estimation for a digital input video signal
US6690728B1 (en) 1999-12-28 2004-02-10 Sony Corporation Methods and apparatus for motion estimation in compressed domain
US6671319B1 (en) 1999-12-28 2003-12-30 Sony Corporation Methods and apparatus for motion estimation using neighboring macroblocks
US6483876B1 (en) 1999-12-28 2002-11-19 Sony Corporation Methods and apparatus for reduction of prediction modes in motion estimation
US6473460B1 (en) * 2000-03-31 2002-10-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for calculating motion vectors
US6842483B1 (en) 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US7327787B1 (en) * 2000-11-20 2008-02-05 Intel Corporation Method and apparatus for motion estimation
US20020172288A1 (en) * 2001-03-08 2002-11-21 Nyeongku Kwon Device and method for performing half-pixel accuracy fast search in video coding
DE10310849B4 (de) * 2003-03-11 2009-01-02 Inb Vision Ag Verfahren zur photogrammmetrischen Abstands- und/oder Positionsbestimmung
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
CN1319384C (zh) * 2005-01-27 2007-05-30 浙江大学 硬件计算能力资源在运动估计中的优化分配方法
US8553758B2 (en) * 2007-03-02 2013-10-08 Sony Corporation Motion parameter engine for true motion
US8363728B2 (en) * 2008-04-18 2013-01-29 Sony Corporation Block based codec friendly edge detection and transform selection
US8139883B2 (en) * 2008-07-29 2012-03-20 Sony Corporation System and method for image and video encoding artifacts reduction and quality improvement
US20100067818A1 (en) * 2008-09-15 2010-03-18 Sony Corporation, A Japanese Corporation System and method for high quality image and video upscaling
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
US8285079B2 (en) * 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3663875D1 (en) * 1986-03-08 1989-07-13 Ant Nachrichtentech Motion compensating field interpolation method using a hierarchically structured displacement estimator
FR2633468B1 (fr) * 1988-06-24 1990-11-09 France Etat Procede de codage de donnees d'assistance a la reconstruction d'images electroniques animees sous-echantillonnees
DE3837590A1 (de) * 1988-11-05 1990-05-10 Ant Nachrichtentech Verfahren zum reduzieren der datenrate von digitalen bilddaten
JPH03256485A (ja) * 1990-03-06 1991-11-15 Victor Co Of Japan Ltd 動きベクトル検出回路
FR2663178B1 (fr) * 1990-06-06 1995-07-21 Thomson Csf Procede d'estimation hierarchique du mouvement dans une sequence d'images.
DE4023449C1 (ja) * 1990-07-24 1992-01-23 Ant Nachrichtentechnik Gmbh, 7150 Backnang, De
US5128756A (en) * 1990-12-11 1992-07-07 At&T Bell Laboratories High definition television coding arrangement with graceful degradation
SE469866B (sv) * 1991-04-12 1993-09-27 Dv Sweden Ab Metod för estimering av rörelseinnehåll i videosignaler
GB9118782D0 (en) * 1991-09-03 1991-10-16 British Broadcasting Corp Video image processing
JPH05236466A (ja) * 1992-02-25 1993-09-10 Nec Corp 動き補償フレーム間予測画像符号化装置及び方法
DE4206622A1 (de) * 1992-03-03 1993-09-09 Bundesrep Deutschland Verfahren zur verbesserung der bewegungsschaetzung in bewegten bildsequenzen in halbpelgenauigkeit
US5276513A (en) * 1992-06-10 1994-01-04 Rca Thomson Licensing Corporation Implementation architecture for performing hierarchical motion analysis of video images in real time
US5444489A (en) * 1993-02-11 1995-08-22 Georgia Tech Research Corporation Vector quantization video encoder using hierarchical cache memory scheme
US5477272A (en) * 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding

Also Published As

Publication number Publication date
SG49199A1 (en) 1998-05-18
KR100332268B1 (ko) 2002-08-13
DE4342305A1 (de) 1995-06-29
CN1117694A (zh) 1996-02-28
EP0658056A3 (de) 1996-04-03
EP0658056B1 (de) 1999-06-09
CN1083214C (zh) 2002-04-17
US5635994A (en) 1997-06-03
DE59408390D1 (de) 1999-07-15
MY115163A (en) 2003-04-30
KR950022798A (ko) 1995-07-28
EP0658056A2 (de) 1995-06-14

Similar Documents

Publication Publication Date Title
JPH07203451A (ja) テレビジョン信号における動きの階層的予測方法
US6690729B2 (en) Motion vector search apparatus and method
US5387947A (en) Motion vector detecting method of a video signal
US9137424B2 (en) Method for flicker detection in image signal
US8508599B2 (en) Motion vector detection apparatus, motion vector detection method, and image capturing apparatus
EP0720355B1 (en) Apparatus for determining motion vectors through the use of an adaptive median filtering technique
US7605845B2 (en) Motion stabilization
US6343100B1 (en) Motion-vector detecting device
JPS6152084A (ja) 高能率符号化装置
JP2002523985A (ja) 画像信号における問題領域位置決め
EP1430724A1 (en) Motion estimation and/or compensation
EP1394742B1 (en) Method for filtering the noise of a digital image sequence
EP0720356B1 (en) Apparatus for determining motion vectors
EP1018841A1 (en) Image encoding system
KR19980036073A (ko) 움직임 벡터 검출 방법 및 장치
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
JP2782766B2 (ja) 動画静止画変換方法
JPH09182077A (ja) 画像符号化方法および画像符号化装置
EP1128678A1 (en) Motion estimation apparatus and method
EP1094671A1 (en) Method of motion estimation for a digital input video signal
JPH0614316A (ja) 動きベクトル検出装置
KR100224859B1 (ko) 엣지에 근거한 영상신호의 수직 보간 방법 및 그에 적합한 장치
JPH07288817A (ja) 動きベクトル検出装置
JP2743763B2 (ja) 動画像の動き推定方法
Zhao et al. A new algorithm for motion-compensated frame interpolation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041015

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050112

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050902

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20051129

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20051207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060922