JP2001285810A - 動きベクトルを算出するための方法および装置 - Google Patents

動きベクトルを算出するための方法および装置

Info

Publication number
JP2001285810A
JP2001285810A JP2001094422A JP2001094422A JP2001285810A JP 2001285810 A JP2001285810 A JP 2001285810A JP 2001094422 A JP2001094422 A JP 2001094422A JP 2001094422 A JP2001094422 A JP 2001094422A JP 2001285810 A JP2001285810 A JP 2001285810A
Authority
JP
Japan
Prior art keywords
block
image
pixel
pixels
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001094422A
Other languages
English (en)
Inventor
Robert Joseph Topper
ジョセフ トッパー ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JP2001285810A publication Critical patent/JP2001285810A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】第１のイメージと、第２のイメージの間の動き
ベクトルを見つけるための動き推定システムが、提供さ
れる。 【解決手段】第１のイメージから、第１および第２の重
なり合うピクセルのブロックを選択する。動き推定シス
テムは、次いで、第１のイメージと、第２のイメージと
の間の動きを推定し、重なり合うブロックに対する個々
の動きベクトルを定義する。これらの動きベクトルは、
個々の第１および第２の重なり合うピクセルのブロック
内の個々の第１および第２の重なり合わないピクセルの
サブブロックに割り当てる。動き推定システムは、補間
サンプルが第１および第２のイメージフィールドから
の、または第１のフィールドからのみのサンプルを用い
て、生成されるかどうかを判定するために、サブブロッ
クが用いられる映像非インターレース化システムで、有
利に用いられる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、動きベクトルを算
出するための方法および装置に関し、特には、映像非イ
ンターレース化システム（ｖｉｄｅｏ ｄｅ−ｉｎｔｅ
ｒｌａｃｉｎｇｓｙｓｔｅｍ）の使用に適した動きベク
トル算出に関する。
【０００２】
【従来の技術】例えば、Ａｄｖａｎｃｅｄ Ｔｅｌｅｖ
ｉｓｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｍｍｉｔｅｅ（ＡＴ
ＳＣ）規格に準拠するデジタルテレビ（ＤＴＶ）信号
は、多数のフォーマットを有し得る。これらのフォーマ
ットは、通常、イメージ内の水平線の数、ならびに各イ
メージフレームが、それぞれがフレームの線を１つ置き
に含む２つのフィールド（インターレース）、またはフ
レームの全ての線を含む単一のイメージフィールド（順
次的）から形成されているかどうかにより参照される。
最高解像度から最低解像度までリストされる、ＡＴＳＣ
規格により定義されるテレビ信号フォーマットは、１０
８０Ｉ、７２０Ｐ、４８０Ｐおよび４８０Ｉという名称
で参照される。これらの名称において、数字がそのイメ
ージ内の水平線の数を指し、文字は結果的に生じるイメ
ージを、インターレース（Ｉ）、または順次的（Ｐ）で
あるとして定義する。
【０００３】米国テレビジョン方式委員会（ＮＴＳＣ）
により設定された規格に基づいて作動するテレビ受像機
は、４８０本の線のアクティブ映像情報を２つのインタ
ーレースフィールドとして表示するので、４８０Ｉの解
像度を有する。米国での現在のプログラミングの大半
は、ＮＴＳＣ規格に準拠している。
【０００４】ＡＴＳＣテレビ受像機は、多くの異なるタ
イプのモニタに対応し得る。例えば、ＡＴＳＣ受像機
は、受信している信号がどのようなタイプであっても、
表示のために適合することができる、マルチシンクモニ
タに接続され得る。このタイプのマルチシンクモニタ
は、通常、考え得るタイプのＡＴＳＣ信号のそれぞれ
を、意図された解像度で表示することを可能とするの
で、ネイティブモードモニタと呼ばれる。あるいは、標
準的なＮＴＳＣモニタに接続することができるＡＴＳＣ
受像機が、購入され得る。そのような受像機の１つとし
ては、Ｐａｎａｓｏｎｉｃ製のＴＵ−ＤＳＴ５１ ＤＴ
Ｖ Ｄｅｃｏｄｅｒ Ｓｅｔ−Ｔｏｐ Ｂｏｘがある。
この受像機は、各タイプのＡＴＳＣ信号を、ＮＴＳＣモ
ニタ上で表示され得る４８０Ｉ出力信号に変換する。こ
のＰａｎａｓｏｎｉｃ製の受像機はまた、他のタイプの
モニタに対応しており、受信した入力信号を、自動的に
その特定のモニタが対応するフォーマットに変換する。
【０００５】インターレース映像信号が、異なる２度の
機会に発生する、映像フィールドのインターレースによ
り生じるアーティファクトを有することは周知である。
そのようなアーティファクトの１つが、垂直ドットクロ
ール（ｖｅｒｔｉｃａｌ ｄｏｔ ｃｒａｗｌ）であ
る。このアーティファクトは、イメージ内の垂直エッ
ジ、通常は、異なる色を有するイメージの部分間のエッ
ジで発生する。その名称が示すとおり、垂直ドットクロ
ールアーティファクトは、フレームの下から上へと移動
するように見える、複数のドットからなる１本の線とし
て見える。ディスプレイデバイスが順次映像信号に対応
している場合には、これらのインターレース走査のアー
ティファクトは、そのインターレース映像信号を、表示
する前に、順次映像信号に変換することにより、取り除
かれるか、または少なくとも緩和され得る。
【０００６】インターレース映像信号を順次映像信号に
変換するための方法は、多数存在する。これらの方法の
いくつかは、Ｋ．Ｓｕｇｉｙａｍａらの「Ａ Ｍｅｔｈ
ｏｄｏｆ Ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ ｗｉｔｈ
Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｉｎｔｅｒｐ
ｏｌａｔｉｏｎ」と題された論文（ＩＥＥＥ Ｔｒａｎ
ｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃ
ｔｒｏｎｉｃｓ．Ｖｏｌ．４５． Ｎｏ．３．１９９９
ｐｐ．６１１−６１６）に記載されている。通常、イ
ンターレース映像信号は、映像信号の各イメージフィー
ルド内に存在する線の間に、補間イメージ線を挿入する
ことにより、順次映像信号に変換（すなわち、非インタ
ーレース化）される。
【０００７】動き補償型非インターレース化システムに
おいて、ノイズ特性とスモールオブジェクトトラッキン
グとの間にトレードオフが存在する。比較的大きなブロ
ックサイズを用いる、動き補償型システムは、通常、良
好なノイズ特性を有する。すなわち、基調をなすイメー
ジコンテンツをトラッキングする代わりに、イメージ内
のノイズをトラッキングしない傾向にある。しかしなが
ら、これらのシステムは、スモールオブジェクトを上手
くトラッキングしない傾向にある。よって、スモールオ
ブジェクトが、１つのイメージから次のイメージへと、
イメージの列内を移動する場合、大きなブロックサイズ
を用いる、非インターレース化システムは、移動したオ
ブジェクトと、現在のフレーム内の同じオブジェクトと
のマッチングが困難であり得る。逆に、上で参照した論
文のように、ブロックサイズを減少させる場合、スモー
ルオブジェクトの認識は改善されるが、ノイズ特性が悪
化する。
【０００８】
【課題を解決するための手段】本発明による方法は、第
１のイメージと第２のイメージの間の動きベクトルを算
出する方法であって、該第１および第２のイメージのそ
れぞれが、連続する画素（ピクセル）サンプルの線を有
し、該方法は、該第１のイメージ内に所定の位置を有す
る、第１のＮ×Ｍ個のピクセルのブロックを選択する工
程であって、ＮおよびＭがともに、２よりも大きな整数
である、工程と、該第２のイメージ内の第１のＮ×Ｍ個
のピクセルのマッチングブロックを識別する工程であっ
て、該第１のマッチングブロックが、所定のずれの範囲
内で、該第１のイメージ内の該第１のブロックの該位置
からずれており、且つ所定の基準に従って、該第１のブ
ロックとマッチする位置を有する、工程と、該第１のイ
メージ内の該第１のブロックの該位置に対する、該第２
のイメージからの該第１のピクセルのマッチングブロッ
クの該ピクセル位置のずれとして、第１の動きベクトル
を算出する工程と、該第１のイメージからの第２のＮ×
Ｍ個のピクセルのブロックを選択する工程であって、該
第２のブロックが、少なくともＯ個のピクセル位置の該
第１のブロックと重なり合い、ＯがＮ×Ｍよりも小さい
整数である、工程と、該第２のイメージ内の第２のＮ×
Ｍ個のピクセルのマッチングブロックを識別する工程で
あって、該第２のマッチングブロックが、該所定のずれ
の範囲内で、該第１のイメージ内の該第２のブロックの
該位置からずれており、且つ該所定の基準に従って、該
第２のブロックとマッチする位置を有する、工程と、該
第１のイメージ内の該第２のブロックの該位置に対す
る、該第２のイメージ内の該第２のピクセルのマッチン
グブロックの該ピクセル位置のずれとして、第２の動き
ベクトルを算出する工程と、を包含し、それにより上記
目的が達成される。
【０００９】前記第１および第２の動きベクトルを、前
記第１のイメージの前記個々の第１および第２のブロッ
ク内の個々のｎ×ｍ個のピクセルの重なり合わないブロ
ックに割り当てる工程をさらに含み、ｎおよびｍが整数
であり、ｎがＮよりも小さく、ｍがＭよりも小さくても
よい。
【００１０】ＮおよびＭがともに８と等しく、ｎおよび
ｍがともに４と等しくてよい。
【００１１】前記第１のイメージ内の前記第２のブロッ
クが、該第１のイメージ内の前記第１のブロックから水
平方向にずれてもよい。
【００１２】前記第１のイメージからの第３のＮ×Ｍ個
のピクセルのブロックを選択する工程であって、該第３
のブロックが、前記第１のブロックから垂直方向にず
れ、且つ該少なくともＯ個のピクセル位置の第１のブロ
ックと重なり合う、工程と、前記第２のイメージ内の第
３のＮ×Ｍ個のピクセルのマッチングブロックを識別す
る工程であって、該第３のマッチングブロックが、前記
所定のずれの範囲内で、該第１のイメージ内の該第３の
ブロックの該位置からずれ、且つ前記所定の基準に従っ
て、該第３のブロックとマッチする位置を有する、工程
と、該第１のイメージ内の該第３のブロックの該位置に
対する、該第２のイメージからの該第３のピクセルのマ
ッチングブロックの該ピクセル位置のずれとして、第３
の動きベクトルを算出する工程と、をさらに包含しても
よい。
【００１３】前記第１のイメージ内の前記第２のブロッ
クが、該第１のイメージ内の前記第１のブロックから垂
直方向にずれてもよい。
【００１４】本発明による装置は、第１のイメージと第
２のイメージの間の動きベクトルを算出する装置であっ
て、該第１および第２のイメージのそれぞれが、連続す
る画素（ピクセル）サンプルの線を有し、該装置は、該
第１のイメージ内に所定の位置を有する、第１のＮ×Ｍ
個のピクセルのブロックを選択する手段であって、Ｎお
よびＭがともに、２よりも大きい整数である、手段と、
該第２のイメージ内の第１のＮ×Ｍ個のピクセルのマッ
チングブロックを識別する工程であって、該第１のマッ
チングブロックが、所定のずれの範囲内で、該第１のイ
メージ内の該第１のブロックの該位置からずれ、且つ所
定の基準に従って、該第１のブロックとマッチする位置
を有する、手段と、該第１のイメージ内の該第１のブロ
ックの該位置に対する、該第２のイメージからの該第１
のピクセルのマッチングブロックの該ピクセル位置のず
れとして、第１の動きベクトルを算出する手段と、該第
１のイメージからの第２のＮ×Ｍ個のピクセルのブロッ
クを選択する手段であって、該第２のブロックが、少な
くともＯ個のピクセル位置の該第１のブロックと重なり
合い、ＯがＮ×Ｍよりも小さな整数である、手段と、該
第２のイメージ内の第２のＮ×Ｍ個のピクセルのマッチ
ングブロックを識別する手段であって、該第２のマッチ
ングブロックが、該所定のずれの範囲内で、該第１のイ
メージ内の該第２のブロックの該位置からずれており、
且つ該所定の基準に従って、該第２のブロックとマッチ
する位置を有する、手段と、該第１のイメージ内の該第
２のブロックの該位置に対する、該第２のイメージから
の該第２のピクセルのマッチングブロックの該ピクセル
位置のずれとして、第２の動きベクトルを算出する手段
と、を包み、それにより上記目的が達成される。
【００１５】前記第１および第２の動きベクトルを、前
記第１のイメージの前記個々の第１および第２のブロッ
ク内の個々のｎ×ｍ個のピクセルの重なり合わないブロ
ックに割り当てる手段をさらに含み、ｎおよびｍが整数
であり、ｎがＮよりも小さく、ｍがＭよりも小さくてよ
い。
【００１６】ＮおよびＭが８と等しく、ｎおよびｍが４
と等しくてよい。
【００１７】前記第１のイメージ内の前記第２のブロッ
クが、該第１のイメージ内の前記第１のブロックから、
水平方向にずれてもよい。
【００１８】前記第１のイメージからの第３のＮ×Ｍ個
のピクセルのブロックを選択する手段であって、該第３
のブロックが、前記第１のブロックから垂直方向にず
れ、且つ前記少なくともＯ個のピクセル位置の前記第１
のブロックと重なり合う、手段と、前記第２のイメージ
内の第３のＮ×Ｍ個のピクセルのマッチングブロックを
識別する手段であって、該第３のマッチングブロック
が、前記所定のずれの範囲内で、該第１のイメージ内の
該第３のブロックの該位置からずれ、且つ前記所定の基
準に従って、該第３のブロックとマッチする位置を有す
る、手段と、該第１のイメージ内の該第３のブロックの
該位置に対する、該第２のイメージの該第３のピクセル
のマッチングブロックの該ピクセル位置のずれとして、
第３の動きベクトルを算出する手段と、をさらに含んで
よい。
【００１９】前記第１のイメージ内の前記第２のブロッ
クが、該第１のイメージ内の前記第１のブロックから垂
直方向にずれてもよい。
【００２０】本発明による方法は、コンピュータが第１
のイメージと第２のイメージ間の動きベクトルを算出す
るように制御する、コンピュータプログラムを含むコン
ピュータ可読媒体であって、該第１および第２のイメー
ジのそれぞれが、連続する画素（ピクセル）サンプルの
線を有し、該方法は、該第１のイメージ内に所定の位置
を有する、第１のＮ×Ｍ個のピクセルのブロックを選択
する工程であって、ＮおよびＭがともに、２よりも大き
な整数である、工程と、該第２のイメージ内の第１のＮ
×Ｍ個のピクセルのマッチングブロックを識別する工程
であって、該第１のマッチングブロックが、所定のずれ
の範囲内で、該第１のイメージ内の該第１のブロックの
該位置からずれ、且つ所定の基準に従って、該第１のブ
ロックとマッチする位置を有する、工程と、該第１のイ
メージ内の該第１のブロックの該位置に対する、該第２
のイメージからの該第１のピクセルのマッチングブロッ
クの該ピクセル位置のずれとして、第１の動きベクトル
を算出する工程と、該第１のイメージからの第２のＮ×
Ｍ個のピクセルのブロックを選択する工程であって、該
第２のブロックが、少なくともＯ個のピクセル位置の該
第１のブロックと重なり合い、ＯがＮ×Ｍよりも小さな
整数である、工程と、該第２のイメージ内の第２のＮ×
Ｍ個のピクセルのマッチングブロックを識別する工程で
あって、該第２のマッチングブロックが、該所定のずれ
の範囲内で、該第１のイメージ内の該第２のブロックの
該位置からずれ、且つ該所定の基準に従って、該第２の
ブロックとマッチする位置を有する、工程と、該第１の
イメージ内の該第２のブロックの該位置に対する、該第
２のイメージからの該第２のピクセルのマッチングブロ
ックの該ピクセル位置の該ずれとして、第２の動きベク
トルを算出する工程と、を包含し、それにより上記目的
が達成される。
【００２１】本発明による方法は、それぞれが、Ｌ本の
画素（ピクセル）サンプルの線を有する、第１および第
２のイメージフィールドを有するインターレース映像信
号を、該インターレース映像信号のサンプルの線のそれ
ぞれの対の間に、個々の補間ピクセルのサンプルの線を
加えることによって、それぞれが、少なくとも２Ｌ−１
本のピクセルサンプルの線を有する、対応する第１およ
び第２のイメージフレームを有する順次映像信号に変換
する方法であって、Ｌが１よりも大きな整数である、該
方法は、該第１のイメージフィールドから、第１および
第２の重なり合うＮ×Ｍ個のピクセルのブロックを選択
する工程であって、該第１および第２のブロックが、所
定の方向で、Ｏ個のピクセル分だけ重なり合い、Ｍ、Ｎ
およびＯが整数であり、Ｏが、少なくともＮおよびＭの
うちの１つよりも小さい、工程と、該第１および第２の
イメージフィールド間の動きを推定することにより、該
第１および第２の重なり合うブロックに対する個々の第
１および第２の動きベクトルを定義する工程と、該第１
および第２の動きベクトルを、個々の第１および第２の
ピクセルサンプルのブロック内の個々の第１および第２
の重なり合わないピクセルのサブブロックに割り当てる
工程と、該第１の動きベクトルによって判定された、該
第１の重なり合わないピクセルのサブブロックと、該第
２のイメージからの対応する第１のマッチングサブブロ
ックとの間の誤差の測定値を、所定の閾値と比較するこ
とにより、該動きベクトルが、該第１および第２のイメ
ージ間の実際の動きを表わすかどうかを判定する、工程
と、該動きベクトルが実際の動きを表わす場合に、該第
１のサブブロックおよび該第１のマッチングサブブロッ
ク内のピクセルサンプルを用いて、前記補間ピクセルサ
ンプルを生成する工程と、該動きベクトルが実際の動き
を表わさない場合に、該第１のサブブロック内のみのピ
クセルサンプルを用いて、該補間ピクセルサンプルを生
成する工程と、を包含し、それにより上記目的が達成さ
れる。
【００２２】本発明による変換器は、インターレース−
順次走査変換器であって、それぞれが、Ｌ本の画素（ピ
クセル）サンプルの線を有する、第１および第２のイメ
ージフィールドを有するインターレース映像信号を、該
インターレース映像信号のサンプルの線のそれぞれの対
の間に、個々の補間ピクセルのサンプルの線を加えるこ
とによって、それぞれが、少なくとも２Ｌ−１本のピク
セルサンプルの線を有する、対応する第１および第２の
イメージフレームを有する順次映像信号に変換する変換
器であって、Ｌが１よりも大きな整数である、該変換器
は、該第１のイメージフィールドから、第１および第２
の重なり合うＮ×Ｍ個のピクセルのブロックを選択する
手段であって、該第１および第２のブロックが、所定の
方向で、Ｏ個のピクセル分だけ重なり合い、Ｍ、Ｎおよ
びＯが整数であり、Ｏが、少なくともＮおよびＭのうち
の１つよりも小さい、手段と、該第１および第２のイメ
ージフィールド間の動きを推定することにより、該第１
および第２の重なり合うブロックに対する個々の第１お
よび第２の動きベクトルを定義する動き推定器と、該第
１および第２の動きベクトルを、個々の第１および第２
のピクセルサンプルのブロック内の個々の第１および第
２の重なり合わないピクセルのサブブロックに割り当て
る手段と、該第１の動きベクトルによって判定された、
該第１の重なり合わないピクセルのサブブロックと、該
第２のイメージからの対応する第１のマッチングサブブ
ロックとの間の誤差の測定値を、所定の閾値と比較する
ことにより、該動きベクトルが、該第１および第２のイ
メージ間の実際の動きを表わすかどうかを判定する、コ
ンパレーターと、該動きベクトルが実際の動きを表わす
場合に、該第１のサブブロックおよび該第１のマッチン
グサブブロック内のピクセルサンプルを用いて、前記補
間ピクセルサンプルを生成する第１の補間器と、該動き
ベクトルが実際の動きを表わさない場合に、該第１のサ
ブブロック内のみのピクセルサンプルを用いて、該補間
ピクセルサンプルを生成する第２の補間器と、を含み、
それにより上記目的が達成される。
【００２３】本発明による方法は、第１のイメージと、
第２のイメージとの間の動きベクトルを算出する方法で
あって、前記第１および第２のイメージのそれぞれが、
連続する画素（ピクセル）サンプルの線を有し、該方法
は、前記第１のイメージフィールドから、第１および第
２の重なり合うＮ×Ｍ個のピクセルのブロックを選択す
る工程であって、該第１および第２のブロックが、所定
の方向で、Ｏ個のピクセル分だけ重なり合い、Ｍ、Ｎお
よびＯが整数であり、Ｏが、少なくともＮおよびＭのう
ちの１つよりも小さい、工程と、該第１および第２のイ
メージフィールド間の動きを推定することにより、該第
１および第２の重なり合うブロックに対する個々の第１
および第２の動きベクトルを定義する工程と、該第１お
よび第２の動きベクトルを、該個々の第１および第２の
ピクセルサンプルのブロック内の個々の第１および第２
の重なり合わないピクセルのサブブロックに割り当てる
工程と、を包含し、それにより上記目的が達成される。
【００２４】本発明は、第１のイメージと第２のイメー
ジの間に動きベクトルを見つける動き推定システムで実
現される。上記動き推定システムは、上記第１のイメー
ジから、第１および第２の重なり合うピクセルのブロッ
クを選択する。上記動き推定システムは、次いで、上記
第１のイメージと第２のイメージとの間の動きを推定す
ることにより、上記の重なり合うブロックに対する個々
の動きベクトルを定義づける。これらの動きベクトル
は、上記個々の第１および第２の重なり合うピクセルの
ブロック内の個々の第１および第２の重なり合わないピ
クセルのサブブロックに割り当てられる。
【００２５】
【発明の実施の形態】図１は、本発明の例示的なインタ
ーレース−順次走査変換システムのブロック図である。
図１Ａにおいて、インターレース映像信号が、現在のフ
ィールドメモリ１１０に受信される。新たなフィールド
のそれぞれが受信されると、メモリ１１０の先行コンテ
ンツが、先行フィールドメモリ１１２に転送される。動
き推定プロセッサ１１４が、現在のフィールドメモリ１
１０および先行フィールドメモリ１１２の両方から、映
像情報を受信するように結合される。下記で述べるとお
り、動き推定プロセッサ１１４は、８×８個のピクセル
のブロックに基づいて、現在のフィールドに対する動き
ベクトルを生成する。しかしながら、この動きベクトル
は、４×４個のピクセルのブロックに適用される。この
動きベクトルは、インターレース映像信号のサンプルの
それぞれの対の間に、垂直に補間されたサンプルを生成
するために、インターレース−順次走査変換器１１６に
よって用いられる。現在のフィールドメモリ１１０、先
行フィールドメモリ１１２、動き推定プロセッサ１１４
およびインターレース−順次変換器１１６は、制御器１
１８により制御される。
【００２６】本発明は、先行フィールドからのサンプル
を調べることによって、現在のフィールドに対する補間
サンプルを生成する例示的な実施形態に関して説明され
るが、次のフィールドから、または次のフィールドおよ
び先行フィールドの両方からのサンプルを調べることに
よって、補間サンプルを生成する現在のフィールドのコ
ンテクストで実行され得ることが企図される。
【００２７】図１Ｂに、インターレース−順次変換器１
１６を示す。この変換器は、フィールド内補間器１２４
およびフィールド間補間器１２６を含む。フィールド内
補間器１２４は、現在のインターレースフィールド内の
隣接する線からの対応するサンプルを垂直方向に平均化
することによって、線の間に介在サンプルを生成する。
フィールド間補間器１２６は、動きベクトルによって示
されるように、現在のフィールドおよび先行フィールド
からのサンプルの線をフィルタリングすることにより、
イメージ内の動きを補償する補間サンプルを作成する。
動き推定回路１１４によって生成される動きベクトル
が、現在のフィールドと先行フィールドとの間の動きを
実際に反映する場合、結果的に生じるイメージが、フィ
ールド内補間器１２４からの線が用いられる場合より
も、より高度な垂直解像度を有するので、補間器１２６
によって生成される補間線が好ましい。しかしながら、
動き推定プロセッサによって生成される動きベクトル
が、フィールド間の実際の動きを反映しない場合、フィ
ールド間補間器１２６によって生成される補間サンプル
は、イメージの質を低下させる動き歪みを含み得る。こ
の場合、フィールド内補間器１２４によって生成される
補間線を用いることが望ましいかもしれない。
【００２８】本発明の例示的な実施形態において、図１
Ａに示す動き推定プロセッサ１１４は、コンパレーター
１２０に異なる値を適用する。この値は、現在のフィー
ルド内のブロックと、先行フィールド内の対応するブロ
ックとの間の誤差の測定値である。コンパレーター１２
０は、この誤差の測定値を、デジタル値のソース（例え
ば、レジスタ）１２２によって提供される閾値と比較す
る。コンパレーター１２０の出力信号が、１つ目の信号
入力ポートに、補間器１２４によって提供されるフィー
ルド内補間サンプルを、そして２つ目の信号入力ポート
に、フィールド間補間器１２６によって提供される対応
するサンプルを受信するように結合されるマルチプレク
サー１２８の制御入力端子に供給される。動き推定プロ
セッサ１１４によって提供される誤差の値が閾値よりも
大きい場合、コンパレーターがマルチプレクサー１２８
に、補間出力信号１３２としてフィールド内補間サンプ
ルを提供させる。逆に、プロセッサ１１４によって提供
される誤差の値が閾値１２２よりも小さい場合、コンパ
レーターがマルチプレクサー１２８に、補間出力信号１
３２として、補間器１２６によって生成されるフィール
ド間補間サンプルを提供させる。現在のフィールドのイ
ンターレース信号が、インターレースサンプル１３０と
して提供される。信号線１３０および１３２によって提
供されるサンプルはともに、順次映像イメージを形成す
る。
【００２９】図２Ａは、動きベクトルを算出するため
に、動き推定プロセッサ１１４によって用いられる、重
なり合う大きなブロックを示すイメージ図である。図２
Ａは、イメージ２１０、およびそのイメージに対して定
義された、重なり合う大きなブロックの３つの集合を示
す。これらのブロックの集合は、それぞれ、実線、破
線、および点線で表される。ブロックの第１の集合２１
２は、実線によって定義される。これらのブロックは、
例えば、水平および垂直方向の両方において、２個のピ
クセル分だけ、イメージ２１０の端からずれている。１
つおきの破線および点線で輪郭を示した、例示的なブロ
ック２１８のそれぞれは、大きなブロックごとに合計６
４個のピクセルを有するように、１つの辺に８個のピク
セルを含む。破線で表すブロックの第２の集合２１４も
また、８×８個のピクセルのブロックから成る。しかし
ながら、これらのブロックは、水平方向で、イメージ２
１０の左端からは６個のピクセル分、そして上端からは
２個のピクセル分だけずれている。点線で示す８×８個
のピクセルのブロックの第３の集合は、イメージ２１０
の左端からは２個のピクセル分、そしてイメージの上端
からは６個のピクセル分だけずれている集合２１６であ
る。
【００３０】図２Ｂは、８×８個のピクセルのブロック
２１８を含む、図２Ａに示すイメージの詳細部分を示
す。図２Ｂに示すとおり、ピクセルのブロック２１８
は、イメージ２１０の左端から、２個のピクセル間隔２
２８だけずれている。このブロックはまた、イメージの
上端から、２個のピクセル間隔２２４だけずれている。
【００３１】本発明の例示的な実施形態は、従来の動き
推定技術を用いて、８×８個のピクセルのブロック２１
８に基づいて、動きベクトル２１２を定義する。しかし
ながら、この動きベクトルは、中央の４×４個のピクセ
ルのサブブロック２２０にのみ適用される。図２Ｂに示
すとおり、この中央のブロックは、ブロック２１８の上
端からは、２個のピクセル間隔２２６だけ、そしてブロ
ック２１８の左端からは、２個のピクセル間隔２３０だ
けずれている。
【００３２】図２Ｂは、図１Ａに示すプロセッサ１１４
によって実行される、動き推定プロセスの第１の工程を
表す。このプロセスによって、動き推定プロセッサは、
最初に、ブロック２１８を定義し、次いで、ブロック２
１８を、（例えば、水平および垂直方向のそれぞれにお
いて、±１〜６個のピクセル位置だけ）ピクセル位置の
範囲に対して位置ずれしている、先行フィールド１１２
からの対応する８×８個のピクセルのブロックと比較す
ることによって、ブロック２１８に対する動きベクトル
を算出する。この動きベクトルは、調査範囲内にあり、
現在のイメージ２１０内のブロック２１８に対するマッ
チングの基準を最大に満たす、先行イメージのブロック
のずれに相当する。例えば、例示的なマッチングアルゴ
リズムが、ブロック内のピクセルの対応する６４個の対
の平均絶対差を算出し得る。しかしながら、一旦動きベ
クトルが算出されると、中央の４個のピクセル×４個の
ピクセルのサブブロック２２０にのみ割り当てられる。
【００３３】図３Ａおよび３Ｂは、プロセッサ１１４に
よって実行される動き推定プロセスの第２の工程を示
す。この工程において、第２の８×８個のピクセルのブ
ロック３１０は、動きベクトルを生成するために用いら
れる。このピクセルのブロックは、水平方向にずらされ
たピクセルのブロック２１４のグループに属する。図３
Ａおよび３Ｂに示すとおり、ピクセルのブロック３１０
は、水平方向で、４個のピクセル分だけ、ピクセルのブ
ロック２１８と重なり合う。ピクセルのブロック２１８
とともに、動き推定プロセッサ１１４は、８×８個のピ
クセルのブロック３１０に対する動きベクトル３１４を
発生するが、この動きベクトルは、中央の４×４個のピ
クセルのサブブロック３１２にのみ適用される。このブ
ロックは、ピクセルのブロック３１０の端から、各方向
において、２個のピクセル位置だけずれている。よっ
て、小さいブロック３１２は、ピクセルの小さいブロッ
ク２２０のすぐ横に隣接する。
【００３４】図２Ａ、２Ｂ、３Ａおよび３Ｂに示す工程
は、現在のイメージフィールド２１０の全体の幅に渡っ
て繰り返される。図４Ａおよび４Ｂは、イメージ２１０
の幅に沿った最後のブロックが、図２および３に示す工
程を用いてプロセスされた後に、動き推定プロセッサ１
１４によって実行される工程を示す。図４Ａおよび４Ｂ
に示す工程において、動き推定プロセッサ１１４は、サ
ンプルのブロック２１８の上端から、垂直方向において
４個のピクセル位置だけずれており、よって、ブロック
内のサンプルの下側の４本の線が重なり合うサンプルの
ブロック４１０を用いる。動き推定プロセッサ１１４
は、８×８個のピクセルのブロック４１０全体に対する
動きベクトル４１４を算出するが、この動きベクトル４
１４は、その８×８個のピクセルのブロック４１０の中
央の４×４個のサブブロック４１２にのみ適用される。
４×４個のピクセルのサブブロック４１２は、４×４個
のサブブロック２２０のすぐ下にある。
【００３５】動き推定プロセスは、ピクセルのブロック
２１８の端から、水平および垂直方向の両方において、
４個のピクセル分だけずれている８×８個のピクセルの
ブロック（図示せず）を用いて継続する。よって、この
ピクセルのブロックは、ブロック２１８の下側の４分の
１と重なり合い、４×４個のサブブロック３１２のすぐ
下で、４×４個のピクセルのサブブロック４１２のすぐ
右側にある、４×４個のピクセルのブロックに対する動
きベクトルを生成するために用いられる。このプロセス
は、イメージ２１０の幅に渡って継続する。ピクセルブ
ロックのこの２番目のロー内の最後のピクセルのブロッ
クがプロセスされた後、動き推定プロセスは、図２Ａ、
３Ａおよび４Ａの実線で輪郭を示したピクセルのグルー
プ２１２からの次の下側のピクセルのブロックを用いて
継続する。
【００３６】図２Ａ〜４Ｂに示すプロセスの結果は、そ
れぞれが関連づけられた動きベクトルを有する、４×４
個のピクセルのブロックの集合である。しかしながら、
この動きベクトルは、より大きな８×８個のピクセルの
ブロックから計算されるので、より優れたノイズ特性を
示す。動き推定プロセッサ１１４が、４×４個のピクセ
ルのブロックをインターレース−順次変換器１１４に適
用するときに、現在のフィールドからの４×４個のピク
セルのブロックと、先行フィールドからのマッチする４
×４個のピクセルのブロックとの誤差の測定値も提供す
る。例えば、この誤差の測定値は、ピクセル値の平均絶
対差（ＭＡＤ）、または２つのブロック内の対応する位
置のピクセル値の平均平方誤差（ＭＳＥ）であり得る。
【００３７】動き推定器１１４は、８×８個のピクセル
のブロックの値に基づいて、イメージ内の動きをトラッ
キングするので、ノイズではなく、イメージコンテンツ
をトラッキングする傾向にある。よって、推定器１１４
は、より小さなブロックサイズを用いる変換器と比較し
て、より優れたノイズ特性を示す。また、インターレー
ス−順次変換器１１６に適用される、マッチングブロッ
ク間の誤差の測定値が、小さい４×４個のピクセルのサ
ブブロックに基づくので、変換器１１６は、より大きな
ブロックサイズが用いられる場合よりも、イメージ内の
小さなオブジェクトの誤ったマッチングをより効率よく
排除することができる。よって、インターレース−順次
変換器１１６は、良好なノイズ特性、および良好なスモ
ールオブジェクトトラッキングの両方を示す。
【００３８】動き推定プロセスの最後に、イメージ内の
最後の８×８個のピクセルのブロックがプロセスされた
ときに、動きベクトルが、４×４個のピクセルのサブブ
ロックの線を除いた、イメージを囲む、イメージ内の全
てのピクセルのブロックに対して存在する。これらのサ
ブブロックに対する動きベクトルは、多くの方法で算出
され得る。図５に一例を示す。この図において、４×４
個のピクセルのサブブロック５１０は、上述のプロセス
によって定義される動きベクトルを有さない。本発明の
この例示的な実施形態において、サブブロック４１２に
対して算出される動きベクトル４１４は、４×４個のサ
ブブロック５１０に対する動きベクトル５１２としてコ
ピーされる。同様に、サブブロック２２０の動きベクト
ル２２２は、サブブロック５１４の動きベクトル５１６
としてコピーされ、動きベクトル２２２はまた、サブブ
ロック５１８の動きベクトル５２０としてもコピーさ
れ、そして、サブブロック３１２の動きベクトル３１４
は、サブブロック５２２の動きベクトル５２４としてコ
ピーされる。ブロック５２６は、その１つの端に沿って
すぐ横に隣接して算出された動きベクトルを有さない。
しかしながら、本発明のこの例示的な実施形態におい
て、動きベクトル２２２は、サブブロック５２６に対す
る動きベクトル５２８としてコピーされる。
【００３９】サブブロック５１０、５１４、５１８、５
２２および５２６は、イメージ２１０の端に沿って位置
するので、イメージ内のより中央に位置するブロックほ
ど重要ではない。これは、視聴者の注意が、通常は、イ
メージの中央に向けられ、イメージの端には向けられな
いからである。従って、これらのブロックに対する動き
ベクトルの算出は、イメージの中央部分に近いブロック
に対するよりも重要ではない。本発明の別の実施形態に
おいて、これらのブロックに対する動きベクトルは、ゼ
ロに設定され得る。あるいは、隣接するブロックの他の
なんらかの関数が算出され得る。例えば、ブロック５１
２に対する動きベクトルが、動きベクトル２２２、４１
４の平均値、ならびにサブブロック４１２のすぐ下の４
×４個のピクセルのサブブロック（図示せず）に対する
動きベクトル（図示せず）として算出され得る。
【００４０】図２Ａ〜５に示す本発明の例示的な実施形
態は、本発明以外の手段によって生成される動きベクト
ルを有する、イメージの端の周辺の小さいブロックのロ
ーを定義するが、この工程は省略され得ることが企図さ
れる。例えば、インターレースイメージが、同等の順次
イメージよりも大きい場合、ブロックの集合２１２は、
イメージの上および左端と位置合わせされ得、ブロック
の集合２１４は、イメージの上および右端と位置合わせ
され得、そして、ブロックの集合２１６は、イメージの
下および左端と位置合わせされ得る。これの実現におい
て、例えば、２つのピクセルの境界領域は、イメージの
周辺で定義される。この境界領域が順次イメージにおい
て無視され得る場合、図５に示すような、特別な動きベ
クトルの工程は、実行される必要がない。
【００４１】図１Ａおよび１Ｂを参照して説明した本発
明の実施形態は、本発明を実現するために、特定のハー
ドウェア回路の使用を企図する。しかしながら、本発明
は、汎用または専用のコンピュータのソフトウェアで実
現され得ることが企図される。このソフトウェアは、磁
気または光ディスク、もしくは無線周波数または可聴周
波数搬送波等のコンピュータ可読媒体に内在し得る。
【００４２】図６は、個々の重なり合うブロックに対す
る２つの動きベクトルを定義する、本発明の例示的なソ
フトウェアの実行を説明するフローチャートである。こ
れらの動きベクトルは、第１のイメージ内の重なり合う
ブロックと、第２のイメージ内の対応する重なり合うブ
ロックとの間の動きを定義する。工程６１０で、プロセ
スは、第１のイメージから第１のピクセルのブロックを
選択する。工程６１２で、プロセスは、第２のイメージ
内の所定の範囲で最適なマッチングブロックを探す。工
程６１４で、第１のブロックに対するマッチングブロッ
クのずれが、第１のブロックに対する動きベクトルとし
て設定される。
【００４３】次に、工程６１６、６１８および６２０
で、上記のプロセスが、第２の動きベクトルを定義する
ために、第２の重なり合うブロックに対して繰り返され
る。このプロセスの最後の工程である工程６２２は、第
１および第２の動きベクトルを、第１および第２の重な
り合うブロック内の中央の位置から取られた、個々の第
１および第２の重なり合わないブロックに割り当てる。
【００４４】本発明は、例示的な実施形態に関して説明
されているが、添付の請求の範囲内で、上述のとおりに
実践され得ることが企図される。例えば、本発明の例示
的な実施形態の大きなピクセルのブロックが、８×８個
のピクセルのブロックであり、小さいブロックが４×４
個のピクセルブロックである一方で、他のブロックサイ
ズが用いられ得ることが企図される。また、重なり合う
部分が他の大きさであり得ることが企図される。例え
ば、大きなブロックが８個のピクセル×１０個のピクセ
ルのブロックであり得、小さいブロックが４個のピクセ
ル×６個のピクセルのブロックであり得る。また、本発
明は非インターレース化システムに関して説明されてい
るが、イメージ圧縮システム、および機械視覚システム
等の動きベクトルを採用する他のシステムで用いられ得
ることが企図される。
【００４５】第１のイメージと、第２のイメージの間の
動きベクトルを見つけるための動き推定システムが、第
１のイメージから、第１および第２の重なり合うピクセ
ルのブロックを選択する。動き推定システムは、次い
で、第１のイメージと、第２のイメージとの間の動きを
推定し、重なり合うブロックに対する個々の動きベクト
ルを定義する。これらの動きベクトルは、個々の第１お
よび第２の重なり合うピクセルのブロック内の個々の第
１および第２の重なり合わないピクセルのサブブロック
に割り当てる。動き推定システムは、補間サンプルが第
１および第２のイメージフィールドからの、または第１
のフィールドからのみのサンプルを用いて、生成される
かどうかを判定するために、サブブロックが用いられる
映像非インターレース化システムで、有利に用いられ
る。
【図面の簡単な説明】
【図１Ａ】図１Ａは、本発明に従った動き適合インター
レース走査−順次走査変換システムのブロック図であ
る。
【図１Ｂ】図１Ｂは、図１Ａに示す変換システムでの使
用に適した、インターレース−順次変換器のブロック図
である。
【図２Ａ】図２Ａは、図１Ａに示す動き推定プロセッサ
による動きベクトルの算出のために用いられる、ブロッ
ク選択方式を説明するために有用なイメージ図である。
【図２Ｂ】図２Ｂは、図２Ａに示すイメージ図の一部を
示すイメージ図である。
【図３Ａ】図３Ａは、図１Ａに示す動き推定プロセッサ
によって用いられる、動きベクトル算出手順を説明する
ために有用なイメージ図である。
【図３Ｂ】図３Ｂは、図３Ａのイメージ図の一部を示す
イメージ図である。
【図４Ａ】図４Ａは、図１Ａの動き推定プロセッサによ
って用いられる、動きベクトル算出プロセスを説明する
ために有用なイメージ図である。
【図４Ｂ】図４Ｂは、図４Ａのイメージ図の一部を示す
イメージ図である。
【図５】図５は、図２Ａ〜４Ｂに示すいずれかのイメー
ジの端の周辺のブロックの動きベクトルを算出するため
の例示的なプロセスを示すイメージ図である。
【図６】図６は、本発明のプロセスを説明するために有
用なフローチャートである。

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 第１のイメージと第２のイメージの間の
    動きベクトルを算出する方法であって、該第１および第
    ２のイメージのそれぞれが、連続する画素（ピクセル）
    サンプルの線を有し、該方法は、 該第１のイメージ内に所定の位置を有する、第１のＮ×
    Ｍ個のピクセルのブロックを選択する工程であって、Ｎ
    およびＭがともに、２よりも大きな整数である、工程
    と、 該第２のイメージ内の第１のＮ×Ｍ個のピクセルのマッ
    チングブロックを識別する工程であって、該第１のマッ
    チングブロックが、所定のずれの範囲内で、該第１のイ
    メージ内の該第１のブロックの該位置からずれており、
    且つ所定の基準に従って、該第１のブロックとマッチす
    る位置を有する、工程と、 該第１のイメージ内の該第１のブロックの該位置に対す
    る、該第２のイメージからの該第１のピクセルのマッチ
    ングブロックの該ピクセル位置のずれとして、第１の動
    きベクトルを算出する工程と、 該第１のイメージからの第２のＮ×Ｍ個のピクセルのブ
    ロックを選択する工程であって、該第２のブロックが、
    少なくともＯ個のピクセル位置の該第１のブロックと重
    なり合い、ＯがＮ×Ｍよりも小さい整数である、工程
    と、 該第２のイメージ内の第２のＮ×Ｍ個のピクセルのマッ
    チングブロックを識別する工程であって、該第２のマッ
    チングブロックが、該所定のずれの範囲内で、該第１の
    イメージ内の該第２のブロックの該位置からずれてお
    り、且つ該所定の基準に従って、該第２のブロックとマ
    ッチする位置を有する、工程と、 該第１のイメージ内の該第２のブロックの該位置に対す
    る、該第２のイメージ内の該第２のピクセルのマッチン
    グブロックの該ピクセル位置のずれとして、第２の動き
    ベクトルを算出する工程と、を包含する、方法。
  2. 【請求項２】 前記第１および第２の動きベクトルを、
    前記第１のイメージの前記個々の第１および第２のブロ
    ック内の個々のｎ×ｍ個のピクセルの重なり合わないブ
    ロックに割り当てる工程をさらに含み、ｎおよびｍが整
    数であり、ｎがＮよりも小さく、ｍがＭよりも小さい、
    請求項１に記載の方法。
  3. 【請求項３】 ＮおよびＭがともに８と等しく、ｎおよ
    びｍがともに４と等しい、請求項２に記載の方法。
  4. 【請求項４】 前記第１のイメージ内の前記第２のブロ
    ックが、該第１のイメージ内の前記第１のブロックから
    水平方向にずれる、請求項１に記載の方法。
  5. 【請求項５】 請求項４に記載の方法であって、 前記第１のイメージからの第３のＮ×Ｍ個のピクセルの
    ブロックを選択する工程であって、該第３のブロック
    が、前記第１のブロックから垂直方向にずれ、且つ該少
    なくともＯ個のピクセル位置の第１のブロックと重なり
    合う、工程と、 前記第２のイメージ内の第３のＮ×Ｍ個のピクセルのマ
    ッチングブロックを識別する工程であって、該第３のマ
    ッチングブロックが、前記所定のずれの範囲内で、該第
    １のイメージ内の該第３のブロックの該位置からずれ、
    且つ前記所定の基準に従って、該第３のブロックとマッ
    チする位置を有する、工程と、 該第１のイメージ内の該第３のブロックの該位置に対す
    る、該第２のイメージからの該第３のピクセルのマッチ
    ングブロックの該ピクセル位置のずれとして、第３の動
    きベクトルを算出する工程と、をさらに包含する、方
    法。
  6. 【請求項６】 前記第１のイメージ内の前記第２のブロ
    ックが、該第１のイメージ内の前記第１のブロックから
    垂直方向にずれる、請求項１に記載の方法。
  7. 【請求項７】 第１のイメージと第２のイメージの間の
    動きベクトルを算出する装置であって、該第１および第
    ２のイメージのそれぞれが、連続する画素（ピクセル）
    サンプルの線を有し、該装置は、 該第１のイメージ内に所定の位置を有する、第１のＮ×
    Ｍ個のピクセルのブロックを選択する手段であって、Ｎ
    およびＭがともに、２よりも大きい整数である、手段
    と、 該第２のイメージ内の第１のＮ×Ｍ個のピクセルのマッ
    チングブロックを識別する工程であって、該第１のマッ
    チングブロックが、所定のずれの範囲内で、該第１のイ
    メージ内の該第１のブロックの該位置からずれ、且つ所
    定の基準に従って、該第１のブロックとマッチする位置
    を有する、手段と、 該第１のイメージ内の該第１のブロックの該位置に対す
    る、該第２のイメージからの該第１のピクセルのマッチ
    ングブロックの該ピクセル位置のずれとして、第１の動
    きベクトルを算出する手段と、 該第１のイメージからの第２のＮ×Ｍ個のピクセルのブ
    ロックを選択する手段であって、該第２のブロックが、
    少なくともＯ個のピクセル位置の該第１のブロックと重
    なり合い、ＯがＮ×Ｍよりも小さな整数である、手段
    と、 該第２のイメージ内の第２のＮ×Ｍ個のピクセルのマッ
    チングブロックを識別する手段であって、該第２のマッ
    チングブロックが、該所定のずれの範囲内で、該第１の
    イメージ内の該第２のブロックの該位置からずれてお
    り、且つ該所定の基準に従って、該第２のブロックとマ
    ッチする位置を有する、手段と、 該第１のイメージ内の該第２のブロックの該位置に対す
    る、該第２のイメージからの該第２のピクセルのマッチ
    ングブロックの該ピクセル位置のずれとして、第２の動
    きベクトルを算出する手段と、を包む、装置。
  8. 【請求項８】 前記第１および第２の動きベクトルを、
    前記第１のイメージの前記個々の第１および第２のブロ
    ック内の個々のｎ×ｍ個のピクセルの重なり合わないブ
    ロックに割り当てる手段をさらに含み、ｎおよびｍが整
    数であり、ｎがＮよりも小さく、ｍがＭよりも小さい、
    請求項７に記載の装置。
  9. 【請求項９】 ＮおよびＭが８と等しく、ｎおよびｍが
    ４と等しい、請求項８に記載の装置。
  10. 【請求項１０】 前記第１のイメージ内の前記第２のブ
    ロックが、該第１のイメージ内の前記第１のブロックか
    ら、水平方向にずれる、請求項７に記載の装置。
  11. 【請求項１１】 請求項１０に記載の装置であって、 前記第１のイメージからの第３のＮ×Ｍ個のピクセルの
    ブロックを選択する手段であって、該第３のブロック
    が、前記第１のブロックから垂直方向にずれ、且つ前記
    少なくともＯ個のピクセル位置の前記第１のブロックと
    重なり合う、手段と、 前記第２のイメージ内の第３のＮ×Ｍ個のピクセルのマ
    ッチングブロックを識別する手段であって、該第３のマ
    ッチングブロックが、前記所定のずれの範囲内で、該第
    １のイメージ内の該第３のブロックの該位置からずれ、
    且つ前記所定の基準に従って、該第３のブロックとマッ
    チする位置を有する、手段と、 該第１のイメージ内の該第３のブロックの該位置に対す
    る、該第２のイメージの該第３のピクセルのマッチング
    ブロックの該ピクセル位置のずれとして、第３の動きベ
    クトルを算出する手段と、をさらに含む、装置。
  12. 【請求項１２】 前記第１のイメージ内の前記第２のブ
    ロックが、該第１のイメージ内の前記第１のブロックか
    ら垂直方向にずれる、請求項７に記載の装置。
  13. 【請求項１３】 コンピュータが第１のイメージと第２
    のイメージ間の動きベクトルを算出するように制御す
    る、コンピュータプログラムを含むコンピュータ可読媒
    体であって、該第１および第２のイメージのそれぞれ
    が、連続する画素（ピクセル）サンプルの線を有し、該
    方法は、 該第１のイメージ内に所定の位置を有する、第１のＮ×
    Ｍ個のピクセルのブロックを選択する工程であって、Ｎ
    およびＭがともに、２よりも大きな整数である、工程
    と、 該第２のイメージ内の第１のＮ×Ｍ個のピクセルのマッ
    チングブロックを識別する工程であって、該第１のマッ
    チングブロックが、所定のずれの範囲内で、該第１のイ
    メージ内の該第１のブロックの該位置からずれ、且つ所
    定の基準に従って、該第１のブロックとマッチする位置
    を有する、工程と、 該第１のイメージ内の該第１のブロックの該位置に対す
    る、該第２のイメージからの該第１のピクセルのマッチ
    ングブロックの該ピクセル位置のずれとして、第１の動
    きベクトルを算出する工程と、 該第１のイメージからの第２のＮ×Ｍ個のピクセルのブ
    ロックを選択する工程であって、該第２のブロックが、
    少なくともＯ個のピクセル位置の該第１のブロックと重
    なり合い、ＯがＮ×Ｍよりも小さな整数である、工程
    と、 該第２のイメージ内の第２のＮ×Ｍ個のピクセルのマッ
    チングブロックを識別する工程であって、該第２のマッ
    チングブロックが、該所定のずれの範囲内で、該第１の
    イメージ内の該第２のブロックの該位置からずれ、且つ
    該所定の基準に従って、該第２のブロックとマッチする
    位置を有する、工程と、 該第１のイメージ内の該第２のブロックの該位置に対す
    る、該第２のイメージからの該第２のピクセルのマッチ
    ングブロックの該ピクセル位置の該ずれとして、第２の
    動きベクトルを算出する工程と、を包含する、方法。
  14. 【請求項１４】 それぞれが、Ｌ本の画素（ピクセル）
    サンプルの線を有する、第１および第２のイメージフィ
    ールドを有するインターレース映像信号を、該インター
    レース映像信号のサンプルの線のそれぞれの対の間に、
    個々の補間ピクセルのサンプルの線を加えることによっ
    て、それぞれが、少なくとも２Ｌ−１本のピクセルサン
    プルの線を有する、対応する第１および第２のイメージ
    フレームを有する順次映像信号に変換する方法であっ
    て、Ｌが１よりも大きな整数である、該方法は、 該第１のイメージフィールドから、第１および第２の重
    なり合うＮ×Ｍ個のピクセルのブロックを選択する工程
    であって、該第１および第２のブロックが、所定の方向
    で、Ｏ個のピクセル分だけ重なり合い、Ｍ、ＮおよびＯ
    が整数であり、Ｏが、少なくともＮおよびＭのうちの１
    つよりも小さい、工程と、 該第１および第２のイメージフィールド間の動きを推定
    することにより、該第１および第２の重なり合うブロッ
    クに対する個々の第１および第２の動きベクトルを定義
    する工程と、 該第１および第２の動きベクトルを、個々の第１および
    第２のピクセルサンプルのブロック内の個々の第１およ
    び第２の重なり合わないピクセルのサブブロックに割り
    当てる工程と、 該第１の動きベクトルによって判定された、該第１の重
    なり合わないピクセルのサブブロックと、該第２のイメ
    ージからの対応する第１のマッチングサブブロックとの
    間の誤差の測定値を、所定の閾値と比較することによ
    り、該動きベクトルが、該第１および第２のイメージ間
    の実際の動きを表わすかどうかを判定する、工程と、 該動きベクトルが実際の動きを表わす場合に、該第１の
    サブブロックおよび該第１のマッチングサブブロック内
    のピクセルサンプルを用いて、前記補間ピクセルサンプ
    ルを生成する工程と、 該動きベクトルが実際の動きを表わさない場合に、該第
    １のサブブロック内のみのピクセルサンプルを用いて、
    該補間ピクセルサンプルを生成する工程と、を包含す
    る、方法。
  15. 【請求項１５】 インターレース−順次走査変換器であ
    って、それぞれが、Ｌ本の画素（ピクセル）サンプルの
    線を有する、第１および第２のイメージフィールドを有
    するインターレース映像信号を、該インターレース映像
    信号のサンプルの線のそれぞれの対の間に、個々の補間
    ピクセルのサンプルの線を加えることによって、それぞ
    れが、少なくとも２Ｌ−１本のピクセルサンプルの線を
    有する、対応する第１および第２のイメージフレームを
    有する順次映像信号に変換する変換器であって、Ｌが１
    よりも大きな整数である、該変換器は、 該第１のイメージフィールドから、第１および第２の重
    なり合うＮ×Ｍ個のピクセルのブロックを選択する手段
    であって、該第１および第２のブロックが、所定の方向
    で、Ｏ個のピクセル分だけ重なり合い、Ｍ、ＮおよびＯ
    が整数であり、Ｏが、少なくともＮおよびＭのうちの１
    つよりも小さい、手段と、 該第１および第２のイメージフィールド間の動きを推定
    することにより、該第１および第２の重なり合うブロッ
    クに対する個々の第１および第２の動きベクトルを定義
    する動き推定器と、 該第１および第２の動きベクトルを、個々の第１および
    第２のピクセルサンプルのブロック内の個々の第１およ
    び第２の重なり合わないピクセルのサブブロックに割り
    当てる手段と、 該第１の動きベクトルによって判定された、該第１の重
    なり合わないピクセルのサブブロックと、該第２のイメ
    ージからの対応する第１のマッチングサブブロックとの
    間の誤差の測定値を、所定の閾値と比較することによ
    り、該動きベクトルが、該第１および第２のイメージ間
    の実際の動きを表わすかどうかを判定する、コンパレー
    ターと、 該動きベクトルが実際の動きを表わす場合に、該第１の
    サブブロックおよび該第１のマッチングサブブロック内
    のピクセルサンプルを用いて、前記補間ピクセルサンプ
    ルを生成する第１の補間器と、 該動きベクトルが実際の動きを表わさない場合に、該第
    １のサブブロック内のみのピクセルサンプルを用いて、
    該補間ピクセルサンプルを生成する第２の補間器と、を
    含む、変換器。
  16. 【請求項１６】 第１のイメージと、第２のイメージと
    の間の動きベクトルを算出する方法であって、前記第１
    および第２のイメージのそれぞれが、連続する画素（ピ
    クセル）サンプルの線を有し、該方法は、 前記第１のイメージフィールドから、第１および第２の
    重なり合うＮ×Ｍ個のピクセルのブロックを選択する工
    程であって、該第１および第２のブロックが、所定の方
    向で、Ｏ個のピクセル分だけ重なり合い、Ｍ、Ｎおよび
    Ｏが整数であり、Ｏが、少なくともＮおよびＭのうちの
    １つよりも小さい、工程と、 該第１および第２のイメージフィールド間の動きを推定
    することにより、該第１および第２の重なり合うブロッ
    クに対する個々の第１および第２の動きベクトルを定義
    する工程と、 該第１および第２の動きベクトルを、該個々の第１およ
    び第２のピクセルサンプルのブロック内の個々の第１お
    よび第２の重なり合わないピクセルのサブブロックに割
    り当てる工程と、を包含する方法。
JP2001094422A 2000-03-31 2001-03-28 動きベクトルを算出するための方法および装置 Withdrawn JP2001285810A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/540.934 2000-03-31
US09/540,934 US6473460B1 (en) 2000-03-31 2000-03-31 Method and apparatus for calculating motion vectors

Publications (1)

Publication Number Publication Date
JP2001285810A true JP2001285810A (ja) 2001-10-12

Family

ID=24157514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001094422A Withdrawn JP2001285810A (ja) 2000-03-31 2001-03-28 動きベクトルを算出するための方法および装置

Country Status (4)

Country Link
US (1) US6473460B1 (ja)
EP (1) EP1143712A3 (ja)
JP (1) JP2001285810A (ja)
CN (1) CN100348035C (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014182A (en) * 1997-10-10 2000-01-11 Faroudja Laboratories, Inc. Film source video detection
US6680752B1 (en) * 2000-03-31 2004-01-20 Ati International Srl Method and apparatus for deinterlacing video
US6661464B1 (en) * 2000-11-21 2003-12-09 Dell Products L.P. Dynamic video de-interlacing
US6633612B2 (en) * 2000-12-13 2003-10-14 Genesis Microchip Inc. Method and apparatus for detecting motion between odd and even video fields
US6930689B1 (en) * 2000-12-26 2005-08-16 Texas Instruments Incorporated Hardware extensions for image and video processing
US6859235B2 (en) * 2001-05-14 2005-02-22 Webtv Networks Inc. Adaptively deinterlacing video on a per pixel basis
US6999514B2 (en) * 2001-10-26 2006-02-14 Selliah Rathnam Motion compensation with subblock scanning
US20030122961A1 (en) * 2001-12-28 2003-07-03 Motorola, Inc. Method for de-interlacing video information
JP4565339B2 (ja) * 2003-05-16 2010-10-20 ソニー株式会社 動き補正装置及び方法
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
US7453940B2 (en) * 2003-07-15 2008-11-18 Lsi Corporation High quality, low memory bandwidth motion estimation processor
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
JP2007510344A (ja) * 2003-10-27 2007-04-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電力最適化された配列動き予測方法
KR100575578B1 (ko) * 2003-11-13 2006-05-03 한국전자통신연구원 이동 단말 장치에서의 움직임 검출 방법
KR20050049680A (ko) * 2003-11-22 2005-05-27 삼성전자주식회사 노이즈 감쇠장치 및 디인터레이싱 장치
JP4375080B2 (ja) * 2004-03-29 2009-12-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
DE102004017145B4 (de) * 2004-04-07 2006-02-16 Micronas Gmbh Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind
EP1751848B1 (en) * 2004-04-30 2009-09-02 Telegent Systems, Inc. Integrated analog video receiver
JP5464803B2 (ja) * 2004-05-25 2014-04-09 エントロピック・コミュニケーションズ・インコーポレイテッド インターレースビデオ画像の動き推定
JP2006129069A (ja) * 2004-10-28 2006-05-18 Canon Inc 撮像装置及び撮像方法
KR101042623B1 (ko) * 2004-11-17 2011-06-20 삼성전자주식회사 필드 가변분할방식을 이용한 디인터레이싱방법 및 장치
US7551232B2 (en) * 2005-11-14 2009-06-23 Lsi Corporation Noise adaptive 3D composite noise reduction
US8018999B2 (en) * 2005-12-05 2011-09-13 Arcsoft, Inc. Algorithm description on non-motion blur image generation project
US20080018788A1 (en) * 2006-07-20 2008-01-24 Samsung Electronics Co., Ltd. Methods and systems of deinterlacing using super resolution technology
GB2443858A (en) * 2006-11-14 2008-05-21 Sony Uk Ltd Alias avoiding image processing using directional pixel block correlation and predetermined pixel value criteria
US8115863B2 (en) * 2007-04-04 2012-02-14 Freescale Semiconductor, Inc. Video de-interlacer using pixel trajectory
US8964117B2 (en) 2007-09-28 2015-02-24 Ati Technologies Ulc Single-pass motion adaptive deinterlacer and method therefore
US8300987B2 (en) * 2007-09-28 2012-10-30 Ati Technologies Ulc Apparatus and method for generating a detail-enhanced upscaled image
US8259228B2 (en) * 2007-12-10 2012-09-04 Ati Technologies Ulc Method and apparatus for high quality video motion adaptive edge-directional deinterlacing
US8396129B2 (en) * 2007-12-28 2013-03-12 Ati Technologies Ulc Apparatus and method for single-pass, gradient-based motion compensated image rate conversion
US8811485B1 (en) * 2009-05-12 2014-08-19 Accumulus Technologies Inc. System for generating difference measurements in a video processor
US8675736B2 (en) * 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
US8638863B1 (en) 2010-05-18 2014-01-28 Google Inc. Apparatus and method for filtering video using extended edge-detection
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
CN101969568B (zh) * 2010-11-16 2012-05-02 上海大学 面向帧速率上变换的运动估计方法
US8767817B1 (en) 2011-04-07 2014-07-01 Google Inc. Apparatus and method for coding using parameterized equation
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
KR20140034292A (ko) * 2011-07-01 2014-03-19 모토로라 모빌리티 엘엘씨 움직임 벡터 예측 설계 간소화
CN104041041B (zh) 2011-11-04 2017-09-01 谷歌技术控股有限责任公司 用于非均匀运动向量栅格的运动向量缩放
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9113164B1 (en) 2012-05-15 2015-08-18 Google Inc. Constant bit rate control using implicit quantization values
US9172970B1 (en) 2012-05-29 2015-10-27 Google Inc. Inter frame candidate selection for a video encoder
US11317101B2 (en) 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9826229B2 (en) 2012-09-29 2017-11-21 Google Technology Holdings LLC Scan pattern determination from base layer pixel information for scalable extension
US9485515B2 (en) 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9503746B2 (en) 2012-10-08 2016-11-22 Google Inc. Determine reference motion vectors
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9681128B1 (en) 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
US5198901A (en) 1991-09-23 1993-03-30 Matsushita Electric Corporation Of America Derivation and use of motion vectors in a differential pulse code modulation system
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
DE4342305A1 (de) * 1993-12-11 1995-06-29 Thomson Brandt Gmbh Verfahren zur hierarchischen Bewegungsschätzung in einem Fernsehsignal
US5644361A (en) * 1994-11-30 1997-07-01 National Semiconductor Corporation Subsampled frame storage technique for reduced memory size
KR0171145B1 (ko) * 1995-03-20 1999-03-20 배순훈 이미지 부호화 시스템용 움직임 보상 장치
EP0857392B1 (en) * 1995-10-25 2004-08-11 Sarnoff Corporation Overlapping block zerotree wavelet image coder
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
US6335950B1 (en) * 1997-10-14 2002-01-01 Lsi Logic Corporation Motion estimation engine
WO1999026417A2 (en) * 1997-11-17 1999-05-27 Koninklijke Philips Electronics N.V. Motion-compensated predictive image encoding and decoding
US6195389B1 (en) * 1998-04-16 2001-02-27 Scientific-Atlanta, Inc. Motion estimation system and methods

Also Published As

Publication number Publication date
CN100348035C (zh) 2007-11-07
EP1143712A2 (en) 2001-10-10
CN1319995A (zh) 2001-10-31
US6473460B1 (en) 2002-10-29
EP1143712A3 (en) 2002-11-06

Similar Documents

Publication Publication Date Title
JP2001285810A (ja) 動きベクトルを算出するための方法および装置
EP1143716B1 (en) Apparatus and method for concealing interpolation artifacts in a video interlaced to progressive scan converter
US6414719B1 (en) Motion adaptive median filter for interlace to progressive scan conversion
EP1223748B1 (en) Motion detection in an interlaced video signal
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
KR100403364B1 (ko) 영상 신호의 디인터레이스 방법 및 장치
EP1164792A2 (en) Format converter using bidirectional motion vector and method thereof
JP5645699B2 (ja) 動き検出装置及び方法、映像信号処理装置及び方法、並びに映像表示装置
US20050243216A1 (en) Block mode adaptive motion compensation
JP2004064788A (ja) デインタレーシング装置及び方法
US6295091B1 (en) Method and apparatus for de-interlacing video fields for superior edge preservation
JP3893227B2 (ja) 走査線補間装置、及び走査線補間方法
EP1511311A1 (en) Method and system for de-interlacing digital images, and computer program product therefor
KR20070030223A (ko) 픽셀 보간
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
US7443448B2 (en) Apparatus to suppress artifacts of an image signal and method thereof
JP2002057993A (ja) インタレース・プログレッシブ変換装置、インタレース・プログレッシブ変換方法及び記録媒体
KR101140442B1 (ko) 이미지 상태 정보의 정정 방법, 움직임 보상 이미지 처리방법, 및 이미지 상태 정보 정정기
US7129989B2 (en) Four-field motion adaptive de-interlacing
US20060033839A1 (en) De-interlacing method
KR100540380B1 (ko) 디인터레이서의 필드 내 보간 장치 및 그 방법
US20120169927A1 (en) Color difference signal ip conversion method
JP2003289511A (ja) 画像走査変換方法及び装置
US7466361B2 (en) Method and system for supporting motion in a motion adaptive deinterlacer with 3:2 pulldown (MAD32)
JPH02312381A (ja) 走査線補間方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080603