JPH08265763A - 動きベクトル検出方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】動きベクトルの推測に加えて階層化した画像を
利用することにより、飛び越し走査方式における処理の
効率化を図り、とくに解像度の高い動画像にも支障なく
適用できる有用な技術の提供。 【構成】奇数現フィールド、偶数現フィールド、奇数参
照フィールド及び偶数参照フィールドを、第１層から第
ｍ層にいくにつれて解像度が高くなる第１〜第４の階層
メモリの各層に格納し、第１〜第４の階層メモリの同一
階層同士を組み合わせる。組み合わせが第１層同士の場
合には、第１層からの二つのデータに基づいて動きベク
トルを検出する一方、組み合わせが第１層以外で同一階
層同士の場合には、その組み合せ層からの二つのデータ
と直近の上位層同士の組み合わせによって得られた動き
ベクトルとに基づいて動きベクトルを検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画圧縮の中核技術の
一つである「動きベクトル」の検出方法及びその装置に
関し、とくに、テレビジョン方式等のインターレース構
造を有する動画像に適用する検出方法及びその装置に関
する。

【０００２】

【背景説明】

「動画像圧縮」一般に、動画像の情報量は静止画像に比
べてはるかに膨大であり、情報伝達メディアや蓄積メデ
ィアへの利用に際し、静止画以上に効率の高い圧縮技術
が求められる。たとえば、画像圧縮の国際標準化委員会
の一つであるＭＰＥＧ（MovingPicture Experts Grou
p）によって制定された動画像符号化／復号化方式（Ｍ
ＰＥＧ１及びＭＰＥＧ２；以下これらを総称して「ＭＰ
ＥＧ」と言う）は、こうした用途に好ましい圧縮技術で
ある。 「時間的冗長性と予測誤差」静止画像では主に「空間的
冗長性」を使って圧縮を実現している。一方、動画像圧
縮でも空間的冗長性を利用するが「時間的冗長性」の利
用がより重要になる。時間的冗長性とは、動画像を構成
する多数のフレームのうち、時間的に近いフレーム同士
は非常に似通った画像になるという性質のことをいう。
たとえば、アニメーションでは、この性質を利用して連
続する絵を少しずつ変化させることにより、違和感のな
いスムーズな動きを出している。この場合、時間的に隣
り合うフレーム同士には、程度の差こそあれほとんど違
いがないことが多い。したがって、時間的に近いフレー
ムの“異なる部分”（予測誤差と呼ばれる）だけを伝送
または蓄積すれば（言い換えれば、同一の部分を伝送ま
たは蓄積しないようにすれば）、結果として相当に高い
圧縮率を得ることができる。 「フレーム間予測符号化」予測誤差を得るために、いわ
ゆる「フレーム間予測符号化」が行なわれる。これは、
圧縮したいフレームが持つ画像情報を他のフレームから
予測するという方式であり、ＭＰＥＧでは「順方向予
測」、「逆方向予測」及び「双方向予測」の三つが行な
われる。順方向予測は、時間的に近い“過去のフレー
ム”と圧縮したい“現在のフレーム”との間の予測誤差
を得るもの、また、逆方向予測は、時間的に近い“未来
のフレーム”との間の予測誤差を得るというものであ
り、さらに、双方向予測は、“過去のフレーム”と“未
来のフレーム”との平均値と“現在のフレーム”との間
の予測誤差を得るというものである。なお、ＭＰＥＧで
は、Ｉ、Ｐ及びＢといった３種類のピクチャ・タイプを
規定する。Ｉピクチャはフレーム間予測を行わず（参照
フレームを必要とせず）に生成される画像、Ｐピクチャ
は順方向予測によって（過去の１枚のフレームを参照フ
レームとして）生成される画像、Ｂピクチャは順方向予
測又は逆方向予測若しくは双方向予測によって（過去と
未来の２枚のフレームを参照フレーム）として生成され
る画像であり、それぞれ、Intra-Picture、Predictive-
Picture、Bidirectionally Predictive-Pictureの頭文
字をとったものである。 「動きベクトルと動き補償」動画像における動き部分、
たとえば疾走する車両を考えると、時間的に隣り合うフ
レーム間では、車両だけが平行移動し、背景はほとんど
変化しない。このため、動き部分（車両）の画像を画素
値……画像を構成する点（画素）の情報を数値で表した
もの……で見た場合には、時間的に隣り合うフレーム
（便宜的にｎフレームとｎ−１フレーム）同士で異なる
のは、位置の情報（座標情報）だけで、他の情報（たと
えば色情報や輝度情報）にはほとんど変化が見られな
い。したがって、ｎ−１フレームの動き部分（車両）の
画素に、直線的な移動情報である「動きベクトル」を与
えれば、動きベクトル情報のみを送り、予測誤差情報を
ほとんど送る必要がなくなる。動きベクトルを利用して
画像信号をずらす方法を「動き補償」という。単純にフ
レーム間予測符号化を利用するのに比べて伝送情報量を
大幅に減らすことができ、圧縮効率をさらに高めること
ができる。 「動きベクトル検出の基本原理」図５、図６を用いて、
動きベクトル検出の基本原理を説明する。図５におい
て、１００は現在のフレーム（上述のｎフレームに相
当）であり、このフレーム１００は、所定サイズ（たと
えば１６×１６画素）の複数のブロックに分割されてい
る。ここでは、そのうちの一つのブロック１０１を、動
きベクトルの検出対象ブロック（以下「検出対象ブロッ
ク」）とする。図６において、１０２は時間的に一つ前
のフレーム（上述のｎ−１フレームに相当）であり、こ
のフレーム１０２には、動きベクトル探索のための領域
（以下「探索領域」）１０３が設定されている。探索領
域１０３のサイズは検出対象ブロック１０１よりも大き
く、たとえば、検出対象ブロック１０１の縦と横の−方
向に１６画素を加えるとともに＋方向に１５画素を加え
た４７×４７画素の大きさを有している。

【０００３】いま、探索領域１０３内で、検出対象ブロ
ック１０１を水平／垂直方向に所定画素数（一般には１
画素）ずつずらしながら、重なり合う画素間の画素値の
差分を順次に求めていくと、探索領域１０３の内部を一
巡した段階で、すべての画素の差分値の合計を表す値
（たとえば、差分値の絶対値の和や差分値の自乗の和）
が最小となる部分領域１０４が見つかる。この部分領域
１０４は、ｎフレームの検出対象ブロック１０１との相
関性が最も高い領域であり、その大きさは検出対象ブロ
ック１０１と同一（ここでは１６×１６画素）である。
したがって、検出対象ブロック１０１の中心から部分領
域ブロック１０４の中心へと向かうベクトル１０５を求
め、このベクトル１０５を検出対象ブロック１０１の
「動きベクトル」とすればよい。 「飛び越し走査への動きベクトル検出の適用」以上の説
明は、フレームと呼ばれる静止画を順次に表示すること
によって、動画像を得る「順次走査方式」における動き
ベクトル検出の例である。この方式の場合には、それぞ
れのフレームが１枚の絵として完結しているから、上記
の基本原理を適用しても支障ないが、「飛び越し走査
（インターレースとも言う）方式」に適用する場合には
工夫が必要である。飛び越し走査方式では、１枚のフレ
ームが２枚のフィールド、すなわち、奇数フィールド
（１番、３番、５番、……の奇数走査線の画素情報の集
まり）と偶数フィールド（２番、４番、６番、８番、…
…の偶数走査線の画素情報の集まり）によって構成され
ているからで、奇／偶フィールドとフレームとの間の時
間的な関係を考慮しなければ、正確な動きベクトルを検
出できないからである。

【０００４】

【従来の技術】そこで、本件出願の発明者らは、先に
「画像符号化における動きベクトル検出方法と装置」
（特願平６−１８１８９７号）を提案している。この先
願のものは、上述の基本原理に基づくフレーム間の動き
ベクトル（以下「フレーム動きベクトル」と言う）の検
出に加えて、フィールド間の動きベクトル（以下「フィ
ールド動きベクトル」と言う）の検出を行ない、これら
を適切に切り換えることによって、飛び越し走査方式に
適合した動きベクトルの検出を実現するというものであ
る。

【０００５】先願の原理を簡単に説明すると、図７にお
いて、２００はフレーム（但し、その一部だけを示して
ある）であり、このフレームは、飛び越し走査方式の場
合、実線で示す奇数走査線（Ｌ１、Ｌ３、Ｌ５、……）
からなる奇数フィールド２０１と、２点鎖線で示す偶数
走査線（Ｌ２、Ｌ４、Ｌ６、……）からなる偶数フィー
ルド２０２とから構成されることになる。

【０００６】フレーム動きベクトルは、前述の動きベク
トル検出の基本原理（図５、図６参照）によって求める
ことができる。たとえば、図示のフレーム２００を、時
間的に一つ前のフレーム（動き補償の済んだフレーム）
とすると、このフレーム２００に探索領域２０３を設定
し、その探索領域２０３の内部を現在のフレーム（図示
略）の検出対象ブロック２０４で探索して、検出対象ブ
ロック２０４と最も相関する部分領域２０５を見つけ出
し、検出対象ブロック２０４の中心から部分領域２０５
の中心へと向かう動きベクトル２０６を検出する。

【０００７】一方、フィールド動きベクトルの検出で
も、一つ前のフレームのフィールド（以下「参照フィー
ルド」）と現在のフレームのフィールド（以下「現フィ
ールド」）との間で、最も相関性のある部分領域の探索
を行なうが、この探索処理は、フィールドの種類が奇数
と偶数の２つであるから、次表１に示す４通りの組み合
わせで行う必要がある。 （以下余白）

【０００８】 たとえば、図示の奇数フィールド２０１を、参照フィー
ルドとすると、この奇数フィールド２０１に探索領域２
０７を設定し、その探索領域２０７の内部を、現フィー
ルド（：奇数フィールド／：偶数フィールド）の検
出対象ブロック２０８で探索して、検出対象ブロック２
０８と最も相関する部分領域２０９を見つけ出し、検出
対象ブロック２０８の中心から部分領域２０９の中心へ
と動きベクトル２１０を引けばよい。また、図示の偶数
フィールド２０２を、参照フィールドとすると、この偶
数フィールド２０２に探索領域２１１を設定し、その探
索領域２１１の内部を、現フィールド（：奇数フィー
ルド／：偶数フィールド）の検出対象ブロック２１２
で探索して、検出対象ブロック２１２と最も相関する部
分領域２１３を見つけ出し、検出対象ブロック２１２の
中心から部分領域２１３の中心へと動きベクトル２１４
を引けばよい。したがって、フィールド動きベクトルの
検出では、〜の組み合わせに対応した４種類のフィ
ールド動きベクトルが検出される。以下、の組み合わ
せで検出されたフィールド動きベクトルを「偶／偶フィ
ールド動きベクトル」、の組み合わせで検出された同
ベクトルを「偶／奇フィールド動きベクトル」、の組
み合わせで検出された同ベクトルを「奇／偶フィールド
動きベクトル」、の組み合わせで検出された同ベクト
ルを「奇／奇フィールドベクトル」と呼ぶことにする。

【０００９】これら４種類のフィールド動きベクトルを
用いて、現フィールドの動き補償を行うと、４つの動き
補償フィールドが得られる。第１は偶／偶フィールド動
きベクトルによって補償された「偶数フィールド」であ
り、第２は偶／奇フィールド動きベクトルによって補償
された「偶数フィールド」であり、第３は奇／偶フィー
ルド動きベクトルによって補償された「奇数フィール
ド」であり、第４は奇／奇フィールド動きベクトルによ
って補償された「奇数フィールド」である。そして、動
き補償された二つの「偶数フィールド」のうち予測誤差
の少ない方を最終的な偶数フィールドとして採用し、同
様に、動き補償された二つの「奇数フィールド」のうち
予測誤差の少ない方を最終的な奇数フィールドとして採
用し、これらを組み合わせることによって動き補償され
た一つのフレームが得られる。

【００１０】このように、飛び越し走査方式の動きベク
トル検出では、一つのフレーム動きベクトルと四つのフ
ィールド動きベクトルの合わせて５種類の動きベクトル
を検出するが、それぞれの検出を単独に行なうと、同じ
ような探索処理を重複して実行することとなり、処理の
無駄を生じる。そこで、先願のものでは、処理の無駄を
省くために、フィールド動きベクトルからフレーム動き
ベクトルを推定している。

【００１１】図８はその概念的な構成図である。３００
は時間的に一つ前の偶数フィールド（以下「偶数参照フ
ィールド」）、３０１は時間的に一つ前の奇数フィール
ド（以下「奇数参照フィールド」）、３０２は時間的に
一つ前のフレーム（すなわち偶数参照フィールド３００
と奇数参照フィールド３０１を含むもの；以下単に「参
照フレーム」）であり、３０３は現在の偶数フィールド
（以下「偶数現フィールド」）、３０４は現在の奇数フ
ィールド（以下「奇数現フィールド」）、３０５は現在
のフレーム（すなわち偶数現フィールド３０３と奇数現
フィールド３０４を含むもの；以下単に「現フレー
ム」）である。

【００１２】３０６は偶数現フィールド３０３と偶数参
照フィールド３００との組み合わせ（表１の参照）に
基づいて偶／偶フィールド動きベクトル３０７を検出す
る第１ベクトル検出器、３０８は偶数現フィールド３０
３と奇数参照フィールド３０１との組み合わせ（表１の
参照）に基づいて偶／奇フィールド動きベクトル３０
９を検出する第２ベクトル検出器、３１０は奇数現フィ
ールド３０４と偶数参照フィールド３００との組み合わ
せ（表１の参照）に基づいて奇／偶フィールド動きベ
クトル３１１を検出する第３ベクトル検出器、３１２は
奇数現フィールド３０４と奇数参照フィールド３０１と
の組み合わせ（表１の参照）に基づいて奇／奇フィー
ルド動きベクトル３１３を検出する第４ベクトル検出器
である。また、３１４は現フレーム３０５と参照フレー
ム３０２とに基づいてフレーム動きベクトル３１５を検
出するベクトル検出器である。

【００１３】この図において、４種類のフィールド動き
ベクトルのうち、同一パリティ（偶／偶または奇／奇）
の二つは、ベクトルメモリ３１６にも入力されている。
ベクトルメモリ３１６の記憶データは、フレーム動きベ
クトル検出用のベクトル検出器３１４に与えられ、この
ベクトル検出器３１４は、ベクトルメモリ３１６にデー
タが記憶されていないとき（たとえば最初のフレームが
入力したとき）には、現フレーム３０５と参照フレーム
３０２とに基づく通常どおりの「全探索」を行ってフレ
ーム動きベクトル３１５を検出するが、ベクトルメモリ
３１６に動きベクトルデータが記憶されているときは、
そのデータを利用した「限定的な探索」を行なうように
なっている。

【００１４】すなわち、ベクトルメモリ３１６の記憶デ
ータはベクトルデータであるから、このベクトルの指し
示す位置に的を絞り込んで探索を行なうことにより、無
駄な探索処理を省いて処理の効率化を図ることができる
のである。

【００１５】

【発明が解決しようとする課題】しかしながら、かかる
先願の動きベクトル検出方法にあっては、フレーム動き
ベクトルの検出については「限定的な探索」を行なうこ
とができるものの、他の四つのフィールド動きベクトル
の検出については、相変わらず原画解像度レベルの詳細
な「全探索」を行なうものであったため、とくに、解像
度の高い動画像、たとえばＨＤＴＶ（high definition
television）のような高精細動画像（ＨＤＴＶでは現行
テレビジョンに比べて約５倍の解像度）に適用した場合
には、処理量が膨大となるから、フィールド周期（１／
６０秒）の間に必要な処理を完結することが困難になる
という問題点がある。

【００１６】

【目的】そこで、本発明は、動きベクトルの推測に加え
て階層化した画像を利用することにより、飛び越し走査
方式における処理の効率化を図り、とくに解像度の高い
動画像にも支障なく適用できる有用な技術の提供を目的
とする。

【００１７】

【課題を解決するための手段】請求項１記載の方法発明
は、飛び越し走査方式の画像信号から動きベクトルを検
出する際に、参照となる画像信号を奇数フィールドと偶
数フィールドに分離してそれぞれ奇数参照フィールドと
偶数参照フィールドとするステップと、現在の画像信号
を奇数フィールドと偶数フィールドに分離してそれぞれ
奇数現フィールドと偶数現フィールドとするステップ
と、前記奇数参照フィールドを、第１層から第ｍ層にい
くにつれて解像度が高くなる第１の階層メモリの各層に
格納するステップと、前記偶数参照フィールドを、第１
層から第ｍ層にいくにつれて解像度が高くなる第２の階
層メモリの各層に格納するステップと、前記奇数現フィ
ールドを、第１層から第ｍ層にいくにつれて解像度が高
くなる第３の階層メモリの各層に格納するステップと、
前記偶数現フィールドを、第１層から第ｍ層にいくにつ
れて解像度が高くなる第４の階層メモリの各層に格納す
るステップと、前記第１の階層メモリ、第２の階層メモ
リ、第３の階層メモリ及び第４の階層メモリの同一階層
同士を組み合わせるステップと、 該組み合わせが第１
層同士の場合には、該第１層からの二つのデータに基づ
いて該組み合わせの動きベクトルを検出するステップ
と、該組み合わせが第１層以外で同一階層同士の場合に
は、該組み合わせ層からの二つのデータと直近の上位層
同士の組み合わせによって得られた動きベクトルとに基
づいて該組み合わせの動きベクトルを検出するステップ
と、を含むことを特徴とする。

【００１８】請求項２記載の装置発明は、飛び越し走査
方式の画像信号を記憶する記憶手段と、前記記憶手段か
ら参照となる画像信号を読み込み該画像信号を奇数フィ
ールドと偶数フィールドに分離してそれぞれ奇数参照フ
ィールドと偶数参照フィールドとする参照フィールド分
離手段と、前記記憶手段から現在の画像信号を読み込み
該画像信号を奇数フィールドと偶数フィールドに分離し
てそれぞれ奇数現フィールドと偶数現フィールドとする
現フィールド分離手段と、前記奇数参照フィールドを各
層に格納する、第１層から第ｍ層にいくにつれて解像度
が高くなる第１の階層メモリと、前記偶数参照フィール
ドを各層に格納する、第１層から第ｍ層にいくにつれて
解像度が高くなる第２の階層メモリと、前記奇数現フィ
ールドを各層に格納する、第１層から第ｍ層にいくにつ
れて解像度が高くなる第３の階層メモリと、前記偶数現
フィールドを各層に格納する、第１層から第ｍ層にいく
につれて解像度が高くなる第４の階層メモリと、前記第
１の階層メモリ、第２の階層メモリ、第３の階層メモリ
及び第４の階層メモリの同一階層同士を組み合わせる組
み合わせ手段と、該組み合わせが第１層同士の場合に
は、該第１層からの二つのデータに基づいて該組み合わ
せの動きベクトルを検出する４個の最上層動きベクトル
検出手段と、該組み合わせが第１層以外で同一階層同士
の場合には、該組み合わせ層からの二つのデータと直近
の上位層同士の組み合わせによって得られた動きベクト
ルとに基づいて該組み合わせの動きベクトルを検出する
４（ｍ−１）個の下位層動きベクトル検出手段と、を備
えたことを特徴とする。

【００１９】

【作用】第１の階層メモリと第２の階層メモリには、そ
れぞれ参照フィールド（奇数参照フィールド／偶数参照
フィールド）が格納され、また、第３の階層メモリと第
４の階層メモリには、それぞれ現フィールド（奇数現フ
ィールド／偶数現フィールド）が格納される。これら四
つの階層メモリは、第１層から第ｍ層までのｍ層構造を
なしており、第１層の解像度が最も低く、第ｍ層の解像
度が最も高くなるように設定されている。なお、解像度
とはフィールド・データの画素密度のことをいい、第１
層の画素数をａ×ｂ画素とすると、第ｍ層の画素数はＡ
×Ｂ画素である（但し、ａ＜Ａ、ｂ＜Ｂ）。たとえば、
ｍ＝３、元々のフィールドデータの画素数を６４０×４
８０画素とすると、第３層の画素数を６４０×４８０、
第２層の画素数をその１／４の３２０×２４０画素、第
１層の画素数をさらに１／４の１６０×１２０としても
よい。この場合、第１層の画素密度は、第３層の画素密
度の１／１６になる。

【００２０】したがって、上位層同士の組み合わせによ
る動きベクトルの検出は、下位層に比べて少ない画素数
で行なわれるから、速やかに検出結果が得られるという
利点があり、しかも、上位層で得られた動きベクトルを
下位層に伝えて探索範囲の絞り込みに利用するので、画
素数の多い（言い換えれば検出精度の高い）下位層側で
の探索処理の効率化が図られる。

【００２１】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１〜図４は本発明に係る階層型動きベクトル検
出方法及びその装置の一実施例を示す図である。図１に
おいて、１は画像メモリであり、この画像メモリ１は、
飛び越し走査方式の画像信号を少なくとも２フレーム分
記憶するもので、発明の要旨に記載の「記憶手段」とし
て機能するものである。２は画像メモリ１から読み出さ
れた現在のフレームの画像信号（以下「現フレーム」と
言う）、３は同じく画像メモリ１から読み出された参照
となるフレーム（特に限定しないが、たとえば、時間的
に一つ前のフレーム）の画像信号であり、画像信号３
は、動きベクトル検出における参照フレームとして用い
られるものである（以下単に「参照フレーム」と言
う）。４、５はそれぞれフィールド分離部であり、左側
のフィールド分離部４は、現フレーム２を奇数フィール
ド（以下「奇数現フィールド」）６と偶数フィールド
（以下「偶数現フィールド」）７に分離し、右側のフィ
ールド分離部５は、参照フレーム３を奇数フィールド
（以下「奇数参照フィールド」）８と偶数フィールド
（以下「偶数参照フィールド」）９に分離するものであ
る。したがって、左側のフィールド分離部４は、発明の
要旨に記載の「現フィールド分離手段」として機能し、
また、右側のフィールド分離部５は、発明の要旨に記載
の「参照フィールド分離手段」として機能する。

【００２２】１０〜１３はそれぞれ第１〜第４画素密度
変換部であり、第１画素密度変換部１０は、奇数参照フ
ィールド８の画素密度をｍ段階に変換し、第２画素密度
変換部１１は、偶数参照フィールド９の画素密度を同じ
くｍ段階に変換し、第３画素密度変換部１２は、奇数現
フィールド６の画素密度を同じくｍ段階に変換し、第４
画素密度変換部１３は、偶数現フィールド７の画素密度
を同じくｍ段階に変換する。ここで、画素密度の変換段
数ｍは、以下に述べる階層メモリの層数と同一である
が、本実施例の説明では、便宜上、ｍ＝３として扱うこ
とにする。

【００２３】ｍ＝３とした場合、第１〜第４画素密度変
換部１０〜１３からは、最小画素密度の第１フィールド
データＸａ（Ｘは１０、１１、１２または１３；以下同
様）と、中間画素密度の第２フィールドデータＸｂと、
最大画素密度の第３フィールドデータＸｃとが出力され
る。これら三つのフィールドデータＸａ、Ｘｂ及びＸｃ
の画素密度は、第１から第２さらに第２から第３（Ｘａ
→Ｘｂ→Ｘｃ）になるにつれて段階的に高くなるように
設定すればよいが、設計容易性の点で、一定の倍率で変
化するようにした方が望ましい。たとえば、第１フィー
ルドデータＸａの画素密度を基準に、第２フィールドデ
ータＸｂの画素密度をその４倍、第３フィールドデータ
Ｘｃの画素密度をさらにその４倍にしてもよい。言い換
えれば、第３フィールドデータＸｃの画素を１／４間引
いたものを第２フィールドデータＸｂとし、さらに、第
２フィールドデータＸｂの画素を同じく１／４間引いた
ものを第１フィールドデータＸａとしてもよい。ここ
で、第３フィールドデータＸｃは、画素密度無変換のデ
ータであり、入力されたフィールドデータそれ自身であ
る。要するに、第１画素密度変換部１０の第３フィール
ドデータ１０ｃは奇数参照フィールド８そのものであ
り、第２画素密度変換部１１の第３フィールドデータ１
１ｃは偶数参照フィールド９そのものであり、第３画素
密度変換部１２の第３フィールドデータ１２ｃは奇数現
フィールド６そのものであり、さらに、第４画素密度変
換部１３の第３フィールドデータ１３ｃは偶数現フィー
ルド７そのものである。したがって、倍率を「４」とし
た場合には、入力フィールドデータ（奇数現フィールド
６、偶数現フィールド７、奇数参照フィールド８または
偶数参照フィールド９）の画素を１／４間引いたものが
第２フィールドデータＸｂとなり、さらに、第２フィー
ルドデータＸｂの画素を同じく１／４間引いたものが第
１フィールドデータＸａとなるから、最小画素密度の第
１フィールドデータＸｃは、奇数現フィールド６、偶数
現フィールド７、奇数参照フィールド８または偶数参照
フィールド９の１／１６の画素密度を有することにな
る。

【００２４】１４〜１７はそれぞれ第１〜第４の階層メ
モリであり、これらの階層メモリはｍ層構造（特に限定
しないが本実施例では３層構造）を有している。すなわ
ち、第１〜第４の階層メモリ１４〜１７は、それぞれ第
１層メモリＹａ（Ｙは１４、１５、１６または１７；以
下同様）、第２層メモリＹｂ及び第３層メモリＹｃを有
し、これらの層メモリＹａ、Ｙｂ及びＹｃには、第１〜
第４画素密度変換部１０〜１３からの同一添え字（ａ、
ｂまたはｃ）のフィールドデータが入力している。たと
えば、第１の階層メモリ１４を例にとると、その第１層
メモリ１４ａには最小画素密度の第１フィールドデータ
１０ａが入力し、その第２層メモリ１４ｂには中間画素
密度の第２フィールドデータ１０ｂが入力し、さらに、
その第３層メモリ１４ｃには最大画素密度の第３フィー
ルドデータ１０ｃ（奇数参照フィールド８そのもの）が
入力している。

【００２５】１８はフィールド動きベクトル検出処理部
である。このフィールド動きベクトル検出処理部１８
は、第１〜第４の階層メモリ１４〜１７からの計１２種
類（４×ｍ種類）の読み出しデータ（便宜的に各層メモ
リの符号にＤを付して表示する。例：Ｄ１４ａ）に基づ
いて、フィールド動きベクトルの検出処理を実行するも
のであり、その具体的な構成例は、図２に示されてい
る。

【００２６】図２において、１９〜３０はベクトル伸縮
部を含む動きベクトル検出器である。これら１２個（ｍ
×４個）の動きベクトル検出器１９〜３０には、第１〜
第４の階層メモリ１４〜１７からの同一階層同士のデー
タ対（現フィールドと参照フィールドのデータ対）が入
力しており、発明の要旨に記載の「組み合わせ手段」と
しての機能を有するものである。

【００２７】１２個の動きベクトル検出器１９〜３０
は、３個（ｍ個）ずつ四つのグループ３１〜３４に分け
ることができる。左下がりのハッチングで識別した各グ
ループの一番上に位置する動きベクトル検出器（以下
「第１動きベクトル検出器」と言う）１９、２２、２５
及び２８は、現フィールドと参照フィールドの一対のフ
ィールドデータを用いて動きベクトルを検出するが、右
下がりのハッチングで識別した残りの動きベクトル検出
器（以下「第２動きベクトル検出器または第３動きベク
トル検出器」と言う）２０、２１、２３、２４、２６、
２７、２９及び３０は、同一対のフィールドデータに加
え、同一グループ及び異なるグループの上位層に位置す
る他の動きベクトル検出器からの動きベクトルを用いて
動きベクトルを検出する点で、第１動きベクトル検出器
１９、２２、２５及び２８とは異なっている。なお、図
２中の、符号Ａ〜Ｈは、それぞれ次表２に示す信号の組
み合せを表している。

【００２８】 グループ３１に着目すると、第１動きベクトル検出器１
９は、Ｄ１６ａ（奇数現フィールド６の画素密度を最小
にしたもの）とＤ１４ａ（奇数参照フィールド８の画素
密度を最小にしたもの）とに基づいて公知の手法（たと
えば冒頭で述べた動きベクトル検出の基本原理）で動き
ベクトル１９ａを検出するが、第２動きベクトル検出器
２０は、Ｄ１６ｂ（奇数現フィールド６の画素密度を中
間にしたもの）及びＤ１４ｂ（奇数参照フィールド８の
画素密度を中間にしたもの）に加え、第１動きベクトル
検出器１９からの動きベクトル１９ａと、第１動きベク
トル検出器２２からの動きベクトル２２ａと、第１動き
ベクトル検出器２５からの動きベクトル２５ａと、第１
動きベクトル検出器２８からの動きベクトル２８ａとに
基づいて動きベクトル２０ａを検出し、さらに、第３動
きベクトル検出器２１は、Ｄ１６ｃ（奇数現フィールド
６の画素密度を最大にしたもの）及びＤ１４ｃ（奇数参
照フィールド８の画素密度を最大にしたもの）に加え、
第２動きベクトル検出器２０からの動きベクトル２０ａ
と、第２動きベクトル検出器２３からの動きベクトル２
３ａと、第２動きベクトル検出器２６からの動きベクト
ル２６ａと、第２動きベクトル検出器２９からの動きベ
クトル２９ａとに基づいて動きベクトル２１ａを検出す
る。

【００２９】したがって、第１動きベクトル検出器１
９、２２、２５及び２８は、発明の要旨に記載の「４個
の最上層動きベクトル検出手段」としての機能を有し、
また、第２及び第３動きベクトル検出器２０、２１、２
３、２４、２６、２７、２９及び３０は、発明の要旨に
記載の「４×（ｍ−１）個（実施例ではｍ＝３であるか
ら８個）の下位層動きベクトル検出手段」としての機能
を有している。

【００３０】ここで、第２及び第３動きベクトル検出器
２０、２１、２３、２４、２６、２７、２９及び３０に
おける動きベクトルの検出は、まず、現フィールドの検
出対象ブロック（図６の符号１０１参照）を特定し、次
いで、参照フィールド内での検出対象ブロックによる探
索範囲を設定するという手順を踏むが、この探索範囲
は、冒頭で述べた探索領域（図６の符号１０３参照）に
対して位置とサイズの点で異なっている。すなわち、第
２または第３動きベクトル検出器で設定される「探索範
囲」は、上位の動きベクトル検出器からの「動きベクト
ル」によって指し示された位置を中心に、誤検出を招か
ない程度にできるだけ小さなサイズで設定される。

【００３１】次に、第２及び第３動きベクトル検出器２
０、２１、２３、２４、２６、２７、２９及び３０につ
いて説明する。何れも同一構成であるので、グループ３
１の第２動きベクトル検出器２０を例にとって説明す
る。図３は第２動きベクトル検出器２０の構成図であ
る。４０〜４３は、それぞれ動きベクトル伸張器であ
る。これらの動きベクトル伸張器４０〜４３は、各グル
ープ３１〜３４の第１動きベクトル検出器１９、２２、
２５及び２８からの動きベクトル１９ａ、２２ａ、２５
ａ及び２８ａを個別に伸張して出力するものであり、以
下、伸張後の動きベクトルの符号には、ダッシュ（′）
を付して識別する。

【００３２】４４は動きベクトル選択回路、４５は動き
ベクトル評価器であり、動きベクトル選択回路４４は、
指示した動きベクトル４４ａに関して評価を行う動きベ
クトル評価器４５からの評価結果４５ａに基づいて、伸
張後の動きベクトル１９ａ、２２ａ、２５ａ、２８ａの
なかから最適な動きベクトルを選択し、動きベクトル２
０ａとして出力する。

【００３３】ここで、動きベクトル伸張器４０〜４３に
おける伸張量は、次の二つの要因によって決定される。
一つは階層間の解像度の違い（以下「第１の要因」）で
あり、他の一つはフィールド間の時間のずれ（以下「第
２の要因」）である。第１の要因については、たとえ
ば、下位層の解像度が直近上位層の解像度の２倍であれ
ば、動きベクトルも同じく２倍に伸張すればよい。以
下、第２の要因について説明する。図４には、４種類の
動きベクトル１９ａ、２２ａ、２５ａ及び２８ａを説明
するためのフィールド画像の概念図が示されている。こ
れら４種類の動きベクトル１９ａ、２２ａ、２５ａ及び
２８ａには、探索の対象となるブロックと参照するフィ
ールドとの違いによる時間のずれがある。なお、図面の
水平方向は時間軸を表し、垂直方向は画像の縦軸を表
し、また、○印と×印は交互に走査された各フィールド
より得られたデータ（たとえば、Ｄ１４ｂ、Ｄ１５ｂ、
Ｄ１６ｂ及びＤ１７ｂ参照）を表している。動きベクト
ルは、現フィールドと参照フィールド中でのブロック移
動量として扱っている。すなわち、各動きベクトルの垂
直方向成分は、フレーム画像の偶数フィールドと奇数フ
ィールドが交互に入れ子になった状態での移動した量と
して定義する。

【００３４】時間の間隔については、たとえば、現在の
偶数フィールド画像５０（又は奇数フィールド画像５
１）と参照する偶数フィールド画像５２（又は奇数フィ
ールド画像５３）の間隔がフレーム時間間隔と同じであ
り、偶／偶の組み合せの動きベクトル２８ａと奇／奇の
組み合せの動きベクトル１９ａは、時間の経過が同一と
なる。

【００３５】一方、偶／奇の組み合せの動きベクトル２
５ａは、１フィールド時間分だけフレーム動きベクトル
に比べて時間経過が短く、また、奇／偶の組み合せの動
きベクトル２２ａは、１フィールド時間分だけフレーム
動きベクトルに比べて時間経過が長い。つまり、フレー
ム画像の同位置のフレーム動きベクトルに比較して、偶
／奇の組み合せの動きベクトル２５ａは小さく、奇／偶
の組み合せの動きベクトル２２ａは大きくなる。

【００３６】ここで、４種類の動きベクトル１９ａ、２
２ａ、２５ａ及び２８ａを求めるときに使用した現フィ
ールドと参照フィールドのフィールド間の時間間隔をＭ
とし、これから探索しようとしているベクトルに対応す
る現フィールドと参照フィールドのフィールド間の時間
間隔をＮとした場合、時間間隔（第２の要因）が補正さ
れたベクトルの値Ｖｃは、次式（１）で与えられる。

【００３７】 Ｖｃ＝（Ｎ／Ｍ）Ｖｒ ……（１） 但し、Ｖｒは、４種類の動きベクトル１９ａ、２２ａ、
２５ａ及び２８ａのベクトル価である。この第２の要因
に合わせて、第１の階層間の解像度の違い（第１の要
因）、たとえば、下位層の解像度が直近上位層の解像度
の２倍であった場合を考えると、時間間隔の補正された
ベクトルの値Ｖｄは、次式（２）で与えられる。

【００３８】 Ｖｄ＝（２Ｎ／Ｍ）Ｖｒ ……（２） この計算結果において、所望の動きベクトル精度よりも
高い精度が得られる場合には、これを所望のベクトル精
度となるように丸める（たとえば、端数の切捨て、切り
上げ又は四捨五入）。図３を例にＮ＝６の場合を説明す
ると、最小のフィールド間時間間隔を１としたとき、動
きベクトルｘ（ｘは１９ａ、２２ａ、２５ａ、２８ａ、
１９ａ′、２２ａ′、２５ａ′又は２８ａ′）のときの
ベクトル値をそれぞれＶｘとすれば、 Ｖ_19a′＝２Ｖ_19a Ｖ_22a′＝２×６／７Ｖ_22a Ｖ_25a′＝２×６／５Ｖ_25a Ｖ_28a′＝２Ｖ_28a となる。このような伸張動作が動きベクトル伸張器４０
〜４３で行われる。次に、動きベクトル選択回路４４に
ついて説明する。動きベクトル選択回路４４は、４種類
の動きベクトル１９ａ′、２２ａ′、２５ａ′及び２８
ａ′を順次に選択し、指示のための動きベクトル４４ａ
として動きベクトル評価器４５に出力する。動きベクト
ル評価器４５は、同動きベクトル４４ａを中心として設
定されたブロックサイズのデータ（Ｄ１４ｂ）を第１の
階層メモリ１４ｂから読み込み、あらかじめ読み込んで
おいたデータ（Ｄ１６ｂ）との間で、公知の技術によっ
て動きベクトル探索を行い、適切と判定したベクトルと
評価値４５ａを動きベクトル選択回路４４に返す（同様
に残りの三つのベクトルについても適切と判定したベク
トルと評価値を返す）。動きベクトル選択回路４４は、
返された四つのベクトルの中で、評価値より最適なベク
トルを選択し、その動きベクトル検出器（ここでは、第
２動きベクトル検出器２０）における動きベクトル２０
ａとして出力する。なお、他の第２及び第３動きベクト
ル検出器２１、２３、２４、２６、２７、２９及び３０
についても、同様の動作を行う。

【００３９】以上の例では、上位層からの４本のベクト
ルを基にベクトル探索を行っているが、４本未満のベク
トルに限定してもよい。多少精度が落ちるものの演算の
簡略化という点でメリットが得られる。たとえば、２本
の動きベクトル１９ａ、２８ａに限定してもよいし、あ
るいは、１本の動きベクトル１９ａに限定してもよい。
さらに、動きベクトル検出器ごとに、上位層からのベク
トル本数を異ならせることも可能である。

【００４０】以上、説明したように、本実施例では、奇
数現フィールド６、偶数現フィールド７、奇数参照フィ
ールド８及び偶数参照フィールド９を、それぞれ３層構
造の第１〜第４の階層メモリ１４〜１７の各層に格納す
るとともに、第１層メモリＹａから読み出した四つのフ
ィールドデータＤＹａを参照フィールドと現フィールド
で組み合わせ、この４通りの組み合わせ（Ｄ１４ａ／Ｄ
１６ａ＝「奇／奇」、Ｄ１５ａ／Ｄ１６ａ＝「偶／
奇」、Ｄ１４ａ／Ｄ１７ａ＝「奇／偶」及びＤ１５ａ／
Ｄ１７ａ＝「偶／偶」）毎に、第１動きベクトル検出器
１９、２２、２５及び２８で動きベクトルを検出してい
るので、第１層メモリＹａから読み出した四つのフィー
ルドデータＤＹａは、最小画素密度のデータであるか
ら、フィールド動きベクトル検出のための探索点（すな
わち画素数）を削減でき、第１動きベクトル検出器１
９、２２、２５及び２８における処理の効率化を図るこ
とができる。

【００４１】また、第１動きベクトル検出器１９、２
２、２５及び２８によって検出された動きベクトルの指
し示す位置に限定して、第２及び第３動きベクトル検出
器２０、２１、２３、２４、２６、２７、２９及び３０
の探索範囲を小さく設定するので、検出精度を損なうこ
となく、第２及び第３動きベクトル検出器２０、２１、
２３、２４、２６、２７、２９及び３０における処理の
効率化も図ることができる。

【００４２】したがって、本実施例によれば、四つのフ
ィールド動きベクトルの検出を効率よく速やかに行なう
ことができるから、たとえば、ＨＤＴＶのような高精細
動画像に適用した場合でも、そのフィールド期間内に必
要な処理を完結することができるという特有の効果が得
られる。なお、上記実施例では、フレーム動きベクトル
検出について言及しなかったが、これには、従来技術あ
るいはフレーム動きベクトルをフィールドとは独立に検
出する公知の技術を用いることができる。

【００４３】

【発明の効果】本発明によれば、動きベクトルの推測に
加えて階層化した画像を利用するようにしたので、飛び
越し走査方式における処理の効率化を図り、とくに解像
度の高い動画像にも支障なく適用できる有用な技術を提
供できる。

【図面の簡単な説明】

【図１】一実施例の全体構成図である。

【図２】一実施例のフィールド動きベクトル検出処理部
の構成図である。

【図３】一実施例の第２（又は第３）動きベクトル検出
器の構成図である。

【図４】フィールド動きベクトルの時間間隔を説明する
ためのフィールド画像概念図である。

【図５】動きベクトル検出の基本原理図（その１）であ
る。

【図６】動きベクトル検出の基本原理図（その２）であ
る。

【図７】先願の原理図である。

【図８】先願のフィールド動き検出処理部を含む要部構
成図である。

【符号の説明】

１：画像メモリ（記憶手段） ４：フィールド分離部（現フィールド分離手段） ５：フィールド分離部（参照フィールド分離手段） １４：第１の階層メモリ １５：第２の階層メモリ １６：第３の階層メモリ １７：第４の階層メモリ １９〜３０：動きベクトル検出器（組み合わせ手段） １９、２２、２５、２８：動きベクトル検出器（最上層
動きベクトル検出手段） ２０、２１、２３、２４、２６、２７、２９、３０：動
きベクトル検出器（下位層動きベクトル検出手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 真樹 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 森田 一彦 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 山田 恭裕 東京都渋谷区代々木４丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内

Claims (2)

【特許請求の範囲】
1. 【請求項１】飛び越し走査方式の画像信号から動きベク
   トルを検出する際に、 参照となる画像信号を奇数フィールドと偶数フィールド
   に分離してそれぞれ奇数参照フィールドと偶数参照フィ
   ールドとするステップと、 現在の画像信号を奇数フィールドと偶数フィールドに分
   離してそれぞれ奇数現フィールドと偶数現フィールドと
   するステップと、 前記奇数参照フィールドを、第１層から第ｍ層にいくに
   つれて解像度が高くなる第１の階層メモリの各層に格納
   するステップと、 前記偶数参照フィールドを、第１層から第ｍ層にいくに
   つれて解像度が高くなる第２の階層メモリの各層に格納
   するステップと、 前記奇数現フィールドを、第１層から第ｍ層にいくにつ
   れて解像度が高くなる第３の階層メモリの各層に格納す
   るステップと、 前記偶数現フィールドを、第１層から第ｍ層にいくにつ
   れて解像度が高くなる第４の階層メモリの各層に格納す
   るステップと、 前記第１の階層メモリ、第２の階層メモリ、第３の階層
   メモリ及び第４の階層メモリの同一階層同士を組み合わ
   せるステップと、 該組み合わせが第１層同士の場合には、該第１層からの
   二つのデータに基づいて該組み合わせの動きベクトルを
   検出するステップと、 該組み合わせが第１層以外で同一階層同士の場合には、
   該組み合わせ層からの二つのデータと直近の上位層同士
   の組み合わせによって得られた動きベクトルとに基づい
   て該組み合わせの動きベクトルを検出するステップと、
   を含むことを特徴とする動きベクトル検出方法。
2. 【請求項２】飛び越し走査方式の画像信号を記憶する記
   憶手段と、 前記記憶手段から参照となる画像信号を読み込み該画像
   信号を奇数フィールドと偶数フィールドに分離してそれ
   ぞれ奇数参照フィールドと偶数参照フィールドとする参
   照フィールド分離手段と、 前記記憶手段から現在の画像信号を読み込み該画像信号
   を奇数フィールドと偶数フィールドに分離してそれぞれ
   奇数現フィールドと偶数現フィールドとする現フィール
   ド分離手段と、 前記奇数参照フィールドを各層に格納する、第１層から
   第ｍ層にいくにつれて解像度が高くなる第１の階層メモ
   リと、 前記偶数参照フィールドを各層に格納する、第１層から
   第ｍ層にいくにつれて解像度が高くなる第２の階層メモ
   リと、 前記奇数現フィールドを各層に格納する、第１層から第
   ｍ層にいくにつれて解像度が高くなる第３の階層メモリ
   と、 前記偶数現フィールドを各層に格納する、第１層から第
   ｍ層にいくにつれて解像度が高くなる第４の階層メモリ
   と、 前記第１の階層メモリ、第２の階層メモリ、第３の階層
   メモリ及び第４の階層メモリの同一階層同士を組み合わ
   せる組み合わせ手段と、 該組み合わせが第１層同士の場合には、該第１層からの
   二つのデータに基づいて該組み合わせの動きベクトルを
   検出する４個の最上層動きベクトル検出手段と、 該組み合わせが第１層以外で同一階層同士の場合には、
   該組み合わせ層からの二つのデータと直近の上位層同士
   の組み合わせによって得られた動きベクトルとに基づい
   て該組み合わせの動きベクトルを検出する４（ｍ−１）
   個の下位層動きベクトル検出手段と、を備えたことを特
   徴とする動きベクトル検出装置。