JPH0746597A

JPH0746597A - 動き補償予測符号化装置及び復号化装置

Info

Publication number: JPH0746597A
Application number: JP18973993A
Authority: JP
Inventors: Eiichiro Tomonaga; 英一郎朝長; Noriya Sakamoto; 典哉坂本; Katsuhito Takahashi; 勝仁高橋; Tatsuya Ishikawa; 石川　　達也
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-07-30
Filing date: 1993-07-30
Publication date: 1995-02-14

Abstract

(57)【要約】【目的】水平、垂直の２次元ベクトルのみでパンニング
を検出してさほどの演算量の増加なく、高精度の動きベ
クトル検出、動き補償を得る。【構成】入力画像信号に対して、１フレーム前の予測画
像信号をベクトル切換及び動き検出器１０７から得て、
入力画像信号と予測画像信号との差である予測誤差信号
が減算器１０９から得られ、符号化部（１１０〜１１
２）に入力される。動きベクトル検出器１０４では分割
ブロック毎の画像動きベクトル、代表動きベクトル検出
器１０６は１フレーム以下の領域の画像動きベクトルを
検出する。伝送動きベクトル切換器１１９は、パンニン
グ検出器１０５によりパンニングが検出された場合は、
代表動きベクトルを可変長符号化器１１２に与えてこれ
が符号化されて伝送されるようにする。復号化装置で
は、代表動きベクトルが伝送されてきたときは、分割ブ
ロック毎の動き補償は行わない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、映像の高効率符号化
システム等で採用されている、動き補償フレーム間予測
を用いた符号化装置及び復号化装置に関する。

【０００２】

【従来の技術】映像信号を高効率に圧縮する手法のひと
つとして、フレーム間予測符号化方式が挙げられる。こ
の方式は連続するフレームの相関が一般に高いことを利
用し、現フレームと前フレームの差分信号のみを符号化
し、時間的な冗長度を削減するものである。

【０００３】そして特にテレビ信号等の動画像に対して
は、動き補償を用いたフレーム間予測符号化方式がよく
用いられており、ＣＣＩＴＴのＨ．２６１勧告案やＭＰ
ＥＧ等に採用されている。

【０００４】一般にこれらの符号化方式では、入力画像
デ−タを８ドット×８ライン、１６ドット×１６ライン
等の領域（以降この領域を画素ブロックと呼ぶ）に分割
し、その画素ブロックデ−タごとに水平方向、垂直方向
のベクトル表現を使った画像動きベクトル検出をし、そ
の画像動きベクトルに従って動き補償を行っている。

【０００５】水平方向、垂直方向の画像動きベクトルの
みを用いたいわゆる２次元ベクトルの動き検出では、物
体の平行運動以外の回転、ズ−ム、パンニング等の運動
に対しては一般に弱い面、つまり正確に画像動きを検出
できないことがある。

【０００６】動き補償の精度を向上させる為の手段とし
て多次元ベクトルを用いて、カメラのズ−ム、パンによ
って生じる大局的な動きを表現するグロ−バル動き補償
方式が提案されている。（文献：太田、宮本、清水；１
９９０電力情報通信学会秋季全国大会Ｄ−２２５）２次
元ベクトルを用いた動き補償が不得手な物体の回転、ズ
−ム、パンニング等に専用のベクトルを対応させ、多次
元ベクトルを使用することで、より正確な動きを補償を
実現できると報告されている。

【０００７】

【発明が解決しようとする課題】水平、垂直２次元の動
きベクトルを用いた動き補償で動き検出の精度を向上さ
せるためには動きを検出する画素単位（画素ブロック単
位）を細かくしていくという方法が挙げられる。しか
し、ブロックの数が飛躍的に増加し、その結果伝送しな
ければならない画像動きベクトルの数（情報量）も増加
するため、結果的に伝送レ−トが高くなり、現実的では
ない。また、輝度信号の差が少ない平坦な領域ではブロ
ックマッチング法で正確なベクトルを求めるのは難し
く、そのベクトルで動き補償がなされた場合、画質劣化
の原因となる。

【０００８】また、上記のグロ−バル動き補償では、よ
り正確な動き補償が期待できるもののベクトル検出の為
の演算量は膨大になり、実時間で処理するには装置を構
成するハ−ドウェアの負担が大きくなる。またパラメ−
タが増加することにより、伝送情報量が増加する。

【０００９】そこでこの発明は、水平、垂直の２次元ベ
クトルのみで、パンニングを検出して、さほど演算量を
増加させることなく、高精度の動きベクトル検出、動き
補償ができるようにした動き補償予測符号化装置及び復
号化装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】この発明は、入力画像信
号と、入力画像信号を１フレ−ム期間遅延させた参照画
像信号とを複数の小領域に分割し、入力画像信号の各領
域ごとに参照画像信号との相関を示す画像動きベクトル
を演算する動きベクトル検出手段と、前記動きベクトル
検出手段により検出された画像動きベクトルから、前記
入力画像信号の画像がパンニングしているかどうかの判
定を行うパンニング検出手段と、前記動きベクトル検出
手段により検出された画像動きベクトルから、入力画像
信号の１フレーム以下のある領域についての画像動きベ
クトルの代表値（以後代表動きベクトルと呼ぶ）を算出
する代表動きベクトル決定手段と、前記パンニング検出
手段からのパンニング検出情報に基づいて、前記画像動
きベクトル若しくは代表動きベクトルのいずれか一方の
符号化を行う符号化手段とを備える。即ち、この発明は
動き補償予測符号化装置の前処理として、あらかじめ画
像動きベクトルを求める手段と、求めた画像動きベクト
ルよりそのフレームのパンニング検出を行う手段と、求
めた動きベクトルから代表動きベクトルを求める手段と
を有するものである。

【００１１】

【作用】上記の手段により符号化装置の前処理として、
あらかじめ画素単位、画素ブロック単位等の方法で動き
ベクトルを求め、求めた動きベクトルより、フレーム全
域または１フレームを分割した、より小さい領域でパン
ニング検出を行い、パンニングしていると認められた場
合には、求めた代表動きベクトルを求める。パンニング
していると検出された場合には、動き補償は代表動きベ
クトルで行い、このベクトルを伝送する。この時、画素
ブロックごとに求めた動きベクトルは動き補償に用い
ず、また伝送しない。これにより、パンニング時の画質
劣化がなく安定した画像となる。

【００１２】

【実施例】以下、この発明の実施例を図面を参照して説
明する。図１はこの発明の第１の実施例の符号化装置で
ある。テレビ会議符号化の標準方式である、ＣＣＩＴＴ
Ｈ２６１勧告案モデルなどで用いられている、ＤＣＴ
動き補償、フレ−ム間予測をもとにしたハイブリッド符
号化装置である。

【００１３】入力端子１０１には、デジタル画像デ−タ
が入力される。この画像デ−タは入力バッファ１０２に
より、バッファリングおよびデ−タのフォ−マット変換
（画素ブロック変換等）された後に、フレームメモリ１
０３と動きベクトル検出器１０４に出力される。画像デ
−タはフレームメモリ１０３で所定の１フレーム期間遅
延された後に、減算器１０９と動きベクトル検出器１０
４へと出力される。

【００１４】動きベクトル検出器１０４では入力画像デ
−タと１フレーム遅延された画像デ−タより画像動きベ
クトルを検出する。画像ブロック単位で検出された画像
動きベクトルはパンニング検出器１０５と代表動きベク
トル決定器１０６へ出力される。パンニング検出器１０
５では入力された画像動きベクトルの１フレーム分の分
散を算出し、設定したしきい値よりも分散が小さい時に
はそのフレームはパンニングしているものとみなし、検
出結果をベクトル切換及び動き補償器１０７及び伝送動
きベクトル切換器１１９と可変長符号化器１１２に出力
する。また、代表動きベクトル決定器１０６では、入力
された１フレーム分の画像動きベクトルよりベクトル平
均値をとって、そのフレームの代表動きベクトルとして
ベクトル切換及び動き補償器１０７及び伝送動きベクト
ル切換器１１９へと出力する。ここで代表動きベクトル
が０と算出され、またパンニング検出器１０５で画像が
パンニングしていると検出されたときには、その画像は
静止画とみなし、動き補償は行わない。

【００１５】この実施例では代表動きベクトルを求める
領域を１フレーム全体と規定したが、この領域は１フレ
ーム全体に限らず、１画面を分割した、より小さい領域
ごとに代表動きベクトルを定めても良い。この状態を図
７に示す。図７（Ａ）は１フレーム全体で代表動きベク
トルＸを定める場合、図７（Ｂ）は１フレームを２分割
してそれぞれＡ、Ｂの領域で代表動きベクトルｘＡ、ｘ
Ｂを定めた場合を示す。例えば入力画像が上半分だけが
横方向にほぼ一様に動いている場合等、図７（Ｂ）のほ
うがより細かく代表動きベクトルを設定できる。

【００１６】減算器１０９では、フレ−ムメモリ１０３
からの画素ブロックデ−タと共に、ベクトル切換及び動
き補償器１０７から動き補償された前フレームの画素ブ
ロックデ−タも与えられており、予測誤差信号を求めて
ＤＣＴ器１１０へ出力する。ＤＣＴ器１１０では入力さ
れたブロックデ−タをＤＣＴ（離散コサイン変換）し、
量子化器１１１へ、出力する。量子化器１１１ではＤＣ
Ｔ器１１０の出力を量子化し、ビットレ−トを低減し可
変長符号化器１１２及び逆量子化器１１５に与える。可
変長符号化器１１２では、画像デ−タ、動きベクトル、
パンニング検出情報の符号化を行う。この時、パンニン
グしていると検出されている場合には、画像動きベクト
ルはフレーム先頭のみで符号化し、各ブロックごとの画
像動きベクトルは伝送しないものとする。符号化デ−タ
は出力バッファ１１３に出力する。

【００１７】逆量子化器１１５では量子化器１１１で量
子化されたデ−タを逆量子化し逆ＤＣＴ器１１６へ出力
される。逆ＤＣＴ器１１６で逆ＤＣＴしたデータは、加
算器１１７へと出力される。加算器７では、逆ＤＣＴさ
れた予測誤差デ−タと、ベクトル切換及び動き補償器１
０７からの動き補償された１フレーム前のデ−タとを加
算し、現フレームの予測される画素ブロックデ−タを再
生し、フレ−ムメモリ１１８へ出力する。フレームメモ
リ１１８では入力された画素ブロックデ−タを１フレー
ム期間遅延させて前フレームデ−タとし、ベクトル切換
及び動き補償器１０７と動きベクトル検出器１０８へと
出力する。

【００１８】動きベクトル検出器１０８にはフレームメ
モリ１１８から前フレームデ−タが、フレームメモリ１
０３から現フレームデ−タが与えられる。動きベクトル
検出器１０８では入力されたブロックデ−タについて順
次、前フレームと現フレームの間の画像動きベクトルを
求め、ベクトル切換及び動き補償器１０７と伝送動きベ
クトル切換器１１９へ出力する。ベクトル切換及び動き
補償器１０７では、パンニング検出器１０５からの出力
に従って、そのフレームがパンニングしていると検出さ
れた場合には、代表動きベクトル決定器１０６の画像動
きベクトルで動き補償し、パンニングしていないと検出
された場合には動きベクトル検出器１０８の画像動きベ
クトルで、それぞれ動き補償する。動き補償された画素
ブロックデ−タは前フレームの予測信号として加算器１
１７、減算器１０９へ出力される。

【００１９】伝送動きベクトル切換器１１９では、動き
ベクトル検出器１０８からの画像動きベクトルと、代表
動きベクトル決定器１０６からの画像動きベクトルをパ
ンニング検出器１０５からのフラグによって動き補償に
用いたベクトルを選択し可変長符号化器１１２に出力
し、画像デ−タ、パンニング検出情報と共に符号化す
る。

【００２０】図２は上記符号化装置に対応した復号化装
置の第１の実施例である。入力端子２０１に画像伝送信
号が入力され、入力バッファ２０１でバッファリングさ
れた後に可変長復号化器２０３に出力される。

【００２１】可変長復号化器２０４では画像デ−タとベ
クトルデ−タが複号され、それぞれ逆量子化器２０４と
動きベクトル分離・生成器２１１へと出力される。逆量
子化器２０４で画像デ−タが逆量子化され、逆ＤＣＴ器
２０５へと出力される。画像デ−タは逆ＤＣＴ器２０５
で逆ＤＣＴされ、加算器２０６へ出力される。加算器２
０６では逆ＤＣＴ器からの予測誤差信号と動き補償され
た前フレームの信号とが加算され現信号として、フレー
ムメモリ２０７と出力バッファ２０８へ出力される。出
力バッファ２０８でバッファリングされたデータは、出
力端子２０９では一定レ−トの映像信号として得られ
る。

【００２２】加算器２０６の出力が供給されるフレーム
メモリ２０７では現フレームの信号が１フレーム時間遅
延され、動き補償器２１０へ出力される。動きベクトル
分離・生成器２１１では、可変長復号化器２０３の出力
から、画像動きベクトルデ−タを取り出し、動き補償器
２１０へ出力する。この時、このフレームがパンニング
用の代表動きベクトルで動き補償されている時には１フ
レームに一つのベクトルしか伝送されてこないため、こ
の１つのベクトルを各ブロックごとのベクトルに拡散
し、動き補償器２１０に出力する。

【００２３】動き補償器２１０では動きベクトル分離・
生成器２１１から出力されたベクトルに従って、前フレ
ームデ−タの動き補償を行う。次に、パンニングの際に
もベクトルをフレームに１つだけ伝送するのではなく、
各画素ブロックごとにベクトルを伝送する第２の実施例
を挙げる。

【００２４】図３は第２の実施例の符号化装置である。
第１の実施例と重複する部分は、図１と同一符号を付し
て説明は省略する。代表動きベクトル決定器１０６から
のパンニング用ベクトルと、通常の画素ブロックごとに
動きベクトル検出器３０８で求めた動きベクトルが、動
きベクトル切換器３１９に入力される。これらのベクト
ルにはパンニング検出器１０５からのパンニング検出フ
ラグによって一方が選択され、動き補償器３０７と可変
長復号化器３１２へと出力される。

【００２５】動き補償器３０９では選択された画像動き
ベクトルに従ってフレームメモリ１１８からの前フレー
ムデ−タを動き補償し予測信号として出力する。可変長
復号化器３１２では動きベクトル切換器３１９より受け
取った画像動きベクトルを画像デ−タと共に符号化す
る。

【００２６】この第２の実施例では、パンニングが検出
された時、パンニング用のベクトルを動き補償に用いて
いるが、パンニング用のベクトルを各画素ブロックの動
きベクトルと同様に符号化する。そのため、復号化装置
の側では特別に機能を付加する事なくパンニングに対応
した復号化装置を実現する。

【００２７】図４はパンニング検出精度を向上させるた
めの方法としてエッジ検出を取り入れた実施例３であ
る。入力バッファ１０２で画素ブロックごとの信号に変
換された画像デ−タはフレームメモリ１０３、エッジ検
出器４０１及びエッジ有り画素ブロック抽出器４０２へ
出力される。エッジ検出器４０１では入力された画像デ
−タ画素ブロック中に輝度差の大きい領域が存在するか
を検出し、存在した場合はエッジ有りの画素ブロックで
あるという情報をエッジ有り画素ブロック抽出器４０２
へと出力する。エッジ有り画素ブロック抽出器４０２で
はエッジ有りブロックのみを抽出し、エッジ部動きベク
トル検出器４０３へと出力する。

【００２８】エッジ部動きベクトル検出器４０３ではエ
ッジが存在すると検出された画素ブロックのみの画像動
きベクトルが検出され、パンニング検出器１０５、代表
動きベクトル決定器１０６へ出力する。

【００２９】この実施例３では、前処理で求める画像動
きベクトルをエッジが存在する画素ブロックだけで求め
ているため、全てのブロックでの動きベクトルから判定
する場合と比較して、パンニング検出の精度が向上す
る。

【００３０】図５はパンニング検出及び代表動きベクト
ル決定の方法の一実施例の説明図である。ここで本発明
の符号化装置の前処理部では１６ドット×１６ラインの
画素ブロック単位で動きベクトルを求めており、斜線で
囲まれた領域がその画素ブロックであるとする。また、
この１６ドット×１６ラインのブロックを図５のように
４０個集めた１２８ドット×８０ラインの領域で代表動
きベクトルを求めるとする。１６ドット×１６ラインの
画素ブロックでＶ０からＶ３９までの４０個の画像動き
ベクトルが求められた時、パンニング検出はこれらのベ
クトルの分散を用いて判断する。

【００３１】

【数１】

【００３２】である。この分散σ² があらかじめ定めた
しきい値σth² よりも小さい場合、この領域はパンニン
グしているものとみなし、σth² 以上であるときにはこ
の領域はパンニングしていないものとみなす。

【００３３】この領域の代表動きベクトルは平均値Ｖａ
とする。また、静止画であることを検出するときには、
分散と平均双方で検出する。分散σ² がσth² より小さ
く、かつ平均値Ｖａの絶対値が０と算出された時には、
静止画であるとみなす。

【００３４】図６に上記実施例のパンニング検出器、代
表動きベクトル決定器の構成を説明する。点線で囲まれ
た６０１が代表動きベクトル決定器、６０２がパンニン
グ検出器である。

【００３５】端子６０３に検出された画像動きベクトル
が入力され、メモリ６０４、６０６に出力される。動き
ベクトル平均値算出器６０５はメモリ６０４のアドレス
制御を行い、平均値求めるべき画面領域に相当する画像
動きベクトルを読み出すように制御する。メモリ６０４
から出力された画像動きベクトルは、動きベクトル平均
値算出器６０５で領域内でのベクトルの平均値が算出さ
れ、画像動きベクトルの平均値が代表動きベクトルとし
て出力される。

【００３６】動きベクトル分散算出器６０８はメモリ６
０６のアドレス制御を行い、分散値を求めるべき画面領
域に相当する動きベクトルを読み出すように制御する。
メモリ６０６から出力された動きベクトルは減算器６０
７に出力され動きベクトル平均値との減算を行い動きベ
クトル分散算出器６０８へと出力する。動きベクトル分
散算出器６０８では領域内の動きベクトルの分散を算出
し、分散値比較器６０９へ出力する。分散値比較器６０
９は動きベクトル分散値と分散のしきい値を比較して、
パンニング検出のフラグを出力する。

【００３７】上記したようにこのシステムによると二次
元のベクトルを用いたままで、演算量の増大なしでパン
ニングに対処した画像動きベクトル検出を行うことがで
きる。第１の実施例でパンニングしている場合には、通
常の通りに伝送する場合と比較して、動きベクトルの発
生量を抑えられるため、画質が向上する。

【００３８】また、輝度差が小さい平坦な領域では、正
確なベクトルを検出するのが困難だが、この発明ではパ
ンニングしていると検出された時には一様に動き補償さ
れるため、誤った動きベクトルに起因する画質劣化が生
じない。故に、パンニング画像が入力された場合に、動
き補償フレーム間予測の性能が改善され、より高品位の
デジタル映像伝送が可能となる。

【００３９】

【発明の効果】以上説明したようにこの発明によれば、
水平、垂直の２次元ベクトルのみで、パンニングを検出
して、さほど演算量を増加させることなく、高精度の動
きベクトル検出、動き補償ができる。

【図面の簡単な説明】

【図１】この発明の符号化装置の第１の実施例を示す
図。

【図２】図１の符号化装置に対応した復号化装置の第１
の実施例を示す図。

【図３】この発明の符号化装置の第２の実施例を示す
図。

【図４】この発明の符号化装置の第３の実施例を示す
図。

【図５】この発明に係わるパンニング検出、代表動きベ
クトル決定、静止画判定の説明図。

【図６】この発明に係わるパンニング検出器、代表動き
ベクトル決定器の構成図。

【図７】図１のパンニング検出器の動作例を説明するた
めの説明図。

【符号の説明】

１０２…入力バッファ、１０３…フレームメモリ、１０
４…動きベクトル検出器、１０５…パンニング検出器、
１０６…代表動きベクトル決定器、１０７…ベクトル切
換及び動き補償器、１０８…動きベクトル検出器、１１
０…ＤＣＴ器、１１１…量子化器、１１２…可変長符号
化器、１１３…出力バッファ、１１５…逆量子化器、１
１６…逆ＤＣＴ器、１１７…加算器、１１８…フレーム
メモリ、１１９…伝送動きベクトル切換器、２０３…入
力バッファ、２０３…可変長復号化器、２０４…逆量子
化器、２０５…逆ＤＣＴ器、２０６…加算器、２０７…
フレームメモリ、２０８…出力バッファ、２１０…動き
補償器、２１１…動きベクトル分離・生成器、３０８…
動きベクトル、３０９…動き補償器、３１９…伝送動き
ベクトル切換器。

───────────────────────────────────────────────────── フロントページの続き (72)発明者石川達也神奈川県横浜市磯子区新杉田町８番地株式会社東芝映像メディア技術研究所内

Claims

【特許請求の範囲】

【請求項１】入力画像信号と、入力画像信号を１フレ
−ム期間遅延させた参照画像信号とを複数の小領域に分
割し、入力画像信号の各領域ごとに参照画像信号との相
関を示す画像動きベクトルを演算する動きベクトル検出
手段と、前記動きベクトル検出手段により検出された画像動きベ
クトルから、前記入力画像信号の画像がパンニングして
いるかどうかの判定を行うパンニング検出手段と、前記動きベクトル検出手段により検出された画像動きベ
クトルから、入力画像信号の１フレーム以下のある領域
についての画像動きベクトルの代表値（以後代表動きベ
クトルと呼ぶ）を算出する代表動きベクトル決定手段
と、前記パンニング検出手段からのパンニング検出情報に基
づいて、前記画像動きベクトル若しくは代表動きベクト
ルのいずれか一方の符号化を行う符号化手段とを具備し
たことを特徴とする動き補償予測符号化装置。
【請求項２】前記符号化手段は、パンニング検出手段の
出力結果より、入力画像がパンニングしていることが検
出された時には、前記代表動きベクトル決定手段により
算出された代表動きベクトルを、入力画像がパンニングしていないと検出された場合に
は、８ドット×８ライン若しくは１６ドット×１６ライ
ンの画像ブロックデ−タごとに求められた画像動きベク
トルを可変長符号化することを特徴とする請求項１記載
の動き補償予測符号化装置。
【請求項３】前記符号化手段は、前記パンニング検出
情報により入力画像がパンニングしていると検出された
とき、代表動きベクトルを求めた一領域について、一個
の画像動きベクトルだけを可変長符号化する手段を有す
ることを特徴とする請求項１記載の動き補償予測符号化
装置。
【請求項４】前記符号化手段は、入力画像がパンニン
グしていると検出されたとき、前記代表動きベクトルを
求めた一領域について、この領域中に存在する動き補償
された画像ブロックデ−タの動きベクトルとして、画素
ブロックデ−タごとに代表動きベクトルを可変長符号化
する手段を有することを特徴とする請求項１記載の動き
補償予測符号化装置。
【請求項５】前記符号化手段は、１フレーム前の前記
参照画像信号を動きベクトルにしたがって動き補償され
た予測信号を作成する予測信号を予測信号作成手段と、前記入力画像信号として静止画が入力され、前記動きベ
クトル検出手段で求めた画像動きベクトルが、静止画で
あることを示した場合、前記予測信号作成手段の動き補
償動作を停止させる手段とを具備したことを特徴とする
請求項１記載の動き補償予測符号化装置。
【請求項６】入力画像信号と、入力画像信号を１フレ
−ム期間遅延させた参照画像信号とを複数の小領域に分
割し、入力画像信号の各領域ごとに参照画像信号との相
関を示す画像動きベクトルを演算し、前記画像動きベク
トルから、前記入力画像信号の画像がパンニングしてい
るかどうかの判定を行いパンニング検出情報を得、画像
動きベクトルから、入力画像信号の１フレーム以下のあ
る領域についての画像動きベクトルの代表値（以後代表
動きベクトルと呼ぶ）を算出し、パンニング検出情報に
基づいて、前記画像動きベクトル若しくは代表動きベク
トルのいずれか一方の符号化を行い伝送する動き補償予
測符号化装置からの伝送信号を受信する受信装置におい
て、前記伝送信号を可変長復号化する復号化手段と、可変長復号化された信号より動きベクトル成分を分離
し、それがパンニング用の代表動きベクトルであるとき
は、その代表動きベクトルに対応する領域の動き補償画
素ブロックの動き補償を行う画像動き補償器に、前記代
表動きベクトルを与え画像動き補償を行う手段とを具備
したことを特徴とする動き補償予測復号化装置。