JPH0746597A - 動き補償予測符号化装置及び復号化装置 - Google Patents
動き補償予測符号化装置及び復号化装置Info
- Publication number
- JPH0746597A JPH0746597A JP18973993A JP18973993A JPH0746597A JP H0746597 A JPH0746597 A JP H0746597A JP 18973993 A JP18973993 A JP 18973993A JP 18973993 A JP18973993 A JP 18973993A JP H0746597 A JPH0746597 A JP H0746597A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- motion
- panning
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】水平、垂直の2次元ベクトルのみでパンニング
を検出してさほどの演算量の増加なく、高精度の動きベ
クトル検出、動き補償を得る。 【構成】入力画像信号に対して、1フレーム前の予測画
像信号をベクトル切換及び動き検出器107から得て、
入力画像信号と予測画像信号との差である予測誤差信号
が減算器109から得られ、符号化部(110〜11
2)に入力される。動きベクトル検出器104では分割
ブロック毎の画像動きベクトル、代表動きベクトル検出
器106は1フレーム以下の領域の画像動きベクトルを
検出する。伝送動きベクトル切換器119は、パンニン
グ検出器105によりパンニングが検出された場合は、
代表動きベクトルを可変長符号化器112に与えてこれ
が符号化されて伝送されるようにする。復号化装置で
は、代表動きベクトルが伝送されてきたときは、分割ブ
ロック毎の動き補償は行わない。
を検出してさほどの演算量の増加なく、高精度の動きベ
クトル検出、動き補償を得る。 【構成】入力画像信号に対して、1フレーム前の予測画
像信号をベクトル切換及び動き検出器107から得て、
入力画像信号と予測画像信号との差である予測誤差信号
が減算器109から得られ、符号化部(110〜11
2)に入力される。動きベクトル検出器104では分割
ブロック毎の画像動きベクトル、代表動きベクトル検出
器106は1フレーム以下の領域の画像動きベクトルを
検出する。伝送動きベクトル切換器119は、パンニン
グ検出器105によりパンニングが検出された場合は、
代表動きベクトルを可変長符号化器112に与えてこれ
が符号化されて伝送されるようにする。復号化装置で
は、代表動きベクトルが伝送されてきたときは、分割ブ
ロック毎の動き補償は行わない。
Description
【0001】
【産業上の利用分野】この発明は、映像の高効率符号化
システム等で採用されている、動き補償フレーム間予測
を用いた符号化装置及び復号化装置に関する。
システム等で採用されている、動き補償フレーム間予測
を用いた符号化装置及び復号化装置に関する。
【0002】
【従来の技術】映像信号を高効率に圧縮する手法のひと
つとして、フレーム間予測符号化方式が挙げられる。こ
の方式は連続するフレームの相関が一般に高いことを利
用し、現フレームと前フレームの差分信号のみを符号化
し、時間的な冗長度を削減するものである。
つとして、フレーム間予測符号化方式が挙げられる。こ
の方式は連続するフレームの相関が一般に高いことを利
用し、現フレームと前フレームの差分信号のみを符号化
し、時間的な冗長度を削減するものである。
【0003】そして特にテレビ信号等の動画像に対して
は、動き補償を用いたフレーム間予測符号化方式がよく
用いられており、CCITTのH.261勧告案やMP
EG等に採用されている。
は、動き補償を用いたフレーム間予測符号化方式がよく
用いられており、CCITTのH.261勧告案やMP
EG等に採用されている。
【0004】一般にこれらの符号化方式では、入力画像
デ−タを8ドット×8ライン、16ドット×16ライン
等の領域(以降この領域を画素ブロックと呼ぶ)に分割
し、その画素ブロックデ−タごとに水平方向、垂直方向
のベクトル表現を使った画像動きベクトル検出をし、そ
の画像動きベクトルに従って動き補償を行っている。
デ−タを8ドット×8ライン、16ドット×16ライン
等の領域(以降この領域を画素ブロックと呼ぶ)に分割
し、その画素ブロックデ−タごとに水平方向、垂直方向
のベクトル表現を使った画像動きベクトル検出をし、そ
の画像動きベクトルに従って動き補償を行っている。
【0005】水平方向、垂直方向の画像動きベクトルの
みを用いたいわゆる2次元ベクトルの動き検出では、物
体の平行運動以外の回転、ズ−ム、パンニング等の運動
に対しては一般に弱い面、つまり正確に画像動きを検出
できないことがある。
みを用いたいわゆる2次元ベクトルの動き検出では、物
体の平行運動以外の回転、ズ−ム、パンニング等の運動
に対しては一般に弱い面、つまり正確に画像動きを検出
できないことがある。
【0006】動き補償の精度を向上させる為の手段とし
て多次元ベクトルを用いて、カメラのズ−ム、パンによ
って生じる大局的な動きを表現するグロ−バル動き補償
方式が提案されている。(文献:太田、宮本、清水;1
990電力情報通信学会秋季全国大会D−225)2次
元ベクトルを用いた動き補償が不得手な物体の回転、ズ
−ム、パンニング等に専用のベクトルを対応させ、多次
元ベクトルを使用することで、より正確な動きを補償を
実現できると報告されている。
て多次元ベクトルを用いて、カメラのズ−ム、パンによ
って生じる大局的な動きを表現するグロ−バル動き補償
方式が提案されている。(文献:太田、宮本、清水;1
990電力情報通信学会秋季全国大会D−225)2次
元ベクトルを用いた動き補償が不得手な物体の回転、ズ
−ム、パンニング等に専用のベクトルを対応させ、多次
元ベクトルを使用することで、より正確な動きを補償を
実現できると報告されている。
【0007】
【発明が解決しようとする課題】水平、垂直2次元の動
きベクトルを用いた動き補償で動き検出の精度を向上さ
せるためには動きを検出する画素単位(画素ブロック単
位)を細かくしていくという方法が挙げられる。しか
し、ブロックの数が飛躍的に増加し、その結果伝送しな
ければならない画像動きベクトルの数(情報量)も増加
するため、結果的に伝送レ−トが高くなり、現実的では
ない。また、輝度信号の差が少ない平坦な領域ではブロ
ックマッチング法で正確なベクトルを求めるのは難し
く、そのベクトルで動き補償がなされた場合、画質劣化
の原因となる。
きベクトルを用いた動き補償で動き検出の精度を向上さ
せるためには動きを検出する画素単位(画素ブロック単
位)を細かくしていくという方法が挙げられる。しか
し、ブロックの数が飛躍的に増加し、その結果伝送しな
ければならない画像動きベクトルの数(情報量)も増加
するため、結果的に伝送レ−トが高くなり、現実的では
ない。また、輝度信号の差が少ない平坦な領域ではブロ
ックマッチング法で正確なベクトルを求めるのは難し
く、そのベクトルで動き補償がなされた場合、画質劣化
の原因となる。
【0008】また、上記のグロ−バル動き補償では、よ
り正確な動き補償が期待できるもののベクトル検出の為
の演算量は膨大になり、実時間で処理するには装置を構
成するハ−ドウェアの負担が大きくなる。またパラメ−
タが増加することにより、伝送情報量が増加する。
り正確な動き補償が期待できるもののベクトル検出の為
の演算量は膨大になり、実時間で処理するには装置を構
成するハ−ドウェアの負担が大きくなる。またパラメ−
タが増加することにより、伝送情報量が増加する。
【0009】そこでこの発明は、水平、垂直の2次元ベ
クトルのみで、パンニングを検出して、さほど演算量を
増加させることなく、高精度の動きベクトル検出、動き
補償ができるようにした動き補償予測符号化装置及び復
号化装置を提供することを目的とする。
クトルのみで、パンニングを検出して、さほど演算量を
増加させることなく、高精度の動きベクトル検出、動き
補償ができるようにした動き補償予測符号化装置及び復
号化装置を提供することを目的とする。
【0010】
【課題を解決するための手段】この発明は、入力画像信
号と、入力画像信号を1フレ−ム期間遅延させた参照画
像信号とを複数の小領域に分割し、入力画像信号の各領
域ごとに参照画像信号との相関を示す画像動きベクトル
を演算する動きベクトル検出手段と、前記動きベクトル
検出手段により検出された画像動きベクトルから、前記
入力画像信号の画像がパンニングしているかどうかの判
定を行うパンニング検出手段と、前記動きベクトル検出
手段により検出された画像動きベクトルから、入力画像
信号の1フレーム以下のある領域についての画像動きベ
クトルの代表値(以後代表動きベクトルと呼ぶ)を算出
する代表動きベクトル決定手段と、前記パンニング検出
手段からのパンニング検出情報に基づいて、前記画像動
きベクトル若しくは代表動きベクトルのいずれか一方の
符号化を行う符号化手段とを備える。即ち、この発明は
動き補償予測符号化装置の前処理として、あらかじめ画
像動きベクトルを求める手段と、求めた画像動きベクト
ルよりそのフレームのパンニング検出を行う手段と、求
めた動きベクトルから代表動きベクトルを求める手段と
を有するものである。
号と、入力画像信号を1フレ−ム期間遅延させた参照画
像信号とを複数の小領域に分割し、入力画像信号の各領
域ごとに参照画像信号との相関を示す画像動きベクトル
を演算する動きベクトル検出手段と、前記動きベクトル
検出手段により検出された画像動きベクトルから、前記
入力画像信号の画像がパンニングしているかどうかの判
定を行うパンニング検出手段と、前記動きベクトル検出
手段により検出された画像動きベクトルから、入力画像
信号の1フレーム以下のある領域についての画像動きベ
クトルの代表値(以後代表動きベクトルと呼ぶ)を算出
する代表動きベクトル決定手段と、前記パンニング検出
手段からのパンニング検出情報に基づいて、前記画像動
きベクトル若しくは代表動きベクトルのいずれか一方の
符号化を行う符号化手段とを備える。即ち、この発明は
動き補償予測符号化装置の前処理として、あらかじめ画
像動きベクトルを求める手段と、求めた画像動きベクト
ルよりそのフレームのパンニング検出を行う手段と、求
めた動きベクトルから代表動きベクトルを求める手段と
を有するものである。
【0011】
【作用】上記の手段により符号化装置の前処理として、
あらかじめ画素単位、画素ブロック単位等の方法で動き
ベクトルを求め、求めた動きベクトルより、フレーム全
域または1フレームを分割した、より小さい領域でパン
ニング検出を行い、パンニングしていると認められた場
合には、求めた代表動きベクトルを求める。パンニング
していると検出された場合には、動き補償は代表動きベ
クトルで行い、このベクトルを伝送する。この時、画素
ブロックごとに求めた動きベクトルは動き補償に用い
ず、また伝送しない。これにより、パンニング時の画質
劣化がなく安定した画像となる。
あらかじめ画素単位、画素ブロック単位等の方法で動き
ベクトルを求め、求めた動きベクトルより、フレーム全
域または1フレームを分割した、より小さい領域でパン
ニング検出を行い、パンニングしていると認められた場
合には、求めた代表動きベクトルを求める。パンニング
していると検出された場合には、動き補償は代表動きベ
クトルで行い、このベクトルを伝送する。この時、画素
ブロックごとに求めた動きベクトルは動き補償に用い
ず、また伝送しない。これにより、パンニング時の画質
劣化がなく安定した画像となる。
【0012】
【実施例】以下、この発明の実施例を図面を参照して説
明する。図1はこの発明の第1の実施例の符号化装置で
ある。テレビ会議符号化の標準方式である、CCITT
H261勧告案モデルなどで用いられている、DCT
動き補償、フレ−ム間予測をもとにしたハイブリッド符
号化装置である。
明する。図1はこの発明の第1の実施例の符号化装置で
ある。テレビ会議符号化の標準方式である、CCITT
H261勧告案モデルなどで用いられている、DCT
動き補償、フレ−ム間予測をもとにしたハイブリッド符
号化装置である。
【0013】入力端子101には、デジタル画像デ−タ
が入力される。この画像デ−タは入力バッファ102に
より、バッファリングおよびデ−タのフォ−マット変換
(画素ブロック変換等)された後に、フレームメモリ1
03と動きベクトル検出器104に出力される。画像デ
−タはフレームメモリ103で所定の1フレーム期間遅
延された後に、減算器109と動きベクトル検出器10
4へと出力される。
が入力される。この画像デ−タは入力バッファ102に
より、バッファリングおよびデ−タのフォ−マット変換
(画素ブロック変換等)された後に、フレームメモリ1
03と動きベクトル検出器104に出力される。画像デ
−タはフレームメモリ103で所定の1フレーム期間遅
延された後に、減算器109と動きベクトル検出器10
4へと出力される。
【0014】動きベクトル検出器104では入力画像デ
−タと1フレーム遅延された画像デ−タより画像動きベ
クトルを検出する。画像ブロック単位で検出された画像
動きベクトルはパンニング検出器105と代表動きベク
トル決定器106へ出力される。パンニング検出器10
5では入力された画像動きベクトルの1フレーム分の分
散を算出し、設定したしきい値よりも分散が小さい時に
はそのフレームはパンニングしているものとみなし、検
出結果をベクトル切換及び動き補償器107及び伝送動
きベクトル切換器119と可変長符号化器112に出力
する。また、代表動きベクトル決定器106では、入力
された1フレーム分の画像動きベクトルよりベクトル平
均値をとって、そのフレームの代表動きベクトルとして
ベクトル切換及び動き補償器107及び伝送動きベクト
ル切換器119へと出力する。ここで代表動きベクトル
が0と算出され、またパンニング検出器105で画像が
パンニングしていると検出されたときには、その画像は
静止画とみなし、動き補償は行わない。
−タと1フレーム遅延された画像デ−タより画像動きベ
クトルを検出する。画像ブロック単位で検出された画像
動きベクトルはパンニング検出器105と代表動きベク
トル決定器106へ出力される。パンニング検出器10
5では入力された画像動きベクトルの1フレーム分の分
散を算出し、設定したしきい値よりも分散が小さい時に
はそのフレームはパンニングしているものとみなし、検
出結果をベクトル切換及び動き補償器107及び伝送動
きベクトル切換器119と可変長符号化器112に出力
する。また、代表動きベクトル決定器106では、入力
された1フレーム分の画像動きベクトルよりベクトル平
均値をとって、そのフレームの代表動きベクトルとして
ベクトル切換及び動き補償器107及び伝送動きベクト
ル切換器119へと出力する。ここで代表動きベクトル
が0と算出され、またパンニング検出器105で画像が
パンニングしていると検出されたときには、その画像は
静止画とみなし、動き補償は行わない。
【0015】この実施例では代表動きベクトルを求める
領域を1フレーム全体と規定したが、この領域は1フレ
ーム全体に限らず、1画面を分割した、より小さい領域
ごとに代表動きベクトルを定めても良い。この状態を図
7に示す。図7(A)は1フレーム全体で代表動きベク
トルXを定める場合、図7(B)は1フレームを2分割
してそれぞれA、Bの領域で代表動きベクトルxA、x
Bを定めた場合を示す。例えば入力画像が上半分だけが
横方向にほぼ一様に動いている場合等、図7(B)のほ
うがより細かく代表動きベクトルを設定できる。
領域を1フレーム全体と規定したが、この領域は1フレ
ーム全体に限らず、1画面を分割した、より小さい領域
ごとに代表動きベクトルを定めても良い。この状態を図
7に示す。図7(A)は1フレーム全体で代表動きベク
トルXを定める場合、図7(B)は1フレームを2分割
してそれぞれA、Bの領域で代表動きベクトルxA、x
Bを定めた場合を示す。例えば入力画像が上半分だけが
横方向にほぼ一様に動いている場合等、図7(B)のほ
うがより細かく代表動きベクトルを設定できる。
【0016】減算器109では、フレ−ムメモリ103
からの画素ブロックデ−タと共に、ベクトル切換及び動
き補償器107から動き補償された前フレームの画素ブ
ロックデ−タも与えられており、予測誤差信号を求めて
DCT器110へ出力する。DCT器110では入力さ
れたブロックデ−タをDCT(離散コサイン変換)し、
量子化器111へ、出力する。量子化器111ではDC
T器110の出力を量子化し、ビットレ−トを低減し可
変長符号化器112及び逆量子化器115に与える。可
変長符号化器112では、画像デ−タ、動きベクトル、
パンニング検出情報の符号化を行う。この時、パンニン
グしていると検出されている場合には、画像動きベクト
ルはフレーム先頭のみで符号化し、各ブロックごとの画
像動きベクトルは伝送しないものとする。符号化デ−タ
は出力バッファ113に出力する。
からの画素ブロックデ−タと共に、ベクトル切換及び動
き補償器107から動き補償された前フレームの画素ブ
ロックデ−タも与えられており、予測誤差信号を求めて
DCT器110へ出力する。DCT器110では入力さ
れたブロックデ−タをDCT(離散コサイン変換)し、
量子化器111へ、出力する。量子化器111ではDC
T器110の出力を量子化し、ビットレ−トを低減し可
変長符号化器112及び逆量子化器115に与える。可
変長符号化器112では、画像デ−タ、動きベクトル、
パンニング検出情報の符号化を行う。この時、パンニン
グしていると検出されている場合には、画像動きベクト
ルはフレーム先頭のみで符号化し、各ブロックごとの画
像動きベクトルは伝送しないものとする。符号化デ−タ
は出力バッファ113に出力する。
【0017】逆量子化器115では量子化器111で量
子化されたデ−タを逆量子化し逆DCT器116へ出力
される。逆DCT器116で逆DCTしたデータは、加
算器117へと出力される。加算器7では、逆DCTさ
れた予測誤差デ−タと、ベクトル切換及び動き補償器1
07からの動き補償された1フレーム前のデ−タとを加
算し、現フレームの予測される画素ブロックデ−タを再
生し、フレ−ムメモリ118へ出力する。フレームメモ
リ118では入力された画素ブロックデ−タを1フレー
ム期間遅延させて前フレームデ−タとし、ベクトル切換
及び動き補償器107と動きベクトル検出器108へと
出力する。
子化されたデ−タを逆量子化し逆DCT器116へ出力
される。逆DCT器116で逆DCTしたデータは、加
算器117へと出力される。加算器7では、逆DCTさ
れた予測誤差デ−タと、ベクトル切換及び動き補償器1
07からの動き補償された1フレーム前のデ−タとを加
算し、現フレームの予測される画素ブロックデ−タを再
生し、フレ−ムメモリ118へ出力する。フレームメモ
リ118では入力された画素ブロックデ−タを1フレー
ム期間遅延させて前フレームデ−タとし、ベクトル切換
及び動き補償器107と動きベクトル検出器108へと
出力する。
【0018】動きベクトル検出器108にはフレームメ
モリ118から前フレームデ−タが、フレームメモリ1
03から現フレームデ−タが与えられる。動きベクトル
検出器108では入力されたブロックデ−タについて順
次、前フレームと現フレームの間の画像動きベクトルを
求め、ベクトル切換及び動き補償器107と伝送動きベ
クトル切換器119へ出力する。ベクトル切換及び動き
補償器107では、パンニング検出器105からの出力
に従って、そのフレームがパンニングしていると検出さ
れた場合には、代表動きベクトル決定器106の画像動
きベクトルで動き補償し、パンニングしていないと検出
された場合には動きベクトル検出器108の画像動きベ
クトルで、それぞれ動き補償する。動き補償された画素
ブロックデ−タは前フレームの予測信号として加算器1
17、減算器109へ出力される。
モリ118から前フレームデ−タが、フレームメモリ1
03から現フレームデ−タが与えられる。動きベクトル
検出器108では入力されたブロックデ−タについて順
次、前フレームと現フレームの間の画像動きベクトルを
求め、ベクトル切換及び動き補償器107と伝送動きベ
クトル切換器119へ出力する。ベクトル切換及び動き
補償器107では、パンニング検出器105からの出力
に従って、そのフレームがパンニングしていると検出さ
れた場合には、代表動きベクトル決定器106の画像動
きベクトルで動き補償し、パンニングしていないと検出
された場合には動きベクトル検出器108の画像動きベ
クトルで、それぞれ動き補償する。動き補償された画素
ブロックデ−タは前フレームの予測信号として加算器1
17、減算器109へ出力される。
【0019】伝送動きベクトル切換器119では、動き
ベクトル検出器108からの画像動きベクトルと、代表
動きベクトル決定器106からの画像動きベクトルをパ
ンニング検出器105からのフラグによって動き補償に
用いたベクトルを選択し可変長符号化器112に出力
し、画像デ−タ、パンニング検出情報と共に符号化す
る。
ベクトル検出器108からの画像動きベクトルと、代表
動きベクトル決定器106からの画像動きベクトルをパ
ンニング検出器105からのフラグによって動き補償に
用いたベクトルを選択し可変長符号化器112に出力
し、画像デ−タ、パンニング検出情報と共に符号化す
る。
【0020】図2は上記符号化装置に対応した復号化装
置の第1の実施例である。入力端子201に画像伝送信
号が入力され、入力バッファ201でバッファリングさ
れた後に可変長復号化器203に出力される。
置の第1の実施例である。入力端子201に画像伝送信
号が入力され、入力バッファ201でバッファリングさ
れた後に可変長復号化器203に出力される。
【0021】可変長復号化器204では画像デ−タとベ
クトルデ−タが複号され、それぞれ逆量子化器204と
動きベクトル分離・生成器211へと出力される。逆量
子化器204で画像デ−タが逆量子化され、逆DCT器
205へと出力される。画像デ−タは逆DCT器205
で逆DCTされ、加算器206へ出力される。加算器2
06では逆DCT器からの予測誤差信号と動き補償され
た前フレームの信号とが加算され現信号として、フレー
ムメモリ207と出力バッファ208へ出力される。出
力バッファ208でバッファリングされたデータは、出
力端子209では一定レ−トの映像信号として得られ
る。
クトルデ−タが複号され、それぞれ逆量子化器204と
動きベクトル分離・生成器211へと出力される。逆量
子化器204で画像デ−タが逆量子化され、逆DCT器
205へと出力される。画像デ−タは逆DCT器205
で逆DCTされ、加算器206へ出力される。加算器2
06では逆DCT器からの予測誤差信号と動き補償され
た前フレームの信号とが加算され現信号として、フレー
ムメモリ207と出力バッファ208へ出力される。出
力バッファ208でバッファリングされたデータは、出
力端子209では一定レ−トの映像信号として得られ
る。
【0022】加算器206の出力が供給されるフレーム
メモリ207では現フレームの信号が1フレーム時間遅
延され、動き補償器210へ出力される。動きベクトル
分離・生成器211では、可変長復号化器203の出力
から、画像動きベクトルデ−タを取り出し、動き補償器
210へ出力する。この時、このフレームがパンニング
用の代表動きベクトルで動き補償されている時には1フ
レームに一つのベクトルしか伝送されてこないため、こ
の1つのベクトルを各ブロックごとのベクトルに拡散
し、動き補償器210に出力する。
メモリ207では現フレームの信号が1フレーム時間遅
延され、動き補償器210へ出力される。動きベクトル
分離・生成器211では、可変長復号化器203の出力
から、画像動きベクトルデ−タを取り出し、動き補償器
210へ出力する。この時、このフレームがパンニング
用の代表動きベクトルで動き補償されている時には1フ
レームに一つのベクトルしか伝送されてこないため、こ
の1つのベクトルを各ブロックごとのベクトルに拡散
し、動き補償器210に出力する。
【0023】動き補償器210では動きベクトル分離・
生成器211から出力されたベクトルに従って、前フレ
ームデ−タの動き補償を行う。次に、パンニングの際に
もベクトルをフレームに1つだけ伝送するのではなく、
各画素ブロックごとにベクトルを伝送する第2の実施例
を挙げる。
生成器211から出力されたベクトルに従って、前フレ
ームデ−タの動き補償を行う。次に、パンニングの際に
もベクトルをフレームに1つだけ伝送するのではなく、
各画素ブロックごとにベクトルを伝送する第2の実施例
を挙げる。
【0024】図3は第2の実施例の符号化装置である。
第1の実施例と重複する部分は、図1と同一符号を付し
て説明は省略する。代表動きベクトル決定器106から
のパンニング用ベクトルと、通常の画素ブロックごとに
動きベクトル検出器308で求めた動きベクトルが、動
きベクトル切換器319に入力される。これらのベクト
ルにはパンニング検出器105からのパンニング検出フ
ラグによって一方が選択され、動き補償器307と可変
長復号化器312へと出力される。
第1の実施例と重複する部分は、図1と同一符号を付し
て説明は省略する。代表動きベクトル決定器106から
のパンニング用ベクトルと、通常の画素ブロックごとに
動きベクトル検出器308で求めた動きベクトルが、動
きベクトル切換器319に入力される。これらのベクト
ルにはパンニング検出器105からのパンニング検出フ
ラグによって一方が選択され、動き補償器307と可変
長復号化器312へと出力される。
【0025】動き補償器309では選択された画像動き
ベクトルに従ってフレームメモリ118からの前フレー
ムデ−タを動き補償し予測信号として出力する。可変長
復号化器312では動きベクトル切換器319より受け
取った画像動きベクトルを画像デ−タと共に符号化す
る。
ベクトルに従ってフレームメモリ118からの前フレー
ムデ−タを動き補償し予測信号として出力する。可変長
復号化器312では動きベクトル切換器319より受け
取った画像動きベクトルを画像デ−タと共に符号化す
る。
【0026】この第2の実施例では、パンニングが検出
された時、パンニング用のベクトルを動き補償に用いて
いるが、パンニング用のベクトルを各画素ブロックの動
きベクトルと同様に符号化する。そのため、復号化装置
の側では特別に機能を付加する事なくパンニングに対応
した復号化装置を実現する。
された時、パンニング用のベクトルを動き補償に用いて
いるが、パンニング用のベクトルを各画素ブロックの動
きベクトルと同様に符号化する。そのため、復号化装置
の側では特別に機能を付加する事なくパンニングに対応
した復号化装置を実現する。
【0027】図4はパンニング検出精度を向上させるた
めの方法としてエッジ検出を取り入れた実施例3であ
る。入力バッファ102で画素ブロックごとの信号に変
換された画像デ−タはフレームメモリ103、エッジ検
出器401及びエッジ有り画素ブロック抽出器402へ
出力される。エッジ検出器401では入力された画像デ
−タ画素ブロック中に輝度差の大きい領域が存在するか
を検出し、存在した場合はエッジ有りの画素ブロックで
あるという情報をエッジ有り画素ブロック抽出器402
へと出力する。エッジ有り画素ブロック抽出器402で
はエッジ有りブロックのみを抽出し、エッジ部動きベク
トル検出器403へと出力する。
めの方法としてエッジ検出を取り入れた実施例3であ
る。入力バッファ102で画素ブロックごとの信号に変
換された画像デ−タはフレームメモリ103、エッジ検
出器401及びエッジ有り画素ブロック抽出器402へ
出力される。エッジ検出器401では入力された画像デ
−タ画素ブロック中に輝度差の大きい領域が存在するか
を検出し、存在した場合はエッジ有りの画素ブロックで
あるという情報をエッジ有り画素ブロック抽出器402
へと出力する。エッジ有り画素ブロック抽出器402で
はエッジ有りブロックのみを抽出し、エッジ部動きベク
トル検出器403へと出力する。
【0028】エッジ部動きベクトル検出器403ではエ
ッジが存在すると検出された画素ブロックのみの画像動
きベクトルが検出され、パンニング検出器105、代表
動きベクトル決定器106へ出力する。
ッジが存在すると検出された画素ブロックのみの画像動
きベクトルが検出され、パンニング検出器105、代表
動きベクトル決定器106へ出力する。
【0029】この実施例3では、前処理で求める画像動
きベクトルをエッジが存在する画素ブロックだけで求め
ているため、全てのブロックでの動きベクトルから判定
する場合と比較して、パンニング検出の精度が向上す
る。
きベクトルをエッジが存在する画素ブロックだけで求め
ているため、全てのブロックでの動きベクトルから判定
する場合と比較して、パンニング検出の精度が向上す
る。
【0030】図5はパンニング検出及び代表動きベクト
ル決定の方法の一実施例の説明図である。ここで本発明
の符号化装置の前処理部では16ドット×16ラインの
画素ブロック単位で動きベクトルを求めており、斜線で
囲まれた領域がその画素ブロックであるとする。また、
この16ドット×16ラインのブロックを図5のように
40個集めた128ドット×80ラインの領域で代表動
きベクトルを求めるとする。16ドット×16ラインの
画素ブロックでV0からV39までの40個の画像動き
ベクトルが求められた時、パンニング検出はこれらのベ
クトルの分散を用いて判断する。
ル決定の方法の一実施例の説明図である。ここで本発明
の符号化装置の前処理部では16ドット×16ラインの
画素ブロック単位で動きベクトルを求めており、斜線で
囲まれた領域がその画素ブロックであるとする。また、
この16ドット×16ラインのブロックを図5のように
40個集めた128ドット×80ラインの領域で代表動
きベクトルを求めるとする。16ドット×16ラインの
画素ブロックでV0からV39までの40個の画像動き
ベクトルが求められた時、パンニング検出はこれらのベ
クトルの分散を用いて判断する。
【0031】
【数1】
【0032】である。この分散σ2 があらかじめ定めた
しきい値σth2 よりも小さい場合、この領域はパンニン
グしているものとみなし、σth2 以上であるときにはこ
の領域はパンニングしていないものとみなす。
しきい値σth2 よりも小さい場合、この領域はパンニン
グしているものとみなし、σth2 以上であるときにはこ
の領域はパンニングしていないものとみなす。
【0033】この領域の代表動きベクトルは平均値Va
とする。また、静止画であることを検出するときには、
分散と平均双方で検出する。分散σ2 がσth2 より小さ
く、かつ平均値Vaの絶対値が0と算出された時には、
静止画であるとみなす。
とする。また、静止画であることを検出するときには、
分散と平均双方で検出する。分散σ2 がσth2 より小さ
く、かつ平均値Vaの絶対値が0と算出された時には、
静止画であるとみなす。
【0034】図6に上記実施例のパンニング検出器、代
表動きベクトル決定器の構成を説明する。点線で囲まれ
た601が代表動きベクトル決定器、602がパンニン
グ検出器である。
表動きベクトル決定器の構成を説明する。点線で囲まれ
た601が代表動きベクトル決定器、602がパンニン
グ検出器である。
【0035】端子603に検出された画像動きベクトル
が入力され、メモリ604、606に出力される。動き
ベクトル平均値算出器605はメモリ604のアドレス
制御を行い、平均値求めるべき画面領域に相当する画像
動きベクトルを読み出すように制御する。メモリ604
から出力された画像動きベクトルは、動きベクトル平均
値算出器605で領域内でのベクトルの平均値が算出さ
れ、画像動きベクトルの平均値が代表動きベクトルとし
て出力される。
が入力され、メモリ604、606に出力される。動き
ベクトル平均値算出器605はメモリ604のアドレス
制御を行い、平均値求めるべき画面領域に相当する画像
動きベクトルを読み出すように制御する。メモリ604
から出力された画像動きベクトルは、動きベクトル平均
値算出器605で領域内でのベクトルの平均値が算出さ
れ、画像動きベクトルの平均値が代表動きベクトルとし
て出力される。
【0036】動きベクトル分散算出器608はメモリ6
06のアドレス制御を行い、分散値を求めるべき画面領
域に相当する動きベクトルを読み出すように制御する。
メモリ606から出力された動きベクトルは減算器60
7に出力され動きベクトル平均値との減算を行い動きベ
クトル分散算出器608へと出力する。動きベクトル分
散算出器608では領域内の動きベクトルの分散を算出
し、分散値比較器609へ出力する。分散値比較器60
9は動きベクトル分散値と分散のしきい値を比較して、
パンニング検出のフラグを出力する。
06のアドレス制御を行い、分散値を求めるべき画面領
域に相当する動きベクトルを読み出すように制御する。
メモリ606から出力された動きベクトルは減算器60
7に出力され動きベクトル平均値との減算を行い動きベ
クトル分散算出器608へと出力する。動きベクトル分
散算出器608では領域内の動きベクトルの分散を算出
し、分散値比較器609へ出力する。分散値比較器60
9は動きベクトル分散値と分散のしきい値を比較して、
パンニング検出のフラグを出力する。
【0037】上記したようにこのシステムによると二次
元のベクトルを用いたままで、演算量の増大なしでパン
ニングに対処した画像動きベクトル検出を行うことがで
きる。第1の実施例でパンニングしている場合には、通
常の通りに伝送する場合と比較して、動きベクトルの発
生量を抑えられるため、画質が向上する。
元のベクトルを用いたままで、演算量の増大なしでパン
ニングに対処した画像動きベクトル検出を行うことがで
きる。第1の実施例でパンニングしている場合には、通
常の通りに伝送する場合と比較して、動きベクトルの発
生量を抑えられるため、画質が向上する。
【0038】また、輝度差が小さい平坦な領域では、正
確なベクトルを検出するのが困難だが、この発明ではパ
ンニングしていると検出された時には一様に動き補償さ
れるため、誤った動きベクトルに起因する画質劣化が生
じない。故に、パンニング画像が入力された場合に、動
き補償フレーム間予測の性能が改善され、より高品位の
デジタル映像伝送が可能となる。
確なベクトルを検出するのが困難だが、この発明ではパ
ンニングしていると検出された時には一様に動き補償さ
れるため、誤った動きベクトルに起因する画質劣化が生
じない。故に、パンニング画像が入力された場合に、動
き補償フレーム間予測の性能が改善され、より高品位の
デジタル映像伝送が可能となる。
【0039】
【発明の効果】以上説明したようにこの発明によれば、
水平、垂直の2次元ベクトルのみで、パンニングを検出
して、さほど演算量を増加させることなく、高精度の動
きベクトル検出、動き補償ができる。
水平、垂直の2次元ベクトルのみで、パンニングを検出
して、さほど演算量を増加させることなく、高精度の動
きベクトル検出、動き補償ができる。
【図1】この発明の符号化装置の第1の実施例を示す
図。
図。
【図2】図1の符号化装置に対応した復号化装置の第1
の実施例を示す図。
の実施例を示す図。
【図3】この発明の符号化装置の第2の実施例を示す
図。
図。
【図4】この発明の符号化装置の第3の実施例を示す
図。
図。
【図5】この発明に係わるパンニング検出、代表動きベ
クトル決定、静止画判定の説明図。
クトル決定、静止画判定の説明図。
【図6】この発明に係わるパンニング検出器、代表動き
ベクトル決定器の構成図。
ベクトル決定器の構成図。
【図7】図1のパンニング検出器の動作例を説明するた
めの説明図。
めの説明図。
102…入力バッファ、103…フレームメモリ、10
4…動きベクトル検出器、105…パンニング検出器、
106…代表動きベクトル決定器、107…ベクトル切
換及び動き補償器、108…動きベクトル検出器、11
0…DCT器、111…量子化器、112…可変長符号
化器、113…出力バッファ、115…逆量子化器、1
16…逆DCT器、117…加算器、118…フレーム
メモリ、119…伝送動きベクトル切換器、203…入
力バッファ、203…可変長復号化器、204…逆量子
化器、205…逆DCT器、206…加算器、207…
フレームメモリ、208…出力バッファ、210…動き
補償器、211…動きベクトル分離・生成器、308…
動きベクトル、309…動き補償器、319…伝送動き
ベクトル切換器。
4…動きベクトル検出器、105…パンニング検出器、
106…代表動きベクトル決定器、107…ベクトル切
換及び動き補償器、108…動きベクトル検出器、11
0…DCT器、111…量子化器、112…可変長符号
化器、113…出力バッファ、115…逆量子化器、1
16…逆DCT器、117…加算器、118…フレーム
メモリ、119…伝送動きベクトル切換器、203…入
力バッファ、203…可変長復号化器、204…逆量子
化器、205…逆DCT器、206…加算器、207…
フレームメモリ、208…出力バッファ、210…動き
補償器、211…動きベクトル分離・生成器、308…
動きベクトル、309…動き補償器、319…伝送動き
ベクトル切換器。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 石川 達也 神奈川県横浜市磯子区新杉田町8番地 株 式会社東芝映像メディア技術研究所内
Claims (6)
- 【請求項1】 入力画像信号と、入力画像信号を1フレ
−ム期間遅延させた参照画像信号とを複数の小領域に分
割し、入力画像信号の各領域ごとに参照画像信号との相
関を示す画像動きベクトルを演算する動きベクトル検出
手段と、 前記動きベクトル検出手段により検出された画像動きベ
クトルから、前記入力画像信号の画像がパンニングして
いるかどうかの判定を行うパンニング検出手段と、 前記動きベクトル検出手段により検出された画像動きベ
クトルから、入力画像信号の1フレーム以下のある領域
についての画像動きベクトルの代表値(以後代表動きベ
クトルと呼ぶ)を算出する代表動きベクトル決定手段
と、 前記パンニング検出手段からのパンニング検出情報に基
づいて、前記画像動きベクトル若しくは代表動きベクト
ルのいずれか一方の符号化を行う符号化手段とを具備し
たことを特徴とする動き補償予測符号化装置。 - 【請求項2】前記符号化手段は、パンニング検出手段の
出力結果より、入力画像がパンニングしていることが検
出された時には、前記代表動きベクトル決定手段により
算出された代表動きベクトルを、 入力画像がパンニングしていないと検出された場合に
は、8ドット×8ライン若しくは16ドット×16ライ
ンの画像ブロックデ−タごとに求められた画像動きベク
トルを可変長符号化することを特徴とする請求項1記載
の動き補償予測符号化装置。 - 【請求項3】 前記符号化手段は、前記パンニング検出
情報により入力画像がパンニングしていると検出された
とき、代表動きベクトルを求めた一領域について、一個
の画像動きベクトルだけを可変長符号化する手段を有す
ることを特徴とする請求項1記載の動き補償予測符号化
装置。 - 【請求項4】 前記符号化手段は、入力画像がパンニン
グしていると検出されたとき、前記代表動きベクトルを
求めた一領域について、この領域中に存在する動き補償
された画像ブロックデ−タの動きベクトルとして、画素
ブロックデ−タごとに代表動きベクトルを可変長符号化
する手段を有することを特徴とする請求項1記載の動き
補償予測符号化装置。 - 【請求項5】 前記符号化手段は、1フレーム前の前記
参照画像信号を動きベクトルにしたがって動き補償され
た予測信号を作成する予測信号を予測信号作成手段と、 前記入力画像信号として静止画が入力され、前記動きベ
クトル検出手段で求めた画像動きベクトルが、静止画で
あることを示した場合、前記予測信号作成手段の動き補
償動作を停止させる手段とを具備したことを特徴とする
請求項1記載の動き補償予測符号化装置。 - 【請求項6】 入力画像信号と、入力画像信号を1フレ
−ム期間遅延させた参照画像信号とを複数の小領域に分
割し、入力画像信号の各領域ごとに参照画像信号との相
関を示す画像動きベクトルを演算し、前記画像動きベク
トルから、前記入力画像信号の画像がパンニングしてい
るかどうかの判定を行いパンニング検出情報を得、画像
動きベクトルから、入力画像信号の1フレーム以下のあ
る領域についての画像動きベクトルの代表値(以後代表
動きベクトルと呼ぶ)を算出し、パンニング検出情報に
基づいて、前記画像動きベクトル若しくは代表動きベク
トルのいずれか一方の符号化を行い伝送する動き補償予
測符号化装置からの伝送信号を受信する受信装置におい
て、 前記伝送信号を可変長復号化する復号化手段と、 可変長復号化された信号より動きベクトル成分を分離
し、それがパンニング用の代表動きベクトルであるとき
は、その代表動きベクトルに対応する領域の動き補償画
素ブロックの動き補償を行う画像動き補償器に、前記代
表動きベクトルを与え画像動き補償を行う手段とを具備
したことを特徴とする動き補償予測復号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18973993A JPH0746597A (ja) | 1993-07-30 | 1993-07-30 | 動き補償予測符号化装置及び復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18973993A JPH0746597A (ja) | 1993-07-30 | 1993-07-30 | 動き補償予測符号化装置及び復号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0746597A true JPH0746597A (ja) | 1995-02-14 |
Family
ID=16246374
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18973993A Pending JPH0746597A (ja) | 1993-07-30 | 1993-07-30 | 動き補償予測符号化装置及び復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0746597A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005287047A (ja) * | 2004-03-30 | 2005-10-13 | Matsushita Electric Ind Co Ltd | 行ベクトルおよび列ベクトルを用いた動きベクトル検出 |
JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
-
1993
- 1993-07-30 JP JP18973993A patent/JPH0746597A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005287047A (ja) * | 2004-03-30 | 2005-10-13 | Matsushita Electric Ind Co Ltd | 行ベクトルおよび列ベクトルを用いた動きベクトル検出 |
JP4711712B2 (ja) * | 2004-03-30 | 2011-06-29 | パナソニック株式会社 | 行ベクトルおよび列ベクトルを用いた動きベクトル検出 |
JP2008192060A (ja) * | 2007-02-07 | 2008-08-21 | Denso Corp | 画像処理装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100803611B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
KR0168458B1 (ko) | 움직임 보상을 갖는 프레임간 혼성 부호기에서의 왜곡을 감소시키는 장치 및 방법 그리고 그에 대한 부호화 시스템 | |
US8155193B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
CA2452632C (en) | Method for sub-pixel value interpolation | |
US5657087A (en) | Motion compensation encoding method and apparatus adaptive to motion amount | |
EP0877530B1 (en) | Digital image encoding and decoding method | |
JP3347954B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
WO2011019246A2 (en) | Method and apparatus for encoding/decoding image by controlling accuracy of motion vector | |
KR19990015907A (ko) | 움직임 벡터 부호화 방법 및 그 장치 | |
JP2012034225A (ja) | 動きベクトル検出装置及び動きベクトル検出方法、コンピュータプログラム | |
KR20040089163A (ko) | 비디오 부호기에서 적응 움직임 벡터의 탐색 영역을결정하는 방법 및 장치 | |
JPH0955941A (ja) | 画像符号化方法、画像符号化装置、及び画像符号化データの記録装置 | |
EP3906689A1 (en) | Side motion refinement in video encoding/decoding systems | |
JP6435029B2 (ja) | 映像符号化装置及び映像符号化プログラム | |
KR100327952B1 (ko) | 영역분할기반동영상압축부호화방법및장치 | |
WO1995033341A1 (en) | Moving image encoding and decoding device | |
KR101220097B1 (ko) | 분산비디오 코덱 장치 및 이를 이용한 전경 영역 분할 보조정보 생성 방법 | |
JPH0746597A (ja) | 動き補償予測符号化装置及び復号化装置 | |
KR20160128972A (ko) | 프로파일 정보 기반 움직임 추정장치 및 방법 | |
JPH0691653B2 (ja) | 適応形符号化方式 | |
JP2906865B2 (ja) | 動き補償符号化装置 | |
KR100635009B1 (ko) | 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치 | |
JPH06225288A (ja) | 動き補償予測符号化および復号化装置 | |
JPH0795590A (ja) | 映像信号処理装置、映像信号処理方法及び撮像装置 | |
KR100213283B1 (ko) | 동영상 부호화기 |