JPH1175197A - 画像信号圧縮装置及び方法、並びに記録媒体 - Google Patents
画像信号圧縮装置及び方法、並びに記録媒体Info
- Publication number
- JPH1175197A JPH1175197A JP23276897A JP23276897A JPH1175197A JP H1175197 A JPH1175197 A JP H1175197A JP 23276897 A JP23276897 A JP 23276897A JP 23276897 A JP23276897 A JP 23276897A JP H1175197 A JPH1175197 A JP H1175197A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- motion vector
- processing
- moving image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 従来の画像信号圧縮装置及び方法では、実時
間処理で例えば2種類のビットストリームを生成するこ
とができず、かつ多段階符号化による重畳劣化を起こし
ていた。さらに実時間処理で2パスエンコードを実現で
きなかった。 【解決手段】 圧縮装置3は、前処理装置2からの画像
データに、動き補償処理と、離散余弦変換等の直交変換
による冗長度低減処理とを組み合わせたMPEGのよう
な圧縮処理を施す。圧縮装置3は、前処理装置2から供
給される画像データから動きベクトルを検出する動きベ
クトル検出装置4と、上記画像データに符号化処理を施
す符号化装置5に大きく分かれる。動きベクトル検出装
置4は、動画像系列の各フレーム当たりの処理基準時間
で各フレームの動きベクトルを検出する。符号化装置5
は、動画像系列の各フレーム当たりの処理基準時間の1
/2の時間で各フレームの符号化データを求める。
間処理で例えば2種類のビットストリームを生成するこ
とができず、かつ多段階符号化による重畳劣化を起こし
ていた。さらに実時間処理で2パスエンコードを実現で
きなかった。 【解決手段】 圧縮装置3は、前処理装置2からの画像
データに、動き補償処理と、離散余弦変換等の直交変換
による冗長度低減処理とを組み合わせたMPEGのよう
な圧縮処理を施す。圧縮装置3は、前処理装置2から供
給される画像データから動きベクトルを検出する動きベ
クトル検出装置4と、上記画像データに符号化処理を施
す符号化装置5に大きく分かれる。動きベクトル検出装
置4は、動画像系列の各フレーム当たりの処理基準時間
で各フレームの動きベクトルを検出する。符号化装置5
は、動画像系列の各フレーム当たりの処理基準時間の1
/2の時間で各フレームの符号化データを求める。
Description
【0001】
【発明の属する技術分野】本発明は、動画像系列に対し
て圧縮符号化処理を施すことによりビットストリームを
生成する画像信号圧縮装置及び方法、並びにこのような
画像信号圧縮処理の手順を記録した記録媒体に関する。
て圧縮符号化処理を施すことによりビットストリームを
生成する画像信号圧縮装置及び方法、並びにこのような
画像信号圧縮処理の手順を記録した記録媒体に関する。
【0002】
【従来の技術】近年、動画像系列の圧縮符号化に、動き
補償処理(MC;motion compensation)と、離散余弦
変換(DCT;discrete cosine transfer)等の直交変
換による冗長度低減処理とを組み合わせたMPEG(mo
ving picture experts group)1や、MPEG2が広く
用いられるようになった。
補償処理(MC;motion compensation)と、離散余弦
変換(DCT;discrete cosine transfer)等の直交変
換による冗長度低減処理とを組み合わせたMPEG(mo
ving picture experts group)1や、MPEG2が広く
用いられるようになった。
【0003】非圧縮の映像データを上記MPEG等の手
法により、フレーム内符号化画像(Iピクチャ)、フレ
ーム間順方向予測符号化画像(Pピクチャ)、双方向予
測符号化画像(Bピクチャ)のような符号化画像に圧縮
して光磁気ディスク(MOディスク;magneto-optical
disc)等の蓄積媒体に記録したり、あるいは通信回線
を使用して伝送したりする。この場合、圧縮符号化後の
圧縮映像データのビットレートを、伸長復号後の映像の
品質を高く保ちつつ蓄積媒体の記録容量以下、あるいは
通信回線の伝送容量以下にする必要がある。
法により、フレーム内符号化画像(Iピクチャ)、フレ
ーム間順方向予測符号化画像(Pピクチャ)、双方向予
測符号化画像(Bピクチャ)のような符号化画像に圧縮
して光磁気ディスク(MOディスク;magneto-optical
disc)等の蓄積媒体に記録したり、あるいは通信回線
を使用して伝送したりする。この場合、圧縮符号化後の
圧縮映像データのビットレートを、伸長復号後の映像の
品質を高く保ちつつ蓄積媒体の記録容量以下、あるいは
通信回線の伝送容量以下にする必要がある。
【0004】しかし、従来は、入力された動画像系列に
対して、あるビットレートで1系統の符号化したビット
ストリームを生成し、それを何らかの蓄積媒体に記録す
るか、そのまま回線上に送る、もしくは後から蓄積媒体
から読み込んで回線上に送ったりしていた。
対して、あるビットレートで1系統の符号化したビット
ストリームを生成し、それを何らかの蓄積媒体に記録す
るか、そのまま回線上に送る、もしくは後から蓄積媒体
から読み込んで回線上に送ったりしていた。
【0005】
【発明が解決しようとする課題】ところで、この方法で
は、そのビットレートに対して回線容量に十分な余裕が
ある場合ならともかく、そうでない場合には蓄積媒体に
はそのレートのままで記録できても、通信回線を使用し
て伝送するときには回線容量に合わせてビットレートを
下げる必要が生じる。そうした場合、そのビットストリ
ームデータを一度復号化して動画像データに戻したもの
を、もう一度所望のビットレートで符号化して新たなビ
ットストリームを得ることになる。
は、そのビットレートに対して回線容量に十分な余裕が
ある場合ならともかく、そうでない場合には蓄積媒体に
はそのレートのままで記録できても、通信回線を使用し
て伝送するときには回線容量に合わせてビットレートを
下げる必要が生じる。そうした場合、そのビットストリ
ームデータを一度復号化して動画像データに戻したもの
を、もう一度所望のビットレートで符号化して新たなビ
ットストリームを得ることになる。
【0006】つまり、この手法は符号化処理のリアルタ
イム性が重視されるシステムでは、その遅延時間や処理
量が弱点となる。すなわち、再度符号化する過程で2度
の処理時間を要する。しかも、このような多段階エンコ
ード処理の結果、その求められるビットレートによって
は、圧縮伸長による致命的なノイズが目につくことがあ
る。つまり、1回目の符号化でのノイズに加え、2回目
の符号化でのノイズが重畳されることを避けられなくな
る。
イム性が重視されるシステムでは、その遅延時間や処理
量が弱点となる。すなわち、再度符号化する過程で2度
の処理時間を要する。しかも、このような多段階エンコ
ード処理の結果、その求められるビットレートによって
は、圧縮伸長による致命的なノイズが目につくことがあ
る。つまり、1回目の符号化でのノイズに加え、2回目
の符号化でのノイズが重畳されることを避けられなくな
る。
【0007】また、1回だけのエンコード処理では、動
画像系列の並びの特徴に合わせて符号化レートの割り振
りができない。従来、入力された画像シーケンス全体に
ついて、符号化後の発生情報量を1度細かく見てから2
度目の符号化レートを割り出す手法があるが、これでは
特にリアルタイム符号化処理が重視される書き換え型蓄
積媒体への記録といった応用では使えない。
画像系列の並びの特徴に合わせて符号化レートの割り振
りができない。従来、入力された画像シーケンス全体に
ついて、符号化後の発生情報量を1度細かく見てから2
度目の符号化レートを割り出す手法があるが、これでは
特にリアルタイム符号化処理が重視される書き換え型蓄
積媒体への記録といった応用では使えない。
【0008】すなわち、1回の実時間符号化処理で、蓄
積媒体用と回線伝送用のビットストリームの生成や、入
力される動画像の系列に応じた符号化レートの割り振り
処理が求められてくる。
積媒体用と回線伝送用のビットストリームの生成や、入
力される動画像の系列に応じた符号化レートの割り振り
処理が求められてくる。
【0009】本発明は、上記実情に鑑みてなされたもの
であり、実時間処理で少なくとも2種類のビットストリ
ームを生成することができ、かつ多段階符号化による重
畳劣化を起こすことのなく、さらに実時間処理で2パス
エンコードを実現できる画像信号圧縮装置及び方法の提
供を目的とする。
であり、実時間処理で少なくとも2種類のビットストリ
ームを生成することができ、かつ多段階符号化による重
畳劣化を起こすことのなく、さらに実時間処理で2パス
エンコードを実現できる画像信号圧縮装置及び方法の提
供を目的とする。
【0010】また、本発明は、上記実情に鑑みてなされ
たものであり、実時間処理で少なくとも2種類のビット
ストリームを生成することができ、かつ多段階符号化に
よる重畳劣化を起こすことのなく、さらに実時間処理で
2パスエンコードを実現できる画像信号圧縮処理をソフ
トウェアプログラムとして記録している記録媒体の提供
を目的とする。
たものであり、実時間処理で少なくとも2種類のビット
ストリームを生成することができ、かつ多段階符号化に
よる重畳劣化を起こすことのなく、さらに実時間処理で
2パスエンコードを実現できる画像信号圧縮処理をソフ
トウェアプログラムとして記録している記録媒体の提供
を目的とする。
【0011】
【課題を解決するための手段】本発明に係る画像信号圧
縮装置は、上記課題を解決するために、1秒間にNフレ
ームの画像よりなる動画像系列の1フレーム分の実時間
処理を達成するのに与えられた時間(1/N秒)で、上
記動画像系列に対する動きベクトルを検出する動きベク
トル検出手段と、上記動きベクトル検出手段で検出した
動きベクトルを用いて上記1/N秒でM(Mは2以上の
整数)種類の動画像系列を符号化する符号化手段とを備
える。このため、1フレームに対しての基準処理時間内
に符号化処理を2回行うことができる。
縮装置は、上記課題を解決するために、1秒間にNフレ
ームの画像よりなる動画像系列の1フレーム分の実時間
処理を達成するのに与えられた時間(1/N秒)で、上
記動画像系列に対する動きベクトルを検出する動きベク
トル検出手段と、上記動きベクトル検出手段で検出した
動きベクトルを用いて上記1/N秒でM(Mは2以上の
整数)種類の動画像系列を符号化する符号化手段とを備
える。このため、1フレームに対しての基準処理時間内
に符号化処理を2回行うことができる。
【0012】また、本発明に係る画像信号圧縮方法は、
上記課題を解決するために、1秒間にNフレームの画像
よりなる動画像系列の1フレーム分の実時間処理を達成
するのに与えられた時間(1/N秒)で、上記動画像系
列に対する動きベクトルを検出し、この動きベクトルを
用いて上記1/N秒でM(Mは2以上の整数)種類の動
画像系列を符号化する。このため、1フレームに対して
の基準処理時間内に符号化処理を2回行うことができ
る。
上記課題を解決するために、1秒間にNフレームの画像
よりなる動画像系列の1フレーム分の実時間処理を達成
するのに与えられた時間(1/N秒)で、上記動画像系
列に対する動きベクトルを検出し、この動きベクトルを
用いて上記1/N秒でM(Mは2以上の整数)種類の動
画像系列を符号化する。このため、1フレームに対して
の基準処理時間内に符号化処理を2回行うことができ
る。
【0013】また、本発明に係る記録媒体は、上記課題
を解決するために、1秒間にNフレームの画像よりなる
動画像系列の1フレーム分の実時間処理を達成するのに
与えられた時間(1/N秒)で、上記動画像系列に対す
る動きベクトルを検出する動きベクトル検出工程と、上
記動きベクトル検出工程で検出した動きベクトルを用い
て上記1/N秒でM(Mは2以上の整数)種類の動画像
系列を符号化する符号化工程とを備える処理手順を記録
している。
を解決するために、1秒間にNフレームの画像よりなる
動画像系列の1フレーム分の実時間処理を達成するのに
与えられた時間(1/N秒)で、上記動画像系列に対す
る動きベクトルを検出する動きベクトル検出工程と、上
記動きベクトル検出工程で検出した動きベクトルを用い
て上記1/N秒でM(Mは2以上の整数)種類の動画像
系列を符号化する符号化工程とを備える処理手順を記録
している。
【0014】
【発明の実施の形態】以下、本発明に係る画像信号圧縮
装置及び方法の実施の形態について説明する。
装置及び方法の実施の形態について説明する。
【0015】この実施の形態は、入力された動画像信号
を、圧縮符号化して得た符号化データを記録媒体に記録
したり、通信回線で伝送する画像信号圧縮システムであ
る。
を、圧縮符号化して得た符号化データを記録媒体に記録
したり、通信回線で伝送する画像信号圧縮システムであ
る。
【0016】図1に示すように、画像信号圧縮システム
は、入力された画像をディジタル化して後段に供給する
画像入力装置1と、この画像入力装置1からのディジタ
ル画像信号(以下、画像データという)に適当な処理を
施す前処理装置2と、この前処理装置2からの画像デー
タに、動き補償処理(MC;motion compensation)
と、離散余弦変換(DCT;discrete cosine transfe
r)等の直交変換による冗長度低減処理とを組み合わせ
たMPEG(moving picture experts group)のような
圧縮処理を施す圧縮装置3とを備えている。
は、入力された画像をディジタル化して後段に供給する
画像入力装置1と、この画像入力装置1からのディジタ
ル画像信号(以下、画像データという)に適当な処理を
施す前処理装置2と、この前処理装置2からの画像デー
タに、動き補償処理(MC;motion compensation)
と、離散余弦変換(DCT;discrete cosine transfe
r)等の直交変換による冗長度低減処理とを組み合わせ
たMPEG(moving picture experts group)のような
圧縮処理を施す圧縮装置3とを備えている。
【0017】この圧縮装置3は、前処理装置2から供給
される画像データから動きベクトルを検出する動きベク
トル検出装置4と、上記画像データに符号化処理を施す
符号化装置5に大きく分かれる。ここで、動きベクトル
検出装置4は、動画像系列の各フレーム当たりの処理基
準時間で各フレームの動きベクトルを検出する。これに
対して、符号化装置5は、動画像系列の各フレーム当た
りの処理基準時間の1/2の時間で各フレームの符号化
データを求める。
される画像データから動きベクトルを検出する動きベク
トル検出装置4と、上記画像データに符号化処理を施す
符号化装置5に大きく分かれる。ここで、動きベクトル
検出装置4は、動画像系列の各フレーム当たりの処理基
準時間で各フレームの動きベクトルを検出する。これに
対して、符号化装置5は、動画像系列の各フレーム当た
りの処理基準時間の1/2の時間で各フレームの符号化
データを求める。
【0018】動きベクトル検出装置4は、前処理装置2
からの画像データを蓄えるフレームメモリ6とフレーム
間の動きベクトルの検出を行う動き検出器7よりなる。
からの画像データを蓄えるフレームメモリ6とフレーム
間の動きベクトルの検出を行う動き検出器7よりなる。
【0019】符号化装置5は、離散コサイン変換(DC
T)器8と、量子化器9と、可変長符号化器10と、逆
量子化器11と、逆DCT器12と、加算器13と、フ
レームメモリ14と、動き補償器15と、加算器16
と、スイッチ17と、バッファメモリ18と、バッファ
メモリ19と、量子化制御器20、スイッチ21とを備
えている。
T)器8と、量子化器9と、可変長符号化器10と、逆
量子化器11と、逆DCT器12と、加算器13と、フ
レームメモリ14と、動き補償器15と、加算器16
と、スイッチ17と、バッファメモリ18と、バッファ
メモリ19と、量子化制御器20、スイッチ21とを備
えている。
【0020】DCT器8は、加算器16からの画像デー
タを、例えば16画素×16画素のマクロブロック単位
に離散コサイン変換(DCT)処理し、時間領域のデー
タから周波数領域のデータに変換して量子化器9に対し
て出力する。
タを、例えば16画素×16画素のマクロブロック単位
に離散コサイン変換(DCT)処理し、時間領域のデー
タから周波数領域のデータに変換して量子化器9に対し
て出力する。
【0021】量子化器9は、DCT器8から供給された
周波数領域の画像データを、任意の量子化値で量子化
し、量子化データとして可変長符号化(VLC)器10
及び逆量子化器11に対して出力する。
周波数領域の画像データを、任意の量子化値で量子化
し、量子化データとして可変長符号化(VLC)器10
及び逆量子化器11に対して出力する。
【0022】可変長符号化器10は、量子化器9から供
給された量子化データを可変長符号化し、可変長符号化
の結果として得られた圧縮画像データ、すなわち符号化
データをスイッチ21を介してバッファ18又はバッフ
ァ19のいずれか一方に供給する。
給された量子化データを可変長符号化し、可変長符号化
の結果として得られた圧縮画像データ、すなわち符号化
データをスイッチ21を介してバッファ18又はバッフ
ァ19のいずれか一方に供給する。
【0023】バッファ18又はバッファ19は、上記符
号化データをバッファリングして、ビットストリームの
形で出力端子22又は23に供給する。出力端子22又
は23は、上記ビットストリームを記録媒体や、或いは
通信回線に供給する。
号化データをバッファリングして、ビットストリームの
形で出力端子22又は23に供給する。出力端子22又
は23は、上記ビットストリームを記録媒体や、或いは
通信回線に供給する。
【0024】逆量子化器11は、量子化器9から入力さ
れた量子化データを逆量子化し、逆量子化データとして
逆DCT器12に対して出力する。
れた量子化データを逆量子化し、逆量子化データとして
逆DCT器12に対して出力する。
【0025】逆DCT器12は、逆量子化器11から供
給される逆量子化データに対して逆DCT処理を施し、
加算器13に対して出力する。
給される逆量子化データに対して逆DCT処理を施し、
加算器13に対して出力する。
【0026】加算器13は、動き補償器15の出力デー
タ及び逆DCT器12の出力データを加算し、フレーム
メモリ14に対して出力する。
タ及び逆DCT器12の出力データを加算し、フレーム
メモリ14に対して出力する。
【0027】動き補償器15は、フレームメモリ14の
出力データに対して、動き検出器7がフレームメモリ6
を介した参照フレームに対して計算した動きベクトルに
基づいて動き補償処理を施し、加算器13及びスイッチ
17に対して出力する。
出力データに対して、動き検出器7がフレームメモリ6
を介した参照フレームに対して計算した動きベクトルに
基づいて動き補償処理を施し、加算器13及びスイッチ
17に対して出力する。
【0028】このような各部によって構成された符号化
装置5では、DCT器8、量子化器9、可変長符号化器
10を通して圧縮した画像データ(符号化データ)のビ
ットストリームをスイッチ21及びバッファ18又はバ
ッファ19を介して出力する。
装置5では、DCT器8、量子化器9、可変長符号化器
10を通して圧縮した画像データ(符号化データ)のビ
ットストリームをスイッチ21及びバッファ18又はバ
ッファ19を介して出力する。
【0029】それと同時に量子化器9の出力を、逆量子
化器11、逆DCT器12を通して画像データに変換
し、動き補償器15を介して既に再構築した参照フレー
ムの画像データと加算機13で足し合わせ、フレームメ
モリ14に蓄える。
化器11、逆DCT器12を通して画像データに変換
し、動き補償器15を介して既に再構築した参照フレー
ムの画像データと加算機13で足し合わせ、フレームメ
モリ14に蓄える。
【0030】そのフレームメモリ14の画像データに対
して、動きベクトル検出装置4で得られた動きベクトル
を用いて動き補償器15で動き補償を行って、再構築し
た画像データを、フレーム間で符号化するモード時に
は、加算器16で前処理装置2から入力される画像デー
タとの引き算を行う。すなわち、スイッチ17は、a側
に接続されている。また、フレーム内で符号化するモー
ドの時は、スイッチ17は、b側に接続されている。
して、動きベクトル検出装置4で得られた動きベクトル
を用いて動き補償器15で動き補償を行って、再構築し
た画像データを、フレーム間で符号化するモード時に
は、加算器16で前処理装置2から入力される画像デー
タとの引き算を行う。すなわち、スイッチ17は、a側
に接続されている。また、フレーム内で符号化するモー
ドの時は、スイッチ17は、b側に接続されている。
【0031】そして、可変長符号化器10を介して得ら
れる符号化データをバッファ18及び19を通してビッ
トストリームとし、磁気テープ、磁気ディスク、光ディ
スク等の記録媒体に記録したり、有線、無線等の回線を
使って伝送する。
れる符号化データをバッファ18及び19を通してビッ
トストリームとし、磁気テープ、磁気ディスク、光ディ
スク等の記録媒体に記録したり、有線、無線等の回線を
使って伝送する。
【0032】量子化器9では、バッファ18又は19で
行われるビットストリーム形成のためのビット割り当て
処理に基づいて量子化制御器20が調節する量子化パラ
メータによってレート処理が制御され、量子化ビットレ
ートを変動させる。すなわち、量子化制御器20は、量
子化器9での量子化ビットレートをバッファ18又は1
9で行われるビット割り当て処理に基づいて制御する。
行われるビットストリーム形成のためのビット割り当て
処理に基づいて量子化制御器20が調節する量子化パラ
メータによってレート処理が制御され、量子化ビットレ
ートを変動させる。すなわち、量子化制御器20は、量
子化器9での量子化ビットレートをバッファ18又は1
9で行われるビット割り当て処理に基づいて制御する。
【0033】このとき、スイッチ21によって2倍速処
理する際の処理期間の切り換えを行う。すなわち、スイ
ッチ21がa側に接続されている期間と、b側に接続さ
れている期間の二つの期間でそれぞれレート制御を行う
ことができる。
理する際の処理期間の切り換えを行う。すなわち、スイ
ッチ21がa側に接続されている期間と、b側に接続さ
れている期間の二つの期間でそれぞれレート制御を行う
ことができる。
【0034】この図1の例では、例えば動画用のディジ
タルビデオカメラから得られる画像データを蓄積メディ
アに記録すると同時に、インターネット等をの通信メデ
ィアを通じて伝送することもできる。
タルビデオカメラから得られる画像データを蓄積メディ
アに記録すると同時に、インターネット等をの通信メデ
ィアを通じて伝送することもできる。
【0035】本実施の形態での1フレーム分の入力画像
信号は、水平方向に704画素、垂直方向に480画素
からなり、水平・垂直両方向に16画素づつ分割したマ
クロブロックでは、水平方向に44個、垂直方向に30
個で構成される。
信号は、水平方向に704画素、垂直方向に480画素
からなり、水平・垂直両方向に16画素づつ分割したマ
クロブロックでは、水平方向に44個、垂直方向に30
個で構成される。
【0036】また、入力される動画像系列は1秒間に3
0フレームであり、通常1フレーム分の実時間処理を達
成するのに与えられた時間、すなわちフレームシンクは
1/30秒であるが、符号化装置5には2倍速で符号化
を行うために1フレーム当たりの処理時間として1/6
0秒が与えられる。
0フレームであり、通常1フレーム分の実時間処理を達
成するのに与えられた時間、すなわちフレームシンクは
1/30秒であるが、符号化装置5には2倍速で符号化
を行うために1フレーム当たりの処理時間として1/6
0秒が与えられる。
【0037】この画像信号圧縮システムでは、マクロブ
ロック毎にフレーム間の動き量を動きベクトル検出装置
4で通常通り1倍速処理で演算し、その結果を一旦バッ
ファ等に蓄えておく。そして、実際のビットストリーム
を得る符号化装置5を通常の2倍の速度で処理すること
により、見ための圧縮・符号化処理を2度行うことがで
きる。
ロック毎にフレーム間の動き量を動きベクトル検出装置
4で通常通り1倍速処理で演算し、その結果を一旦バッ
ファ等に蓄えておく。そして、実際のビットストリーム
を得る符号化装置5を通常の2倍の速度で処理すること
により、見ための圧縮・符号化処理を2度行うことがで
きる。
【0038】具体的には、動き検出装置4において1フ
レーム毎に各マクロブロックに対する動き量をブロック
マッチングにより求め、最適な動きベクトル値を通常の
1フレームシンク内に演算を実施し、蓄えておく。すな
わち、ここまでの処理は通常のハードウェアを利用する
ことで、回路規模をほぼ増やすこともなく実現できる。
レーム毎に各マクロブロックに対する動き量をブロック
マッチングにより求め、最適な動きベクトル値を通常の
1フレームシンク内に演算を実施し、蓄えておく。すな
わち、ここまでの処理は通常のハードウェアを利用する
ことで、回路規模をほぼ増やすこともなく実現できる。
【0039】続いて、得られた動きベクトル値を用いて
動き補償器15が動き補償を行い、時間軸方向のデータ
の冗長度を削減し、かつ符号化装置5がDCTによる空
間軸方向から周波数軸方向への変換による冗長度を削減
したデータに対して、周波数軸に対して重みづけを施し
た量子化を行う。その際、量子化制御器20による量子
化制御は2系統のバッファ18又は19に対してそれぞ
れ時分割で行われる。
動き補償器15が動き補償を行い、時間軸方向のデータ
の冗長度を削減し、かつ符号化装置5がDCTによる空
間軸方向から周波数軸方向への変換による冗長度を削減
したデータに対して、周波数軸に対して重みづけを施し
た量子化を行う。その際、量子化制御器20による量子
化制御は2系統のバッファ18又は19に対してそれぞ
れ時分割で行われる。
【0040】以上の過程を一般の処理速度の2倍で行う
ことによって、1フレームシンク内に符号化処理を2回
実施する。
ことによって、1フレームシンク内に符号化処理を2回
実施する。
【0041】ここで、図1の圧縮装置3を実現する回路
を、一例として図2に示すような二つの大規模集積回路
(LSI)で構成したとする。すなわち、図1の動きベ
クトル検出装置4と符号化装置5をそれぞれ、図2での
動き検出LSI24と符号化LSI25に対応させる。
を、一例として図2に示すような二つの大規模集積回路
(LSI)で構成したとする。すなわち、図1の動きベ
クトル検出装置4と符号化装置5をそれぞれ、図2での
動き検出LSI24と符号化LSI25に対応させる。
【0042】このとき、動き検出LSI24と符号化L
SI25には共にディジタル画像信号(画像データ)が
入力されるが、それぞれのLSIの動作速度を規定する
クロックに関しては、動き検出LSI24に入力される
クロックfc1の半分の長さの周期を持つクロックfc
2が符号化LSI25に入力される。すなわち、図2の
符号化LSI25へのクロックは、動き検出LSI24
へのクロックの2倍の速さのクロックfc2となる。
SI25には共にディジタル画像信号(画像データ)が
入力されるが、それぞれのLSIの動作速度を規定する
クロックに関しては、動き検出LSI24に入力される
クロックfc1の半分の長さの周期を持つクロックfc
2が符号化LSI25に入力される。すなわち、図2の
符号化LSI25へのクロックは、動き検出LSI24
へのクロックの2倍の速さのクロックfc2となる。
【0043】図2において、動き検出LSI24でフレ
ームメモリ6を使って通常速度で演算して求めておいた
動きベクトル値MVは、必要な参照フレーム毎に符号化
LSI25に随時フレームシンク内に2回ずつ供給され
る。符号化LSI25からは、圧縮して生成したビット
ストリームBS1とBS2が1フレームシンク毎に1回
ずつ出力される。
ームメモリ6を使って通常速度で演算して求めておいた
動きベクトル値MVは、必要な参照フレーム毎に符号化
LSI25に随時フレームシンク内に2回ずつ供給され
る。符号化LSI25からは、圧縮して生成したビット
ストリームBS1とBS2が1フレームシンク毎に1回
ずつ出力される。
【0044】そのとき、フレームシンクを図3のよう
に、FSYという信号で表現する。すなわち、フレーム
シンク信号FSYが0(Low)の区間と1(Hig
h)の区間を同時間持っており、この2つの区間を合わ
せた時間が1フレームシンク区間(1/30秒)であ
る。通常はこのフレームシンクFSYが0になってから
次の0になるまでの1周期の時間で、1フレームの画像
から1フレーム分のビットストリームを1系統だけ発生
させるが、本実施の形態ではこのフレームシンクFSY
1周期の間に符号化LSI25のみを2倍の処理速度で
動作させ、1フレームの画像から2系統のビットストリ
ームを生成させる。
に、FSYという信号で表現する。すなわち、フレーム
シンク信号FSYが0(Low)の区間と1(Hig
h)の区間を同時間持っており、この2つの区間を合わ
せた時間が1フレームシンク区間(1/30秒)であ
る。通常はこのフレームシンクFSYが0になってから
次の0になるまでの1周期の時間で、1フレームの画像
から1フレーム分のビットストリームを1系統だけ発生
させるが、本実施の形態ではこのフレームシンクFSY
1周期の間に符号化LSI25のみを2倍の処理速度で
動作させ、1フレームの画像から2系統のビットストリ
ームを生成させる。
【0045】つまり、入力される動画像系列が図4のよ
うなN0、N1、N2の時間的な並びであったとする
と、フレームシンクFSY1周期毎に図4に示すように
1フレーム分の動きベクトルMVが、動き検出LSI2
4でN0、N1、N2の並び順で通常通り求められる。
うなN0、N1、N2の時間的な並びであったとする
と、フレームシンクFSY1周期毎に図4に示すように
1フレーム分の動きベクトルMVが、動き検出LSI2
4でN0、N1、N2の並び順で通常通り求められる。
【0046】また、符号化に関しては、フレームシンク
FSYが0の区間内でまず1系統のビットストリームB
S1、フレームシンクFSYが1の区間内でも1系統の
符号化したビットストリームBS2が符号化LSI25
から出力される。例えば、フレームN1の符号化したビ
ットストリームBS1とBS2は、1フレームシンク前
の期間に求めたフレームN1の動きベクトル値MVを用
いて、現フレームシンクの0の区間と1の区間でそれぞ
れ出力される。
FSYが0の区間内でまず1系統のビットストリームB
S1、フレームシンクFSYが1の区間内でも1系統の
符号化したビットストリームBS2が符号化LSI25
から出力される。例えば、フレームN1の符号化したビ
ットストリームBS1とBS2は、1フレームシンク前
の期間に求めたフレームN1の動きベクトル値MVを用
いて、現フレームシンクの0の区間と1の区間でそれぞ
れ出力される。
【0047】この動作を応用すれば図4のように、フレ
ームシンクの前半の区間と後半の区間とで、それぞれ例
えば前半では比較的ビットレートの高いビットストリー
ムBS1を、後半では比較的ビットレートの低いビット
ストリームBS2を生成することができる。当然、その
逆のビットストリームの並びになってもかまわない。
ームシンクの前半の区間と後半の区間とで、それぞれ例
えば前半では比較的ビットレートの高いビットストリー
ムBS1を、後半では比較的ビットレートの低いビット
ストリームBS2を生成することができる。当然、その
逆のビットストリームの並びになってもかまわない。
【0048】この応用例より、動画をディジタルカメラ
等で撮影するとき、高レートで比較的きれいな映像を光
ディスク等に記録しながら、伝送路容量の低い例えばイ
ンターネットで使われる通信回線では映像の緻密さより
も通信可能な点を優先して低レートの映像を伝送するこ
とができる。
等で撮影するとき、高レートで比較的きれいな映像を光
ディスク等に記録しながら、伝送路容量の低い例えばイ
ンターネットで使われる通信回線では映像の緻密さより
も通信可能な点を優先して低レートの映像を伝送するこ
とができる。
【0049】さらには、違う応用例として、フレームシ
ンクの前半の区間では、一度符号化して得られる対象フ
レームの発生情報量を測定かつ学習し、後半の区間では
前半で得た対象フレームの符号化の複雑さやマクロブロ
ック毎の符号化の複雑さを考慮し、フレーム及びマクロ
ブロック毎にその符号量の重みづけを制御することによ
って、より精緻な符号化が可能になる。
ンクの前半の区間では、一度符号化して得られる対象フ
レームの発生情報量を測定かつ学習し、後半の区間では
前半で得た対象フレームの符号化の複雑さやマクロブロ
ック毎の符号化の複雑さを考慮し、フレーム及びマクロ
ブロック毎にその符号量の重みづけを制御することによ
って、より精緻な符号化が可能になる。
【0050】例えば、図4のように、フレームN1に対
してフレームシンクFSYが0の区間内でまず1度符号
化を行って発生した符号量を得てから、フレームシンク
FSYが1の区間内でフレームN1に対して必要と見積
もられた情報量に応じてもう一度符号化を行って、その
際のビットストリームを採用する。つまり、圧縮過程に
おいて、1回目の符号化結果を受けて2回目にそれを反
映させる、実時間での2パス処理が可能となる。
してフレームシンクFSYが0の区間内でまず1度符号
化を行って発生した符号量を得てから、フレームシンク
FSYが1の区間内でフレームN1に対して必要と見積
もられた情報量に応じてもう一度符号化を行って、その
際のビットストリームを採用する。つまり、圧縮過程に
おいて、1回目の符号化結果を受けて2回目にそれを反
映させる、実時間での2パス処理が可能となる。
【0051】以上により、動きベクトル検出装置4と符
号化装置5よりなる圧縮装置3を備えた本実施の形態の
画像信号圧縮システムでは、動きベクトル検出装置4は
通常の回路規模と動作状態のままで、符号化装置5のみ
を通常の2倍の速度で動作しうるような回路構成にする
ことで、実時間処理で2種類の例えば、高レートと低レ
ートのビットストリームを生成することができる。
号化装置5よりなる圧縮装置3を備えた本実施の形態の
画像信号圧縮システムでは、動きベクトル検出装置4は
通常の回路規模と動作状態のままで、符号化装置5のみ
を通常の2倍の速度で動作しうるような回路構成にする
ことで、実時間処理で2種類の例えば、高レートと低レ
ートのビットストリームを生成することができる。
【0052】これにより、例えば、高レートの綺麗な映
像は蓄積メディア等に記録・保存しながら、低レートの
映像は回線容量の低いネットワーク上に流すことが可能
になる。その際、多段階符号化による重畳劣化を起こす
こともない。
像は蓄積メディア等に記録・保存しながら、低レートの
映像は回線容量の低いネットワーク上に流すことが可能
になる。その際、多段階符号化による重畳劣化を起こす
こともない。
【0053】また、同様に、実時間処理で2パスエンコ
ードができる。これは、入力される動画像系列の特徴抽
出を前半で行った結果から、後半でより精緻な符号化割
り当てを実現することにより、圧縮伸張による劣化を軽
減できる。
ードができる。これは、入力される動画像系列の特徴抽
出を前半で行った結果から、後半でより精緻な符号化割
り当てを実現することにより、圧縮伸張による劣化を軽
減できる。
【0054】さらに、本実施の形態の回路規模は、あく
までも倍速処理に対応した符号化ブロックを実現させる
ための増加を伴うものであって、一番の回路規模を決定
づける動きベクトル検出ブロックは1倍速で元々のまま
で実現できる。また、その処理のバリエーション変更に
より多くのアプリケーションにも適用が容易である。
までも倍速処理に対応した符号化ブロックを実現させる
ための増加を伴うものであって、一番の回路規模を決定
づける動きベクトル検出ブロックは1倍速で元々のまま
で実現できる。また、その処理のバリエーション変更に
より多くのアプリケーションにも適用が容易である。
【0055】なお、上記実施の形態の画像信号圧縮シス
テムでは、符号化装置5が動画像系列の各フレーム当た
りの処理基準時間、すなわちフレームシンクの1/2の
時間で符号化データを求めたが、1/3の時間で符号化
を行えば、3種類のビットストリームを得ることができ
る。さらに多数のビットストリームを得ることも可能で
ある。
テムでは、符号化装置5が動画像系列の各フレーム当た
りの処理基準時間、すなわちフレームシンクの1/2の
時間で符号化データを求めたが、1/3の時間で符号化
を行えば、3種類のビットストリームを得ることができ
る。さらに多数のビットストリームを得ることも可能で
ある。
【0056】また、上記画像信号圧縮システムを上述し
たように動作させるためのプログラム、すなわち、動画
像系列の各フレーム当たりの処理基準時間で各フレーム
の動きベクトルを検出する動きベクトル検出工程と、上
記動画像系列の各フレーム当たりの処理基準時間の1/
2の時間で各フレームの符号化データを求める符号化工
程とを備える処理手順を記録媒体に記録しておけば、上
記システムをソフトウェアで実現することができる。
たように動作させるためのプログラム、すなわち、動画
像系列の各フレーム当たりの処理基準時間で各フレーム
の動きベクトルを検出する動きベクトル検出工程と、上
記動画像系列の各フレーム当たりの処理基準時間の1/
2の時間で各フレームの符号化データを求める符号化工
程とを備える処理手順を記録媒体に記録しておけば、上
記システムをソフトウェアで実現することができる。
【0057】
【発明の効果】本発明に係る画像信号圧縮装置及び方法
によれば、実時間処理で少なくとも2種類のビットスト
リームを生成することができ、かつ多段階符号化による
重畳劣化を起こすことのなく、さらに実時間処理で2パ
スエンコードを実現できる。
によれば、実時間処理で少なくとも2種類のビットスト
リームを生成することができ、かつ多段階符号化による
重畳劣化を起こすことのなく、さらに実時間処理で2パ
スエンコードを実現できる。
【0058】また、本発明に係る記録媒体は、実時間で
少なくとも2種類のビットストリームを生成でき、かつ
多段階符号化による重畳劣化を起こすことなく、さらに
実時間で2パスエンコードを実現できる画像信号圧縮処
理をソフトウェアとして提供できる。
少なくとも2種類のビットストリームを生成でき、かつ
多段階符号化による重畳劣化を起こすことなく、さらに
実時間で2パスエンコードを実現できる画像信号圧縮処
理をソフトウェアとして提供できる。
【図1】本発明に係る画像信号圧縮装置及び方法の実施
の形態のブロック図である。
の形態のブロック図である。
【図2】上記実施の形態を構成する動きベクトル検出装
置と符号化装置とを集積回路化したブロック図である。
置と符号化装置とを集積回路化したブロック図である。
【図3】上記実施の形態の動作タイミングの基準となる
フレームシンクを説明するための図である。
フレームシンクを説明するための図である。
【図4】上記実施の形態の動作を説明するためのタイミ
ングチャートである。
ングチャートである。
1 画像入力装置、2 前処理装置、3 圧縮装置、4
動きベクトル検出装置、5 符号化装置
動きベクトル検出装置、5 符号化装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 森貞 英彦 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内
Claims (7)
- 【請求項1】 動画像系列に対して圧縮符号化処理を施
すことによりビットストリームを生成する画像信号圧縮
装置において、 1秒間にNフレームの画像よりなる動画像系列の1フレ
ーム分の実時間処理を達成するのに与えられた時間(1
/N秒)で、上記動画像系列に対する動きベクトルを検
出する動きベクトル検出手段と、 上記動きベクトル検出手段で検出した動きベクトルを用
いて上記1/N秒でM(Mは2以上の整数)種類の動画
像系列を符号化する符号化手段とを備えることを特徴と
する画像信号圧縮装置。 - 【請求項2】 上記符号化手段は、同一の画像に対し
て、上記1/N秒の1/2の時間で第1の符号化レート
の情報量制御を施したビットストリームを生成し、残り
の時間で第2の符号化レートの情報量制御を施したビッ
トストリームを生成することを特徴とする請求項1記載
の画像信号圧縮装置。 - 【請求項3】 上記符号化手段は、同一の画像に対し
て、上記1/N秒の1/2の時間で第1の符号化レート
での情報量を得、残りの時間で上記第1の符号化レート
での情報量を符号化難易度として読み取り、第2の符号
化レートの情報量を得ることを特徴とする請求項1記載
の画像信号圧縮装置。 - 【請求項4】 動画像系列に対して圧縮符号化処理を施
すことによりビットストリームを生成する画像信号圧縮
方法において、 1秒間にNフレームの画像よりなる動画像系列の1フレ
ーム分の実時間処理を達成するのに与えられた時間(1
/N秒)で、上記動画像系列に対する動きベクトルを検
出し、この動きベクトルを用いて上記1/N秒でM(M
は2以上の整数)種類の動画像系列を符号化することを
特徴とする画像信号圧縮方法。 - 【請求項5】 同一の画像に対して、上記1/N秒の1
/2の時間で第1の符号化レートの情報量制御を施した
ビットストリームを生成し、残りの時間で第2の符号化
レートの情報量制御を施したビットストリームを生成す
ることを特徴とする請求項4記載の画像信号圧縮方法。 - 【請求項6】 同一の画像に対して、上記1/N秒の1
/2の時間で第1の符号化レートでの情報量を得、残り
の時間で上記第1の符号化レートでの情報量を符号化難
易度として読み取り、第2の符号化レートの情報量を得
ることを特徴とする請求項4記載の画像信号圧縮方法。 - 【請求項7】 動画像系列に対して圧縮符号化処理を
施すことによりビットストリームを生成する処理手順を
記録している記録媒体において、 1秒間にNフレームの画像よりなる動画像系列の1フレ
ーム分の実時間処理を達成するのに与えられた時間(1
/N秒)で、上記動画像系列に対する動きベクトルを検
出する動きベクトル検出工程と、 上記動きベクトル検出工程で検出した動きベクトルを用
いて上記1/N秒でM(Mは2以上の整数)種類の動画
像系列を符号化する符号化工程とを備える処理手順を記
録していることを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23276897A JPH1175197A (ja) | 1997-08-28 | 1997-08-28 | 画像信号圧縮装置及び方法、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP23276897A JPH1175197A (ja) | 1997-08-28 | 1997-08-28 | 画像信号圧縮装置及び方法、並びに記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH1175197A true JPH1175197A (ja) | 1999-03-16 |
Family
ID=16944446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP23276897A Withdrawn JPH1175197A (ja) | 1997-08-28 | 1997-08-28 | 画像信号圧縮装置及び方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH1175197A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7471722B2 (en) | 2004-08-03 | 2008-12-30 | Fujitsu Limited | Video encoding device and method |
-
1997
- 1997-08-28 JP JP23276897A patent/JPH1175197A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7471722B2 (en) | 2004-08-03 | 2008-12-30 | Fujitsu Limited | Video encoding device and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3072035B2 (ja) | 2ステージビデオフィルム圧縮方法及びシステム | |
CN100380982C (zh) | 图像编码方法和装置 | |
JP2001028756A (ja) | コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置 | |
JPH06197273A (ja) | ビデオ信号符号化方法及び装置、ビデオ信号復号化方法及び装置、又はビデオ信号記録メディア | |
JPH08256341A (ja) | 画像信号符号化方法、画像信号符号化装置、画像信号記録媒体、及び画像信号復号化装置 | |
JP2003348583A (ja) | 適応的動映像符号化及び復号化方法とその装置 | |
JPH10191259A (ja) | Mpegビデオの反転再生方法 | |
JPH07112284B2 (ja) | 予測符号化装置及び復号化装置 | |
JPS61118085A (ja) | 画像信号の符号化方式およびその装置 | |
JPH07203456A (ja) | 符号化装置と復号化装置と映像記録装置 | |
JPH1175198A (ja) | 画像信号圧縮装置及び方法、並びに記録媒体 | |
JP3128393B2 (ja) | 圧縮動画像再生装置 | |
JPH07135657A (ja) | 符号化方法と符号化装置 | |
JPH1175197A (ja) | 画像信号圧縮装置及び方法、並びに記録媒体 | |
JP3178233B2 (ja) | 画像符号化方法及び画像符号化装置及び光ディスク | |
JP2957340B2 (ja) | ディジタル録画装置 | |
JPH0951538A (ja) | 画像信号の符号化方法 | |
JP3188081B2 (ja) | 画像符号化方法および画像符号化装置 | |
KR0128858B1 (ko) | 화면 변화에 대한 부호화 모드 결정장치 | |
JPH1066092A (ja) | 映像データ圧縮装置およびその方法 | |
JPH0642737B2 (ja) | 動画符号化方式 | |
JPH0646411A (ja) | 画像符号化装置 | |
JP3652889B2 (ja) | 映像符号化方法、映像符号化装置、記録媒体、及び映像通信システム | |
JPH08340536A (ja) | 画像符号化装置 | |
JP4000581B2 (ja) | 画像符号化装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20041102 |