JP3154254B2 - 画像データ符号化装置 - Google Patents

画像データ符号化装置

Info

Publication number
JP3154254B2
JP3154254B2 JP04753190A JP4753190A JP3154254B2 JP 3154254 B2 JP3154254 B2 JP 3154254B2 JP 04753190 A JP04753190 A JP 04753190A JP 4753190 A JP4753190 A JP 4753190A JP 3154254 B2 JP3154254 B2 JP 3154254B2
Authority
JP
Japan
Prior art keywords
data
frame
image data
transmission
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP04753190A
Other languages
English (en)
Other versions
JPH03250884A (ja
Inventor
勝己 田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP04753190A priority Critical patent/JP3154254B2/ja
Priority to US07/658,787 priority patent/US5164828A/en
Priority to EP96110475A priority patent/EP0739142B1/en
Priority to DE69130076T priority patent/DE69130076T2/de
Priority to EP91301467A priority patent/EP0444839B1/en
Priority to EP96110477A priority patent/EP0739143B1/en
Priority to DE69133024T priority patent/DE69133024T2/de
Priority to DE69132646T priority patent/DE69132646T2/de
Priority to KR1019910003080A priority patent/KR100248692B1/ko
Publication of JPH03250884A publication Critical patent/JPH03250884A/ja
Application granted granted Critical
Publication of JP3154254B2 publication Critical patent/JP3154254B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。
A産業上の利用分野 B発明の概要 C従来の技術(第8図〜第10図) D発明が解決しようとする課題 E課題を解決するための手段(第1図及び第6図) F作用(第1図及び第6図) G実施例 (G1)画像情報伝送システムの全体構成(第1図〜第
5図) (G2)実施例による駒落し処理(第1図、第4図、第
5図、第6図及び第7図) (G3)他の実施例 H発明の効果 A産業上の利用分野 本発明は画像データ符号化装置に関し、例えば映像信
号を高能率符号化データに変換して伝送する場合に適用
して好適なものである。
B発明の概要 本発明は画像データ符号化装置において、伝送バツフ
アメモリのデータ残量に応じて駒落し処理を実行する際
に、駒落し処理を開始するデータ残量値に対して駒落し
処理を終了するデータ残量値を小さなレベルに設定する
ことにより、伝送画像の動きを視覚上一段と滑らかにし
得る。
C従来の技術 従来、テレビ電話システム、会議電話システムにおい
て、動画映像でなる映像信号をフレーム内符号化データ
及びフレーム間符号化データに高能率符号化することに
より、伝送容量に比較的厳しい制限がある伝送路を通じ
て動画映像信号を伝送する映像信号伝送システムが提案
されている(特開昭63−1183号公報)。
すなわち、例えば第8図(A)に示すように、時点t
=t1、t2、t3……において動画を構成する各画像PC1、P
C2、PC3……を伝送しようとする場合、映像信号には時
間の経過に従つて自己相関が大きい特長がある点を利用
して伝送処理すべき画像データを圧縮処理することによ
り伝送効率を高めるような処理をするもので、フレーム
内符号化処理は画像PC1、PC2、PC3……を例えば画素デ
ータを所定の基準値と比較して差分を求めるような圧縮
処理を実行し、かくして各画像PC1、PC2、PC3……につ
いて同一フレーム内における画素データ間の自己相関を
利用して圧縮されたデータ量の画像データを伝送する。
またフレーム間符号化処理は、第8図(B)に示すよ
うに、順次隣合う画像PC1及びPC2、PC2及びPC3……間の
画素データの差分でなる画像データPC12、PC23……を求
め、これを時点t=t1における初期画像PC1についてフ
レーム内符号化処理された画像データと共に伝送する。
かくして画像PC1、PC2、PC3……をそのすべての画像
データを伝送する場合と比較して格段的にデータ量が少
ないデイジタルデータに高能率符号化して伝送路に送出
することができる。
かかる映像信号の符号化処理は、第11図に示す構成の
画像データ発生装置1において実行される。
画像データ発生装置1は入力映像信号VDを前処理回路
2において処理することにより片フイールド落し処理及
び片フイールドライン間引き処理等の処理をした後、輝
度信号及びクロマ信号を16画素(水平方向に)×16画素
(垂直方向に)分のデータでなる伝送単位ブロツク(こ
れをマクロブロツクと呼ぶ)データS11に変換して画像
データ符号化回路3に供給する。
画像データ符号化回路3は予測符号化回路4において
形成される予測現フレームデータS12を受けてマクロブ
ロツクデータS11との差分を求めることによつてフレー
ム間符号化データを発生し(これをフレーム間符号化モ
ードと呼ぶ)、又はマクロブロツクデータS11と基準値
データとの差分を求めることによりフレーム内符号化デ
ータを形成してこれを差分データS13として変換符号化
回路5に供給する。
変換符号化回路5はデイスクリートコサイン変換回路
で構成され、差分データS13を直交変換することによつ
て高能率符号化してなる変換符号化データS14を量子化
回路6に与えることにより量子化画像データS15を送出
させる。
かくして量子化回路6から得られる量子化画像データ
S15は可変長符号化回路を含んでなる再変換符号化回路
7において再度高能率符号化処理された後、伝送画像デ
ータS16として伝送バツフアメモリ8に供給される。
これに加えて量子化画像データS15は予測符号化回路
4において逆量子化、逆変換符号化処理されることより
差分データに復号化された後予測前フレームデータを差
分データによつて修正演算することにより新たな予測前
フレームデータを保存すると共に、マクロブロツクデー
タS11に基づいて形成される動き検出データによつて予
測符号化回路4に保存されている予測前フレームデータ
を動き補償することにより予測現フレームデータを形成
して画像データ符号化回路3に供給できるようになさ
れ、これにより現在伝送しようとするフレーム(すなわ
ち現フレーム)のマクロブロツクデータS11と予測現フ
レームデータS12との差分を差分データS13として得るよ
うになされている。
第9図の構成において、第8図について上述した動画
像を伝送する場合、先ず第8図(A)の時点t1において
画像PC1の画像データがマクロブロツクデータS11として
与えられたとき、画像データ符号化回路3はフレーム内
符号化モードになつてこれをフレーム内符号化処理され
た差分データS13として変換符号化回路5に供給し、こ
れにより量子化回路6、再変換符号化回路7を介して伝
送バツフアメモリ8に伝送画像データS16を供給する。
これと共に、量子化回路6の出力端に得られる量子化
画像データS15が予測符号化回路4において予測符号化
処理されることにより、伝送バツフアメモリ8に送出さ
れた伝送画像データS16を表す予測前フレームデータが
前フレームメモリに保持され、続いて時点t2において画
像PC2を表すマクロブロツクデータS11が画像データ符号
化回路3に供給されたとき、予測現フレームデータS12
に動き補償されて画像データ符号化回路3に供給され
る。
かくして時点t=t2において画像データ符号化回路3
はフレーム間符号化処理された差分データS13を変換符
号化回路5に供給し、これにより当該フレーム間の画像
の変化を表す差分データが伝送画像データS16として伝
送バツフアメモリ8に供給されると共に、その量子化画
像データS15が予測符号化回路4に供給されることによ
り予測符号化回路4において予測前フレームデータが形
成、保存される。
以下同様の動作が繰り返されることにより、画像デー
タ符号化回路3がフレーム間符号化処理を実行している
間、前フレームと現フレームとの間の画像の変化を表す
差分データだけが伝送バツフアメモリ8に順次送出され
ることになる。
伝送バツフアメモリ8はこのようにして送出されて来
る伝送画像データS16を溜めておき、伝送路9の伝送容
量によつて決まる所定のデータ伝送速度で、溜めた伝送
画像データS16を順次伝送データDTRANSとして引き出し
て伝送路9に伝送して行く。
これと同時に伝送バツフアメモリ8は残留しているデ
ータ量を検出して当該残留データ量に応じて変化する残
留データS17を量子化回路6にフイードバツクして残量
データS17に応じて量子化ステツプサイズを制御するこ
とにより、伝送画像データS16として発生されるデータ
量を調整することにより伝送バツフアメモリ8内に適正
な残量(オーバーフロー又はアンダーフローを生じさせ
ないようなデータ量)のデータを維持できるようになさ
れている。
因に伝送バツフアメモリ8のデータ残量が許容上限に
まで増量して来たとき、残量データS17によつて量子化
回路6の量子化ステツプSTPS(第10図)のステツプサイ
ズを大きくすることにより、量子化回路6において粗い
量子化を実行させることにより伝送画像データS16のデ
ータ量を低下させる。
これとは逆に伝送バツフアメモリ8のデータ残量が許
容下限値まで減量して来たとき、残量データS17は量子
化回路6の量子化ステツプSTPSのステツプサイズを小さ
い値になるように制御し、これにより量子化回路6にお
いて細かい量子化を実行させるようにすることにより伝
送画像データS16のデータ発生量を増大させる。
D発明が解決しようとする課題 ところでかかる構成の画像データ発生装置1において
は、伝送しようとする動画像が動きの激しい画像であつ
たり、例えばシーンチエンジ等のように画像の内容が大
きく変化する場合においては、符号化された伝送データ
の発生量が増加することによつて伝送バツフアメモリが
オーバーフローする問題があつた。
この問題を解決するための一つの方法として伝送デー
タの発生量が増加した際に、続くフレームを符号化処理
しないようにして、駒落しする方法が考えられている。
ところが動きの激しい画像を比較的長時間伝送するよ
うな場合においては、この間伝送データの発生量が増加
し続けることによつて駒落しが頻繁に繰り返され、再現
された動画像の動きの滑らかさが視覚上失われる問題が
あり、動画像を伝送するうえで未だ不十分であつた。
本発明は以上の点を考慮してなされたもので、動画像
の動きを視覚上できるだけ滑らかにしながら駒落しする
ようになされた映像信号符号化装置を提案しようとする
ものである。
E課題を解決するための手段 かかる課題を解決するため本発明においては、入力画
像データを符号化する画像データ符号化装置において、
供給された量子化ステツプに基づいて、入力画像データ
を量子化する量子化手段と、量子化された画像データを
符号化する符号化手段と、符号化された画像データを伝
送媒体を介して復号化装置に伝送するために、符号化さ
れた画像データを記憶するバツフア手段と、バツフア手
段のデータ残量を所定の範囲内に維持するために、バツ
フア手段のデータ残量に基づいて量子化手段の量子化ス
テツプを制御する量子化ステツプ制御手段と、量子化ス
テツプ制御手段によつて制御された量子化ステツプに基
づいて入力画像データを量子化し、その量子化された画
像データを符号化手段によつて符号化し、その符号化さ
れた画像データをバツフア手段に記憶したときに、バツ
フア手段のデータ残量が所定の上限値を越えている場合
には、バツフア手段への符号化された画像データの供給
を停止するように上記符号化手段を制御し、バツフア手
段のデータ残量が上限値よりも小さな所定の目標値まで
減少したときバツフア手段への符号化された画像データ
の供給の停止を解除するように符号化手段を制御するこ
とにより、バツフア手段のデータ残量に応じた量子化ス
テツプに基づいて量子化された画像データを符号化手段
によつて符号化し、その符号化された画像データをバツ
フア手段に供給開始する制御手段とを備えるようにす
る。
F作用 伝送バツフア回路32のデータ残量値Bufferが上限値
(QNT=31)を越えたとき駒落し処理の実行行を指定し
た後、データ残量値Bufferが上限値(QNT=31)よりも
小さな目標値MG(QNT=1)を下回つたとき駒落し処理
の終了を指定することにより、駒落し処理が終了した後
にデータ残量値Bufferが急激に増加する場合において
も、駒落し処理が直ちに再開されることを回避し得ると
共に、駒落し処理が終了した後にデータ発生量が減少し
た際にデータ残量Bufferをすみやかに目標値MG(QNT=
1)に収束されることができる。
かくするにつき出力画像の動きを視覚上滑らかにし得
ると共に、画質の劣化を回避できる。
G実施例 以下図面について、本発明の一実施例を詳述する。
(G1)画像情報伝送システムの全体構成 第1図及び第2図において画像情報伝送システム21は
エンコーダ21A及びデコーダ21Bによつて構成され、エン
コーダ21Aは、入力映像信号VDINを入力回路部22におい
て前処理した後、アナログ/デイジタル変換回路23にお
いて16×16画素分の画素データでなる伝送単位ブロツク
データ、すなわちマクロブロツクMBの画素データでなる
入力画像データS21を画素データ処理系SYM1に送り込む
と共に、当該画素データ処理系SYM1の各処理段において
マクロブロツクMBを単位として画素データが処理される
タイミングにおいて当該処理されるデータに対応する処
理情報データがヘツダデータ処理系SYM2を介して順次伝
送されて行くようになされ、かくして画素データ及びヘ
ツダデータがそれぞれ画素データ処理系SYM1及びヘツダ
データ処理系SYM2においてパイプライン方式によつて処
理されて行く。
この実施例の場合、入力画像データS21として順次送
出されて来るマクロブロツクデータは、第3図に示すよ
うな手法でフレーム画像データFRMから抽出される。
先ず1枚のフレーム画像データFRMは第3図(A)に
示すように2個(水平方向に)×6個(垂直方向に)の
ブロツクグループGOBに分割され、各ブロツクグループG
OBが第3図(B)に示すように11個(水平方向に)×3
個(垂直方向に)のマクロブロツクMBを含むようになさ
れ、各マクロブロツクMBは第3図(C)に示すように16
×16画素分の輝度信号データY00〜Y11(それぞれ8×8
画素分の輝度信号データでなる)及び輝度信号データY
00〜Y11の全画素データに対応する色信号データでなる
色信号データCb及びCrを含んでなる。
かくしてマクロブロツクMBごとに送出される入力画像
データS21は動き補償回路25に与えられ、動き補償回路2
5はヘツダデータ処理系SYM2に対して設けられている動
き補償制御ユニツト26から与えられる動き検出制御信号
S22に応動して予測前フレームメモリ27の予測前フレー
ムデータS23と入力画像データS21とを比較して動きベク
トルデータ(MVD(x)及びMVD(y)を検出して動き補
償制御ユニツト26に第1のヘツダデータHD1(第4図)
のデータとして供給すると共に、動き補償回路本体25A
において予測前フレームデータS23に対して動きベクト
ルデータMVD(x)及びMVD(y)分の動き補償をするこ
とにより予測現フレームデータS24を形成して現在処理
しようとしている入力画像データS21でなる現フレーム
データS25と共に画像データ符号化回路28に供給する。
ここで動き補償制御ユニツト26は、第4図に示すよう
に、第1のヘツダデータHD1として現在処理しているマ
クロブロツクごとに、フレーム画像データFRMの伝送順
序を表す伝送フレーム番号データTR Counterと、そのブ
ロツクグループGOB(第3図(A))を表すブロツクグ
ループ番号データGOB addressと、そのうちのマクロブ
ロツクMBを表すマクロブロツク番号データMB addressと
を付加することによつて順次画素データ処理系SYM1の各
処理段に伝送されて行くマクロブロツクMBを表示するよ
うになされていると共に、当該処理対象マクロブロツク
MBの処理ないし処理形式を表すフラグデータFLAGSと、
当該マクロブロツクMBの動きベクトルデータMVD(x)
及びMVD(y)と、その評価値を表す差分データΣ|A−B
|と形成する。
フラグデータFLAGSは第5図に示すように、最大限1
ワード(16ビツト)分のフラグをもち得るようになさ
れ、第0ビツトには、当該処理対象マクロブロツクMBに
ついて動き補償モードで処理すべきか否かを表す動き補
償制御フラグMC on/offがセツトされる。
またフラグデータFLAGSの第1ビツトには、当該処理
対象マクロブロツクMBをフレーム間符号化モードで処理
すべきであるか又はフレーム内符号化モードで処理すべ
きであるかを表すフレーム間/フレーム内フラグInter/
Intraがセツトされる。
またフラグデータFLAGSの第2ビツトには、動き補償
回路25のループフイルタ25Bを使用するか否かを表すフ
イルタフラグFilter on/offが設定される。
またフラグデータFLAGSの第3ビツトには、当該処理
対象マクロブロツクに含まれるブロツクデータY00〜Cr
(第3図(C))を伝送すべきであるか否かを表す送信
フラグCoded/Not−codedを設定できるようになされてい
る。
またフラグデータFLAGSの第4ビツトには、当該処理
対象マクロブロツクMBを駒落しするか否かを表す駒落し
フラグDrop frame flagを設定し得るようになされてい
る。
またフラグデータFLAGSの第5ビツトには、当該処理
対象マクロブロツクMBを強制リフレツシユするか否かを
表す強制リフレツシユフラグRefresh on/offを設定でき
るようになされている。
またフラグデータFLAGSの第6ビツトには、マクロブ
ロツクパワー評価フラグMBP appreciateを設定できるよ
うになされている。
また差分データΣ|A−B|は、現フレームデータS25の
現在処理しようとするマクロブロツクデータAと、予測
前フレームデータS23の検出用動きベクトルによつて補
償されたマクロブロツクデータBとの差分のうちの最小
値を表し、これにより検出された動きベクトルの評価を
なし得るようになされている。
画像データ符号化回路28はフレーム内符号化モードの
とき動き補償回路25から与えられる現フレームデータS2
5をそのまま差分データS26として変換符号化回路29に供
給し、これに対してフレーム間符号化モードのとき現フ
レームデータS25の画素データと予測現フレームデータS
24の画素データとの差分でなる差分データS26を変換符
号化回路29に供給する。
ヘツダデータ処理系SYM2には画像データ符号化回路28
に対応するようにフレーム間/フレーム内符号化制御ユ
ニツト30が設けられ、動き補償制御ユニツト26から供給
されるヘツダデータHD1及び画像データ符号化回路28か
ら供給される演算データS31に基づいて、画像データ符
号化回路28の符号化モードを指定するためのフレーム間
/フレーム内フラグInter/Intra(第5図)及び動き補
償回路25のループフイルタ25Bの動作を制御するための
フイルタフラグFilter on/off(第5図)とを得るのに
必要なデータを演算して第2のヘツダデータHD2として
フイルタ制御ユニツト31に送出する。
第2のヘツダデータHD2は、第4図に示すように、ヘ
ツダデータHD1を構成する伝送フレーム番号データTR Co
unter〜差分データΣ|A−B|をそのまま引き継ぐと共
に、フイルタ制御ユニツト31においてフレーム間/フレ
ーム内符号化モード切換信号S33及びフイルタオン/オ
フ信号S34を形成するために必要なパワーデータΣ
(A)(L)及びΣ(A)(H)、Σ(A−B)
(L)及びΣ(A−B)(H)、Σ(A−FB)
(L)及びΣ(A−FB)(H)、Σ(A)をフレー
ム間/フレーム内符号化制御ユニツト30において付加さ
れるようになされている。
ここで、パワーデータΣ(A)(L)及びΣ(A)
(H)は現フレームデータS25のマクロブロツク画素
データAの2乗和の下位ビツト及び上位ビツトを表し、
パワーデータΣ(A−B)(L)及びΣ(A−B)
(H)は現フレームデータS25のマクロブロツク画素デ
ータAとループフイルタ25Bを介さずに形成された予測
現フレームデータS24のマクロブロツク画素データBと
の差分A−Bの2乗和の下位ビツト及び上位ビツトを表
し、パワーデータΣ(A−FB)(L)及びΣ(A−F
B)(H)は現フレームデータS25のマクロブロツク画
素データAとループフイルタ25Bを介して形成された予
測現フレームデータS24のマクロブロツク画素データFB
との差分A−FBの2乗和の下位ビツト及び上位ビツトを
表し、パワーデータΣ(A)は現フレームデータS25の
マクロブロツク画素データAの和を表し、それぞれ処理
するデータの大きさを評価するためにデータ量をパワー
値として表現したもの(2乗和は符号に無関係な値とし
て求めた)である。
フイルタ制御ユニツト31は、フレーム間/フレーム内
符号化制御ユニツト30から渡された第2のヘツダデータ
HD2と、伝送バツフアメモリ32から供給される残量デー
タS32とに基づいて、画像データ符号化回路28に対して
フレーム間/フレーム内符号化モード切換信号S33を送
出すると共に、ループフイルタ25Bに対してフイルタオ
ン/オフ信号S34を送出すると共に、当該フイルタオン
/オフ信号S34の内容を表すフイルタプラグFilter on/o
ffを第2のヘツダデータHD2に付加して第3のヘツダデ
ータHD3としてスレシヨルド制御ユニツト35に渡す。
ここでフイルタ制御ユニツト31は第1に、フレーム間
符号化処理をした場合の伝送データ量の方がフレーム内
符号化処理をした場合の伝送データ量より大きくなつた
とき画像データ符号化回路28をフレーム内符号化モード
に制御する。
またフイルタ制御ユニツト31は第2に、フレーム間符
号化モードで処理をしている状態においてループフイル
タ25Bにおける処理を受けた予測現フレームデータS24よ
り当該処理を受けない予測現フレームデータS24の方が
差分値が小さい場合には、フイルタオン/オフ信号S34
によつてフイルタリング動作をさせないようにループフ
イルタ25Bを制御する。
またフイルタ制御ユニツト31は第3に、強制リフレツ
シユモードになつたとき、フレーム間/フレーム内符号
化モード切換信号S33によつて画像データ符号化回路28
をフレーム内符号化モードに切り換える。
さらにフイルタ制御ユニツト31は第4に、伝送バツフ
アメモリ32から供給される残量データS32に基づいて伝
送バツフアメモリ32がオーバーフローするおそれがある
状態になつたとき、これを検出して駒落し処理をすべき
ことを命令するフラグを含んでなる第3のヘツダデータ
HD3をスレシヨルド制御ユニツト35に送出する。
かくして画像データ符号化回路28は現フレームデータ
S25と予測現フレームデータS24との差分が最も小さくな
るようなモードで符号化してなる差分データS26を変換
符号化回路29に供給する。
第3のヘツダデータHD3は、第4図に示すように、ヘ
ツダデータHD2から伝送フレーム番号データTR Counter
〜動きベクトルデータMVD(x)及びMVD(y)を引き継
ぐと共に、フイルタ制御ユニツト31においてブロツクデ
ータY00〜Crに対応する6ビツト分のフイルタフラグFil
ter on/offを付加される。
変換符号化回路29はデイスクリートコサイン変換回路
でなり、デイスクリートコサイン変換後の係数値を6個
のブロツクY00、Y01、Y10、Y11、Cb、Crごとにジグザグ
スキヤンしてなる変換符号化データS35として伝送ブロ
ツク設定回路34に送出する。
伝送ブロツク設定回路34は変換符号化データS35とし
て送出されて来る6個のブロツクデータY00〜Cr(第3
図(C))について、それぞれ先頭の係数データからn
個までの2乗和を演算して当該演算結果をパワー検出デ
ータS36としてスレシヨルド制御ユニツト35に渡す。
このときスレシヨルド制御ユニツト35は各ブロツクデ
ータY00〜Crごとにパワー検出データS36を所定のスレシ
ヨルドと比較し、パワー検出データS36が当該スレシヨ
ルドより小さいとき当該ブロツクデータの伝送を許容せ
ず、これに対して大きいとき許容することを表す6ビツ
ト分の伝送可否データCBPNを形成してこれをフイルタ制
御ユニツト31から渡された第3のヘツダデータHD3に付
加して第4のヘツダデータHD4として量子化制御ユニツ
ト36に渡すと共に、伝送ブロツク設定回路34から対応す
るブロツクデータY00〜Crを量子化回路37に送信ブロツ
クパターン化データS37として送出させる。
ここで第4のヘツダデータHD4は第4図に示すよう
に、ヘツダデータHD3の伝送フレーム番号データTR Coun
ter〜フイルタフラグFilter on/offをそのまま引き継ぐ
と共に、スレシヨルド制御ユニツト35においてブロツク
Y00〜Crに対応して発生する6ビツト分の送信可否フラ
グCBPNが付加される。
量子化制御ユニツト36はスレシヨルド制御ユニツト35
から渡された第4のヘツダデータHD4と、伝送バツフア
メモリ32から送出される残量データS32とに基づいて量
子化ステツプサイズを決定することにより量子化ステツ
プサイズ制御信号S38を量子化回路37に与え、これによ
り量子化回路37をマクロブロツクMBに含まれるデータに
適応した量子化ステツプサイズで量子化処理させ、その
結果量子化回路37の出力端に得られる量子化画像データ
S39を可変長符号化回路38に供給させる。
これと共に量子化制御ユニツト36は、第4図に示すよ
うに、第5のヘツダデータHD5として、ヘツダデータHD4
に基づいてブロツクデータY00〜Cr(第3図(C))に
それぞれ対応するフラグデータFLAGS及び動きベクトル
データMVD(x)及びMVD(y)に分離してこれを直列に
配列させたデータを形成して可変長符号化回路38及び逆
量子化回路40に渡す。
ここで、ヘツダデータHD5は、第4図に示すように、
ヘツダデータHD4のうち伝送フレーム番号データTR Coun
ter〜マクロブロツク番号データMB addressをそのまま
引き継ぐと共に、量子化制御ユニツト36において量子化
サイズデータQNTと、ブロツクデータY00〜Crに対するフ
ラグデータFLAGS、動きベクトルデータMVD(x)及びMV
D(y)を付加する。
可変長符号化回路38はヘツダデータHD5及び量子化画
像データS39を可変長符号化処理して伝送画像データS40
を形成し、これを伝送バツフアメモリ32に供給する。
可変長符号化回路38はブロツクデータY00〜Crを可変
長符号化する際に、対応するフラグデータFLAGSに基づ
いて「駒落し」、又は「送信不可」が指定されていると
き、当該ブロツクデータを伝送画像データS40として送
出させずに捨てるような処理をする。
伝送バツフアメモリ32は伝送画像データS40を溜め込
んで行くと共に、これを所定の伝送速度で読み出してマ
ルチプレクサ41において音声データ発生装置42から送出
される伝送音声データS41と合成して伝送路43に送出す
る。
逆量子化回路40は量子化回路37から送出される量子化
画像データS39をヘツダデータHD5に基づいて逆量子化し
た後、当該逆量子化データS42を逆変換符号化回路43に
供給することにより逆変換符号化データS43に変換させ
た後デコーダ回路44に供給させ、かくして伝送画像デー
タS40として送出された画像情報を表す符号化差分デー
タS44を予測前フレームメモリ27に供給させる。
このとき予測前フレームメモリ27は、符号化差分デー
タS44を用いてそれまで保存していた予測前フレームデ
ータを修正演算して新たな予測前フレームデータとして
保存する。
かくして第1図の構成のエンコーダ21Aによれば、ヘ
ツダデータ処理系SYM2から供給されるヘツダ情報に基づ
いて画素データ処理系SYM1において画素データがマクロ
ブロツク単位でパイプライン処理されて行くのに対し
て、これと同期するようにヘツダデータ処理系SYM2にお
いてヘツダデータを受け渡して行くようにすることによ
り、ヘツダデータ処理系SYM2の各処理段において必要に
応じてヘツダデータを付加又は削除することにより画素
データを必要に応じて適応処理できる。
デコーダ21Bは第2図に示すように、伝送路43を介し
てエンコーダ21Aから伝送されて来る伝送データをデマ
ルチプレクサ51を介して伝送バツフアメモリ52に受ける
と共に、伝送音声データS51を音声データ受信装置53に
受ける。
伝送バツフアメモリ52に受けた画像データは可変長逆
変換回路54において受信画像データS52及びヘツダデー
タHD11に分離され、逆量子化回路55において逆量子化デ
ータS53に逆量子化された後逆変換符号化回路56におい
てデイスクリート逆変換処理されて逆変換符号化データ
S54に逆変換される。
この逆変換符号化データS54は逆量子化回路55におい
て形成されたヘツダデータHD12と共にデコーダ回路57に
与えられ、符号化差分データS55としてフレームメモリ5
8に蓄積される。
かくしてフレームメモリ58には符号化差分データS55
に基づいて伝送されて来た画像データが復号化され、当
該復号化画像データS56がデイジタル/アナログ変換回
路59においてアナログ信号に変換された後出力回路部60
を介して出力映像信号VDOUTとして送出される。
(G2)実施例による駒落し処理 第1図に示す画像情報伝送システム21において、伝送
バツフアメモリ32は、データ残量Bufferを示す残量デー
タS32を量子化制御ユニツト36にフイードバツクするこ
とにより、量子化回路37の量子化処理における量子化ス
テツプサイズQNTを変化させてオーバーフロー又はアン
ダーフローしないように制御するようになされている。
すなわちこの実施例の場合量子化回路37は第6図に示
すように、量子化ステツプサイズQNTのテーブルとして
上限値QNT=31から下限値QNT=1までの段階を可変でき
るようになされ、量子化制御ユニツト36は伝送バツフア
メモリ32のデータ残量BufferがマージンMargineと量子
化サイズ可制御範囲QCRとの和(すなわちデータ残量の
許容上限値)に近付いている場合には、量子化ステツプ
サイズQNTを粗くする(すなわちQNT=31方向に変化させ
る)。
従つて量子化回路37は粗い量子化ステツプサイズで変
換符号化データS35の量子化を実行することにより、量
子化画像データS39のデータ量は小さい値に制御され、
これにより伝送バツフアメモリ32のデータ残量Bufferは
低下して行く。
これに対して伝送バツフアメモリ32のデータ残量が少
なくなると、量子化制御ユニツト36は量子化回路37にお
ける量子化ステツプサイズQNTをこれに応じて細かい値
(すなわちQNT=1の方向)に変化させることにより、
伝送バツフアメモリ32のデータ残量Bufferを常に目標値
MG(QNT=1)のレベルに収束させるようになされてい
る。
またフイルタ制御ユニツト31は伝送バツフアメモリ32
によつてフイードバツクされた残量データS32を入力す
ることにより、常に伝送バツフアメモリ32のデータ残量
Bufferを監視しながらフイールド単位で駒落しを実行す
るか否かを判断するようになされている。
すなわちフイルタ制御ユニツト31は、変換符号化デー
タS35のデータ発生量が増加して伝送バツフアメモリ32
のデータ残量Bufferが量子化回路37によつて制御し得な
くなる上限値(マージンMargine+量子化サイズ可制御
範囲QCR)を越えた時点t1(第6図)において、伝送バ
ツフアメモリ32がオーバフロー状態に近付きつつあるこ
とを判断して、続く第3のフレームFRM2の1フイールド
分の画像データに対応する各マクロブロツクMBのヘツダ
データHD2のフラグデータFLAGSに含まれる駒落しフラグ
Drop frame flag(第5図)を「1」に指定し、これを
ヘツダデータHD3、HD4及びHD5に順次受け渡すことによ
り、可変長符号化回路38及び逆量子化回路40に送出す
る。
可変長符号化回路38は、入力されたヘツダデータHD5
のフラグデータFLAGSに含まれる駒落しフラグDrop fram
e flagが「1」に指定されている場合には、当該ヘツダ
データHD5に対応して入力される量子化画像データS39を
可変長符号可処理しないことにより、伝送画像データS4
0を送出しないようになされている。
このようにしてフイルタ制御ユニツト35は第2のフレ
ームFRM2の全てのマクロブロツクMBについて駒落しフラ
グDrop frame flagを「1」に指定することにより、当
該フレームFRM2の全てのマクロブロツクMBについて可変
長符号化回路38において伝送画像データS40を送出しな
いように制御することにより、当該フレームFRM2が駒落
しされる。
従つてデータ残量Bufferが上限値を越えた状態の伝送
バツフアメモリ32においては、当該1フレーム分のデー
タが入力されないことにより、伝送路43にデータを出力
する分データ残量Bufferが減少する。
これに対して逆量子化回路40は入力されるヘツダデー
タHD5の駒落しフラグDrop frame flagが「1」に指定さ
れているときには、当該ヘツダデータHD5に対応して入
力される量子化画像データS39を逆量子化処理しないこ
とにより、逆量子化データS42を送出しないようになさ
れている。
従つてフイルタ制御ユニツト31において駒落しが指定
されたフレームFRM2の1フレーム分の全てのマクロブロ
ツクMBが逆量子化データS42として出力されないことに
より、予測前フレームメモリ27にあらたに格納される予
測前フレームデータにおいても当該フレームFRM2のデー
タが駒落しされる。
かくして伝送バツフアメモリ32を介して出力される画
像データの駒落し処理に対応して予測前フレームデータ
においても画像データが駒落し処理される。
ここでフイルタ制御ユニツト31は伝送バツフアメモリ
32のデータ残量Bufferに基づいて駒落し指定を開始する
と、当該データ残量Bufferが目標残量値MGを下回るまで
フレーム単位で駒落し処理の指定を続ける。
従つて伝送バツフアメモリ32のデータ残量Bufferが時
点t2(第6図)において上限値を下回つても駒落し処理
が続けられ、第4のフレームFRM4の時点t3において目標
値MGを下回つた際に、フイルタ制御ユニツト31はこれを
検出してこのとき駒落し処理を実行しているフレームFR
M4の全てのマクロブロツクMBの駒落し指定が完了した
後、続くフレームFRM5に対応するヘツダデータの駒落し
フラグDrop frame flagを「0」に指定することによ
り、当該フレームFRM5において量子化画像データS39の
可変長符号化処理を再開する。
従つてこのフレームFRM5の伝送画像データS40から再
び伝送バツフアメモリ32に入力されることにより、当該
伝送バツフアメモリ32のデータ残量Bufferは再び入力デ
ータ量及び出力データ量に応じて変化する。
かくしてフイルタ制御ユニツト31は、データ残量Buff
erが再び上限値を越えない限りフレーム単位ごとに当該
フレームを構成する全てのマクロブロツクMBに対応する
ヘツダデータの駒落しフラグDrop frame flagを「0」
に指定することにより、伝送画像データS40が伝送バツ
フアメモリ32に入力され、これに応じてデータ残量Buff
erが変化する。
このとき入力される伝送画像データS40のデータ発生
量が駒落し処理を実行する前の状態と同じように急激に
増加している場合においても、伝送バツフアメモリ32に
おいてはデータ残量Bufferが目標値MGまで減らされてい
ることにより、直ちに駒落し処理が再開されないように
なされている。
従つて伝送されるフレーム及び駒落しされて伝送され
ないフレームが例えば1フレームごとに繰り返されるよ
うな状態を回避することができ、伝送バツフアメモリ32
から出力される画像データを再生して得られる映像にお
いては、視覚上動きの滑らかさが損なわれないようにし
得る。
また駒落し処理によつてデータ残量Bufferが目標値MG
(QNT=1)まで減らされていることにより、例えば続
くフレームFRM6において伝送画像データS40のデータ発
生量が減少した場合には、当該データ残量Bufferが上限
値まで増加していないのでこの分当該データ残量Buffer
を一段と短時間のうちに目標値MG(QNT=1)に収束さ
せることができる。
従つて動きの速い画像(すなわち伝送画像データ量が
多い画像)が急に動きの遅い画像(すなわち伝送画像デ
ータ量が少ない画像)に変化した際には、短時間で細か
い量子化ステツプ(QNT=1)に制御されることによ
り、画像の動きが遅くなつた際に直ちに細かい画像表現
をすることができる。
因に動きの速い画像は粗い画像で表現しても視覚上画
像が劣化したことを認識しないと共に、動きの遅い画像
においては視覚上細かい部分まで敏感に認識し得ること
により、画像の動きが遅くなつた際に直ちに量子化ステ
ツプサイズを細かくすることができることにより、画質
の劣化を視覚上回避することができる。
ここで第7図は伝送バツフアメモリ32に入力される各
フレームの伝送画像データ量(すなわち可変長符号化デ
ータ)の累積値TRMを示し、FD11〜FD26は各フレームFRM
11〜FRM26におけるそれぞれ1フレーム分の伝送画像デ
ータ量を表わす。
例えばフレームFRM16における1フレーム分の伝送画
像データ量FD16が入力されてデータ残量Bufferが上限値
(QNT=31)を越えると当該フレームFRM16のすべてのデ
ータが入力し終ると同時に駒落し処理が開始され、デー
タ残量Bufferが相対的に減少する。
その結果フレームFRM17の伝送画像データFD17が入力
される前に伝送バツフアメモリ32のデータ残量Bufferが
目標値MG(QNT=1)を下回ることにより、当該フレー
ムFRM17の伝送画像データの入力が再開される。
このとき例えば続くフレームFRM17、FRM18及びFRM19
の伝送画像データ量FD17、FD18及びFD19が小さい値であ
り、フレームFRM20の伝送画像データを入力する前に伝
送バツフアメモリ32のデータ残量Bufferがアンダーフロ
ーレベルUNDERを下回る場合には、当該アンダーフロー
レベルUNDERを下回る前にデータ間にスタツフイングビ
ツトを介挿することにより、伝送バツフアメモリ32がア
ンダーフローしないようになされている。
かくして伝送バツフアメモリ32においては、駒落し処
理又はスタツフイングビツト介挿処理の手法を用いてデ
ータ残量Bufferがオーバーフロー又はアンダーフローし
ないようになされ、目標値(QNT=1)にできるだけ収
束するように制御される。
以上の構成によれば、伝送バツフアメモリ32のデータ
残量Bufferを目標値MG(QNT=1)に収束させるように
駒落し処理をするようにしたことにより、当該伝送バツ
フアメモリ32の出力データを再生するにつき、視覚上一
段と動きの滑らかな映像を得ると共に画質の劣化を回避
することができる。
(G3)他の実施例 上述の実施例においては、駒落し終了の検出レベルと
して目標値MG(QNT=1)の値を用いた場合について述
べたが、本発明はこれに限らず、例えば動きの速い映像
又は動きの遅い映像等による伝送画像データの発生量の
傾向によつて量子化サイズ可制御範囲QCR内の他のレベ
ルに目標値MGを変更するようにしても良い。
また上述の実施例においては、フイルタ制御ユニツト
31において伝送バツフアメモリ32のデータ残量Bufferを
検出し、駒落し指定をする場合について述べたが、本発
明はこれに限らず、伝送バツフアメモリ32の前段に設け
られた他のデータ処理ユニツトにおいて検出及び指定処
理するようにしても良い。
また上述の実施例においては、可変長符号化回路38に
おいて駒落し処理を実行するようにした場合について述
べたが、本発明はこれに限らず、例えば量子化回路37に
おいてヘツダデータの駒落し指定を検出して駒落し処理
を実行する等、要は伝送バツフアメモリ32の前段におい
て駒落し処理をすれば良い。
さらに上述の実施例においては、音声信号と共に映像
信号を伝送する画像情報伝送システムに本発明を適用し
た場合について述べたが、本発明はこれに限らず、映像
信号を高能率符号化処理して伝送する場合等に広く適用
することができる。
H発明の効果 上述のように本発明によれば、伝送バツフアメモリの
データ残量値が所定の上限値を越えた際に、当該データ
残量値が上記上限値よりも少ない所定のデータ残量値ま
で減少するまで、駒落し処理を実行するようにしたこと
により、視覚上一段と動きの滑らかな映像を得ることが
できると共に、画質の劣化を回避することができる。
【図面の簡単な説明】
第1図及び第2図は本発明による映像信号符号化装置を
用いた画像情報伝送システムを構成するエンコーダ及び
デコーダを示すブロツク図、第3図はフレーム画像デー
タの構成を示す略線図、第4図は第1図のヘツダデータ
処理系を示すブロツク図、第5図は第4図のフラグデー
タの構成を示す略線図、第6図は駒落しによる伝送バツ
フアメモリのデータ残量の変化を示す特性曲線図、第7
図は伝送バツフアメモリに入力される伝送画像データの
累積値を示す曲線図、第8図はフレーム内/フレーム間
符号化処理の説明に供する略線図、第9図は従来の画像
データ発生装置を示すブロツク図、第10図はその量子化
ステツプを示す曲線図である。 21……画像情報伝送システム、21A……エンコーダ、21B
……デコーダ、25……動き補償回路、26……動き補償制
御ユニツト、27……予測前フレームメモリ、28……画像
データ符号化回路、29……変換符号化回路、30……フレ
ーム間/フレーム内符号化制御ユニツト、31……フイル
タ制御ユニツト、32……伝送バツフアメモリ、34……伝
送ブロツク設定回路、35……スレシヨルド制御ユニツ
ト、36……量子化制御ユニツト、37……量子化回路、38
……可変長符号化回路、43……伝送路、S32……残量デ
ータ、S40……伝送画像データ。

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】入力画像データを符号化する画像データ符
    号化装置において、 供給された量子化ステツプに基づいて、上記入力画像デ
    ータを量子化する量子化手段と、 上記量子化された画像データを符号化する符号化手段
    と、 上記符号化された画像データを伝送媒体を介して復号化
    装置に伝送するために、上記符号化された画像データを
    記憶するバツフア手段と、 上記バツフア手段のデータ残量を所定の範囲内に維持す
    るために、上記バツフア手段のデータ残量に基づいて上
    記量子化手段の量子化ステツプを制御する量子化ステツ
    プ制御手段と、 上記量子化ステツプ制御手段によつて制御された量子化
    ステツプに基づいて上記入力画像データを量子化し、そ
    の量子化された画像データを上記符号化手段によつて符
    号化し、その符号化された画像データを上記バツフア手
    段に記憶したときに、上記バツフア手段のデータ残量が
    所定の上限値を越えている場合には、上記バツフア手段
    への符号化された画像データの供給を停止するように上
    記符号化手段を制御し、 上記バツフア手段のデータ残量が上記上限値よりも小さ
    な所定の目標値まで減少したとき上記バツフア手段への
    上記符号化された画像データの供給の停止を解除するよ
    うに上記符号化手段を制御することにより、上記バツフ
    ア手段のデータ残量に応じた量子化ステツプに基づいて
    量子化された画像データを上記符号化手段によつて符号
    化し、その符号化された画像データを上記バツフア手段
    に供給開始する制御手段と を具えることを特徴とする画像データ符号化装置。
JP04753190A 1990-02-26 1990-02-28 画像データ符号化装置 Expired - Lifetime JP3154254B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP04753190A JP3154254B2 (ja) 1990-02-28 1990-02-28 画像データ符号化装置
US07/658,787 US5164828A (en) 1990-02-26 1991-02-21 Video signal transmission and method and apparatus for coding video signal used in this
DE69130076T DE69130076T2 (de) 1990-02-26 1991-02-25 Videosignalübertragungssystem und -verfahren zur Kodierung von Videosignalen
EP91301467A EP0444839B1 (en) 1990-02-26 1991-02-25 Video signal transmission system and method for coding a video signal
EP96110475A EP0739142B1 (en) 1990-02-26 1991-02-25 Video signal coding system and method
EP96110477A EP0739143B1 (en) 1990-02-26 1991-02-25 Video signal coding system and method
DE69133024T DE69133024T2 (de) 1990-02-26 1991-02-25 System und Methode zur Kodierung von Videosignalen
DE69132646T DE69132646T2 (de) 1990-02-26 1991-02-25 System und Methode zum Kodieren von Videosignalen
KR1019910003080A KR100248692B1 (ko) 1990-02-26 1991-02-26 비디오 신호 코딩 시스템과 비디오 신호 코딩 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04753190A JP3154254B2 (ja) 1990-02-28 1990-02-28 画像データ符号化装置

Publications (2)

Publication Number Publication Date
JPH03250884A JPH03250884A (ja) 1991-11-08
JP3154254B2 true JP3154254B2 (ja) 2001-04-09

Family

ID=12777707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04753190A Expired - Lifetime JP3154254B2 (ja) 1990-02-26 1990-02-28 画像データ符号化装置

Country Status (1)

Country Link
JP (1) JP3154254B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4845869B2 (ja) * 2007-12-26 2011-12-28 株式会社ナナオ 画像出力装置、コンピュータプログラム及び画像出力方法
JP5227875B2 (ja) * 2009-04-06 2013-07-03 株式会社日立製作所 動画像符号化装置
JP6066561B2 (ja) * 2012-01-26 2017-01-25 キヤノン株式会社 映像処理装置、映像処理方法およびプログラム
JP6216756B2 (ja) * 2015-09-30 2017-10-18 Kddi株式会社 装置間通信システム、情報送信装置、及び情報受信装置
CN115103190A (zh) * 2022-06-14 2022-09-23 晶晨芯半导体(成都)有限公司 编码器码率控制方法及模块、芯片、电子设备和存储介质

Also Published As

Publication number Publication date
JPH03250884A (ja) 1991-11-08

Similar Documents

Publication Publication Date Title
JP2969782B2 (ja) 符号化データ編集方法及び符号化データ編集装置
US5638125A (en) Quantization step size control apparatus using neural networks
EP0616472B1 (en) Transmission and decoding of picture signals
JP3338460B2 (ja) 映像信号符号化装置及び映像信号符号化方法
JPH0595540A (ja) 動画像符号化装置
EP0558259B1 (en) Video signal transmission
JP3957337B2 (ja) 符号化器
JP3154254B2 (ja) 画像データ符号化装置
JPH06237454A (ja) 可変長符号化を考慮した動作推定装置
JP3122108B2 (ja) 映像信号符号化方法及びその装置
JP3038759B2 (ja) 画像データ符号化装置
JP3287836B2 (ja) 画像データ符号化装置
JP3779066B2 (ja) 動画像符号化装置
JP3786340B2 (ja) 符号化装置及び方法
JP3461151B2 (ja) 符号化装置及び方法
JPH0638191A (ja) 動画像信号符号化装置
JP3830722B2 (ja) 符号化装置及び方法
JP3674761B2 (ja) 符号化装置及び方法
JPH03247191A (ja) 映像信号符号化方法
JPH03256484A (ja) 映像信号符号化方法
JP2000333178A (ja) 符号化装置及び方法
JPH05227510A (ja) 映像信号伝送装置
JP3307969B2 (ja) 映像信号伝送装置
JP3521986B2 (ja) 動画符号化装置
JPH05227513A (ja) 映像信号伝送装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080202

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090202

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100202

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100202

Year of fee payment: 9

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 10

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110202

Year of fee payment: 10