JP3345475B2 - 画像データの符号化方法及び復元方法並びに装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データを圧縮し、
またデータ圧縮された画像を復元する画像データの符号
化方法および復元方法並びに装置に関し、特に、複数の
画像の各々の多値画像を、複数の画素からなるブロック
に分割して、ブロック内の画素を直交変換して符号化す
る多値画像の直交変換符号化による画像データの符号化
方法および復元方法並びに装置に関する。

【０００２】数値データに比べて情報量が桁違いに大き
い画像データ、特に、中間調画像やカラー画像のデータ
を蓄積し、あるいは、高速、高品質で伝送するために
は、画素毎の階調値を高能率に符号化する必要がある。
画像データの高能率な圧縮方式として、例えば適応離散
コサイン変換符号化方式（Adaptive Discrete CosineTr
ansform 以下、略して「ＡＤＣＴ」と称する）があ
る。

【０００３】ＡＤＣＴは、画像を８×８画素からなるブ
ロックに分割し、各ブロックの画信号を２次元離散コサ
イン変換（以下、「ＤＣＴ」と称する）により空間周波
数分布の係数に変換する。更に視覚に適応した閾値で空
間周波数分布の係数を量子化し、求まった量子化係数を
統計的に求めたハフマン・テーブルにより符号化するも
のである。

【０００４】

【従来の技術】従来、静止画像の符号化装置では、対象
が動画像であっても静止画像の集合と考え、各画像を単
独に符号化する。図１４に従来の静止画像の符号化装置
の例を示す。入力端子１０４からはフレーム画像データ
の中から縦８画素×横８画素＝６４画素で構成されるブ
ロック毎の画像データが入力され、ブロックバッファ１
０６に保持される。

【０００５】ＤＣＴ変換部１０８は各ブロックの画素信
号を２次元離散コサイン変換により空間周波数分布のＤ
ＣＴ係数に変換する。次に量子化部１１０が、視覚に適
応した量子化閾値１１２を用いてＤＣＴ係数を量子化
し、最後に量子化ＤＣＴ係数を統計的に求めたハフマン
符号表１１６により可変長符号化部１１４で可変長符号
化し、符号データとして出力端子１１８より送出する。

【０００６】従来の静止画像の復元装置は、図１５に示
すように符号化装置と逆の順序で画像を復元して順次画
像メモリに書き込み、１画面の画像を復元する。まず入
力端子１２０からブロック単位に符号データを入力し、
可変長復号化部１２２でハフマン復号表１２４を使用し
て固定長の量子化ＤＣＴ係数を復号する。次に逆量子化
部１２６で量子化ＤＣＴ係数に量子化閾値１２８を掛け
合せる逆量子化を行ってＤＣＴ係数に変換し、逆ＤＣＴ
変換部１３０による逆ＤＣＴで１ブロック分の画素信号
を復元する。

【０００７】このときブロック内画素書き込み制御部１
３４による制御のもとにブロックアドレス発生部１３６
より１ブロック分の画素書込アドレスを発生し、画像メ
モリ１３２の該当するブロック位置に復元した画素信号
を書き込む。このような静止画像の符号化装置および復
元装置は、ＬＳＩ化により高速符号化と高速復元が可能
となり、現在で３０枚／秒の符号化復元性能が可能とな
っており、簡単な構成で動画像の符号化と復元が可能で
ある。

【０００８】一方、連続シーンを対象としたテレビ会議
向けの動画像の符号化技術がある。図１６に従来の動画
像符号化装置の基本部分の構成を示す。動画像の符号化
技術では、前画像の符号化データを復元した復元画像デ
ータを基準画像データとして現画データとの像との差分
を求め、この差分データに対してＤＣＴ、量子化、およ
び可変長符号化を施すことを基本にしている。

【０００９】すなわち入力端子１３８からの現フレーム
の画像データと、画像メモリ１６２に保持している前回
の符号化データから復元した基準画像データとの差分画
像を差分生成部１４０でブロックごとに求めてブロック
バッファ１４２に格納し、ＤＣＴ変換部１４４、量子化
部１４６、ハフマン符号表１５０を備えた可変長符号化
部１４８により符号化し、符号バッファ１５２に格納し
た後、出力端子１６４から送出する。

【００１０】一方、量子化部１４６からの量子化ＤＣＴ
係数は逆量子化部１５６および逆ＤＣＴ部１５８で復元
され、加算部１６０で画像メモリ１６２に保持している
前回までの復元データの該当するブロック画像に加算さ
れ、画像メモリ１６２の基準画像を更新する。更に、出
力端子１６４から送出される符号データの符号量が、予
め定めた符号レートに基づく単位時間当りの符号量に納
まるように、レコード制御部１５４が符号データの符号
量を符号バッファ１５２の格納容量から検出し、最適な
符号量になるように、量子化部１４６で使用する量子化
閾値を変更する。例えば符号量が多い場合は、量子化閾
値を上げて画質を落し、符号量が少なく余裕がある場合
は、量子化閾値を下げて画質を向上させる。

【００１１】また従来の動画像の復元装置は、図１７に
示すように、符号化装置と逆の順序で、入力端子１６６
から入力した符号データを、ハフマン復号表１７０を備
えた可変長復号化部１６８、逆量子化部１７２、逆ＤＣ
Ｔ部１７４で復元する。復元した１ブロック分の差分画
像を示す画像信号は、前画面までの復元画像を格納して
いる画像メモリ１７８からの画像信号に加算部１７６で
加算され、加算結果をブロック内画素書き込み制御部１
８０およびブロックアドレス発生部１８２により画像メ
モリ１７８に書き込み、新たな差分変化を生じた画像を
復元する。

【００１２】ここで、符号化装置の符号量を決める適切
な符号レートとしては、ＩＳＤＮ等の通信網を介して伝
送する場合は通信網の最大転送速度等を考慮して予め決
められる。また符号データを記憶媒体に記憶する場合
は、記憶媒体の記憶容量を考慮して決められる。例え
ば、通信網の最大転送速度が６４，０００ｂｐｓ、１ｂ
ｙｔｅを８ｂｉｔ、１秒間に３０フレームを表示する動
画像を伝送する場合、 ６４０００ｂｐｓ／３０枚＝２１３３ｂｉｔ／枚＝２６
７ｂｙｔｅ となる。このため２６７ｂｙｔｅ以下であれば、毎秒３
０枚の動画像伝送が可能となる。そこで、最適な符号レ
ート（１フレームの符号量）を２６７ｂｙｔｅ以下の
値、例えば２６０ｂｙｔｅに設定する。

【００１３】動画像を静止画像の集合とみなし、静止画
像の符号化装置により各画像を単独に符号化する方法に
よれば、簡単な方法で、しかも、小さな回路規模で動画
像の復元ができる長所がある。そこで、本願発明者等に
あっては、図１８示す画像データの符号化・復元装置を
提案している。この装置は、符号量の制御として、符号
量が符号レートに基づく単位時間当りの符号量をオーバ
ーする場合には、前画面のコピーを行なうことを指示す
る制御コード、すなわちコピーコードを送り、１秒間に
実際に転送する画像の枚数を減らすようにしたことを特
徴とする。

【００１４】すなわち符号化装置にあっては、符号化部
１８２によるフレーム当りの符号量ｆと、基準符号量保
持部１８６からの基準符号量Ｆとを符号量判定部１８８
で比較している。符号量ｆが基準符号量Ｆより少なけれ
ば、符号データ出力部１８４は符号化部１８２からの符
号データを出力する。符号量ｆが基準符号量Ｆより多く
なると、１フレーム周期内では全ての符号を転送しきれ
なくなるので、この場合は、符号データ出力部１８４は
固定的に決めたコピーコードを出力し、このフレームの
符号データは転送しない。

【００１５】基準符号量更新部１９０は、コピーコード
を送った際に、次のフレーム周期で使用する基準符号量
Ｆを２倍にし、前フレームから継続して行っている符号
化による符号量が基準符号量をオーバーしないように更
新する。このためコピーコードを送った次のフレーム周
期は、前周期からの符号化転送に使用されるため、間引
かれることになる。

【００１６】復元装置にあっては、符号解析部１９２で
符号データかコピーコードかを解析する。符号データで
あれば、復元化部１９４で復元して画像メモリ１９６を
書き替え、フレーム表示制御部１９８が書き替えた画像
メモリ１９６の画像データを表示させる。コピーコード
であれば、フレーム表示制御部１９８が画像メモリ１９
６に保持している前回の復元画像を読出して表示させ
る。

【００１７】このような画像データの符号化装置および
復元装置によれば、転送される画像を質を一定（同一の
量子化条件）に保った動画像の符号化と復元が実現でき
る。

【００１８】

【発明が解決しようとする課題】ところで図１８に示し
た画像データの符号化装置および復元装置によれば、復
元画像の画質を一定に保つために量子化条件を固定して
いるため、フレーム画像の符号量が転送レートで決まる
符号量を越えた場合は、コピーコードを送って前の画像
をコピーさせており、そのシーンが静止している場合は
問題がない。

【００１９】しかし、動きの激しいシーンでコピーコー
ドを送って前の画像をコピーした場合には、コピーコー
ドを送った次のフレーム画像が間引かれるため動きが不
連続になり、不自然な動きが知覚されるという問題があ
った。本発明の目的は、符号化した動画像を一定のレー
トで転送でき、しかも、動きの激しいシーンを自然に再
現できる高画質な画像データの符号化方法および復元方
法並びに装置を提供することにある。

【００２０】

【課題を解決するための手段】図１は装置構成を対象と
した本発明の原理説明図である。画像データを符号化す
る画像データの符号化装置は、画像データ保持手段１
２、静止画検出手段１４、画像データ符号化手段１６、
符号データ保持手段１８、コピーコード保持手段２０、
基準符号量保持手段２２、処理判定手段２６、量子化閾
値更新手段２８、符号データ制御手段３２、選択スイッ
チ３４および基準符号量更新手段３６で構成される。

【００２１】画像データ保持手段１２は符号化対象とな
るフレーム画像データを保持する。静止画検出手段１４
は、符号化対象となるフレーム画像が静止画であるか同
がであるかを検出する。例えば、符号化対象となった１
フレーム画像を構成する奇数フィールドと偶数フィール
ドの各画像の相関に基づいて、フレーム画像が静止画か
動画かを判別する。

【００２２】画像データ符号化手段１６は、ＡＤＣＴに
よりフレーム画像データを符号化する。符号データ保持
手段１８は、符号化されたフレーム符号データを保持す
る。コピーコード保持手段２０は、前フレームの画像デ
ータと同一データであることを示すコピーコードを保持
する。さらに、基準符号量保持手段２２は、符号化レー
トに基づいた１フレーム当りの基準符号量を保持する。

【００２３】処理判定手段２６は、画像データ符号化手
段１６から得られる１フレーム当りの符号量ｆが基準符
号量保持手段２２に設定されている基準符号量Ｆより多
い場合で且つ静止画であった場合は複写モードを選択
し、１フレーム当りの符号量ｆが基準符号量保持手段２
２で設定されている基準符号量Ｆより多い場合で且つ動
画であった場合は量子化閾値変更モードを選択する。

【００２４】符号データ制御手段３２は、処理判定手段
２６で量子化係数変更モードを決定した際の指示で、符
号データ保持手段１８に保持したフレーム符号を選択ス
イッチ３４で選択して出力し、一方、処理判定手段２６
で複写モードを決定した際の指示で、コピーコード保持
手段２０に保持したコピーコードを選択スイッチ３４で
選択して出力する。

【００２５】基準符号量更新手段３６は、符号データ制
御手段３２におけるフレーム符号データ出力時の指示
で、基準符号量保持手段２２の基準符号量Ｆの値を変更
し、また、符号データ制御手段３２におけるコピーコー
ド出力時の指示で、基準符号量保持手段２２の基準符号
量Ｆを１フレーム分増加させる。さらに詳しくは、符号
化による１フレーム当りの符号量ｆが基準符号量Ｆより
小さい場合（ｆ＜Ｆ）は、基準符号量更新手段３６は、
両者の差（Ｆ−ｆ）分だけ基準符号量Ｆを増加させ、且
つ処理判定手段２６は量子化閾値を低い値に設定変更し
て１フレーム当りの符号量ｆを増加させる。

【００２６】逆に符号化による１フレーム当りの符号量
ｆが基準符号量Ｆより大きい場合（ｆ＞Ｆ）は、基準符
号量更新手段３６は両者の差（ｆ−Ｆ）分だけ基準符号
量Ｆを減少させ、且つ処理判定手段２６は量子化閾値を
高い値に設定変更して１フレーム当りの符号量ｆを減少
させる。次に本発明の復元装置は、符号化装置から転送
されるフレーム符号データ又は前回符号化したフレーム
画像と同一の画像であることを指示するコピーコードを
含む符号データからフレーム画像を復元する。この復元
装置は、画像保持手段８６、符号解析手段８２、復元手
段８４および画像表示制御手段８８で構成される。

【００２７】画像保持手段８６は、復元したフレーム画
像を保持する。符号解析手段８２は、入力した符号デー
タを解析し、フレーム符号コードかコピーコードかを識
別して個別に出力する。復元手段８４は、符号解析手段
８２でフレーム符号データを識別した場合に、逆ＡＤＣ
Ｔによりフレーム符号データからフレーム画像データを
復元して画像保持手段８６のフレーム画像を更新する。

【００２８】画像表示制御手段８８は、符号解析手段８
２でフレーム符号データを識別した場合、画像保持手段
８６で更新済みの復元フレーム画像を表示させ、符号解
析手段８２でコピーコードを識別した場合は、画像保持
手段８６に保持した前フレームの復元フレーム画像を表
示させる。

【００２９】

【作用】このような本発明の画像データの符号化方法お
よび復元方法並びに装置によれば、予め得たい符号レー
ト、即ちフレーム周期当りに転送又は記憶可能な符号量
を基準符号量として設定し、基準符号量をオーバーする
符号データは転送をやめ、コピーコードのみを伝送す
る。そして、次のフレーム周期の基準符号量に前周期の
基準符号量を加算して新たな基準符号量とし、前周期か
ら継続して求めている実際の符号量と比較し、再度転送
できるかを判定し、基準符号量以内であれば符号の転送
を行う。復元では有効な符号データのみを復元し、コピ
ーコードを受信した場合には、前フレームの画像データ
をそのまま表示する。

【００３０】さらに、コピーコードの作成条件として本
発明は、符号化対象の画像が静止画か動画かを識別し
て、静止画の場合にのみコピーコードを送る。動画像の
場合には、次のフレームにおいて画質を落して発生する
符号量を小さくする。つまり、量子化閾値をある所定値
だけ増加させて符号化を行なうことで、符号化される画
像の枚数を減少させることなく、画質を落して、符号レ
ートを満足させる。

【００３１】

【実施例】図２は本発明による画像データの符号化装置
の一実施例を示した実施例構成図である。図２の符号化
装置は入力端子１０，画像バッファ１２，静止画像検出
部１４，符号化部１６，符号バッファ１８，固定データ
保持部２０，基準符号量保持部２２，処理判定部２６，
量子化閾値更新部２８，符号データ制御部３２と選択ス
イッチ３４を備えた符号データ出力部３０、及び出力端
子３８で構成される。

【００３２】入力端子１０からはフレーム単位に画像デ
ータが入力される。画像バッファ１２は１フレーム分の
画像データを格納する。ここでフレーム画像はＮＴＳＣ
方式から明らかなように、奇数ラインの奇数フィールド
画像と偶数ラインの偶数フィールド画像で構成されてい
る。静止画像検出部１４は画像バッファ１２に格納され
た符号化対象となったフレーム画像が静止画像か動画像
かを検出する。

【００３３】図４は図２の静止画像検出部１４による検
出処理を示した説明図である。符号化対象となったフレ
ーム画像５４は偶数フィールド画像５６と奇数フィール
ド画像５８の２つのフィールド画像から構成されてい
る。静止している画像の場合、偶数フィールド画像５６
と奇数フィールド画像５８との間では相関が高い。一
方、動いている画像の場合は偶数フィールド画像５６と
奇数フィールド画像５８の相関は低い。

【００３４】そこで相関演算部６０において、偶数フィ
ールド５６と奇数フィールド５８の同一位置の画素値の
差の絶対値の総和として相関値を求める。この相関値を
比較判定部６２に示すように、ある定数Ｋを定めて比較
し、定数Ｋより小さい画像は相関の高い静止画像６４で
あり、定数Ｋより大きい画像は相関が低い動画像６６で
あると判定することができる。

【００３５】再び図２を参照するに、静止画像検出部１
４で検出された動画像か静止画像かを示す信号は処理判
定部２６に与えられる。画像バッファ１２に格納された
１フレーム分の画像は符号化部１６により符号データに
変換される。符号化部１６は図３に示す構成を有する。
図３の符号化部１６にあっては、フレーム画像を８画素
×８画素＝６４画素単位に分割したブロック毎の画像デ
ータを入力する。２次元ＤＣＴ部４２は各ブロックの画
素信号を２次元離散コサイン変換により空間周波数分布
のＤＣＴ係数に変換する。

【００３６】次に線形量子化部４４で量子化マトリクス
４６として格納された比較に適応した量子化閾値を用い
て量子化（割算）して、量子化ＤＣＴ係数を求める。最
後に量子化ＤＣＴ係数を統計的に求めたハフマン符号表
５０により可変長符号化部４８で可変長符号化し、出力
端子５２より符号データとして出力し、図２の符号バッ
ファ１８に格納する。符号バッファ１８に格納された１
フレーム分の符号量は符号量ｆとして処理判定部２６に
通知される。

【００３７】処理判定部２６は静止画像検出部１４から
の動画像か静止画像かを示す信号、符号バッファ１８か
らの符号量ｆ、及び基準符号量保持部２２からの基準符
号量Ｆに基づいて、符号データ出力部３０による出力制
御、量子化閾値更新部２８に対する量子化閾値の更新、
更に符号データ制御部３２を経由した基準符号更新部３
６による基準符号量Ｆの更新を行わせるための指示信号
を出力する。この処理判定部２６による処理は後の説明
で更に明らかにする。

【００３８】符号データ出力部３０に設けた符号データ
制御部３２は処理判定部２６の指示に基づき選択スイッ
チ３４を制御して、符号データバッファ１８に格納され
た符号データまたは固定データ保持部２０に保持された
コピーコードを出力端子３８より出力する。この符号デ
ータ出力部３０による動画符号データの転送フレームは
図５に示すようになる。

【００３９】図５は連続する静止画像を転送する符号デ
ータのフレームフォーマットを示している。このフレー
ムフォーマットは先頭の動画開始コード（ＳＯＭ；Star
t ofMotion ）６８から始まり、ｎフレーム分の符号デ
ータ７０を送り、最後に動画終了コード（ＥＯＭ; End
of Motion)７２で終わる。ｎフレーム分の符号データ７
０は０番のフレームについて取り出して示すように、符
号開始コード（ＳＯＩ; Start of Image) ７４で始ま
り、間に１フレームを構成する複数ブロック分の符号デ
ータを配置し、最終的に無候終了コード（ＥＯＩ; End
of Image）７８で終わる。また、１ブロック分の符号デ
ータ７０としては、符号データの代わりにコピーコード
（ＣＯＩ; Copy of image ）８０を配置する場合もあ
る。

【００４０】図５のフレームフォーマットで固定的に使
用する動画開始コード６８，動画終了コード７２のそれ
ぞれは固定データとして図２の固定データ保持部２０に
保持されている。更に、１フレーム分の符号データの代
わりに転送するコピーコード８０についても同様に、固
定データ保持部２０に保持されている。図２の処理判定
部２６は符号バッファ１８からの符号量ｆと基準符号量
保持部２２からの基準符号量Ｆの大小関係と、静止画像
検出部１４からの動画像か静止画像かを示す信号に基づ
き、符号データの出力かコピーデータの出力かを決定す
る。まず、基準符号量保持部２２には予め符号レートに
基づいた符号量ｆｒが基準符号量Ｆとして保持されてい
る。例えば、基準符号量Ｆの初期値として使用される符
号レートに基づいた符号量ｆｒは、６４Ｋｂｐｓの転送
能力をもつネットワークを使用して１秒間に３０フレー
ムの動画像を転送する場合には、１フレーム画像当たり
の符号量は２６７ｂｙｔｅとなることから、最適な符号
レートｆｒを例えばｆｒ＝２６０ｂｙｔｅに設定する。

【００４１】処理判定部２６による出力データの決定は
次の基準に従う。 符号データの符号量ｆが基準符号量Ｆより少ない場合
（ｆ＜Ｆ）、選択スイッチ３４により符号バッファ１８
の符号データを選択して出力する。 符号データの符号量ｆが基準符号量Ｆより多い場合で
（ｆ＞Ｆ）、且つ静止画像であった場合は、選択スイッ
チ３４により固定データ保持部２０のコピーコードを選
択して出力し、符号データは出力しない。

【００４２】符号データの符号量ｆが基準符号量Ｆよ
り多い場合で（ｆ＞Ｆ）で、且つ動画像であった場合
は、選択スイッチ３４により符号バッファ１８を選択し
て符号データを出力する。同時に、量子化閾値更新部２
８に量子化閾値ＳＦを所定値だけ増加させる指示を行
い、次のフレーム画像の符号量ｆを減少させる。 図６は図２の判定処理部２６の指示に基づく符号データ
の転送処理を前記のそれぞれの条件について示し
たタイムチャートである。

【００４３】図６において、フレーム周期Ｔ₁₁，Ｔ₁₂で
処理対象となったフレーム画像Ａ₁₁，Ａ₁₂の符号データ
Ｂ₁₁，Ｂ₁₂のそれぞれは、共に符号量ｆが基準符号量Ｆ
より少なく、図５に示したフォーマットに従った転送信
号として出力される。ここで、フレーム画像の符号化に
対し、符号データの転送は１フレーム分遅延したタイミ
ングで示している。

【００４４】次に、フレーム周期Ｔ₂₁のフレーム画像Ａ
₂₁は静止画像と判断され、フレーム画像Ａ₂₁の符号化で
得られた符号データＢ₂₁の符号量ｆは基準符号量Ｆをオ
ーバーしていたとする。この場合にはフレーム周期Ｔ₂₁
に対応した転送周期での符号データの転送終了はできな
いことから、フレーム画像Ａ₂₁の符号データＢ₂₁の転送
を開始し、続いてコピーコード８０を送る。このため、
符号レートをオーバーする符号量となったフレーム画像
Ａ₂₁に続く次のフレーム周期Ｔ₂₂のフレーム画像Ａ₂₂は
間引きされることになる。

【００４５】フレーム周期Ｔ₃₁のフレーム画像Ａ₃₁は動
画と判断され、その符号データＢ₃₁の符号量ｆは基準符
号量Ｆをオーバーしていたとする。このように、符号デ
ータＢ₃₁の符号量が基準符号量Ｆをオーバーしても、動
画の場合には静止画のようにコピーコード８０は転送せ
ず、動画Ａ₃₁の符号データＢ₃₁の転送を開始する。この
とき、次のフレーム周期Ｔ₃₂のフレーム画像Ａ₃₂を符号
化するための量子化閾値ＳＦを所定値だけ増加させ、量
子化閾値ＳＦの増加によりフレーム画像Ａ₃₂から得られ
る符号データＢ₃₂の符号量ｆを減少させる。

【００４６】このような量子化閾値ＳＦの増加に伴う符
号量の減少により、符号レートを越える符号量を持った
符号データＢ₃₁に続く次のフレーム画像Ａ₃₂の符号デー
タＢ ₃₂の符号量は少なくなり、フレーム周期Ｔ₃₁にフレ
ーム周期Ｔ₃₂を加えた転送周期内でそれぞれの符号デー
タＢ₃₁，Ｂ₃₂を転送することができる。即ち、動画像の
場合は符号量ｆが基準符号量Ｆを越えてもコピーコード
の送出に伴う次のフレーム画像の間引きが行われず、画
質は低下するが、動画像を全て連続的に符号化して転送
することができる。

【００４７】次に、符号データ出力部３０における前記
〜の条件に従った出力処理に対応した基準符号更新
部３６における基準符号量Ｆの更新処理を説明する。図
７は符号データの符号量ｆが基準符号量Ｆより少ないと
きの前記条件における基準符号量更新処理を示し、図
６のフレーム周期Ｔ₁₁，Ｔ₁₂に対応している。まず最初
のフレーム周期Ｔ₁₁にあっては、転送レートに基づいて
定めた基準となる符号量ｆｒが基準符号量Ｆとして定め
られており、符号化により得られた符号量ｆは基準符号
量Ｆより少ない。この場合の両者の符号量の差は（Ｆ−
ｆ）となる。

【００４８】このようなフレーム周期Ｔ₁₁については、
次のフレーム周期Ｔ₁₂で使用する基準符号量Ｆとしてフ
レーム周期Ｔ₁₁の基準符号量Ｆ＝ｆｒに、フレーム周期
Ｔ₁₁における基準符号量Ｆと実際の符号量ｆとの差（Ｆ
−ｆ）を加えた符号量を新たな基準符号量Ｆとする。即
ち、 Ｆ＝（Ｆ−ｆ）＋ｆｒ ・・・（１） とする。

【００４９】また、フレーム周期Ｔ₁₁で基準符号量Ｆに
対し実際の符号量ｆが少なく、（Ｆ−ｆ）分の余裕があ
ることから、次のフレーム周期Ｔ₁₂にあっては符号化に
使用する量子化閾値ＳＦを所定値ｘだけ減少させる。こ
のため、フレーム周期Ｔ₁₂にあっては、例えばフレーム
周期Ｔ₁₁と全く同じ画像であったとしても、量子化閾値
ＳＦを下げることで符号量ｆが増加し、転送レートの範
囲内で画質を向上させることができる。

【００５０】図８はフレーム画像が静止画像と識別さ
れ、且つ符号データの符号量ｆが基準符号量Ｆをオーバ
ーした場合の基準符号量Ｆの更新を示したもので、図６
のフレーム周期Ｔ₂₁，Ｔ₂₃に対応している。まず、フレ
ーム周期Ｔ₂₁にあっては、基準符号量Ｆは転送レートに
基づいた符号量ｆｒであり、このときの符号データの符
号量ｆが基準符号量Ｆをオーバーしている。ここで、フ
レーム周期Ｔ₂₁のフレーム画像は静止画像であることか
ら、コピーコードの送出が行われる。次のフレーム周期
Ｔ₂₃にあっては、基準符号量Ｆを１フレーム分増加させ
る。即ち、前周期のフレーム周期Ｔ₂₁で基準符号量Ｆ＝
ｆｒであったことから、次のフレーム周期Ｔ₂₃にあって
は、 Ｆ＝Ｆ＋ｆｒ＝ｆｒ＋ｆｒ ・・・（２） とする。このような基準符号量Ｆの１フレーム分の増加
Ｗ×、フレーム周期Ｔ₂₃にあっては、前周期から継続し
ている符号化による符号量が増加しても、１フレーム分
増加した基準符号量Ｆに納まるようにしている。

【００５１】尚、フレーム周期Ｔ₂₃においてもフレーム
周期Ｔ₂₁のフレーム画像の符号データの符号量ｆが転送
できない場合には、フレーム周期Ｔ₂₂でコピーコードを
送出し、次のフレーム周期Ｔ₂₃に移行して、更に１フレ
ーム分、基準符号量Ｆを増加させた処理を行う。図９は
フレーム画像が動画であり、且つ符号データの符号量ｆ
が基準符号量Ｆをオーバーした場合の前記の条件にお
ける基準符号量Ｆの更新処理を示し、図６のフレーム周
期Ｔ₃₁，Ｔ₃₂に対応している。まずフレーム周期Ｔ₃₁に
あっては、基準符号量Ｆは転送レートにより決まった基
準となる符号量ｆｒであり、フレーム周期Ｔ₃₁の符号デ
ータの符号量ｆが基準符号量Ｆをオーバーしている。こ
の場合の両者の差は（Ｆ−ｆ）となる。但し、Ｆ＜ｆで
あることから、（Ｆ−ｆ）の値はマイナスの値となる。

【００５２】この場合には、次のフレーム周期Ｔ₃₂の符
号化に使用する符号化閾値ＳＦを所定値ｘだけ増加して
符号データの符号量ｆを減らしている。従って、次のフ
レーム周期Ｔ₃₂で使用する基準符号量Ｆについても、前
周期Ｔ₃₁の基準符号量Ｆ＝ｆｒより符号データの符号量
ｆとの差分（Ｆ−ｆ）だけ少ない符号量とする。即ち、 Ｆ＝（Ｆ−ｆ）＋ｆｒ ＝ｆｒ−（ｆ−Ｆ） ・・・（３） とする。

【００５３】図１０は図２の符号化装置による符号化処
理を示したフローチャートである。まずステップＳ１
で、量子化閾値更新部２８は符号化部１６に対し所定の
量子化閾値ｓｆを用いて基準量子化閾値ＳＦをセットす
る。またステップＳ２で基準符号量保持部２２は処理判
定部２６に対し、符号レートに基づいて予め定めた基準
となる符号量ｆｒを基準符号量Ｆとして設定する。次の
ステップＳ３では入力するフレーム画像の終了の有無を
チェックしており、フレーム画像の処理を終了するまで
ステップＳ４以降の処理を繰り返す。

【００５４】この符号化処理は、まずステップＳ４で画
像バッファ１２に格納されたフレーム画像を対象に、図
３に示したＡＤＣＴに従った符号化を行い、符号バッフ
ァ１８に１フレーム分の符号データを格納する。続いて
ステップＳ５で処理判定部２６が符号バッファ１８に格
納した１フレーム分の符号データの符号量ｆが基準符号
量保持部２２により設定された基準符号量Ｆ以下か否か
チェックする。

【００５５】符号データの符号量ｆが基準符号量Ｆ以下
であれば符号量ｆは転送レートを満足していることか
ら、ステップＳ６で符号データ制御部３２により選択ス
イッチ３４を駆動して符号バッファ１８の符号データを
選択して、出力端子３８より図２に示したフレームフォ
ーマットに従って出力する。続いてステップＳ７で、基
準符号量ｆに対し実際の符号量ｆに余裕があることか
ら、量子化閾値更新部２８の量子化閾値ＳＦを下げて画
質を向上するように設定変更する。続いてステップＳ８
で、図７に示したように基準符号量Ｆを更新する。

【００５６】一方、ステップＳ８で符号データの符号量
ｆが基準符号量Ｆをオーバーしていた場合にはステップ
Ｓ９に進み、動画シーンか否か判別する。動画シーンで
なかった場合、即ち静止画像であった場合にはステップ
Ｓ１０に進み、選択スイッチ３４により固定データ保持
部２０からのコピーコードを符号データの代わりにコピ
ーフレームとして出力する。続いてステップＳ１１で基
準符号量Ｆを図８に示したように１フレーム分増加させ
る。

【００５７】ステップＳ９で動画シーンが判別された場
合にはステップＳ１２に進み、選択スイッチ３４により
符号バッファ１８を選択して符号データを出力する。続
いてステップＳ１３で基準量子化閾値ＳＦを所定値ｘだ
け増加させる更新を行い、次のフレーム画像の符号化に
よる符号量を減少させる。更にステップＳ１４で、図９
に示したように基準符号量Ｆを減少させる更新を行う。

【００５８】図１１は本発明による復元装置の実施例を
示した実施例構成図である。この復元装置は入力端子８
１，符号解析部８２，復元部８４，画像メモリ８６及び
フレーム表示制御部８８で構成される。入力端子８１か
らは図２の符号化装置より出力された図５に示すフレー
ムフォーマットを持つ符号データが入力する。符号解析
部８２は各フレームフォーマットに含まれるデータが符
号データかコピーコードかを解析している。符号データ
を識別した場合には識別した符号データを復元部８４に
出力する。

【００５９】復元部８４は図１２に示すように、入力端
子９０，可変長復号化部９２，ハフマン復号表９４，線
形逆量子化部９６，量子化マトリクス９８，２次元逆Ｄ
ＣＴ部１００及び出力端子１０２で構成され、図３に示
した符号化部と逆の変換処理を行い、符号データから画
像データをブロック単位に復元する。再び図１１を参照
するに、復元部８４により復元された１フレーム分の画
像データは画像メモリ８６に格納される。フレーム表示
制御部８８は符号解析部８２により符号データを解析し
た場合には、画像メモリ８６に書き込まれた現フレーム
の復元フレーム画像を読み出して出力表示する。一方、
符号解析部８２よりコピーコードの解析結果を受けた場
合には、フレーム表示制御部８８は画像メモリ８６に格
納されている前フレームの画像データを表示出力し、前
周期のフレーム画像のコピー表示を行う。

【００６０】図１３は図１１の復元装置による復元処理
を示したフローチャートである。まずステップＳ１で、
図５に示したフレームフォーマットから符号データの終
了の有無をチェックしており、終了するまではステップ
Ｓ２〜Ｓ５の復元処理を繰り返す。ステップＳ２では現
在受信したフレーム分の符号データの内容がコピーコー
ドか否かチェックする。コピーコードでなければ符号デ
ータであることからステップＳ３に進み、復元部８４で
１フレーム分の画像データを復元して画像メモリ８６を
更新し、ステップＳ４でフレーム表示制御部８８が復元
画像を表示する。一方、ステップＳ２でコピーコードを
判別した場合はステップＳ５に進み、画像メモリ８６に
保持している前フレームの画像を読み出し、ステップＳ
４で画像表示するようになる。

【００６１】尚、上記の実施例における符号化及び復元
はＪＰＥＧに従っており、その詳細は１９９１年丸善発
行 安田浩著の「マルチメディア符号化の国際標準」の
第１章に示される。

【００６２】

【発明の効果】以上説明してきたように本発明によれ
ば、符号データの復号量が一定の符号レートをオーバー
した場合、動画についてはコピーフレームを送らずに符
号データをそのまま送り、次のフレームでの符号化につ
いて量子化閾値を下げて符号量を下げ、画質は落ちるが
画像を間引くことなく連続的に符号化転送して復元で
き、動きの激しいシーンであっても自然な復元動画像を
得ることができる。

【００６３】また、静止画像用の符号化装置のもつ単純
な構成をそのまま使用して動画用の符号化装置に要求さ
れる一定の符号レートに従った制御を実現でき、高画質
の動画像を一定レートで復元することができる。

【図面の簡単な説明】

【図１】本発明の原理説明図

【図２】本発明による符号化装置の実施例構成図

【図３】図３の符号化部の詳細を示した実施例構成図

【図４】図２における静止画と動画の検出方法を示した
説明図

【図５】本発明で用いる符号データ転送フレームの説明
図

【図６】本発明の符号化と符号データの転送を示したタ
イムチャート

【図７】符号量ｆが基準符号量Ｆより少ない場合の基準
符号量Ｆの更新を示した説明図

【図８】符号量ｆが基準符号量Ｆより多く且つ静止画の
場合の基準符号量Ｆの更新を示した説明図

【図９】符号量ｆが基準符号量Ｆより多く且つ動画の場
合の基準符号量Ｆの更新を示した説明図

【図１０】本発明による符号化処理を示したフローチャ
ート

【図１１】本発明による復元装置の実施例構成図

【図１２】図１１の復元部の詳細を示した実施例構成図

【図１３】本発明による復元処理を示したフローチャー
ト

【図１４】従来の静止画の符号化装置を示したブロック
図

【図１５】従来の静止画の復元装置を示したブロック図

【図１６】従来の動画の符号化装置を示したブロック図

【図１７】従来の動画の復元装置を示したブロック図

【図１８】本願発明者等が提案している符号化装置およ
び復元装置を示したブロック図

【符号の説明】

１０，４０，８１，９０：入力端子 １２：画像バッファ（画像データ保持手段） １４：静止画検出部（静止画検出手段） １６：符号化部（符号化手段） １８：符号バッファ（符号データ保持手段） ２０：固定データ保持部（コピーコード保持手段） ２２：基準符号量保持部（基準符号量保持手段） ２６：処理判定部（処理判定手段） ２８：量子化閾値更新部（量子化閾値更新手段） ３０：符号データ出力部 ３２：符号データ制御部（符号データ制御手段） ３４：選択スイッチ ３６：基準符号更新部（基準符号更新手段） ３８，５２，１０２：出力端子 ４２：２次元ＤＣＴ部 ４４：線形量子化部 ４６：量子化マトリマクス ４８，９８：可変長符号化部 ５０：ハフマン符号表 ５４：フレーム画像 ５６：奇数フィールド画像 ５８：偶数フィールド画像 ６０：相関計算部 ６０：比較判定部 ６４：静止画像 ６６：動画像 ６８：動画開始コード（ＳＯＭ; Start of Mortion） ７０：ｎブロック分の符号データ ７２：動画終了コード（ＥＯＭ; End of Mortion） ７４：符号開始コード（ＳＯＩ; Start of Image） ７６：１ブロック分の符号データ ７８：符号少量コード（ＥＯＩ; End of Image） ８０：コピーコード（ＣＯＩ； Copy of Image） ８２：符号解析部（符号解析手段） ８４：復元部（復元手段） ８６：画像メモリ（画像保持手段） ８８：フレーム表示制御部（画像表示制御手段） ９２：可変長復号化部 ９４：ハフマン復号表 ９６：線形逆量子化部 １００：２次元逆ＤＣＴ部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68 H03M 7/30

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】画像データを符号化する画像データの符号
   化方法に於いて、 符号化対象となるフレーム画像データを保持する画像デ
   ータ保持過程と、該画像データ保持過程で保持されている フレーム画像デ
   ータが静止画であるか動画であるかを検出する静止画検
   出過程と、前記静止画検出過程で検出される 前記フレーム画像デー
   タを符号化する画像データ符号化過程と、 符号化されたフレーム符号データを保持する符号データ
   保持過程と、 前フレームの画像データと同一データであることを示す
   コピーコードを保持するコピーコード保持過程と、 符号化レートに基づいた１フレーム当りの符号量（ｆ
   ｒ）を基準符号量（Ｆ）として保持する基準符号量保持
   過程と、 前記画像データ符号化過程で得られる１フレーム当りの
   符号量（ｆ）が前記基準符号量保持過程で設定された基
   準符号量（Ｆ）より多い場合で且つ静止画であった場合
   は複写モードを選択し、１フレーム当りの符号量（ｆ）
   が前記基準符号量保持過程で設定された基準符号量
   （Ｆ）より多い場合で且つ動画であった場合は量子化閾
   値変更モードを選択する処理判定過程と、 前記処理判定過程で量子化閾値変更モードを決定した際
   に、前記画像データ符号化過程で使用する量子化閾値を
   変更する量子化閾値変更過程と、 前記処理判定過程で量子化閾値変更モードを決定した際
   に、前記符号データ保持過程に保持したフレーム符号デ
   ータを選択して出力し、前記処理判定過程で複写モード
   を決定した際には、前記コピーコード保持過程に保持し
   たコピーコードを選択して出力する符号データ制御過程
   と、 前記符号データ制御過程におけるフレーム符号データの
   出力時に、前記基準符号量保持過程で保持している基準
   符号量（Ｆ）の値を変更すると共に、前記符号データ制
   御過程におけるコピーコード出力時には、基準符号量保
   持過程で保持している前記基準符号量（Ｆ）を１フレー
   ム分増加させる基準符号量更新過程と、を設け、前記符号化による１フレーム当りの符号量（ｆ）が前記
   基準符号量（Ｆ）より小さい場合に、前記基準符号量更
   新過程は両者の差（Ｆ−ｆ）分だけ前記基準符号量
   （Ｆ）を増加させ、且つ前記処理判定過程は量子化閾値
   を低い値に設定変更して１フレーム当りの符号量（ｆ）
   を増加させ、 前記符号化による１フレーム当りの符号量（ｆ）が前記
   基準符号量（Ｆ）より大きい場合に、前記基準符号量更
   新過程は両者の差（ｆ−Ｆ）分だけ前記基準符号量
   （Ｆ）を減少させ、且つ前記処理判定過程は量子化閾値
   を高い値に設定変更して１フレーム当りの符号量（ｆ）
   を減少させ、 たことを特徴とする画像データの符号化方法。
2. 【請求項２】請求項１記載の画像データの符号化方法に
   於いて、前記静止画検出過程は、符号化対象となった１
   フレーム画像を構成する奇数フィールドと偶数フィール
   ドの各画像の相関に基づいて該フレーム画像が静止画か
   動画かを判別することを特徴とする画像データの符号化
   方法。
3. 【請求項３】画像データを符号化する画像データの符号
   化装置に於いて、 符号化対象となるフレーム画像データを保持する画像デ
   ータ保持手段（１２）と、該画像データ保持手段（１２）で保持されている フレー
   ム画像データが静止画であるか動画であるかを検出する
   静止画検出手段（１４）と、前記静止画検出手段（１４）で検出される 前記フレーム
   画像データを符号化する画像データ符号化手段（１６）
   と、 符号化されたフレーム符号データを保持する符号データ
   保持手段（１８）と、 前フレームの画像データと同一データであることを示す
   コピーコードを保持するコピーコード保持手段（２０）
   と、 符号化レートに基づいた１フレーム当りの基準符号量を
   保持する基準符号量保持手段（２２）と、 前記画像データ符号化手段（１６）から得られる１フレ
   ーム当りの符号量（ｆ）が前記基準符号量保持手段（２
   ２）に設定されている基準符号量（Ｆ）より多い場合で
   且つ静止画であった場合は複写モードを選択し、１フレ
   ーム当りの符号量（ｆ）が前記基準符号量保持手段（２
   ２）で設定されている基準符号量（Ｆ）より多い場合で
   且つ動画であった場合は量子化閾値変更モードを選択す
   る処理判定手段（２６）と、 前記処理判定手段（２６）で量子化閾値変更モードを決
   定した際に、前記画像データ符号化手段（１６）で使用
   する量子化閾値を変更する量子化閾値更新手段（２８）
   と、 前記処理判定手段（２６）で量子化閾値変更モードを決
   定した際の指示で前記符号データ保持手段（１８）に保
   持したフレーム符号データを選択スイッチ（３４）で選
   択して出力し、前記処理判定手段（２６）で複写モード
   を決定した際の指示で前記コピーコード保持手段（２
   ０）に保持したコピーコードを選択スイッチ（３４）で
   選択して出力する符号データ制御手段（３２）と、 前記符号データ制御手段（３２）におけるフレーム符号
   データの出力時の指示で前記基準符号量保持手段（２
   ２）の基準符号量（Ｆ）の値を変更すると共に、前記符
   号データ制御手段（３２）におけるコピーコード出力時
   には、基準符号量保持手段（２２）の前記基準符号量
   （Ｆ）を１フレーム分増加させる基準符号量更新手段
   （３６）と、を設け、前記符号化による１フレーム当りの符号量（ｆ）が前記
   基準符号量（Ｆ）より小さい場合に、前記基準符号量更
   新手段（３６）は両者の差（Ｆ−ｆ）分だけ前記基準符
   号量（Ｆ）を増加させ、且つ前記処理判定手段（２６）
   は量子化閾値を低い値に設定変更して１フレーム当りの
   符号量（ｆ）を増加させ、 前記符号化による１フレーム当りの符号量（ｆ）が前記
   基準符号量（Ｆ）より大きい場合は、前記基準符号量更
   新手段（３６）は両者の差（ｆ−Ｆ）分だけ前記基準符
   号量（Ｆ）を減少させ、且つ前記処理判定手段（２６）
   は量子化閾値を高い値に設定変更して１フレーム当りの
   符号量（ｆ）を減少させ、 たことを特徴とする画像データの符号化装置。
4. 【請求項４】フレームごとにフレーム符号データ又は前
   回符号化したフレーム画像と同一の画像であることを指
   示するコピーコードを含む符号データからフレーム画像
   を復元する画像データの復元方法に於いて、 復元したフレーム画像を保持する画像保持過程と、 入力した符号データを解析し、フレーム符号コードかコ
   ピーコードかを識別して個別に出力する符号解析過程
   と、 前記符号解析過程でフレーム符号データを識別した場合
   に、該フレーム符号データからフレーム画像データを復
   元して前記画像保持過程で保持しているフレーム画像を
   更新する復元過程と、 前記符号解析過程でフレーム符号データを識別した場
   合、前記画像保持過程で保持している更新済みの復元フ
   レーム画像を表示させ、前記符号解析過程でコピコード
   を識別した場合は、前記画像保持過程で保持している前
   フレームの復元フレーム画像を表示させる画像表示制御
   過程と、 を備えたことを特徴とする画像データの復元方法。
5. 【請求項５】フレームごとにフレーム符号データ又は前
   回符号化したフレーム画像と同一の画像であることを指
   示するコピーコードを含む符号データからフレーム画像
   を復元する画像データの復元装置に於いて、 復元したフレーム画像を保持する画像保持手段（８６）
   と、 入力した符号データを解析し、フレーム符号コードかコ
   ピーコードかを識別して個別に出力する符号解析手段
   （８２）と、 前記符号解析手段（８２）でフレーム符号データを識別
   した場合に、該フレーム符号データからフレーム画像デ
   ータを復元して前記画像保持手段（８６）のフレーム画
   像を更新する復元手段（８４）と、 前記符号解析手段（８２）でフレーム符号データを識別
   した場合、前記画像保持手段（８６）で更新済みの復元
   フレーム画像を表示させ、前記符号解析手段（８２）で
   コピーコードを識別した場合は、前記画像保持手段（８
   ６）に保持した前フレームの復元フレーム画像を表示さ
   せる画像表示制御手段（８８）と、 を備えたことを特徴とする画像データの復元装置。