JPH0678287A

JPH0678287A - 符号化方法及び装置

Info

Publication number: JPH0678287A
Application number: JP5088177A
Authority: JP
Inventors: Koji Hirabayashi; 康二平林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-03-23
Filing date: 1993-03-23
Publication date: 1994-03-18

Abstract

(57)【要約】（修正有）【目的】少なくとも１フレームに対する発生しつつあ
る符号化データ量の推移に基づいて、符号化処理を選別
するための判定基準を変更し、不必要な符号の発生を防
ぐことを可能にする。【構成】動画像データ中の符号化対象のブロックにつ
いての符号化処理として、動き補償付きフレーム間差分
符号化処理、フレーム間差分符号化処理及びフレーム内
符号化処理のいずれを選択するかの判断基準を、これま
で発生した符号化データ量に対応して調整する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は符号化方法及び装置、詳
しくは動画像の符号化方法及び装置に関する。

【０００２】

【従来の技術】動画像の場合、１秒間に例えば３０枚程
度のフレーム画像が順に表示されることによって、結果
として人間が動画像として認識している。従って、いか
に効率よく且つ品位を損ねること無く各フレーム画像を
符号化するかが重要になってくる。

【０００３】一般に、フレームの符号化としては、以下
の３つが知られている。

【０００４】１．フレーム間差分符号化方法、２．動き
補償付きフレーム間差分符号化方法、３．フレーム内符
号化方法これらは適宜用いられて全体としての動画像符号化が行
われている。

【０００５】以下、各符号化法について説明する。

【０００６】１．フレーム間差分符号化方法１フレーム分の画像が例えばｎ×ｎ画素ブロック（以
下、単にブロックという）で構成されているする。この
符号化方法では、符号化しようとしているフレーム中の
或るブロックの情報と、前フレームの同位置のブロック
情報との差分を取り、その差分を符号化する方法であ
る。このフレーム間差分符号化方法は、フレーム間の相
関が高ければ高いほど、換言すれば、画像の動き等の変
化が少なければ少ないほど、ブロック間の差分がゼロに
近づくので、符号化効率は高くなる。差分データブロッ
クには離サインコサイン変換（Discreate Cosine Trans
form）処理が施され、得られた変換係数データを量子化
してハフマン符号化を施す。そして、量子化後に全ての
データがゼロになった場合は、量子化された画像が前フ
レーム中の同一のブロックと同じであることを意味する
ので、符号データの伝送は行わない。

【０００７】２．動き補償付きフレーム間差分符号化方
法この符号化方法では、符号化しようとするブロックと、
前フレーム上の同じ位置のブロックを中心とする近傍の
複数のブロックとマッチングをそれぞれ取り、最も似通
ったブロックを選ぶ。そして、符号化しようとしている
ブロックとその選んだブロックとの差分を取る。そし
て、これによって得られた差分データに離散コサイン変
換を施し、量子化する。そして量子化後のデータに対し
てハフマン符号化を施す。

【０００８】３．フレーム内符号化方法この符号化方法は、符号化しようとしているフレーム全
体に対して直接、離散コサイン変換を施し、得られた変
換係数データに量子化を施した後に符号化を行う方法で
ある。先に説明した２つの符号化方法では、前フレーム
との相関が高い場合にはその符号化効率が上げられる
が、フレーム間相関が小さい場合、換言すれば、シーン
チェンジ等画像が切り替わる場合、ダイナミックレンジ
が大きくなり、かえって符号化されたデータの情報量は
増大してしまう。このフレーム内符号化方法は、このよ
うに前フレームに対する注目フレームの相関が小さい場
合に有効である。

【０００９】因に、国際標準化委員会（ＩＳＯ）のＭＰ
ＥＧ（Moving Picture Exparts Group）で標準化を進め
ている“ＤＣＴ（離散コサイン変換）＋動き補償（Moti
on Compensation）”では、１５フレーム単位（１秒間
に３０フレームを表示する場合には、０．５秒間隔）に
このフレーム内符号化方法で符号化したデータをＩＮＴ
ＲＡフレーム（intra frame）のデータとして転送す
る。すなわち、前フレームとの相関によって符号化を行
うことをある程度の枚数（或いは時間）続けたのでは、
量子化誤差が大きくなってしまい、人間が見て不自然に
なってしまうことに対処している。

【００１０】ところで、一般に、かかる固定された周期
でＩＮＴＲＡフレームを生成する場合において、たまた
まその周期に合った場合に映像がダイナミックに変化す
る場合には問題はないが、それが前フレームとのマッチ
ングによる符号化を行っている最中に起こると、瞬時で
はあるが不自然な映像が表示される。

【００１１】そこで、例えば、かかる３つの符号化方法
を適時切り替えることが考えられる。

【００１２】図１６のフローチャートを参照して説明す
る。

【００１３】尚、以下の説明におけるオーバーフロー信
号（図１９における信号３０４）は、符号化データを一
時的に記憶するバッファメモリ内に占めるデータ量が所
定サイズに到達したことを示す信号であり、ある程度の
余裕をもった信号である。

【００１４】先ず、ステップＳ１０１において、オーバ
ーフロー状態かどうかを判断する。オーバーフロー状態
であれば、注目している画素ブロックに対してはフレー
ム間符号化処理を行うことに決定する。

【００１５】また、オーバーフロー状態ではないと判断
した場合には、ステップＳ１０２に進んで、動き補償付
きフレーム間差分符号化方法を行うか否かを判断する。
具体的には、図１７に示すように、注目ブロックを動き
補償付きフレーム間差分符号化処理を行ったの差分値
と、動き補償のないフレーム間差分符号化処理を行った
場合の差分値で決定される点が、図示の“ＭＣ”領域に
あるかどうかを判断する。尚、原点を通り傾きｍ＝１の
直線１７００の上か下かで判断しても良い様に思える
が、動き補償によるフレーム間差分符号化処理では、注
目ブロックに対するベクトル情報も発生する。図示の直
線１７０１は、このベクトル情報のデータ量を加味した
ものである。

【００１６】さて、ステップＳ１０２で注目ブロックが
“ＭＣ”領域内になると判断した場合には、動き補償付
きフレーム差分符号化処理を行うことに決定する。

【００１７】また、“ｉｎｔｅｒ”領域内であれば、動
き補償付きフレーム間差分符号化処理は行わず、ステッ
プＳ１０３に進む。

【００１８】ステップＳ１０３では、フレーム内符号化
処理を行うか、フレーム間符号化処理を行うかのいずれ
かを決定する。具体的には、注目ブロックに対して動き
補償を行った場合のフレーム間データの差分分散値と、
動き補償を行わない処理で符号化した場合の差分分散値
を得、注目ブロックが図１８における“ＩＮＴＲＡ”領
域にあればフレーム内符号化処理を選択し、“ｉｎｔｅ
ｒ”に領域あればフレーム間差分符号化処理を選択す
る。

【００１９】なお、以上説明した処理選択においては、
輝度データ１６×１６画素ブロックの統計を用いて選択
を行つている。

【００２０】図１９を用いて符号器の構成を説明する。

【００２１】図１９において、入力線３０１より入力さ
れたブロツクデータは、減算器３０及びモード判定器３
７に入力される。一方、信号線３０４は出力符号バツフ
アのオーバーフロー信号の入力信号線であり、モード判
定器３７及びマスク３２に入力される。

【００２２】モード判定器３７は信号線３０３より入力
されたブロツクデータ及び、前フレームメモリ３８に記
憶された前フレームデータを参照し、前述の方式に従つ
て処理方式の判定を行なう。フレーム間差分符号化方法
が適すると判定された場合は、前フレームメモリ３８上
の入力ブロツクと同位置のブロツクのデータを読み出し
て信号線３０８に出力する。一方、動き補償付きフレー
ム間差分符号化方法が適すると判定された場合は前フレ
ームメモリ３８上のベストマツチングのブロツクデータ
を３０７を介して読み出して信号線３０８に出力する。
更に、フレーム内符号化方法が適すると判定された場合
は、ゼロデータを生成してこれを信号線３０８より出力
する。同時に、動き補償によつて得られたベストマツチ
ングのブロツクと、符号化ブロツクとの相対位置を表わ
すベクトルデータを信号線３１２より出力する。

【００２３】減算器３０は、信号線３１０よりのブロツ
クデータと、信号線３０２よりの入力ブロツクデータと
の差分を取る。この差分データはＤＣＴ（Discrete Cos
ineTransform:離散コサイン変換）回路３１を経てマス
ク部３２に入力される。

【００２４】一方、入力される信号線３０４よりの信号
がオーバーフロー状態を示す時には、モード判定器３７
は一意にフレーム間差分符号化を選択しする。またこの
場合には、マスク部３２では全ての差分データをゼロに
マスクする。マスク部３２よりのＤＣＴ変換係数データ
は、量子化器３３で量子化され、符号器３４及び逆量子
化器３５に入力される。

【００２５】符号器３４は、量子化された変換係数デー
タに対し、モード判定器３７よりの選択モード信号３１
１を参照してハフマン符号を割り振り、信号線３１３よ
り出力する。逆量子化器３５では、逆量子化により不図
示の外部復号器に送られたものと同じ周波数データを再
生する。再生された周波数データは、逆ＤＣＴ回路３６
により再び差分信号へと変換され、加算器３９によりこ
れと信号線３０９よりの信号とが加算されて、送信され
たものと同じ画像を再現することになる。これは再び前
フレームメモリ３８に格納される。

【００２６】

【発明が解決しようとする課題】以上説明した処理で
は、画像の持つ情報量が伝送レートに対して非常に大き
い場合に、量子化ステツプが大きくなる傾向にある。従
つて実際に量子化、符号化されて伝送されるデータは、
量子化前の状態で十分大きい情報量を持つているものに
限られてしまう欠点がある。

【００２７】また、どの符号化処理を行うかは固定の判
定で行われている。この結果、フレーム間差分を量子化
した後にデータが残らないようなブロツク、即ち、現量
子化ステツプにおいては符号を送る必要がないブロツク
に対しても、不適切な符号化処理を行なつてしまうこと
により不必要な符号を伝送してしまうという欠点があつ
た。

【００２８】また、定ビットレートで符号化処理を行な
った場合に、一つのブロックに対して割り当てられる平
均符号量は極端に小さい。このため、前フレームと現フ
レームとの差分が小さいブロックについては前フレーム
のデータをそのまま用い、差分としての符号を全く送ら
ない方法が採られており、その分だけ差分の大きいブロ
ックに対する符号割り当てを増やすことが行なわれてい
る。

【００２９】しかし、シーンチェンジ等、２つの隣接す
るフレーム間の相関が全面にわたって小さいときなど
は、全てのブロックが符号を必要とするし、個々のブロ
ックでの発生符号が大きくなる。この時、上記符号化方
法では、一つのブロックを符号化処理することで多量の
符号が発生し、他の多くのブロックが符号化処理されな
くなるという問題が発生する。

【００３０】

【課題を解決するための手段】本発明はかかる問題点を
鑑み成されたものであり、少なくとも１フレームに対す
る発生しつつある符号化データ量の推移に基づいて、符
号化処理を選別するための判定基準を変更し、不必要な
符号の発生を防ぐことを可能にする符号化方法及び装置
を提供しようとするものである。

【００３１】この課題を解決するため本発明の符号化方
法は以下の工程を備える。すなわち、フレーム画像を構
成する所定サイズの画素ブロック単位に、個々の画素ブ
ロックを符号化する符号化方法であって、注目フレーム
中の画素ブロックと前フレーム内の対応するブロックと
の相関関係に基づいて、注目画素ブロックに対してフレ
ーム内符号化処理を行うか、フレーム間差分符号化処理
を行うかを判定する判定行程と、従前における符号化デ
ータ量に基づいて、前記判定行程における判定基準を調
整する調整行程とを備える。

【００３２】また、本発明の符号化装置は以下の構成を
備える。すなわち、フレーム画像を構成する所定サイズ
の画素ブロック単位に、個々の画素ブロックを符号化す
る符号化装置であって、注目フレーム中の画素ブロック
と前フレーム内の対応するブロックとの相関関係に基づ
いて、注目画素ブロックに対してフレーム内符号化処理
を行うか、フレーム間差分符号化処理を行うかを判定す
る判定手段と、従前における符号化データ量に基づい
て、前記判定行程における判定基準を調整する調整手段
とを備える。

【００３３】また、他の発明は、少なくとも１フレーム
に対して発生しつつある符号化データ量の推移に基づい
て、直行変換後のマスクさせる大きさを変化させ、もっ
て１つのブロックでの符号の過剰発生を抑えることを可
能にする符号化方法及び装置を提供しようとするもので
ある。

【００３４】この課題を解決するため、本発明の符号化
方法は以下の工程を備える。すなわち、フレーム画像を
構成する所定サイズの画素ブロックを、前フレームの対
応するブロックとの相関関係に基づいて選択された符号
化処理の１つを選択し、符号化する符号化方法におい
て、選択された符号化処理に基づく差分情報が付加され
た注目ブロックを直行変換する直行変換行程と、従前ま
での符号化データ量に基づいて前記直行変換されたブロ
ックデータ中の交流成分のマスクする割合を調整する調
整行程とを備える。

【００３５】また、本発明の符号化装置は以下の構成を
備える。すなわち、フレーム画像を構成する所定サイズ
の画素ブロックを、前フレームの対応するブロックとの
相関関係に基づいて選択された符号化処理の１つを選択
し、符号化する符号化装置において、選択された符号化
処理に基づく差分情報が付加された注目ブロックを直行
変換する直行変換手段と、従前までの符号化データ量に
基づいて前記直行変換されたブロックデータ中の交流成
分のマスクする割合を調整する調整手段とを備える。

【００３６】また、他の発明は通常の符号化処理に加え
て、新らたな符号化処理を追加することで、より効率よ
く符号化処理を行うことを可能にする符号化方法及び装
置を提供しようとするものである。

【００３７】この課題を解決するため、本発明の符号化
方法は以下の工程を備える。すなわち、フレーム画像を
構成する所定サイズの画素ブロックを、前フレームの対
応するブロックとの相関関係に基づいて選択された符号
化処理の１つを選択し、符号化する符号化方法におい
て、選択された符号化処理に基づく差分情報が付加され
た画素ブロックを周波数空間で変換する第１の変換行程
と、生の画素ブロックに含まれる種類情報単位に平均化
して、当該画素ブロック全体を平均値データに変換する
第２の変換行程と、前記第１の変換行程と前記第２の変
換行程を適応的に選択する選択行程とを備える。

【００３８】また、本発明の符号化装置は以下の構成を
備える。すなわち、フレーム画像を構成する所定サイズ
の画素ブロックを、前フレームの対応するブロックとの
相関関係に基づいて選択された符号化処理の１つを選択
し、符号化する符号化装置において、選択された符号化
処理に基づく差分情報が付加された画素ブロックを周波
数空間で変換する第１の変換手段と、生の画素ブロック
に含まれる種類情報単位に平均化して、当該画素ブロッ
ク全体を平均値データに変換する第２の変換手段と、前
記第１の変換手段と前記第２の変換手段を適応的に選択
する選択手段とを備える。

【００３９】

【作用】かかる本発明の工程或いは構成において、従前
までの符号化量に基づいて、注目フレーム中の注目ブロ
ックに対して、どの符号化処理を選択するかを決定する
ための判定基準を調整する。

【００４０】

【実施例】以下、図面を参照しつつ、本発明に係る一実
施例を説明する。

【００４１】［第１実施例］図１は本発明に係る一実施
例の符号器のブロツク構成図であり、先ず図１を参照し
て本実施例の符号器を説明する。

【００４２】図１において、上述した図１９との主な相
違点は図１９のモード判定器３７に変え、処理選択回路
２７が具備されていて、いくつかの信号線が追加された
点である。

【００４３】他の構成は略図１９と同様である。

【００４４】図１において、入力線１０３より入力され
たブロツクデータは、処理選択回路２７及び減算器２０
に入力される。一方、信号線１０２は不図示の出力符号
バツフアのオーバーフロー信号の入力信号線であり、処
理選択回路２７に入力される。尚、オーバーフロー信号
の意味は先に説明した通りである。

【００４５】処理選択回路２７は信号線１０３より入力
されたブロツクデータ、信号線１０１よりの量子化ステ
ツプｇの値及び前フレームメモリ２８に記憶された前フ
レームデータを参照し、後述する処理方法により処理方
式の判定を行なう。フレーム間差分符号化方法が適する
と判定された場合は、入力ブロツクと同位置の前フレー
ムメモリ２８上のブロツクのデータを読み出して信号線
１１４に出力する。

【００４６】一方、動き補償付きフレーム間差分符号化
方法が適すると判定された場合は前フレームメモリ２８
上のベストマツチング（最も近い構成を持つ）のブロツ
クデータを１０６を介して読み出して信号線１１４に出
力する。同時に、動き補償によつて得られたベストマツ
チングのブロツクと符号化対象のブロツクとの間の相対
位置を表わすベクトルデータを信号線１１６より出力す
る。更に、フレーム内符号化方法が適すると判定された
場合は、ゼロデータを生成してこれを信号線１１４より
出力する。信号線１１４上のブロツクデータは、減算器
２０と加算器２９に出力される。

【００４７】減算器２０は、信号線１１４よりのブロツ
クデータと、信号線１０３よりの入力ブロツクデータと
の差分を取る。この差分データはＤＣＴ（Discrete Cos
ineTransform:離散コサイン変換）回路２１を経てマス
ク部２２に供給される。

【００４８】一方、入力される信号線１０２よりのオー
バーフロー信号が符号バッファのオーバーフロー状態を
示す時には、処理選択回路２７は一意にフレーム間差分
符号化処理を選択する。マスク部２２よりのＤＣＴ変換
係数データは、量子化器２３で量子化され、符号器２４
及び逆量子化器２５に入力される。

【００４９】符号器２４は、量子化された変換係数デー
タに対し、処理選択回路２７よりの選択モード信号１１
５を参照してハフマン符号を割り振り、信号線２０７よ
り出力符号バッファメモリに出力する。逆量子化器２５
では、逆量子化により不図示の外部復号器に送られたも
のと同じ周波数データを再生する。再生された周波数デ
ータは、逆ＤＣＴ回路２６により再び差分信号へと変換
される。加算器２９は、この逆ＤＣＴ回路２６の出力デ
ータと信号線１１４より得られた前フレー無のブロック
とを加算し、送信されたものと同じ画像を再現し、前フ
レームメモリ２３８に格納する。

【００５０】次に、図１における処理選択回路２７の詳
細構成を図２に示す。

【００５１】図２において、信号線１０１は量子化ステ
ツプｇの信号線、信号線１０２はオーバーフロー状態を
入力する信号線である。、信号線１０３より画像ブロツ
クデータはフレーム内相関算出回路３、フレーム間相関
算出及び動き補償回路２に入力される。

【００５２】量子化ステップｇ１０１の信号の意味は、
直交変換の変換係数をいくつで割るかを示す値である。
簡単に説明すれば、量子化するときのレンジの幅をいく
つに分割するかを示す信号であり、その値が小さいほど
量子化誤差が抑えられ、高い品位を保って変換される
が、変換後のデータは冗長になる傾向になる。この量子
化ステップｇ信号は、これまでに生成された符号化デー
タの累積がどの程度の量かによって決定される。勿論、
過去の符号化データ量が多い場合には、この量子化ステ
ップｇの値は大きくなり、逆にその符号化データ量が少
ないと小さくなる。但し、この量子化ステップｇの発生
原理は後述する。

【００５３】そして、マスク回路２２は、この量子化ス
テップｇ信号に基づいて、その直交変換の高周波成分の
マスクする範囲を変化させる。具体的には、量子化ステ
ップｇ信号１０２の値が大きくほど、交流成分のマスク
する割合を多くする。このマスク処理についての詳細も
後述する。また、量子化器２３は量子化ステップｇ信号
１０２に応じた量子化ステップでマスク回路２２からの
データを量子化する。

【００５４】図２において、フレーム間相関算出及び動
き補償回路２は、信号線１０６を介して前フレームメモ
リ２８よりの前フレームブロツクデータを読み出す。そ
して、互いのブロック内の画素どうしの差の絶対値を算
出し、その平均を算出することでフレーム間差分絶対値
平均Ｄｉｆを算出する。そして、この算出Ｄｉｆ値を信
号線１０９に出力する。また、注目ブロックの位置と同
位置の前フレーム上のブロツクデータを信号線１１２に
出力する。

【００５５】また、フレーム間相関算出及び動き補償回
路２は、上述した処理の他に、前フレーム上の注目ブロ
ック位置近傍の差分絶対値の最も小さいベストマツチン
グブロツクを検索し、これを信号線１１３より出力する
とともに、得られたブロツクと信号線１０３よりの入力
ブロツクとの間で動き補償付きフレーム間差分絶対値平
均ＭＣＤｉｆを算出し、これを信号線１１０より出力す
る。このＤｉｆ、ＭＣＤｉｆの算出方法を下式Ｅ−１、
Ｅ−２に示す。

【００５６】また、フレーム間相関算出及び動き補償回
路２は、Ｅ−３式に従い動き補償付きフレーム間自乗平
均値ＶａｒＤｉｆを算出し、これを信号線１１１より出
力する。

【００５７】また、フレーム間相関算出及び動き補償回
路２における動き補償は、前フレーム上の同位置ブロツ
クから上下左右７画素程度の距離範囲内で一画素単位に
ずらしたブロツクとのマツチング値を、以下に示すＥ−
４式によつて算出し、この中で最小のものを与えるブロ
ツクをもつてベストマツチングブロツクとする。

【００５８】フレーム内相関算出器３は、信号線１０３
を介して入力されたブロツクデータに対し、Ｅ−５式に
より分散値ＶａｒＯｒを求め、これを信号線１０７より
セレクタ１に出力するとともに、全てゼロデータのダミ
ーブロツクを発生してこれも信号線１０８よりセレクタ
１に出力する。

【００５９】（式Ｅ−１）Ｄｉｆ＝１／Ｎ²ΣΣ｜Ｂ_ij−ＰＢ_ij｜但し、Ｎ：ブロツクサイズ、Ｂ_ij：符号化注目ブロツ
ク、ＰＢ_ij：前フレーム上ブロツクである。

【００６０】（式Ｅ−２）ＭＣＤｉｆ＝１／Ｎ²ΣΣ｜Ｂ_ij−ＤＢ_i+m,j+n｜但し、ＤＢ：動き補償によるベストマツチングブロツク
である。ｍ＝…−３、−２、−１、１、２、３、…であ
る。

【００６１】（式Ｅ−３）ＶａｒＤｉｆ＝１／Ｎ²ΣΣ（Ｂ_ij−ＤＢ_i+m,j+n）² （式Ｅ−４）マツチング値＝ΣΣ（Ｂ_ij−ＭＣＢ_ij）² 但し、ＭＣＢ：前フレーム上の近傍ブロツクである。

【００６２】（式Ｅ−５）ＶａｒＯｒ＝１／Ｎ²ΣΣ（Ｂ_ij）² −｛１／Ｎ² ΣΣ（Ｂ_ij）｝² そして、セレクタ１は、入力される信号Ｄｉｆ１０９、
ＭＣＤｉｆ１１０、ＶａｒＤｉｆ１１１、ＶａｒＯｒ１
０７、およびｇ値１０１、オーバーフロー情報１０２に
従い、信号線１１２、信号線１１３、信号線１０８のい
づれかのブロツクデータを選択し、信号線１１４上に出
力する。

【００６３】このセレクタ１における選択すべき信号線
の判定方法を示す図３のフローチヤートを参照して以下
に説明する。

【００６４】図３において、先ず判定Ａであるステツプ
Ｓ１で、これまでの符号の発生量が多く、オーバフロー
状態か否かを調べる。オーバフローしている場合にはフ
レーム間差分符号化方法を選択するべく、信号線１１２
よりの前フレーム上の同位置ブロツクデータが選ばれ
る。

【００６５】一方、ステツプＳ１でオーバフローしてい
ない場合にはステツプＳ２の判定Ｂに進み、動き補償付
きフレーム間差分符号化方法を行うか否かを決定する。
具体的には、信号線１０９、１１０よりのＤｉｆ、ＭＣ
Ｄｉｆにより判定が行なわれる。図４に示す特性により
動き補償を行つた場合のＭＣＤｉｆと、動き補償を行わ
ない場合のＤｉｆとの関係がＭＣ範囲内であれば動き補
償付きフレーム間差分符号化方法を選択すべく、動き補
償によるベストマツチングブロツクデータ１１３が選ば
れる。ここでの判定のスレツショルドラインｆ（ｇ）は
信号線１０１よりのｇ値によつて変化する。

【００６６】また、Ｉｎｔｅｒ範囲内にあって、動き補
償を行なわないと判定された場合は、動き補償付きフレ
ーム間差分符号化方法は選択せずステツプＳ３の判定Ｃ
に進む。ステツプＳ３では、信号線１１１、１０７より
のＶａｒＤｉｆ、ＶａｒＯｒに従つて、図５に示す境界
線により、フレーム間符号化方法を用いるか、又はフレ
ーム内符号化方法の何れを用いるかの判定が行なわれ
る。この境界線Ｆ（ｇ）も図示式の如くｇの関数であ
り、ｇ値に従つて変化する。

【００６７】ＩＮＴＲＡ範囲内であれば、フレーム内符
号化処理を行うことになるので、信号線１０８上の
“０”ブロックデータを選択する。この結果、注目ブロ
ックデータは減算器２０で何等変化せず、そのままＤＣ
Ｔ２１に出力される。また、“Ｉｎｔｅｒ”範囲内であ
れば、フレーム間符号化と判定され、信号線１１２より
の前フレーム上同位置ブロツクが選択される。

【００６８】以上の処理によって、選択されたブロツク
データは信号線１１４より、また選択されたモードは信
号線１１５より出力される。

【００６９】次に、実施例における量子化ステップ信号
ｇ１０２を発生する量子化ステップ信号発生回路につい
て説明する。

【００７０】量子化ステップ信号発生回路周辺の具体例
を図２０に示す。尚、本実施例における量子化ステップ
ｇ信号の値は、本装置が１走査分、厳密に示せば１ブロ
ックが１６×１６ドットサイズとしているので、１６ラ
イン単位に変化する（以下、この単位をブロックライン
という）。換言すれば、１ブロックラインでは、量子化
ステップｇ信号は変わらない。理由は後で説明する。

【００７１】さて、図２０において、図１に示された符
号器２４から出力されたブロックデータに対する符号デ
ータを含むデータは出力符号バッファに転送される共に
符号長検出回路４００にも出力される。符号長検出回路
では、注目しているブロックの符号データの有効ビット
数を検出し、その値を信号４００ａとして減算器４０１
に出力する。減算器４０１は、予めセットされた標準値
との差をとり、その標準値に対してどれだけ大きい符号
が発生したか、或いはどれだけ小さい符号を発生したか
を示す信号を出力する。

【００７２】一方、レジスタ４０２には、１フレームの
符号化の開始時に初期値として“０”がセットされてい
て、その記憶内容が加算器４０３に供給されている。つ
まり、符号化しようとする１フレームの不図示の垂直同
期信号に同期してリセットされる。加算器４０３はレジ
スタ４０２からの値と減算器４０１からの値とを加算
し、その結果をレジスタ４０２にフィードバックする。
従って、ブロックデータに対する符号データが発生する
度に、この回路が動作することによって、レジスタ４０
２には標準的な符号ビット数に対してどれだけ大きい或
いは小さい符号化データを発生しているかを示す値が記
憶保持されていることになる。

【００７３】量子化ステップ信号発生器４０４内には、
不図示の水平同期信号を計数するカウンタがあって、そ
のカウンタによって１６個の水平同期信号を検出される
たびに、レジスタ４０２に保持された内容を読み取り、
その値に基づいて３ビットの量子化ステップｇ信号を発
生し、その出力を保持する。３ビットの信号線であるか
ら０〜７の計８種類の信号を生成することができるが、
本実施例では０〜５の信号を発生する。

【００７４】因に、１ブロックライン分の符号化が終わ
った後のレジスタ４０２に記憶された値が大きい場合、
それは前回のブロックライン中の符号化データ量は標準
的な符号化データ量に対して多かったことを意味する。
従って、この場合には量子化ステップｇ信号を大きく
し、符号化データの発生を抑える。また、４０５はオー
バーフロー信号発生回路であり、レジスタ４０２の値に
応じてオーバーフロー信号１０２を発生する。

【００７５】以上の結果、図４、図５に示す如く、フレ
ーム間差分符号化処理、動き補償付きフレーム間差分符
号化処理、フレーム内符号化処理のいずれを採用するか
を決定するボーダラインは、量子化ステップの大きさに
よって１ブロックライン単位に変動することになる。つ
まり、量子化ステップの大きさに応じて、どの符号化処
理で行うかを決定するための判断基準が変動する。この
結果は符号器２４にも影響し、不必要な符号の発生、伝
送を防ぐ方向に寄与することが可能になる。

【００７６】なお、本実施例の動き補償付きフレーム間
差分符号化方法を行うか否かを決定する処理選択方法及
びフレーム内符号化方法を行なうか、又はフレーム間差
分符号化方法を選択するかを決定する処理選択方法は、
上述した図４、図５に示す判定基準に限定されるもので
はなく、適時適切な判定方法を選択すれば良い。上述し
た図４及び図５に示す判定方法に変えて実装可能な他の
判定方法を図６および図７に示す。

【００７７】図６は本実施例の動き補償付きフレーム間
差分符号化方法を行うか否かを決定する他の処理選択方
法を表わす図、図７は本実施例のフレーム内符号化方法
を行なうか、又はフレーム間差分符号化方法を選択する
かを決定する他の処理選択方法を表わす図である。図６
に示す動き補償有りの範囲であれば動き補償付きフレー
ム間差分符号化方法を実行する。動き補償無しの範囲で
あればステツプ３に進み、図７に示す判定基準によりフ
レーム間差分符号化方法を行う。ここで、フレーム内の
範囲である場合にはフレーム内符号化方法を実行し、フ
レーム間の範囲内であればフレーム間差分符号化方法を
選択して実行する。

【００７８】以上の処理における本実施例における符号
量制御を以下に説明する。

【００７９】データの伝送時には、符号化データの発生
量を伝送速度に合わせるための制御が必要である。本実
施例においては、以下に示す方法でこの伝送速度合わせ
を実行する。

【００８０】即ち、発生した符号は、一旦フレーム１枚
分相当の符号量の大きさを持つた出力符号バツフアに格
納され、そこから伝送レートに応じた速度で順次伝送さ
れる。符号器はバツフア内の符号の充足度を監視してお
り、符号の発生が多すぎる時には量子化ステツプを大き
くして符号の発生を抑制する。逆に符号発生が伝送レー
トを下回る時には量子化ステツプを小さくして符号の発
生を促す。バツフアがオーバーフローした時には量子化
ステツプをとても大きくし、符号発生を止める。以上の
操作により、時間あたり一定量の符号を発生する。

【００８１】次に、実施例におけるマスク部２２につい
て説明する。

【００８２】一般にフレーム内符号化処理では、多くの
符号が発生される傾向がある。

【００８３】そこで、本実施例におけるマスク部２２
は、フレーム内符号化処理を選択した旨を処理選択回路
２７から信号線１１５を介して受けた場合には、量子化
ステップｇ信号に拘りなく、直行変換器２１より得られ
たマトリクス中の１行１列の直流成分のみを残し、その
他の交流成分の係数を全てマスク、すなわち“０”にす
る。この状態を示すのが図８Ａである。

【００８４】また、注目ブロックに対して、フレーム間
差分符号化処理或いは動き補償付きフレーム間差分符号
化処理のいずれかで符号化を行う旨の信号を受けた場合
には、量子化ステップｇの値に応じて図８Ｂに示すよう
なマスクする領域を変動させる。

【００８５】具体的には、図８Ｂに示す如く、量子化ス
テップの値ｇが大きいほど、マスクする領域を大きく
し、量子化ステップｇの値が小さいほど、マスクする領
域を小さくする。理由は、量子化ステップｇの値が小さ
いということは、前ブロックラインまでにおいて発生し
た符号が少ないことを意味するからである。従って、こ
の場合、直交変換係数を多段階に分割しても構わないこ
とを意味するから、マスクする領域を小さくする。但
し、図示の如く、量子化ステップｇが大きい方向に向か
うのであれば、マスクする領域は影響の少ない高周波成
分から低周波成分に向かってそのマスクする領域を大き
くしていく。

【００８６】以上の結果、量子化ステップｇ、すなわ
ち、符号化処理における発生符号量に応じた大きさでマ
スクすることになり、１つのブロックでの符号の過剰発
生を抑えることが可能になる。

【００８７】次に実施例における符号器２４について説
明する。

【００８８】実施例における符号器２４は、基本的に、
輝度（例えばＹ）データに関しては１６×１６を８×８
の画素ブロックに４つに分割し、色差データに関しては
１６×１６画素ブロックと同じ位置にある２つの８×８
の色差ブロックの合計６つのブロックを生成する。２つ
の色差ブロック（例えばＩ、Ｑ）は、１６×１６の画素
ブロックにおいて縦横共２画素間隔で取り出すことで８
×８のブロックサイズとしている。入力画像中の１６×
１６ブロック単位として４つの輝度ブロック、２つの色
差ブロックを単位として符号化する。色差ブロックの数
が少ない理由は、動画像の場合、各フレームの表示され
る間隔は瞬時であり、その場合の色差データが人間に与
える影響はさほど重要ではないからである。

【００８９】さて、実施例における符号器２４は処理選
択回路２７から出力される選択モード信号１１５からの
信号を受け、注目しているブロックに対する符号化を行
う。図９は選択モード信号に基づいて出力される符号化
データのフォーマットを示している。以下、各符号化デ
ータについて説明する。

【００９０】ｉ）フレーム間差分符号化処理フレーム間差分符号化処理では、図９Ａに示す様に、先
ず、処理モードを示すＩＤコード（以降に続くデータが
フレーム間差分符号化処理によるデータであることを示
すコード）で始まり、続いて量子化ステップｇの値が続
く。但し、実施例によれば、量子化ステップｇの値は１
ブロックラインの符号化では変化しないので、１ブロッ
クラインの先頭のブロックの符号化データで量子化ステ
ップｇの値を挿入する。そして、２番目以降のブロック
の符号化データ中のＩＤに量子化ステップｇの値は同じ
である旨を含ませ、量子化ステップｇのデータは挿入し
ない。これで符号化データの発生量を更に抑える。これ
が、１ブロックライン中において量子化ステップｇの値
を変化させない理由である。尚、量子化ステップｇのデ
ータの挿入するタイミングは、後で説明する動き補償フ
レーム間差分符号化処理及びフレーム内符号化処理でも
同じである。

【００９１】さて、ＩＤコード或いは量子化ステップｇ
データの後には、先に説明したように、輝度データに対
応する４つの８×８画素ブロックと、色差に対応する２
つの８×８画素ブロックの合計６つのブロックのうち、
実際に符号化が行われた（つまり、有意なフレーム差分
が認められた）ブロックの個数を示す符号がある。この
その符号データによって示された数だけの符号化された
ブロックデータが続く。個々のブロックデータの符号に
は、スペクトルデータとＥＯＢ（End Of Block）コード
から構成される。図示の場合、有意なブロック数は４つ
の場合である。

【００９２】ii）動き補償フレーム差分符号化処理動き補償付きフレーム間差分符号化処理では、図９Ｂに
示す様に、まず処理モードを示すＩＤコードがあり、続
いて量子化ステップｇの値がある。続いて動きベクトル
を表わすコードがあり、この次に、輝度データに対する
４個の８×８画素ブロックと、色差データに対する２個
の８×８画素ブロックの計６個のブロックの内、実際に
符号化が行なわれたブロックの個数を示す符号がある。
ブロックに対する符号は、ここで与えられた個数だけこ
の後に続く、個々のブロックに対する符号は、スペクト
ルデータとＥＯＢコードから成り立つ。

【００９３】iii)フレーム内符号化処理フレーム内符号化処理では、図９Ｃに示すように、上述
同様にまずＩＤコード、量子化ステップｇがあり、この
あとに６個全てのブロックに対する符号が並ぶ。個々の
ブロックに対する符号は、まず固定長の直流成分を表わ
す符号（ＤＣ成分）、次に交流成分を表わす符号（ＡＣ
成分）が続き、最後にＥＯＢ符号が付けられる。

【００９４】以上の説明においては、フレーム内、フレ
ーム間いづれの符号化処理方法が選択された場合におい
ても、原画ブロックもしくは差分ブロックに対して離散
コサイン変換が施され、そのスペクトルデータに対して
符号化処理が行なわれることになる。このときの各々の
符号化処理においては、上述した様に図９Ａ〜９Ｃに示
す符号データが発生する。

【００９５】このため、例えば輝度データ１６×１６画
素ブロック内がほとんど全く平坦（ほとんど同じという
こと）であり、また同様に２つの色差データ８×８ブロ
ック内も平坦、さらに前のフレーム画像は大きく交流の
乗つた画像であつたような場合（この状況はシーンチェ
ンジにより複雑な画像から平坦な画像に移行した時に現
われやすいものである）の符号化処理における各符号化
処理で発生した発生符号は、図１０Ａ〜１０Ｃに模式的
に示すものとなる。

【００９６】以上説明した様に第１の本実施例によれ
ば、量子化ステツプの大きさに応じて処理モード選択方
法を変化させることにより、適切な処理選択を可能に
し、不必要な符号の発生、伝送を防ぐことができ、効率
の良い符号化方法を提供出来る。

【００９７】また、以上の構成において、符号化処理に
おけるブロツク間の差分の離散コサイン変換後の変換係
数の高周波部を、発生符号量に応じた大きさでマスクす
ることにより、一つのブロックでの符号の過剰発生を押
えることができる。

【００９８】［第２実施例］以上説明した実施例では、
符号化処理における発生符号データフォーマットは、基
本的には図１０Ａ〜１０Ｃに模式的に示すものとなる。
このため、上述した３つの符号化処理による発生符号量
は、いづれの符号化処理を用いても、これから符号化処
理しようとする、いわば最も冗長度の低い画像に対して
多くの符号を発生してしまう可能性があつた。

【００９９】これに対して、上述した実施例における直
交変換符号化処理のみによる符号化処理に更に、直交変
換を用いることによる周波数空間での符号化処理と、実
空間のブロツク内平均値データの符号化とを適応的に用
いる符号化処理、例えば、輝度データの１６×１６画素
ブロックの平均値と、対応する２つの色差ブロック８×
８画素の平均値とを固定長符号化処理する符号化処理を
新たに設けることにより、より効率的な符号化処理を行
なうことができる。

【０１００】このように構成した原画平均値符号化処理
を有する本発明に係る第２の実施例を以下に説明する。

【０１０１】図１５に第２実施例において用いる原画平
均値符号化処理における符号のフォーマットを示す。フ
レーム間差分符号化処理と、動き補償付きフレーム間差
分符号化処理及びフレーム内符号化処理の符号の構造
は、上述した第１実施例の図１０に示す符号の構造と同
じである。このため、第２実施例で加えられた、原画平
均値符号化処理における符号構成についてのみ説明す
る。

【０１０２】原画平均値符号化処理においてはまず、処
理モード（原画平均値符号化処理）を示す符号、次に６
ビット程度の、輝度ブロックデータ１６×１６画素の平
均値を表わす符号、次に２つの色差ブロック８×８画素
の平均値を表わす符号が続く。これらは固定長符号を用
いるため、他の処理モードで使用されたＥＯＢ符号が無
い。すなわち、復号する側の装置が、このＩＤを検出す
れば、何ビットのデータかがわかるので、ＥＯＢは不要
になる。

【０１０３】図１１は本発明に係る第２実施例における
動画像符号化装置のブロツク図であり、図１に示す第１
実施例と同様構成には同一番号を付し、詳細説明を省略
する。

【０１０４】第２実施例においては、図１に示す第１実
施例に比し、平均値算出回路４０、ブロツクデータ生成
器４１が付加されており、処理選択回路２７は後述する
選択処理において、第１実施例の符号化処理に加え、新
たに平均値符号化処理を行なうか否かを示す信号を信号
線１１５に出力する。

【０１０５】本第２の実施例では、入力信号線１０３よ
り入力されたブロツクデータは、平均値算出回路４０に
も送られる。平均値算出回路４０は、信号線１０３より
入力されたブロツクデータより、１個の輝度ブロツクと
２つの色差ブロツクに分けてそれぞれの平均値を計算
し、計算結果を信号線２１０に出力する。この計算結果
は、符号器２４とブロツクデータ生成器４１に入力され
る。

【０１０６】処理選択回路２７は、後述する平均値符号
化処理が選択されたときには、信号線１１５を介して処
理モードを送ることになる。このため、符号器２４は、
平均値算出回路２１０よりの平均値データによる符号化
処理を行なうことができる。そして、ブロツクデータ生
成器４１からは、平均値算出回路４０よりの平均値より
再構成されたブロツクデータが出力される。この出力さ
れたブロツクデータは再び前フレームメモリ２８に格納
される。

【０１０７】本第２の実施例においても処理選択回路２
７の基本構成は上述した図２と同様構成である。しかし
ながら、本実施例においては処理選択制御が相違する。
第２実施例のセレクタ１における判定方法を図１２のフ
ローチヤートを参照して以下に説明する。

【０１０８】図１２において、先ず判定Ａであるステツ
プＳ１１で符号の発生量が多く、オーバフロー状態か否
かを調べる。オーバフローしている場合にはフレーム間
差分符号化方法を選択するべく、信号線１１２よりの前
フレーム上の同位置ブロツクデータが選ばれる。

【０１０９】一方、ステツプＳ１１でオーバフローして
いない場合にはステツプＳ１２の判定Ｂに進み、符号化
方法として平均値符号化方法を行なうか、フレーム内符
号化方法を行なうか、またはフレーム間差分符号化方法
を行うか否かを決定する。具体的には、信号線１０７、
１１１よりのＶａｒＯｒ、ＶａｒＤｉｆにより判定が行
なわれる。図１３に示す特性における境界線により、フ
レーム間符号化方法を用いるか、フレーム内符号化方法
を用いるか、又は平均値符号化方法の何れを用いるかの
判定が行なわれる。

【０１１０】ステツプＳ１２においてフレーム内符号化
と判定された場合は、信号線１０８よりのダミーブロツ
クが選択され、平均値符号化方法と判定された場合に
は、上述の様に信号線１１５より処理モードの信号のみ
が出力される。一方、フレーム間符号化と判定された場
合にステツプＳ１３に進む。

【０１１１】ステツプＳ１３では、信号線１０９、１１
０よりのＤｉｆ、ＭＣＤｉｆにより動き補償を行なうか
否かが判断される。これは、図１４に示す特性における
境界線により、動き補償有りの場合には動き補償付きフ
レーム間差分符号化方法によるベストマツチングブロツ
クデータ１１３が選ばれる。

【０１１２】一方、動き補償無しと判定されたものは、
動き補償付きフレーム間差分符号化方法は選択せず、フ
レーム間符号化方法と判定する。この場合においては信
号線１１２よりの前フレーム上同位置ブロツクが選択さ
れる。

【０１１３】選択されたブロツクデータは信号線１１４
より、また選択されたモードは信号線１１５より出力さ
れる。

【０１１４】尚、処理モードとして、平均値符号化処理
が選択された場合、符号器２４は平均値算出回路４０か
らの輝度、色差平均データを符号化するので、セレクタ
１は信号線１１４に何を出力しても構わない。

【０１１５】図５に示す特性により、信号線１１１、１
０７よりのＶａｒＤｉｆ、ＶａｒＯｒとの関係がＩＮＴ
ＲＡ範囲内であればフレーム内符号化方法を用い、Ｉｎ
ｔｅｒ範囲内であればフレーム間差分符号化方法を選択
する。

【０１１６】更に、従来行なわれていた直交変換符号化
処理のみによる符号化処理に加えて、直交変換を用いる
ことによる周波数空間での符号化処理と、実空間のブロ
ツク内平均値データの符号化とを適応的に用いる符号化
処理、例えば、輝度データの１６×１６画素ブロックの
平均値と、対応する２つの色差ブロック８×８画素の平
均値とを固定長符号化処理する符号化処理を新たに設け
ることにより、より効率的な符号化処理を行なうことが
できる。

【０１１７】本第２の実施例による出力符号化データ
は、図１０Ａ〜１０Ｃに加えて、図１５の４通りがあ
る。

【０１１８】以上の構成において、量子化ステツプの大
きさに応じて処理モード選択方法を変化させることによ
り、適切な処理選択を可能にし、不必要な符号の発生、
伝送を防ぐことができ、効率の良い符号化方法を提供出
来る。

【０１１９】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによつて達成される場合にも適用で
きることはいうまでもない。

【０１２０】図２１は本発明の各実施例の符号器を含む
全体の装置構成を示すブロック図である。

【０１２１】図２１において、１０００はビデオカメラ
等画面毎の画像情報を順次入力するための入力装置、１
００１は入力装置からの画像情報を画面毎に記憶するフ
レームメモリ、１００２はフレームメモリ１００１に記
憶された画像情報を８×８画素ブロック毎に切り出すブ
ロック切り出し回路、１００３はブロック切り出し回路
１００２からのデータブロック１０３を可変長の符号デ
ータに符号化する符号化部であり、例えば図１、図１１
に示されるものである。１００４は符号器であり、(i)
量子化ステップｇが変更された場合にはその一及びｇの
値、 (ii)ＩＮＴＲＡ／ＭＣ／ｉｎｔｅｒの判定結果、
(iii)動き補償付きフレーム間差分符号化方法の場合に
ベストマッチングのブロックと符号化対象のブロックと
の間の相対一を表すベクトルデータ、(iv)その他の符号
パラメータを符号化する。１００５はマルチプレクサで
あり、符号器２３からの可変長の符号データ及び符号器
１００４からの符号データを合成して順次制御回路１０
０６へ出力する。

【０１２２】制御回路１００６は図２０に示すように、
入力されたマルチプレクサ１００５からの符号データを
カウントし、後述の符号バッファ１００７から伝送路１
００９の能力に応じて出力される符号データの量との関
係で符号バッファ１００７がオーバーフローしないよう
に符号化部１００３における符号化を制御する。

【０１２３】この制御は、量子化ステップｇ１０１及び
オーバーフロー信号１０２によって行われ、前者は上述
のように符号バッファ１００７に記憶された符号データ
量が多くなるにつれて大きくなり、後者は符号バッファ
１００７に記憶された符号データ量が所定の値を越えた
場合にそれを示す。

【０１２４】１００７は符号バッファであり、符号デー
タが送信回路１００８から送信されるまでの間一時蓄積
する。１００９は伝送路であり、単位時間あたりある一
定量の符号データを伝送得る能力を持つ。

【０１２５】尚、上述の入力装置じゃビデオカメラに限
らず、コンピュータのソフトウェアにより作成された動
画像データを入力する装置であっても良い。

【０１２６】また、上述のＤＣＴに限らずアダマール変
換等の直交変換を用いて符号化しても良い。

【０１２７】本発明は上述実施例に限らず、特許請求の
範囲に記載された範囲内で種種の変形、応用することが
できる。

【０１２８】

【発明の効果】以上説明したように本発明によれば、少
なくとも１フレームに対する発生しつつある符号化デー
タ量の推移に基づいて、符号化処理を選別するための判
定基準を変更し、不必要な符号の発生を防ぐことが可能
になる。

【０１２９】また、他の発明によれば、少なくとも１フ
レームに対して発生しつつある符号化データ量の推移に
基づいて、直行変換後のマスクさせる大きさを変化さ
せ、もって１つのブロックでの符号の過剰発生を抑える
ことが可能になる。

【０１３０】また、他の発明は通常の符号化処理に加え
て、新らたな符号化処理を追加することで、より効率よ
く符号化処理を行うことが可能になる。

【０１３１】

【図面の簡単な説明】

【図１】実施例の動画像符号化装置のブロツク図であ
る。

【図２】図１における処理選択回路の詳細ブロツク図で
ある。

【図３】処理選択回路の選択処理内容を示すフローチャ
ートである。

【図４】動き補償付きフレーム間差分符号化方法を行う
か否かを決定する基準を示す図である。

【図５】フレーム内符号化方法を行なうか、又はフレー
ム間差分符号化方法を選択するかを決定する基準を示す
図である。

【図６】本実施例の動き補償付きフレーム間差分符号化
方法を行うか否かを決定する他の基準を示す図である。

【図７】本実施例のフレーム内符号化方法を行なうか、
又はフレーム間差分符号化方法を選択するかを決定する
他の基準を示す図である。

【図８Ａ】本実施例におけるマスク部のマスク処理内容
を示す図である。

【図８Ｂ】本実施例におけるマスク部のマスク処理内容
を示す図である。

【図９Ａ】実施例における符号化処理における或る状態
における発生符号を模式的に示す図である。

【図９Ｂ】実施例における符号化処理における或る状態
における発生符号を模式的に示す図である。

【図９Ｃ】実施例における符号化処理における或る状態
における発生符号を模式的に示す図である。

【図１０Ａ】実施例における符号化処理における発生符
号量を模式的に示す図である。

【図１０Ｂ】実施例における符号化処理における発生符
号量を模式的に示す図である。

【図１０Ｃ】実施例における符号化処理における発生符
号量を模式的に示す図である。

【図１１】第２実施例における動画像符号化装置のブロ
ツク図である。

【図１２】第２実施例による符号化方法の処理選択方法
を示すフローチャートである。

【図１３】第２実施例の平均値符号化方法及びフレーム
内符号化方法を行うか否かを決定するための判断基準を
示す図である。

【図１４】第２実施例のフレーム間差分符号化方法にお
いて、動き補償有り／無しを選択決定するための判断基
準を示す図である。

【図１５】第２実施例において用いる原画平均値符号化
処理における発生符号量を示す図である。

【図１６】符号化方法の処理選択方法の一例を示すフロ
ーチャートである。

【図１７】フレーム内符号化方法を行なうか、又は動き
補償付きフレーム間差分符号化方法を選択するかを決定
する判断基準を説明するための図である。

【図１８】フレーム内符号化方法を行なうか、又はフレ
ーム間差分符号化方法を選択するかを決定するための判
断基準を示す図である。

【図１９】動画像符号化装置を示すブロツク図である。

【図２０】実施例における量子化ステップｇ信号の発生
回路の具体的一例を示す図である。

【図２１】第１、第２の実施例における動画像符号器を
含む装置全体のブロック図である。

【符号の説明】

１セレクタ２フレーム間差分算出及び動き補償回路３フレーム内相関算出器２１，３１離散コサイン変換回路２２，３２変換係数マスク回路２３，３３量子化器２４，３４符号化器２５，３５逆量子化器２６，３６離散コサイン変換の逆変換器２７処理選択回路２８，３８前フレームフレームメモリ３７モード判定器４０平均値算出回路４１ブロツクデータ生成器

Claims

【特許請求の範囲】

【請求項１】フレーム画像を構成する所定サイズの画
素ブロック単位に、個々の画素ブロックを符号化する符
号化方法であって、注目フレーム中の画素ブロックと前フレーム内の対応す
るブロックとの相関関係に基づいて、注目画素ブロック
に対してフレーム内符号化処理を行うか、フレーム間差
分符号化処理を行うかを判定する判定行程と、従前における符号化データ量に基づいて、前記判定行程
における判定基準を調整する調整行程とを備えることを
特徴とする符号化方法。
【請求項２】前記フレーム間差分符号化処理には、動
き補償付きフレーム間差分符号化処理と、動き補償無し
のフレーム間差分符号化処理が含まれ、前記判定行程は、符号化しようとしている注目ブロックに対する、前記フ
レーム内符号化処理、動き補償付きフレーム間差分符号
化処理及び動き補償無しフレーム間差分符号化処理それ
ぞれの差分値を算出する行程と、算出されたそれぞれの差分値によって特定された位置
が、それぞれの値の取り得る座標空間における第１の境
界線のいずれにあるかで注目ブロックの符号化処理を判
定する行程と、動き補償付きフレーム間差分符号化処理で選択された前
フレーム中のブロックと注目ブロックとの間の分散値、
及び注目画素ブロック自身の分散値でと規定される位置
が、それぞれの取り得る座標空間における第２の境界線
のいずれにあるかで注目ブロックの符号化処理を判定す
る行程を含み、前記調整行程は前記第１、第２の境界線を移動調整する
ことを特徴とする請求項第１項に記載の符号化方法。
【請求項３】フレーム画像を構成する所定サイズの画
素ブロック単位に、個々の画素ブロックを符号化する符
号化装置であって、注目フレーム中の画素ブロックと前フレーム内の対応す
るブロックとの相関関係に基づいて、注目画素ブロック
に対してフレーム内符号化処理を行うか、フレーム間差
分符号化処理を行うかを判定する判定手段と、従前における符号化データ量に基づいて、前記判定行程
における判定基準を調整する調整手段とを備えることを
特徴とする符号化装置。
【請求項４】前記フレーム間差分符号化処理には、動
き補償付きフレーム間差分符号化処理と、動き補償無し
のフレーム間差分符号化処理が含まれ、前記判定手段は、符号化しようとしている注目ブロックに対する、前記フ
レーム内符号化処理、動き補償付きフレーム間差分符号
化処理及び動き補償無しフレーム間差分符号化処理それ
ぞれの差分値を算出する手段と、算出されたそれぞれの差分値によって特定された位置
が、それぞれの値の取り得る座標空間における第１の境
界線のいずれにあるかで注目ブロックの符号化処理を判
定する第１の判定手段と、動き補償付きフレーム間差分符号化処理で選択された前
フレーム中のブロックと注目ブロックとの間の分散値、
及び注目画素ブロック自身の分散値でと規定される位置
が、それぞれの取り得る座標空間における第２の境界線
のいずれにあるかで注目ブロックの符号化処理を判定す
る第２の判定手段を含み、前記調整手段は前記第１、第２の境界線を移動調整する
ことを特徴とする請求項第３項に記載の符号化装置。
【請求項５】フレーム画像を構成する所定サイズの画
素ブロックを、前フレームの対応するブロックとの相関
関係に基づいて選択された符号化処理の１つを選択し、
符号化する符号化方法において、選択された符号化処理に基づく差分情報が付加された注
目ブロックを直行変換する直行変換行程と、従前までの符号化データ量に基づいて前記直行変換され
たブロックデータ中の交流成分のマスクする割合を調整
する調整行程とを備えることを特徴とする符号化方法。
【請求項６】前記調整行程は、前記従前までの符号化
データ量が大きければ大きいほど、前記直行変換の注目
ブロックデータの交流成分のマスクする割合を大きくす
ることを特徴とする請求項第５項に記載の符号化方法。
【請求項７】前記調整行程は、前記従前までの符号化
データ量が大きくなるに従い、前記交流成分中の高周波
成分から低周波成分に向けて拡大する領域でマスクする
ことを特徴とする請求項第６項に記載の符号化方法。
【請求項８】フレーム画像を構成する所定サイズの画
素ブロックを、前フレームの対応するブロックとの相関
関係に基づいて選択された符号化処理の１つを選択し、
符号化する符号化装置において、選択された符号化処理に基づく差分情報が付加された注
目ブロックを直行変換する直行変換手段と、従前までの符号化データ量に基づいて前記直行変換され
たブロックデータ中の交流成分のマスクする割合を調整
する調整手段とを備えることを特徴とする符号化装置。
【請求項９】前記調整手段は、前記従前までの符号化
データ量が大きければ大きいほど、前記直行変換の注目
ブロックデータの交流成分のマスクする割合を大きくす
ることを特徴とする請求項第８項に記載の符号化装置。
【請求項１０】前記調整手段は、前記従前までの符号
化データ量が大きくなるに従い、前記交流成分中の高周
波成分から低周波成分に向けて拡大する領域でマスクす
ることを特徴とする請求項第９項に記載の符号化装置。
【請求項１１】フレーム画像を構成する所定サイズの
画素ブロックを、前フレームの対応するブロックとの相
関関係に基づいて選択された符号化処理の１つを選択
し、符号化する符号化方法において、選択された符号化処理に基づく差分情報が付加された画
素ブロックを周波数空間で変換する第１の変換行程と、生の画素ブロックに含まれる種類情報単位に平均化し
て、当該画素ブロック全体を平均値データに変換する第
２の変換行程と、前記第１の変換行程と前記第２の変換行程を適応的に選
択する選択行程とを備え、選択された変換後の画素ブロックを符号化することを特
徴とする符号化方法。
【請求項１２】前記第１の変換行程に対応する符号化
処理には、フレーム間差分符号化処理とフレーム内符号
化処理が含まれ、前記選択行程は、前記第２の変換行程による符号化処
理、前記フレーム間差分符号化処理及びフレーム内符号
化処理の中から１つを選択することを特徴とする請求項
第１１項に記載の符号化方法。
【請求項１３】前記選択行程は、符号化しようとして
いる注目ブロックの分散値と、当該注目ブロックのフレ
ーム間差分符号化処理によって選択された前フレーム内
のブロックに対する分散値とを算出する行程と、算出されたフレーム間差分符号化処理に対応する分散値
及び注目画素ブロックに対応する分散値に基づいて、前
記第２の変換処理、前記フレーム間差分符号化処理、前
記フレーム内符号化処理のいずれかを選択する行程を含
むことを特徴とする請求項第１２項に記載の符号化方
法。
【請求項１４】前記フレーム間差分符号化処理には、
動き補償付きフレーム間差分符号化処理と、動き補償無
しフレーム間差分符号化処理が含まれ、前記選択行程は、フレーム間差分符号化処理を選択した
場合には、更に、前記２つの差分に基づいていずれか一
方を選択することを特徴とする請求項第１３項に記載の
符号化方法。
【請求項１５】フレーム画像を構成する所定サイズの
画素ブロックを、前フレームの対応するブロックとの相
関関係に基づいて選択された符号化処理の１つを選択
し、符号化する符号化装置において、選択された符号化処理に基づく差分情報が付加された画
素ブロックを周波数空間で変換する第１の変換手段と、生の画素ブロックに含まれる種類情報単位に平均化し
て、当該画素ブロック全体を平均値データに変換する第
２の変換手段と、前記第１の変換手段と前記第２の変換手段を適応的に選
択する選択手段とを備え、選択された変換後の画素ブロックを符号化することを特
徴とする符号化装置。
【請求項１６】前記第１の変換手段に対応する符号化
処理には、フレーム間差分符号化処理とフレーム内符号
化処理が含まれ、前記選択手段は、前記第２の変換手段に対応する符号化
処理、前記フレーム間差分符号化処理及びフレーム内符
号化処理の中から１つを選択することを特徴とする請求
項第１５項に記載の符号化装置。
【請求項１７】前記選択手段は、符号化しようとして
いる注目ブロックの分散値と、当該注目ブロックのフレ
ーム間差分符号化処理によって選択された前フレーム内
のブロックに対する分散値とを算出する手段と、算出されたフレーム間差分符号化処理に対応する分散値
及び注目画素ブロックに対応する分散値に基づいて、前
記第２の変換処理、前記フレーム間差分符号化処理、前
記フレーム内符号化処理のいずれかを選択する手段を含
むことを特徴とする請求項第１６項に記載の符号化装
置。
【請求項１８】前記フレーム間差分符号化処理には、
動き補償付きフレーム間差分符号化処理と、動き補償無
しフレーム間差分符号化処理が含まれ、前記選択手段は、フレーム間差分符号化処理を選択した
場合には、更に、前記２つの差分に基づいていずれか一
方を選択することを特徴とする請求項第１７項に記載の
符号化装置。