JP2798025B2 - 動画像符号化方法及び装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像データの符
号化方法及び装置に関する。

【０００２】

【従来の技術】現在、書籍、新聞、雑誌、マンガ本、ア
ニメーション等の文字、線画、写真、動画などの内容を
文字データや２値または多値の画像データなどのデータ
として電子的、光学的あるいは磁気的な記録媒体に記録
したり、これら記録されたデータを記録媒体から読み出
して表示イメージに変換し、各種の表示装置に表示した
りする機器の開発が行われている。表示装置としては、
例えば、ＣＲＴ装置やプラズマディスプレイ装置、ある
いは、携帯端末にしばしば使用される液晶ディスプレイ
装置などが挙げられる。これらの機器の開発目的として
は、今までは紙に印刷することにより固定されまた流通
してきた情報を、記録媒体に記録し供給することによ
り、紙資源の保護を図り、また、紙の本にはない機能を
付加することにより密度の濃い情報を提供することなど
が挙げられる。

【０００３】また、近年のマルチメディア化の傾向によ
り、動画や音など、紙に印刷する形態では表現できない
ものも、データに含まれるようになってきている。これ
らのデータには、アニメーションなどの、簡易動画像と
いわれ複数のフレームで構成された２値または多値の画
像データなどがある。

【０００４】２値または多値の画像データは、８色また
は１６色表示可能な液晶ディスプレイ装置で表示するた
めに、ディザ処理を施されることがある。ディザ処理さ
れた画像データ（ディザ画像データ）は、１画素ずつ観
察すると２値データであるが、画像を一定距離以上離れ
て観察すると、白画素が比較的多くを占める領域では輝
度が高いように見え、黒画素が比較的多くを占める領域
では輝度が低いように見え、結果として画像の濃淡を表
示することができるというものである。

【０００５】ディザ処理としては、組織的ディザ法と誤
差拡散ディザ法が広く用いられている。組織的ディザ法
は、対象画像をｎ×ｎドットのサブマトリクスの集合と
みなし、サブマトリクス内の座標情報のみによってしき
い値を定め、このしきい値と比較し、しきい値より大な
ら“１”（白）、小なら“０”（黒）となる２値信号に
変換するものである。誤差拡散ディザ法は、２値化しよ
うとする画素の周囲の画素の濃淡に応じてしきい値処理
を変化させ、比較して得られた誤差を次の画素の値に加
算していくものである。

【０００６】一方、フロッピィディスクなどの記録容量
が小さい記録媒体に記録する場合や、データ量が多い画
像データが膨大にある場合には、データ圧縮を行う必要
が生じる。２値または多値の画像データの圧縮方法とし
ては、同一ライン内の画像信号の相関のみを利用する１
次元符号化方式であるModified Huffman（モディファイ
ド・ハフマン）符号化（以下ＭＨ符号化あるいはＭＨと
呼ぶ）法や、隣接するライン間の相関も利用する２次元
符号化方式であるModified Read（モディファイド・リ
ード）符号化（以下ＭＲ符号化あるいはＭＲと呼ぶ）法
などが知られており、ＭＨ符号化、ＭＲ符号化はファク
シミリなどで広く使用されている。

【０００７】ところで、ＭＨ符号化、ＭＲ符号化を用い
てディザ画像を符号化した場合には、その符号量が原画
像信号の総ビット数より大きくなる、すなわち、符号化
したためにかえって符号量が大きくなることが多い。こ
れは、ディザ処理によって得られた画像データは、周期
性が全くなく、また近傍画素との相関もほとんどないの
で、データ圧縮に適していないためである。そこで、デ
ィザ法による中間調画像を効率よく圧縮するための符号
化方法が、各種検討されている。

【０００８】特開昭６４−７７３７１号公報には、ディ
ザ法を用いた中間調画像の符号化方法であって、中間調
画像の画質を低下させることなく符号化効率を向上させ
ることができる方法として、前回処理した２値信号と今
回処理している２値信号の差分成分のみを符号化する方
法が開示されている。図１１は、特開昭６４−７７３７
１号公報に開示された符号化装置の構成を示すブロック
図である。この符号化装置は、ディザ処理を施される前
の中間調画像を格納する中間調画像バッファ４０１と、
例えば図１２に示すようなＢａｙｅｒ（バイヤー）型デ
ィザマトリクスを備え中間調画像バッファ４０１中の画
像データに対してディザ処理を施すディザ処理回路４０
２と、組織的ディザ処理を施された前回と今回の２値信
号を比較する比較処理回路４０３と、比較処理回路４０
３での比較を行うために２値信号を一時的に格納する比
較データ格納バッファ４０４と、比較処理回路４０３で
の比較結果を符号化する符号化回路４０５と、符号化さ
れたデータを格納する符号メモリ４０６とによって、構
成されている。

【０００９】次に、この符号化装置の動作について、図
１３〜図１５を用い、順を追って説明する。中間調画像
バッファ４０１は、Ｍ行×Ｎ列、Ｍ・Ｎ階調の中間調画
像を格納するものであり、ここでは、４行×４列の１６
階調であるとする。中間調バッファ４０１から中間調画
像を順次読み出すと、ディザ処理回路４０２は、これら
の中間調画像を入力として組織的ディザ法により２値化
処理を実行し、ディザ画像を比較処理回路４０３に送出
する。ここでは、中間調画像バッファ４０１中のｎ番目
の中間調画像の符号化について注目する。

【００１０】図１３(a),(b),(c)は、ｎ−１,ｎ,ｎ＋１
番目に得られてそれぞれ比較処理回路４０３に送出され
る２値パターンを示している。前回処理されたｎ−１番
目の２値パターンが比較データ格納バッファ４０４に格
納されているとすると、比較データ格納バッファ４０４
からｎ−１番目の２値パターンが読み出され、比較処理
回路４０３において、現在処理中のｎ番目の２値パター
ンと比較され、これら２値パターンの差分パターンが求
められる。ここでは、図１４(a)に示すような差分パタ
ーンが得られ、差分パターンの要素が全て０なので、ｎ
−１番目とｎ番目の２値パターンは同一であると判別さ
れてその旨が符号化回路４０５に伝達される。また、比
較処理回路４０３は、次のｎ＋１番目の２値パターンに
対する比較見本とするために、ｎ番目の２値パターンを
比較データ格納バッファ４０４に格納する。

【００１１】続いて、ｎ＋１番目の中間調画像の２値パ
ターンが図１３(c)に示すように求められたとすると、
ｎ番目の２値パターンの場合と同様にして、比較処理回
路４０３において、ｎ＋１番目の２値パターンがｎ番目
の２値パターンと比較され、差分パターンとして図１４
(b)に示すようなパターンが得られる。この差分パター
ン中、“１”である要素は不一致箇所を示している。こ
こで、図１５(c)に示すマトリクスを用いて不一致箇所
のアドレスを表わすことにすると、５番目、７番目、１
１番目および１５番目のアドレスにおいて不一致が存在
することになる。

【００１２】符号化回路４０５は、ｎ番目の２値パター
ンとｎ−１番目の２値パターンとが同一であることか
ら、ｎ番目の２値パターンに対応して、一致コード
“Ｅ”にカウント数“＋１”が付随した符号を生成す
る。そして同じ２値パターンが連続する場合には、カウ
ント数が累算される。そして、この符号は符号化回路４
０５から符号メモリ４０６に格納される。また、ｎ番目
の２値パターンとｎ＋１番目の２値パターンが既に述ベ
たように不一致であることから、この場合には、符号化
回路４０５は、図１５(b)に示すように、不一致コード
“Ｂ”に不一致箇所情報が付随した符号を生成して符号
メモリ４０６に格納する。不一致箇所情報は１６ビット
長であり、不一致に対応した位置のビット、ここでは、
５番目、７番目、１１番目および１５番目のビットを
“１”とすることで不一致箇所を表現する。

【００１３】また、連続画像の隣接フレーム間に相関の
高い連続した複数の画像情報を圧縮する連続画像符号化
装置の一例が、特開平１−３０３９８８号公報に記載さ
れている。この連続画像符号化装置は、複数のフレーム
にまたがる画像データの画素を時間軸方向にランレング
ス符号化することによって、フレーム間でデータの変わ
っているところ、すなわち動いているところだけを符号
化し、動きの少ない場面でのデータ量を減らし、さらに
グラフィック等によるアニメーションの動きを滑らかに
することを目的としている。図１６は、特開平１−３０
３９８８号公報に記載された連続画像符号化装置を示し
ている。すなわちこの連続画像符号化装置は、複数のフ
レームに連続する画像情報（連続画像データ）を取り込
む画像データ入力部５０１と、画像データ入力部５０１
に入力した連続画像データから各画素を時系列方向にラ
ンレングス圧縮する連続画像圧縮部５０２と、連続画像
圧縮部５０２で符号化された各フレームごとの画素情報
を記憶する例えば光ディスク等の記憶メディア５０３
と、記憶メディア５０３から各フレームごとの画素情報
を読み出して時系列方向にランレングス伸張を行う連続
画像伸張部５０４と、連続画像伸張部５０４で伸張され
た表示データが書き込まれる表示メモリ５０５と、表示
メモリ５０５に書き込まれた表示データを表示するため
のディスプレイ５０６と、から構成されている。

【００１４】次に、この連続画像符号化装置の動作を説
明する。アニメーションを行うべき全フレームの画像デ
ータを画像データ入力部５０１に入力してフレームごと
にデジタル化し、フレーム番号の若い順に連続画像圧縮
部５０２に出力する。連続画像圧縮部５０２は、入力し
たデジタルデータをフレーム単位で順次比較して、色デ
ータの変化のあった画素の色データとその色データが続
いたフレーム数を出力することにより、各画素の時系列
方向のランレングス圧縮を行い、記憶メディア５０３に
色データとフレーム数（表示時間データ）をフレーム単
位に記録する。一方、連続画像伸張部５０４は、記憶メ
ディア５０３から圧縮データをフレーム単位に読み出し
て、時系列方向にランレングス符号を伸張し、表示メモ
リ５０５に書き込む。表示メモリ５０５は、ディスプレ
イ５０６上の表示画素とアドレスが１対１に対応したビ
ットマップメモリであり、表示メモリ５０５の各アドレ
スに書き込まれた表示データは、そのまま変換されてデ
ィスプレイ５０６上に表示される。

【００１５】図１７は、連続画像圧縮部５０２の構成を
示している。連続画像圧縮部５０２は、入力した１フレ
ーム分の画素データをそれぞれ記憶する第１のフレーム
メモリ５２１及び第２のフレームメモリ５２２と、フレ
ームメモリ５２１,５２２にそれぞれ記憶されたフレー
ムにおいて同じ位置の画素データを比較してその情報を
出力するフレーム比較回路５２３と、現在使用している
フレームの各画素の色データを記憶する色データメモリ
５２４と、色データメモリ５２４に現在記憶されている
各画素の色データが現在のフレームまで何フレーム連続
して同じ値（同じ色）であるかを示す表示時間データメ
モリ５２５と、フレーム比較回路５２３での比較の結
果、色が異なる画素がいくつあったかをカウントする変
化画素数カウンタ５２６と、１回のフレーム間の比較で
同じ位置の画素同士で変化した画素の色データとそれに
対応する表示時間データを２つのフレームの比較が全て
終わるまで保存しておくためのデータ出力用ＦＩＦＯメ
モリ５２７と、１回のフレーム間の比較が終わるごとに
変化画素数カウンタ５２６とデータ出力用ＦＩＦＯメモ
リ５２７の出力を制御する出力制御回路５２８と、一番
初めの画面（初期画面）のデータを記憶しておく初期画
面用メモリ５２９と、比較されて書き換えられたデータ
が初期画面のデータであるかどうかを判別する初期値判
別回路５３０と、初期値判別回路５３０の判別結果に従
ってデータを初期画面用メモリ５２９に入力するかデー
タ出力用ＦＩＦＯメモリ５２７に入力するかを切り替え
るスイッチ５３１と、から構成されている。

【００１６】ここで、アドレスの相対関係を概念的に示
す図１８を用いて、第１のフレームメモリ５２１及び第
２のフレームメモリ５２２と色データメモリ５２４と表
示時間データメモリ５２５との関係を説明する。各フレ
ームメモリ５２１,５２２と色データメモリ５２４と表
示時間データメモリ５２５は、いずれも同じ大きさのア
ドレス空間を持つメモリであって、図に示すように相対
的に同じ位置関係になるように配置されている。ここ
で、第１のフレームメモリ５２１と第２のフレームメモ
リ５２２に、比較すべき２つのフレームの画素情報をそ
れぞれ書き込み、同じ表示位置の画素同士を比較する。
同じ表示位置の画素同士を比較した結果は、色データメ
モリ５２４と表示時間データメモリ５２５において、相
対位置関係が同じになるようなアドレスに書き込まれ
る。これにより各画素の情報が各メモリ５２１,５２２,
５２４,５２５において相対的に同じ位置関係になるよ
うに記憶される。

【００１７】ここで、図１９のフローチャートを用い
て、連続画像圧縮部５２２で行われる時系列方向ランレ
ングス符号化の手順を説明する。

【００１８】まず、連続画像圧縮部５２２を初期設定す
る（ステップ６０１）。具体的には、図２０(a)に示す
ように、変化画素数カウンタ５２６を“０”にセットし
（ステップ６２１）、データ出力用ＦＩＦＯメモリ５２
７をリセットし、表示時間データメモリ５２５を“１”
でクリアし（ステップ６２２）、第１のフレームメモリ
５２１に最初のフレームのデータを書き込み（ステップ
６２３）、色データメモリ５２４に第１のフレームメモ
リ５２１の内容をコピーする（ステップ６２４）。ステ
ップ６０１での初期化処理が終われば、続いて、第２の
フレームメモリ５２２に次のフレームのデータを書き込
み（ステップ６０２）、第１のフレームメモリ５２１と
第２のフレームメモリ５２２の対応する位置の画素の色
をを比較し（ステップ６０３）、比較した画素の色が同
じかどうかを判断する（ステップ６０４）。比較した画
素で色データが同じ場合には、対応する表示時間データ
メモリ２２５の内容に１を加算してステップ６１１に移
行する。

【００１９】一方、ステップ６０４で画素の色が異なる
場合には、初期値判別回路５３０により初期画面データ
であるかどうか、すなわち、対応する色データメモリ５
２４の色データの内容が初めて出力されるものであるか
どうかを判断する（ステップ６０６）。初期画面データ
でない場合には、このデータをデータ出力用ＦＩＦＯメ
モリ５２７に出力して、第２のフレームメモリ５２２の
対応する画素の色データを新しいデータとして色データ
メモリ５２４に書き込む（ステップ６０７）。そして、
対応する表示時間データメモリ５２５の内容もデータ出
力用ＦＩＦＯメモリ５２７に出力して、“１”を新しい
データとして表示時間データメモリ５２５に書き込む
（ステップ６０８）。続いて、変化画素数カウンタの内
容に１を加算し（ステップ６０９）、ステップ６１１に
移行する。一方、ステップ６０６で初期画面データであ
ると判断された場合には、初期画面処理を実行し（ステ
ップ６１０）、ステップ６１１に移行する。初期画面処
理は、このとき比較した画素位置に対応する色データメ
モリ５２４の内容をスイッチ５３１の切り替えによって
初期画面用メモリ５２９の対応する位置に書き込み、第
２のフレームメモリ５２２の対応する画素の色データを
新しいデータとして第１のフレームメモリ５２１に書き
込み、さらに、対応する表示時間メモリ５２５の内容も
初期画面用メモリ５２９の対応する位置に書き込み、
“１”を新しいデータとして表示時間データメモリ５２
５に書き込むことによって、行われる。

【００２０】ステップ６１１では、１フレーム分の画素
データの全てを比較したかを判断する。比較していない
画素が残っている場合には、その画素の比較を上述と同
様に行うためにステップ６０２に移行し、全ての画素デ
ータの比較が済んでいたら、出力制御回路５２８による
出力処理を実行する（ステップ６１２）。この出力処理
は、図２０(b)に示すように、変化画素数カウンタ５２
６の内容を出力し（ステップ６３１）、次に、データ出
力用ＦＩＦＯメモリ５２７に書き込まれた内容をそのま
ま出力し（ステップ６３２）、最後に、エンド（終了）
コードを出力する（ステップ６３３）処理である。この
出力処理が終了したら、第２のフレームメモリ５２２に
書き込まれたフレームデータが最後のデータかどうかを
判定して（ステップ６１３）、第２のフレームメモリ５
２２に書き込まれたフレームデータが最後のデータでな
いときには、第２のフレームメモリ５２２の内容を全て
第１のフレームメモリ５２１にコピーし（ステップ６１
４）、第２のフレームメモリ５２２に次のフレームデー
タを書き込むためにステップ６０２に移行する。一方、
ステップ６１３において、第２のフレームメモリ５２２
に書き込まれたフレームデータが最後のデータであると
判定された場合には、全てのフレームデータを比較した
ことになり、出力制御回路５２８による出力処理を行っ
て（ステップ６１５）、処理を終了する。ステップ６１
５における出力処理は、ステップ６１３における出力処
理と同様のものである。以上の動作を行うことにより、
アニメーションの初期画面データとそれに続く書き換え
画面データとをフレーム単位で得ることができる。

【００２１】この連続画像符号化装置では、連続画像圧
縮部５０２で得られる連続画像の時系列方向ランレング
ス符号化データは、図２１(a)に示すような初期画面デ
ータと、図２１(b)に示すような書き換え画面データと
からなる。図２１(a),(b)は、記憶メディア５０３に記
憶されるときのデータ構造として、これら初期画面デー
タと書き換え画面データを表わしている。

【００２２】初期画面データの先頭には、ここから時系
列方向ランレングス符号化データが始まることを示す初
期画面コードが付加され、最後部には、フレームの終わ
りを示すエンドコードが付加される。各フレームの書き
換え画面データの先頭には、そのフレームでいくつの画
素が書き換えられるかを示した変化数データが付加さ
れ、最後部にはエンドコードが付加される。そして、初
期画面コードとエンドコードの間（初期画面データの場
合）、変化数データとエンドコードの間（書き換え画面
データの場合）には、図示するように、色データと表示
時間データが交互に配置する。なお、初期画面コード、
変化数コードおよびエンドマークはデータ取り扱い上の
便宜のためのものあり、必須のものではない。

【００２３】

【発明が解決しようとする課題】上述した特開昭６４−
７７３７１号公報に記載の方法では、組織的ディザ法を
用いた２値化処理後の２値信号を、前回処理した２値信
号と比較して差分のみを符号化しており、原理的に、前
回と今回の２値信号が連続して一致する場合にのみ圧縮
率が高くなる。逆に、両者が連続して一致しない場合に
は、付加した一致コードおよび不一致コードの分だけデ
ータ量が多くなり、かえって圧縮率は低下する。ディザ
処理した２値信号は、４×４のマトリクスで２¹⁶＝６５
３５６通りのパターンが考えられることから、前回と今
回の２値信号が連続して一致する可能性は低いと考えら
れ、結局、特開昭６４−７７３７１号公報の方法では、
圧縮率の向上は困難である。

【００２４】また、特開平１−３０３９８８号公報に記
載の方法は、複数フレームからなる連続画像における隣
接フレーム間の画素情報に高い相関があることに着目
し、時間軸方向にランレングス符号化を行っているの
で、ディザ処理を行うことができないという問題点があ
る。

【００２５】本発明の目的は、上記従来技術の問題点を
解決し、ディザ処理した画像データの符号化効率を向上
するとともに、複数フレームで構成される画像データす
なわち動画像データを少ない符号量で符号化できる符号
化方法及び装置を提供することにある。

【００２６】

【課題を解決するための手段】本発明の動画像符号化方
法は、複数のフレームで構成される動画像データを符号
化する動画像符号化方法において、動画像データにディ
ザ処理を施こすディザ処理工程と、ディザ処理が施され
た動画像データに対してその一部の領域を同一色で塗り
つぶす塗りつぶし処理工程と、塗りつぶし処理工程を経
た動画像データに対して圧縮符号化を行う圧縮処理工程
と、を有する。

【００２７】本発明の動画像符号化方法においては、塗
りつぶし処理工程の実施後に、現フレームの動画像デー
タと前フレームの動画像データとの差分データを求める
差分処理工程を設け、差分データに基づいて圧縮符号化
を行なわれるようにしてもよい。

【００２８】本発明の動画像符号化装置は、複数のフレ
ームで構成される動画像データを符号化する動画像符号
化装置において、動画像データをディザ処理を施すディ
ザ処理手段と、ディザ処理手段が出力したデータにおけ
る一部の領域を同一色で塗りつぶす塗りつぶし処理手段
と、塗りつぶし処理手段が出力したデータに基づいて圧
縮符号化を行う圧縮処理手段と、を有する。

【００２９】本発明の動画像符号化装置においては、デ
ィザ処理手段に入力する動画像データをフレーム間引き
する間引き処理手段を設けてもよく、また、現フレーム
の動画像データと前フレームの動画像データとの差分デ
ータを求める差分処理手段を塗りつぶし手段の出力側に
設け、この差分データが圧縮処理手段に入力して符号化
されるようにしてもよい。差分処理手段としては、現フ
レーム及び前フレームの同じ表示位置の画素の排他的論
理和を求めて差分データとするものを使用することがで
きる。さらに、差分処理手段としては、現フレームのデ
ータと直前のフレームのデータとの画素ごとの差分値を
取得する差分値取得手段と、この差分値と予め定められ
たしきい値とを比較して差分データを決定する差分値比
較手段とを有し、差分値がしきい値以下である場合には
当該画素について現フレームと直前のフレームとの間に
差がなかったものとするものも使用することができる。

【００３０】すなわち本発明では、ディザ処理後の画像
データのうちの一部の領域、典型的には、動きのない領
域もしくは背景領域を同一色に塗りつぶすことにより、
ディザ領域の面積を小さくして、符号化後のデータ量を
削減している。特に、塗りつぶし処理を行った後に、現
フレームと前フレームの差分を求めてこの差分データに
よって圧縮符号化を行うことにより、ランダム性のある
データが白ランまたは黒ランの長いデータに転換され、
符号化後のデータ量をさらに削減することが可能にな
る。この場合、差分値としきい値とを比較して比較結果
に応じて差分データを決定するようにすると、フレーム
間で相関が少ないデータでも差分をとることができるよ
うになるとともに、ラン長の長いデータが得られる。さ
らに、ディザ処理を行う前にフレーム間引きを行うこと
によって入力データを削減することにより、符号化後の
データ量を削減することも可能である。

【００３１】

【発明の実施の形態】次に、本発明の実施の形態につい
て、図面を参照して説明する。

【００３２】《第１の実施の形態》図１は、本発明の第
１の実施の形態の動画像符号化装置の構成を示すブロッ
ク図である。この動画像符号化装置は、入力画像データ
に対してフレームごとにディザ処理を行うディザ処理手
段１１と、ディザ処理が施された画像データ中の動きの
ない領域や背景領域に対して同一色で塗りつぶす処理を
施す塗りつぶし手段１２と、塗りつぶし手段１２の出力
側に設けられ前フレームデータと現フレームデータとの
差分をとって差分データを取得する差分処理手段１３
と、差分処理手段１３の出力するデータに対して圧縮処
理を施し符号化データを出力する圧縮処理手段１４と、
から構成されている。

【００３３】ディザ処理手段１１は、複数フレームで構
成される２値または多値の画像データを入力として、誤
差拡散ディザ法、組織的ディザ法もしくは乱数発生ディ
ザ法などを用い、入力画像データの全領域に対してディ
ザ処理を実行し、ディザ処理されたデータを塗りつぶし
手段１２に供給する。差分処理手段１３は、図２に示す
ように、前フレームのデータを格納する前フレームデー
タ格納手段２１と、現フレームのデータと前フレームの
データについて画素ごとに排他的論理和をとるフレーム
間差分処理手段２２とから、構成されている。圧縮処理
手段１４におけるデータ圧縮、符号化方法としては、圧
縮されるデータが２値または多値の階調を持ったデータ
ということから、ファクシミリ等で使用されているＭＨ
符号化、ＭＲ符号化、ＭＭＲ(Modified MR)符号化、高
速な伸張が行えるスライド辞書型ＬＺ(Lempel-Ziv)符号
化、ランレングス符号化など、さまざまな可逆符号化方
法を用いることができる。

【００３４】次に、この動画像符号化装置の動作につい
て説明する。図３は、この動画像符号化装置での処理を
示すフローチャートであり、図４(a),(b)は、時系列に
隣接する２フレームでの画像データの例を示す図であ
る。図４中、白抜きの領域Ａは、動きを持った領域を意
味しており、ｎ番目のフレームからｎ＋１番目のフレー
ムにおいて、右斜め上に移動している。一方、図中の斜
線が付された領域Ｂは、動きのない領域もしくは背景領
域などを意味している。また、点線は、直前のフレーム
での領域Ａの位置を示している。ここでは、図４(a),
(b)に示すような画像データがディザ処理手段１１に入
力したとする。

【００３５】まず、画像データの全領域のディザ処理が
行われる（ステップ１０１）。この処理は、入力される
フレームデータがなくなるまで、フレーム単位で行われ
る（ステップ１０２）。続いて、ディザ処理されたデー
タが、塗りつぶし処理手段１２に入力し、各フレーム単
位で塗りつぶし処理が行われる（ステップ１０３）。塗
りつぶし処理では、上述したように、動きのない領域や
背景領域などを同一色に塗りつぶす。例えば、ゴルフス
ウィングをしている一連のフレームからなる画像データ
の場合、ゴルフスウィングをしている領域を残し、それ
以外の背景領域の画素の色を同一色に変える。図４でい
うと、ゴルフスウィングの部分が領域Ａで、風景などの
背景領域が領域Ｂとなり、領域Ｂの部分が同一色に塗り
つぶされる。この塗りつぶし処理は、入力されるデータ
がなくなるまで行われる（ステップ１０４） 次に、ディザ処理されたままの領城Ａと同一色で塗りつ
ぶされた領域Ｂとからなる画像データが差分処理手段１
３に入力され、差分処理が行われる（ステップ１０
５）。ここで、差分処理手段１３から出力される差分デ
ータについて説明する。図５は差分処理の概念を示す図
である。まず、１フレーム目を準備し、このデータを前
フレームデータ格納手段２１に格納し、２フレーム目の
データを準備する。そして、フレーム間差分処理手段２
２により、同じ画素位置での、前フレームデータ格納手
段２１に格納された１フレーム目のデータ（前フレーム
データ）での値と、２フレーム目のデータ（現フレーム
データ）での値との排他的論理和を求め、これを差分デ
ータとする。全ての画素に対して排他的論理和をとる
と、２フレーム目のデータを前フレームデータ格納手段
２１に格納し、次のフレームのデータを準備する。そし
て、この差分処理は、入力されるデータがなくなるまで
行われる（ステップ１０６）。

【００３６】そして、差分処理手段１３から供給される
データ（差分データ）を圧縮処理手段１４に入力して圧
縮処理を行う（ステップ１０７）。圧縮処理は、データ
がなくなるまで行われる（ステップ１０８）。以上の処
理を行うことによって、入力動画像データの符号化が行
われたことになる。

【００３７】以上説明したようにこの第１の実施の形態
では、ディザ処理したデータにおいて動きのない領域も
しくは背景領域を同一色で塗りつぶすことにより、符号
化効率が向上し、動画像データの符号化後のデータ量を
少なくすることができる。

【００３８】《第２の実施の形態》上述の第１の実施の
形態によれば、符号量の少ない動画像符号化を行うこと
ができるが、さらにデータ量を少なくするためには、入
力データの間引きを行えばよい。図６は、データの間引
きを行うようにした動画像符号化装置を示している。

【００３９】この動画像符号化装置は、図１に示す動画
像符号化装置の入力端に、動画像データの間引き処理を
行う間引き処理手段１５を付加した構成となっている。

【００４０】まず、動画像データの間引き処理について
説明する。図７は間引き処理を説明するための図であ
る。図のように時系列に連続した画像データ４１がフレ
ーム単位に並んでいると、間引き処理手段１５は、斜線
が付されたフレームの画像データを削除する。これによ
り、入力する動画像データのデータ量が１／２に削減さ
れる。

【００４１】次に、この動画像符号化装置の動作につい
て、図８を用いて説明する。

【００４２】入力した動画像データは、まず、間引き処
理手段１５に入力し、ここで間引き処理が行われてデー
タ量が削減される（ステップ１１１）。この間引き処理
は、データがなくなるまで行われる（ステップ１１
２）。間引きされたデータは、ディザ処理手段１１に入
力し、フレーム内のすべての領域に対して、ディザ処理
（ステップ１１３）が、データがなくなるまで行われる
（ステップ１１４）。続いて、ディザ処理されたデータ
は塗りつぶし処理手段１２に入力し、塗りつぶし処理に
より、動きのない領域や背景領域が同一色に塗りつぶさ
れる（ステップ１１５）。塗りつぶし処理はデータがな
くなるまで行われる（ステップ１１６）。

【００４３】ところで、本実施の形態では、間引き処理
を行っているので、フレーム間での相関がなくなり、差
分処理を行うことによりデータ量が増えることがある。
そこで、塗りつぶし処理の実行後、まず、差分処理を実
行するかどうかの判定を行う（ステップ１１７）。間引
きされるデータが多く、フレーム間での相関がなくなる
場合には、差分処理を行わずにステップ１２０に移行
し、そうでない場合には、差分処理を行う（ステップ１
１８）。差分処理では、塗りつぶし処理されたデータが
差分処理手段１３に入力する。差分処理はデータがなく
なるまで行われ（ステップ１１９）、その後、ステップ
１２０に移行する。

【００４４】ステップ１２０では、データが圧縮処理手
段１４に入力して圧縮処理が行われる。圧縮処理はデー
タがなくなるまで行われ（ステップ１２１）、その後、
処理を終了する。

【００４５】以上説明したようにこの第２の実施の形態
では、ディザ処理を実施する前に間引き処理を行い、デ
ィザ処理したデータ中の動きのない領域もしくは背景領
域を塗りつぶしてデータ量を削減し、データの性質に応
じて差分処理を行ってから圧縮処理を行うことにより、
動画像データの符号化後のデータ量をさらに少なくして
いる。

【００４６】《第３の実施の形態》上述の第１の実施の
形態及び第２の実施の形態では、差分処理手段１３での
差分処理が、図５に示すように、同じ表示位置での画素
値の排他的論理和を求めて差分データとする処理であっ
た。しかし、間引き処理を行ったデータやディザ処理し
たデータなどフレーム間での相関が少ない場合には、排
他的論理和による差分処理では、データ量の削減が不十
分な場合がある。そこで、この第３の実施の形態では、
同じ表示位置の画素の色データの差分をとるようにし
た。

【００４７】すなわちこの第３の実施の形態の動画像符
号化装置では、図１及び図６にそれぞれ記載された第１
の実施の形態及び第２の実施の形態の動画像符号化装置
において、差分処理手段１３の代りに、図９に示す構成
の差分処理手段２０を使用する。この差分処理手段２０
は、前フレームのフレームデータを格納する前フレーム
データ格納手段２１と、同じ表示位置の画素での前フレ
ームの色データと現フレームの色データの差分値（絶対
値）を取得する差分値取得手段２３と、所定のしきい値
が予め入力されてこれを保持するしきい値入力手段２４
と、差分値取得手段２３で取得した差分値としきい値入
力手段２４に保持されているしきい値とを比較し、差分
値の方が小さければ“０”を、そうでなければ“１”を
差分データとして圧縮処理手段１４に出力する差分値比
較手段２５と、から構成されている。

【００４８】以下、差分値取得手段２３による差分値の
取得を図１０を用いて説明する。図１０は、画像データ
の１フレーム分のＲＧＢデータ（Ｒ：赤、Ｇ：緑、Ｂ：
青）を示しており、１つのフレームは、Ｒデータのプレ
ーン５１、Ｇデータのプレーン５２及びＢデータのプレ
ーン５３に分解することができ、各色のデータは画素当
り、それぞれ１ビットで表わされるものとする。差分値
の取得は、Ｒデータ、Ｇデータ、Ｂデータの３ビットを
単位として処理される。今、１つ前のフレームのＲＧＢ
データが、例えば、［Ｒ,Ｇ,Ｂ］＝［１,１,０］、現フ
レームでのＲＧＢデータが、例えば、［Ｒ,Ｇ,Ｂ］＝
［１,１,１］であるとすると、差分値は１となる。この
ようにして求められた差分値は、差分値比較手段２５に
おいてしきい値と比較され、その結果、差分データが出
力する。

【００４９】以上説明したように本実施の形態では、色
データの基づいて差分値を求めた上で差分値としきい値
を比較して差分データを生成しているので、フレームデ
ータ中の変化の少ないデータが省略されることになっ
て、圧縮処理での符号化効率がさらに向上する。

【００５０】

【発明の効果】以上説明したように本発明は、ディザ処
理後の画像データのうちの一部の領域、典型的には、動
きのない領域もしくは背景領域を同一色に塗りつぶすこ
とにより、ディザデータの領域の面積が小さくなって、
符号化後のデータ量が削減し、符号化効率が向上すると
いう効果がある。

【００５１】また、塗りつぶし後に差分処理を行うこと
によって、ランダム性のあるデータがラン長の長いデー
タに転換されることとなり、符号化後のデータ量がさら
に削減する。差分値としきい値とを比較して差分データ
を決めるようにした場合には、フレーム間で相関が少な
いデータに対しても差分処理の効果が表れるとともに、
フレームデータ間での変化の少ない部分のデータが省略
されることになって、圧縮処理での符号化効率がさらに
向上する。さらに、ディザ処理を行う前にフレーム間引
きを行うことによって、符号化の対象となるデータの量
が削減される。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の動画像符号化装置
の構成を示すブロック図である。

【図２】差分処理手段の構成を示すブロック図である。

【図３】図１の動画像符号化装置の処理を示すフローチ
ャートである。

【図４】(a),(b)は、塗りつぶし処理を説明するための
図である。

【図５】差分処理の概念を説明する図である。

【図６】本発明の第２の実施の形態の動画像符号化装置
の構成を示すブロック図である。

【図７】間引き処理を説明するための図である。

【図８】図６の動画像符号化装置の処理を示すフローチ
ャートである。

【図９】第３の実施の形態の動画像符号化装置での差分
処理手段の構成を示すブロック図である。

【図１０】第３の実施の形態での差分処理を説明するた
めの図である。

【図１１】ディザ法による中間調画像の符号化を行う従
来の符号化装置の構成の一例を示す図である。

【図１２】Ｂａｙｅｒ型のディザマトリクスを示す図で
ある。

【図１３】(a)〜(c)は、ディザ処理後の２値パターンの
例を示す図である。

【図１４】(a),(b)は差分パターンの例を示す図であ
る。

【図１５】(a)は一致時のデータを示す図、(b)は不一致
時のデータを示す図、(c)は不一致箇所アドレスとマト
リクスとの対応を示す図である。

【図１６】従来の連続画像時系列処理システムを示すブ
ロック図である。

【図１７】連続画像圧縮部の構成を示すブロック図であ
る。

【図１８】第１のフレームメモリ及び第２のフレームメ
モリと色データメモリと表示時間データメモリのアドレ
スの相対関係を示す概念図である。

【図１９】時系列方向ランレングス符号化を行うための
手順を示したフローチャートである。

【図２０】(a)は初期化処理を示すフローチャート、(b)
は出力制御回路による出力処理を示すフローチャートで
ある。

【図２１】記憶メディアに記憶されるデータのデータ構
造を示した図であり、(a)は第１フレーム、(b)は第２フ
レームを示している。

【符号の説明】

１１ ディザ処理手段 １２ 塗りつぶし処理手段 １３，２０ 差分処理手段 １４ 圧縮処理手段 １５ 間引き処理手段 ２１ 前フレームデータ格納手段 ２２ フレーム間差分処理手段 ２３ 差分値取得手段 ２４ しきい値入力手段 ２５ 差分値比較手段

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 複数のフレームで構成される動画像デー
   タを符号化する動画像符号化方法において、 前記動画像データにディザ処理を施こすディザ処理工程
   と、 前記ディザ処理が施された動画像データに対してその一
   部の領域を同一色で塗りつぶす塗りつぶし処理工程と、 前記塗りつぶし処理工程を経た動画像データに対して圧
   縮符号化を行う圧縮処理工程と、を有することを特徴と
   する動画像符号化方法。
2. 【請求項２】 前記塗りつぶし処理工程の実施後に、現
   フレームの動画像データと前フレームの動画像データと
   の差分データを求める差分処理工程を有し、前記圧縮処
   理工程は前記差分データに基づいて圧縮符号化を行う、
   請求項１に記載の動画像符号化方法。
3. 【請求項３】 複数のフレームで構成される動画像デー
   タを符号化する動画像符号化装置において、 前記動画像データをディザ処理を施すディザ処理手段
   と、 前記ディザ処理手段が出力したデータにおける一部の領
   域を同一色で塗りつぶす塗りつぶし処理手段と、 前記塗りつぶし処理手段が出力したデータに基づいて圧
   縮符号化を行う圧縮処理手段と、を有することを特徴と
   する動画像符号化装置。
4. 【請求項４】 前記ディザ処理手段に入力する動画像デ
   ータをフレーム間引きする間引き処理手段を有する請求
   項３に記載の動画像符号化装置。
5. 【請求項５】 現フレームの動画像データと前フレーム
   の動画像データとの差分データを求める差分処理手段が
   前記塗りつぶし手段の出力側に設けられ、前記差分デー
   タが前記圧縮処理手段に入力して符号化される請求項３
   または４に記載の動画像符号化装置。
6. 【請求項６】 前記差分処理手段が、現フレームのデー
   タと直前のフレームのデータとの画素ごとの差分値を取
   得する差分値取得手段と、前記差分値と予め定められた
   しきい値とを比較して差分データを決定する差分値比較
   手段とを有し、前記差分値が前記しきい値以下である場
   合には当該画素について現フレームと直前のフレームと
   の間に差がなかったものとする、請求項５に記載の動画
   像符号化装置。