JP3181002B2 - 自在駒落ち動画像符号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一旦符号化された符号
化データに対してフレーム駒落しを実現する時、その符
号化データを復号して動画像に戻し、駒落しを行った後
再度符号化するという手順ではなく、符号化データその
ものの一部を単に欠落させることにより、簡単に駒落し
を実現する自在駒落ち動画像符号化に関するものである
（図１参照）。

【０００２】

【従来の技術】従来、自在駒落ち符号化方法を用いるこ
とにより、符号化データ伝送時に誤りが生じた場合、誤
りが含まれるデータを適宜破棄することにより、破綻し
た画像を生じさせることなく動画像の再生ができる。

【０００３】また、ソフトウェアでの復号など復号処理
量が不足ぎみの時、適宜符号化データを捨てることによ
り、実時間再生が可能となる。さらに、伝送速度の異な
るネットワークを従属接続した場合や、復号処理能力の
異なる復号器に同じ復号化データを同時に（同報で）入
力する場合などでは、伝送途中や復号処理において、復
号化データを捨てざるをえない場合、復号処理を省略し
なければならなくなる場合が多く発生する（図４参
照）。

【０００４】従来、前記自在駒落ちを実現するために、
全フレームをフレーム内モードで符号化している。

【０００５】また、動画像符号化の発生情報量を減少さ
せるために、連続するフレームで画像が同じである領域
では、前フレームの内容をそのまま現フレームの内容と
するフレーム間コピーモード、前フレームと現フレーム
の差分だけを符号化するフレーム間差分モード、ブロッ
ク毎の動き情報を符号化する動き補償などのフレーム間
符号化技術が用いられている。

【０００６】

【発明が解決しようとする課題】しかしながら、前記従
来の自在駒落ちを実現するため、全フレームをフレーム
内モードで符号化している技術では、連続するフレーム
で同じ画像である部分でも、いちいち符号化データが発
生するため、符号化データの情報量が多くなるという問
題があった。

【０００７】また、前記動画像符号化の発生情報量を減
少させるため、連続するフレームで画像が同じである領
域では、前フレームの内容をそのまま現フレームの内容
とするフレーム間コピーモード、前フレームと現フレー
ムの差分だけを符号化するフレーム間差分モード、ブロ
ック毎の動き情報を符号化する動き補償などのフレーム
間符号化技術では、全フレームが復号されることが前提
であり、何等かの事情で符号化データが欠落した場合
は、以後の出力画像に破綻を来していた。

【０００８】また、フレーム間符号化技術を用いた場合
のエラー対策として、一定の間隔で全てのブロックをフ
レーム内符号化（書き換えモード）するリフレッシュ
（一定周期）という技術があるが、リフレッシュを用い
たとしても、データが欠落してから、次のリフレッシュ
が起こるまでは、正常な復号ができなくなる。一方、リ
フレッシュの周期を短くすれば、フレーム内符号化を多
用することになるので、情報発生量が増加してしまう。

【０００９】また、自在駒落ちを実現するもう一つの方
法として、必ず復号化されるキーフレームをある周期で
設定し、キーフレームとキーフレームの間のフレームは
直前のキーフレームからのフレーム間コピー、フレーム
間差分、動き補償などを行って符号化することが考えら
れるが、この場合、復号側に、キーフレームの画像メモ
リと、現在のフレームの画像メモリの２つが必要とな
り、復号器の構成が大きくなるという問題があった。

【００１０】また、同報を行う場合、符号化器に対し復
号器の数が多くなるので、復号器の経済性が大きな課題
である。このため、復号処理を汎用のパソコンの主中央
処理装置（ＣＰＵ）で行うことが考えられる。従って、
復号処理をできるだけ簡単にする必要がある。

【００１１】本発明は、前記問題点を解決するためにな
されたものであり、本発明の目的は、符号化データの欠
落が起こった場合でも、正常な復号を行うことが可能な
技術を提供することにある。

【００１２】本発明の他の目的は、発生情報量を低く抑
えることが可能な技術を提供することにある。

【００１３】本発明の他の目的は、復号処理を簡単に行
うことが可能な技術を提供することにある。

【００１４】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。

【００１５】

【課題を解決するための手段】本願において開示される
発明のうち代表的なものの概要を簡単に説明すれば、以
下のとおりである。

【００１６】入力画像を矩形のブロックに分割し、ブロ
ック毎に、そのブロックの画像を符号化する書き換えモ
ードか、あるいは、前フレームの同じ位置のブロックを
そのブロックとするコピーモードかを決定し、該ブロッ
クのモードが書き換えモードかコピーモードかを示す符
号を出力し、書き換えモードのブロックに対して符号化
データを出力し、すべてのブロックについて、一定周期
（リフレッシュ）ごとに必ず書き換えモードで符号化す
る動画像符号化方法であって、書き換えモードあるいは
コピーモードかを示すモードフラグを、フラグメモリに
ブロック毎に１フレーム分蓄積し、書き換えモード時に
発生する符号化データを、ブロック符号化データメモリ
にブロック毎に１フレーム分蓄積し、一定周期（リフレ
ッシュ）終了時にフラグメモリをコピーモードでクリア
し、以後、次の一定周期（リフレッシュ）まで、一旦書
き換えモードになった場合、それを保持し、書き換えモ
ード時は、そのブロックの符号化データをブロック符号
化データメモリに上書きし、フラグメモリの内容をブロ
ック毎に順に読みだし、コピーモード時にはそれを示す
符号を出力し、書き換えモード時にはそれを示す符号
と、対応するブロックのブロック符号化データメモリの
内容を出力し、一定周期（リフレッシュ）終了時にフラ
グメモリをコピーモードでクリアし、以後、次の一定周
期（リフレッシュ）時には、それを示す符号を出力して
符号化データストリームを作成し、伝送及び復号時に
は、一定周期（リフレッシュ）用の符号化データを必ず
伝送及び復号し、一定周期（リフレッシュ）以外の符号
化データは、伝送、復号処理の状態によって適宜にデー
タを欠落させたり、復号処理を省略することを特徴とす
る。

【００１７】

【作用】前述した手段によれば、フラグメモリとブロッ
ク符号化データメモリの効果により、リフレッシュ時か
ら現在のフレームまでに変化した部分を全て含む符号化
データを各フレームに対して出力するので、リフレッシ
ュ以外のデータを駒落ししても、引き続くフレームのデ
ータが乱れない。

【００１８】発生符号量は書き換えモードとして出力す
るブロックの数にほぼ比例するが、本発明の方法では、
一旦書き換えモードになったら、次のリフレッシュまで
そのモードを保持するので、リフレッシュの間は書き換
えモードブロックの数がフレーム毎に増加していく。し
かし、通常、動画像では、画面中の動いている領域は限
られているので、リフレッシュとリフレッシュの間で書
き換えモードになったりコピーモードになったりするブ
ロックは少ない。従って、本発明の方法を用いても符号
量の増加は少ない。

【００１９】本発明の方法では、復号器のフレームメモ
リが一つで良いので、復号器の構成が簡単となる。コピ
ーモードの時は、フレームメモリにアクセスしなくて済
むので、処理量も大幅に軽減される。

【００２０】

【実施例】以下、図面を参照して本発明による実施例を
詳細に説明する。

【００２１】図１は本発明による自在駒落ち動画像符号
化方法の一実施例を説明するための説明図であり、
（ａ）は１フレーム分のフラグメモリ、（ｂ）は１フレ
ーム分のブロック符号化データメモリである。（ａ）図
において、“０”はコピーモード、“１”は書き換えモ
ードのフラグである。（ｂ）図において、各ますめに
は、１ブロック分の符号化データが入る。

【００２２】本実施例の自在駒落ち動画像符号化方法の
処理手順を説明する。

【００２３】（１）符号器では、入力画像をブロックに
分割し、ブロック毎に、そのブロックがフレーム間コピ
ーモード（コピーモード）か書き換えモードかを決定す
る。この決定は、例えば、前フレームを復号したもの
と、入力フレームの差分２乗和を計算し、その値がある
しきい値以下であるブロックをコピーモード、そうでな
いときを書き換えモードとする。書き換えモードのブロ
ックは、個別コサイン変換（ＤＣＴ）符号化、ベクトル
量子化等の既存の方法で符号化する。

【００２４】（２）すべてのブロックについて、一定周
期（リフレッシュ）ごとに必ず書き換えモードで符号化
する。

【００２５】（３）書き換えモードあるいはコピーモー
ドかを示すモードフラグをブロック毎に１フレーム分蓄
積するフラグメモリと、書き換えモード時に発生するブ
ロック符号化データをブロック毎に１フレーム分蓄積す
るブロック符号化データメモリを用意する（図１参
照）。リフレッシュ終了時にフラグメモリをコピーモー
ドでクリアし、以後、次のリフレッシュまで、一旦書き
換えモードになった場合、それを保持する（書き換えモ
ードになった以後のフレームでコピーモードになっても
書き換えモードのままとする）。書き換えモード時は、
そのブロックの符号化データをブロック符号化データメ
モリに上書きする。

【００２６】（４）フラグメモリの内容をブロック毎に
順に読みだし、コピーモード時にはそれを示す符号を伝
送し、書き換えモード時にはそれを示す符号と対応する
ブロックのブロック符号化データメモリの内容を伝送す
る。

【００２７】（５）リフレッシュ時には、それを示す符
号を伝送する。

【００２８】（６）復号器では、画像メモリを１フレー
ム分用意し、入力されてきた符号化データを順に復号す
る。具体的には、コピーモードを示す符号を入力した
ら、画像メモリを変更せず次のブロックに移り、書き換
えモードを示す符号を入力したら、対応するブロック符
号化データを復号して画像メモリに上書きする。

【００２９】（７）符号化データの駒落ちを行う時に
は、リフレッシュ用の符号化データ以外のデータを対称
とする（リフレッシュ用のデータは駒落ししない）。

【００３０】図２は前記本実施例の自在駒落ち動画像符
号化方法を実施する装置（コンピュータからなる装置）
の一実施例の機能構成を示すブロック構成図であり、１
１はブロック分割部、１２はフレームカウンタ、１３は
モード決定部、１４は画像メモリ、１５はブロック復号
部、１６はブロック符号化部、１７はフラグメモリ、１
８はブロック符号化データメモリ、１９は多重化部、２
１は分離部、２２はブロック復号部、２３は画像メモ
リ、３０は駒落し部である。

【００３１】前記本実施装置の動作について図２を用い
て説明する。

【００３２】入力画像はブロック分割部１１に入力さ
れ、ブロック毎に以後の処理が進められる。各ブロック
はモード決定部１３において、コピーモードか書き換え
モードかに判定される。フレームカウンタ１２は、入力
されたフレーム数をカウントし、ある周期でリフレッシ
ュ信号を出力する。リフレッシュ時は、すべてのブロッ
クが書き換えモードに判定される。リフレッシュ以外の
場合、モード決定部１３では、入力ブロックとそれに対
応する画像メモリ内のブロックを比較し、モード判定結
果を出力する。

【００３３】モード決定方法は、例えば、入力ブロック
と１フレーム以前のブロックとの画素毎の自乗和がある
値より大きい時は書き換えモード、小さい時はコピーモ
ードとすることが考えられる。

【００３４】ブロック符号化部１６では、モードが書き
換えの時、入力ブロックを個別コサイン変換（ＤＣＴ）
方式あるいはベクトル量子化等の方法で符号化し、ブロ
ック符号データを出力する。ブロック復号部１５ではモ
ードが書き換えの時、ブロック符号化データからブロッ
クを再生し、画像メモリの該当ブロックを書き換える。
フラグメモリ１７はリフレッシュが終了時にコピーモー
ドでクリアされる。リフレッシュ以後、あるブロックが
書き換えモードの時は、そのフラグをメモリし、コピー
モードの時は、メモリの内容がコピーモードの時のみそ
のフラグをメモリする。ブロック符号化データは発生の
都度、ブロック符号化データメモリへ書き込む。多重化
部１９は、フラグメモリの全ての内容と、フラグメモリ
が書き換えモードを示している時は対応するブロック符
号化データメモリの内容と、リフレッシュ信号を多重化
する。

【００３５】駒落し部３０では、図４に示したように、
何等かの理由に駒落しが必要な場合、符号化データスト
リーム中のデータを必要なだけ欠落させる。ただし、リ
フレッシュ用のデータは欠落させない。

【００３６】一方、符号データは分離部２１でモードフ
ラグ、ブロック符号化データ、リフレッシュ信号に分離
される。リフレッシュ信号は復号部では利用しない。ブ
ロック復号部２２はモードフラグを見て、コピーモード
の時は次のブロックに移り、書き換えモードの時は、ブ
ロック符号化データを復号して画像メモリ２３に書き込
む。画像メモリ２３から復号画像を出力する。

【００３７】前記実施例ではリフレッシュをフレーム単
位としたが、本発明は、画像を適当に分割し、その単位
で行うことも可能なことは明白である。

【００３８】また、前記実施例では、符号化データを欠
落させる場合、フレーム単位に欠落させるとしたが、画
像を適当に分割し、分割単位毎にヘッダ情報を付加し
て、復号側でその分割単位の画像上での位置を確定でき
るようにすれば、その分割単位でデータを欠落させるこ
とが可能なことは明白である。

【００３９】以上、本発明を前記実施例に基づき具体的
に説明したが、本発明は、前記実施例に限定されるもの
ではなく、その要旨を逸脱しない範囲において種々変更
し得ることは勿論である。

【００４０】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。

【００４１】（１）フラグメモリとブロック符号化デー
タメモリの効果により、リフレッシュ時から現在のフレ
ームまでに変化した部分を全て含む符号化データを各フ
レームに対して出力するので、リフレッシュ以外のデー
タを駒落ししても、引き続くフレームのデータが乱れな
い。

【００４２】（２）リフレッシュとリフレッシュの間で
書き換えモードになったりコピーモードになったりする
ブロックは少ないので、符号量の増加は少ない。

【００４３】（３）復号器のフレームメモリが一つでよ
いので、復号器の構成が簡単となる。

【００４４】（４）コピーモードの時は、フレームメモ
リにアクセスしなくて済むので、処理量も大幅に軽減さ
れる。

【００４５】（５）駒落しが行われても、安定した出力
画像（駒落しに引き続く画像を正常に再生できる）を出
力することができるので、復号処理を軽くすることがで
きる。

【図面の簡単な説明】

【図１】本発明による自在駒落ち動画像符号化方法の一
実施例を説明するための説明図である。

【図２】本実施例の自在駒落ち動画像符号化方法を実施
する装置（コンピュータからなる装置）の一実施例の機
能構成を示すブロック構成図である。

【図３】自在駒落ち符号化の概念を説明するための図で
ある。

【図４】自在駒落ち符号化が必要とされる場合を説明す
るための図である。

【符号の説明】

１１…ブロック分割部、１２…フレームカウンタ、１３
…モード決定部、１４…画像メモリ、１５…ブロック復
号部、１６…ブロック符号化部、１７…フラグメモリ、
１８…ブロック符号化データメモリ、１９…多重化部、
２１…分離部、２２…ブロック復号部、２３…画像メモ
リ、３０…駒落し部。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像を矩形のブロックに分割し、ブ
   ロック毎に、そのブロックの画像を符号化する書き換え
   モードか、あるいは、前フレームの同じ位置のブロック
   をそのブロックとするコピーモードかを決定し、該ブロ
   ックのモードが書き換えモードかコピーモードかを示す
   符号を出力し、書き換えモードのブロックに対して符号
   化データを出力し、すべてのブロックについて、一定周
   期（リフレッシュ）ごとに必ず書き換えモードで符号化
   する動画像符号化方法であって、書き換えモードあるい
   はコピーモードかを示すモードフラグを、フラグメモリ
   にブロック毎に１フレーム分蓄積し、書き換えモード時
   に発生する符号化データを、ブロック符号化データメモ
   リにブロック毎に１フレーム分蓄積し、一定周期（リフ
   レッシュ）終了時にフラグメモリをコピーモードでクリ
   アし、以後、次の一定周期（リフレッシュ）まで、一旦
   書き換えモードになった場合、それを保持し、書き換え
   モード時は、そのブロックの符号化データをブロック符
   号化データメモリに上書きし、フラグメモリの内容をブ
   ロック毎に順に読みだし、コピーモード時にはそれを示
   す符号を出力し、書き換えモード時にはそれを示す符号
   と、対応するブロックのブロック符号化データメモリの
   内容を出力し、一定周期（リフレッシュ）終了時にフラ
   グメモリをコピーモードでクリアし、以後、次の一定周
   期（リフレッシュ）時には、それを示す符号を出力して
   符号化データストリームを作成し、伝送及び復号時に
   は、一定周期（リフレッシュ）用の符号化データを必ず
   伝送及び復号し、一定周期（リフレッシュ）以外の符号
   化データは、伝送、復号処理の状態によって適宜にデー
   タを欠落させたり、復号処理を省略することを特徴とす
   る自在駒落ち動画像符号化方法。