JP3581382B2

JP3581382B2 - 符号化装置及びその方法

Info

Publication number: JP3581382B2
Application number: JP25590193A
Authority: JP
Inventors: 満大和田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-10-13
Filing date: 1993-10-13
Publication date: 2004-10-27
Anticipated expiration: 2019-10-27
Also published as: JPH07111653A

Description

【０００１】
【産業上の利用分野】
本願発明は符号化装置及びその方法にかかり、特に画面内符号化モードと画面間符号化モードとを適応的に用いて画像データを符号化する符号化装置及びその方法に関するものである。
【０００２】
【従来の技術】
従来より画像情報をデジタル伝送する場合、伝送データ量を削減するために各種の符号化方式が提案されている。
【０００３】
その提案されている符号化方式の１つに、フレーム内符号化とフレーム間符号化とを切り換えて符号化する方式がある。
【０００４】
フレーム内圧縮は、近接する画素同士は明るさと色が類似する画像の特性を利用して情報量低減する方式である。
【０００５】
実際の画像では、空や壁など大半の部分は同程度の明るさと色がほぼ続いているため、フレーム内圧縮のみを用いても１／５〜１／１０程度の圧縮が可能である。
【０００６】
フレーム間圧縮は、類似した画像を利用して、補正分の情報のみで画像を得る方式である。
【０００７】
通常動画では近接するフレームの絵柄は、多少の動きや変形はあるが類似している。この点を利用して、まず圧縮符号化しようとするフレームと近接するフレーム間との類似性（動き、色、明るさ等）を計算する。その計算に基づいて「予測値」、つまり「近接フレーム」から「符号化しようとするフレーム」に更に類似したフレームの値を算出する。
【０００８】
次に、符号化しようとするフレームから「予測値」との差分情報のみを符号化（記録・伝送）する。このため、データ量（補正分）が低減する。
【０００９】
つまり人物だけ移っている動画で人物が右に移動した場合、一つ前のフレームで、移動の補正情報も含めて人物がいる画素が予測値で、右に移動した全体の画素から予測値を引いたものが差分となる。
【００１０】
従来の符号化装置の場合、一般にフレーム間処理により圧縮する場合、伝送路上で誤りが発生すると、その誤りが伝播することが知られている。したがって、フレーム間処理を所定数行うと自動的にフレーム内処理（リフレッシュ動作）を行うものとなっていった。
【００１１】
【発明が解決しようとする課題】
各符号化画面の１フレーム当りのデータ量は、フレーム内処理の場合１６Ｋ〜２５Ｋバイト、フレーム間処理の場合７〜１０Ｋバイト程度である。
【００１２】
つまり、一般にフレーム内処理はフレーム間処理よりも発生するデータ量が多いことが知られている。
【００１３】
従って、定期的にフレーム内符号化を行う場合、その直前の量子化ステップ（フレーム間符号化に使われた量子化ステップ）を使って量子化すると急にデータ発生量が増えてしまい、伝送レート上の問題となる。
【００１４】
そこで、データ発生量を抑えるために量子化ステップを変えて、符号化を行うと今度は画質劣化を引き起こしてしまうという問題が生じる。
【００１５】
上述のような問題は、複数の符号化モードを適応的に切り換えて符号化を行う符号化装置（少なくとも予測符号化モードを有する）に発生するものである。
【００１６】
上述したような背景から、本願発明は従来の符号化装置における上述の問題を解消し、信号劣化を防止した符号化装置及びその方法を提供することを目的とする。
【００１７】
【課題を解決するための手段】
本願は斯かる目的下にその一つの発明の符号化装置として、連続的に画像データを入力する入力手段と、画面内符号化モードと画面間符号化モードとを選択的に用いて、前記入力手段によって入力された画像データを符号化する符号化手段と、前記入力手段によって入力された画像データを複数のエリアに分割し、前記エリア毎に前記画像データを符号化した際の符号量が所望の符号量になるように前記符号化手段を制御する符号量制御手段と、前記符号量制御手段の制御単位である前記各エリア内に一定の比率で強制的に画面内符号化モードを実行するリフレッシュエリアを設定し、かつ前記リフレッシュエリアを画面単位で所定単位毎に移動するように制御するリフレッシュ制御手段とを有することを特徴とする。また、本願は斯かる目的下にその一つの発明の符号化方法として、連続的に画像データを入力する入力工程と、画面内符号化モードと画面間符号化モードとを選択的に用いて、前記入力工程で入力された画像データを符号化する符号化工程と、前記入力工程で入力された画像データを複数のエリアに分割し、前記エリア毎に前記画像データを符号化した際の符号量が所望の符号量になるように前記符号化手段を制御する符号量制御工程と、前記符号量制御工程の制御単位である前記各エリア内に一定の比率で強制的に画面内符号化モードを実行するリフレッシュエリアを設定し、かつ前記リフレッシュエリアを画面単位で所定単位毎に移動するように制御するリフレッシュ制御工程とを有することを特徴とする。
【００１９】
【実施例】
以下、本願発明にかかる実施例の符号化装置を説明する。
【００２０】
図１は本実施例を適用させた符号化装置のブロック図である。
【００２１】
図１において、１０１は画像信号が入力される入力端子、１０２は入力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、１０３は画素順序を入れかえてブロックに分割するブロック分割回路、１０４は現フレーム信号と予測信号の差分演算を行う予測誤差算出回路、１０５は前記ブロック分割器１０３からの入力と予測誤差算出回路１０４からの入力とを切り換えるスイッチ回路である。
【００２２】
１０６は現フレーム信号と予測誤差信号とを比較し、符号化信号を選択する判定回路である。
【００２３】
１０７はリフレッシュ制御回路である。リフレッシュ制御回路１０７にはフレーム信号と後述するＷ，Ｓの設定値が入力されている。リフレッシュ制御回路１０７の動作は後述詳しく説明する。
【００２４】
１０８は前記判定回路１０６の判定結果とリフレッシュ制御回路１０７からのリフレッシュ制御信号を入力とするＯＲ回路、１０９はスイッチ回路１０５により選択された信号を直交変換する直交変換回路、１１０は直交変換係数を量子化する量子化回路、１１１は量子化回路１１０により量子化された係数を可変長符号化する可変長符号化回路、１１２は発生するデータ量と伝送されるデータ量を制御するためのバッファメモリ、１１３は伝送フォーマットを作成する為の伝送Ｉ／Ｆ回路、１１４は伝送信号出力端子である。
【００２５】
１１５は量子化回路１１０の逆量子化を行う逆量子化回路、１１６は直交変換回路１０９の逆変換を行う逆直交変換回路、１１７は現フレームの画像を再生するための加算回路、１１８はスイッチ回路１０５に連動してＯＲ回路１０８の出力によりａ，ｂ端を選択するスイッチ回路である。
【００２６】
１１９は現フレームの再生画像を一時記憶する画像メモリ回路、１２０は現フレームと前フレームの信号を比較して動きベクトルを算出する動きベクトル検出回路、１２１は前フレームの再生画像信号に対して動きベクトル検出回路１２０の信号に応じて動き補償を行う動き補償回路である。１３０はフッファメモリ１１２の蓄積データ量を一定に保つためのバッファ制御回路である。
【００２７】
以下、上述のような構成を備える符号化装置の動作について説明する。
【００２８】
入力端子１０１に入力されたアナログ画像信号はＡ／Ｄ変換回路１０２でデジタル信号に変換され、更にブロック分割器１０３で水平方向ａ画素、垂直方向ｂラインのブロック、例えばａ＝ｂ＝８に分割される。
【００２９】
この信号は予測誤差算出回路１０４、フレーム内／フレーム間符号化切換スイッチ回路１０５ａ端、フレーム内／フレーム間符号化判定回路１０６に入力される。
【００３０】
予測誤差算出回路１０４には、前フレームの動き予測値と現フレームの信号が入力され、その差分値を算出してスイッチ回路１０５ｂ端と判定回路１０６に入力される。
【００３１】
判定回路１０６は入力された現フレーム信号と予測誤差信号とで比較を行い符号化効率の良い方（フレーム間／フレーム内符号化）を判定出力とする。
【００３２】
判定出力はＯＲ回路１０８を介してスイッチ回路１０５，１１８を制御し、現フレームが符号化効率がよければａ端を、予測誤差信号の方がよければｂ端を適応的に選択する。
【００３３】
ＯＲ回路１０８の他方にはリフレッシュ制御回路１０７からのリフレッシュのために定期的に強制フレーム内とする制御信号が入力される。
【００３４】
このリフレッシュ動作は画像に誤りが発生した場合に、その誤りの伝播を止めることを目的としている。
【００３５】
このリフレッシュ制御回路１０７の動作の詳細は後述する。
【００３６】
スイッチ回路１０５により選択された信号は直交変換回路１０９に入力される。
【００３７】
本実施例では直交変換方式として、高い変換効率を持ち、ハードウェア化で実現性のある離散コサイン変換（ＤＣＴ）を適用する。
【００３８】
直交変換回路１０９からはその変換後の係数が出力され、量子化回路１１０に入力される。
【００３９】
量子化回路１１０では、入力された直交変換係数を画像の視覚特性等を考慮した特性により量子化する。量子化回路１１０の出力信号は可変長符号回路１１１と逆量子化回路１１５にそれぞれ入力される。
【００４０】
可変長符号化回路１１１は、直交変換後のデータが画像の特性からデータ発生分布が効率よく符号化されるようにデータの並び変えを行い、更にその分布の特性が符号化効率に最適となるような可変長符号化を行う。
【００４１】
可変長符号化回路１１１からの出力信号はバッファメモリ１１２に入力されるバッファメモリのデータ量はバッファ制御回路１３０により所定の処理単位で一定となる様に制御される（後で詳細に述べる）。仮にバッファ量が増大したとすると、バッファ制御回路１３０から量子化回路１１０、逆量子化回路１１６は、データ発生をおさえる量子化テーブルを選択する制御信号が送られる。逆にバッファ量が減少した時は、データ発生量が増大する量子化テーブルを選択する制御信号が送られる。前記処理動作により、バッファメモリ１１２の蓄積データ量は一定に保たれる。また、バッファメモリ１１２からの出力データ量を単位時間で等しくなるように動作する。バッファメモリ１１２からの出力は伝送Ｉ／Ｆ回路に入力される。
【００４２】
伝送Ｉ／Ｆ回路１１３では伝送クロックに同期して、バッファメモリ１１２の画像データを伝送フォーマットに従って出力端子１１４に出力する。このとき伝送フォーマットに含まれる動きベクトル情報，伝送同期信号及び誤り訂正符号等も同時に多重伝送される。
【００４３】
一方、逆量子化回路１１５に入力された信号は、量子化回路１１０と逆の特性により量子化回路１１０の入力信号と同じ信号が逆量子化回路１１５から出力され、逆直交変換回路１１６に入力される。同様に直交変換回路１０９の逆変換回路である逆直交変換回路１１６により、直交変換回路１０９の入力信号と同じ信号が出力される。
【００４４】
加算回路１１７には、前記逆変換された信号と、スイッチ１１８からの出力信号とが入力される。
【００４５】
スイッチ回路１１８がａ端に接続された時は、フレーム内処理でありスイッチ回路１０５も同様にａ端が選択され、現フレームの信号が差分を取ることなく符号化、逆符号化され加算回路１１７に入力される。
【００４６】
このときスイッチ回路１１８のａ端は「０」であるため、加算回路１１７の出力はブロック分割回路１０３の出力信号と等しくなる。
【００４７】
また、スイッチ回路１１８がｂ端の時は動き補償回路１２１の出力、つまり予測値との差分がスイッチ回路１０５から出力され、加算回路１１７に入力される。
【００４８】
スイッチ回路１１８のｂ端は前記予測値と同じ信号なので加算回路１１７で加算されることで出力は同様にブロック分割回路１０３の出力と等しくなる。
【００４９】
画像メモリ１１９は現フレーム信号を記憶し、約１フレーム分の遅れをもって出力される。
【００５０】
動きベクトル検出回路１２０は前記画像メモリ１１９の出力、つまり現フレームの画像データが入力され、画像メモリ１１９に記憶されている前フレームの画像信号と比較して、符号化ブロックの動きを動きベクトルとして算出して動き補償回路１２１に出力する。
【００５１】
動き補償回路１２１は前フレームの画像信号を動きベクトル検出回路１２０からのベクトル情報により動き補償を行ない予測値として出力する。
【００５２】
以下、リフレッシュ制御回路１０７の制御動作について詳細に説明する。
【００５３】
まず、図２、３を用いてリフレッシュ制御信号とバッファ制御の関係について説明する。
【００５４】
図２（ａ）はバッファ制御の処理単位について示している。まずバッファ制御回路１３０は図２（ａ）の（ア）に対応するエリアのデータ発生量を検出し、制御目標値に対しての誤差演算を行い、量子化回路１１０、逆量子化回路１１６に制御信号を送りデータの発生量を制御する。この動作は図２（ａ）の（イ）、（ウ）についても順次行われる。図２（ａ）中の（ア）、（イ）、（ウ）のそれぞれのエリア内ではそれぞれ同一の制御値により制御されるわけでこの（ア）、（イ）、（ウ）の単位がバッファ制御の処理単位になるわけである。
【００５５】
この処理単位は、細かい程バッファ制御の応答性が速くなり、バッファ制御の応答は向上するが、反面、画面上の小さなエリアごとに発生データ量が均一化されてしまい、本来細かい画像でデータ量の大きい部分は大幅に圧縮され画質劣化が大きく、逆に単純な画像は充分なデータ量が割り当てられ、劣化の少ない画像となる。これは視覚的に劣化が目立ち、画像の品質を大幅に低下させてしまう。
【００５６】
逆に、処理単位が大きくなると符号化データの画質は良くなるが、バッファ制御が困難になり、バッファー量を大きく必要とする事になる。従って処理単位はある条件の大きさを保つ必要がある。一般的には、ＤＣＴ処理単位の整数倍に設定される。
【００５７】
図１中の、バッファ制御回路１３０からリフレッシュ制御回路１０７には上述の処理単位を示す信号（図３（ｂ））が伝送される。
【００５８】
リフレッシュ制御回路１０７では、バッファ制御処理単位毎に一定量のリフレッシュ制御信号が出力される様に動作する（図３（ｃ））。
【００５９】
図２（ｂ）はそのリフレッシュエリアの一例を示している。
【００６０】
バッファ制御処理単位毎に一定の比率でリフレッシュエリアが設定されるため、リフレッシュによる強制Ｉｎｔｒａ処理によるデータ発生の急激な変化はなくなり、安定したバッファ制御を行う事ができ、急激な画質劣化を避ける事ができる。また、リフレッシュエリアは図２（ｂ）に示すようにフレーム単位で所定単位毎に移動させている。つまり、図３（ｃ）のリフレッシュ制御信号の発生期間は、フレーム単位で所定単位毎に移動させ、ｎフレームで一巡するものである。
【００６１】
本実施例では、フレーム間動き補償符号化について説明したが、フィールド間動き補償符号化についても同様である。又、図３（ｃ）には、リフレッシュ制御信号の発生時期は各バッファ制御単位毎（図３（ａ）の（ア）、（イ）、（ウ））に同じであるが、相違していてもよいことは、自明である。
【００６２】
また、初めの画像は参照画像が存在しないので、Ｉｎｔｒａ処理を行っていることは明らかである。
【００６３】
【発明の効果】
以上説明したように本発明によれば、符号量制御単位である各エリア内に一定の比率でリフレッシュエリアを設定し、前記リフレッシュエリアを画面単位で所定単位毎に移動するようにしたので、誤り伝播を所定画面数単位で止めることができる共に、リフレッシュエリアによるデータ量増加の影響は符号量制御単位である各エリアにおいて同等となるので、符号量制御単位であるエリア間の画質差を防止することができ総合的な画質を大幅に向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施例にかかる符号化装置のブロック図である。
【図２】本発明の実施例にかかるバッファ制御動作及びリフレッシュ動作を説明するための図である。
【図３】本発明の実施例にかかるリフレッシュ制御信号の発生期間を説明するための図である。
【符号の説明】
１０５，１１８スイッチ回路
１０６判定回路
１０７リフレッシュ回路
１０８ＯＲ回路
１３０バッファ制御回路

Claims

連続的に画像データを入力する入力手段と、
画面内符号化モードと画面間符号化モードとを選択的に用いて、前記入力手段によって入力された画像データを符号化する符号化手段と、
前記入力手段によって入力された画像データを複数のエリアに分割し、前記エリア毎に前記画像データを符号化した際の符号量が所望の符号量になるように前記符号化手段を制御する符号量制御手段と、
前記符号量制御手段の制御単位である前記各エリア内に一定の比率で強制的に画面内符号化モードを実行するリフレッシュエリアを設定し、かつ前記リフレッシュエリアを画面単位で所定単位毎に移動するように制御するリフレッシュ制御手段とを有することを特徴とする符号化装置。
連続的に画像データを入力する入力工程と、
画面内符号化モードと画面間符号化モードとを選択的に用いて、前記入力工程で入力された画像データを符号化する符号化工程と、
前記入力工程で入力された画像データを複数のエリアに分割し、前記エリア毎に前記画像データを符号化した際の符号量が所望の符号量になるように前記符号化手段を制御する符号量制御工程と、
前記符号量制御工程の制御単位である前記各エリア内に一定の比率で強制的に画面内符号化モードを実行するリフレッシュエリアを設定し、かつ前記リフレッシュエリアを画面単位で所定単位毎に移動するように制御するリフレッシュ制御工程とを有することを特徴とする符号化方法。