JP3617925B2

JP3617925B2 - ステレオ動画像用符号化装置

Info

Publication number: JP3617925B2
Application number: JP16434898A
Authority: JP
Inventors: 整内藤; 修一松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 1998-05-28
Filing date: 1998-05-28
Publication date: 2005-02-09
Anticipated expiration: 2018-05-28
Also published as: JPH11341521A

Description

【０００１】
【発明の属する技術分野】
この発明はステレオ動画像用符号化装置に関し、特に、一方のチャンネルに動き補償を施して動きベクトルおよび予測誤差を伝送し、他方のチャンネルに動き補償と視差補償を施し、動きベクトル、視差ベクトルおよび予測誤差を伝送するステレオ動画像用符号化装置に関する。
【０００２】
【従来の技術】
従来のステレオ動画像の符号化装置の一例を、図９のブロック図を参照して説明する。ステレオ動画像符号化装置は左右のチャンネルの動画像を符号化する二つの符号化装置から構成されている。
【０００３】
左チャンネル（または、基本チャンネル）の符号化装置は、原画を記憶する原画フレームメモリ１１と、予測誤差信号を生成する減算器１２と、該減算器１２から出力された予測誤差信号を直交変換、例えばＤＣＴ変換する直交変換部１３と、直交変換されたデータを量子化する量子化部１４と、該量子化されたデータを可変長符号化する可変長符号化部１５を備えている。また、さらに、前記量子化部１４で量子化されたデータを逆量子化する逆量子化部１６と、逆直交変換部１７と、加算器１８と、再生画を一時的に記憶する再生画フレームメモリ１９と、前記原画フレームメモリ１１からの原画と前記再生画とで動き補償を行う動き補償部２０と、予測画フレームメモリ２１とを具備している。
【０００４】
一方、右チャンネル（または、拡張チャンネル）の符号化装置は、予測モード選択部４１および視差補償部４３を除いて、前記左チャンネルの符号化装置の構成と同様の構成３１〜４０および４２を具備している。なお、前記再生画フレームメモリ１９からの再生画は視差補償部４３に入力されるように構成されている。上記の構成において、左チャンネルでは、通常の（動き補償＋ＤＣＴ）に基づく符号化が行われる。一方、右チャンネルでは、（動き補償または視差補償＋ＤＣＴ）に基づく符号化が行われる。すなわち、前記予測モード選択部４１は動き補償部４０と視差補償部４３の両方のうちの予測誤差の小さい方を選択し、予測画フレームメモリ４２に接続する。この動作以外は、左チャンネルと同様の動作が行われる。
【０００５】
さて、上記した構成の従来のステレオ動画像用符号化装置においては、基本チャンネルにおいて、フレーム全体が動き補償非適用で符号化されるフレームを定期的に挿入することで、符号化されたフレームを復調する際のエラーの伝搬の防止が図られていた。例えば、図１０に示されているように、基本チャンネルでは、動き補償適用で符号化される１４枚のＰフレーム（順方向予測符号化フレーム）に対して動き補償非適用で符号化される１枚のＩフレーム（イントラ符号化フレーム）を挿入するようにしていた。一方、拡張チャンネルでは、基本チャンネルのＩフレームから１枚のＰフレームを作成し、これに続くフレームでは、基本チャンネルのＰフレームと拡張チャンネルの１枚前のフレームとを参照する１４枚のＢフレーム（双方向予測符号化フレーム）を作成するようにしていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、前記した従来技術においては、動き補償非適用で符号化されるフレームと、これに後続する動き補償適用で符号化されるフレームの画質を均等に保つのは困難であり、時間的に画質が大きく変動するという問題があった。すなわち、基本チャンネルでは、ＩフレームとＰフレームでは画質に差があり、全フレームの画質を均等に保つことができないという問題があった。
【０００７】
また、前記した基本チャンネルのＩフレームを除く、基本および拡張チャンネルの各フレームは、前フレームあるいは同時刻の対応フレームを参照して符号化および復号化がされるので、回線異常等の原因で、基本チャンネルの一つのフレームが受信側で正常に受信されないと、受信側はそれ以降に受信した画像データを基本チャンネルの次のＩフレームが受信されるまで正常な画像に復調することができず、基本および拡張チャンネルの画像が質の劣化した画像になってしまうという問題があった。すなわち、フレーム全体のエラー伝搬が継続してしまうという問題があった。
【０００８】
本発明の目的は、前記した従来技術の問題点を除去し、時間的な画質変動を抑えながら、フレーム全体のエラー伝搬を低減できるステレオ動画像用符号化装置を提供することにある。
【０００９】
【課題を解決するための手段】
前記した目的を達成するために、この発明は、一方のチャンネルを基本チャンネルとして動き補償符号化を適用し、他方のチャンネルを拡張チャンネルとして動き補償符号化および視差補償符号化を併用するステレオ動画像用符号化装置において、前記基本および拡張の両チャンネルに対し、画像のフレーム毎に、符号化時に過去の画像を参照しない動き補償非適用領域を一定の面積で割当て、該領域の割当て位置を前記フレーム毎に隣接領域に移動させる手段を具備し、前記拡張チャンネルのフレームに割り当てられた動き補償非適用領域においては、予測単位であるマクロブロック毎に、視差補償符号化およびフレーム内符号化のうちのいずれかを適用するようにし、該視差補償符号化における視差検出範囲に関して、視差検出参照領域が基本チャンネル内の対応する動き補償非適用領域と、直前のフレームにおいて動き補償非適用とされた領域の合併領域を超えないように制限するようにした点に特徴がある。
【００１０】
この特徴によれば、各フレームに、常に一定面積の動き補償非適用領域が存在することになり、各フレーム間の画質が平均化され、画質差が低減されると共に、一時的な回線障害等で生じたエラーからの回復がエラー受信直後のフレームから段階的にできるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は本発明の一実施形態の基本チャンネルの概略の構成を示すブロック図であり、図２は拡張チャンネルの概略の構成を示すブロック図である。なお、図において、図９と同じ符号は同一または同等物を示し、説明を省略する。
【００１２】
図１の特徴は、マクロブロックデータ読出部２２とリフレッシュ判定器２３とからなる動き補償非適用・適用制御部２４を設けた点にある。また、図２の特徴は、マクロブロックデータ読出部４４とリフレッシュ判定器４５とからなる動き補償非適用・適用制御部４６を設けた点にある。
【００１３】
次に、本実施形態の動作を、図３および図４を参照して説明する。図３の横方向は時間ｔ（＝０，１，２，…）を示し、縦方向は画像（フレーム）の垂直方向（ｖ）のマクロブロック（ＭＢ）ラインを示す。図中の○は動き補償を適用した基本チャンネルの１ＭＢライン領域、●は動き補償を適用しない基本チャンネルの１ＭＢライン領域、△は動き補償を適用した拡張チャンネルの１ＭＢライン領域、△の塗りつぶしは動き補償を適用しない拡張チャンネルの１ＭＢライン領域を示し、また斜線領域は拡張チャンネルから基本チャンネルに向う視差検出エリアを示す。また、図４の横方向は時間ｔ（＝０，１，２，…）を示し、基本および拡張の各チャンネルにおいて、各時間に対応するフレームが参照する領域を説明するものである。
【００１４】
図１において、基本チャンネルの入力画像（左）が原画フレームメモリ１１に格納されると、マクロブロックデータ読出部２２はＭＢデータをフレームの左上から水平方向に順次読み出すと共に、ＭＢの垂直位置のデータｖをリフレッシュ判定器２３に提供する。リフレッシュ判定器２３は該読み出されたＭＢデータを動き補償部２０に送ると共に、該ＭＢが動き補償非適用領域上にあるか否かを判断する。リフレッシュ判定器２３は、例えば、図４のｔ＝０では、１フレーム全部に対して動き補償非適用領域上にあると判断し、予測画フレームメモリ２１に輝度および色差レベルの中央値ａ（一般に輝度および色差レベルは０〜２５５であるので、１２８）を強制的に設定する。これにより、図１の符号化器はイントラ符号化（Ｉ）を行う。
【００１５】
次に、ｔ＝１になると、リフレッシュ判定器２３は、図３、図４に示されているように、前記ＭＢの垂直位置のデータｖに基づいて、フレームの一番上の２本のＭＢラインが動き補償非適用領域上にあると判断し、また残りのＭＢラインに対しては動き補償適用領域上にあると判断する。そして、該２本のＭＢラインに対しては動き補償を適用せずに符号化し、一方、前記残りのＭＢラインに対しては動き補償を適用して符号化する。便宜的に、動き補償を適用しない符号化をＮ符号化と呼び、動き補償を適用する符号化をＭ符号化と呼び、また図４中のＮおよびＭは前記と同じことを意味するものとする。
【００１６】
次に、ｔ＝２になると、リフレッシュ判定器２３は、次の２本のＭＢラインが動き補償非適用領域上にあると判断してこれらに対してＮ符号化を行い、残りのＭＢラインに対しては動き補償適用領域上にあると判断してＭ符号化を行う。以下、順次前記と同様の判断をし、該判断により決定される符号化をする。
【００１７】
上記の動作が進み、フレームの一番下の２本のＭＢラインが動き補償非適用領域上にあると判断され、残りのＭＢラインに対しては動き補償適用領域上にあると判断されて、前記フレームの一番下の２本のＭＢラインに対してはＮ符号化が行われ、前記残りのＭＢラインに対してはＭ符号化が行われると、１サイクルの処理が終り、再度図４のｔ＝１に戻り、前記した動作が繰返される。
【００１８】
基本チャンネルの１個のフレームの符号化動作の詳細を、図５のフローチャートにより説明する。ステップＳ１では、ある置数ｉが０と置かれる。ステップＳ２では、前記原画フレームメモリ１１に記憶されたフレームデータの中の、左上からｉ番目のＭＢデータが読み出される。ステップＳ３では、該ｉ番目のＭＢが動き補償非適用領域上か否かの判断がなされる。この判断が否定の時にはステップＳ４に進んで、当該ＭＢについて動きベクトルが検出される。ステップＳ５では、符号化モードが決定される。ステップＳ６では、前記予測画フレームメモリ２１に該符号化モードに対応するデータが格納される。
【００１９】
一方、前記ステップＳ３の判断が肯定であると判断された時には、ステップＳ４、Ｓ５をスキップして、ステップＳ６に進む。この時、本実施形態では、前記輝度および色差レベルの中央値ａが予測画フレームメモリ２１に書き込まれる。ステップＳ７に進むと、ｉ＝Ｘ−１になったか否かの判断がなされる。ここに、Ｘは１フレームのＭＢの個数である。該ステップＳ７の判断が否定の時にはステップＳ８に進んで、ｉに１が加算される。そして、ステップＳ２に戻って、前記したのと同様の動作が繰返される。この動作の結果、ステップＳ７の判断が肯定になると、基本チャンネルの１フレームの符号化の動作は終了する。
【００２０】
次に、図２の拡張チャンネルの動作を、図３、図４を参照して説明する。拡張チャンネルの入力画像（右）が図２の原画フレームメモリ３１に格納されると、マクロブロックデータ読出部４４はＭＢデータをフレームの左上から水平方向に順次読み出し、視差補償部４３とリフレッシュ判定器４５に供給すると共に、ＭＢの垂直位置のデータｖをリフレッシュ判定器４５に提供する。
【００２１】
拡張チャンネルのｔ＝０のフレームは、同時刻の対応する基本チャンネルのフレームがＩ符号化されているので、これを参照して片方向符号化（Ｐ）を行う。次に、ｔ＝１になると、リフレッシュ判定器４５は該提供されたデータｖに基づいて、ＭＢが動き補償非適用領域上にあるか否かの判断をする。そして、この判断が肯定になると、視差補償部４３のみを用いて符号化する。以下、該視差補償部４３のみを用いてする符号化をＮ´符号化と呼ぶ。一方、前記判断が否定になると、前記マクロブロックデータ読出部４４から読み出されたＭＢデータは動き補償部４０に送られ、（動き補償または視差補償）の符号化が行われる。以下、該（動き補償または視差補償）を適用する符号化を、Ｍ´符号化と呼ぶ。したがって、図３、図４から明らかなように、フレームの一番上から２本のＭＢラインはＮ´符号化が行われ、他の残りのＭＢラインはＭ´符号化が行われる。
【００２２】
次に、ｔ＝２になると、拡張チャンネルのフレームの上から第３、４番目のＭＢラインに対してＮ´符号化がなされ、前記第１、２番目のＭＢラインおよび第５番目以降のＭＢラインについては、Ｍ´符号化がなされる。なお、本実施形態では、前記第３、４番目のＭＢラインに対するＮ´符号化は、その視差検出エリアが図３に斜線領域で示されているように、基本チャンネル内の対応する動き補償非適用領域と、該領域の直上の１ＭＢラインとされている。
【００２３】
以下同様に、ｔ＝３、４、…については、Ｎ´符号化されるＭＢラインが２ＭＢライン毎に下方に移行され、該２本以外のＭＢラインはＭ´符号化される。また、この時の視差検出エリアは、図示されているように基本チャンネル内の対応する動き補償非適用領域と、該領域の直上の１ＭＢラインとされる。
【００２４】
このようにして、フレームの一番下のＭＢラインがＮ´符号化されると、符号化の１サイクルが終り、再度前記ｔ＝１の時と同様のＰ符号化が行われることになる。なお、本実施形態では、Ｎ´符号化のための視差検出エリアを図３の斜線領域としたが、本発明はこれに限定されず、該視差検出エリア、すなわち視差検出のための参照領域を、基本チャンネル内の対応する動き補償非適用領域と、その直前のフレームにおいて動き補償非適用とされた領域の合併領域を超えない範囲にしても良い。
【００２５】
また、前記の説明では、基本および拡張チャンネルに対して、２本のＭＢライン毎にＮおよびＮ´符号化を施すようにしたが、本発明はこれに限定されず、１本または３本以上であっても良い。また、ＭＢライン毎ではなく、１個または複数個のＭＢ毎にＮおよびＮ´符号化を施すようにしても良い。
【００２６】
図６は、拡張チャンネルの前記した動作を、１フレームの画像データの符号化に関して、より詳細に説明するフローチャートである。ステップＳ１１では、ある置数ｉが０と置かれる。ステップＳ１２に進むと、前記原画フレームメモリ３１に記憶されたフレーム画像の左上からｉ番目のＭＢデータが読み出される。ステップＳ１３に進むと、該ｉ番目のＭＢデータが動き補償非適用領域上にあるか否かの判断がなされる。そして、この判断が否定の時には、ステップＳ１４に進んで、該ＭＢについて、動きベクトルが検出される。次いで、ステップＳ１５に進んで、該ＭＢについて、視差ベクトルが検出される。なお、該視差ベクトルの検出範囲は、従来と同様に決定される。一方、前記ステップＳ１３の判断が肯定の時にはステップＳ１６に進んで、該ＭＢについて、視差ベクトルの検出がなされる。この場合の視差ベクトルの検出範囲は、図３、図４で説明したように、垂直方向には、基本チャンネル内の対応する動き補償非適用領域と、該領域の直上の１ＭＢラインと制限されている。
【００２７】
ステップＳ１７では、符号化モードが前記符号化モード判定部４１により決定される。ステップＳ１８では、該符号化モード判定部４１によって決定された予測画像が予測画フレームメモリ４２に書き込まれる。ステップＳ１９では、ｉ＝Ｘ−１になったか否かの判断がなされる。この判断が否定になると、ステップＳ２０に進んで、ｉに１が加算され、ステップＳ１２に戻る。以下、前記と同様の動作がなされ、前記ステップＳ１９の判断が肯定になると、一連の処理が終了する。
【００２８】
以上のように、本実施形態によれば、基本および拡張チャンネルの各フレームに対して、１個または複数個のＭＢ毎、あるいは１本または複数本のＭＢライン毎にＮおよびＮ´符号化を施すようにしたので、回線の瞬間的な異常などで、受信側で基本チャンネルの一つのフレームが正常に受信されずこれに起因する画質劣化領域が生じても、該フレーム以後のフレームにて動き補償非適用領域単位でＮおよびＮ´符号化が施されることで段階的に完全なデータを受信できるようになり、従来装置とは異なり、エラー受信直後のフレームから徐々に回復するようになる。また、基本チャンネルにおいてＩまたはＮ符号化をした場合には、これらの符号化領域の画質がＭ符号化領域の画質に比べて良好になり、両符号化領域の間に画質差が生ずるが、本実施形態では、Ｎ符号化領域が各フレームの領域の小さい部分を占めるだけであるので、一連のフレームの画質差を低減し、該画質がフレーム間でほぼ均一になるようにすることができる。
【００２９】
次に、図７、図８は、拡張チャンネルの符号化の他の実施例を示すフローチャートおよび説明図である。ステップＳ２１では、ｉ＝０と置かれ、ステップＳ２２では原画フレームメモリ３１の左上からｉ番目のＭＢデータが読み出される。ステップＳ２３では、該ｉ番目のＭＢが動き補償非適用領域上か否かの判断がなされる。そして、この判断が否定の時にはステップＳ２４に進んで、該ＭＢについて、動きベクトルが検出される。次いで、ステップＳ２５に進んで、該ＭＢについて、視差ベクトルが検出される。一方、前記ステップＳ２３の判断が肯定の時には、ステップＳ２４をスキップして前記ステップＳ２５の処理がなされる。
ステップＳ２６では、符号化モードが決定される。ステップＳ２７では、該決定された符号化モードによって得られた予測画像が、前記予測画フレームメモリ４２に記憶される。ステップＳ２８では、ｉ＝Ｘ−１が成立するか否かの判断がなされ、この判断が否定の時にはステップＳ２９に進んで、ｉに１が加算される。以上の動作が繰返しなされた結果、ステップＳ２８の判断が肯定になると、画像１フレーム分の動作を終了する。
【００３０】
図８は、前記の符号化動作を分かりやすく示したものである。この実施例では、基本チャンネルの符号化を拡張チャンネルの符号化に対して少なくとも１ＭＢライン先行させ、拡張フレームのＮ´符号化における視差検出エリア、すなわち前記ステップＳ２５における視差検出エリアを、基本チャンネル内の対応する動き補償非適用領域と、その直上の２ＭＢライン、すなわちその直前のフレームにおいて動き補償非適用とされた領域との合併領域としている。
【００３１】
なお、本発明における、拡張フレームのＮ´符号化における視差検出エリアは、上記の例に限定されるものではない。
【００３２】
【発明の効果】
以上のように、本発明によれば、基本および拡張チャンネルにおいて、動き補償非適用で符号化される領域が、連続する各フレームに一定の面積で割当てられ、かつ該領域の割当て位置をフレーム毎に隣接領域に移動させるようにしているので、各フレーム間の画質が平均化され、画質差が低減されると共に、一時的な回線障害等で生じたエラーからの回復がエラー受信直後のフレームから段階的にできるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の基本チャンネルの要部の構成を示すブロック図である。
【図２】本発明の一実施形態の拡張チャンネルの要部の構成を示すブロック図である。
【図３】本実施形態の基本チャンネルの符号化動作を説明するための説明図である。
【図４】本実施形態の拡張チャンネルの符号化動作を説明するための説明図である。
【図５】本実施形態の基本チャンネルの符号化動作を説明するためのフローチャートである。
【図６】本実施形態の拡張チャンネルの符号化動作を説明するためのフローチャートである。
【図７】本発明の変形例の動作を説明するためのフローチャートである。
【図８】本発明の変形例の動作を説明するための説明図である。
【図９】従来のステレオ動画像用符号化装置の構成を示すブロック図である。
【図１０】従来装置の動作を説明するための図である。
【符号の説明】
１１、３１…原画フレームメモリ、１２、３２…減算器、１３、３３…直交変換部、１４、３４…量子化部、１５、３５…可変長符号化部、１６、３６…逆量子化部、１７、３７…逆直交変換部、１９、３９…再生画フレームメモリ、２０、４０…動き補償部、２１、４２…予測画フレームメモリ、２２、４４…マクロブロックデータ読出部、２３、４５…リフレッシュ判定器、２４…基本制御部、４３…視差補償部、４６…拡張制御部。

Claims

一方のチャンネルを基本チャンネルとして動き補償符号化を適用し、他方のチャンネルを拡張チャンネルとして動き補償符号化および視差補償符号化を併用するステレオ動画像用符号化装置において、
前記基本および拡張の両チャンネルに対し、画像のフレーム毎に、符号化時に過去の画像を参照しない動き補償非適用領域を一定の面積で割当て、該領域の割当て位置を前記フレーム毎に隣接領域に移動させる手段を具備し、
前記拡張チャンネルのフレームに割り当てられた動き補償非適用領域においては、予測単位であるマクロブロック毎に、視差補償符号化およびフレーム内符号化のうちのいずれかを適用するようにし、該視差補償符号化における視差検出範囲に関して、視差検出参照領域が基本チャンネル内の対応する動き補償非適用領域と、直前のフレームにおいて動き補償非適用とされた領域の合併領域を超えないように制限することを特徴とするステレオ動画像用符号化装置。
請求項１に記載のステレオ動画像用符号化装置において、
前記基本および拡張の両チャンネルに割当てられる動き補償非適用領域の面積を同一としたことを特徴とするステレオ動画像用符号化装置。