JP2004173186A - インターレース走査画像符号化方法、符号化装置、復号化方法及び復号化装置 - Google Patents

Abstract

【課題】従来は、インターレース走査画像が所定フィールド毎に順次走査に変換されて符号化され、残りのフィールドの符号化は動きが少ない画像でもフィールド単位の符号化となり、符号化効率が十分良くなっていない。
【解決手段】順次走査変換器２及びスイッチ３は、入力インターレース走査画像信号を、Ｍ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に変換する。符号化器４は、この順次走査信号を符号化して第１の符号列を得る。局部復号化器８、画像予測器９、スイッチ１１、画像遅延器１３から可変長符号化器１０に至る回路部は、入力インターレース走査画像信号を、順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成し、順次走査信号を局部復号化して得られた局部復号画像信号を参照画像として画像間予測符号化し、第２の符号列を得る。第１及び第２の符号列は多重化されて出力される。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明はインターレース走査画像符号化方法、符号化装置、復号化方法及び復号化装置に係り、特に時空間的に走査線が間引かれているインターレース走査構造を持つ動画像信号をより高能率に符号化し、また復号化するインターレース走査画像符号化方法、符号化装置、復号化方法及び復号化装置に関する。
【０００２】
【従来の技術】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化のうち、時空間的に走査線が間引かれているインターレース走査動画像の高能率符号化には、ＭＰＥＧ−２やＭＰＥＧ−４規格などで用いられるマクロブロック単位でのフレーム予測とフィールド予測の切替え符号化がある。また、ＭＰＥＧ−２では、フィールド単位の符号化もある。
【０００３】
これに対し、所定周期でインターレース走査画像信号の１フィールドを順次走査画像信号に変換し、順次走査フレーム間で片方向予測符号化し、残りのフィールドは前後の順次走査フレームから予測するように構成した本発明者による符号化方式も知られている（特許文献１参照）。まず、この特許文献１記載のインターレース走査画像符号化方法及び装置について説明する。
【０００４】
図８は上記の特許文献１記載のインターレース走査画像符号化装置の一例のブロック図を示す。同図において、画像入力端子１より入来したインターレース走査方式の動画像信号は、順次走査変換器２、画像設定器５３及びスイッチ１１に与えられる。画像設定器５３は入来インターレース走査動画像信号の画像同期から、所定周期（２から６フィールド）に１フィールドを決めて、スイッチ３と１１を制御する。
【０００５】
順次走査変換器２は、毎秒６０フィールドのインターレース走査動画像信号において、間引かれている走査線を時空間的に隣接する走査線から補間し、走査線数が２倍になった毎秒６０フレーム（６０ｆｐｓ）の順次（プログレッシブ）走査信号を得て、スイッチ３に送る。スイッチ３は、所定フィールドおきに順次走査信号を間引き、間引かれた順次走査フレーム信号を得る。間引き間隔を４フィールドおきとすると、画像レートは１５ｆｐｓとなる。なお、順次走査変換器２の動作とスイッチ３の動作を合理化し、入力インターレース走査画像信号から直接１５ｆｐｓ順次走査信号を得てもよい。
【０００６】
符号化器５１は、スイッチ３より入力される１５ｆｐｓの順次走査フレーム信号を符号化し、生成した符号列を多重化器５２に供給すると共に、量子化までが済んだ信号を局部復号化器５４に供給する。符号化器５１での符号化方法は、片方向画像間予測符号化である。局部復号化器５４で再生された１５ｆｐｓの画像は、画像間予測器５５に供給される。フィールド間引き器５６は、画像間予測器５５から供給される順次走査の予測信号を間引き、フィールド走査構造の予測信号を得る。
【０００７】
一方、残りのフィールドに対する符号化処理として、スイッチ１１は画像入力端子１から入力されたインターレース走査動画像信号から、スイッチ３で選択される順次走査画像と異なった時間のフィールドを選択し、画像遅延器１３に供給する。画像遅延器１３は、被符号化フィールドの参照画像が、順次走査変換器２から局部復号化器５４まで処理されて整い、画像間予測処理が可能になるまで被符号化フィールドを遅延させ、減算器１２に供給する。
【０００８】
減算器１２は、画像遅延器１３から供給される被符号化フィールド信号から、フィールド間引き器５６から供給されるフィールド走査構造の予測信号を減算して予測残差を得てＤＣＴ１７に供給する。ＤＣＴ１７は予測残差に対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）の変換処理を行い、得られた係数を量子化器１８に供給する。量子化器１８は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１０に供給する。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、得られた可変長符号を多重化器５２に供給する。
【０００９】
多重化器５２は、符号化器５１の出力である順次走査化され片方向画像間予測符号化された符号列と、可変長符号化器１０の出力である双方向予測符号化されたフィールド画像の符号列を多重化する。また、どちらの符号列かのインデックス情報も適時挿入する。
【００１０】
図１０は図８に示した従来の符号化装置による符号化処理の走査線関係を示す。図１０（ａ）は符号化装置の入力インターレース走査画像信号で、偶数フィールドと奇数フィールドは走査線位置がずれている。これに対し、図１０（ｂ）に示す従来の符号化装置の出力符号化画像信号は、数フィールド毎に一つが順次走査で走査線が倍密度になっており、残りは元のフィールドのままである。
【００１１】
次に、従来のインターレース走査画像復号化方法及び装置について説明する。図９は、図８のインターレース走査画像符号化装置に対応する従来のインターレース走査画像復号化装置の一例のブロック図を示す。前述した図８の符号化装置により得られた符号列は、図９の符号入力端子２４より多重化分離器６２に入力され、ここで片方向予測符号化された順次走査画像の符号列と、双方向予測符号化されたフィールド画像の符号列に分離される。順次走査画像の符号列は復号化器６１に、フィールド画像の符号列は可変長復号化器２９に供給される。
【００１２】
順次走査画像の符号列は、復号化器６１で図８の符号化器５１の逆処理が行われ、１５ｆｐｓの順次走査の再生画像信号に復号された後、画像間予測器６３とフィールド間引き器２２にそれぞれ供給される。フィールド間引き器２２は、１５ｆｐｓの順次走査の再生画像信号中の補間されている走査線を削除して、フィールド画像信号を得て画像遅延器２３に供給する。画像遅延器２３は、他のフィールドと同期をとるため、入力されたフィールド画像信号を数フィールド間保持する。
【００１３】
画像間予測器６３は、１５ｆｐｓの順次走査の再生画像信号に基づき、第２の符号列を復号化するための順次走査の予測信号を形成し、フィールド間引き器６４に供給する。フィールド間引き器６４は、フィールド予測信号を得て、加算器３２に供給する。
【００１４】
残りのフィールドの符号列は、可変長復号化器２９で予測残差の可変長符号が固定長の符号に戻される。この固定長符号は逆量子化器３０で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ３１に供給される。逆量子化器３０では量子化パラメータに従って逆量子化が行われる。逆ＤＣＴ３１は８×８個の係数を復号予測残差信号に変換し、加算器３２に供給する。
【００１５】
加算器３２は、逆ＤＣＴ３１から供給される復号予測残差信号に、フィールド間引き器６４から供給されるフィールド予測信号画像を加算し、順次走査の復号画像信号を得る。この順次走査の復号画像信号はスイッチ２７に供給される。スイッチ２７は、符号列の情報に同期して、画像遅延器２３の出力フィールド画像信号と、加算器３２の出力復号画像信号をフィールドに合わせて選択し、再生画像出力端子２８より復号された動画像信号を出力する。出力される動画像信号は、６０ｆｐｓのインターレース走査画像となる。
【００１６】
次に、従来のインターレース走査画像符号列の構成について説明する。この符号列構成は、インターレース走査画像の所定フィールドに一つのフィールドが順次走査に変換されたものであり、残りはそのままフィールド画像となる。それを図１１の（ａ）に示す。同図（ａ）において、”Ｐｒｏｇ．”は順次走査の１フレーム、”ｆｉｌｅｄ”はインターレース走査画像の１フィールドを示す。数字は被符号化動画像の画像（フィールド）順である。フィールド画像は双方向予測で符号化されるので、時間的には後となる順次走査画像を先に伝送する必要があり、時間関係は逆転して伝送される。図１１（ａ）では、４（＝Ｍ）フィールドおきに順次走査信号に変換して符号化された例を示している。
【００１７】
【特許文献１】
特許第３１６４０３１号公報（第５−７頁、図１−図４、図６−図８）
【００１８】
【発明が解決しようとする課題】
従来のインターレース走査画像符号化方法及び装置では、インターレース走査画像が所定フィールド毎に順次走査に変換されて符号化され、残りのフィールドは順次走査画像から予測されて符号化される。残りのフィールドの符号化は、動きが少ない画像でもフィールド単位の符号化となり、フレーム単位で画像間予測するより、付加情報などが多くなりがちである。その結果、符号化効率が十分良くなっていないと云った問題がある。
【００１９】
本発明は以上の点に鑑みなされたもので、入力インターレース走査画像信号を、Ｍ（３以上の奇数）フィールドおきに順次走査信号に変換して符号化し、順次走査信号に挟まれる画像を隣接する２フィールドをフレームとして、順次走査信号の復号信号を参照画像として画像間予測符号化することで、高い符号化効率が得られるインターレース走査画像符号化方法、符号化装置、復号化方法及び復号化装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明のインターレース走査画像符号化方法は、入力インターレース走査画像信号を、Ｍ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に変換する第１のステップと、順次走査信号を符号化して第１の符号列を得る第２のステップと、入力インターレース走査画像信号において、順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成し、順次走査信号を局部復号化して得られた局部復号画像信号を参照画像として画像間予測符号化し、第２の符号列を得る第３のステップと、第１の符号列と第２の符号列を多重化して出力する第４のステップとを含むことを特徴とする。
【００２１】
この発明では、順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成して、順次走査信号の復号化信号を参照画像として画像間予測符号化するようにしたため、順次走査画像からの予測効率が高く、フレーム単位の処理なので付加情報が少なく、動きが少ない場合は純粋にフレームとして処理できる。
【００２２】
また、上記の目的を達成するため、第２の発明のインターレース走査画像符号化方法は、入力インターレース走査画像信号を、Ｍ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に変換する第１のステップと、順次走査信号の走査線数を所定数に減じるダウンサンプルを行う第２のステップと、ダウンサンプルされた順次走査信号を符号化して第１の符号列を得る第３のステップと、入力インターレース走査画像信号において、順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成し、ダウンサンプルされた順次走査信号を局部復号化し、かつ、元の走査線数にアップサンプルして得られた局部復号画像信号を参照画像として画像間予測符号化し、第２の符号列を得る第４のステップと、第１の符号列と第２の符号列を多重化して出力する第５のステップとを含むことを特徴とする。この発明では、順次走査信号の符号化において、順次走査信号を垂直方向にダウンサンプリングしてから符号化する点に特徴がある。
【００２３】
また、上記の目的を達成するため、第３の発明のインターレース走査画像復号化方法は、入力符号列から、再生インターレース走査画像信号のＭ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号画像に対して符号化された第１の符号列と、再生インターレース走査画像信号において、第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列を分離する第１のステップと、第１の符号列を復号化して、再生順次走査信号を得る第２のステップと、再生順次走査信号を再生インターレース走査画像信号の第１のフィールド画像信号に変換する第３のステップと、第２の符号列に対し、再生順次走査信号を参照画像として画像間予測復号化し、再生順次走査信号に挟まれる時間位置のフレームが隣接する二つのフィールドで形成される第２のフィールド復号画像信号を得る第４のステップと、第１のフィールド画像信号と第２のフィールド復号画像信号を時間的に切り替えて再生インターレース走査画像信号として出力する第５のステップとを含むことを特徴とする。
【００２４】
また、上記の目的を達成するため、第４の発明のインターレース走査画像復号化方法は、入力符号列から、再生インターレース走査画像信号のＭ（Ｍは３以上の奇数）フィールドおきに間引かれ、かつ、垂直方向にダウンサンプリングされた順次走査信号画像に対して符号化された第１の符号列と、フィールド毎の画像に対して符号化された第１の符号列と、再生インターレース走査画像信号において、第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列を分離する第１のステップと、第１の符号列を復号化すると共に、垂直方向にアップサンプリングして再生順次走査信号を得る第２のステップと、再生順次走査信号を再生インターレース走査画像信号の第１のフィールド画像信号に変換する第３のステップと、第２の符号列に対し、再生順次走査信号を参照画像として画像間予測復号化し、再生順次走査信号に挟まれる時間位置のフレームが隣接する二つのフィールドで形成される第２のフィールド復号画像信号を得る第４のステップと、第１のフィールド画像信号と第２のフィールド復号画像信号を時間的に切り替えて再生インターレース走査画像信号として出力する第５のステップとを含むことを特徴とする。
【００２５】
この発明では、再生インターレース走査画像信号のＭフィールドおきに間引き、かつ、垂直方向にダウンサンプリングされた順次走査信号画像に対して符号化された第１の符号列と、フィールド毎の画像に対して符号化された第１の符号列と、再生インターレース走査画像信号において、第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列とが多重された符号列を復号化できる。
【００２６】
また、上記の目的を達成するため、第５の発明のインターレース走査画像符号化装置は、入力インターレース走査画像信号を、Ｍ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に変換する画像変換部と、順次走査信号を符号化して第１の符号列を得る第１の符号化部と、入力インターレース走査画像信号において、順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成し、順次走査信号を局部復号化して得られた局部復号画像信号を参照画像として画像間予測符号化し、第２の符号列を得る第２の符号化部と、第１の符号列と第２の符号列を多重化して出力する多重化部とを有する構成としたものである。
【００２７】
この発明では、順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成して、順次走査信号の復号化信号を参照画像として画像間予測符号化するようにしたため、順次走査画像からの予測効率が高く、フレーム単位の処理なので付加情報が少なく、動きが少ない場合は純粋にフレームとして処理できる。
【００２８】
また、上記の目的を達成するため、第６の発明のインターレース走査画像復号化装置は、入力符号列から、再生インターレース走査画像信号のＭ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に対して符号化された第１の符号列と、再生インターレース走査画像信号において、第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列を分離する多重化分離部と、第１の符号列を復号化して、再生順次走査信号を得る第１の復号化部と、再生順次走査信号を再生インターレース走査画像信号の第１のフィールド画像信号に変換する画像変換部と、第２の符号列に対し、再生順次走査信号を参照画像として画像間予測復号化し、再生順次走査信号に挟まれる時間位置のフレームが隣接する二つのフィールドで形成される第２のフィールド復号画像信号を得る第２の復号化部と、第１のフィールド画像信号と第２のフィールド復号画像信号を時間的に切り替えて再生インターレース走査画像信号として出力する多重化部とを有する構成としたものである。
【００２９】
この発明では、再生インターレース走査画像信号のＭフィールドおきに間引いた順次走査信号に対して符号化された第１の符号列と、再生インターレース走査画像信号において、第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列とが多重化された符号列の復号化ができる。
【００３０】
【発明の実施の形態】
次に、本発明の各実施の形態について図面と共に説明する。図１は本発明になるインターレース走査画像符号化装置の第１の実施の形態のブロック図を示す。同図中、図８と同一構成要素には同一番号を付してある。図１に示す第１の実施の形態は、図８に示した従来の符号化装置と比較して、画像配列変換器１４、モード判定器１５、スイッチ１６、減算器１９が追加されており、符号化器４、局部復号化器８、画像間予測器９の処理動作が異なる。
【００３１】
画像入力端子１より入来するインターレース走査方式の動画像信号は、順次走査変換器２、画像設定器７、スイッチ１１にそれぞれ供給される。第１の符号化処理として、順次走査変換器２は画像入力端子より入来する毎秒６０フィールドのインターレース走査画像信号において、間引かれている走査線を時空間的に隣接する走査線から補間し、走査線数が２倍になった毎秒６０フレーム（６０ｆｐｓ：ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の順次（プログレッシブ）走査信号を得て、スイッチ３に供給する。
【００３２】
スイッチ３は、入力された６０ｆｐｓの順次走査信号をＭフィールドおきに間引き、（６０／Ｍ）ｆｐｓの順次走査信号を得る。ここでは、Ｍは３以上の奇数とするので、Ｍが”３”なら２０ｆｐｓ、Ｍが”５”なら１２ｆｐｓである。なお、順次走査変換器２の動作とスイッチ３の動作を同時に行い、入力インターレース走査画像信号から直接（６０／Ｍ）ｆｐｓの順次走査信号を得てもよい。
【００３３】
符号化器４は（６０／Ｍ）ｆｐｓの順次走査信号を符号化し、できた第１の符号列を多重化器５に供給し、量子化までが済んだ信号を局部復号化器８に供給する。符号化方法は、ＭＰＥＧ−２、ＭＰＥＧ−４、その他の画像間予測符号化、フレーム内符号化などである。従来例では片方向予測としていたが、本実施の形態では双方向予測を含んでもよい。
【００３４】
局部復号化器８での復号化処理は、（６０／Ｍ）のすべてのフレームに対して行われる。ＭＰＥＧ符号化では双方向予測フレーム（Ｂ−ｐｉｃｔｕｒｅ）は必ずしも局部復号化する必要がないが、本実施の形態では、拡張階層画像の予測参照画像になる必要があるため、３０ｆｐｓの再生画像信号を得る。この再生画像信号は画像間予測器９に供給される。
【００３５】
一方、残りのフィールドに対する第２符号化処理として、スイッチ１１は画像入力端子１よりの入来インターレース走査画像信号から、スイッチ３で選択される画像と異なった時間のフィールドを選択し、画像遅延器１３に供給する。画像遅延器１３は、被符号化フィールドの参照画像が、順次走査変換器２から画像間予測器９まで処理されて整い、画像間予測処理が可能になるまで被符号化フィールドを遅延させる。
【００３６】
画像配列変換器１４は、スイッチ１１からのフィールド画像信号を、一旦フレーム単位に走査線の配列を変換し、マクロブロック単位でフィールド走査構造の信号を減算器１２に供給し、フレーム走査構造の信号を減算器１９に供給する。ここで、フィールド走査構造とは、フレーム内の各マクロブロックに含まれる１６本の走査線を偶数８本と奇数８本で別に扱うもので、フレーム走査構造とは、１６本の走査線を一緒に扱うものである。フレームの形成は一般的なインターレース走査と異なり、偶数フィールドと奇数フィールドの関係（ＭＰＥＧ−２規格ではｔｏｐ ｆｉｅｌｄ ｆｉｒｓｔかｂｏｔｔｏｍ ｆｉｅｌｄ ｆｉｒｓｔ）が固定でなく、第１の符号化の順次走査フレームを超えるたびに反転する。
【００３７】
減算器１２は、画像配列変換器１４からのフィールド走査構造の信号を、画像間予測器９から与えられるフィールド走査構造の予測信号と減算することにより、フィールド走査構造における予測残差信号を得て、その予測残差信号をスイッチ１６とモード判定器１５にそれぞれ供給する。一方、減算器１９は、画像配列変換器１４からのフレーム走査構造の信号を、画像間予測器９から与えられるフレーム走査構造の予測信号と減算することにより、フレーム走査構造における予測残差信号を得て、その予測残差信号をスイッチ１６とモード判定器１５にそれぞれ供給する。
【００３８】
モード判定器１５は、減算器１２からのフィールド走査構造の予測残差信号と、減算器１９からのフレーム走査構造の予測残差信号を、それぞれマクロブロック単位で二乗平均し、二乗平均の少ない方の走査構造の予測残差信号を選択するようにスイッチ１６を制御する。その際、フィールド走査構造の方が動き補償で必要な動きベクトル数が多いことを考慮して、若干フィールド走査構造が選ばれ難くしてもよい。
【００３９】
スイッチ１６で選択された予測残差信号は、ＤＣＴ１７に供給され、ここでＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）の変換処理が行われ、得られた係数が量子化器１８に供給される。量子化器１８は所定のステップ幅で上記の係数を量子化し、固定長の符号となった係数を可変長符号化器１０に供給する。可変長符号化器１０は、固定長の予測残差を可変長符号で圧縮し、できた可変長符号信号は多重化器５に供給する。多重化器５は、符号化器４から供給される第１の符号列と、第２の符号列（可変長符号化器１０から出力される予測残差の可変長符号信号と、モード判定器１５から出力される予測モード情報）とを多重化する。また、画像が第１の符号列か第２の符号列かのインデックス情報も多重化器５に入力されて適時挿入される。
【００４０】
画像間予測器９は、局部復号化器８から出力された順次走査信号を参照画像としてフィールド走査構造の予測信号を形成して減算器１２に供給すると共に、同じ順次走査信号を参照画像としてフレーム走査構造の予測信号を形成して減算器１９に供給する。この処理は、ＭＰＥＧ−２規格のフレーム／フィールド適応予測が、フィールド走査構造の画像を参照画像としてフィールド走査構造の予測信号を形成し、フレーム走査構造の画像を参照画像としてフレーム走査構造の予測信号を形成するのと大きく異なる。
【００４１】
この様子を図３に示す。図３において、矢印は動き補償画像間予測の動き補償の様子（動きベクトルの垂直成分を示す。図３（ａ）は順方向（Ｆｏｒｗａｒｄ）予測でフィールド走査構造の場合であり、フィールドにより動きベクトルが異なる。図３（ｂ）は双方向（Ａｖｅｒａｇｅ）予測でフレーム走査構造の場合であり、各走査線は偶数奇数の区別なく順次走査と同様に扱われる。この場合、仮想的時間位置としては両方フィールドの中央と見なされる。
【００４２】
本実施の形態の符号化処理の走査線関係を図４及び図５に示す。第１符号化画像信号（順次走査信号）は、２０ｆｐｓの場合、図４（ａ）に、１２ｆｐｓの場合、図５（ａ）に示すように、いずれも入来インターレース走査画像信号の偶数フィールドまたは奇数フィールドのどちらか一方と同一時間にすべての走査線が存在する。このような走査線構造の場合、折返し歪みが無く動き補償が適切に行えるので予測残差が非常に少なくなる。
【００４３】
一方、第２の符号化画像信号は図４（ｂ）、図５（ｂ）に示すように、インターレース走査画像信号の偶数フィールドと奇数フィールドが組みとなり、インターレース走査画像信号のフレームが形成される。間に第１の符号化画像信号の順次走査のフレームがあるので、次のフレームは偶数フィールドと奇数フィールドの関係が必ず逆になる。なお、Ｍが５以上の場合は、インターレース走査画像信号のフレームが複数連続する形となる。
【００４４】
このように、本実施の形態によれば、入来インターレース走査画像信号を、順次走査変換器２、スイッチ３及び符号化器４によりＭ（３以上の奇数）フィールドおきに順次走査信号に変換して符号化することで、順次走査で２０ｆｐｓないし１２ｆｐｓの符号化としたので、発生符号量を少なくできる。また、順次走査信号に挟まれた画像は隣接する２フィールドをフレームとして、順次走査信号の復号信号を参照画像として画像間予測符号化するが、この画像間予測は、順次走査画像からの予測効率が高く、フレーム単位の処理なので付加情報が少なく、動きが少ない場合は純粋にフレームとして処理される。
【００４５】
次に、図１の符号化装置に対応する本発明の第１の実施の形態のインターレース走査画像復号化方法及び装置について説明する。図２は本発明になるインターレース走査画像復号化装置の第１の実施の形態のブロック図を示す。同図中、図９の従来例と同一構成要素には同一符号を付してある。図２に示す第１の実施の形態の復号化装置は図９に示した従来の復号化装置と比較して、画像配列変換器３３が追加されており、復号化器２１、画像間予測器２６の処理動作が異なる。
【００４６】
図１に示した符号化装置により得られた符号列は、図２の符号入力端子２４を介して多重化分離器２５に供給され、ここで第１の符号列と第２の符号列に分離され、第１の符号列は復号化器２１に供給され、第２の符号列は可変長復号化器２９に供給される。
【００４７】
復号化器２１は上記の第１の符号列に対して、図１の符号化器４の逆処理を行い、（６０／Ｍ）ｆｐｓの順次走査の再生画像信号を得て、画像間予測器２６とフィールド間引き器２２に供給する。フィールド間引き器２２は、（６０／Ｍ）ｆｐｓの順次走査再生画像信号に補間されている走査線を削除して、再生フィールド画像信号を得て、画像遅延器２３に供給する。画像遅延器２３は、第２の符号列のフィールドと同期をとるため、上記の再生フィールド画像信号を数フィールド間保持する。
【００４８】
画像間予測器２６は、予測モード情報に従って、（６０／Ｍ）ｆｐｓの順次走査再生画像信号からフィールド走査構造の予測信号またはフレーム走査構造の予測信号の何れかを加算器３２に供給する。それぞれの予測信号の形成は図１の画像間予測器９と同じであるが、画像間予測器９はフィールド走査構造の予測信号とフレーム走査構造の予測信号の両方を出力するのに対し、画像間予測器２６は、モード情報に従って片方のみを出力する点で相違する。
【００４９】
一方、第２の符号列は、可変長復号化器２９で予測残差の可変長符号が固定長の符号に戻され、逆量子化器３０に供給される。固定長符号は逆量子化器３０で予測残差の再生ＤＣＴ係数値となり、逆ＤＣＴ３１に供給される。逆量子化器３０では量子化パラメータに従って逆量子化が行われる。逆ＤＣＴ３１は８×８個の係数を復号予測残差信号に変換し、加算器３２に供給する。
【００５０】
加算器３２は逆ＤＣＴ３１から供給される復号予測残差信号に、画像間予測器２６から供給されるフレーム走査構造又はフィールド走査構造の予測信号を加算し、復号画像信号を得る。この様にして得られた復号画像信号は、インターレース走査画像信号のフレームにおいて、フレーム走査構造またはフィールド走査構造を持つもので、画像配列変換器３３に供給される。画像配列変換器３３はモード情報に従って、フレーム走査構造又はフィールド走査構造の復号画像信号を、インターレース走査のフィールド信号に変換し、スイッチ２７に供給する。
【００５１】
スイッチ２７は、符号列の情報に同期して、画像遅延器２３の出力再生フィールド画像信号をフィールドのパリティに合わせてＭフィールド毎に選択し、残りは画像配列変換器３３の出力フィールド信号を選択して再生画像出力端子２８より出力する。再生画像出力端子２８から出力される動画像信号は、復号された６０ｆｐｓのインターレース走査画像信号となる。
【００５２】
この実施の形態では、復号化器２１は前述した走査線数が減じられた第１の符号列に対して（６０／Ｍ）ｆｐｓの順次走査の再生画像信号を得るようにしているので、復号化処理量が少ない。
【００５３】
次に、本発明の第２の実施の形態のインターレース走査画像符号化方法及び装置について説明する。図６は本発明になるインターレース走査画像符号化装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成要素には同一符号を付してある。図６に示す第２の実施の形態は、図１に示した第１の実施の形態と比較して、走査線ダウンサンプラ３４と走査線アップサンプラ３７が追加されている。また、符号化器３５、局部復号化器３６の処理動作が異なる。
【００５４】
図６において、画像入力端子１より入来するインターレース走査方式の動画像信号は、順次走査変換器２、画像設定器７及びスイッチ１１にそれぞれ供給される。順次走査変換器２及びスイッチ３の動作は、第１の実施の形態と同じで、（６０／Ｍ）ｆｐｓの順次走査信号を得る。
【００５５】
得られた（６０／Ｍ）ｆｐｓの順次走査信号は、走査線ダウンサンプラ３４で走査線数が３／４から２／３程度にダウンサンプルされる。ダウンサンプルは、変換後の走査線数で折り返し歪みが無いように、垂直低域通過フィルタ（Ｖ−ＬＰＦ）で帯域制限しながら行われる。入来インターレース走査画像信号のフレーム有効走査線数が４８０本なら３６０本ないし３２０本、１０８０本なら８１０本ないし７２０本となる。インターレース走査画像信号は、フリッカを抑えるためフレーム垂直周波数の最も高い領域が抑圧されているので、順次走査変換された画像もその成分が少なく、ダウンサンプルしても失われる画像情報は僅かである。
【００５６】
走査線ダウンサンプラ３４により垂直方向にダウンサンプルされた順次走査信号は、符号化器３５で符号化される。符号化方法は、図１の符号化器４と同様であるが、走査線数が少なくなっているので、処理量、発生符号量とも少なくなる。局部復号化も（６０／Ｍ）ｆｐｓのすべてのフレームに対して局部復号化器３６で行われる。この処理も走査線数が少なくなっているので、第１の実施の形態の局部復号化器８に比べて処理量は少なくなる。局部復号化器３６で得られた再生画像信号は、走査線アップサンプラ３７で元の走査線数に戻され、画像間予測器９に供給される。画像間予測器９の動作は図１と同じである。
【００５７】
一方、スイッチ１１で選択された残りのフィールドの画像信号は、画像遅延器１３、画像配列変換器１４、減算器１２、１９、モード判定器１５、スイッチ１６、ＤＣＴ１７、量子化器１８及び可変長符号化器１０よりなる回路部で、図１と同様に処理され、第２符号列として多重化器５で符号化器３５よりの第１の符号列に多重化される。ただし、図１の場合と、画像間予測の参照画像が異なるので、本実施の形態の符号化結果は若干変化する。
【００５８】
本実施の形態によれば、順次走査信号の符号化において走査線数を減じることで、発生符号量、符号化処理量が少なくなる。順次走査信号はインターレース走査画像信号から変換されたものであり、元のインターレース走査画像信号は走査線数を減じる垂直周波数帯域の成分が抑圧されているので、この際の実質的な解像度の低下は僅かである。走査線数が減じられるので、符号化しなければならない走査線数の総数も少なく、元のインターレース走査画像信号の走査線数より僅かに増えるだけとなる。
【００５９】
次に、図６の第２の実施の形態のインターレース走査画像符号化装置に対応する本発明の第２の実施の形態のインターレース走査画像復号化方法及び装置について説明する。図７は本発明になるインターレース走査画像復号化装置の第２の実施の形態のブロック図を示す。同図中、図２と同一構成要素には同一符号を付してある。図７に示す第２の実施の形態は、図２に示した第１の実施の形態と比較して、走査線アップサンプラ４２が追加されており、復号化器４１の動作が異なる。
【００６０】
図６に示した第２の実施の形態により生成された符号列は、図７に示す符号入力端子２４を介して多重化分離器２５に供給され、ここで第１の符号列と第２の符号列に分離される。第１の符号列は復号化器４１に供給され、第２の符号列は可変長復号化器２９に供給される。復号化器４１は、第１の符号列に対して復号化処理を行い、（６０／Ｍ）ｆｐｓの走査線数の減じられた順次走査の再生画像を得て、走査線アップサンプラ４２に供給する。復号化器４１の処理動作は図２の復号化器２１と同様であるが、走査線数が少なくなっているので、処理量は少なくなる。
【００６１】
復号化器４１から出力された順次走査の再生画像信号は、走査線アップサンプラ４２で元の走査線数に戻され、画像間予測器２６とフィールド間引き器２２にそれぞれ供給される。走査線アップサンプラ４２の処理動作は、図６の符号化装置の走査線アップサンプラ３７と同じである。画像間予測器２６、フィールド間引き器２３、画像遅延器２３、スイッチ２７の動作は図２の第１の実施の形態と同様である。
【００６２】
一方、多重化分離器２５で分離された第２の符号列は、図７の可変長復号化器２９、逆量子化器３０、逆ＤＣＴ３１、加算器３２及び画像配列変換器３３で図２と同じに復号化され、スイッチ２７に供給される。スイッチ２７は図２のスイッチ２７と同様に、符号列の情報に同期して、画像遅延器２３の出力再生フィールド画像信号をフィールドのパリティに合わせてＭフィールド毎に選択し、残りは画像配列変換器３３の出力フィールド信号を選択して再生画像出力端子２８より、復号された６０ｆｐｓのインターレース走査画像信号を出力する。
【００６３】
次に、本発明におけるインターレース走査画像符号列について説明する。本発明におけるインターレース走査画像符号列構成を図１１（ｂ）、（ｃ）に示す。図１１（ｂ）はＭ＝３、同図（ｃ）はＭ＝５の例で、また、”Ｐｒｏｇ．”は順次走査画像の１フレーム、”Ｆｒａｍｅ”はインターレース走査画像の１フレーム（２フィールド）を示す。また、数字は被符号化動画像のフィールド画像順である。拡張階層は双方向予測で符号化されるので、時間的には後となる第１符号化の順次走査画像を先に伝送する必要があり、時間関係は逆転して伝送される。
【００６４】
図１１（ｂ）、（ｃ）に示すように、本発明におけるインターレース走査画像符号列は、順次走査の１フレームである第１符号列の間に、インターレース走査のフレームである第２の符号列が挿入され、交互に存在する。図１１（ｃ）に示すように、第２の符号列はＭ＝５のとき複数のフレームが連続する（Ｍが７以上でも同様）。フレームの形成は一般的なインターレース走査と異なり、偶数フィールドと奇数フィールドの関係（ＭＰＥＧ−２規格ではｔｏｐ ｆｉｅｌｄ ｆｉｒｓｔかｂｏｔｔｏｍｆｉｅｌｄ ｆｉｒｓｔ）が、第１の符号化の順次走査フレームを超えるたびに反転する。
【００６５】
それぞれのタイプのフレームを共にフレームと見なすとフレーム数は、入来インターレース走査画像信号の３０フレーム／秒に対して、Ｍ＝３で４０フレーム／秒、Ｍ＝５で３６フレーム／秒であり、（Ｍ＋１）／Ｍ倍になる。
【００６６】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば上記の各実施の形態の構成ブロックをコンピュータにより実現させるコンピュータプログラムを構成することもできる。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、以下の数々の特長を有するものである。
【００６８】
（１）入来インターレース走査画像信号を、Ｍ（３以上の奇数）フィールドおきに順次走査信号に変換して符号化するようにしたため、発生符号量を少なくできる。
【００６９】
（２）順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成して、順次走査信号の復号化信号を参照画像として画像間予測符号化することにより、順次走査画像からの予測効率が高く、フレーム単位の処理なので付加情報が少なく、動きが少ない場合は純粋にフレームとして処理できるため、入来インターレース信号のフレームレートに対して（Ｍ＋１）／Ｍ倍のフレームレートの順次走査画像と類似した符号化効率を得ることができる。
【００７０】
（３）順次走査信号の符号化において垂直方向にダウンサンプリングして走査線数を減じるようにしたため、発生符号量、符号化復号化処理量共に少なくでき、また、順次走査信号はインターレース走査画像信号から変換されたものであり、元のインターレース走査画像信号は走査線数を減じる垂直周波数帯域の成分が抑圧されているので、この際の実質的な解像度の低下は僅かである。
【００７１】
（４）走査線数を減じて順次走査信号の符号化を行うようにしたため、符号化しなければならない走査線数の総数を、元のインターレース走査画像信号の走査線数より僅かに増える程度の少ない数にできる。
【図面の簡単な説明】
【図１】本発明のインターレース走査画像符号化装置の第１の実施の形態のブロック図である。
【図２】本発明のインターレース走査画像復号化装置の第１の実施の形態のブロック図である。
【図３】本発明における第２符号化での画像間予測を示す図である。
【図４】本発明におけるＭ＝３の場合の画像構成を示す図である。
【図５】本発明におけるＭ＝５の場合の画像構成を示す図である。
【図６】本発明のインターレース走査画像符号化装置の第２の実施の形態のブロック図である。
【図７】本発明のインターレース走査画像復号化装置の第２の実施の形態のブロック図である。
【図８】従来のインターレース走査画像符号化装置の一例のブロック図である。
【図９】従来のインターレース走査画像復号化装置の一例のブロック図である。
【図１０】従来例の画像構成を示す図である。
【図１１】従来と本発明の符号列構成を示す図である。
【符号の説明】
１ 画像入力端子
２ 順次走査変換器
３、１１、１６、２７ スイッチ
４、３５ 符号化器
５ 多重化器
６ 符号列出力端子
７ 画像設定器
８、３６ 局部復号化器
９、２６ 画像間予測器
１０ 可変長符号化器
１２、１９ 減算器
１３、２３ 画像遅延器
１４、３３ 画像配列変換器
１７ ＤＣＴ
１８ 量子化器
２１、４１ 復号化器
２２ フィールド間引き器
２４ 符号列入力端子
２５ 多重化分離器
２８ 画像出力端子
２９ 可変長復号化器
３０ 逆量子化器
３１ 逆ＤＣＴ
３２ 加算器
３４ 走査線ダウンサンプラ
３７、４２ 走査線アップサンプラ

Claims (6)

1. 入力インターレース走査画像信号を、Ｍ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に変換する第１のステップと、
   前記順次走査信号を符号化して第１の符号列を得る第２のステップと、
   前記入力インターレース走査画像信号において、前記順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成し、前記順次走査信号を局部復号化して得られた局部復号画像信号を参照画像として画像間予測符号化し、第２の符号列を得る第３のステップと、
   前記第１の符号列と前記第２の符号列を多重化して出力する第４のステップと
   を含むことを特徴とするインターレース走査画像符号化方法。
2. 入力インターレース走査画像信号を、Ｍ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に変換する第１のステップと、
   前記順次走査信号の走査線数を所定数に減じるダウンサンプルを行う第２のステップと、
   前記ダウンサンプルされた順次走査信号を符号化して第１の符号列を得る第３のステップと、
   前記入力インターレース走査画像信号において、前記順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成し、前記ダウンサンプルされた順次走査信号を局部復号化し、かつ、元の走査線数にアップサンプルして得られた局部復号画像信号を参照画像として画像間予測符号化し、第２の符号列を得る第４のステップと、
   前記第１の符号列と前記第２の符号列を多重化して出力する第５のステップと
   を含むことを特徴とするインターレース走査画像符号化方法。
3. 入力符号列から、再生インターレース走査画像信号のＭ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号画像に対して符号化された第１の符号列と、前記再生インターレース走査画像信号において、前記第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列を分離する第１のステップと、
   前記第１の符号列を復号化して、再生順次走査信号を得る第２のステップと、前記再生順次走査信号を前記再生インターレース走査画像信号の第１のフィールド画像信号に変換する第３のステップと、
   前記第２の符号列に対し、前記再生順次走査信号を参照画像として画像間予測復号化し、前記再生順次走査信号に挟まれる時間位置のフレームが隣接する二つのフィールドで形成される第２のフィールド復号画像信号を得る第４のステップと、
   前記第１のフィールド画像信号と前記第２のフィールド復号画像信号を時間的に切り替えて前記再生インターレース走査画像信号として出力する第５のステップと
   を含むことを特徴とするインターレース走査画像復号化方法。
4. 入力符号列から、再生インターレース走査画像信号のＭ（Ｍは３以上の奇数）フィールドおきに間引かれ、かつ、垂直方向にダウンサンプリングされた順次走査信号画像に対して符号化された第１の符号列と、フィールド毎の画像に対して符号化された第１の符号列と、前記再生インターレース走査画像信号において、前記第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列を分離する第１のステップと、前記第１の符号列を復号化すると共に、垂直方向にアップサンプリングして再生順次走査信号を得る第２のステップと、
   前記再生順次走査信号を前記再生インターレース走査画像信号の第１のフィールド画像信号に変換する第３のステップと、
   前記第２の符号列に対し、前記再生順次走査信号を参照画像として画像間予測復号化し、前記再生順次走査信号に挟まれる時間位置のフレームが隣接する二つのフィールドで形成される第２のフィールド復号画像信号を得る第４のステップと、
   前記第１のフィールド画像信号と前記第２のフィールド復号画像信号を時間的に切り替えて前記再生インターレース走査画像信号として出力する第５のステップと
   を含むことを特徴とするインターレース走査画像復号化方法。
5. 入力インターレース走査画像信号を、Ｍ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に変換する画像変換部と、
   前記順次走査信号を符号化して第１の符号列を得る第１の符号化部と、
   前記入力インターレース走査画像信号において、前記順次走査信号に挟まれる時間位置の隣接する二つのフィールドで一つのフレームを形成し、前記順次走査信号を局部復号化して得られた局部復号画像信号を参照画像として画像間予測符号化し、第２の符号列を得る第２の符号化部と、
   前記第１の符号列と前記第２の符号列を多重化して出力する多重化部と
   を有することを特徴とするインターレース走査画像符号化装置。
6. 入力符号列から、再生インターレース走査画像信号のＭ（Ｍは３以上の奇数）フィールドおきに間引いた順次走査信号に対して符号化された第１の符号列と、前記再生インターレース走査画像信号において、前記第１の符号列で符号化されている画像に挟まれる時間位置のフィールドに対して符号化された第２の符号列を分離する多重化分離部と、
   前記第１の符号列を復号化して、再生順次走査信号を得る第１の復号化部と、前記再生順次走査信号を前記再生インターレース走査画像信号の第１のフィールド画像信号に変換する画像変換部と、
   前記第２の符号列に対し、前記再生順次走査信号を参照画像として画像間予測復号化し、前記再生順次走査信号に挟まれる時間位置のフレームが隣接する二つのフィールドで形成される第２のフィールド復号画像信号を得る第２の復号化部と、
   前記第１のフィールド画像信号と前記第２のフィールド復号画像信号を時間的に切り替えて前記再生インターレース走査画像信号として出力する多重化部と
   を有することを特徴とするインターレース走査画像復号化装置。

Images