JP2004222027A - 画像符号化装置および方法、ならびに画像復号化装置および方法 - Google Patents

Abstract

【課題】インタレース画像を効率よくフレーム内圧縮方式、特にＪＰＥＧ２０００方式によって符号化を行うことが可能な画像符号化装置および方法、ならびに復号化を行うことが可能な画像復号化装置および方法を提供することを目的とする。
【解決手段】入力画像１０１をフィールド分離部１０２で参照フィールド画像と対象フィールド画像の２つのフィールド画像に分離し、差分計算部１０３で対象フィールド画像と参照フィールド画像の差分を計算してフィールド差分画像を生成する。符号化部１０４は、参照フィールド画像の輝度成分、色差成分をそれぞれコンポーネント０〜２とし、フィールド差分画像の差分輝度成分、差分色差成分をそれぞれコンポーネント３〜５としたフレーム画像として符号化する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、インタレース画像をフレーム内圧縮によって符号化する画像符号化装置および方法、ならびに復号化する画像復号化装置および方法に関するものである。
【０００２】
【従来の技術】
従来の代表的な画像符号化方式には、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）をベースとして、静止画を主に符号化するＪＰＥＧ方式（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、動画像に対してフレーム内符号化のみを行うＤＶ方式（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）、動画像のフレーム間相関を利用したＭＰＥＧ方式（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｉｍａｇｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）がある。
【０００３】
ＪＰＥＧ方式を用いてインタレース画像を符号化するときには、通常、図５の（ａ）に示すように２つのフィールド画像を１ラインごとに並べてフレーム化してからフレーム画像として符号化を行う。ＤＶ方式では、基本的にＪＰＥＧ方式と同様に、２つのフィールド画像を１ラインごとに並べてフレーム化してからフレーム画像として符号化を行う。しかし、画像の動きが大きい場合、演算単位である８×８画素のブロック単位で図５の（ｂ）に示すように、２つのフィールド（フィールド０、フィールド１）に分離し、フィールド０とフィールド１を加算した４×８画素のフィールド加算データ、フィールド０とフィールド１を減算した４×８画素のフィールド差分データを８×８画素ブロックの上下に配置し、それぞれに４×８ＤＣＴを行う。
【０００４】
ＭＰＥＧ方式では、ＪＰＥＧ方式と同様に、２つのフィールド画像を１ラインごとに並べてフレーム化してからフレーム画像として符号化を行う。または、１６×１６画素のマクロブロックごとにフィールド分離し、フィールド０の２個の８×８画素ブロック、フィールド１の２個の８×８画素ブロックそれぞれに８×８ＤＣＴを行う。
【０００５】
また、最新の符号化方式として、ウェーブレット変換をベースとしたＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ １５４４４−１）方式が規格化されている。この方式は、ＪＰＥＧ方式と同様に静止画を対象とした符号化方式であり、インタレース画像を符号化するときには、通常、ＪＰＥＧ方式と同様に２つのフィールド画像を１ラインごとに並べてフレーム化してからフレーム画像として符号化を行う。また、インタレース画像を分離し、各フィールドを１フレームの上と下にそれぞれ配置して符号化を行うものもある（例えば特許文献１参照）。
【０００６】
【特許文献１】
特開２００１−３２６９３６号公報（第１２頁、第２１図）
【０００７】
【発明が解決しようとする課題】
インタレース画像をＪＰＥＧ方式、あるいはＪＰＥＧ２０００方式で符号化する場合、上記のように、２つのフィールド画像を合成し、フレーム画像として符号化するため、フィールド間で物体の動きが大きい場合、図５の（ａ）に示すように櫛状の画像のずれが発生する。このずれの部分は、高周波数成分が多くなるため、符号化効率が低下するという課題がある。
【０００８】
また、ＤＶ方式のように動きが大きいときにフィールド間の差分値に対して符号化する場合、動きが大きい部分では物体の輪郭にエッジが発生するため、符号化効率が低下する。
【０００９】
また、ＭＰＥＧ方式では、輝度成分に対しては上記のようにフィールド分離することでフィールドごとに８×８ＤＣＴ演算を行うことができるが、例えば、カラーフォーマットが４：２：０のときは、色差成分に対しては規格上フレームＤＣＴしか許されておらず、上記と同様に櫛状の画像のずれが発生し、符号化効率が低下する。
【００１０】
本発明は、インタレース画像を効率よくフレーム内圧縮方式、特にＪＰＥＧ２０００方式によって符号化を行うことが可能な画像符号化装置および方法、ならびに復号化を行うことが可能な画像復号化装置および方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明（請求項１）に係る符号化装置は、入力画像を参照フィールド画像と参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離手段と、対象フィールド画像と参照フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算手段と、参照フィールド画像と差分計算手段より出力されるフィールド差分画像を別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えたものである。
【００１２】
また、本発明（請求項２）に係る符号化装置は、入力画像を参照フィールド画像と参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離手段と、対象フィールド画像の参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出手段と、参照フィールド画像を動きベクトルで動き補償した補償フィールド画像を生成する動き補償手段と、対象フィールド画像と補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算手段と、参照フィールド画像とフィールド差分画像と動きベクトルを別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えたものである。
【００１３】
また、本発明（請求項４）に係る符号化装置は、入力画像を参照フィールド画像と参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離手段と、対象フィールド画像の動き検出を行うか行わないかを判定する動き判定手段と、動き判定手段が動き検出を行うと判定した場合は、対象フィールド画像の参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出手段と、動き判定手段が動き検出を行うと判定した場合は、参照フィールド画像を動きベクトルで動き補償した補償フィールド画像を生成する動き補償手段と、対象フィールド画像と補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算手段と、参照フィールド画像とフィールド差分画像を別コンポーネントとし、動き判定手段が動き検出を行うと判定した場合には動きベクトルも別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えたものである。
【００１４】
また、本発明（請求項８）の復号化装置は、入力ビットストリームを復号化し、複数のコンポーネントデータを生成する復号化手段と、入力ビットストリームのヘッダ情報を解析し、復号化手段より出力される各コンポーネントの成分が参照フィールド画像、参照フィールド画像を参照にして符号化されたフィールド差分画像、動きベクトルのいずれの成分であるかを判定する検出手段と、参照フィールド画像を動きベクトルで動き補償して補償フィールド画像を生成する動き補償手段と、フィールド差分画像と補償フィールド画像を加算し、対象フィールド画像を生成する加算手段と、参照フィールド画像と加算手段より出力される対象フィールド画像を合成し、合成画像を生成するフィールド合成手段とを備えたものである。
【００１５】
また、本発明（請求項１０）に係る符号化方法は、入力画像を参照フィールド画像と参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離ステップと、対象フィールド画像と参照フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算ステップと、参照フィールド画像とフィールド差分画像を別コンポーネントとしたフレーム画像として符号化する符号化ステップとを備えたものである。
【００１６】
また、本発明（請求項１１）に係る符号化方法は、入力画像を参照フィールド画像と参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離ステップと、対象フィールド画像の参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出ステップと、参照フィールド画像を動きベクトルで動き補償した補償フィールド画像を生成する動き補償ステップと、対象フィールド画像と補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算ステップと、フィールド分離ステップより出力される参照フィールド画像、フィールド差分画像と動きベクトルを別コンポーネントとしたフレーム画像として符号化する符号化ステップとを備えたものである。
【００１７】
また、本発明（請求項１３）に係る符号化方法は、入力画像を参照フィールド画像と参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離ステップと、対象フィールド画像の動き検出を行うか行わないかを判定する動き判定ステップと、動き判定ステップが動き検出を行うと判定した場合は、対象フィールド画像の参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出ステップと、動き判定ステップが動き検出を行うと判定した場合は、参照フィールド画像を補償フィールド画像を生成する動き補償ステップと、対象フィールド画像と補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算ステップと、フィールド分離ステップより出力される参照フィールド画像、差分計算ステップより出力されるフィールド差分画像を別コンポーネントとし、動き判定ステップが動き検出を行うと判定した場合には動きベクトルも別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えたものである。
【００１８】
また、本発明（請求項１７）に係る復号化方法は、入力ビットストリームを復号化し、複数のコンポーネントデータを生成する復号化ステップと、入力ビットストリームのヘッダ情報を解析し、復号化手段より出力される各コンポーネントの成分が参照フィールド画像、参照フィールド画像を参照にして符号化されたフィールド差分画像、動きベクトルのいずれの成分であるかを判定する検出ステップと、参照フィールド画像を動きベクトルで動き補償して補償フィールド画像を生成する動き補償ステップと、フィールド差分画像と補償フィールド画像を加算し、対象フィールド画像を生成する加算ステップと、参照フィールド画像と対象フィールド画像を合成し、合成画像を生成するフィールド合成ステップとを備えたものである。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１の画像符号化装置の構成を示すブロック図である。
【００２１】
図１において、１０１は入力画像、１０２は入力画像１０１を２つのフィールド画像に分離するフィールド分離部、１０３はフィールド分離部１０２により２つに分離されたフィールド画像の輝度、色差成分それぞれの画素毎の差分を計算する差分計算部、１０４はフィールド分離部１０２、差分計算部１０３より出力された画像をＪＰＥＧ２０００規格で符号化を行う符号化部、１０５はＪＰＥＧ２０００規格に準拠したビットストリームである。
【００２２】
本実施の形態では、ＪＰＥＧ２０００方式を符号化する場合を例として説明する。ＪＰＥＧ２０００方式では、ＪＰＥＧ方式、ＤＶ方式やＭＰＥＧ方式と異なり、１〜１６３８４個のコンポーネントを個別に符号化することが許されている。ＪＰＥＧ方式、ＤＶ方式やＭＰＥＧ方式では、輝度成分（Ｙ）と色差成分（Ｕ、Ｖ）の３コンポーネント入力を想定しており、規格上これより多くのコンポーネントを取り扱うことはできない。
【００２３】
以下、図面を参照して、本実施の形態の画像符号化装置の動作を説明する。フィールド分離部１０２は２つのフィールド画像を合成した入力画像１０１を、図５のように２つのフィールド画像に分離する。分離された２つのフィールド画像のうち、トップフィールド画像を参照フィールド画像、ボトムフィールド画像を対象フィールド画像とする。差分計算部１０３は、対象フィールド画像と参照フィールド画像の輝度、色差成分それぞれの各画素ごとに差分を計算して、フィールド差分画像を生成する。符号化部１０４は、コンポーネント０を参照フィールド画像の輝度成分（Ｙ０）、コンポーネント１を参照フィールド画像の色差成分（Ｕ０）、コンポーネント２を参照フィールド画像の色差成分（Ｖ０）、コンポーネント３をフィールド差分画像の差分輝度成分（ΔＹ＝Ｙ１−Ｙ０）、コンポーネント４をフィールド差分画像の差分色差成分（ΔＵ＝Ｕ１−Ｕ０）、コンポーネント５をフィールド差分画像の差分色差成分（ΔＶ＝Ｖ１−Ｖ０）とした６コンポーネントのフレーム画像として符号化を行い、ＪＰＥＧ２０００規格に準拠したビットストリーム１０５を生成する。ここで、Ｙ１、Ｕ１、Ｖ１はそれぞれ対象フィールド画像の輝度成分、色差成分である。
【００２４】
以上のように本発明の画像符号化装置および方法によれば、フィールド画像を分離し、別コンポーネントとして符号化を行うことで、櫛状の画像のずれによる符号化効率の低下を抑えることが可能となる。また、フィールド差分を用いることで動きの少ない部分のデータ量を低減することが可能となり、符号化効率を向上できる。
【００２５】
なお、以上の説明では、各フィールド画像が輝度と色差成分あわせて３コンポーネントを想定しているが、それ以外のコンポーネント数、例えばグレイスケールのように輝度成分の１コンポーネントしかない場合でも同様に構成することが可能である。
【００２６】
（実施の形態２）
ＪＰＥＧ２０００方式のベースはフレーム内符号化であり、フレーム間相関を使っていない。本実施の形態では、ＪＰＥＧ２０００方式にフィールド間相関を用いて符号化を行う場合の画像符号化装置を説明する。本実施の形態では、説明を簡単にするため、入力画像は輝度成分のみが含まれているものとする。
【００２７】
図２は、本発明の実施の形態２の画像符号化装置の構成を示すブロック図である。図２において、実施の形態１と同一の構成要素に関しては、同符号を付し、説明を省略する。
【００２８】
図２において、２０１は対象フィールド画像の各画素ごとに参照フィールド画像に対する動きベクトルを検出する動き検出部、２０２は参照フィールド画像を各画素単位で求められた動きベクトル分だけ補償した補償フィールド画像を生成する動き補償部である。
【００２９】
フィールド分離部１０２は、２つのフィールド画像を合成した入力画像１０１を、２つのフィールド画像に分離する。分離された２つのフィールド画像のうち、トップフィールド画像を参照フィールド画像、ボトムフィールド画像を対象フィールド画像とする。動き検出部２０１は、対象フィールド画像の各画素ごとに参照フィールド画像に対する動きベクトルを１画素精度で求める。この動きベクトルは、水平方向と垂直方向の２つの成分で表現される。動き補償部２０２は、参照フィールド画像を各画素単位で求められた動きベクトル分だけ補償した補償フィールド画像を生成する。差分計算部１０３は、対象フィールド画像と補償フィールド画像の各画素ごとに差分を計算して、フィールド差分画像を生成する。符号化部１０４は、コンポーネント０を参照フィールド画像（Ｙ０）、コンポーネント１をフィールド差分画像（ΔＹ）、コンポーネント２を各画素の動きベクトルの水平方向成分、コンポーネント３を各画素の動きベクトルの垂直方向成分とした４コンポーネントのフレーム画像として符号化を行い、ＪＰＥＧ２０００規格に準拠したビットストリーム１０５を生成する。
【００３０】
以上のように本発明の画像符号化装置および方法によれば、フィールド画像を分離し、かつ、各画素ごとの動きベクトルを求め、それぞれを別コンポーネントとして符号化を行うので、フィールド画像間の動きが大きい時もフィールド差分画像の高周波成分を抑えることが可能となる。このときの動きベクトルの値は、動きがない場合は０となり、動きがある場合も動いている物体のエリアでベクトル値がほぼ一定になるため画像データを符号化する時と比べて符号化効率の向上が期待できる。
【００３１】
なお、本実施の形態では、入力画像のコンポーネントを輝度成分のみの１コンポーネントとしたが、色差成分がある場合は、それぞれの色差成分の各画素ごとに動きベクトルを求めて、参照フィールド画像の３コンポーネント、フィールド差分画像の３コンポーネント、各成分ごとの動きベクトルの６コンポーネントのあわせて１２コンポーネントを入力とする構成も可能である。
【００３２】
また、輝度成分で求めた動きベクトルを色差成分にも用いて動き補償を行い、動きベクトルのコンポーネント数を削減し、参照フィールド画像の３コンポーネント、フィールド差分画像の３コンポーネント、輝度成分の動きベクトルの２コンポーネントのあわせて８コンポーネントを入力とする構成も可能である。
【００３３】
また、入力画像のカラーフォーマットが４：４：４でない場合、例えば４：２：２の場合、色差成分の画素数は輝度成分の画素数に対し、水平方向の画素数が半分になるので、輝度成分の動きベクトルの水平方向成分を１／２とした動きベクトルを用いて動き補償することが可能である。また、他のカラーフォーマットでも同様に輝度と色差のサンプル数の比率に応じて動きベクトルの値を変更することで動き補償することが可能である。
【００３４】
また、動きベクトルの精度を半画素単位として動き検出と動き補償を行うことが可能である。この場合、色差成分はＭＰＥＧ方式と同様の動き補償を行うことが可能である。
【００３５】
また、動き検出と動き補償を各画素ごとに行うのではなく、対象フィールド画像を任意の画素サイズの矩形領域に区切り、その矩形領域ごとに動きベクトルの検出と動き補償を行うことが可能である。例えば、対象フィールド画像の輝度成分を８×８画素ブロックに分割し、それぞれのブロックごとに参照フィールド画像に対する動きベクトルを求め、各ブロックごとに動き補償を行う。このとき、カラーフォーマットが４：２：２であれば、色差成分のブロックを８×４画素ブロックとして、輝度成分の動きベクトルを利用して動き補償を行うことが可能である。また、他のカラーフォーマットでも同様に輝度と色差のサンプル数の比率に応じて色差成分のブロックサイズ、または動きベクトルの値を変更することで動き補償することが可能である。
【００３６】
また、実施の形態１および実施の形態２において、ＪＰＥＧ２０００規格のシンタックスでは、コンポーネント番号とその成分の対応を取るためのパラメータが用意されていないが、コメントを記述するＣＯＭパラメータに各コンポーネントに含まれる成分情報を記述することで、コンポーネント番号とその成分の対応をとることが可能である。
【００３７】
（実施の形態３）
図３は、本発明の実施の形態３における画像符号化装置の構成を示すブロック図である。図３において、実施の形態１における画像符号化装置と同一の構成要素に関しては、同符号を付し、説明を省略する。
【００３８】
図３において、３０１はフィールド画像間の動きの大きさから、動き検出と動き補償を行うかどうかを判定する動き判定部、３０２は対象フィールド画像の各画素ごとに参照フィールド画像に対する動きベクトルを検出する動き検出部、３０３は参照フィールド画像を各画素単位で求められた動きベクトル分だけ補償した補償フィールド画像を生成する動き補償部である。
【００３９】
本実施の形態では、説明を簡単にするため、ＪＰＥＧ２０００方式で符号化し、入力画像は輝度成分のみが含まれている場合を説明する。
【００４０】
フィールド分離部１０２は２つのフィールド画像を合成した入力画像１０１を、図５に示すように２つのフィールド画像に分離する。分離された２つのフィールド画像のうち、トップフィールド画像を参照フィールド画像、ボトムフィールド画像を対象フィールド画像とする。動き判定部３０１は、フィールド画像間の動きの大きさから、動き検出と動き補償を行うかどうかを判定する。具体的には、対象フィールド画像と参照フィールド画像の画素ごとに差分絶対値を計算し、その総和が任意の閾値を超えるかどうかを判定の基準にする。また、フィールド画像間で動きは少ないが、輝度レベルのみが変動している場合、全体にオフセットをかけて前述の演算を行い判定する。
【００４１】
動き判定部３０１で動き検出を行うと判定した場合、動き検出部３０２、動き補償部３０３、差分計算部１０３および符号化部１０４は、実施の形態２での説明と同様の処理を行い、ビットストリーム１０５を生成する。動き判定部３０１で動き検出を行わないと判定した場合、動き検出部３０２は動きベクトルの検出を行わない。動き補償部３０３は、動き補償を行わず、入力の参照フィールド画像をそのまま出力し、差分計算部１０３では対象フィールド画像と参照フィールド画像の差分を計算し、フィールド差分画像を生成する。符号化部１０４は、前述のとおり、参照フィールド画像の輝度成分とフィールド差分画像の差分輝度成分の２コンポーネントをフレーム画像として符号化を行い、ＪＰＥＧ２０００準拠したビットストリーム１０５を生成する。
【００４２】
以上のように本発明の画像符号化装置および方法によれば、動きの大きさに応じてモード切り替えを行うことで、符号化効率を向上させることが可能である。
【００４３】
なお、本実施の形態では、実施の形態２と同様に、入力画像に輝度成分だけではなく、色差成分も含まれている場合に、動き補償を任意の画素サイズの矩形領域とする場合、ベクトルの精度を半画素単位とする等の場合でも同様の構成で実現することが可能である。
【００４４】
また、動き検出を行わない場合、動き検出部３０２は全ての動きベクトルを０として、動き補償部３０３は動き０で参照フィールド画像を動き補償して、補償フィールド画像を生成する構成にすることも可能である。
【００４５】
また、動き検出部３０２は、各画素ごとに求める差分絶対値に対して閾値を設け、この閾値を超える画素数の全画素数に対する割合を求め、割合に応じて動き検出を行うか行わないかを判定する構成にすることも可能である。さらに、上記２つの方法を組み合わせることも可能である。
【００４６】
また、動き検出を行わない場合、動き検出部３０２、動き補償部３０３と差分計算部１０３を停止させ、動き検出部３０２で求められた各画素ごとの差分値を符号化部１０４の入力とするように構成することも可能である。
【００４７】
また、動き検出を行う場合、動き検出部３０２で求めた各画素ごとの差分値を基にマッピング情報を作成して、このマッピング情報に従って動き検出部３０２で動きベクトルを求め、動き補償部３０３で動き補償を行う構成にすることも可能である。例えば、ある画素の差分値が０であれば動きは０であるため、この画素のマッピング情報を０とし、差分値が０でなければマッピング情報を１とする。動き検出部３０２では、この０と１で表現されたマッピング情報の１である画素の動きベクトルのみを検出し、０である画素は動きベクトルを０とする。また、動き補償部３０３も同様に、マッピング情報が１である部分は動き補償を行い、０である部分は動き補償を行わず、参照フィールド画像の画素をそのまま用いて補償フィールド画像を生成する。
【００４８】
また、動き検出を行う場合、動き検出部３０２で求めた各画素ごとの差分値を基に、任意の画素サイズの矩形領域ごとのマッピング情報を作成して、このマッピング情報に従って動き検出部３０２でこの矩形領域ごとに動きベクトルを求め、動き補償部３０３で動き補償を行う構成にすることも可能である。
【００４９】
（実施の形態４）
図４は、本発明の実施の形態４における画像復号化装置の構成を示すブロック図である。
【００５０】
図４において、４０１はＪＰＥＧ２０００方式準拠のビットストリーム、４０２はビットストリーム４０１のヘッダ情報を解析して、その情報に従ってコンポーネントデータを生成する復号化部、４０３は復号化部４０２のヘッダ解析結果に従って、各コンポーネントの成分が何であるかを判定する検出部、４０４は検出部４０３の判定結果に従って、参照フィールド画像を動きベクトルで動き補償し、補償フィールド画像を生成する動き補償部、４０５はフィールド差分画像と補償フィールド画像を加算し、対象フィールド画像を生成する加算部、４０６は参照フィールド画像と対象フィールド画像を１ラインごとに交互に並べることでフレーム化し、合成画像を生成するフィールド合成部、４０７は合成画像である。
【００５１】
本実施の形態では、説明を簡単にするため、ＪＰＥＧ２０００方式で復号化し、ビットストリーム中には輝度成分と動きベクトルのみが符号化されている場合を説明する。
【００５２】
復号化部４０２は入力されたビットストリーム４０１のヘッダ情報を解析して、その情報に従ってコンポーネントデータを生成する。検出部４０３は、復号化部４０２のヘッダ解析結果に従って、各コンポーネントの成分が何であるかを判定する。例えば、コンポーネント数が４個ある場合、コンポーネント０には参照フィールド画像の輝度成分が、コンポーネント１にはフィールド差分画像の差分輝度成分が、コンポーネント２と３には動きベクトルが格納されていると判定する。動き補償部４０４は、検出部４０３の判定結果に従って、参照フィールド画像を動きベクトルで動き補償し、補償フィールド画像を生成する。加算部４０５は、フィールド差分画像と補償フィールド画像を加算し、対象フィールド画像を生成する。フィールド合成部４０６は、参照フィールド画像と対象フィールド画像を１ラインごとに交互に並べることでフレーム化し、合成画像４０７を生成する。
【００５３】
なお、本実施の形態では、入力ビットストリーム４０１のコンポーネントを輝度成分と動きベクトルのみとしたが、色差成分、色差成分の動きベクトルがコンポーネントとして含まれている場合も同様に構成することが可能である。
【００５４】
また、動きベクトルは、各画素ごとに求められたものでも、任意の画素サイズの矩形領域に対して求められたものでも同様に構成することが可能である。
【００５５】
また、検出部４０３は、コンポーネント数だけではなく、ＣＯＭパラメータやその他のヘッダ情報に記述された成分情報に従って、各コンポーネントの成分を判定し、その判定結果に従って動き補償部４０４は動き補償を行うことが可能である。
【００５６】
【発明の効果】
以上のように本発明によれば、インタレース画像をフィールドに分離し、フィールド差分画像あるいは動き補償したフィールド差分画像を用い、これらのフィールド画像と動きベクトルを１つのフレーム画像として符号化を行うため、符号化効率を向上させることが可能となる。
【００５７】
また、本発明によれば、フィールド間相関のみを用いるため、インタレース動画像をフレーム内符号化したビットストリームに対して、フレーム単位での編集を容易にするという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像符号化装置を示すブロック図
【図２】本発明の実施の形態２における画像符号化装置を示すブロック図
【図３】本発明の実施の形態３における画像符号化装置を示すブロック図
【図４】本発明の実施の形態４における画像復号化装置を示すブロック図
【図５】インタレース画像のフレーム化とフィールド分離を説明するための図
【符号の説明】
１０１ 入力画像
１０２ フィールド分離部
１０３ 差分計算部
１０４ 符号化部
１０５、４０１ ビットストリーム
２０１、３０２ 動き検出部
２０２、３０３、４０４ 動き補償部
３０１ 動き判定部
４０２ 復号化部
４０３ 検出部
４０５ 加算部
４０６ フィールド合成部
４０７ 合成画像

Claims (18)

1. 入力画像を参照フィールド画像と前記参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離手段と、
   前記対象フィールド画像と前記参照フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算手段と、
   前記参照フィールド画像と前記フィールド差分画像を別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えることを特徴とする画像符号化装置。
2. 入力画像を参照フィールド画像と前記参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離手段と、
   前記対象フィールド画像の前記参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出手段と、
   前記参照フィールド画像を前記動きベクトルで動き補償した補償フィールド画像を生成する動き補償手段と、
   前記対象フィールド画像と前記補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算手段と、
   前記参照フィールド画像と前記フィールド差分画像と前記動きベクトルを別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えることを特徴とする画像符号化装置。
3. 動き検出手段は対象フィールド画像を任意の画素サイズの矩形領域に分割し、前記矩形領域ごとに動きベクトルを求め、
   動き補償手段は前記矩形領域ごとに動き補償を行うことを特徴とする請求項２に記載の画像符号化装置。
4. 入力画像を参照フィールド画像と前記参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離手段と、
   前記対象フィールド画像の動き検出を行うか行わないかを判定する動き判定手段と、
   前記動き判定手段が動き検出を行うと判定した場合は、前記対象フィールド画像の前記参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出手段と、
   前記動き判定手段が動き検出を行うと判定した場合は、前記参照フィールド画像を前記動きベクトルで動き補償した補償フィールド画像を生成する動き補償手段と、
   前記対象フィールド画像と前記補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算手段と、
   前記参照フィールド画像と前記フィールド差分画像を別コンポーネントとし、前記動き判定手段が動き検出を行うと判定した場合には前記動きベクトルも別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えることを特徴とする画像符号化装置。
5. 動き検出手段は、対象フィールド画像を任意の画素サイズの矩形領域に分割し、前記矩形領域ごとに動きベクトルを求め、
   動き補償手段は、前記矩形領域ごとに動き補償を行うことを特徴とする請求項４に記載の画像符号化装置。
6. 動き補償手段は、動き判定手段が動き検出を行わないと判定した場合は、動きベクトルを全て０として動き補償を行うことを特徴とする請求項４または請求項５に記載の画像符号化装置。
7. 符号化手段は、ＪＰＥＧ２０００規格に従って符号化することを特徴とする請求項１ないし請求項６に記載の画像符号化装置。
8. 入力ビットストリームを復号化し、複数のコンポーネントデータを生成する復号化手段と、
   前記入力ビットストリームのヘッダ情報を解析し、前記復号化手段より出力される各コンポーネントの成分が参照フィールド画像、前記参照フィールド画像を参照にして符号化されたフィールド差分画像、動きベクトルのいずれの成分であるかを判定する検出手段と、
   前記参照フィールド画像を前記動きベクトルで動き補償して補償フィールド画像を生成する動き補償手段と、
   前記フィールド差分画像と前記補償フィールド画像を加算し、対象フィールド画像を生成する加算手段と、
   前記参照フィールド画像と前記対象フィールド画像を合成し、合成画像を生成するフィールド合成手段とを備えることを特徴とする画像復号化装置。
9. 復号化手段は、ＪＰＥＧ２０００規格に従って復号化することを特徴とする請求項８に記載の画像復号化装置。
10. 入力画像を参照フィールド画像と前記参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離ステップと、
    前記対象フィールド画像と前記参照フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算ステップと、
    前記参照フィールド画像と前記フィールド差分画像を別コンポーネントとしたフレーム画像として符号化する符号化ステップとを備えることを特徴とする画像符号化方法。
11. 入力画像を参照フィールド画像と前記参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離ステップと、
    前記対象フィールド画像の前記参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出ステップと、
    前記参照フィールド画像を前記動き検出ステップが検出した動きベクトルで動き補償した補償フィールド画像を生成する動き補償ステップと、
    前記対象フィールド画像と前記補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算ステップと、
    前記参照フィールド画像と前記フィールド差分画像と前記動きベクトルを別コンポーネントとしたフレーム画像として符号化する符号化ステップとを備えることを特徴とする画像符号化方法。
12. 動き検出ステップは対象フィールド画像を任意の画素サイズの矩形領域に分割し、前記矩形領域ごとに動きベクトルを求め、
    動き補償ステップは前記矩形領域ごとに動き補償を行うことを特徴とする請求項１１に記載の画像符号化方法。
13. 入力画像を参照フィールド画像と前記参照フィールド画像を参照して符号化を行う対象フィールド画像の２つのフィールド画像に分離するフィールド分離ステップと、
    前記対象フィールド画像の動き検出を行うか行わないかを判定する動き判定ステップと、
    前記動き判定ステップが動き検出を行うと判定した場合は、前記対象フィールド画像の前記参照フィールド画像に対する各画素ごとの動きベクトルを求める動き検出ステップと、
    前記動き判定ステップが動き検出を行うと判定した場合は、前記参照フィールド画像を前記動きベクトルで動き補償した補償フィールド画像を生成する動き補償ステップと、
    前記対象フィールド画像と前記補償フィールド画像の差分を計算し、フィールド差分画像を生成する差分計算ステップと、
    前記参照フィールド画像と前記フィールド差分画像を別コンポーネントとし、前記動き判定ステップが動き検出を行うと判定した場合には、前記動きベクトルも別コンポーネントとしたフレーム画像として符号化する符号化手段とを備えることを特徴とする画像符号化方法。
14. 動き検出ステップは、対象フィールド画像を任意の画素サイズの矩形領域に分割し、前記矩形領域ごとに動きベクトルを求め、
    動き補償ステップは、前記矩形領域ごとに動き補償を行うことを特徴とする請求項１３に記載の画像符号化方法。
15. 動き補償ステップは、動き判定手段が動き検出を行わないと判定した場合は、動きベクトルを全て０として動き補償を行うことを特徴とする請求項１３または請求項１４に記載の画像符号化方法。
16. 符号化手段は、ＪＰＥＧ２０００規格に従って符号化することを特徴とする請求項１０ないし請求項１５に記載の画像符号化方法。
17. 入力ビットストリームを復号化し、複数のコンポーネントデータを生成する復号化ステップと、
    前記入力ビットストリームのヘッダ情報を解析し、前記復号化手段より出力される各コンポーネントの成分が参照フィールド画像、前記参照フィールド画像を参照にして符号化されたフィールド差分画像、動きベクトルのいずれの成分であるかを判定する検出ステップと、
    前記参照フィールド画像を前記動きベクトルで動き補償して補償フィールド画像を生成する動き補償ステップと、
    前記フィールド差分画像と前記補償フィールド画像を加算し、対象フィールド画像を生成する加算ステップと、
    前記参照フィールド画像と前記対象フィールド画像を合成し、合成画像を生成するフィールド合成ステップとを備えることを特徴とする画像復号化方法。
18. 復号化ステップは、ＪＰＥＧ２０００規格に従って復号化することを特徴とする請求項１７に記載の画像復号化方法。

Images