JP2010288096A - 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム - Google Patents
動画像符号化方法、動画像符号化装置及び動画像符号化プログラム Download PDFInfo
- Publication number
- JP2010288096A JP2010288096A JP2009140636A JP2009140636A JP2010288096A JP 2010288096 A JP2010288096 A JP 2010288096A JP 2009140636 A JP2009140636 A JP 2009140636A JP 2009140636 A JP2009140636 A JP 2009140636A JP 2010288096 A JP2010288096 A JP 2010288096A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image signal
- orthogonal transform
- motion
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】本質的な画像の変化分をより忠実に再現することで、符号化効率を向上させることができ、更にその結果、動き補償予測の効率が改善されることで、更に符号化効率を向上させる。
【解決手段】予測誤差制御部103は、入力画像信号と動き補償部110からの第1の動き補償信号とから第1の予測誤差信号を算出する。また、入力画像信号と動き補償部104からの第2の動き補償信号とから第2の予測誤差信号を算出する。そして、第1及び第2の予測誤差信号を比較し、各ブロック内の対応する画素同士のうち画素値の絶対値の小さい方を選択することで伝送する予測誤差信号を決定して出力する。これにより、第1の予測誤差信号や第2の予測誤差信号をそのまま伝送する場合と比較して、伝達する予測誤差が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。
【選択図】図1
【解決手段】予測誤差制御部103は、入力画像信号と動き補償部110からの第1の動き補償信号とから第1の予測誤差信号を算出する。また、入力画像信号と動き補償部104からの第2の動き補償信号とから第2の予測誤差信号を算出する。そして、第1及び第2の予測誤差信号を比較し、各ブロック内の対応する画素同士のうち画素値の絶対値の小さい方を選択することで伝送する予測誤差信号を決定して出力する。これにより、第1の予測誤差信号や第2の予測誤差信号をそのまま伝送する場合と比較して、伝達する予測誤差が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。
【選択図】図1
Description
本発明は動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに係り、特に動き補償予測処理を搭載した動画像符号化方法、動画像符号化装置及び動画像符号化プログラムに関する。
MPEG(Moving Picture Experts Group)に代表される動画像の圧縮符号化では、ピクチャ内の近傍画素間の相関やピクチャ間の相関を利用して符号量を圧縮する方式が用いられる。
ピクチャ内の近接画素間の相関による冗長性は、DCT(Discrete Cosine Transform;離散コサイン変換)に代表される直交変換を行うことにより削減できる。ピクチャ間の相関による冗長性は、動き補償予測を行うことにより削減できる。
符号化側の動き補償予測には、一般的には、参照画像として符号化処理内の局部復号化処理によって既に復号化されている画像を用いる。これは、復号化側では原画像を参照画像として用いることができず、復号化された画像のみ参照画像として用いることができるためである。しかし、MPEGのように劣化を許容する符号化(非ロスレス符号化)では、復号化済みの参照画像は、量子化の影響により原画像と比較して画質が劣化している。そのため、復号化済みの参照画像から動き補償予測を行うと、予測誤差として、ピクチャ間の純粋な画像の変化による誤差に加えて、参照画像の劣化による誤差が同時に発生する。
そこで、特許文献1記載の動き補償予測符号化装置では、符号化側で伝送精度よりも高い精度で動き補償予測を行い、伝送精度よりも高い精度の動き補償予測で発生した予測誤差を伝送することで、本質的な画像の変化分を抽出し、符号化効率を向上させようと試みている。
しかしながら、特許文献1記載の動き補償予測符号化装置では、伝送精度よりも高い精度で動きベクトルを算出するため、動きベクトル検出の演算量が大きく増大してしまう。また、復号化した参照画像が原画像と比較して劣化している場合、動き補償予測の精度を向上させても本質的な画像の変化分を抽出することはできず、符号化効率を向上させることができない。
本発明は以上の点に鑑みなされたもので、本質的な画像の変化分をより忠実に再現することで、符号化効率を向上させることができ、更にその結果、動き補償予測の効率が改善されることで、更に符号化効率を向上させることができる動画像符号化方法、動画像符号化装置及び動画像符号化プログラムを提供することを目的とする。
上記の目的を達成するため、第1の発明の動画像符号化方法は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第1のステップと、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第2のステップと、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第3のステップと、入力動画像信号のブロック毎に、その入力動画像信号と第1及び第2の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する第4のステップと、第4のステップにより生成された予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する第5のステップと、第1の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する第6のステップとを含むことを特徴とする。
また、上記の目的を達成するため、第2の発明の動画像符号化方法は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第1のステップと、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第2のステップと、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第3のステップと、入力動画像信号のブロック毎に、その入力動画像信号と第1の動き補償予測信号との差分信号に対して直交変換を行って第1の直交変換信号を算出する第4のステップと、入力動画像信号のブロック毎に、その入力動画像信号と第2の動き補償予測信号との差分信号に対して直交変換を行って第2の直交変換信号を算出する第5のステップと、第1の直交変換信号と第2の直交変換信号とに基づいて、第3の直交変換信号を生成する第6のステップと、第6のステップにより生成された第3の直交変換信号を量子化して量子化後信号を生成する第7のステップと、第1の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する第8のステップとを含むことを特徴とする。
また、上記の目的を達成するため、第3の発明の動画像符号化装置は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第1の動き補償予測手段と、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第2の動き補償予測手段と、入力動画像信号のブロック毎に、その入力動画像信号と第1及び第2の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する予測誤差信号生成手段と、予測誤差信号生成手段により生成された予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する直交変換・量子化手段と、第1の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する局部復号手段とを有することを特徴とする。
また、上記の目的を達成するため、第4の発明の動画像符号化装置は、入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、動きベクトルを用いて参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第1の動き補償予測手段と、動きベクトルを用いて参照画像信号の符号化元画像に対応する入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第2の動き補償予測手段と、入力動画像信号のブロック毎に、その入力動画像信号と第1の動き補償予測信号との差分信号に対して直交変換を行って第1の直交変換信号を算出する第1の直交変換手段と、入力動画像信号のブロック毎に、その入力動画像信号と第2の動き補償予測信号との差分信号に対して直交変換を行って第2の直交変換信号を算出する第2の直交変換手段と、第1の直交変換信号と第2の直交変換信号とに基づいて、第3の直交変換信号を生成する第3の直交変換手段と、第3の直交変換手段により生成された第3の直交変換信号を量子化して量子化後信号を生成する量子化手段と、第1の動き補償信号を用いて量子化後信号を局部復号化して参照画像信号を生成する局部復号手段とを有することを特徴とする。
また、上記の目的を達成するため、第5の発明の動画像符号化プログラムは、第1の発明の動画像符号化方法の各ステップをコンピュータにより実行させることを特徴とする。
更に、上記の目的を達成するため、第6の発明の動画像符号化プログラムは、第2の発明の動画像符号化方法の各ステップをコンピュータにより実行させることを特徴とする。
本発明によれば、本質的な画像の変化分をより忠実に再現することで、符号化効率を向上させることができ、更にその結果、参照画像が原画像に近い状態で復号化され、以降に符号化するピクチャの動き補償予測の効率も改善されることで、更に符号化効率を向上させることができる。
次に、本発明の実施の形態について図面を参照して詳細に説明する。
(第1の実施の形態)
図1は、本発明になる動画像符号化装置の第1の実施の形態のブロック図を示す。本実施の形態の動画像符号化装置100は、入力端子101に入力される動画像の入力画像信号(以下、原画像信号ともいう)に対して符号化を行う符号化装置で、原画用の参照画像メモリ102、予測誤差制御部103、動き補償部104、直交変換・量子化部105、局部復号部106、動きベクトル検出部111、エントロピー符号化部112よりなり、符号化して得たビットストリームを出力端子113から外部へ出力する。
図1は、本発明になる動画像符号化装置の第1の実施の形態のブロック図を示す。本実施の形態の動画像符号化装置100は、入力端子101に入力される動画像の入力画像信号(以下、原画像信号ともいう)に対して符号化を行う符号化装置で、原画用の参照画像メモリ102、予測誤差制御部103、動き補償部104、直交変換・量子化部105、局部復号部106、動きベクトル検出部111、エントロピー符号化部112よりなり、符号化して得たビットストリームを出力端子113から外部へ出力する。
局部復号部106は、直交変換・逆量子化部105から出力される量子化後信号に対して、逆量子化を行った後、逆直交変換を行う逆量子化・逆直交変換部107と、動き補償部110からの信号と逆量子化・逆直交変換部107からの信号とを加算して局部復号された画像信号を出力する加算器108と、加算器108からの局部復号された画像信号を参照画像として蓄積する参照画像メモリ109と、参照画像メモリ109からの参照画像と動きベクトル検出部111からの動きベクトルとから動き補償処理を行う動き補償部110とからなる。
参照画像メモリ102は、入力端子101を介して入力された原画像信号を蓄積する。すなわち、参照画像メモリ102は、原画像のままの状態の参照画像信号を蓄積している。予測誤差制御部103は、復号化された参照画像に対する誤差と、原画像のままの状態の参照画像に対する誤差を基に伝送する誤差を決定し、その誤差を示す予測誤差信号を出力する。直交変換・量子化部105は、予測誤差制御部103から入力された予測誤差信号を直交変換して得られた直交変換係数を量子化して量子化後信号を生成する。
動きベクトル検出部111は、入力端子101を介して入力された符号化対象の原画像信号のブロック毎に、その原画像信号と参照画像メモリ109から読み出された復号化された参照画像信号との対応するブロックの相対位置関係を示す動きベクトルを検出する。
動き補償部110は、動きベクトル検出部111で検出された動きベクトルを用いて、参照画像メモリ109から供給される復号化された参照画像信号の動き補償予測を行い、第1の動き補償信号を生成する。動き補償部104は、動きベクトル検出部111で検出された動きベクトルを用いて、参照画像メモリ102から供給される原画像の参照画像信号の動き補償予測を行い、第2の動き補償信号を生成する。エントロピー符号化部112は、直交変換・量子化部105から出力された量子化後信号をエントロピー符号化して、動画像符号化して得られたビットストリームを出力する。
この構成の動画像符号化装置100は、動き補償予測の誤差を伝送する際に、復号化された参照画像に対する誤差だけでなく、原画像のままの状態の参照画像に対する誤差を考慮して伝送する予測誤差を決定することで、符号化効率の向上を実現するものである。
次に、本実施の形態の動画像符号化装置100の要部である予測誤差制御部103の動作について図2のフローチャート及び図3を用いて説明する。
まず、予測誤差制御部103は、入力画像信号と動き補償部110から出力された第1の動き補償信号との差分信号(第1の予測誤差信号)を予め定めた所定のブロック単位で算出する(ステップS11)。以下、一例として、上記の所定のブロックは水平方向4画素、垂直方向4画素のサイズであるものとする。
ここで、例えば、上記の入力画像信号のブロック内の各画素の値が図3(A)に示すものであり、上記の第1の動き補償信号のブロック内の各画素の値が同図(B)に示すものであるときは、予測誤差制御部103は、ステップS11において、入力画像信号と第1の動き補償信号とをそれぞれのブロック内の対応する画素同士でその画素値を差し引いた同図(C)に示す第1の予測誤差信号を算出する。
続いて、予測誤差制御部103は、入力画像信号と動き補償部104から出力された第2の動き補償信号との差分信号(第2の予測誤差信号)を予め定めた所定のブロック単位で算出する(ステップS12)。
ここで、例えば、上記の入力画像信号のブロック内の各画素の値が図3(D)(これは図3(A)と同一)に示すものであり、上記の第2の動き補償信号のブロック内の各画素の値が同図(E)に示すものであるときは、予測誤差制御部103は、ステップS12において、入力画像信号と第2の動き補償信号とをそれぞれのブロック内の対応する画素同士でその画素値を差し引いた同図(F)に示す第2の予測誤差信号を算出する。
次に、予測誤差制御部103は、第1の予測誤差信号と第2の予測誤差信号とを、予め定めた所定のブロック単位で比較し、各ブロック内の対応する画素同士のうち画素値の絶対値の小さい方を選択することで伝送する予測誤差信号を決定する(ステップS13)。従って、第1の予測誤差信号が図3(C)に模式的に示す信号であり、第2の予測誤差信号が同図(F)に模式的に示す信号である場合は、予測誤差制御部103は、ステップS13において、それら第1及び第2の予測誤差信号の各ブロック内の対応する画素同士のうち画素値の絶対値の小さい方を選択することで、同図(G)に模式的に示す予測誤差信号を決定する。
最後に、予測誤差制御部103は、ステップS13で決定した予測誤差信号を直交変換・量子化部105に出力する(ステップS14)。
上記のように、ブロック内の対応する画素同士のうち、画素値の絶対値の小さい方を選択することで伝送する予測誤差信号を決定した場合、第1の予測誤差信号や第2の予測誤差信号をそのまま伝送する場合と比較して、伝達する予測誤差が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。
ここで、上記の実施の形態の説明では伝送する予測誤差信号の決定は、絶対値の小さい値を選択する方法の例を示したが、これはほんの一例である。本発明のポイントは、第1の予測誤差信号だけを用いて伝送する予測誤差信号を決定するのではなく、第2の予測誤差信号も考慮して伝送する予測誤差信号を決定することである。そのため、第1の予測誤差信号と第2の予測誤差信号を用いて伝送する予測誤差信号を決定する方法であれば、本発明の範囲内である。
例えば、第1の予測誤差信号と第2の予測誤差信号の平均値を、伝送する予測誤差信号として決定する場合や、第1の予測誤差信号と第2の予測誤差信号の重み付け平均値を伝送する予測誤差信号として決定する場合などが考えられる。
第1の予測誤差信号と第2の予測誤差信号の重み付け平均値を、伝送する予測誤差信号として決定した場合、画質と符号量のバランスを選択することが可能となる。これは、第1の予測誤差信号を伝送する場合、画質は向上するが符号量は増加する傾向があり、第2の予測誤差信号を伝送する場合、画質は低下するが符号量は減少する傾向があることに起因する。
例えば、参照画像になるピクチャ(Pピクチャ(順方向予測符号化ピクチャ)など)を符号化する場合は、復号化された参照画像信号の動き補償予測をして得られた第1の動き補償信号を用いて生成される第1の予測誤差信号の重みを第2の予測誤差信号のそれよりも大きくする。一方、参照画像にならないピクチャ(Bピクチャ(双方向予測符号化ピクチャ)など)の場合は、原画像の動き補償予測をして得られた第2の動き補償信号を用いて生成される第2の予測誤差信号の重みを第1の予測誤差信号のそれよりも大きくする。これにより、参照画像を符号化する場合は画質を優先し、非参照画像を符号化する場合は符号量を優先した制御ができる。
また、最も単純なアルゴリズムとして、第1の予測誤差信号と第2の予測誤差信号とをブロック単位で比較し、ブロック全体の予測誤差の少ない方の第1の予測誤差信号のみ又は第2の予測誤差信号のみを、伝送する予測誤差信号に決定するアルゴリズムが考えられる。予測誤差の比較方法としてはSAD(差分絶対和)やSSD(絶対2乗和)などがある。
この場合、予測誤差制御部103は、第一の予測誤差信号と第二の予測誤差信号を算出し、2つの予測誤差信号のどちらか一方を、伝送する予測誤差信号に決定するスイッチの役割をするため、新たな予測誤差信号を生成する必要がなく処理量が少なく済む。また、第1の予測誤差信号や第2の予測誤差信号のどちらか一方のみに固定して予測誤差信号を伝送する場合と比較して,伝送する予測誤差が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。
このように、本実施の形態の動画像符号化装置100は、動き補償予測の誤差を伝送する際に、復号化された参照画像に対する誤差だけでなく、原画像のままの状態の参照画像に対する誤差を考慮して伝送する予測誤差信号を決定するようにしているため、予測誤差信号成分の中の本質的な画像の変化分をより忠実に再現することが可能となり、その結果、符号化効率が向上する。
また、本実施の形態の動画像符号化装置100によれば、符号化効率が向上した結果、以降に符号化するピクチャの動き補償予測に用いられる参照画像が、原画像に近い状態で復号化できることで、動き補償予測の効率が改善され、更に符号化効率を向上させることができる。
(第2の実施の形態)
図4は、本発明になる動画像符号化装置の第2の実施の形態のブロック図を示す。本実施の形態の動画像符号化装置200は、入力端子201に入力される動画像の入力画像信号(原画像信号)に対して符号化を行う符号化装置で、原画用の参照画像メモリ202、動き補償部203、減算器204及び205、直交変換部206及び207、直交変換係数制御部208、量子化部209、局部復号部210、動きベクトル検出部215、エントロピー符号化部216よりなり、符号化して得たビットストリームを出力端子217から外部へ出力する。
図4は、本発明になる動画像符号化装置の第2の実施の形態のブロック図を示す。本実施の形態の動画像符号化装置200は、入力端子201に入力される動画像の入力画像信号(原画像信号)に対して符号化を行う符号化装置で、原画用の参照画像メモリ202、動き補償部203、減算器204及び205、直交変換部206及び207、直交変換係数制御部208、量子化部209、局部復号部210、動きベクトル検出部215、エントロピー符号化部216よりなり、符号化して得たビットストリームを出力端子217から外部へ出力する。
局部復号部210は、量子化部209から出力される量子化後信号に対して、逆量子化を行った後、逆直交変換を行う逆量子化・逆直交変換部211と、動き補償部214からの信号と逆量子化・逆直交変換部211からの信号とを加算して局部復号された画像信号を出力する加算器212と、加算器212からの局部復号された画像信号を参照画像として蓄積する参照画像メモリ213と、参照画像メモリ213からの局部復号された参照画像と動きベクトル検出部215からの動きベクトルとから動き補償処理を行い第1の動き補償信号を生成する動き補償部214とからなる。この局部復号部210の構成は、第1の実施の形態の動画像符号化装置100の局部復号部106と同様である。
参照画像メモリ202は、入力端子201を介して入力された原画像信号を蓄積する。すなわち、参照画像メモリ202は、原画像のままの状態の参照画像信号を蓄積している。動きベクトル検出部215は、入力された符号化対象の原画像信号のブロック毎に、原画像信号と参照画像メモリ213から読み出された局部復号された参照画像信号との対応するブロックの相対位置関係を示す動きベクトルを検出する。動き補償部203は、参照画像メモリ202からの原画像信号と動きベクトル検出部215からの動きベクトルとから動き補償予測を行い、第2の動き補償信号を生成する。
2つある減算器のうちの一方の減算器204は、原画像信号と動き補償部214で生成された第1の動き補償信号とを減算して第1の差分信号を生成する。直交変換部206は、第1の差分信号を直交変換して第1の直交変換信号を算出する。他方の減算器205は、原画像信号と動き補償部203で生成された第2の補償信号とを減算して第2の差分信号を生成する。直交変換部207は、第2の差分信号を直交変換して第2の直交変換信号を算出する。
直交変換係数制御部208は、後述するように、直交変換部206から出力された第1の直交変換信号と、直交変換部207から出力された第2の直交変換信号とを基に、伝送する直交変換係数を決定する。量子化部209は、直交変換係数制御部208で決定された直交変換係数を量子化して量子化後信号を生成する。エントロピー符号化部216は、量子化部209から出力された量子化後信号をエントロピー符号化して、符号化された画像信号からなるビットストリームを出力端子217より外部へ出力する。
次に、本実施の形態の動画像符号化装置200の要部の直交変換係数制御部208の動作について図5のフローチャート及び図6を用いて説明する。
まず、直交変換係数制御部208は、直交変換部206から出力された第1の直交変換信号と、直交変換部207から出力された第2の直交変換信号とを予め定めた所定のブロック単位で比較し、各ブロック内の対応する周波数成分同士のうち、絶対値の小さい値の周波数成分を選択することで伝送する直交変換信号を決定する(ステップS21)。
ここで、上記の第1の直交変換信号と第2の直交変換信号とが、それぞれ図6(A)、(B)に模式的に示すように、1ブロックが例えば2次元の16個の周波数成分からなるものとすると、直交変換係数制御部208は、ステップS21において、各ブロック内の対応する周波数成分同士のうち、絶対値の小さい値の周波数成分を選択することで図6(C)に模式的に示す直交変換信号を決定する。
そして、直交変換係数制御部208は、ステップS21においてブロック単位で決定した直交変換信号を、量子化部209へ出力して量子化させる(ステップS22)。
このように、本実施の形態の動画像符号化装置200によれば、第1及び第2の直交変換信号の各ブロック内の対応する周波数成分同士のうち、絶対値の小さい値の周波数成分を選択することで伝送する直交変換信号を決定しているので、第1の直交変換信号のみ、あるいは第2の直交変換信号のみをそのまま伝送する場合と比較して、伝送する直交変換係数が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。
ここで、上記の実施の形態の説明では、伝送する直交変換信号の決定は、絶対値の小さい値を選択する方法の例を示したが、これはほんの一例である。本発明のポイントは、第1の直交変換信号だけを用いて伝送する直交変換信号を決定するのではなく、第2の直交変換信号も考慮して伝送する直交変換信号を決定することである。そのため、第1の直交変検信号と第2の直交変換信号とを用いて伝送する直交変換信号を決定する方法であれば、本発明の範囲内である。
例えば、第1の直交変換信号と第2の直交変換信号との平均値を、伝送する直交変換信号とする場合や、第1の直交変換信号と第2の直交変換信号との重み付け平均値を伝送する直交変換信号とする場合などが考えられる。
第1の直交変換信号と第2の直交変換信号との重み付け平均値を伝送する直交変換信号として決定した場合、画質と符号量のバランスを選択することが可能となる。これは、第1の直交変換信号を伝送する場合、画質は向上するが符号量は増加する傾向があり、第2の直交交換信号を伝送する場合、画質は低下するが符号量は減少する傾向があることに起因する。
例えば、参照画像になるピクチャ(Pピクチャなど)を符号化する場合は、第1の直交変換信号の重みを大きくし、参照画像にならないピクチャ(Bピクチャなど)の場合は、第2の直交変換信号の重みを大きくすることで、参照画像を符号化する場合は画質を優先し、非参照画像を符号化する場合は符号量を優先した制御ができる。
また、最も単純なアルゴリズムとして、第1の直交変換信号と第2の直交変換信号とをブロック単位で比較し、ブロック全体の直交変換係数の少ない方の第1の直交変換信号のみ又は第2の直交変換信号のみを、伝送する直交変換信号に決定するアルゴリズムが考えられる。直交変換信号の比較方法としてはSAD(差分絶対和)やSSD(絶対2乗和)などがある。
この場合、直交変換係数制御部208は、入力された2つの直交変換信号のどちらを伝送するかを決定するスイッチの役割をするため、新たな直交変換信号を生成する必要がなく処理量が少なく済む。また、第1の直交変換信号や第2の直交変換信号のどちらか一方のみに固定して直交変換信号を伝送する場合と比較して、伝送する直交変換係数が必ず小さくなるため、発生する符号量が減少し、符号化効率が向上する。
このように、本実施の形態では、直交変換信号を伝送する際に、復号化された参照画像から動き補償予測を行うことにより算出した直交変換信号だけでなく、原画像のままの状態の参照画像から動き補償予測を行うことにより算出した直交変換信号を考慮して伝送する直交変換信号を決定することで、直交変換成分の中の本質的な画像の変化分をより忠実に再現することが可能となり、その結果、符号化効率が向上する。
また、符号化効率が向上した結果、以降に符号化するピクチャの動き補償予測に用いられる参照画像が、原画像に近い状態で復号化できることで、動き補億予測の効率が改善され、さらに符号化効率を向上させることができる。
なお、本発明は以上の実施の形態に限定されるものではなく、例えば上記の動画像符号化装置の機能をコンピュータに実現させるための動画像符号化プログラムも含むものである。この動画像符号化プログラムは、記録媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
本発明は、動画像符号化装置及び動画像符号化プログラムに関するもので、特に動画像符号化の符号化効率を向上させる技術として非常に有用である。
100、200 動画像符号化装置
102、202 参照画像メモリ(原画用)
103 予測誤差制御部
104、110、203、214 動き補償部
105 直交変換・量子化部
106、210 局部復号部
107、211 逆量子化・逆直交変換部
108、212 加算器
109、213 参照画像メモリ(復号画用)
111、215 動きベクトル検出部
112、216 エントロピー符号化部
204、205 減算器
206、207 直交変換部
208 直交変換係数制御部
209 量子化部
102、202 参照画像メモリ(原画用)
103 予測誤差制御部
104、110、203、214 動き補償部
105 直交変換・量子化部
106、210 局部復号部
107、211 逆量子化・逆直交変換部
108、212 加算器
109、213 参照画像メモリ(復号画用)
111、215 動きベクトル検出部
112、216 エントロピー符号化部
204、205 減算器
206、207 直交変換部
208 直交変換係数制御部
209 量子化部
Claims (6)
- 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第1のステップと、
前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第2のステップと、
前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第3のステップと、
前記入力動画像信号のブロック毎に、その入力動画像信号と前記第1及び第2の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する第4のステップと、
前記第4のステップにより生成された前記予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する第5のステップと、
前記第1の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第6のステップと
を含むことを特徴とする動画像符号化方法。 - 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第1のステップと、
前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第2のステップと、
前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第3のステップと、
入力動画像信号のブロック毎に、その入力動画像信号と前記第1の動き補償予測信号との差分信号に対して直交変換を行って第1の直交変換信号を算出する第4のステップと、
入力動画像信号のブロック毎に、その入力動画像信号と前記第2の動き補償予測信号との差分信号に対して直交変換を行って第2の直交変換信号を算出する第5のステップと、
前記第1の直交変換信号と前記第2の直交変換信号とに基づいて、第3の直交変換信号を生成する第6のステップと、
前記第6のステップにより生成された前記第3の直交変換信号を量子化して量子化後信号を生成する第7のステップと、
前記第1の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第8のステップと
を含むことを特徴とする動画像符号化方法。 - 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第1の動き補償予測手段と、
前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第2の動き補償予測手段と、
前記入力動画像信号のブロック毎に、その入力動画像信号と前記第1及び第2の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する予測誤差信号生成手段と、
前記予測誤差信号生成手段により生成された前記予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する直交変換・量子化手段と、
前記第1の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する局部復号手段と
を有することを特徴とする動画像符号化装置。 - 入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第1の動き補償予測手段と、
前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第2の動き補償予測手段と、
入力動画像信号のブロック毎に、その入力動画像信号と前記第1の動き補償予測信号との差分信号に対して直交変換を行って第1の直交変換信号を算出する第1の直交変換手段と、
入力動画像信号のブロック毎に、その入力動画像信号と前記第2の動き補償予測信号との差分信号に対して直交変換を行って第2の直交変換信号を算出する第2の直交変換手段と、
前記第1の直交変換信号と前記第2の直交変換信号とに基づいて、第3の直交変換信号を生成する第3の直交変換手段と、
前記第3の直交変換手段により生成された前記第3の直交変換信号を量子化して量子化後信号を生成する量子化手段と、
前記第1の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する局部復号手段と
を有することを特徴とする動画像符号化装置。 - 入力動画像信号を符号化するためにコンピュータに、
入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第1のステップと、
前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第2のステップと、
前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第3のステップと、
前記入力動画像信号のブロック毎に、その入力動画像信号と前記第1及び第2の動き補償予測信号とに基づいて、直交変換・量子化対象となる予測誤差信号を生成する第4のステップと、
前記第4のステップにより生成された前記予測誤差信号に対して、直交変換した後量子化して量子化後信号を生成する第5のステップと、
前記第1の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第6のステップと
を実行させることを特徴とする動画像符号化プログラム。 - 入力動画像信号を符号化するためにコンピュータに、
入力動画像信号のブロック毎に、その入力動画像信号における現符号化対象画像信号と局部復号化された参照画像信号との対応するブロック間の相対位置関係を示す動きベクトルを検出する第1のステップと、
前記動きベクトルを用いて前記参照画像信号に対して動き補償予測処理を行って第1の動き補償予測信号を算出する第2のステップと、
前記動きベクトルを用いて前記参照画像信号の符号化元画像に対応する前記入力動画像信号に対して動き補償予測処理を行って第2の動き補償予測信号を算出する第3のステップと、
入力動画像信号のブロック毎に、その入力動画像信号と前記第1の動き補償予測信号との差分信号に対して直交変換を行って第1の直交変換信号を算出する第4のステップと、
入力動画像信号のブロック毎に、その入力動画像信号と前記第2の動き補償予測信号との差分信号に対して直交変換を行って第2の直交変換信号を算出する第5のステップと、
前記第1の直交変換信号と前記第2の直交変換信号とに基づいて、第3の直交変換信号を生成する第6のステップと、
前記第6のステップにより生成された前記第3の直交変換信号を量子化して量子化後信号を生成する第7のステップと、
前記第1の動き補償信号を用いて前記量子化後信号を局部復号化して前記参照画像信号を生成する第8のステップと
を実行させることを特徴とする動画像符号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009140636A JP2010288096A (ja) | 2009-06-12 | 2009-06-12 | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009140636A JP2010288096A (ja) | 2009-06-12 | 2009-06-12 | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010288096A true JP2010288096A (ja) | 2010-12-24 |
Family
ID=43543477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009140636A Pending JP2010288096A (ja) | 2009-06-12 | 2009-06-12 | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010288096A (ja) |
-
2009
- 2009-06-12 JP JP2009140636A patent/JP2010288096A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
JP5197591B2 (ja) | 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体 | |
KR100955396B1 (ko) | 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및장치 및 기록매체 | |
JP5488612B2 (ja) | 動画像符号化装置および動画像復号装置 | |
JP2005507587A (ja) | 空間的にスケーラブルな圧縮 | |
JP4226172B2 (ja) | 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法 | |
JP2004336369A (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム | |
US20070171970A1 (en) | Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization | |
JP2005506815A5 (ja) | ||
WO2011121894A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
KR20080064355A (ko) | 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치 | |
WO2011080807A1 (ja) | 動画像符号化装置および動画像復号装置 | |
JP2007143176A (ja) | 動きベクトルの圧縮方法 | |
JP2013115583A (ja) | 動画像符号化装置及びその制御方法並びにプログラム | |
JP2004215275A (ja) | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 | |
JP2000102016A (ja) | 動き補償予測回路 | |
JP4952360B2 (ja) | 動画像復号方法、動画像復号装置、動画像復号プログラム | |
JP2010183162A (ja) | 動画像符号化装置 | |
JPH10336672A (ja) | 符号化方式変換装置およびその動きベクトル検出方法 | |
JP2009111479A (ja) | 動画像圧縮符号化装置 | |
JP2014007469A (ja) | 画像符号化装置及び画像符号化方法 | |
JP2010050911A (ja) | 符号化装置 | |
JP4367354B2 (ja) | 画像符号化装置 | |
KR100978465B1 (ko) | 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및 장치 및 기록매체 | |
JP2010288096A (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20111012 |