JP4476104B2

JP4476104B2 - 符号化回路

Info

Publication number: JP4476104B2
Application number: JP2004332082A
Authority: JP
Inventors: 正己江原; 治高永
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-04-22
Filing date: 2004-11-16
Publication date: 2010-06-09
Anticipated expiration: 2024-11-16
Also published as: JP2005333610A; US7711046B2; TW200536280A; KR100711673B1; US20050243918A1; TWI251402B; KR20060047332A

Description

この発明は、映像信号を符号化する際に、高い圧縮率を得ることができる符号化回路に関する。

従来の符号化技術の代表的なものとしてはＭＰＥＧがある。ＭＰＥＧはフレーム間予測符号化とＤＣＴ（離散的コサイン変換）による直交変換をその基本原理とし、さらに動きベクトルを適用することによりフレーム間の相関を強くすることで予測精度を高め圧縮率を更に高めている。また、ＤＶＣ（ディジタルビデオカセット）における圧縮方式があるが、これもＤＣＴを基本とすると共に、符号化ブロックのグループを設け、全体的な発生符号量を平均化するために各グループを組み合わせて符号化することを基本としている（ＤＶフォーマット）。その他には、ＤＰＣＭ（differential pulse cord modulation）、予測符号化等がある。更に、その他の符号化方式として、アダマール変換が知られている（特許文献１〜３参照）。

特開２００２−７３５８８号公報特許第２５７４３１２号公報特許第２８２７９９７号公報

しかしながら、ＭＰＥＧやＤＶフォーマットは、その基本原理から推察できるように、符号化回路は膨大なものとなる。また、ＤＰＣＭ、予測符号化等では、回路規模は大きくならないものの、高い圧縮率は望めない。

この発明は、上記の事情に鑑み、小さな回路規模で高い圧縮率を得ることができる符号化回路を提供することを目的とする。

この発明の符号化回路は、第１フレームのｍドット×ｎラインのブロックをアダマール変換する第１アダマール変換回路と、１フレーム後の第２フレームのｍドット×ｎラインの対応ブロックをアダマール変換する第２アダマール変換回路と、第１フレームのブロックのアダマール変換結果と第２フレームの該当ブロックのアダマール変換結果とに基づいて各成分についての和成分と差成分を求めて結果的に３次元アダマール変換となる処理を行う手段と、前記第１アダマール変換回路の処理対象であるブロックの映像信号の時間的に連続する同じ位置にあるブロック同士の情報を比較することで、ブロックの動きの有無を検出する動き検出手段と、動き有りと判定されたブロックについては前記和成分と差成分の符号化を行う一方、動き無しと判定されたブロックについては前記差成分の符号化に代えて動き検出結果を符号化する手段と、を備えたことを特徴とする。

上記構成の符号化回路において、前記動き検出手段は第１フレームのブロックの画素値の合計値又は平均値と、１フレーム後の第２フレームの対応ブロックの画素値の合計値又は平均値との差異が一定範囲内かどうかによってブロックの動きを判定するように構成されていてもよい。

本発明は、フレーム毎に映像信号を時系列的に受信して、当該映像信号を圧縮処理して出力する符号化回路であって、第１フレームに含まれるブロック、についてアダマール変換を行う第１アダマール変換回路と、前記第１フレームより前に受信された第２フレームに含まれるブロックであって、前記第１アダマール変換回路の処理対象となるブロックに対応するブロック、についてアダマール変換を行う第２アダマール変換回路と、前記第１アダマール変換回路と前記第２アダマール変換回路とから出力される出力値を加算する加算器と、前記第１アダマール変換回路と前記第２アダマール変換回路とから出力される出力値を減算する減算器と、前記第１アダマール変換回路の処理対象であるブロックの映像信号の時間的に連続する同じ位置にあるブロック同士の情報を比較することで、動きを検出する動き検出部と、前記動き検出部において動き有りと判定されたブロックについては前記加算器からの和成分と前記減算器からの差成分との符号化を行う一方、動き無しと判定されたブロックについては前記差成分の符号化に代えて動き検出結果を符号化する符号化部と、を備えることを特徴とする。

ここで、前記動き検出部は、前記第１フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの合計値と、当該ブロックに対応する前記第２フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの合計値と、の差が所定の範囲内にあるか否かに基づいてブロック内の映像信号の変化を検出することが好適である。また、前記動き検出部は、前記第１フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの平均値と、当該ブロックに対応する前記第２フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの平均値と、の差が所定の範囲内にあるか否かに基づいてブロック内の映像信号の変化を検出することも好適である。

さらに、前記加算器からの和成分及び前記減算器からの差成分を量子化する量子化部を備え、前記量子化部では、前記動き検出部における検出結果に基づいて、前記量子化部における量子化ステップを変更して量子化を行うことも好適である。

この発明によれば、映像の符号化において小さな回路規模で高い圧縮率を得ることができるという効果を奏する。

以下、この発明の実施形態を図１乃至図７に基づいて説明する。

図１は、符号化回路１を示したブロック図である。入力される映像信号は、ディジタル化された映像信号（輝度／色差信号、ＲＧＢ信号等）である。

符号化回路１の第１アダマール変換回路１ｂには、フレーム遅延メモリ１ａを経て遅延された映像信号が入力される。一方、第２アダマール変換回路１ｃには、フレーム遅延メモリ１ａを介さない映像信号がそのまま入力される。

アダマール変換回路１ｂ，１ｃでは、入力された映像信号を所定のサイズのブロックに分割し、各ブロックに対する２次元アダマール変換の成分を算出する。ここでの演算は、行（ｍ），列（ｎ）のアダマール行列における演算であり、行列の各成分は＋１若しくは−１の成分となる。例えば、各映像信号が行（ｍ），列（ｎ）ブロックに分割される場合、ｍ×ｎ個の２次元アダマール変換の成分が得られる。例えば、ｍ＝２、ｎ＝２の場合には、４つの成分が出力される。ここで、フレーム遅延の無い信号に対する成分をＳ（０）からＳ（ｍ×ｎ−１）とし、フレーム遅延がある信号に対する成分をＦＳ（０）からＦＳ（ｍ×ｎ−１）とする。

アダマール変換回路１ｂ，１ｃで演算されたアダマール変換の成分は和算器１ｄ及び減算器１ｅに入力される。加算器１ｄと減算器１ｅは、各映像信号における対応するブロック毎に対してアダマール変換の成分の加算及び減算を以下のように実行する。

加算器＝Ｓ（ｋ）＋ＦＳ（ｋ）・・・・第１式
減算器＝Ｓ（ｋ）−ＦＳ（ｋ）・・・・第２式

量子化部１ｆ，１ｇは、加算結果及び減算結果に対して量子化ステップＱで量子化処理を行う。両量子化の結果は１次元配列で繋げられてハフマン符号化回路１ｈに入力される。ハフマン符号化回路１ｈは、良く知られているハフマン符号化処理を行うが、後述するブロック動き検出回路１ｊからの信号によって特定の処理を行う。ハフマン符号化回路１ｈの後段には、例えば、図示しない送信部が設けられる。符号化回路１が例えばテレビ受信装置に設けられるとすれば、受信番組を送信部から送出できることになる。テレビ受信装置の付属装置である子テレビ装置は、送信部からの送信信号を受信し、復調処理を行い、更に復号処理を行うことで映像を表示することになる。

上記の符号化回路１においては、符号化単位期間を映像信号の２フレーム期間（インターレース方式であるＮＴＳＣでは４フィールドの期間に相当）としている。具体的には、図２に示すように、フレーム遅延された信号とフレーム遅延が無い信号とを見ると、第１フィールドＦ１と第３フィールドＦ３とが対応する。両フィールドの対応ブロックについてアダマール変換がなされ、前述の加算と減算が行われる。同様に、第２フィールドＦ２と第４フィールドＦ４とが対応する。両フィールドの対応ブロックについてアダマール変換がなされ、前述の加算と減算が行われる。図２において、アダマール変換値は下線付き番号で示している。

ここで、入力画像が静止画像であるとすると、第２式の減算値はゼロとなる。この場合、情報量がゼロになったのではなく、値がゼロの成分がｍ×ｎ個存在していることを示している。

ブロック動き検出回路１ｊは、ブロックの動き検出を行う。具体的には、図３に示すように、アダマール変換の対象となっている２つのフィールドのうち対応するブロックについて、それぞれＰ個（Ｐ＝縦ｙ画素×横ｘ画素とする）の例えば輝度値の合計値をＰで割った平均値Ａ₀，Ａ_Fを算出する。ブロック動き検出回路１ｊは、平均値の差異の絶対値｜Ａ₀−Ａ_F｜が所定範囲内であれば、そのブロックについて動き無しであると判定し、差異の絶対値｜Ａ₀−Ａ_F｜が所定範囲外であればそのブロックについて動き有りであると判定する。そして、判定結果をハフマン符号化回路１ｈに与える。例えば、画素値が０〜２５５の範囲であるとし、平均値の差異（ＭＤ）が４以上のときに動き有りと判定する。

また、アダマール変換の対象となっている２つのフィールドのうち対応するブロックについて、それぞれＰ個（Ｐ＝縦ｙ画素×横ｘ画素とする）の例えば輝度値の合計値Ｓ₀，Ｓ_Fを算出することも好適である。ブロック動き検出回路１ｊは、合計値の差異の絶対値｜Ｓ₀−Ｓ_F｜が所定範囲内であれば、そのブロックについて動き無しであると判定し、差異の絶対値｜Ｓ₀−Ｓ_F｜が所定範囲外であればそのブロックについて動き有りであると判定する。そして、判定結果をハフマン符号化回路１ｈに与える。

なお、ブロック動き検出回路１ｊにおけるブロックの動き検出処理はこれらに限定されるものではない。対応するブロック間の画像の変化に基づいて、映像の動きが検出できるものであれば良い。

ハフマン符号化回路１ｈは、ブロック動き検出回路１ｊから動き有りの判定結果を得たとき、通常の処理（加算／減算結果の符号化処理）を行う。一方、ブロック動き検出回路１ｊから動き無しの判定結果を得たときには、動き検出信号ＭＤを符号化し伝送する。すなわち、静止画あるいは静止画部分においては第２式の各成分値を伝送するのではなく、動き検出信号ＭＤを符号化して伝送する。これにより伝送符号量を低減できることになる。

更に述べれば、静止ブロックと判定されたブロックの差成分を破棄し、動き検出信号ＭＤを符号化する。例えば、図４に示すように、ブロック毎に静止画／動画の判別がなされ、ブロック内の画像が静止していると判定された場合には減算器からの出力値を破棄し、代わりに動き検出信号ＭＤを符号化して出力する。動き検出信号ＭＤの符号化出力ビットは、１ビット若しくは複数ビットから成り、例えば、第１式の和成分のＤＣ係数を表すビット（例えば、８ビット）の後に挿入することができる。

子テレビ装置の側においては、復号化に際し、和成分のＤＣ係数のビット列の後のビットを見ることにより、差成分がそのまま送られてきたのか、それとも動き検出信号ＭＤ（静止画を示す情報）が送られてきたのかを判別できる。そして、動き検出信号ＭＤ（静止画を示す情報）が付加されている場合には、値がゼロのｍ×ｎ個の成分を自ら生成し、それを差成分として処理を行うことができる。

変形例として、ブロック動き検出回路１ｊによるブロックの動き検出の結果に基づいて量子化ステップＱを変更して量子化を行うことも好適である。図５は、本変形例における符号化回路２を示すブロック図である。

例えば、ブロック動き検出回路１ｊにおいて、予め動き検出のための２つの閾値Ｒ１，Ｒ２（Ｒ２＞Ｒ１）を設定しておき、図６に示しているように、平均値の差異の絶対値｜Ａ₀−Ａ_F｜が第１の閾値Ｒ１以下であれば、そのブロックは静止画であると判定し、平均値の差異の絶対値｜Ａ₀−Ａ_F｜が第１の閾値Ｒ１より大きく、第２の閾値Ｒ２以下であれば、そのブロックは準動画であると判定し、平均値の差異の絶対値｜Ａ₀−Ａ_F｜が第２の閾値Ｒ２より大きければ、そのブロックは動画であると判定する。判定結果は量子化部１ｆ，１ｇに出力される。

量子化部１ｆ，１ｇでは、判定結果が静止画、準動画、動画のいずれであるかに基づいて量子化ステップＱを変更して量子化を行う。例えば、図７に示すように、量子化ステップＱを設定する。静止画であれば、和成分は量子化ステップＱ＝３２で量子化し、差成分は伝送なしとする。準動画であれば、和成分及び差成分共に量子化ステップＱ＝６４で量子化する。動画であれば、和成分及び差成分共に量子化ステップＱ＝１２８で量子化する。

このように、映像が動画であるか否かによって差成分の伝送の有無を切り替えると共に、その変化の程度によって量子化ステップＱを変更することで、映像信号の変化に基づいて適切な圧縮率を維持することができる。さらに、従来の符号化回路よりも小さな回路規模とすることができる。

本発明の実施形態の符号化回路を示したブロック図である。符号化単位期間を示した説明図である。動き検出の原理を示した説明図である。符号化処理を示す説明図である。本発明の変形例の符号化回路を示したブロック図である。変形例における動き検出の原理を示した説明図である。量子化ステップＱの変更の原理を示した説明図である。

符号の説明

１，２符号化回路、１ａフレーム遅延メモリ、１ｂアダマール変換回路、１ｃアダマール変換回路、１ｄ加算器、１ｅ減算器、１ｆ量子化部、１ｇ量子化部、１ｈハフマン符号化回路、１ｊブロック動き検出回路。

Claims

第１フレームのｍドット×ｎラインのブロックをアダマール変換する第１アダマール変換回路と、
１フレーム後の第２フレームのｍドット×ｎラインの対応ブロックをアダマール変換する第２アダマール変換回路と、
第１フレームのブロックのアダマール変換結果と第２フレームの該当ブロックのアダマール変換結果とに基づいて各成分についての和成分と差成分を求めて結果的に３次元アダマール変換となる処理を行う手段と、
前記第１アダマール変換回路の処理対象であるブロックの映像信号の時間的に連続する同じ位置にあるブロック同士の情報を比較することで、ブロックの動きの有無を検出する動き検出手段と、
動き有りと判定されたブロックについては前記和成分と差成分の符号化を行う一方、動き無しと判定されたブロックについては前記差成分の符号化に代えて動き検出結果を符号化する手段と、
を備えたことを特徴とする符号化回路。
請求項１に記載の符号化回路において、前記動き検出手段は第１フレームのブロックの画素値の合計値又は平均値と、１フレーム後の第２フレームの対応ブロックの画素値の合計値又は平均値との差異が一定範囲内かどうかによってブロックの動きを判定することを特徴とする符号化回路。
フレーム毎に映像信号を時系列的に受信して、当該映像信号を圧縮処理して出力する符号化回路であって、
第１フレームに含まれるブロック、についてアダマール変換を行う第１アダマール変換回路と、
前記第１フレームより前に受信された第２フレームに含まれるブロックであって、前記第１アダマール変換回路の処理対象となるブロックに対応するブロック、についてアダマール変換を行う第２アダマール変換回路と、
前記第１アダマール変換回路と前記第２アダマール変換回路とから出力される出力値を加算する加算器と、
前記第１アダマール変換回路と前記第２アダマール変換回路とから出力される出力値を減算する減算器と、
前記第１アダマール変換回路の処理対象であるブロックの映像信号の時間的に連続する同じ位置にあるブロック同士の情報を比較することで、動きを検出する動き検出部と、
前記動き検出部において動き有りと判定されたブロックについては前記加算器からの和成分と前記減算器からの差成分との符号化を行う一方、動き無しと判定されたブロックについては前記差成分の符号化に代えて動き検出結果を符号化する符号化部と、
を備えることを特徴とする符号化回路。
請求項３に記載の符号化回路において、
前記動き検出部は、前記第１フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの合計値と、当該ブロックに対応する前記第２フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの合計値と、の差が所定の範囲内にあるか否かに基づいてブロック内の映像信号の変化を検出することを特徴とする符号化回路。
請求項３に記載の符号化回路において、
前記動き検出部は、前記第１フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの平均値と、当該ブロックに対応する前記第２フレームに含まれるブロックに属する画素の輝度値、色差及びＲＧＢ値の少なくとも１つの平均値と、の差が所定の範囲内にあるか否かに基づいてブロック内の映像信号の変化を検出することを特徴とする符号化回路。
請求項３〜５のいずれか１つに記載の符号化回路において、
さらに、前記加算器からの和成分及び前記減算器からの差成分を量子化する量子化部を備え、
前記量子化部では、前記動き検出部における検出結果に基づいて、前記量子化部における量子化ステップを変更して量子化を行うことを特徴とする符号化回路。