JP4797999B2 - 画像符号化・復号化装置 - Google Patents

Description

本発明は、画像符号化・復号化装置に関する。

この分野の背景技術として、例えば、特開2004-349756号公報がある。該公報には、「［課題］入力映像に対して，動き探索精度が高く，動き補償単位が小さな探索を行う動画像符号化を低コストで実現する。［解決手段］画像拡大部１０によって入力映像を水平方向にＭ倍，垂直方向にＮ倍に拡大する。その結果得られる拡大画像を，前処理符号化部１１によって符号化する。メインエンコーダ１３は，前処理符号化部１１において得られる動きベクトル情報を受けて，動きベクトルの大きさを水平方向に１／Ｍ，垂直方向に１／Ｎに縮小し，入力映像に対して得られたベクトルを用いて動き補償を行ないながら入力映像の符号化を行う。」と記載されている（要約参照）。

また、この分野の背景技術として、例えば、特開2002-135784号公報がある。該公報には、「［課題］適応的動き探索範囲をともなう動き推定および補償を用いたビデオ符号化方法を提供する。［解決手段］固定された動き探索範囲は、非常に高速な動きに対して真の合致領域を見出せないことがときどきある。また、固定された動き探索範囲は、非常に低速な動きに対して膨大な処理時間を浪費する。動き探索範囲を基準値から適応的に拡大・縮小する方法を利用することにより動き推定の効率が上がり、その結果符号化効率が向上する。」と記載されている（要約参照）。

特開2004-349756号公報 特開2002-135784号公報

画像の符号化において動き探索は非常に重い処理であり、ハードウエアでは通常、探索範囲を絞った探索をおこなう。その１つに、階層探索という技術がある。階層探索では、まず粗く探索を行い、その結果に対して、その周りをさらに細かく探索するということが行われている。

ここで、階層探索においてまず行なわれる粗い探索は、画質に大きな影響を与える重要な処理である。動き探索範囲をできるだけ大きくとることができれば、それだけより広範囲に、類似の画像を発見できる可能性が高くなり、画質が向上する。しかしながら、動き探索範囲をむやみに大きく取ると、探索に要する時間がそれに比例して増加し、処理時間の増大を招いてしまう。そこで、一例として、ＳＤＴＶでは、水平に1画素おきに間引いてから探索をおこなう方法がある。

しかし、ＨＤＴＶは従来のＳＤＴＶに比べ画像サイズがかなり大きくなっており、また、アスペクト比も広い為、動き探索でより広い領域を探索しなければならない。そこで、一例として、ＨＤＴＶでは、水平に4画素精度（3画素間引き）で探索を行うことが考えられる。

ただし、SDTVの符号化の際も、この間引き率のままで行うと、SDTVはもともと画素ピッチが粗いため画質の大幅な低下をまねく。

そこで、本発明では、一例として、画像サイズに応じて、動き探索範囲と画素間引き率とを適応的に切り替えるようにする。

本発明によれば、一例として、画質が向上するという効果が得られる。

上記した以外の課題、構成、効果は、以下の実施形態の中で説明される。

以下、図面を用いて、実施形態を説明する。

図１に本発明の実施例である画像符号化・復号化装置１のブロック図を示す。まず符号化時の動作について説明する。画像入力端子より動画像が入力され、Video I/F部12にて受信する。受信した動画像はSDRAMI/F部17を介して一旦SDRAM2内の設けたバッファ領域に格納される。所定の遅延時間後にSDRAM2内のバッファ領域から動画像データが読み出され、Encoder部13に送られる。Encoder部13にて符号化処理が行われる。符号化処理が終わった符号化データ（エレメンタリーストリーム）は、Mux/Demux部15に送られる。System Mux/Demux部15では、ヘッダコードやタイムスタンプ付加、パケット化などのシステムストリーム化処理を行う。システムストリーム化の終わった符号化データは、Device I/F部16を介して、外部の機器に符号化画像として出力される。

次に、復号化時の動作について説明する。まず符号化画像データが外部の機器からDevice I/F部16に入力される。Device I/F部16で受信した符号化画像データは、System Mux/Demux部15に入力される。System Mux/Demux部15では、入力された符号化画像データに対し、ヘッダコードの除去などを行い、エレメンタリーストリームを取り出す。取り出されたエレメンタリーストリームは、Decoder部14に送られる。Decoder部14においてエレメンタリーストリームの復号化処理が行われる。復号化処理が終わった動画像データは、Video I/F部12に送られる。Video I/F部12に送られた動画像データは復号化処理介してSDRAM2内に設けたバッファ領域に格納される。所定の遅延時間後にSDRAM2内のバッファ領域から動画像データが読み出され、Video I/F部12から画像出力として装置１外部に出力される。

また、図４のように、Decoder部14とEncoder部13を用いることでトランスコードすることもできるようになっている。この場合、符号化画像データがDecoder部14に入力され、上述のように復号化され、動画像データが出力される。また、この動画像データはEncoder部13に入力され、上述のように符号化され、符号化画像データが出力される。この際、図４に示すように、Decoder部14のプロセッサとEncoder部13のプロセッサとの間で符号化に関する情報を交換することにより、Encoder部13ではより効率的な符号化が可能となる。

図2にEncoder部１３のブロック図を示す。メインプロセッサ１３１およびサブプロセッサ１３２と、これらのプロセッサにより制御される処理ブロック１３３〜１３１０とから成る。入力された画像は画面内予測部133および動き探索部134に入力される。画面内予測部133においては、当該画面内においてすでに符号化済みの部分から、現在処理中の部分画像の予測画像を作成する。また動き探索部１３４においては、過去に符号化済みの他の画像から、現在処理中の部分画像により近い画像を探し出し、予測画像を作成する。画面内予測部１３３または動き探索部１３４の出力である予測画像のうちより有利なほうが選択される。この選択決定は、メインプロセッサ１３１が関与して行う。最終的に選択された一方のブロックは、予測画像と現画像との差を求める。その結果である予測誤差は、DCT/量子化処理部１３５に出力される。また、最終的に選択された当該ブロックは、予測画像を動き補償部１３７に出力する。

DCT/量子化処理部１３５において、入力された予測誤差に対して、離散コサイン変換またはそれと同等の所定の周波数変換処理が行われる。さらに引き続き、量子化係数による量子化処理が行われる。処理された結果はエントロピー符号化部１３９に出力される。

エントロピー符号化部１３９では、サブプロセッサ１３２からの指示に基づき、所定のエントロピー符号化処理を行う。その処理結果は、バッファ部１３１０を介して出力される。

DCT/量子化処理部１３５の出力は、逆量子化/IDCT処理部１３６に入力される。逆量子化/IDCT処理部１３６では、逆量子化処理および逆離散コサイン変換（または所定の同等処理）を行い、予測誤差を求め、その結果を補償部１３７に出力する。

動き補償部１３７では、入力された予測誤差および予測画像を加算し、復元画像を作成する。復元画像はデブロッキング部１３８に出力される。

デブロッキング部１３８に入力された復元画像は、ブロック境界のフィルタ処理を施される。その結果であるローカル復号画像は、動き探索画像として、動き探索部１３４において将来用いられる。

動き探索部１３４の処理について図5を用いて説明する。画像３は過去に符号化済みの画像、画像４は現在符号化中の画像である。マクロブロック４１は現在符号化処理中の部分画像であり、マクロブロック３１は、画像３において、マクロブロック４１と同じ位置に相当するマクロブロックである。このマクロブロック３１を中心に、幅Ｈ、高さＶの領域３２をとり、動き探索範囲とする。

図６は動き探索範囲３２を示したものである。動き探索部１３４は、この動き探索範囲３２の範囲内で、マクロブロック４１に最も近い部分を見つけ出す処理を行う。ここで、範囲ＨおよびＶをできるだけ大きくとることができれば、それだけより広範囲に、類似の画像を発見できる可能性が高くなる。しかしながら、ＨおよびＶをむやみに大きく取ると、探索に要する時間がそれに比例して増加し、処理時間の増大を招く。そこで、以下の工夫を行っている。

すなわち、探索範囲３２および、マクロブロック４１の画素をそれぞれ水平方向に対して２画素単位で間引いた画像を用意する。こうすると、水平方向に対してはH/2の処理画素数で済むことになり、処理時間が半減可能となる。あるいは、探索範囲３２および、マクロブロック４１の画素をそれぞれ水平方向に対して４画素単位で間引いた画像を用意すると、同じく処理時間は４分の１で済む。
または、同じ処理時間であれば、それぞれ２倍または４倍の探索範囲を探索することが可能となり、画質が向上する。特に、画素数の多い高品位テレビジョン信号の符号化を行う場合には、広い探索範囲を確保することが必要である。そこで、４画素単位を選択することにより、広い探索範囲を確保することが可能である。また、従来のテレビジョン信号の場合には、広い探索範囲よりも、細かい探索を行うことを優先し、２画素単位の間引きを使用することが可能である。

以上のように、本発明によれば、画像サイズに応じて、探索範囲の間引き率および探索範囲の大きさを適応的に選択することが可能である。
このように、動き探索部１３４では、動き探索範囲３２のなかで最も現画像マクロブロック４１に近いものを探索する。

図７は動き探索部１３４の引き続きの動作を説明する図面である。上記で発見した画素位置に対して、さらに水平±２画素、垂直±２画素の範囲で、より詳しく探索を行う。中心画素を含め、計２５画素分の探索を同時に行うことの可能なＰＥ（プロセッサエレメント）群Ａを用い、図７の８ｘ８画素の領域Ａを探索する。同様に隣接する８ｘ８画素の領域Ｂ、Ｃ、Ｄに対しても、ＰＥ−Ｂ、Ｃ，Ｄにより、同時並行で探索を実行する。

このようにして、ＰＥ−Ａ〜Ｄの各領域に対して、それぞれ最も近い画像の探索が行われ、その結果それぞれの位置オフセットすなわち動きベクトルが求められる。

動き探索部１３４ではさらに、上記動きベクトルに対し、その近傍で水平・垂直各±０．５の領域を０．２５画素刻みで探索する。この探索には上述のＰＥ―Ａ〜Ｄを再び用いる。

次にDecoder部１４について図３を用いて説明する。メインプロセッサ１４１およびサブプロセッサ１４２と、これらのプロセッサにより制御される処理ブロック１４３、１４６〜１４１０とから成る。

入力されたエレメンタリーストリームはバッファ部１４１０でバッファリングされた後、エントロピー復号化部１４９に入力される。図８に示すように、エントロピー復号化部１４９では、サブプロセッサ１４２からの指示に基づき、所定のエントロピー復号化処理を行う。その処理結果であるマクロブロックレイヤのパラメータおよびデータは、逆量子化/IDCT部１４６に入力される。また、シーケンスやピクチャヘッダなどの上位レイヤはサブプロセッサ１４２が解析を行い、上位レイヤ情報として出力する。

逆量子化/IDCT処理部１４６では、逆量子化処理および逆離散コサイン変換（または所定の同等処理）を行い、予測誤差を復元し、その結果を補償部１４７に出力する。
動き補償部１４７では、入力された予測誤差および予測画像を加算し、復元画像を作成する。なお、ここにおける予測画像は、符号の内容により動き補償または画面内予測画像のいずれかが用いられる。画面内予測画像の場合には、画面内予測部１４３が作成した予測画像を用いる。動き補償部１４７において作成した復元画像はデブロッキング部１４８に出力される。

デブロッキング部１４８に入力された復元画像は、ブロック境界のフィルタ処理を施され、出力画像として出力される。

エントロピー復号化部１４９において取り扱うことのできるエントロピー符号のうち、算術符号の復号化処理について図９を用いて説明する。図において１４９１は算術復号化処理を行って、１ビットの値「Bin」を求めるBinデコーダ部、１４９２は複数のBinの列から、１組の数値を求める数値復元部、１４９３は、Binデコーダ部での復号化処理に使用するパラメータ「Context値」を計算するContext計算部である。

図１０に本発明のContext計算部１４９４についてさらに詳しく説明する。内部にContext#0計算部１４９４１およびContext#1計算部１４９４２を内蔵する。Context#0計算部１４９４１は、直前の復号化結果であるBinの値Bn-1が確定する前に、その結果が仮に０であったと仮定して、Context計算を開始する。同様に、Context#1計算部１４９４２は、直前の復号化結果Binの値Bn-1が確定する前に、その結果が仮に１であったと仮定して、Context計算を開始する。これらの結果は、Context[0]および[1]として、Binデコーダ部1491に共に入力される。Binデコーダ部1491は、直前の復号化結果Bn-1が確定次第、その値に基づき、上記入力されたContext[0]または[1]のうち適切なほうを選択して、次回の復号化に利用する。

以上、本発明の算術復号化処理によれば、直前のBinデコード値が確定する前にContext演算を開始できるため、算術復号化処理内部のフィードバックループの処理時間を短くすることができ、したがって、算術復号化処理の処理速度を大幅に高めることが可能である。

本発明の実施例である画像符号化・復号化装置１のブロック図を示す。 Encoder部１３のブロック図を示す。 Decoder部１４のブロック図を示す。 トランスコードする場合の実施例を示す図である。 動き探索部１３４の処理について説明する図である。 動き探索範囲３２を示す。 動き探索部１３４の動作を説明する図である。 エントロピー復号化部１４９を説明する図である。 算術符号の復号化処理について説明する図である。 Context計算部１４９４について説明する図である。

符号の説明

１・・・画像符号化・復号化装置
２・・・ＳＤＲＡＭ
１２・・Ｖｉｄｅｏ Ｉ／Ｆ
１３・・Ｅｎｃｏｄｅｒ部
１４・・Ｄｅｃｏｄｅｒ部
１５・・Ｓｙｓｔｅｍ Ｍｕｘ／Ｄｅｍｕｘ部
１６・・Ｄｅｖｉｃｅ Ｉ／Ｆ
１７・・ＳＤＲＡＭ Ｉ／Ｆ

Claims (4)

1. 動き探索を行う画像符号化・復号化装置であって、
   画像データが入力される入力手段と、
   入力された画像データに対して、粗く動き探索を行う第１の動き探索手段と、
   上記第１の動き探索手段から出力される動き探索結果を用いて、上記第１の動き探索手段よりも細かく動き探索を行う第２の動き探索手段と、
   を備え、
   上記第１の動き探索手段で行われる動き探索の範囲および精度は、入力された画像データの画像サイズに応じて決まること、
   を特徴とする画像符号化・復号化装置。
2. 請求項１において、
   上記第１の動き探索手段は、入力された画像データを水平方向に間引いて動き探索を行い、間引き率は入力された画像データの画像サイズに応じて決まること、
   を特徴とする画像符号化・復号化装置。
3. 請求項１または２において、
   上記第１の動き探索手段は、入力された画像データを水平方向に間引いて動き探索を行い、入力された画像データの画像サイズが大きいほど間引き率が大きく、動き探索の範囲が大きいこと、
   を特徴とする画像符号化・復号化装置。
4. 請求項１ないし３のいずれかにおいて、
   上記第１の動き探索手段は、入力された画像データが標準テレビジョン信号の場合は水平方向に１画素おきに間引いて動き探索を行い、入力された画像データが高品位テレビジョン信号の場合は水平方向に３画素おきに間引いて動き探索を行うこと、
   を特徴とする画像符号化・復号化装置。

Images