JP2007134755A - 動画像符号化装置及び画像記録再生装置 - Google Patents

Abstract

【課題】
符号化処理に係る演算量を低減して符号化処理に係る時間を短縮する。
【解決手段】
本発明に係る動画像符号化装置は、前記動画像を複数に分割したブロック毎にブロックマッチング処理を行うブロックマッチング処理部(111)と、ブロックの特徴を検出する特徴検出部(112)とを備える。そして、特徴検出部で検出された特徴に対応する画素をブロックマッチング処理に用いる画素として決定し、この決定された画素についてのみブロックマッチング処理を行うようにした。
【選択図】 図１

Description

本発明は、ディジタル動画像の符号化技術に関するものである。

動画像符号化の国際標準方式であるMPEG１，２等のように、マクロブロック毎に動きベクトルを検出して動き補償する方法が、フレーム間／フレーム内適応符号化方式として知られている。ここで、マクロブロックとは、8画素×8画素のブロック4個を含む輝度信号ブロックと、輝度信号ブロックに空間的に対応した8画素×8画素の色差信号ブロック２個から構成される動き補償の単位である。また、動きベクトルとは、動き補償予測において符号化画像のマクロブロックに対応する参照画像の比較領域の位置を示すためのベクトルである。

動き補償においては、ブロックマッチング法と呼ばれる、マクロブロック毎に動きベクトルを検出して参照フレーム中の類似ブロックを探索する方法が広く用いられている。より高精度に符号化を行うための、ブロックマッチング処理を含む符号化処理の詳細については、例えば非特許文献1(H.264 /AVC)に開示されている。

Gary J. Sullivan and Thomas Wiegand: Rate-Distortion Optimization for Video Compression, IEEE Signal Processing Magazine, vol. 15, no. 6, pp. 74-90, Nov. 1998

上記非特許文献1に記載のものは、符号化処理のための演算量がMPEG１、２に比較して非常に大きい。また非特許文献1に記載のものは、また動き探索を行う場合、ブロックマッチングに利用する点（画素）は、ブロック内の全ての点を利用している。このため、符号化処理量が非常に大きくなってしまう。例えばビデオカメラやハードディスクレコーダ等において、取り込んだ画像を符号化及び圧縮して記憶媒体に記憶する場合、符号化処理量が大きいと符号化処理に係る時間が多く必要となる。従って、符号化処理量が大きい場合は、大きいサイズの画像もしくは精細度の高い画像をリアルタイムに録画することが困難となる。

本発明は、上記課題に鑑みて為されたものであって、その目的は、符号化処理に係る演算量を低減するのに好適な技術を提供することにある。そして本発明は、そのような技術を用いることにより、好適にリアルタイムの動画の録画を行うことが可能な装置を提供するものである。

上記目的を達成するために、本発明では、動画像を複数に分割したブロック毎に画像の特徴を検出し、その検出された特徴に対応する画素を用いてブロックマッチング処理を行うことを特徴とするものである。すなわち本発明は、ブロックマッチング処理を、上記特徴を有する画素（特徴画素）を優先的に用いて行うものである。例えば、その特徴を有する画素のみを用いてブロックマッチング処理を行い、それ以外の画素に対してはブロックマッチング処理を行わないようにする。

上記画像の特徴は、例えば画像のエッジであり、このエッジ強度が所定値を越える画素もしくはエッジ強度が最大の画素を特徴画素として用いる。また上記ブロックを更に複数の検出領域に分割し、この検出領域から最も大きい特徴量を持つ画素を当該ブロックにおける代表点とし、この代表点を用いて上記ブロックマッチングを行うようにしてもよい。また、上記検出領域における全画素の特徴量が所定値を越えない場合は、そのブロックから所定の画素を間引いてブロックマッチング処理を行うようにしてもよい。

本発明によれば、符号化処理量を低減して符号化処理を高速化することが可能となる。

以下、本発明の実施形態について、図面を参照しつつ説明する。まず、図５を用いて、本発明が適用される画像記憶再生装置の一例を説明する。この画像記憶再生装置は、例えば画像を撮像してテープや光ディスクなどの記憶媒体に記憶するビデオカメラ（そのような撮影機能を備えた携帯電話も含む）、または、例えば受信したテレビジョン放送を録画するためのハードディスクレコーダやDVDレコーダ、もしくはそれらのレコーダが内蔵されたテレビジョン装置などである。すなわち、本発明は、ビデオカメラ、ハードディスクレコーダ、DVDレコーダ、テレビジョン装置等に適用され得るものである。勿論、これ以外の、動画像を符号化して録画する機能を有する装置であれば同様に適用できる。

図５において、入力端子501からは、例えばCCD等の撮像素子で撮像された画像、または受信したデジタルテレビジョン放送の画像が入力される。この入力画像は動画像であるものとする。入力画像は、符号化部502でリアルタイムに符号化されて記憶媒体503に供給される。この符号化部における符号化処理の詳細については後述するものとする。記憶媒体503は、符号化された動画像を記憶するものであり、例えば光ディスク、ハードディスク、フラッシュメモリなどの半導体メモリ、テープレコーダ等で構成される。復号部504は、記憶媒体503に記憶された符号化画像を符合して再生し、例えばRGBまたはコンポーネント(Y/Cb/Cr)形式のビデオ信号を生成する。このビデオ信号は、必要に応じ、例えばLCDやPDPなどの表示素子を有する表示部505に供給される。表示部505は、供給されたビデオ信号に基づき、記憶媒体503から再生された動画像を表示する。

次に、図１を用いて上記符号化部１の詳細について説明する。図１は、本発明に係る動画像符号化装置の一構成例を示しており、適応的に誤差符号量を変更可能とするものである。入力画像101は、減算器102、画像の特徴を検出するための画像特徴検出部112、及び画像の動きを検出して補償するためのブロックマッチング処理部である動き検出／補償部111にそれぞれ供給される。まず、減算器102では、入力画像101のあるブロックの画像と動き検出／補償部111からの出力である予測ブロック114との差分がとられ、誤差信号として出力される。この誤差信号は、変換器103に入力され、DCT(離散コサイン変換)係数に変換される。変換器103から出力されたDCT係数は、量子化器104で量子化されて量子化変換係数105が生成される。このとき、量子化変換係数105と共に、誤差信号の符号量も出力される。量子化変換係数105は、伝送情報として多重化器116に供給される。また、量子化変換係数105は、フレーム間の予測画像を合成するための情報としても用いられる。すなわち、量子化変換係数105は逆量子化器106で逆量子化され、逆変換器107で逆変換された後、動き検出／補償部111からの出力画像114と加算器108で加算され、現フレームの復号画像としてフレームメモリ109に記憶される。これによって、現フレームの画像は1フレーム分の時間だけ遅延され、前フレーム画像110として動き検出／補償部111へ供給される。

動き検出／補償部111は、現フレームの画像である入力画像101と前フレーム画像110とを用いて動き補償処理を行う。動き補償とは、前フレームの復号画像（参照画像）から対象マクロブロックの内容と類似する部分を検索し（一般的には、前フレームの探索範囲に対して、輝度信号ブロック内の予測誤差信号の絶対値和が小さい部分を選択する）、その動き情報（動きベクトル）及び動き予測モード情報を得るための処理であって、前述したブロックマッチング処理である。その詳細については、例えば特開2004-357086号公報に記載されているので参照されたい。

動き検出／補償部111は、予測マクロブロック画像114と、上記ブロックマッチング処理によって動き情報及び動き予測モード情報115とを生成する。予測マクロブロック画像114は前述のように減算器102に出力され、動き情報及び動き予測モード情報115は多重化器116に供給される。多重化器116は、上記量子化係数105と動き情報及び動き予測モード情報115とを多重化し、符号化する。

本実施形態では、上記動き検出／補償部111における動き検出処理（ブロックマッチング処理）に、画像特徴検出部112で検出された画像の特徴情報を用いることを特徴とするものである。本実施形態における画像特徴検出部112は、上記画像の特徴として、画像のエッジ(輪郭)を検出し、そのエッジの強度が最も大きい画素を特徴画素データ113として動き検出／補償部111に出力する。本実施形態は、動き検出／補償部111で行われるブロックマッチング処理に上記特徴画素データ113を用いることによって、動き検出に係る演算量の低減するものである。以下、その詳細な動作について説明する。

図２は、本実施形態に係る画像特徴検出部112及び動き検出/補償部111における処理の内容を示している。ここでは、入力画像101複数のブロック（マクロブロック）に分割されているものとする。ステップ201において、画像特徴検出部112は、入力画像101のブロックを、更に、画像特徴を検出するための複数の検出領域に分割する。次に、ステップ202にて、複数の検出領域毎に画像の特徴量を検出する。ここでは、画像の特徴量として、画像のエッジの強度を検出する、画像のエッジは、例えば当該検出領域における画素の信号の２次微分値を算出して検出する、もしくは当該検出領域における隣接する画素間の差分を求めて検出する。そして画像特徴検出部112で検出された画像の特徴の情報を用いて、ステップ203にて検出領域ごとにブロックマッチング処理に利用する点（特徴画素）を選択し決定する。ここで、特徴画素は、例えば当該検出領域に含まれる画素の中で最も検出されたエッジ強度が大きいものとする。このようにして決定された特徴画素データ113、すなわちブロックマッチング処理に利用する点のデータを用いて、ステップ204において各モード（ブロックサイズ）におけるブロックマッチング処理が行われる。すなわち、ステップ204では、上記特徴画素についてのみブロックマッチング処理が行われ、他の画素に対しては、ブロックマッチング処理は行われない。ここでは、各モードに対するブロックマッチング処理を行っているが、必ずしもすべてのモードに対して行う必要はない。

従来の方式では、あるブロック内のすべての画素についてブロックマッチング処理を行っていた。しかしながら、マッチングに利用する画素の数が多くても、必ずしも全ての画素が必要とは限らない。このため、従来の方式においては、処理量の大きさに見合った効果が得られない場合もあった。本実施形態では、画像の特徴に応じてブロックマッチング処理を行う画素を選択する。例えば、ブロックマッチング処理を上記特徴画素のみについて行うようにしている。このため、ブロックマッチング処理に利用する画素を削減することができ、処理量の削減が見込まれる。よって、符号化処理にかかる速度を高速化できる。

次に、本実施形態におけるブロックマッチング処理の一例を用いて説明する。図３は、入力画像と参照画像とを用いたブロックマッチング処理の例を示しており、ブロックマッチング処理される入力画像と参照画像のブロックは、水平方向8画素×垂直方向8画素とする。

本実施形態に係る処理を説明する前に、従来の方式について説明する。図３(a)は従来の方式における、ブロックマッチング処理に利用される画素の例を示している。入力画像のブロック301、及び現在探索している参照画像内のブロック302は、いずれも8×8画素を有するものとする。従来では、入力画像のブロック301及び参照画像内のブロック302におけるすべての画素、すなわち8×8＝64画素の全てについてマッチングを行っていた。このため、これを動きベクトルの探索範囲内で繰り返すと処理量が増大し、符号化処理に多くの時間を必要とする。

これに対し、本実施形態では、図３(b)に示されるように、画像の特徴に対応する画素のみを利用してブロックマッチング処理を行っている。本実施形態では、図３(b)の左側の図に示されるように、入力画像のブロック301を、例えば４つの検出領域に分割する。各検出領域に含まれる各画素に対してエッジの強度を測定もしくは検出する。その測定の結果に基づいて、各検出領域においてエッジ強度（エッジ成分の振幅）の最も高い点（画素）を判定して選択し、その選択された点を各検出領域の代表点（306a、306b、306c、306d）とする。例えば、左上の検出領域では画素306aが、右上の検出領域では画素306bが、左下の検出領域では画素306cが、右下の検出領域では画素306dがそれぞれ各検出領域の代表点として選択されたものとする。これらの入力画像のブロック301における各代表点とブロック内の位置が同じである参照画像内のブロック302の点は、それぞれ307a、307b、307c、307dとなり、これらの点についてマッチングを取ることによってマッチングに利用する画素を削減できる。

一方で、図３において検出された各検出領域のエッジ強度が小さく、探索に利用しても余り効果が期待できないような場合も発生する可能性がある。この場合は、上記とは別の処理を考慮する必要がある。

図４にエッジ強度が小さい場合も考慮に入れた処理を示す。まず、ステップ201において、上述した例と同様に入力画像101のブロックを複数の検出領域に分割する。次にステップ202において画像特徴検出部112によってエッジ強度を測定し、ステップ203において画像の特徴を検出する。そして、ステップ401にてエッジ強度の閾値を設定し、エッジ強度が閾値を超えた場合には、ステップ403においてエッジ強度の大きい点について優先的にブロックマッチング処理を行う。一方、閾値を超えない場合は、ステップ404にてエッジ強度を利用しないマッチングを行う。

図３(c)に、検出されたエッジ情報を利用しない場合のマッチング方法の例を示す。ここでは高速化を図るため、入力画像のブロック301に含まれる画素について、垂直方向、水平方向とも1/2だけ均等に間引きした画素をマッチング画素310として利用する。参照画像内ブロック302においても、マッチング画素310と同じ位置にある画素をマッチング画素311として用いている。この方式では、8×8ブロックに対して16点をマッチング画素として利用することとなり、ここでも処理の高速化が可能となる。本実施例では単純に画素を間引いただけであるが、縮小画像を入力画像と参照画像それぞれに用意し、それらのマッチングを行っても良い。

上記実施例にて説明した符号化処理の方式をH.264/AVCソフトウェアエンコーダに実装し、シミュレーション実験を行った。実験の主な条件は図６に示したとおりである。比較した方式は図３(a)の全画素比較方式、図３(b)の単純ダウンサンプリング方式、図３(c)のエッジ情報利用方式である。探索に利用したブロックサイズは8×8とした。さらに、Pピクチャにおける符号化モードは8×8に限定している。また、エッジ抽出には８近傍画素を利用したラプラシアンフィルタを施した結果の絶対値を利用した。

各方式において量子化精度を一定にしてエンコードした際の処理時間を図７に示す。探索画素数が削減されたことにより、全画素比較方式に対しエンコード時間が、図３(c)に示された単純ダウンサンプリング方式（提案方式１）では1/3以下、図３(b)に示されたエッジ情報利用方式（提案方式２）では1/6以下となっており、処理量が大幅に削減されていることが分かる。また、図８に各方式におけるレート歪み特性を示した。全画素比較方式に対して単純ダウンサンプリング方式、エッジ情報利用方式共にPSNRが低下しているが、単純ダウンサンプリング方式とエッジ情報利用方式とを比較すると、エッジ情報利用方式は単純ダウンサンプリング方式に対して比較画素数が1/4しかないにもかかわらず、PSNRがほぼ同じであることが確認できる。このことから、エッジの情報を利用することによって、比較画素数を1/4に削減しても画質の劣化を抑えることが可能であることが分かる。

上記の実験ではエッジ強度の測定にラプラシアンフィルタをかけた結果の絶対値を用いたが、水平方向、垂直方向にそれぞれSobelフィルタをかけて自乗平均したものなど、エッジの強度を検出できるものであれば、他の方法でもよい。また、本実施形態では、ブロックを複数の検出領域に分割してそれぞれの領域に対してエッジ強度(画像特徴量)の高い点を求めているが、必ずしも検出領域に分割する必要はない。例えば、あるブロック内のエッジ強度の高い点を任意数だけ取り出してマッチングに利用してもよい。例えば、あるブロック内の各画素についてエッジ強度を検出し、これと所定値とを比較し、この所定値よりも大きいエッジ強度を持つ画素を上記ブロックマッチング処理として選択するようにしてもよい。また、エッジ強度の大きい順から所定個数の画素を抽出し、その抽出された画素についてブロックマッチング処理を行うようにしてもよい。更にまた、画像の特徴として、エッジ強度ではなく輝度を検出するようにしてもよい。すなわち、各検出領域における各画素の輝度を検出し、最も高い輝度を持つ画素を上記代表点として選択するようにしてもよい。また、各検出領域における各画素の輝度を検出し、その検出輝度が所定値を越える複数の点を代表店として設定してもよい。

上記の例では、64点で行われていたマッチングを4点に減少させることができ、大幅に処理量を削減できる。画像の特徴を示すエッジ強度の大きい点を優先的、すなわち重点的にブロックマッチング処理に利用することで、処理量を減らすことに伴う動き検出のミスを減らすことが可能である。

また、本実施例では、画像の特徴としてエッジを検出しているが、エッジ以外の特徴量を検出してもよい上述したように輝度情報を検出してもよいし、それ以外の特徴量を検出してもよい。また、入力画像のブロックに対してエッジ検出を行い、入力画像と参照画像とのブロックマッチング処理を行ったが、参照画像に対してエッジ検出を行ってもよい。そして、入力画像のブロック内で、検出された参照画像のエッジ点に対応する部分のマッチングを行うようにしてもよい。また、ブロックマッチング処理に使用するブロックも、8×8のサイズに限るものではなく、他のサイズでも同様に適用できる。また、ブロック形状も正方形に限らず、長方形状のものにも同様に適用できる。

本発明に係る動画像符号化装置の一例を示す図。 本発明に係る動き検出/補償部の構成例を示す図。 本発明に係る符号量推定部の一構成例。 本発明に係る予測誤差推定関数決定部の一構成例。 本発明が適用される画像記録再生装置の一例を示す図。 本実施例に係る符号化処理のシミュレーション条件を示す図 シミュレーション結果を示す図 本実施例に係る符号化処理のレート歪み特性を示す図

符号の説明

101…入力画像、102…減算器、103…変換部、104…量子化部、105…予測誤差及び予測誤差符号量、106…逆量子化部、107…逆変換部、108…加算器109…フレームメモリ、110…復号画像、111…動き検出/補償部、112…画像特徴検出部、113…画像特徴量データ、114…予測画像、116…多重化部。

Claims (15)

1. 動画像を符号化するための動画像符号化装置において、
   前記動画像を複数に分割したブロック毎にブロックマッチング処理を行うブロックマッチング処理部と、
   前記ブロックの特徴を検出する特徴検出部と、を備え、
   前記特徴検出部で検出された特徴に対応する画素を前記ブロックマッチング処理に用いる画素として決定し、
   前記ブロックマッチング処理部は、前記各ブロックのうち、前記決定された画素を用いて前記ブロックマッチング処理を行うことを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、前記特徴検出部は、画像のエッジを前記特徴として検出することを特徴とする動画像符号化装置。
3. 請求項１に記載の動画像符号化装置において、前記特徴検出部は、所定値以上の輝度を持つ部分を前記特徴として検出することを特徴とする動画像符号化装置。
4. 請求項１に記載の動画像符号化装置において、前記ブロックマッチング処理部は、入力画像と参照画像との差分に基づき動きベクトルを求めるためのブロックマッチング処理を行い、前記入力画像及び参照画像の両方について、前記決定された画素を用いて前記ブロックマッチング処理を行うことを特徴とする動画像符号化装置。
5. 請求項１に記載の動画像符号化装置において、前記特徴検出部は、前記ブロックを複数の検出領域に分割し、該検出領域毎に、前記特徴を検出することを特徴とする動画像符号化装置。
6. 請求項５に記載の動画像符号化装置において、前記特徴検出部は、前記複数の検出領域から最も大きい特徴量を持つ画素を判別し、その画素を当該ブロックにおける代表点とし、
   前記ブロックマッチング処理部は、前記代表点を用いて前記ブロックマッチング処理を行うことを特徴とする動画像符号化装置。
7. 請求項６に記載の動画像符号化装置において、前記特徴量はエッジの強度であり、該エッジの強度が最も大きい画素を前記代表点とすることを特徴とする動画像符号化装置。
8. 請求項５に記載の動画像符号化装置において、前記特徴検出部は、前記複数の検出領域に含まれる画素のうち、所定値を越える特徴量を持つ画素を判別し、
   前記ブロックマッチング処理部は、前記所定値を越える特徴量を持つ画素を用いて前記ブロックマッチング処理を行うことを特徴とする動画像符号化装置。
9. 請求項８に記載の動画像符号化装置において、前記検出領域における全画素の特徴量が前記所定値を越えない場合、前記ブロックマッチング部は、前記ブロックから所定の画素を間引いて前記ブロックマッチング処理を行うことを特徴とする動画像符号化装置。
10. 動画像を符号化するための動画像符号化装置において、
    前記動画像を複数に分割したブロック毎にブロックマッチング処理を行うブロックマッチング処理部と、
    前記ブロックから所定の特徴量を持つ画素を検出する特徴検出部と、を備え、
    前記ブロックマッチング処理部は、前記各ブロックのうち前記検出された画素のみを用いて前記ブロックマッチング処理を行うことを特徴とする動画像符号化装置。
11. 請求項１０に記載の動画像符号化装置において、前記特徴量は画像のエッジの強度であり、前記特徴検出部は、該エッジの強度が所定値以上の画素を検出することを特徴とする動画像符号化装置。
12. 画像記録再生装置において、
    入力画像を符号化する符号化部と、該符号化部によって符号化された画像を記憶する記憶媒体と、該記憶媒体に記憶された画像を複合して再生する再生部と、備え、
    前記符号化部は、前記動画像を複数に分割したブロック毎にブロックマッチング処理を行うブロックマッチング処理部と、前記ブロックの特徴を検出する特徴検出部とを含み、
    前記特徴検出部で検出された特徴に対応する画素を前記ブロックマッチング処理に用いる画素として決定し、
    前記ブロックマッチング処理部は、前記各ブロックのうち、前記決定された画素を用いて前記ブロックマッチング処理を行うことを特徴とする画像記録再生装置。
13. 請求項１２に記載の画像記録再生装置において、前記記憶媒体は、半導体メモリであることを特徴とする画像記録再生装置。
14. 請求項１２に記載の画像記録再生装置において、前記記憶媒体は、ハードディスクであることを特徴とする画像記録再生装置。
15. 請求項１２に記載の画像記録再生装置において、更に、前記再生部で再生された画像を表示するための表示部を備えることを特徴とする画像記録再生装置。
    

Images