JP2008227670A - 画像符号化装置 - Google Patents

Abstract

【課題】 予測モード数の絞込みを効果的に行い、符号化時の演算量を減らすなど低消費電力化を図り、符号化能率の高い符号化を可能とする画像符号化装置を実現する。
【解決手段】 複数の予測モードから１つを選択しイントラ予測符号化する符号化手段１１２と、予測誤差を検出する予測誤差検出手段１１３と、標準と高精細の動作方法を設定する動作設定手段１３２と、第１候補モードと、第２候補モードを設定するモード設定手段１１１と、標準動作では第１候補モードで予測誤差が閾値以下の場合はその予測モードを選択し、閾値以下の予測モードが存在しない場合は全ての予測モードから予測モードを選択し、高精細動作の際は、第１候補モードの予測誤差を検出し、大きな拡大閾値以下の予測誤差の予測モードを選択し、または第２候補モードの中で最小な予測誤差を与える予測モードを選択するようにイントラ制御部１３ａに符号化手段１１２を制御させる。
【選択図】 図１

Description

本発明は、入力される画像信号を、予め用意されている複数のイントラ予測モードから一つを選択してイントラ予測符号化を行うと共に、動き補償によるインター予測符号化を行って符号化画像信号を得る画像符号化装置に関する。

最近になり、動画圧縮規格の１つであるＨ．２６４／ＭＰＥＧ（moving picture experts group）−４ ＡＶＣ（Advanced Video Coding）を用いたテレビ電話、いわゆる１セグ方式と呼ばれる地上ディジタル放送、さらにはムービーなどの動画像記録装置も実用化されるようになってきた。
一方、携帯型の動画像記録装置はバッテリを電源として動作させる小型機器であり、小型、省電力な記録装置を実現できることは好ましい。

特許文献１には、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ符号化方式を用い、小規模な構成でイントラ予測符号化を短時間で行うことのできる画像処理装置が開示されている。即ち、その装置は、マクロブロック内画素データの水平および垂直方向の差分和を検出する差分検出回路と、検出された差分和を用いてマクロブロックの相関方向を特定して相関方向に適合したイントラ予測モードを選択するモード選択回路と、選択されたイントラ予測モードでイントラ予測符号化を行う符号化回路とを備えて小規模な画像処理装置を実現している。
特開２００４−３０４７２４号公報

しかしながら、特許文献１に開示されている画像処理装置では、単に符号化する画素ブロック輝度レベルの水平方向の相関値や垂直方向の相関値を検出して予測モードの選択をするのみでであり、予測モード数の絞込みを十分に行うことは出来なく、符号化時の演算量を効果的に減らし、演算に必要な電力を削減し、且つ符号化能率の高い符号化を行う画像処理装置を実現することはできなかった。

そこで、本発明は、上記のような問題点を解消するためになされたもので、予測モード数の絞込みを効果的に行い、符号化時の演算量を減らすなど低消費電力化を図り、且つ符号化能率の高い符号化を行うことの出来る画像符号化装置を提供することを目的とする。

本願発明における第１の発明は、入力される画像を縦横所定の画素数ごとに分割し、分割して得られたブロック画像を順次イントラ予測しながら符号化する画像符号化装置において、複数の予測モードのうち、予め選択された２つ以上の予測モードを第１候補モード群とし、前記第１候補モード群に他の予測モードを追加して第２候補モード群として設定するモード群設定手段と、前記入力される画像の画素数を検出し、画素数が所定数以内の場合は標準とし、前記所定数を越える場合は高精細とする動作を設定する動作設定手段と、前記動作設定手段により前記標準として設定される際に、前記モード群設定手段により設定される前記第１候補モード群の各予測モードで前記ブロック画像をイントラ予測して得られる予測画像と前記ブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に所定の閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に前記所定の閾値以下の予測誤差が存在しない場合には前記複数の予測モード全てに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択し、前記動作設定手段により前記高精細として設定される際に、前記モード群設定手段により設定される前記第１候補モード群の各予測モードで前記ブロック画像をイントラ予測して得られる予測画像と前記ブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に前記所定の閾値より大きな値である拡大閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に前記拡大閾値以下の予測誤差が存在しない場合には前記第２候補モード群の予測モードに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択するモード選択手段と、前記モード選択手段により選択された１つの予測モードを用いて前記ブロック画像をイントラ予測符号化して符号化信号を得る符号化手段と、を備えることを特徴とする画像符号化装置を提供する。
第２の発明は、入力される画像を縦横所定の画素数ごとに分割し、分割して得られたブロック画像を予め定められた規則に従って順次イントラ予測及び動き予測しながら符号化して符号化信号を生成する画像符号化装置において、複数の予測モードのうち、予め選択された２つ以上の予測モードを候補モード群として設定するモード群設定手段と、入力された画像を符号化及び復号化して得られ復号画像を参照画像とし、前記参照画像上で前記ブロック画像のマッチング位置を探索して動ベクトルを求める際の探索範囲を標準範囲及び前記標準範囲よりも大きな拡大範囲として設定する探索範囲設定手段と、前記入力された画像の直前にイントラ予測して生成された符号化信号の符号量に対する、前記入力された画像の直前に動き予測して生成された符号化信号の符号量の比を符号量比として検出する符号量比検出手段と、前記符号量比検出手段により検出された前記符号量比が所定の閾値よりも大きい場合には、前記モード群設定手段で設定された候補モード群の各予測モードで前記ブロック画像をイントラ予測し、イントラ予測して得られた各予測画像と前記ブロック画像との差分を各予測モードに対応させた予測誤差として求め、求められたそれらの予測誤差のうち最も小さな予測誤差を与える予測モードを前記イントラ予測する際の予測モードとして選択すると共に、前記探索範囲設定手段で設定された前記拡大範囲を前記動き予測する際に求める動ベクトルの探索範囲として選択する一方、前記符号量比検出手段により検出された前記符号量比が前記所定の閾値以下の場合には、前記複数の予測モードの全てで前記ブロック画像をイントラ予測し、イントラ予測して得られた各予測画像と前記ブロック画像との差分を各予測モードに対応させた予測誤差として求め、求められたそれらの予測誤差のうち最も小さな予測誤差を与える予測モードを前記イントラ予測する際の予測モードとして選択すると共に、前記探索範囲設定手段で選択された前記標準範囲を前記動き予測する際に求める動ベクトルの探索範囲として選択する選択手段と、前記選択手段により選択された予測モードを用いて前記ブロック画像をイントラ予測符号化してイントラ予測符号化信号を得るイントラ符号化手段と、前記選択手段により選択された探索範囲により求められた動ベクトルを用いて動き予測符号化して動き予測符号化信号を得る動き予測符号化手段と、前記イントラ符号化手段で得られたイントラ予測符号化信号と前記動き予測符号化手段で得られた動き予測符号化信号とをエントロピ符号化して前記符号化信号を生成するエントロピ符号化手段と、を備えることを特徴とする画像符号化装置を提供する。

本発明によれば、複数の予測モードのうち、予め選択された２つ以上の予測モードを第１候補モード群とし、第１候補モード群に他の予測モードを追加して第２候補モード群として設定するモード群設定手段と、入力される画像の画素数を検出し、画素数が所定数以内の場合は標準とし、所定数を越える場合は高精細とする動作を設定する動作設定手段と、動作設定手段により標準として設定される際に、モード群設定手段により設定される第１候補モード群の各予測モードでブロック画像をイントラ予測して得られる予測画像とブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に所定の閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に所定の閾値以下の予測誤差が存在しない場合には複数の予測モード全てに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択し、動作設定手段により高精細として設定される際に、モード群設定手段により設定される第１候補モード群の各予測モードでブロック画像をイントラ予測して得られる予測画像とブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に所定の閾値より大きな値である拡大閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に拡大閾値以下の予測誤差が存在しない場合には第２候補モード群の予測モードに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択するモード選択手段と、モード選択手段により選択された１つの予測モードを用いてブロック画像をイントラ予測符号化して符号化信号を得る符号化手段とを備える格別な構成があるので、予測モード数の絞込みを効果的に行い、符号化時の演算量を減らすなど低消費電力化を図り、且つ符号化能率の高い符号化を行うことの出来る画像符号化装置を実現できる。
また、複数の予測モードのうち、予め選択された２つ以上の予測モードを候補モード群として設定するモード群設定手段と、入力された画像を符号化及び復号化して得られ復号画像を参照画像とし、参照画像上でブロック画像のマッチング位置を探索して動ベクトルを求める際の探索範囲を標準範囲及び標準範囲よりも大きな拡大範囲として設定する探索範囲設定手段と、入力された画像の直前にイントラ予測して生成された符号化信号の符号量に対する、入力された画像の直前に動き予測して生成された符号化信号の符号量の比を符号量比として検出する符号量比検出手段と、符号量比検出手段により検出された符号量比が所定の閾値よりも大きい場合には、モード群設定手段で設定された候補モード群の各予測モードでブロック画像をイントラ予測し、イントラ予測して得られた各予測画像とブロック画像との差分を各予測モードに対応させた予測誤差として求め、求められたそれらの予測誤差のうち最も小さな予測誤差を与える予測モードをイントラ予測する際の予測モードとして選択すると共に、探索範囲設定手段で設定された拡大範囲を動き予測する際に求める動ベクトルの探索範囲として選択する一方、符号量比検出手段により検出された符号量比が所定の閾値以下の場合には、複数の予測モードの全てでブロック画像をイントラ予測し、イントラ予測して得られた各予測画像とブロック画像との差分を各予測モードに対応させた予測誤差として求め、求められたそれらの予測誤差のうち最も小さな予測誤差を与える予測モードをイントラ予測する際の予測モードとして選択すると共に、探索範囲設定手段で選択された標準範囲を動き予測する際に求める動ベクトルの探索範囲として選択する選択手段と、選択手段により選択された予測モードを用いてブロック画像をイントラ予測符号化してイントラ予測符号化信号を得るイントラ符号化手段と、選択手段により選択された探索範囲により求められた動ベクトルを用いて動き予測符号化して動き予測符号化信号を得る動き予測符号化手段と、イントラ符号化手段で得られたイントラ予測符号化信号と動き予測符号化手段で得られた動き予測符号化信号とをエントロピ符号化して符号化信号を生成するエントロピ符号化手段とを備える場合は予測モード数の絞込み及び動ベクトルの探索を効果的に行い、符号化時の演算量を減らすなど低消費電力化を図り、且つ符号化能率の高い符号化を行うことの出来る画像符号化装置を実現できる。

以下に本発明の実施例に係る画像符号化装置について図１〜図１０を用いて説明する。
図１は、本発明の実施に係る画像符号化装置の構成例を示すブロック図である。図２は、本発明の実施に係る画像符号化装置の要部の構成例（その１）を示す図である。図３は、本発明の実施に係る画像符号化装置の要部の構成例（その２）を示す図である。図４は、本発明の実施に係る画像符号化装置の動作をフローチャートで示した図である。図５は、１６×１６画素ブロックのイントラ予測の各モードを説明するための図である。図６は、４×４画素ブロックのイントラ予測の各モードを説明するための図である。図７は、本発明の実施に係るイントラ予測動作をフローチャートで示した図（その１）である。図８は、本発明の実施に係るイントラ予測動作をフローチャートで示した図（その２）である。図９は、本発明の実施に係るイントラ予測動作をフローチャートで示した図（その３）である。図１０は、本発明の実施に係るイントラ予測動作をフローチャートで示した図（その４）である。

その画像符号化装置は予測モード数の絞込みを効果的に行い、符号化時の演算量を減らすなど低消費電力化を図り、且つ符号化能率の高い符号化を行うことの出来る画像符号化装置を実現するという目的を、複数の予測モードのうち、予め選択された２つ以上の予測モードを第１候補モード群とし、第１候補モード群に他の予測モードを追加して第２候補モード群として設定するモード群設定手段と、入力される画像の画素数を検出し、画素数が所定数以内の場合は標準とし、所定数を越える場合は高精細とする動作を設定する動作設定手段と、動作設定手段により標準として設定される際に、モード群設定手段により設定される第１候補モード群の各予測モードでブロック画像をイントラ予測して得られる予測画像とブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に所定の閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に所定の閾値以下の予測誤差が存在しない場合には複数の予測モード全てに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択し、動作設定手段により高精細として設定される際に、モード群設定手段により設定される第１候補モード群の各予測モードでブロック画像をイントラ予測して得られる予測画像とブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に所定の閾値より大きな値である拡大閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に拡大閾値以下の予測誤差が存在しない場合には第２候補モード群の予測モードに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択するモード選択手段と、モード選択手段により選択された１つの予測モードを用いてブロック画像をイントラ予測符号化して符号化信号を得る符号化手段とを備えるようにして実現した。

画像符号化装置の構成について述べる。
図１に示す画像符号化装置１は、イントラ予測部１１、減算器１２、符号化制御部１３、変換部１４、量子化部１５、エントロピ符号化部１６、逆量子化部１７、逆変換部１８、加算器１９、ループフィルタ２１、フレームメモリ２２、動き補償部２３、動き検出部２４、及びスイッチ２５より構成される。符号化制御部１３はイントラ制御部１３ａ及びインター制御部１３ｂより構成される。
図２に示すイントラ制御部１３ａは、画素数検出器１３１、画素数判定器１３２、及びイントラ制御器１３３よりなる。イントラ予測部１１は、予測モード設定器１１１、イントラ予測実行器１１２、予測誤差演算器１１３、及び符号化データ取得器１１４より構成される。
図３に示すインター制御部１３ｂは、符号量取得器１３５、インター符号量記憶器１３６、イントラ符号量記憶器１３７、符号量比較器１３８、及び条件判定器１３９より構成される。動き検出部２４は、サーチ範囲設定器２４１、サーチ精度設定器２４２、及び動き検出実行器２４３より構成される。

画像符号化装置の動作について述べる。
まず、符号化制御部１３のイントラ制御部１３ａは、入力される画像信号が標準画像であるか又は高精細画像であるかを検出する。イントラ制御部１３ａは、入力画像信号が標準画像の場合に、イントラ予測部１１でなされるイントラ予測の演算精度を標準精度で行わせるための評価閾値を生成し、入力画像信号が高精細画像の場合は標準精度よりも大きな演算精度である評価閾値を生成する。イントラ予測部１１は、入力される画像信号を、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ符号化方式に従ったイントラ予測符号化を行う。符号化は、１６×１６画素に分割されたマクロブロック画像を４の予測モードに従って符号化する場合と、マクロブロックの画像を１６個の４×４画素ブロックに分割し、分割されたそれぞれのブロックに対して各９の予測モードに従って符号化する場合とがある。イントラ制御部１３ａは、それぞれの組合せにおける予測評価値を求め、その予測評価値を基に最も小さな予測評価値を与えるモードを用いて符号化した符号化信号を生成させる。最も小さな予測評価値を与えるモードを選択すれば、最も符号量の小さな符号化信号が得られる。

１６個の４×４画素のブロックに対して全てのモードの組合せでの予測評価値を得るためには演算量が大きくなり、消費電力も大きくなる。そこで、小さな予測評価値を与えるモードを予め予測するようにし、大きな予測評価値を与えるモードの予測評価値の演算を省く。即ち、ブロックを構成する画素間の相関性を調べ、画素間の相関が、水平方向、垂直方向、右下がり方向、乃至は右上がり方向のいずれかにあるかを判断し、それらの方向と似かよった方向を予測方向とし、予測モードの候補を選択する。選択された予測モードの候補に対して予測評価値を順に求める。さらには、小さな値の評価閾値を設定しておき、設定された評価閾値よりも小さな予測評価値が求められた場合には予測評価値の演算をそこで中止する。その予測評価値が得られるモードによりイントラ予測演算を行う。演算終了後、次のマクロブロック画像のイントラ予測演算を行う。

選択された予測モードの候補に評価閾値よりも小さな値の予測評価値が得られない場合は、最も小さな予測評価値が得られるモードによりマクロブロック画像のイントラ予測演算を行う。入力画像信号が高精細画像の場合は標準画像の場合に比し大きな値の評価閾値が生成される。従って、標準画像でのイントラ予測演算は小さな評価閾値よりも小さな予測評価値が得られた場合にのみ予測評価値を求める演算の中断がなされるのに比し、高精細画像でのイントラ予測演算は大きな評価閾値が設定され、その大きな閾値よりも小さな予測評価値が得られた場合に予測評価値を求める演算が中断される。標準画像の場合はより符号化歪を小さく保ったイントラ予測演算がなされるのに比し、高精細画像の場合は多少の符号化歪を含んでイントラ予測演算がなされるものの、画像全体の中での歪量は小さい。マクロブロック単位での演算時間を短縮できる。高精細画像の１フレームあたりのマクロブロック数は標準画像に比して５倍程度と多いため、高精細画像に対する演算時間の短縮は必須である。

画像符号化装置１でなされるイントラ予測符号化及びインター予測符号化についてさらに述べる。
まず、イントラ予測部１１でイントラ予測演算して得られたイントラ予測画像信号はスイッチ２５の端子ａ側を介して減算器１２に負入力信号として供給される。減算器１２は入力される入力画像信号からイントラ予測画像信号を減算して差分信号を得る。変換部１４は差信号をＤＣＴ（discrete cosine transform）変換し、係数信号を得る。量子化部１５は、定められた量子化幅で係数信号を量子化し、量子化信号を得る。エントロピ符号化部１６は量子化信号をエントロピ符号化し、得られる符号化信号を出力する。符号化制御部１３のイントラ制御部１３ａ及びインター制御部１３ｂは符号化信号の符号量を監視し、目標符号量より大きな符号量の符号化信号が得られる場合には、量子化部１５での量子化幅を大きくし、符号化信号の符号量を小さくする。符号化信号の符号量が目標符号量より小さい場合は、量子化幅を小さくするようにし、所定の符号量の符号化出力が得られるように制御する。

逆量子化部１７は、量子化部１５で生成された量子化信号を逆量子化して復号係数信号を得る。逆変換部１８は、復号係数信号を逆ＤＣＴ変換して復号差分信号を得る。加算器１９は復号差分信号とイントラ予測部１１で得られたイントラ予測画像信号とを加算して復号化画像を得る。フレームメモリ２２は、ループフィルタ２１で符号化歪が除去された復号化画像を記憶する。動き検出部２４は、入力される画像信号と１フレーム前に入力され符号化及び復号化がなされた復号化画像との間の動きベクトルを得る。得られた動きベクトルはエントロピ符号化部１６で符号化されて符号化信号出力と共に出力される。動き補償部２３ではフレームメモリ２２に記憶された復号化画像と動き補償部２３で得られた動きベクトルが用いられて動き補償画像（インター予測画像信号）が生成される。動き補償画像はスイッチ２５の端子ｂ側を介して減算器１２及び加算器１９に供給される。スイッチ２５は、イントラ予測符号化時には端子ａ側に接続され、インター予測符号化時には端子ｂ側に接続される。

画像符号化装置１では、イントラ予測符号化及びインター予測符号化がなされる。イントラ予測符号化のなされる画像をＩ（Intra-coded）ピクチャと呼ぶ。インター予測符号化のなされる画像は時間的に過去の画像を用いて動き予測がなされる画像をＰ（Predictive-coded）ピクチャと呼び、過去及び未来の双方向から予測して符号化する画像をＢ（Bidirectionally predictive-coded）ピクチャと呼ぶ。エントロピ符号化部１６からは、所定の規則に従って符号化されるピクチャがＩ、Ｐ、及びＢピクチャのどれであるかを示すヘッダと共に符号化信号が生成されて出力される。符号化制御部１３のインター制御部１３ｂは、Ｉ、Ｐ、及びＢピクチャそれぞれの符号化データの符号量を認識する。それらの符号量は、入力される画像の動き量が少なく静止画に近い場合や一様な動きの場合ではＩピクチャの符号量の割合が大きくなり、激しく複雑な動きを伴う画像の場合にはＰ、Ｂピクチャの符号量の割合が大きくなる。Ｉピクチャの符号量の割合が所定の閾値よりも大きな画像に対してはイントラ予測符号化の符号化精度を高める。例えば、イントラ符号化で小さな値の評価閾値を設定し、小さな予測評価値が得られるようにした符号化を行う。一方、Ｉピクチャの符号量の割合が所定の閾値よりも小さな画像、即ち、Ｐ、Ｂピクチャの符号量の割合が大きな入力画像に対しては、例えば動きベクトル演算におけるサーチ領域を拡大したり、動きベクトル量の精度を１ピクセル以下の細かさで求めるようにする。符号化する入力画像と動き補償に用いる予測画像との予測誤差が小さく保たれながら符号化が行われる。

次に、詳細に説明する。
図２に示すイントラ制御部１３ａの画素数検出器１３１は、入力される画像信号の画素数を検出する。即ち、１フレームを構成する画素数が例えば縦横７２０×４９０画素程度である標準画像か、又は１９２０×１０８０画素程度の高精細画像であるかを検出する。画素数判定器１３２は入力画像が標準画像或いは標準画像以下の画素数である場合は標準モードとして判定する。標準画像を超える画素数の画像の場合は高精細モードとしての判定信号を生成する。イントラ制御器１３３は標準モードの画像に対しては、標準の演算精度、又は標準よりも高い演算精度でイントラ予測演算を実行させるためのイントラ予測モードの候補を選択し、またイントラ予測して得られる予測画像と入力画像との差分値を評価するための評価閾値を小さな値に設定する。高精細モード時には演算速度を早くするため、標準よりも少ない数のイントラ予測モードの候補を選択すると共に、評価閾値は標準モードよりも大きな閾値を設定し、低い演算精度で処理速度の高いイントラ予測演算を実行させる。

イントラ予測部１１の予測モード設定器１１１は、イントラ制御器１３３に制御されイントラ予測を実行させるための予測モードを設定する。予測モードはブロック分割された入力画像の水平方向、垂直方向、右上方向、さらには右下方向などの方向で輝度レベルの相関の高い方向を検出する。イントラ制御器１３３で選択されたイントラ予測モードの候補の中から輝度レベルの相関の高い方向の予測モードを選択する、又は９個あるイントラ予測モードの中から制御器１３３で選択された候補の数に従った相関の高い方向からのイントラ予測モードを選択する。さらに、後述の条件判定器１３９からインター予測符号化時の符号量とイントラ予測符号化時の符号量の大小に係る情報がイントラ制御器１３３に入力され、生成された制御信号を基にインター予測に用いるイントラ予測モードの数を増減する。

イントラ予測実行器１１２は、設定されたイントラ予測モードに従って入力信号をイントラ予測符号化する。高精細モードの画像に対しては標準モードの予測モード数よりも少ない数の予測モードによりイントラ予測符号化を行う。予測誤差演算器１１３はイントラ予測実行器１１２でイントラ予測して得られた予測画像と入力画像とを比較し差分値を得る。差分値は両画像間の輝度レベル差として得られる。差分値の評価は差分値の絶対値を加算したり、平均２乗法により得た評価値により行う。符号化データ取得器１１４はイントラ予測実行器１１２でイントラ予測して得られた予測画像を順次一時記憶し、イントラ制御器１３３により指定された予測モードに係る予測画像を取得する。
予測画像演算は、１フレーム当たり多くのマクロブロックを有する高精細画像のイントラ予測演算を１フレーム期間内で終了させるように行う。高精細画像の場合は標準画像に比し画面中でのマクロブロックのサイズが相対的に小さいため、符号化歪は標準画像の歪に比し視覚的に認識されずらい。そして、高精細画像の場合は、標準画像に比して符号化時等における消費電力量も大きいため、符号化時に要する消費電力を小さく抑える必要がある。

図３を参照し、インター予測演算についてさらに述べる。
まず、インター制御部１３ｂの符号量取得器１３５は、図１に示したエントロピ符号化部１６から符号化されたＩ、Ｐ、及びＢピクチャの符号量情報を取得する。イントラ符号量記憶器１３７はＩピクチャの符号量を記憶し、インター符号量記憶器１３６はＰ及びＢピクチャの符号量を集計しながら記憶する。符号量比較器１３８は、例えばＧＯＰ（Group of Picture）ごとにイントラ符号化して得られた符号化出力の符号量Ｒｉと、インター符号化して得られた符号化出力をフレーム数で除して平均符号量Ｒｐを得る。Ｒｉに対するＲｐの比を符号量比として算出する。条件判定器１３９は所定の符号量比を閾値Ｔとし、符号量比が閾値Ｔよりも小さいとして判定された場合にはイントラ制御器１３３で設定される評価閾値を小さく調整させてイントラ予測符号化の演算精度を高くすると共に、動き検出部２４で動ベクトルを求めるためのサーチ範囲を設定するサーチ範囲設定器２４１に対して設定範囲を小さくさせ、サーチ精度を設定するサーチ精度設定器２４２に対してサーチ精度を大きくさせるための判定信号を出力する。動き検出実行器２４３はサーチ範囲設定器２４１により設定された大きな参照画像の領域範囲で、サーチ精度設定器２４２により設定された、例えば１ピクセルのサーチ精度により、入力画像信号の動ベクトルを求める。

条件判定器１３９で、符号量比が閾値Ｔよりも大きいとして判定された場合にはイントラ制御器１３３で設定される評価閾値を大きく調整させてイントラ予測符号化の演算精度を低くすると共に、動き検出部２４で動ベクトルを求めるためのサーチ範囲を設定するサーチ範囲設定器２４１に対して設定範囲を大きくさせ、サーチ精度を設定するサーチ精度設定器２４２に対してサーチ精度を、例えば１／２ピクセル、１／４ピクセルとするなど精度の高い動ベクトルを得るための判定信号を出力する。
ここで、閾値Ｔの値は、例えば０．６に設定される。即ち、符号量制御との関係で、Ｉピクチャに比しＰピクチャにより多くの符号量を割り当てたい場合では閾値Ｔの値を大きくし、逆の場合は閾値Ｔの値を小さくする。通常の符号化ではＩピクチャとＰピクチャの符号量の比は例えば２：１程度で行われる。そして、高周波数成分が多く、動きが一様な入力画像に対して符号化効率を高くして符号化したい場合には閾値Ｔの値を小さく設定し、高周波数成分は少ないが、動きが複雑な画像に対する符号化効率を高くしたい場合には閾値Ｔの値を大きく設定する。閾値Ｔの設定は操作ボタンにより設定する方法や、入力画像の性質を検出して適応的に設定する方法がある。

図４を参照し、画像符号化装置１の処理の流れを説明する。
まず、Ｓ（ステップ）５１において、例えば１ＧＯＰの入力画像を符号化する。Ｓ５２で符号化して得られるＩ、Ｐ、及びＢピクチャの符号量を取得する。Ｓ５３で、イントラ予測符号化に係るＩピクチャの符号量Ｒｉと、インター予測符号化に係るＰ、Ｂピクチャの平均符号量Ｒｐとから符号量比を求める。符号量比が閾値Ｔより小さいとして検出された場合にはＳ５４でイントラ符号化用の評価閾値を標準的な値であるＴ₄の値を、Ｔ₄よりも小さな値であるＴ_4Sに変更して設定する。Ｓ５５では動ベクトルを求めるための参照画像上でのサーチ範囲を小さくし、動ベクトルの精度を大きな値に設定する。
Ｓ５３で求められた、符号量比が閾値Ｔより小さくないとして検出された場合にはＳ５６でイントラ符号化用の評価閾値は標準的な値であるＴ₄の値を、標準値よりも大きな値であるＴ_4Lに変更、設定する。Ｓ５７では動ベクトルを求めるための参照画像上でのサーチ範囲を標準よりも大きな範囲に設定し、動ベクトルの精度を標準の値若しくは標準より小さな値に変更、設定する。Ｓ５８で入力画像がないとして検出されるまでＳ５１からの処理を繰り返す。

図５を参照し、マクロブロックのイントラ予測について説明する。
同図のモード０として示す１６×１６画素のマクロブロックのイントラ予測は、マクロブロックの上側に隣接され、網点が付して示される１６個の画素を参照して垂直方向に予測して符号化を行う場合の符号化モードである。モード１はマクロブロックの左側に隣接される１６個の画素を参照して水平方向に予測して符号化を行う場合の符号化モードである。モード２は、マクロブロックの上側及び左側に隣接される３２個の画素の輝度レベル平均値を参照して予測を行う場合の符号化モードである。モード３は、マクロブロックの上側及び左側に隣接される３２個の画素を参照して左上斜め方向に予測して符号化を行う場合の符号化モードである。

マクロブロックの符号化は、上記の４つの予測モードで符号化した場合のそれぞれについてマクロブロックの予測値を求め、次に求められた予測値と元の画像との差分値を予測誤差として求める。予測誤差値からそれぞれの予測評価値を求める。求められた４つの予測評価値のうち最も小さな値を与えるモードの予測評価値と、予め定めてあるマクロブロック符号化用閾値Ｔ₁₆とを比較し、マクロブロック符号化用閾値Ｔ₁₆よりも小さな予測評価値を与える予測モードが存在する場合には、その予測モードによりマクロブロックの符号化を行う。マクロブロック符号化用閾値Ｔ₁₆よりも小さな予測評価値を与えるモードが存在しない場合には、マクロブロックを４×４画素ごとに分割した１６個のブロック画像に対するイントラ予測符号化を行う。

図６を参照してブロック画像のイントラ予測符号化について述べる。
同図に示すモード０は、４×４画素のブロックの上側に隣接する画素Ａ〜Ｄから垂直方向に予測して符号化を行う。モード１はブロックの左側に隣接するＩ〜Ｌの画素から水平方向に予測して符号化を行う。モード２は、画素Ａ〜Ｄ及び画素Ｉ〜Ｌの輝度レベルの平均値を用いて予測符号化を行う。モード３はブロックの上側に隣接するＢ〜Ｄの画素、及びそれらの右にあるＥ〜Ｈの画素を用いて左下方向に予測を行う。モード４はＡ〜Ｃ、Ｍ、及びＩ〜Ｋの画素から右下方向に予測を行う。モード５はＡ〜Ｄ、Ｍ、及びＩ〜Ｋの画素から矢印で示す右下方向よりもさらに垂直方向に予測を行う。同様にして、モード６、７、及び８の予測方向が設定されている。４×４画素のブロックの予測モードには合計９の予測モードがある。
マクロブロックは縦４、横４の合計１６のブロックがあり、それらのブロックごとにそれぞれモード０〜８のイントラ予測処理を行う。それらの予測処理で最も小さな予測評価値の得られるモードでの予測評価値をブロック毎に集計し、４×４画素のブロックでイントラ符号化した場合の予測評価値が求められる。

図７を参照し、イントラ予測符号化の処理について述べる。
まず、Ｓ６１において１６×１６画素で構成されるマクロブロックについて、図５で示した４つの予測モードにより予測評価値を求め、４つの予測評価値のうち最も小さな値である予測評価値を最小予測評価値として求める。Ｓ６２で、最小予測評価値はマクロブロック符号化用閾値Ｔ₁₆よりも小さいか否かが検出される。閾値Ｔ₁₆よりも小さな予測モードが存在する場合には、Ｓ６４でその予測値を与えるモードによりマクロブロックのイントラ予測符号化を行う。Ｓ６２で閾値Ｔ₁₆よりも小さな予測モードが存在しないとして検出される場合には、Ｓ７０で図６に示した４×４画素のブロックの予測モードによるイントラ予測処理を行う。Ｓ６３で、１６個のブロックそれぞれの予測評価値が合計された合計予測評価値と、Ｓ６１で求められた最小予測評価値とが比較される。最小予測評価値の方が小さい場合は、Ｓ６４でその予測値を与えるモードをイントラ予測符号化に用いるモードとして選択する。最小予測評価値の方が大きい場合は、Ｓ６５で、４×４画素のブロックごとにイントラ予測符号化を行うものとし、１６個のそれぞれのブロックで最小の予測評価値を与える予測モードを選択する。

図８〜図１０を参照し、４×４画素（ブロック）のイントラ予測処理について述べる。なお、同一処理については同一符号を付してある。
図８（Ａ）に示す、４×４画素のイントラ予測処理（Ａ）のフローは、９つある予測モードのうち、モード０〜２の３つのモードのみを用いて予測処理を行う例である。即ち、Ｓ７１でモード０〜２について予測評価値を求める。Ｓ７２で、それらの予測評価値の中で最小の予測評価値を与えるモードを予測モードとして選択する。
図８（Ｂ）に示す、４×４画素のイントラ予測処理（Ｂ）のフローは、９つある予測モードのうち、モード０〜４の５つのモードのみを用いて予測処理を行う例である。Ｓ７３においてモード０〜４について予測評価値を求める。Ｓ７２で、それらの予測評価値の中で最小の予測評価値を与えるモードを予測モードとして選択する。

図９に示す、４×４画素のイントラ予測処理（Ｃ）のフローは、９つある予測モードの全てを用いて予測処理を行う例である。即ち、Ｓ７１においてモード０〜２について予測評価値を求める。Ｓ７４で、３つのモードのみを用いてイントラ予測して得られた予測評価値の中で最も小さな値を与える予測評価値は標準的な閾値である評価閾値Ｔ₄よりも小さいかを検出する。評価閾値Ｔ₄よりも小さいとして検出される場合はＳ７２で、それらの予測評価値の中で最小の予測評価値を与えるモードを予測モードとして選択する。Ｓ７４で、小さくないとして検出された場合は、Ｓ７５でモード３、４について予測評価値を求める。Ｓ７４で、得られた予測評価値の中で小さな値を与える予測評価値は評価閾値Ｔ₄よりも小さいかを検出する。評価閾値Ｔ₄より小さいとして検出される場合はＳ７２へ進み、モード０〜４で得られた予測評価値の中で最も小さな予測評価値を与えるモードを選択する。Ｓ７４で、小さくないとして検出された場合はＳ７６でモード５〜８について予測評価値を求める。その後、Ｓ７２では、モード０〜８で得られた予測評価値の中で最も小さな予測評価値を与えるモードを選択する。
ここでは、モード０〜８の予測モードが全ての予測モードである場合の例について述べた。即ち、Ｓ７１に示すモード０〜２の予測モードは第１候補のモード群であり、第１候補のモード群にＳ７５に示すモード３、４の予測モードが追加されて第２候補のモード群が形成される。第１候補のモード群は１つ以上の予測モードからなり、第１候補のモード群に１つ以上の予測モードが追加されて第２候補のモード群が形成される。全モードの数は３以上の任意の数であって良く、上記と同様にイントラ予測動作をさせることができる。

図１０に示す、４×４画素のイントラ予測処理（Ｄ）は、９つある予測モードの全てを用い、且つフィールド符号化を行うか否かを検出しながら予測処理を行う例である。
Ｓ７１においてモード０〜２について予測評価値を求める。Ｓ７４で、得られた予測評価値の中で最も小さな値の予測評価値は評価閾値Ｔ₄よりも小さいかを検出する。評価閾値Ｔ₄よりも小さいとして検出される場合はＳ７２で、最小の予測評価値を与えるモードを予測モードとして選択する。Ｓ７４で、小さくないとして検出された場合は、Ｓ７７でフィールド符号化を行うか否かを検出する。フィールド符号化を行うとして検出される場合はＳ７８でモード６、８について予測評価値を求める。Ｓ７４で、得られた予測評価値の中で最も小さな値の予測評価値は評価閾値Ｔ₄よりも小さいかを検出する。小さいとして検出される場合はＳ７２に進み、小さくないとして検出される場合はＳ７５でモード３、４について予測評価値を求める。Ｓ７４で、得られた予測評価値の中で最も小さな値の予測評価値は評価閾値Ｔ₄よりも小さいかを検出する。小さい場合はＳ７２に進み、小さくない場合はＳ７９でモード５、７について予測評価値を求める。

Ｓ７７でフィールド符号化をしないとして検出された場合はＳ７５でモード３、４について予測評価値を求める。Ｓ７４で、得られた予測評価値の中で小さな値を与える予測評価値は評価閾値Ｔ₄よりも小さいかを検出する。評価閾値Ｔ₄よりも小さいとして検出される場合はＳ７２へ進み、小さくないとして検出された場合はＳ７６でモード５〜８について予測評価値を求める。
Ｓ７２では、予測評価値の得られている全てのモードの中で最も小さな予測評価値を与えるモードを選択する。最も小さな予測評価値が得られるモードによりイントラ符号化を行う。全てのモードに対して符号化を行い、最も小さな符号量を与えるモードの符号化結果を用いてイントラ符号化するのに比し、予測評価値を求めながら行う符号化は、演算量を、例えば１／２にできるなど符号化演算の速度を高めることが出来る。全モードの予測評価値を求めながら行うイントラ符号化に比し、同程度の遜色のない符号量の符号化出力が得られる。

ここで、評価閾値Ｔ₄の値は、入力される画像の精細度に応じて変更される一方、前述述の図４で述べたようにイントラ符号化により得られた符号化出力のデータ量と、インター符号化して得られる符号化出力のデータ量との符号量比の大小関係によっても変更される。符号化効率の高いイントラ符号化を行う必要がある場合は評価閾値Ｔ₄の値より小さな評価閾値であるＴ_4Sとし、符号化効率よりも演算速度の短縮を行う必要がある場合は評価閾値Ｔ₄の値より大きな評価閾値であるＴ_4Lとして設定することにより符号化効率及び符号化時の演算量を選定しながらイントラ符号化を実行させることが出来る。そして、画像符号化装置が携帯型でありバッテリ駆動されている場合には、バッテリ残量を検出し、バッテリ残量が少なくなった場合は評価閾値Ｔ₄の値をＴ_4Lに、更にはＴ_4Lより大きな値であるＴ_4LLに変更する。同様にして記録媒体の残量を検出しつつ評価閾値Ｔ₄の値を変更する。媒体残量が少なくなった場合は評価閾値Ｔ₄の値をＴ_4Sに、更にはＴ_4Sより小さな値のＴ_4SSに変更する。

以上のように、本実施例で示した画像符号化装置によれば、予め用意されている複数の予測モードから１つの予測モードを選択し、選択された予測モードでブロック画像をイントラ予測符号化する符号化手段（１１２）と、ブロック画像を任意の予測モードでイントラ予測したときに得られる予測画像とブロック画像との差分を任意の予測モードと対応させた予測誤差として検出する予測誤差検出手段（１１３）と、入力画像の画素数を検出し、画素数が所定数以内の場合は標準動作とし、画素数が所定数を越える場合は高精細動作とする動作方法を設定する動作設定手段（１３２）と、複数の予測モードのうち、予め選択された１つ以上の予測モードを第１候補モード群とし、第１候補モード群に複数の予測モード中の他の１つ以上の予測モードを追加して第２候補モード群として設定するモード群設定手段（１１１）と、動作設定手段により標準動作として設定される際に、ブロック画像をモード群設定手段により設定される第１候補モード群の予測モードのそれぞれでの予測誤差を予測誤差検出手段により検出し、検出されたそれぞれの予測誤差に所定の閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つの予測モードとして選択する一方、検出されたそれぞれの予測誤差に所定の閾値以下の予測誤差を与える予測モードが存在しない場合は予め用意されている複数の予測モード全てに対応する予測誤差を予測誤差検出手段で検出し、検出された予測誤差の中で最も小さな予測誤差を与える予測モードを１つの予測モードとして選択し、動作設定手段により高精細動作として設定される際に、ブロック画像をモード群設定手段により設定される第１候補モード群の予測モードのそれぞれでの予測誤差を予測誤差検出手段により検出し、検出されたそれぞれの予測誤差に所定の閾値より大きな拡大閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つの予測モードとして選択する一方、検出されたそれぞれの予測誤差に拡大閾値以下の予測誤差を与える予測モードが存在しない場合はモード群設定手段により設定された第２候補モード群の予測モードのそれぞれでの予測誤差を予測誤差検出手段により検出し、検出された予測誤差の中で最も小さな予測誤差を与える予測モードを１つの予測モードとして選択してイントラ予測符号化を行わせるように符号化手段を制御する符号化制御手段（１３３）とを備えるので、予測モード数の絞込みを効果的に行い、符号化時の演算量を減らすなど低消費電力化を図り、且つ符号化能率の高い符号化を可能とする画像符号化装置を実現できる。

本発明の実施に係る画像符号化装置の構成例を示すブロック図である。 本発明の実施に係る画像符号化装置の要部の構成例（その１）を示す図である。 本発明の実施に係る画像符号化装置の要部の構成例（その２）を示す図である。 本発明の実施に係る画像符号化装置の動作をフローチャートで示した図である。 １６×１６画素ブロックのイントラ予測の各モードを説明するための図である。 ４×４画素ブロックのイントラ予測の各モードを説明するための図である。 本発明の実施に係るイントラ予測動作をフローチャートで示した図（その１）である。 本発明の実施に係るイントラ予測動作をフローチャートで示した図（その２）である。 本発明の実施に係るイントラ予測動作をフローチャートで示した図（その３）である。 本発明の実施に係るイントラ予測動作をフローチャートで示した図（その４）である。

符号の説明

１ 画像符号化装置
１１ イントラ予測部
１２ 減算器
１３ 符号化制御部
１３ａ イントラ制御部
１３ｂ インター制御部
１４ 変換部
１５ 量子化部
１６ ントロピ符号化部
１７ 逆量子化部
１８ 逆変換部
１９ 加算器
２１ ループフィルタ
２２ フレームメモリ
２３ 動き補償部
２４ 動き検出部
２５ スイッチ
１１１ 予測モード設定器
１１２ イントラ予測実行器
１１３ 予測誤差演算器
１１４ 符号化データ取得器
１３１ 画素数検出器
１３２ 画素数判定器
１３３ イントラ制御器
１３５ 符号量取得器
１３６ インター符号量記憶器
１３７ イントラ符号量記憶器
１３８ 符号量比較器
１３９ 条件判定器
２４１ サーチ範囲設定器
２４２ サーチ精度設定器
２４３ 動き検出実行器

Claims (2)

1. 入力される画像を縦横所定の画素数ごとに分割し、分割して得られたブロック画像を順次イントラ予測しながら符号化する画像符号化装置において、
   複数の予測モードのうち、予め選択された２つ以上の予測モードを第１候補モード群とし、前記第１候補モード群に他の予測モードを追加して第２候補モード群として設定するモード群設定手段と、
   前記入力される画像の画素数を検出し、画素数が所定数以内の場合は標準とし、前記所定数を越える場合は高精細とする動作を設定する動作設定手段と、
   前記動作設定手段により前記標準として設定される際に、前記モード群設定手段により設定される前記第１候補モード群の各予測モードで前記ブロック画像をイントラ予測して得られる予測画像と前記ブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に所定の閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に前記所定の閾値以下の予測誤差が存在しない場合には前記複数の予測モード全てに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択し、
   前記動作設定手段により前記高精細として設定される際に、前記モード群設定手段により設定される前記第１候補モード群の各予測モードで前記ブロック画像をイントラ予測して得られる予測画像と前記ブロック画像との差分である予測誤差を各予測モードに対応させた予測誤差として求め、求められたそれぞれの予測誤差に前記所定の閾値より大きな値である拡大閾値以下の予測誤差が存在する場合は当該予測誤差を与える予測モードを１つ選択する一方、求められたそれぞれの予測誤差に前記拡大閾値以下の予測誤差が存在しない場合には前記第２候補モード群の予測モードに対応するそれぞれの予測誤差を求め、求められたそれぞれの予測誤差の中で最も小さな予測誤差を与える予測モードを１つ選択するモード選択手段と、
   前記モード選択手段により選択された１つの予測モードを用いて前記ブロック画像をイントラ予測符号化して符号化信号を得る符号化手段と、
   を備えることを特徴とする画像符号化装置。
2. 入力される画像を縦横所定の画素数ごとに分割し、分割して得られたブロック画像を予め定められた規則に従って順次イントラ予測及び動き予測しながら符号化して符号化信号を生成する画像符号化装置において、
   複数の予測モードのうち、予め選択された２つ以上の予測モードを候補モード群として設定するモード群設定手段と、
   入力された画像を符号化及び復号化して得られ復号画像を参照画像とし、前記参照画像上で前記ブロック画像のマッチング位置を探索して動ベクトルを求める際の探索範囲を標準範囲及び前記標準範囲よりも大きな拡大範囲として設定する探索範囲設定手段と、
   前記入力された画像の直前にイントラ予測して生成された符号化信号の符号量に対する、前記入力された画像の直前に動き予測して生成された符号化信号の符号量の比を符号量比として検出する符号量比検出手段と、
   前記符号量比検出手段により検出された前記符号量比が所定の閾値よりも大きい場合には、前記モード群設定手段で設定された候補モード群の各予測モードで前記ブロック画像をイントラ予測し、イントラ予測して得られた各予測画像と前記ブロック画像との差分を各予測モードに対応させた予測誤差として求め、求められたそれらの予測誤差のうち最も小さな予測誤差を与える予測モードを前記イントラ予測する際の予測モードとして選択すると共に、前記探索範囲設定手段で設定された前記拡大範囲を前記動き予測する際に求める動ベクトルの探索範囲として選択する一方、
   前記符号量比検出手段により検出された前記符号量比が前記所定の閾値以下の場合には、前記複数の予測モードの全てで前記ブロック画像をイントラ予測し、イントラ予測して得られた各予測画像と前記ブロック画像との差分を各予測モードに対応させた予測誤差として求め、求められたそれらの予測誤差のうち最も小さな予測誤差を与える予測モードを前記イントラ予測する際の予測モードとして選択すると共に、前記探索範囲設定手段で選択された前記標準範囲を前記動き予測する際に求める動ベクトルの探索範囲として選択する選択手段と、
   前記選択手段により選択された予測モードを用いて前記ブロック画像をイントラ予測符号化してイントラ予測符号化信号を得るイントラ符号化手段と、
   前記選択手段により選択された探索範囲により求められた動ベクトルを用いて動き予測符号化して動き予測符号化信号を得る動き予測符号化手段と、
   前記イントラ符号化手段で得られたイントラ予測符号化信号と前記動き予測符号化手段で得られた動き予測符号化信号とをエントロピ符号化して前記符号化信号を生成するエントロピ符号化手段と、
   を備えることを特徴とする画像符号化装置。

Images