JP5421727B2

JP5421727B2 - 画像処理装置およびその制御方法

Info

Publication number: JP5421727B2
Application number: JP2009241883A
Authority: JP
Inventors: 健司杉原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-20
Filing date: 2009-10-20
Publication date: 2014-02-19
Anticipated expiration: 2029-10-20
Also published as: US8873869B2; CN102045566B; CN102045566A; JP2011091510A; US20110091107A1

Description

本発明は画像中から被写体を自動的に検出し検出した領域の相対的な重要度に従い適応的に符号量を割り当てる画像処理装置に関する。

従来、画像のデータサイズを圧縮するための画像符号化が使われており、静止画の符号化方式としてＩＳＯ（国際標準化機構）により標準化されたＪＰＥＧ方式が広く用いられている。また、動画の符号化方式としてＩＳＯにより標準化されたＭＰＥＧやＨ．２６４等の方式が広く用いられている。

これまでの事実として、こうした符号化方式で非可逆の圧縮を用いた場合には、周波数成分が高い領域ほど情報量が落とされることによって画質の劣化が生じる。そして、特許文献１に示されるように、撮影された画像内の重要な領域（人物の顔や人体等）において、できる限りこのような画像劣化を低減させることが開示されている。つまりここでは、画像から特定の被写体パターンを自動的に検出する認識処理と呼ばれる画像処理方法を用いることが提案されている。このような画像から顔を検出する技術については、例えば、非特許文献１にテンプレートを用いたパターンマッチングの検出方式が挙げられている。

特開２０００−１９７０５０号公報

IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002に"Detecting Faces in Images: A Survey"Yang, et al. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998に"Neural network-based face detection"Rowley, et al.

しかしながら、特許文献１で示される方式は、単純に画像内の顔検出を行い、その検出領域のそれぞれに多くの符号量を割り当てていた。そのため符号化データサイズは大幅に増加していた。近年増加傾向にあるネットワークカメラを用いたモニタリング等の利用を想定すると、通信負荷を考慮する必要性が増加している。つまり、画像データの非可逆圧縮処理において、できる限り符号化データサイズを抑えることが求められている。

本発明は、以上述べた課題を解決するため、画像データの認識対象に対して、符号量を割り当てる領域を選択することで、符号化データサイズの抑制可能な画像処理装置を提供することを目的とする。

本発明の画像処理装置は、画像データの圧縮処理を行なう画像処理装置であって、
入力された画像データから認識対象物領域を抽出する領域抽出手段と、
前記画像データから抽出された認識対象物領域のうち画質劣化を低減すべき認識対象物領域を、該認識対象物領域または該認識対象物領域の周囲領域の輝度情報、色情報、またはエッジ情報を用いて判断し、該判断された認識対象物領域を、重要領域として選択する重要領域選択手段と、
前記入力された画像データのうち、前記重要領域として選択された前記認識対象物領域以外の画像データを第１量子化ステップにより圧縮符号化し、
前記重要領域として選択された前記認識対象物領域の画像データを、前記第１量子化ステップより小さい第２量子化ステップにより圧縮符号化する符号化手段と
を備えることを特徴とする。

以上の構成をとることで、画像データの認識対象に対して、符号量を割り当てる領域を選択することで、符号化データサイズの抑制可能な画像処理装置を提供することが可能となる。

画像処理装置の構成を示すブロック図である。通常の撮影環境における顔検出処理例示す図である。撮影された画像の中で顔領域が検出された例を示す図である。検出された顔領域を表す矩形の４点の位置座標を示す図である。画像から顔パターンの探索及びその顔領域の領域サイズの抽出を行う方法を示す図。符号量制御処理及び符号化処理のフローチャートである。重要領域判定部の出力結果を例示する図である。検出された重要領域に対する符号化対象ブロック位置を示す図である。顔領域における輝度情報を抽出するための解析領域を示す図である。 Sobelによるエッジ検出方法を示す図である。複数の領域判定条件から重要度が決定された例を示す図である。

＜実施形態１＞
図１は、実施形態１における画像処理装置の構成を示すブロック図である。図１において、撮像部１０１は、レンズや撮像素子を含み映像を撮影する。画像信号処理部１０２は、ガンマ変換、色空間変換、ラスターブロック変換など一連の画像信号処理を実行する。そして、認識処理部１０３は、一連の画像処理が施された入力画像から被写体の認識処理を行う。さらに、領域解析部１０４は、検出された顔領域及び顔領域周辺の解析領域について特徴量を解析する。

重要領域選択部１０５は、特徴量を解析しその特徴量から画像内における重要領域を重要領域として選択する。また、符号化処理制御部１０６は、重要領域選択部１０５で選択された重要領域の特徴量から符号化処理部１０７によって符号化処理を行う際に設定される各種パラメータ値の設定を行う。符号化処理部１０７は、符号化処理制御部１０６によって設定されたパラメータ値に従い圧縮符号化処理を実行する。符号化データ記憶部１０８は、磁気テープやメモリカードなどの記録媒体へ圧縮符号化データ（以下「符号化データという）を記録する。

本実施形態において認識処理部１０３は、撮影対象として重要度が一般的に高いと判断される人物の顔領域の領域抽出を行い、顔の認識処理を行う。また領域解析部１０４は、認識処理部１０３において抽出された顔領域の領域サイズに注目し、画質劣化を低減するために比較的小さい顔領域を選択して、その領域に対して符号量を割り当てる。符号化処理制御部１０６及び符号化処理部１０７については、ＪＰＥＧ圧縮方式による圧縮処理を例に用いて説明する。

まず始めに、認識処理部１０３が行う顔検出処理方法について説明する。顔領域の検出処理は、例えば非特許文献２で提案されている方式、つまりニューラル・ネットワークを用いた画像中の顔パターン検出によって実行できる。以下、この顔検出の方法について簡単に説明する。

まず、顔検出を対象とする画像データがメモリに読み込まれる。そして読み込まれた画像中から、顔と照合する所定の領域が切り出される。切り出された領域の画素値の分布を入力とし、ニューラル・ネットワークによる演算がおこなわれることで、一つの出力が得られる。このとき、膨大な顔画像パターンと非顔画像パターンにより、ニューラル・ネットワークの重みと閾値があらかじめ学習されている。例えば、閾値を設定することで、ニューラル・ネットワークの出力は、０以上なら顔、それ以外は非顔であると判別される。

また、ニューラル・ネットワークの入力である顔と照合するための画像パターン５０２の切り出し位置を、例えば、図５に示すように画像全域５０１から縦横に順次走査していく。この走査により、画像中から顔を検出することができる。走査中に、顔判別手段５０３が、走査領域に顔が存在するか、どうかを判別する。さらに、様々な大きさの顔の検出に対応するため、図５に示すように読み込んだ画像を所定の割合で順次画像自体を縮小し、その縮小された画像に対して前述の顔検出の走査を行う。これによって、様々な大きさの顔に対して顔検出処理が実行できる。

次に、図１の構成を有する画像処理装置において、画像が撮影された場合に、撮影された画像データが認識処理された後、符号化データとして記録されるまでの流れについて、図１、図２、図３および図４を参照して説明する。

図２は、通常環境下で撮影した、人物２０１と人物２０２を示す。人物２０２は遠方に位置し、人物２０１は近くに位置する。従って、人物２０２の顔領域のサイズは、人物２０１の顔領域サイズに比べて小さい。図３は、図２の入力画像データに対して、図５に示した顔検出方法を用い、認識処理部１０３が行った処理結果を示す。ここでは、検出された顔領域、すなわち認識対象物領域がそれぞれ四角の点線枠で囲われている。

認識対象物領域である領域３０１は、画像内において顔の領域が相対的に大きいものの領域を示しており、顔領域３０２は画像内において相対的に顔の領域が小さいものの領域を示している。図４は、図３の画像データに対して認識処理部１０３で顔領域の位置情報を抽出した結果を示している。

本実施形態では、撮像部１０１より入力された画像データには、画像信号処理部１０２においてガンマ変換、色空間変換、ラスターブロック変換など一連の画像信号処理が施される。そして一連の画像処理が施された画像に対して、認識処理部１０３は、図５の認識処理方法を用いて顔領域を検出する。顔検出処理における出力結果として、例えば図４に示す認識対象物領域である顔領域を含む四角形の４点の位置を表す位置座標を出力する。

次に、本実施形態において利用される複数の領域の意味について定義する。この実施形態において、領域と呼ばれるものには、顔の検出領域（認識対象物領域）と、解析領域と、符号量を割り当てる領域とが存在する。顔の検出領域は、認識処理部１０３において人物の顔を検出した矩形の領域を指している。また解析領域は、認識対象物領域周辺の特徴量を抽出する周辺の領域を指し、顔の検出領域に応じて決定することが可能な領域である。なお、特徴量によっては、顔の検出領域と解析領域とは同じ領域となる場合がある。符号量を割り当てる領域は、符号化処理部１０７において実際に符号量を割り当てる、例えば顔の検出領域、に対して符号化処理を行うとき、顔領域を含む符号化処理のブロック単位の領域である。これら３つの領域の定義を基に、以下に本実施形態を説明する。

領域解析部１０４は、認識処理部１０３で出力された顔領域サイズの解析を行う。この際の顔領域サイズの解析方法について図４を用いて説明する。図４に示すように、認識処理部１０３は、顔領域を検出すると共に、顔領域を含む四角形の４点の位置座標を出力する。領域解析部１０４は、認識処理部１０３で出力された位置情報から、領域サイズを算出する。以下に例として、図４の３０１における領域サイズを示す式（１）を示す。

Ｓ_１＝｜Ｘ１−Ｘ２｜×｜Ｙ１−Ｙ３｜（１）
Ｓ_１は３０１の領域サイズを表す変数である。式（１）では、位置座標から水平方向の距離と垂直方向の距離を算出し、その値を用いて領域サイズを算出する。なお、今回は水平垂直な矩形の場合として水平距離と垂直距離を求めて面積を算出した。しかし対象となる領域が矩形でない場合には、面積は、領域サイズを示す情報から領域内の画素数により求めても良い。

次に、重要領域選択部１０５は、領域解析部１０４で解析された複数の顔領域についての領域サイズを用いて、画像内における重要領域の選択を行う。本実施形態では、領域サイズ（面積）を重要領域として選択するために、領域サイズの閾値と比較する。この閾値は、任意の値を予め定めておけばよい。そして、解析された領域サイズは、この領域サイズ閾値と比較され、領域サイズが、所定の領域サイズ以下であれば重要領域として選択され、そうでなければ通常の領域として選択される。したがって図１の重要領域選択部１０５は、領域解析部１０４で解析された３０１及び３０２の領域サイズを予め設定された領域サイズ閾値（ＴＨ_１）と比較する。本実施形態では、領域３０２の領域サイズが（ＴＨ_１）より小さいことから重要領域として選択されたと仮定する。この処理の結果、重要領域選択部１０５は、重要領域として選択された顔領域の位置座標を出力する。

次に、符号化処理制御部１０６は、重要領域選択部１０５における重要領域の選択結果から、符号化処理部１０７を制御して符号量制御を行う。この場合の、符号化処理制御部１０６と符号化処理部１０７とで実施される符号化処理及び符号量制御方法については、図６のフローチャートを用いて説明する。

ステップＳ１０１：始めに符号化処理部１０７は、ＲＧＢで構成された入力画像データに対してＹＵＶ変換処理を行う。ＹＵＶ変換のための変換式を以下に示す。

Ｙ = ０．２９９０Ｒ＋０．５８７０Ｇ＋０．１１４０Ｂ
Ｕ = −０．１６８４Ｒ −０．３３１６Ｇ＋０．５０００Ｂ
Ｖ = ０．５０００Ｒ− ０．４１８７Ｇ −０．０８１３Ｂ
ステップＳ１０２：次に、符号化処理部１０７は、変換されたＹＵＶデータの内、色成分であるＵＶに対して、符号化処理制御部１０６により設定されたサンプリング方法によりサンプリング処理を行う。実施形態１では、ＵＶデータを水平方向に１／２に間引く方式でサンプリング処理が実施されたとする。

ステップＳ１０３：符号化処理部１０７は、離散コサイン変換による直交変換処理を行う。例えばＪＰＥＧ方式では、通常図４の領域４０３で示すＭＣＵ（Minimum Coded Unit）と呼ばれる、８×８画素のブロック単位で直交変換処理を行う。

ステップＳ１０４：次に符号化処理制御部１０６は、始めに重要領域選択部１０５の出力結果から、重要領域を含んだ符号量を割り当てる符号化対象ブロックを決定する。本実施形態においては、ＭＣＵ単位で符号化処理が行われるため、重要領域である顔領域３０２を含んだ図８の符号化対象ブロック８０１が、符号量を割り当てる符号化対象ブロックと仮定する。そして、符号化処理制御部１０６は、各処理対象符号化対象ブロック（ＭＣＵ）に対して、符号量を割り当てる符号化対象ブロックに含まれるブロックか否かを判定する。

ステップＳ１０５：符号量を割り当てる符号化対象ブロック内に含まれる符号化対象ブロック８０１であると判定された場合、符号化処理制御部１０６は、その符号化対象ブロックに対して相対的に符号量を増加させた、つまり相対的にステップ小さい第２量子化ステップを用いる。相対的に符号量を増加させるために、予め設定された量子化ステップ値を小さく設定するための重要領域用量子化テーブルを選択する。

ステップＳ１０６：Ｓ１０４で符号量を割り当てる符号化対象ブロック内に含まれるブロックでないと判定された場合、つまり顔の認識対象物領域以外の領域は、予め設定されている通常領域用の第１量子化ステップのための量子化テーブルを選択する。

ステップＳ１０７：次に、ステップＳ１０５またはステップＳ１０６で設定された量子化テーブルを用いた量子化行列で除算し、情報量を削減する量子化処理を行う。本実施形態において、符号化処理制御部１０６は解析された重要領域に該当する符号化対象ブロックであるかどうかの情報と、その符号化対象ブロックを量子化する際の量子化テーブル情報を符号化処理部１０７に対して設定する。符号化処理部１０７は、符号化処理制御部１０６により設定された情報に従い、符号化対象ブロックに対して量子化処理を行う。

ステップＳ１０８：そして、ステップＳ１０７から出力される量子化処理が施された画像データに対して、ハフマン符号による可変長符号化処理を行い更に情報量を削減するエントロピー符号化処理を行う。

ステップＳ１０９：最後に、全ての符号化対象ブロックに対して符号化処理が実施されたかどうかを判定する。全ての符号化対象ブロックに対して符号化処理が終了していればそのまま処理を終了し、そうでなければステップ１０４に戻り再度処理を行う。

次に、図６のフローチャートに従って、符号化処理部１０７により一連の符号化処理が施された後、符号化データは符号化データ記憶部１０８により一時的にバッファリングされた後に、磁気テープやメモリカードなどの記録媒体へ記録される。

なおここで、符号化処理制御部１０６および符号化処理部１０７により符号化されたデータに関して説明すると、データが符号化データ記憶部１０８に一時的に蓄えられる際に符号化処理部１０７から出力される符号化データのレートは、一定ではない。従って、符号化処理制御部１０６は、ステップＳ１０５における量子化処理を制御することで、符号化データ記憶部１０８からあふれたり、また逆に空にならないようにしている。

なお、本実施形態で説明した前記重要領域選択部１０５は、領域サイズ閾値を１つ設定して重要領域か否かを判定している。しかし、より精細に重要領域を選択するために領域サイズ閾値を予め複数個設定すると、対象となる領域サイズが入る領域サイズ閾値の範囲を決定することで、重要領域でも、更に精細に分類された重要領域を選択することが可能となる。このように重要領域が複数存在し、さらに選択方法において詳細に分類された重要領域が選択される場合には、前記重要領域選択部１０５は、位置座標と共にその重要度についても出力する。このときの出力結果の例を図７に示す。図７に示す領域の重要度は、数が小さいものほど重要度が高いことを示す。また、図７の例では重要領域Ａの方が重要度が高いことを示している。このような重要領域の重要度が複数存在する場合には、ステップＳ１０５において、予めその重要度に応じた複数の量子化テーブルを用意することで、同様の処理を行うことが可能である。

さらに、重要領域の重要度を閾値で切るのではなく重要領域に対して順序付けを行い、その順位の上位いくつかの重要領域に対して符号量を割り当てるようにしてもよい。

また、本実施形態では重要領域の符号量制御のみを行っていたが、重要領域に符号量を割り当てる一方で、その他の領域の符号量を下げるようにしても良い。また、入力解像度が複数種ある場合も考えられる。その場合には、係数を設けて入力解像度を表す画素数に前記係数をかけて閾値を求め、求めた閾値を用いるように構成する。

このように本実施形態によれば、撮影対象としての重要度が相対的に高い人物、特に顔領域を検出するだけでなく、顔領域の領域サイズも含めて検出する。これによって、符号化処理制御部１０６は、顔領域の中でも相対的に重要度が高い顔領域の画像ブロックの量子化ステップ値を適応的に小さくすることで、情報量を増加させることが可能となる。従って、本実施形態における画像処理は、視覚心理モデルにおいて良好な結果が得られる符号化処理を行うことが可能となり、更に、記録される符号量の増加を低く抑えることが可能となる。これにより、記録媒体の容量を節約すると共に、ネットワーク上で伝送する場合の通信負荷についても軽減することが可能となる。

なお、本実施形態では、符号化量の制御のために符号化処理部１０７で用いる量子化ステップ値を変更する例を説明した。しかし、本実施形態は、この量子化ステップ値の変更に限るものではなく、部分領域に対して符号量を変更可能な符号化条件であれば、どのような符号化条件を用いて制御するものであっても構わない。

また、ＪＰＥＧ圧縮方式の例を用いて本実施形態の説明を行ったが、ＪＰＥＧ方式に限るものではないことは言うまでもない。例えば、認識処理により抽出された顔領域に合わせてタイル単位を決定し、符号量を割り当てる符号化対象ブロックに対応するタイル領域に対して符号量を割り当てれば、ＪＰＥＧ−ＸＲ圧縮方式でも可能である。あるいは、ＪＰＥＧ２０００圧縮方式で規定されるＲＯＩ（Region of Interests）を、符号量を割り当てる符号化対象ブロックとして用いることも可能である。

＜実施形態２＞
本実施形態では、実施形態１と異なる部分を中心に説明する。

実施形態１では、顔領域の領域サイズから重要領域を選択してその領域に対して符号量を割り当てた。実施形態２では、顔領域の周辺領域における輝度情報を用いて、重要領域を選択する。

この輝度情報により選択された重要領域に対して符号量を割り当てる例について図１を参照して説明する。ここで重要領域として選択される領域は、顔領域周辺の領域の輝度が暗いものが重要領域として選択される。なお、図１について、実施形態１と同じ部分については説明を省略する。

領域解析部１０４は、認識処理部１０３で出力された顔領域３０２の位置座標から、輝度情報を解析するための解析領域を決定し、その解析領域における輝度情報（Ｙ成分）を解析する。本実施形態では、図９に示すように、解析領域９０１（斜線部）は、所定周囲領域内にあり、顔領域３０２から水平方向及び垂直方向にそれぞれ８画素の領域であると仮定する。領域９０２は、顔領域３０２から水平方向に８画素の領域を示しており、領域９０３は、顔領域３０２から垂直方向に８画素の領域を示している。なお、本実施形態では、解析領域が水平方向及び垂直方向に８画素の範囲の領域であるとして解析を行っているが、解析領域は水平方向及び垂直方向に８画素の領域に限定されないことは言うまでも無い。

次に、領域解析部１０４は、解析領域９０１のそれぞれの画素から輝度情報を抽出する。解析領域９０１から抽出された輝度情報を用いて、以下の計算式により、平均輝度情報を求める。

平均輝度情報：Ｓ =（ｙ_１+ｙ_２+・・・+ｙ_ｎ）／画素数：Ｎ
本実施形態では、求められた解析領域９０１の平均輝度情報をＳ_ａとし、この平均輝度情報は、領域解析部１０４から出力される。

次に、重要領域選択部１０５では前記領域解析部１０４から出力された、Ｓ_aと予め設定された平均輝度の閾値Ｓ_ＴＨとの比較を行い、Ｓ_ａがＳ_ＴＨ、つまり所定の平均輝度情報の閾値以下であれば、重要領域として選択する。本実施形態では、Ｓ_ａがＳ_ＴＨよりも小さいとし、顔領域３０２が重要領域として選択されたとする。

次に、符号化処理制御部１０６は、図６に示すステップＳ１０５又はステップＳ１０６において、本実施形態における量子化テーブルの選択を行う。実施形態２では、予め通常領域用に用意された、輝度情報（ＤＣ係数）に用いる量子化テーブルとは別に、重要領域のための符号化処理におけるＤＣ係数に用いる量子化テーブルを用意する。そして、この量子化テーブルを利用することで、量子化ステップ値を小さくすることが可能となる。

なお、重要領域選択部１０５において重要領域と通常の領域とを選択するために１つのパターン閾値を予め設定して実施した。しかし、より精細に重要領域を選択するために、複数のパターン閾値を設けることでその閾値に対応した重要度を設定することが可能である。重要領域の重要度が複数個存在する場合には、予め各重要度に応じた複数のパターンのＤＣ係数用量子化テーブルを用意することで、同様の処理を行うことができる。なお、色成分情報（ＡＣ係数）については通常領域及び重要領域について、同一の量子化テーブルを利用することができる。

また、実施形態２では輝度が予め設定された閾値よりも暗い領域について重要領域として判定を行っている。しかし、同様に輝度が予め設定された閾値よりも明るい領域を重要領域として処理することも可能である。また、同様に明るいほうと暗いほうの両方を判定するための閾値をそれぞれ用意して、その両方を重要領域として処理することも可能である。

このように実施形態２では、撮影対象としての重要度が相対的に高い人物、特に顔の領域を検出するだけでなく、顔領域の周辺領域における輝度情報を検出することで、実施形態１と同様の効果を得ることが可能となる。

＜実施形態３＞
本実施例では、実施形態１及び実施形態２と異なる部分を中心に説明する。

実施形態１においては、顔領域の領域サイズから重要領域を判定し、実施形態２においては顔領域周辺の輝度情報から重要領域を判定した。本実施形態では、顔領域の周辺領域における色情報を用いて重要領域を選択し、この選択した重要領域に対して符号量を割り当てる。

図１を参照して、実施形態３を説明する。ここで重要領域として選択される領域は、顔領域周辺の領域の色成分が顔領域の色情報と近いものについて重要領域として選択される。なお、すでに説明した実施形態１および実施形態２ですでに説明した図１の同じ部分については説明を省略する。

領域解析部１０４は、認識処理部１０３で出力された顔領域３０２の位置座標から、色情報を解析するための解析領域を決定し、その解析領域における色情報（ＵＶ成分）を解析する。実施形態３では、実施形態２と同様に、図９の解析領域９０１に対して解析を行う。なお、実施形態２では、色空間をＹＵＶを用いて表現したが、それ以外の色空間を用いて解析を行っても良いことは言うまでも無い。

次に、領域解析部１０４は、解析領域９０１及び顔領域３０２のそれぞれの画素から色情報を抽出する。解析領域９０１及び顔領域３０２から抽出された色情報を用いて、以下の計算式によりＵＶ成分それぞれに対して平均色情報を求める。

平均色情報（Ｕ）：Ｓ_ｕ =（ｕ_１+ｕ_２+・・・+ｕ_ｎ）／画素数：Ｎ
平均色情報（Ｖ）：Ｓ_ｖ =（ｖ_１+ｖ_２+・・・+ｖ_ｎ）／画素数：Ｎ
本実施形態では、求められた解析領域９０１の平均色情報をＳ_ｕａ、Ｓ_ｖａ顔領域３０２の平均色情報をＳ_ｕｆ、Ｓ_ｖｆとし、この平均色情報は、領域解析部１０４から出力される。

次に、重要領域選択部１０５は、前記領域解析部１０４から出力された解析領域９０１と顔領域３０２の平均色情報との差分を求める。この差分結果をＳＵＶ_{ｕａ−ｕｆ}、ＳＵＶ_{ｖａ−ｖｆ}とし、予め設定された閾値ＳＵＶ_ＴＨｕ、ＳＵＶ_THvとの比較を行う。そして、ＳＵＶ_{ｕａ−ｕｆ}、ＳＵＶ_{ｖａ−ｖｆ}がいずれも設定された平均色情報の閾値以下であれば、重要領域選択部１０５は、重要領域として選択する。本実施形態では、ＳＵＶ_{ｕａ−ｕｆ}、ＳＵＶ_{ｖａ−ｖｆ}が、いずれもＳＵＶ_ＴＨｕ、ＳＵＶ_ＴＨｖよりも小さいとし、顔領域３０２が重要領域として選択されたとする。

次に、符号化処理制御部１０６は、図６に示すステップＳ１０５又はステップＳ１０６において、本実施例における量子化テーブルの選択を行う。本実施形態では、予め通常領域用に用意された、色情報（ＡＣ係数）に用いる量子化テーブルとは別に、重要領域用の符号化処理におけるＡＣ係数に用いる量子化テーブルを用意する。そして、重要領域の量子化処理時に前記重要領域におけるＡＣ係数用の量子化テーブルを利用することで、量子化ステップ値を小さくすることが可能となる。

なお、本実施形態では重要領域選択部１０５において重要領域と通常の領域とを選択するために１つのパターン閾値のみを予め設定して実施した。しかし、より精細に重要領域を選択するために、複数のパターン閾値を設けることでその閾値に応じた重要度を設定することも可能である。こうした重要領域の重要度が複数存在する場合には、予め重要度に応じた複数パターンのＡＣ係数用量子化テーブルを用意することで、同様の処理を行うことができる。なお、輝度成分情報（ＤＣ係数）については、通常領域及び重要領域に対して、同一の量子化テーブルを利用することができる。

このように実施形態３によれば、撮影対象としての重要度が相対的に高い人物特に顔の領域を検出するだけでなく、顔領域の周辺領域における色情報を検出することで、実施形態１および実施形態２と同様の効果を得ることが可能となる。

＜実施形態４＞
本実施形態は、実施形態１、実施形態２および実施形態３と異なる部分を中心に説明する。

本実施形態では、顔領域におけるエッジ情報を用いて重要領域を選択する例について図１を参照して説明する。ここで重要領域として選択される領域は、顔領域におけるエッジ数の割合が高いものについて重要領域として選択される。なお図１において、実施形態１、実施形態２および実施形態と同じ部分については、説明を省略する。

領域解析部１０４は、実施形態１と同様に認識処理部１０３で出力された顔領域３０２を解析領域とし、その解析領域におけるエッジ情報を解析する。なお、エッジ情報の解析では、一般的に一次微分方式を用いるか、あるいは二次微分方式を用いる場合がある。一次微分方式の代表的なものとして、PrewittやSobel等が挙げられる。また、二次微分方式の代表的なものとしては、Lapiacianが挙げられる。本実施形態では、Sobel法によるエッジ解析を用い、図１０によりエッジ検出方法について簡単に説明する。なお、エッジ検出を行う前に、２値化処理が既に実施済みとして説明を行う。

図１０は、顔領域３０２を画素単位で示した図である。領域１１０は、顔領域３０２の１画素を示している。テーブル１１１とテーブル１１２は、Sobelにおけるフィルタ処理を行うためのΔｘ方向及びΔｙ方向のそれぞれのSobelオペレータを示す。このSobelオペレータを用いて、顔領域３０２の全ての画素に対してフィルタ処理を行い、各画素における変化量を抽出することでエッジ部分を抽出する。

次に、領域解析部１０４は、入力された顔領域３０２を２値化処理後、以上説明したSobel法を用いて、各画素からエッジ情報を抽出する。顔領域３０２から抽出されたエッジ情報を用いて以下の計算式により、領域内に存在するエッジ数の割合を求める。

エッジ割合：Ｒｅ_ｆ＝（顔領域の総エッジ数：Ｎｕｍ_ｅ）／総画素数：Ｎ
本実施形態では、求められた顔領域３０２のエッジ割合をＲｅ_ｆとし、そのエッジ割合は領域解析部１０４から出力される。

次に重要領域選択部１０５は、前記領域解析部１０４から出力された、Ｒｅ_ｆと予め設定された閾値Ｒｅ_ＴＨとの比較を行い、Ｒｅ_ｆがＲｅ_ＴＨよりも大きければ重要領域として選択する。本実施形態では、Ｒｅ_ｆがＲｅ_ＴＨ、つまり閾値としての所定のエッジ割合以上であれば、顔領域３０２が重要領域として選択されたとする。また、顔領域３０２におけるエッジ数の割合を求めているが、単純にエッジ数だけで重要領域を判断するといった方法を用いることも可能である。

なお、本第実施形態では、前記重要領域選択部１０５において重要領域と通常の領域とを選択するために１つのエッジ割合閾値を予め設定して実施した。しかし、より精細に重要領域を選択するために、複数のエッジ割合閾値を設けることでその閾値に応じた重要度を設定することも可能である。重要領域の重要度が複数存在する場合には、予め重要度に応じた複数のエッジ割合量子化テーブルを用意することで、同様の処理を行うことができる。

このように本実施形態によれば、撮影対象としての重要度が相対的に高い人物、特に顔の領域を検出するだけでなく、顔領域におけるエッジ情報を検出することで、他の実施形態と同様の効果を得ることが可能となる。

＜実施形態５＞
本実施形態では、これまで述べた実施形態と異なる部分を中心に説明する。

本実施形態においては複数の特徴量から重要領域を判定する場合の例について図１を参照して説明する。なお図１において、これまで述べた実施形態と同じ部分については説明を省略する。

本実施形態において、領域解析部１０４は、認識処理部１０３で出力された顔領域３０２の位置座標から、輝度情報及び色情報を解析するための解析領域９０１を決定する。そして、これまでの実施形態１〜４と同様に顔領域３０２から顔の領域サイズ及びエッジ情報を求め、解析領域９０１から輝度情報及び色情報を求める。領域解析部１０４は解析結果である顔の領域サイズ及び平均輝度及び色情報及びエッジ情報を出力する。

次に、重要領域選択部１０５は、領域解析部１０４から出力された解析結果を用いて重要領域を選択する。本実施形態においては、図１１に示すように、複数の条件（特徴量）から重要度の判定を行う。なお、この重要度を判定するアルゴリズムは任意に設定することが可能である。

本実施形態では、図１１の表１２２に示す各特徴量の重み付けから、表１２１に示す重要度を決定している。このとき表１２１で示す合計数とは、各特徴量において重要領域であるか否かで、１（重要領域である）か２（重要領域でない）の特徴量別重要度が与えられ、この特徴量別重要度に重み付けされた表１２２の点の数値をかけて、総和をとった数である。そして表１２１に示す重要度は、前記合計数を８で割った値を重要度としている。更に、この重要度に対して予め設定された閾値との比較を行い、その閾値よりも小さい重要度を有するものを、符号量を割り当てる対象、つまり重要領域として選択する。例えば閾値が１．５であり、閾値未満のものを選択する場合には、表１２１において、領域Ａが重要領域として選択される。そして、閾値が１．６であり閾値未満のものを選択する場合には、表１２１において、領域Ａ、Ｂが重要領域として選択される。なお、この重要度を決定するアルゴリズムについては、本方式に限定されるものではなく、任意のもので構わない。

次に、符号化処理制御部１０６は、図６に示すステップＳ１０５又はステップＳ１０６において、本実施形態における量子化テーブルの選択を行う。この例では、予め通常領域用に用意された量子化テーブルとは別に、重要領域の重要度に応じた複数のパターン量子化テーブルを用意する。このとき用意する量子化テーブルの数は重要度の数と同数であり、図１１に示す例では１５パターンの量子化テーブルが用意される。よって重要領域の量子化処理時に前記それぞれの重要度に応じた量子化テーブルを用いて量子化することで、量子化ステップ値を小さくすることが可能となる。

このように本実施形態によれば、一般的に撮影対象としての重要度が相対的に高い人物、特に顔の領域を検出するだけでなく、顔領域における、領域サイズとエッジ情報、及び解析領域における輝度情報と色情報を検出する。そして、これらの特徴量を複合して符号量制御に用いることで、実施形態１から４で示す符号量制御よりもより精細な制御を行うことが可能となる。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

画像データの圧縮処理を行なう画像処理装置であって、
入力された画像データから認識対象物領域を抽出する領域抽出手段と、
前記画像データから抽出された認識対象物領域のうち画質劣化を低減すべき認識対象物領域を、該認識対象物領域または該認識対象物領域の周囲領域の輝度情報、色情報、またはエッジ情報を用いて判断し、該判断された認識対象物領域を、重要領域として選択する重要領域選択手段と、
前記入力された画像データのうち、前記重要領域として選択された前記認識対象物領域以外の画像データを第１量子化ステップにより圧縮符号化し、
前記重要領域として選択された前記認識対象物領域の画像データを、前記第１量子化ステップより小さい第２量子化ステップにより圧縮符号化する符号化手段と
を備えることを特徴とする画像処理装置。
前記重要領域選択手段は、前記認識対象物領域の周囲領域の画像データに含まれる画素の平均輝度が閾値以下の場合に、該認識対象物領域を重要領域として選択することを特徴とする請求項１に記載の画像処理装置。
前記重要領域選択手段は、前記認識対象物領域の周囲領域の画像データに含まれる画素の平均色情報と前記認識対象物領域の平均色情報との差分が閾値以下の場合に、該認識対象物領域を重要領域として選択することを特徴とする請求項１に記載の画像処理装置。
前記重要領域選択手段は、前記認識対象物領域の総エッジ数を該認識対象物領域の総画素数で割ることで得られるエッジ割合が規定のエッジ割合以上である場合に、該認識対象物領域を重要領域として選択することを特徴とする請求項１に記載の画像処理装置。
前記重要領域選択手段は、前記認識対象物領域の面積が閾値以下の場合と、該認識対象物領域の周囲領域の画像データに含まれる画素の平均輝度が閾値以下の場合と、該周囲領域の画像データに含まれる画素の平均輝度が閾値以下の場合と、該認識対象物領域の総エッジ数を該認識対象物領域の総画素数で割ることで得られるエッジ割合が規定のエッジ割合以上である場合の、いずれか少なくとも２つの場合に、該認識対象物領域を重要領域として選択することを特徴とする請求項１に記載の画像処理装置。
前記符号化手段は、前記重要領域を符号化するために、ＪＰＥＧ圧縮方式とＪＰＥＧ２０００圧縮方式とＪＰＥＧ−ＸＲ圧縮方式のいずれか１つの圧縮方式を用い、前記第２量子化ステップを有する量子化テーブルを用いることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
画像データの圧縮処理を行なう画像処理装置に制御方法であって、
前記画像処理装置の領域抽出手段が、入力された画像データから認識対象物領域を抽出する領域抽出工程と、
前記画像処理装置の重要領域選択手段が、前記画像データから抽出された認識対象物領域のうち画質劣化を低減すべき認識対象物領域を、該認識対象物領域または該認識対象物領域の周囲領域の輝度情報、色情報、またはエッジ情報を用いて判断し、該判断された認識対象物領域を、重要領域として選択する重要領域選択工程と、
前記画像処理装置の符号化手段が、前記重要領域として選択された前記認識対象物領域以外の画像データを第１量子化ステップにより圧縮符号化し、
前記重要領域として選択された前記認識対象物領域の画像データを、前記第１量子化ステップより小さい第２量子化ステップにより圧縮符号化する符号化工程と
を備えることを特徴とする方法。
コンピュータを、請求項１乃至６の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。