JP2016149010A - 画像評価装置、画像評価方法およびプログラム - Google Patents

Abstract

【課題】演算コストを小さくする。
【解決手段】実施形態に係る画像評価装置は、特徴量算出部と、画素評価部と、スコア累積部と、領域評価部とを備える。特徴量算出部は、画像データの画素位置毎に、画像の特徴を表す特徴量を算出する。画素評価部は、画像データの画素位置毎に、特徴量を評価したスコアを生成する。スコア累積部は、画像データの画素位置毎に、対象の画素を起点として予め定められた第１方向に延びる半直線と対象の画素を起点として予め定められた第２方向に延びる半直線との間に挟まれた劣角側の領域における全てのスコアを累積した累積スコアを算出する。領域評価部は、第１方向に平行な２本の直線と第２方向に平行な２本の直線により囲まれた四角形領域におけるスコアの合計である領域評価値を、四角形領域の頂点の画素位置の累積スコアに基づき算出する。
【選択図】図１

Description

本発明の実施形態は、画像評価装置、画像評価方法およびプログラムに関する。

画像認識等では、画像の特徴を評価して、その領域が例えば人物等の特定の対象物であるかどうかを判断する。画像の特徴を評価するための特徴量には様々なものが知られている。

様々な特徴量の中の一つとして、ＨＯＧ（Histograms of Oriented Gradients）特徴量のようなヒストグラムベースの特徴量が知られている。ヒストグラムベースの特徴量は、領域内の画素毎の特徴量の合計値が評価対象となる特徴量である。このようなヒストグラムベースの特徴量を用いて画像内の領域を評価する場合、画素毎の特徴量の算出および領域内の累積演算に加えて、累積した特徴量の評価演算もしなければならなく、演算コストが大きかった。

特表２００８−５３０６２７号公報

N. Dalal, and B. Triggs, "Histograms of Oriented Gradients for Human Detection", CVPR 2005, vol. 1, pp. 886-893, 2005. T. Watanabe, S. Ito, and K. Yokoi, "Co-occurrence Histograms of Oriented Gradients for Human Detection", Trans. on CVA, Vol. 2, pp. 39-47, 2010. T. Ojala, M. Pietikainen, and D. Harwood, "Performance evaluation of texture measures with classification based on Kullback discrimination of distributions", ICPR 1994, vol. 1, pp. 582-585, 1994. S. Ito and S. Kubota, "Object classification using heterogeneous co-occurrence features", ECCV 2010, Part V, pp. 701-714, 2010.

本発明が解決しようとする課題は、演算コストを小さくすることにある。

実施形態に係る画像評価装置は、特徴量算出部と、画素評価部と、スコア累積部と、領域評価部とを備える。前記特徴量算出部は、画像データの画素位置毎に、画像の特徴を表す特徴量を算出する。前記画素評価部は、前記画像データの画素位置毎に、前記特徴量を評価したスコアを生成する。前記スコア累積部は、前記画像データの画素位置毎に、対象の画素を起点として予め定められた第１方向に延びる半直線と対象の画素を起点として予め定められた第２方向に延びる半直線との間に挟まれた劣角側の領域における全ての前記スコアを累積した累積スコアを算出する。領域評価部は、前記第１方向に平行な２本の直線と前記第２方向に平行な２本の直線により囲まれた四角形領域における前記スコアの合計である領域評価値を、前記四角形領域の頂点の画素位置の前記累積スコアに基づき算出する。

実施形態に係る画像評価装置を示す図。 スコアの算出例を示す図。 スコアを累積する領域を示す図。 画素位置毎の累積スコアの演算を説明するための図。 スコアを累積する領域の他の一例を示す図。 四角形領域の一例を示す図。 領域評価値の演算を説明するための図。 四角形領域の他の一例を示す図。 画像評価装置の処理手順を示すフローチャート。 変形例に係る画像評価装置を示す図。 画像評価装置のハードウェア構成を示す図。

以下、図面を参照しながら実施形態に係る画像評価装置について詳細に説明する。本実施形態に係る画像評価装置は、領域内での特徴量の合計を算出するための演算コストおよび特徴量を評価するための演算コストを小さくすることを目的としている。

図１は、実施形態に係る画像評価装置１０を示す図である。画像評価装置１０は、特徴量算出部３１と、識別ベクトル記憶部３２と、スコア累積部３４と、累積スコア記憶部３５と、領域指定部３６と、領域評価部３７と、正規化部３８とを備える。

特徴量算出部３１は、外部から１フレーム分の画像データを取得する。そして、特徴量算出部３１は、画像データの画素位置毎に、画像の特徴を表す特徴量を算出する。

ここで、特徴量算出部３１は、ヒストグラムベースの特徴量を算出する。ヒストグラムベースの特徴量は、画素単位の特徴量を領域内で合計した値が評価対象となる。

特徴量算出部３１は、一例として、ＨＯＧ特徴量（非特許文献１）、ＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients）特徴量（非特許文献２）、ＬＢＰ（Local Binary Patterns）特徴量（非特許文献３）またはHeterogeneous co-occurrence特徴量（非特許文献４）を算出する。特徴量算出部３１は、これらの特徴量以外のヒストグラムベースの特徴量を算出してもよい。また、特徴量算出部３１は、１つの画素に対して１種類の特徴量ではなく、複数種類の特徴量を算出してもよい。

特徴量算出部３１は、特徴量の算出の対象の画素について、その画素の画素値と周辺の画素の画素値とを入力して、予め定められた関数を演算することにより、特徴量を算出する。特徴量算出部３１は、特徴量として複数の値（成分）を含むベクトルを画素毎に算出する。

例えば、ＨＯＧ特徴量を算出する場合には、特徴量算出部３１は、輝度勾配の方向と輝度勾配の強度とを含む２次元のベクトルを算出する。より具体的には、特徴量算出部３１は、ソーベルフィルタまたはロバーツフィルタ等を用いて、量子化した直交する方向の輝度勾配ｄｘ，ｄｙを算出する。そして、特徴量算出部３１は、ｔａｎ^−１（ｄｘ／ｄｙ）を演算することにより、輝度勾配の方向を算出する。また、特徴量算出部３１は、｛（ｄｘ）^２＋（ｄｙ）^２｝^１／２を演算することにより、輝度勾配の強度を算出する。輝度勾配を１８方向に量子化した場合、輝度勾配の方向および輝度勾配の強度は、１８通りのコードと実数の値との組み合わせとなる。

また、例えば、ＣｏＨＯＧ特徴量を算出する場合には、特徴量算出部３１は、量子化された輝度勾配の方向の、近傍の２画素の組み合わせを３０組含む３０次元のベクトルを算出する。輝度勾配の方向を８方向に量子化した場合、２点の組み合わせは６４通りのコードになる。

また、例えば、ＬＢＰ特徴量を算出する場合には、特徴量算出部３１は、近傍の８画素との大小関係に基づき定義される２５６通りのコードを含む１次元のベクトルを算出する。また、例えば、Heterogeneous co-occurrence特徴量を算出する場合には、特徴量算出部３１は、量子化された輝度勾配の方向、色相、色差分の方向および色差分の符号等を含むベクトルを算出する。

識別ベクトル記憶部３２は、予め登録された識別ベクトルを記憶する。識別ベクトルは、特徴量算出部３１が算出する特徴量と同一の次数のベクトルである。識別ベクトルは、一例として、予め準備された画像から特徴量算出部３１と同一の方法で算出された特徴量における、人物等の特定の対象物を含む領域のヒストグラムを学習データとし、サポートベクタマシンまたはニューラルネットワーク等により学習して算出される。すなわち、識別ベクトルは、人物等の特定の対象物の画像から学習等して生成した特徴量に相当する。

画素評価部３３は、画像データの画素位置毎に、識別ベクトルに基づき特徴量を評価したスコアを生成する。画素評価部３３は、一例として、図２に示すように、画像データの画素位置毎に、特徴量と識別ベクトルとのノルムをスコアとして生成する。

画素評価部３３は、特徴量と識別ベクトルとを関数に入力してスコアを算出してもよい。また、識別ベクトルに基づき特徴量のそれぞれの値に対応するスコアが格納されたテーブルを予め生成しておき、画素評価部３３は、入力された特徴量に対応するスコアをテーブルから取得してもよい。

画素評価部３３は、一例として、ＨＯＧ特徴量の場合、識別ベクトルの値と輝度勾配の強度との積をスコアとして算出する。また、画素評価部３３は、一例として、ＣｏＨＯＧ特徴量およびＬＢＰ特徴量の場合、テーブルから特徴量に対応するスコアを取得する。

スコア累積部３４は、画像データの画素位置毎に、対象の画素を起点として予め定められた第１方向に延びる半直線と対象の画素を起点として予め定められた第２方向に延びる半直線との間に挟まれた劣角側の領域における全てのスコアを累積した累積スコアを算出する。そして、スコア累積部３４は、画像データの画素位置毎の累積スコアを累積スコア記憶部３５に書き込む。なお、スコア累積部３４での処理については、図３〜図５を参照して後で説明する。

累積スコア記憶部３５は、画像データの画素位置毎の累積スコアを記憶する。

領域指定部３６は、画像データ内における、第１方向に平行な２本の直線と第２方向に平行な２本の直線により囲まれた四角形領域を指定する。第１方向および第２方向は、スコア累積部３４がスコアを累積する領域を規定する方向と同一である。なお、四角形領域の詳細については、図６〜図８を参照して後で説明する。領域指定部３６は、位置および大きさを変化させながら、複数の四角形領域を指定する。

領域評価部３７は、領域指定部３６に四角形領域が指定される毎に、指定された四角形領域におけるスコアの合計である領域評価値を、累積スコア記憶部３５に記憶されている画素位置毎の累積スコアにおける四角形領域の頂点の画素位置の累積スコアに基づき算出する。なお、領域評価部３７での処理については、図６〜図８を参照して後で説明する。

正規化部３８は、領域評価部３７により算出された領域評価値を、領域指定部３６により指定された四角形領域の面積により正規化する。正規化部３８は、一例として、領域評価値を四角形領域の面積で除算することにより正規化する。これにより、正規化部３８は、様々な大きさの四角形領域の領域評価値を相互に比較可能とすることができる。なお、領域指定部３６により指定される四角形領域の面積が一定の場合には、画像評価装置１０は、正規化部３８を備えずに領域評価値を出力してよい。

画像評価装置１０は、正規化部３８により正規化された領域評価値を外部へと出力する。外部へと出力された領域評価値は、例えば、画像認識部等により閾値を超えるか（または下回るか）否かが検出される。そして、領域評価値が閾値を超える（または下回る）場合には、対応する四角形領域が人物等の特定の対象物を含む領域であると判断される。

図３は、ある任意の画素位置（ｘ，ｙ）の累積スコアを算出する場合における、スコアを累積する領域を示す図である。

画像データに含まれる画素は、直交する２つの方向（ｘ方向およびｙ方向）に２次元配列される。ｘ方向（第１配列方向）は、水平方向に右から左に向かう方向である。ｙ方向（第２配列方向）は、垂直方向に下から上に向かう方向である。

また、画像評価装置１０には、画像データの画素の配列方向に対して、第１方向および第２方向が予め設定されている。本例において、第１方向は、ｘ方向の逆方向（水平方向に左から右に向かう方向）である。また、第２方向は、ｙ方向の逆方向（垂直方向に下から上に向かう方向）である。

スコア累積部３４は、画像データの画素位置毎に、累積スコアを算出する。ある１つの対象の画素の累積スコアを算出する場合、スコア累積部３４は、対象の画素を起点として第１方向に延びる半直線と、対象の画素を起点として第２方向に延びる半直線との間に挟まれた劣角側の領域における全てのスコアを累積する。

より具体的には、図３に示すように、累積スコアの算出対象の画素位置を（ｘ，ｙ）とした場合、スコア累積部３４は、斜線で示した領域に含まれる全ての画素のスコアを累積する。すなわち、対象の画素（ｘ，ｙ）を起点として第１方向に延びる半直線は、画素位置（ｘ，ｙ）から、ｘ方向とは逆方向（水平方向に左側）に延びる半直線５１となる。また、対象の画素（ｘ，ｙ）を起点として第２方向に延びる半直線は、画素位置（ｘ，ｙ）から、ｙ方向とは逆方向（垂直方向に上側）に延びる半直線５２となる。また、対象の画素（ｘ，ｙ）の劣化側の領域は、画像データの画素配列が開始する位置（０，０）と、対象の画素の位置（ｘ，ｙ）とを対角の頂点とする長方形の領域となる。

スコア累積部３４は、画像データに含まれる全ての画素について、以上のような劣角側の領域におけるスコアを全て累積した累積スコアを算出する。

図４は、画素位置毎の累積スコアの演算を説明するための図である。スコア累積部３４は、画像データの画素位置毎に累積スコアを算出するために、第１配列方向および第２配列方向に２次元配列された画像データのそれぞれの画素を、ラスタスキャンしながら１つずつ選択する。

すなわち、画像データに含まれる画素がｘ方向およびｙ方向に２次元配列される場合においては、図４に示すように、スコア累積部３４は、左上の画素から選択を開始する。次に、スコア累積部３４は、右方向に１画素ずつ、１水平ラインの画素を選択する。次に、スコア累積部３４は、１画素分下がった最も左側の画素から、右方向に１画素ずつ１水平ライン分の画素を選択する処理を繰り返す。そして、スコア累積部３４は、一番下の水平ラインの最も右側の画素まで選択した後に、選択を終了する。

このようにラスタスキャンをしながら選択した画素の画素位置が、（ｘ，ｙ）であるとする。

この場合、スコア累積部３４は、選択した画素（ｘ，ｙ）のスコアａ（ｘ，ｙ）を取得する。

さらに、スコア累積部３４は、第１画素（ｘ−１，ｙ）の累積スコアＳ（ｘ−１，ｙ）と、第２画素（ｘ，ｙ−１）の累積スコアＳ（ｘ，ｙ−１）と、第３画素（ｘ−１，ｙ−１）の累積スコアＳ（ｘ−１，ｙ−１）とを取得する。第１画素（ｘ−１，ｙ）は、選択した画素から第１配列方向（ｘ方向）の直前の画素である。第２画素（ｘ，ｙ−１）は、選択した画素から第２配列方向（ｙ方向）の直前の画素である。第３画素（ｘ−１，ｙ−１）は、第１画素（ｘ−１，ｙ）から第２配列方向（ｙ方向）の直前の画素である。

なお、ラスタスキャンをしながら順次に選択して累積スコアを算出する場合には、これら第１画素（ｘ−１，ｙ）、第２画素（ｘ，ｙ−１）および第３画素（ｘ−１，ｙ−１）の累積スコアは、既に算出されている。ただし、選択した画素位置が、水平ラインの一番左の画素である場合には、第１画素（ｘ−１，ｙ）および第３画素（ｘ−１，ｙ−１）が存在しない。また、選択した画素位置が、一番上の水平ラインの画素である場合には、第２画素（ｘ，ｙ−１）および第３画素（ｘ−１，ｙ−１）が存在しない。スコア累積部３４は、存在しない画素の累積スコアは、０とする。

そして、スコア累積部３４は、下記の式（１）を演算して、選択した画素の累積スコアＳ（ｘ，ｙ）を算出する。
Ｓ（ｘ，ｙ）＝ａ（ｘ，ｙ）＋Ｓ（ｘ−１，ｙ）＋Ｓ（ｘ，ｙ−１）−Ｓ（ｘ−１，ｙ−１）＋Ｓ（ｘ，ｙ） …（１）

すなわち、スコア累積部３４は、選択した画素のスコアと、選択した画素に対する第１配列方向の直前の第１画素の累積スコアと、選択した画素に対する第２配列方向の直前の第２画素の累積スコアとを加算した値から、第１画素に対する第２配列方向の直前の第３画素の累積スコアを減じた値を、選択した画素の累積スコアとして算出する。

このような演算をすることにより、スコア累積部３４は、劣角側の領域における全てのスコアを累積した累積スコアを簡易に算出することができる。

図５は、スコアを累積する領域の他の一例を示す図である。画像評価装置１０は、第１方向および第２方向が互いに異なる方向であれば、例えば図５に示すように、画素の配列方向の逆方向に限らず他の方向に設定されていてもよい。

例えば、第１方向および第２方向は、画像データの画素の配列方向（ｘ方向およびｙ方向）に対して、２２．５°、４５°または６７．５°回転した、直交する２つの方向であってもよい。また、第１方向および第２方向は、直交しない２つの方向であってもよい。

また、このような場合、第１方向に延びる半直線５１および第２方向に延びる半直線５２が、画素と画素との間を通過する部分が存在する。この場合、スコア累積部３４は、第１方向に延びる半直線５１と第２方向に延びる半直線５２との内側（劣角側）の画素位置（半直線５１上および半直線５２上の画素位置も含む）のスコアを累積する。

図６は、四角形領域の一例を示す図である。領域指定部３６は、四角形領域を指定する。四角形領域は、第１方向に平行な２本の直線と第２方向に平行な２本の直線により囲まれた領域である。

本例においては、画像データに含まれる画素が、ｘ方向およびｙ方向に２次元配列され、第１方向がｘ方向の逆方向、第２方向がｙ方向の逆方向である。従って、本例においては、領域指定部３６は、ｘ方向（水平方向）に平行な第１の直線６１および第２の直線６２と、ｙ方向（垂直方向）に平行な第３の直線６３および第４の直線６４とにより囲まれた四角形領域を指定する。

ここで、第１の直線６１のｙ方向の画素位置はｙ_１であり、第２の直線６２のｙ方向の画素位置はｙ_２であるとする。また、第３の直線６３のｘ方向の画素位置はｘ_１であり、第４の直線６４のｘ方向の画素位置はｘ_２であるとする。

この場合、四角形領域は、第１頂点（ｘ_１，ｙ_１）、第２頂点（ｘ_２，ｙ_２）、第３頂点（ｘ_２，ｙ_１）および第４頂点（ｘ_１，ｙ_２）を有する。第１頂点（ｘ_１，ｙ_１）は、四角形領域における右下の頂点である。また、第２頂点（ｘ_２，ｙ_２）は、四角形領域における左上の頂点である。第３頂点（ｘ_２，ｙ_１）は、四角形領域における左下の頂点である。第４頂点（ｘ_１，ｙ_２）は、四角形領域における右上の頂点である。

すなわち、第２頂点（ｘ_２，ｙ_２）は、第１頂点（ｘ_１，ｙ_１）よりも第１方向の側で且つ第２方向の側に位置する。つまり、第２頂点（ｘ_２，ｙ_２）は、第１頂点（ｘ_１，ｙ_１）を起点として、第１方向（水平方向に左から右の方向）に向いた半直線と、第１頂点（ｘ_１，ｙ_１）を起点として第２方向（垂直方向に下から上の方向）に向いた半直線との間に挟まれた劣角側の領域内に位置する。また、第３頂点（ｘ_２，ｙ_１）および第４頂点（ｘ_１，ｙ_２）は、第１頂点（ｘ_１，ｙ_１）および第２頂点（ｘ_２，ｙ_２）とは異なる頂点である。

そして、領域評価部３７は、累積スコア記憶部３５から、領域指定部３６に指定された四角形領域の頂点の画素位置の累積スコアを取得する。本例においては、領域評価部３７は、第１頂点の累積スコアＳ_１（ｘ_１，ｙ_１）、第２頂点の累積スコアＳ_２（ｘ_２，ｙ_２）、第３頂点の累積スコアＳ_３（ｘ_２，ｙ_１）および第４頂点の累積スコアＳ_４（ｘ_１，ｙ_２）を読み出す。

図７は、領域評価値の演算を説明するための図である。領域評価部３７は、読み出した第１頂点の累積スコアＳ_１（ｘ_１，ｙ_１）、第２頂点の累積スコアＳ_２（ｘ_２，ｙ_２）、第３頂点の累積スコアＳ_３（ｘ_２，ｙ_１）および第４頂点の累積スコアＳ_４（ｘ_１，ｙ_２）に基づき、四角形領域におけるスコアの合計Ｔを算出する。

より具体的には、領域評価部３７は、下記の式（２）を演算して、四角形領域におけるスコアの合計Ｔを算出する。
Ｔ＝（Ｓ_１（ｘ_１，ｙ_１）＋Ｓ_２（ｘ_２，ｙ_２））−（Ｓ_３（ｘ_２，ｙ_１）＋Ｓ_４（ｘ_１，ｙ_２）） …（２）

すなわち、領域評価部３７は、第１頂点の累積スコアＳ_１（ｘ_１，ｙ_１）と第２頂点の累積スコアＳ_２（ｘ_２，ｙ_２）とを加算した第１加算値から、第３頂点の累積スコアＳ_３（ｘ_２，ｙ_１）と第４頂点の累積スコアＳ_４（ｘ_１，ｙ_２）とを加算した第２加算値とを減算した値を、合計Ｔとして算出する。

そして、領域評価部３７は、算出した合計Ｔを、指定された四角形領域における領域評価値として出力する。これにより、領域評価部３７は、指定された四角形領域における領域評価値を簡易に算出することができる。

図８は、四角形領域の他の一例を示す図である。領域指定部３６は、第１方向および第２方向の何れか一方が、ｘ方向およびｙ方向と平行でない場合には、図８に示すように、長方形ではない平行四辺形の四角形領域を指定する。

なお、第１頂点（ｘ_１，ｙ_１）、第２頂点（ｘ_２，ｙ_２）、第３頂点（ｘ_２，ｙ_１）または第４頂点（ｘ_１，ｙ_２）が、画素位置上に存在しない場合、領域評価部３７は、周囲の画素の累積スコアから補間して、対応する頂点の累積スコアを算出する。

このように第１方向および第２方向が、画像データの画素の配列方向（ｘ方向およびｙ方向）と平行ではない場合、画像評価装置１０は、例えば、画素の配列方向に対して回転した対象物または非矩形の対象物等を評価することができる。

図９は、画像評価装置１０の処理手順を示すフローチャートである。画像評価装置１０は、図９に示すステップＳ１１からステップＳ１９の処理を実行する。

まず、特徴量算出部３１は、１フレーム分の画像データを入力する（Ｓ１１）。続いて、特徴量算出部３１は、入力された画像データの画素位置毎に特徴量を算出する（Ｓ１２）。続いて、画素評価部３３は、画像データの画素位置毎に、識別ベクトルに基づき特徴量を評価したスコアを生成する（Ｓ１３）。

続いて、スコア累積部３４は、画像データの画素位置毎に、累積スコアを算出する（Ｓ１４）。スコア累積部３４により算出された画素位置毎の累積スコアは、累積スコア記憶部３５に記憶される。

続いて、画像評価装置１０は、異なる四角形領域毎に、ステップＳ１６からステップＳ１８までの処理を繰り返して実行する（ステップＳ１５とステップＳ１９との間のループ処理）。まず、領域指定部３６は、第１方向に平行な２本の直線と第２方向に平行な２本の直線により囲まれた四角形領域を指定する（Ｓ１６）。続いて、領域評価部３７は、指定された四角形領域におけるスコアの合計である領域評価値を、四角形領域の頂点の画素位置の累積スコアに基づき算出する（Ｓ１７）。続いて、正規化部３８は、算出した領域評価値を四角形領域の面積で除算することにより正規化する（Ｓ１８）。

そして、画像評価装置１０は、全ての領域について正規化した領域評価値を生成すると、処理を終了する（Ｓ１９）。

以上のように、本実施形態に係る画像評価装置１０は、画素毎の特徴量を累積するのではなく、画素毎のスコア（特徴量を識別ベクトルで評価した値）を累積する。そして、画像評価装置１０は、指定された四角形領域の頂点の４つの累積スコアを読み出して加減算して、領域評価値を算出する。これにより、画像評価装置１０は、異なる複数の領域について領域評価値を生成する場合に領域内の特徴量の累積演算および評価演算を１回だけすればよいので、演算コストを小さくすることができる。

また、本実施形態に係る画像評価装置１０は、複数の領域に重なりが多いほど演算コストをより削減することができる。例えば、画像内における特定の物体の領域を検出する場合、画像評価装置１０は、画像内の様々な位置および様々な大きさの領域を指定して、領域評価値を算出する。また、例えば、人物のポーズ推定等に用いられるDeformable Part Modelに適用した場合、画像評価装置１０は、頭、手、足等のそれぞれのパーツの位置を評価するための領域を細かくずらしながら指定する。また、例えば、特定の物体の追跡に適用した場合、画像評価装置１０は、直前のフレームまでの検出結果から予想される特定の物***置の周辺において、細かく位置をずらしながら領域を指定する。このような場合、それぞれの領域が互いに重なり合っているので、画像評価装置１０は、領域内の特徴量の累積演算および評価演算を大幅に削減することができる。

図１０は、変形例に係る画像評価装置１０を示す図である。変形例に係る画像評価装置１０は、図１に示した構成の画像評価装置１０と略同一の機能および構成を有するので、略同一の機能および構成を有する部材には同一の符号を付けて、相違点を除き説明を省略する。

変形例に係る画像評価装置１０は、特徴量算出部３１と、識別ベクトル記憶部３２と、スコア累積部３４と、累積スコア記憶部３５と、領域指定部３６と、領域評価部３７と、正規化部３８と、重み取得部８１と、重み累積部８２と、累積重み記憶部８３と、領域重み算出部８４とを備える。

重み取得部８１は、画像データの画素位置毎に、特徴量の重みを取得する。重み取得部８１は、一例として、特徴量算出部３１により算出された特徴量のうちの１つの成分を重みとして取得してもよい。ＨＯＧ特徴量の場合、重み取得部８１は、輝度勾配の強度を重みとして取得する。また、重み取得部８１は、外部から画素毎の重みを取得してもよい。

重み累積部８２は、画像データの画素位置毎に、対象の画素を起点とした第１方向に平行な半直線と対象の画素を起点とした第２方向に平行な半直線との間に挟まれた劣角側の領域における全ての重みを累積した累積重みを算出する。すなわち、重み累積部８２は、スコア累積部３４がスコアを累積する領域と同一の領域の全ての重みを累積する。

累積重み記憶部８３は、画像データの画素位置毎の累積重みを記憶する。

領域重み算出部８４は、領域指定部３６により指定された四角形領域における重みを合計した重み合計値を、四角形領域の頂点の画素位置の累積重みに基づき算出する。すなわち、領域重み算出部８４は、領域評価部３７が領域評価値を算出する演算処理と同一の演算により重み合計値を算出する。

正規化部３８は、領域評価部３７により算出された領域評価値を、領域重み算出部８４により算出された累積重みにより正規化する。正規化部３８は、一例として、領域評価部３７により算出された領域評価値を累積重みにより除算することにより正規化する。

このような変形例に係る画像評価装置１０によれば、例えばＨＯＧ特徴量のような、画素毎に重みが設定される特徴量を用いた場合に、領域内の重みで正規化した領域評価値を小さい演算コストで算出することができる。

図１１は、画像評価装置１０のハードウェア構成を示す図である。画像評価装置１０は、ＣＰＵ（Central Processing Unit）２０１と、操作部２０２と、表示部２０３と、ＲＯＭ（Read Only Memory）２０４と、ＲＡＭ（Random Access Memory）２０５と、記憶部２０６とを備える。これらの各部は、バス２１０により接続される。

ＣＰＵ２０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ２０１は、ＲＡＭ２０５の所定領域を作業領域としてＲＯＭ２０４または記憶部２０６に予め記憶された各種プログラムとの協働により各種処理を実行する。

操作部２０２は、マウスやキーボード等の入力デバイスであって、ユーザから操作入力された情報を指示信号として受け付け、その指示信号をＣＰＵ２０１に出力する。表示部２０３は、ＬＣＤ（Liquid Crystal Display）等の表示装置である。表示部２０３は、ＣＰＵ２０１からの表示信号に基づいて、各種情報を表示する。

ＲＯＭ２０４は、画像評価装置１０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ２０５は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。ＲＡＭ２０５は、ＣＰＵ２０１の作業領域として機能する。

記憶部２０６は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶部２０６は、プログラムおよび各種設定情報等を記憶する。また、記憶部２０６は、例えば、操作部２０２および通信装置等を介して取得されたデータを記憶する。

なお、画像評価装置１０は、このようなハードウェア構成に限らず、特徴量算出部３１、識別ベクトル記憶部３２、画素評価部３３、スコア累積部３４、累積スコア記憶部３５、領域指定部３６、領域評価部３７および正規化部３８の一部または全部をハードウェア回路（例えば半導体集積回路）により実装する構成であってもよい。

また、本実施形態に係る画像評価装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態に係る画像評価装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態に係る画像評価装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態に係る画像評価装置１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態に係る画像評価装置１０で実行されるプログラムは、上述した画像評価装置１０の各部（特徴量算出部３１、識別ベクトル記憶部３２、画素評価部３３、スコア累積部３４、累積スコア記憶部３５、領域指定部３６、領域評価部３７および正規化部３８）を含むモジュール構成となっており、ＣＰＵ２０１（プロセッサ）が記憶媒体等からプログラムを読み出して実行することにより上記各部がＲＡＭ２０５上にロードされ、画像評価装置１０（特徴量算出部３１、識別ベクトル記憶部３２、画素評価部３３、スコア累積部３４、累積スコア記憶部３５、領域指定部３６、領域評価部３７および正規化部３８）がＲＡＭ２０５上に生成されるようになっている。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 画像評価装置
３１ 特徴量算出部
３２ 識別ベクトル記憶部
３３ 画素評価部
３４ スコア累積部
３５ 累積スコア記憶部
３６ 領域指定部
３７ 領域評価部
３８ 正規化部
５１ 半直線
５２ 半直線
６１ 第１の直線
６２ 第２の直線
６３ 第３の直線
６４ 第４の直線
８１ 重み取得部
８２ 重み累積部
８３ 累積重み記憶部
８４ 領域重み算出部
２０１ ＣＰＵ
２０２ 操作部
２０３ 表示部
２０４ ＲＯＭ
２０５ ＲＡＭ
２０６ 記憶部

Claims (12)

1. 画像データの画素位置毎に、画像の特徴を表す特徴量を算出する特徴量算出部と、
   前記画像データの画素位置毎に、前記特徴量を評価したスコアを生成する画素評価部と、
   前記画像データの画素位置毎に、対象の画素を起点として予め定められた第１方向に延びる半直線と対象の画素を起点として予め定められた第２方向に延びる半直線との間に挟まれた劣角側の領域における全ての前記スコアを累積した累積スコアを算出するスコア累積部と、
   前記第１方向に平行な２本の直線と前記第２方向に平行な２本の直線により囲まれた四角形領域における前記スコアの合計である領域評価値を、前記四角形領域の頂点の画素位置の前記累積スコアに基づき算出する領域評価部と、
   を備える画像評価装置。
2. 前記四角形領域は、第１頂点と、前記第１頂点を起点として前記第１方向に延びる半直線と前記第１頂点を起点として前記第２方向に延びる半直線との間に挟まれた劣角側の領域内に位置する第２頂点と、前記第１頂点および前記第２頂点とは異なる頂点である第３頂点および第４頂点とを有し、
   前記領域評価部は、前記第１頂点の前記累積スコアと前記第２頂点の前記累積スコアとを加算した第１加算値から、前記第３頂点の前記累積スコアと前記第４頂点の前記累積スコアとを加算した第２加算値とを減算した値を、前記領域評価値として算出する
   請求項１に記載の画像評価装置。
3. 前記スコア累積部は、
   第１配列方向および第２配列方向に２次元配列された前記画像データのそれぞれの画素を、ラスタスキャンしながら１つずつ選択し、
   選択した画素の前記スコアと、選択した画素に対する第１配列方向の直前の第１画素の前記累積スコアと、選択した画素に対する第２配列方向の直前の第２画素の前記累積スコアとを加算した値から、前記第１画素に対する前記第２配列方向の直前の第３画素の前記累積スコアを減じた値を、選択した画素の前記累積スコアとして算出する
   請求項２に記載の画像評価装置。
4. 前記第１方向は、前記第１配列方向の逆方向であり、
   前記第２方向は、前記第２配列方向の逆方向である
   請求項３に記載の画像評価装置。
5. 前記第１配列方向は、水平方向に右から左に向かう方向であり、
   前記第２配列方向は、垂直方向に上から下に向かう方向である
   請求項４に記載の画像評価装置。
6. 前記画像データの画素位置毎の前記累積スコアを記憶する累積スコア記憶部と、
   前記四角形領域を指定する領域指定部と、
   をさらに備え、
   前記領域評価部は、前記領域指定部により指定された前記四角形領域の頂点の画素位置の前記累積スコアを前記累積スコア記憶部から読み出して、前記領域評価値を算出する
   請求項１から５の何れか１項に記載の画像評価装置。
7. 前記特徴量算出部は、前記特徴量として、複数の値を含むベクトルを算出し、
   前記画素評価部は、前記特徴量と予め登録された識別ベクトルとのノルムに基づき前記スコアを生成する
   請求項１から６の何れか１項に記載の画像評価装置。
8. 前記特徴量は、領域内で合計した値が評価対象となる
   請求項１から７の何れか１項に記載の画像評価装置。
9. 前記領域評価値を前記四角形領域の面積により正規化する正規化部をさらに備える
   請求項１から８の何れか１項に記載の画像評価装置。
10. 前記画像データの画素位置毎に、前記特徴量の重みを取得する重み取得部と、
    前記画像データの画素位置毎に、対象の画素を起点とした前記第１方向に平行な半直線と対象の画素を起点とした前記第２方向に平行な半直線との間に挟まれた劣角側の領域における全ての前記重みを累積した累積重みを算出する重み累積部と、
    前記四角形領域における前記重みを合計した重み合計値を、前記四角形領域の頂点の画素位置の前記累積重みに基づき算出する領域重み算出部と、
    を備え、
    前記正規化部は、前記領域評価値を前記累積重みにより正規化する
    請求項９に記載の画像評価装置。
11. 画像データの画素位置毎に、画像の特徴を表す特徴量を算出する特徴量算出ステップと、
    前記画像データの画素位置毎に、前記特徴量を評価したスコアを生成する画素評価ステップと、
    前記画像データの画素位置毎に、対象の画素を起点として予め定められた第１方向に延びる半直線と対象の画素を起点として予め定められた第２方向に延びる半直線との間に挟まれた劣角側の領域における全ての前記スコアを累積した累積スコアを算出するスコア累積ステップと、
    前記第１方向に平行な２本の直線と前記第２方向に平行な２本の直線により囲まれた四角形領域における前記スコアの合計である領域評価値を、前記四角形領域の頂点の画素位置の前記累積スコアに基づき算出する領域評価ステップと、
    を含む画像評価方法。
12. コンピュータを画像評価装置として機能させるためのプログラムであって、
    前記コンピュータを、
    画像データの画素位置毎に、画像の特徴を表す特徴量を算出する特徴量算出部と、
    前記画像データの画素位置毎に、前記特徴量を評価したスコアを生成する画素評価部と、
    前記画像データの画素位置毎に、対象の画素を起点として予め定められた第１方向に延びる半直線と対象の画素を起点として予め定められた第２方向に延びる半直線との間に挟まれた劣角側の領域における全ての前記スコアを累積した累積スコアを算出するスコア累積部と、
    前記第１方向に平行な２本の直線と前記第２方向に平行な２本の直線により囲まれた四角形領域における前記スコアの合計である領域評価値を、前記四角形領域の頂点の画素位置の前記累積スコアに基づき算出する領域評価部と
    して機能させるプログラム。

Images