JP2012226612A - Image processing apparatus, image processing method and program - Google Patents

Abstract

PROBLEM TO BE SOLVED: To implement higher-performance pattern recognition while suppressing a processing load.SOLUTION: An image processing apparatus comprises region setting means which sets a plurality of partial regions to features of an image extracted by feature extracting means, partial space holding means which holds a partial space for each partial region, partial space projecting means which generates a plurality of feature vectors from the plurality of partial regions set by the region setting means, projects the generated feature vectors into the partial spaces held by the partial space holding means and generates a plurality of projection vectors, selection means which selects a projection vector corresponding to each partial region from among the plurality of projection vectors generated by the partial space projection means, feature generating means which generates an identification feature by connecting the projection vectors selected by the selection means, and identification processing means which performs identification processing using the identification feature generated by the feature generation means.

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and a program.

局所領域を使用した表情認識手法の従来技術として、顔の大きさと中心位置を揃えた上で顔領域を複数の小領域に分割し、夫々の小領域毎にＬｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎという特徴を抽出し、この特徴を使用して表情認識を行う技術がある。この技術は、非特許文献１に記載されている。
局所領域を使用した顔メタデータの生成方法として、局所領域を設定し、局所領域毎に周波数特徴を抽出し、夫々の周波数特徴を部分空間に射影し、射影した特徴ベクトルを顔メタデータに使用する生成方法がある（特許文献１）。
これらの局所領域を使用した手法は、正しく領域設定を行うことが非常に重要であり、そのためには顔の大きさと中心位置を正確に揃える必要がある。一般画像にこれらの技術を適用した場合、まずは画像内から顔を検出する処理が必要である。顔検出技術は、非特許文献２の手法が非常に有効であることが知られている。 As a conventional technique of facial expression recognition using a local area, the face area is divided into a plurality of small areas after aligning the face size and center position, and a feature called Local Binary Pattern is extracted for each small area, There is a technique for performing facial expression recognition using this feature. This technique is described in Non-Patent Document 1.
As a method for generating face metadata using local regions, local regions are set, frequency features are extracted for each local region, each frequency feature is projected onto a partial space, and the projected feature vector is used for face metadata. There is a generation method (Patent Document 1).
In the method using these local areas, it is very important to set the area correctly. For that purpose, it is necessary to accurately align the face size and the center position. When these techniques are applied to a general image, first, processing for detecting a face from the image is required. As for the face detection technique, it is known that the method of Non-Patent Document 2 is very effective.

特許第３８７３７９３号公報Japanese Patent No. 3873793

Ｚｈａｏ． Ｇ， Ｐｉｅｔｉｋａｉｎｅｎ． Ｍ， "Ｄｙｎａｍｉｃ Ｔｅｘｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎｓ"， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ． ２９， ｎｏ． ６， ｐｐ． ９１５ − ９２８， ２００７Zhao. G, Pietikainen. M, "Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions", IEEE Transactions on Pattern Analysis. 29, no. 6, pp. 915-928, 2007 Ｐ． Ｖｉｏｌａ， Ｍ． Ｊｏｎｅｓ， "Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"， ｉｎ Ｐｒｏｃ． Ｏｆ ＣＶＰＲ， ｖｏｌ．１， ｐｐ．５１１−５１８， Ｄｅｃｅｍｂｅｒ， ２００１P. Viola, M.M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol. 1, pp. 511-518, December, 2001

非特許文献２の手法に限らず他の有効な顔検出手法は、様々な環境下に対してもロバストな顔検出が可能である反面、顔の位置は人物によって大きく変動し、常に一定の位置で検出することができず、顔検出位置を使用して正しく領域設定を行うことが非常に難しい。したがって、顔検出処理とは別に眼や口等の器官の重心位置等を再度検出する等何らかの手法で領域を正しく設定する必要がある。
しかしながら、顔検出処理、表情認識処理とは別に正しい領域設定処理を導入すると性能は向上するが、処理負荷が大きくなるという問題がある。 Not only the method of Non-Patent Document 2, but other effective face detection methods can perform robust face detection under various environments, but the face position varies greatly depending on the person and is always a fixed position. Therefore, it is very difficult to set the area correctly using the face detection position. Therefore, in addition to the face detection process, it is necessary to correctly set the region by some method such as detecting the position of the center of gravity of an organ such as the eye or mouth again.
However, if correct region setting processing is introduced separately from face detection processing and facial expression recognition processing, performance is improved, but there is a problem that processing load increases.

本発明はこのような問題点に鑑みなされたもので、処理負荷を抑えつつ、より高性能なパターン認識を実現することを目的とする。   The present invention has been made in view of such problems, and an object thereof is to realize higher-performance pattern recognition while suppressing processing load.

そこで、本発明の画像処理装置は、画像を入力する画像入力手段と、前記画像入力手段で入力された前記画像から特徴の抽出を行う特徴抽出手段と、前記特徴抽出手段で抽出された特徴に対して複数の部分領域を設定する領域設定手段と、前記部分領域毎の部分空間を保持する部分空間保持手段と、前記領域設定手段で設定された複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間保持手段に保持される部分空間に射影し、複数の射影ベクトルを生成する部分空間射影手段と、前記部分空間射影手段で生成された複数の射影ベクトルから前記部分領域の夫々に対応する射影ベクトルを選択する選択手段と、前記選択手段で選択された前記射影ベクトルを連結し、識別特徴を生成する特徴生成手段と、前記特徴生成手段で生成された前記識別特徴を使用して識別処理を行う識別処理手段と、を有する。   Therefore, an image processing apparatus according to the present invention includes an image input unit that inputs an image, a feature extraction unit that extracts a feature from the image input by the image input unit, and a feature that is extracted by the feature extraction unit. A plurality of feature vectors are generated from a plurality of partial areas set by the area setting means for setting a plurality of partial areas, a partial space holding means for holding a partial space for each partial area, and the area setting means. Corresponding to each of the partial areas based on a plurality of projection vectors generated by the subspace projection means and a subspace projection means for projecting onto the subspace held by the subspace holding means and generating a plurality of projection vectors A selection unit that selects a projection vector to be generated, a feature generation unit that generates a discriminating feature by connecting the projection vectors selected by the selection unit, and is generated by the feature generation unit. Having an identification processing means for performing identification processing using the identification feature.

本発明によれば、処理負荷を抑えつつ、より高性能なパターン認識を実現することができる。   According to the present invention, it is possible to realize higher-performance pattern recognition while suppressing the processing load.

画像処理装置のハードウェア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of an image processing apparatus. 従来技術に局所領域を正しく設定するための眼や口等の器官位置を検出する処理を加えた図である。It is the figure which added the process which detects organ positions, such as eyes and a mouth, for setting a local region correctly to a prior art. 画像処理装置のソフトウェア構成の一例を示した図である。It is a figure showing an example of software composition of an image processing device. 一般的な顔検出手法を使用した場合の顔検出位置のズレを示した図である。It is the figure which showed the gap | deviation of the face detection position at the time of using a general face detection method. 輝度勾配ヒストグラムを生成する領域を示した図である。It is the figure which showed the area | region which produces | generates a brightness | luminance gradient histogram. １枚の画像に対する輝度勾配ヒストグラムを示した図である。It is the figure which showed the brightness | luminance gradient histogram with respect to one image. 大まかな領域探索と、より詳細な領域探索を示した図である。It is the figure which showed the rough area search and the more detailed area search. 特徴ベクトル生成部の詳細構成図を示した図である。It is the figure which showed the detailed block diagram of the feature vector production | generation part. 特徴ベクトル生成部の処理フローを示した図である。It is the figure which showed the processing flow of the feature vector production | generation part. ビン間隔５度の輝度勾配ヒストグラムから大まかな領域探索に使用するビン間隔３０度の輝度勾配ヒストグラムを生成する手法を説明した図である。It is a figure explaining the method of producing | generating the brightness | luminance gradient histogram of the bin | interval 30 degree | times used for a rough area search from the brightness | luminance gradient histogram of the bin | interval 5 degree | times. 特徴ベクトル生成部分領域を示した図である。It is the figure which showed the feature vector production | generation partial area | region. 特徴ベクトル生成部分領域から特徴ベクトルを生成する手法を示した図である。It is the figure which showed the method of producing | generating the feature vector from the feature vector production | generation partial area | region. 眼領域の画像と口領域の画像を使用して部分空間を生成する手法を示した図である。It is the figure which showed the method of producing | generating a partial space using the image of an eye area | region, and the image of a mouth area | region. 図１１の状態から特徴ベクトル生成部分領域を移動させた場合の特徴ベクトル生成部分領域を示した図である。FIG. 12 is a diagram illustrating a feature vector generation partial region when the feature vector generation partial region is moved from the state of FIG. 11. 各特徴ベクトル生成部分領域から生成した特徴ベクトルを各部分空間に射影する図である。It is a figure which projects the feature vector produced | generated from each feature vector production | generation partial area | region to each partial space. ビン間隔５度の輝度勾配ヒストグラムからより詳細な領域探索に使用するビン間隔１５度の輝度勾配ヒストグラムを生成する手法を説明した図である。It is the figure explaining the method of producing | generating the brightness | luminance gradient histogram of bin intervals of 15 degree | times used for a more detailed area | region search from the brightness | luminance gradient histogram of bin intervals of 5 degree | times. 大まかな領域探索で選択された領域から、より詳細な領域探索に使用する走査領域を示した図である。It is the figure which showed the scanning area | region used for a more detailed area | region search from the area | region selected by the rough area | region search. 顔の各パーツの形状毎に生成した部分空間を示した図である。It is the figure which showed the partial space produced | generated for every shape of each part of the face. 各特徴ベクトル生成部分領域から生成した特徴ベクトルを顔の各パーツの形状毎に生成した部分空間に射影する図である。It is a figure which projects the feature vector produced | generated from each feature vector production | generation partial area | region to the partial space produced | generated for every shape of each part of the face. 顔のパーツ形状毎の部分空間と選択された射影ベクトルを示した図である。It is the figure which showed the partial space for every part shape of the face, and the selected projection vector. 顔のパーツ形状毎の部分空間と選択された同一パーツ毎に最終的に選択された射影ベクトルを示した図である。It is the figure which showed the projection vector finally selected for every partial space and the selected same part for every face part shape.

以下、本発明の実施形態について図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜実施形態１＞
本実施形態では、対象とするオブジェクトを人物の顔とする。
図１は、画像処理装置のハードウェア構成の一例を示す図である。
図１に示されるように、画像処理装置１００は、ハードウェア構成として、制御装置１０と、記憶装置１１と、ネットワークインタフェース装置１２と、を含む。制御装置１０は、ＣＰＵ等であって、記憶装置１１に記憶されているプログラムに基づき処理を実行することによって、後述する画像処理装置１００のソフトウェア構成及びフローチャートの処理を実現する。記憶装置１１は、ＲＯＭ、ＲＡＭ、ＨＤ等であって、プログラムを記憶したり、画像を記憶したりする。ネットワークインタフェース装置１２は、画像処理装置１００をネットワークに接続する。
なお、本実施形態では、画像処理装置の機能はソフトウェアとして実装されているものとして説明を行うが、画像処理装置の各機能を専用のハードウェアとして画像処理装置に実装してもよい。
上述したように、従来の課題として顔検出の位置は人物によって大きく変動し、常に一定の位置で検出することができないという問題がある。図２は、従来技術に局所領域を正しく設定するための眼や口等の器官位置を検出する処理を加えた図である。図２のように、顔の大きさと位置を一定に揃える画像正規化処理に加えて、局所領域を正しく設定するための眼や口等の器官位置を検出することが必要である。しかしながら、局所領域を正しく設定するための眼や口等の器官位置を検出する処理を導入すると、処理負荷が大きくなるという問題がある。本実施形態では、これらの問題を解決するために、図３のように領域選択と特徴ベクトル生成とを同じ処理プロセスで行う。 <Embodiment 1>
In the present embodiment, a target object is a human face.
FIG. 1 is a diagram illustrating an example of a hardware configuration of the image processing apparatus.
As shown in FIG. 1, the image processing apparatus 100 includes a control device 10, a storage device 11, and a network interface device 12 as a hardware configuration. The control device 10 is a CPU or the like, and executes processing based on a program stored in the storage device 11, thereby realizing a software configuration of the image processing device 100 described later and processing of a flowchart. The storage device 11 is a ROM, RAM, HD, or the like, and stores a program or an image. The network interface device 12 connects the image processing device 100 to a network.
In the present embodiment, the function of the image processing apparatus is described as being implemented as software, but each function of the image processing apparatus may be implemented as dedicated hardware in the image processing apparatus.
As described above, the conventional problem is that the face detection position varies greatly depending on the person and cannot always be detected at a fixed position. FIG. 2 is a diagram in which processing for detecting an organ position such as an eye and a mouth for correctly setting a local region is added to the prior art. As shown in FIG. 2, in addition to the image normalization process for uniformly aligning the size and position of the face, it is necessary to detect the positions of organs such as eyes and mouth for correctly setting the local region. However, if a process for detecting an organ position such as an eye or a mouth for correctly setting a local region is introduced, there is a problem that a processing load increases. In the present embodiment, in order to solve these problems, region selection and feature vector generation are performed in the same processing process as shown in FIG.

図３は、画像処理装置のソフトウェア構成の一例を示した図である。図３に示されるように、画像処理装置１００は、ソフトウェア構成として、画像入力部１０００、顔位置検出部１１００、画像正規化部１２００、特徴抽出部１３００、領域選択・特徴ベクトル生成部１４００、表情判定部１５００を含む。実施形態１では、人物の表情を判定する手法について説明する。
画像入力部１０００は、レンズ等の集光素子、光を電気信号に変換するＣＭＯＳやＣＣＤ等の撮像素子、アナログ信号をデジタル信号に変換するＡＤ変換器を通過することによって、得られた画像データを入力する。更に、画像入力部１０００は、画像データを、間引き処理等を行うことによって、低解像度画像に変換する。例えば、画像入力部１０００は、ＶＧＡ（６４０×４８０［ｐｉｘｅｌ］）やＱＶＧＡ（３２０×２４０［ｐｉｘｅｌ］）に変換する。
顔位置検出部１１００では、画像入力部１０００に入力された画像内から人物の顔の位置を検出する。人物の顔の位置を検出する手法は、参考文献１や参考文献２等の手法が知られており、実施形態１では参考文献２による手法を使用する。なお、参考文献２による手法は、エッジ等の低次特徴から眼や口、更には顔等の高次の特徴を、ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓを使用して階層的に検出するため、顔位置に加えて、眼や口等の位置をも検出することができる。
「参考文献１」
御手洗祐輔， 森克彦， 真継優和， "選択的モジュール起動を用いたＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓによる変動にロバストな 顔検出システム"， ＦＩＴ （情報科学技術フォーラム）， Ｌｌ−０１３， ２００３
「参考文献２」
Ｐ． Ｖｉｏｌａ， Ｍ． Ｊｏｎｅｓ， "Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"， ｉｎ Ｐｒｏｃ． Ｏｆ ＣＶＰＲ， ｖｏｌ．１， ｐｐ．５１１−５１８， Ｄｅｃｅｍｂｅｒ， ２００１ FIG. 3 is a diagram illustrating an example of a software configuration of the image processing apparatus. As illustrated in FIG. 3, the image processing apparatus 100 includes, as software configurations, an image input unit 1000, a face position detection unit 1100, an image normalization unit 1200, a feature extraction unit 1300, a region selection / feature vector generation unit 1400, a facial expression. A determination unit 1500 is included. In the first embodiment, a method for determining a facial expression of a person will be described.
The image input unit 1000 passes through a condensing element such as a lens, an imaging element such as a CMOS or CCD that converts light into an electrical signal, and an image data obtained by passing through an AD converter that converts an analog signal into a digital signal. Enter. Further, the image input unit 1000 converts the image data into a low resolution image by performing a thinning process or the like. For example, the image input unit 1000 converts to VGA (640 × 480 [pixel]) or QVGA (320 × 240 [pixel]).
The face position detection unit 1100 detects the position of a human face from the image input to the image input unit 1000. As a method for detecting the position of a person's face, methods such as Reference 1 and Reference 2 are known. In Embodiment 1, the method according to Reference 2 is used. Note that the technique according to Reference 2 detects hierarchically high-order features such as eyes and mouth, and even faces from low-order features such as edges, using Convolutional Neural Networks. It is also possible to detect the position of the mouth and the like.
“Reference 1”
Yusuke Mitarai, Katsuhiko Mori, Yukazu Masatsugi, "Face Detection System Robust by Variational NeuralNetworks Using Selective Module Activation", FIT (Information Science and Technology Forum), Ll-013, 2003
“Reference 2”
P. Viola, M.M. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", in Proc. Of CVPR, vol. 1, pp. 511-518, December, 2001

画像正規化部１２００は、顔位置検出部１１００で検出された顔の位置、眼の位置を使用して、画像入力部１０００で入力された画像からの切り出し処理と、更には、顔の大きさが所定のサイズ、顔の向きが正立するようにアフィン変換等の正規化処理を行う。例えば、画像正規化部１２００は、顔の大きさを顔位置検出部１１００で検出された左右の眼の間の距離の２倍、顔の向きを顔位置検出部１１００で検出された左右の眼の間の直線の傾きとして定義する。そして、画像正規化部１２００は、顔の幅が８０画素、直線の傾きが０度、画像サイズが１４０×１４０［ｐｉｘｅｌ］となるように切り出しとアフィン変換を行う。なお、顔位置検出部１１００での顔検出位置は環境変動等の影響により非常に不安定であり、図４の顔検出位置１４０１のように必ずしも顔領域の中心に位置しない。このことから、画像正規化部１２００で生成される画像サイズは、例えば、顔の幅８０画素に対して必ず顔領域が含まれるように大きめの１４０×１４０［ｐｉｘｅｌ］としている。
特徴抽出部１３００は、画像正規化部１２００で正規化された画像に対して特徴抽出を行う。特徴抽出方法についても顔検出手法同様に様々な手法があるが、実施形態１では、特徴抽出部１３００は、参考文献３のように、式（１）から輝度勾配を算出し、算出した輝度勾配からヒストグラムを生成し、輝度勾配のヒストグラムを特徴として使用する。例えば、輝度勾配のヒストグラムを生成する領域を図５のように７×７［ｐｉｘｅｌ］とすると、正規化画像１４０×１４０［ｐｉｘｅｌ］に対しては図６のように、２０×２０の輝度の勾配ヒストグラムが生成される。また、実施形態１では輝度勾配のヒストグラムビンの幅は図６のように５度としており、０度から１８０度まで計３６個のビンを使用している。なお、本実施形態では、特徴抽出部１３００で抽出する特徴を輝度勾配としているが、これに限定されるわけではない。また、輝度勾配のヒストグラムを生成する領域や正規化画像サイズについても、これらに限定されるわけではない。
「参考文献３」
Ｎ． Ｄａｌａｌ， Ｂ． Ｔｒｉｇｇｓ， "Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ"， Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）， ２００５

The image normalization unit 1200 uses the face position and the eye position detected by the face position detection unit 1100 to cut out from the image input by the image input unit 1000, and further, the size of the face. Normalization processing such as affine transformation is performed so that the face is upright with a predetermined size. For example, the image normalization unit 1200 has the size of the face twice the distance between the left and right eyes detected by the face position detection unit 1100, and the left and right eyes detected by the face position detection unit 1100. Is defined as the slope of the straight line between Then, the image normalization unit 1200 performs clipping and affine transformation so that the face width is 80 pixels, the straight line has an inclination of 0 degree, and the image size is 140 × 140 [pixel]. Note that the face detection position in the face position detection unit 1100 is very unstable due to the influence of environmental fluctuations and the like, and is not necessarily located at the center of the face area like the face detection position 1401 in FIG. Therefore, the image size generated by the image normalization unit 1200 is, for example, a large 140 × 140 [pixel] so that the face area is always included with respect to the face width of 80 pixels.
The feature extraction unit 1300 performs feature extraction on the image normalized by the image normalization unit 1200. As for the feature extraction method, there are various methods similar to the face detection method. However, in the first embodiment, the feature extraction unit 1300 calculates the brightness gradient from Expression (1) as in Reference 3, and the calculated brightness gradient. A histogram is generated from the brightness gradient histogram and used as a feature. For example, if the region for generating the histogram of the luminance gradient is 7 × 7 [pixel] as shown in FIG. 5, the normalized image 140 × 140 [pixel] has a luminance of 20 × 20 as shown in FIG. A gradient histogram is generated. In the first embodiment, the width of the brightness gradient histogram bin is 5 degrees as shown in FIG. 6, and a total of 36 bins are used from 0 degrees to 180 degrees. In the present embodiment, the feature extracted by the feature extraction unit 1300 is a luminance gradient, but the present invention is not limited to this. Further, the region for generating the histogram of the luminance gradient and the normalized image size are not limited to these.
“Reference 3”
N. Dalal, B.D. Triggs, "Histogram of orientated gradients for human detection", Conference on Computer Vision and Pattern Recognition (CVPR), 2005

領域選択・特徴ベクトル生成部１４００は、以下の２つの処理を別々のプロセスで実行するのではなく、同一の処理プロセスで実行する。
「処理１」
特徴ベクトルを生成する領域選択
「処理２」
選択された領域からの特徴ベクトル生成
より具体的には、領域選択・特徴ベクトル生成部１４００は、特徴抽出部１３００で生成した輝度勾配のヒストグラム、低次元の部分空間、高次元部分を使用して以下の２つの処理を実行する。
「処理１の詳細」
低次元部分空間を使用した大まかな領域探索、高次元部分空間を使用した前記大まかな領域探索より、より詳細な領域探索
「処理２の詳細」
低次元部分空間を使用した眼の形状等の低周波成分特徴抽出、高次元部分空間を使用したシワ等の高周波成分特徴抽出
領域選択・特徴ベクトル生成部１４００は、処理１の領域選択では、部分空間へ射影した射影ベクトルの長さにより判定し、処理２の特徴ベクトル生成は射影ベクトルを部分空間から逆射影した特徴ベクトル（逆射影ベクトル）を使用する。 The region selection / feature vector generation unit 1400 executes the following two processes in the same processing process, not in separate processes.
“Process 1”
Region selection for generating feature vectors "Process 2"
Feature Vector Generation from Selected Region More specifically, the region selection / feature vector generation unit 1400 uses the luminance gradient histogram, low-dimensional subspace, and high-dimensional portion generated by the feature extraction unit 1300. The following two processes are executed.
“Details of Process 1”
More detailed region search than the rough region search using the low-dimensional subspace and the rough region search using the high-dimensional subspace "Details of processing 2"
Extraction of low-frequency component features such as eye shape using a low-dimensional subspace, and extraction of high-frequency component features such as wrinkles using a high-dimensional subspace The region selection / feature vector generation unit 1400 Judgment is made based on the length of the projection vector projected onto the space, and the feature vector generation in process 2 uses a feature vector (reverse projection vector) obtained by projecting the projection vector back from the subspace.

以下では、表情判定に有用な眼や口が含まれる領域の探索方法と共に特徴ベクトルの生成方法について詳細な説明をする。
なお、本実施形態では、領域選択・特徴ベクトル生成部１４００は、以下に示すステップ１とステップ２とを実施する場合について説明する。
「ステップ１」
図７のように第１の部分領域１４１１で第１の領域探索をおおまかに行い、おおまかな領域探索によって選択された領域を低次元の部分空間に射影し、逆射影するステップ
「ステップ２」
第１の部分領域１４１１とは異なる第２の部分領域１４１２を使用して第１の領域探索により限定された第２の領域に対してより詳細な探索を行い、詳細な探索によって選択された領域を高次元の部分空間に射影し、逆射影するステップ
なお、領域選択・特徴ベクトル生成部１４００は、これらの処理を探索領域毎に実行する。なお、本実施形態では、領域選択・特徴ベクトル生成部１４００は、おおまかな領域探索と、より詳細な領域探索と、の２段階ステップとしているが、これに限定されるわけではない。 In the following, a method for generating a feature vector will be described in detail together with a method for searching for an area including an eye or mouth useful for facial expression determination.
In this embodiment, the region selection / feature vector generation unit 1400 will be described with respect to a case where Step 1 and Step 2 described below are performed.
"Step 1"
As shown in FIG. 7, a step of roughly performing a first region search on the first partial region 1411, projecting the region selected by the rough region search onto a low-dimensional partial space, and performing reverse projection "Step 2"
A region selected by the detailed search by performing a more detailed search on the second region limited by the first region search using the second partial region 1412 different from the first partial region 1411 Step of projecting to a high-dimensional subspace and back-projecting The region selection / feature vector generation unit 1400 executes these processes for each search region. In the present embodiment, the region selection / feature vector generation unit 1400 has two steps of a rough region search and a more detailed region search. However, the present invention is not limited to this.

図８は、領域選択・特徴ベクトル生成部１４００の構成の一例を示す図である。
領域選択・特徴ベクトル生成部１４００は、特徴生成部１４１０、走査領域設定部１４２０、部分領域サイズ設定部１４３０、領域選択部１４４０、部分空間保持部１４５０、部分空間射影部１４６０、射影ベクトル選択部１４７０、部分空間逆射影部１４８０を含む。
特徴生成部１４１０は、特徴抽出部１３００で生成した第１の輝度勾配のヒストグラムを使用して、第２の輝度勾配ヒストグラムを生成する。
走査領域設定部１４２０は、走査領域と走査部分領域を決定する。
部分領域サイズ設定部１４３０は、部分領域のサイズを設定する。
領域選択部１４４０は、走査領域設定部１４２０で設定した走査領域内から部分領域サイズ設定部１４３０で設定された部分領域のサイズに基づいて部分領域位置を決定する。
部分空間保持部１４５０は、予め眼・口の部分領域毎の領域探索に使用する複数の部分空間を記憶装置１１等に保持する。
部分空間射影部１４６０は、部分空間保持部１４５０で格納されている夫々の部分空間に領域選択部１４４０で選択された部分領域に対応する第２の輝度ヒストグラムの一部を射影し、射影ベクトルを生成する。
射影ベクトル選択部１４７０は、部分空間射影部１４６０における複数の部分空間への射影結果を使用して眼・口領域を選択（射影ベクトルを選択）する。
部分空間逆射影部１４８０は、射影ベクトル選択部１４７０で選択された射影ベクトルを部分空間から逆射影して表情判定に必要な特徴ベクトルを生成する。 FIG. 8 is a diagram illustrating an example of the configuration of the region selection / feature vector generation unit 1400.
The region selection / feature vector generation unit 1400 includes a feature generation unit 1410, a scanning region setting unit 1420, a partial region size setting unit 1430, a region selection unit 1440, a partial space holding unit 1450, a partial space projection unit 1460, and a projection vector selection unit 1470. , A subspace inverse projection unit 1480 is included.
The feature generation unit 1410 generates a second luminance gradient histogram using the first luminance gradient histogram generated by the feature extraction unit 1300.
The scan area setting unit 1420 determines a scan area and a scan partial area.
The partial area size setting unit 1430 sets the size of the partial area.
The region selection unit 1440 determines a partial region position based on the size of the partial region set by the partial region size setting unit 1430 from within the scanning region set by the scanning region setting unit 1420.
The partial space holding unit 1450 holds, in the storage device 11 or the like, a plurality of partial spaces used for area search for each partial area of the eye / mouth.
The partial space projection unit 1460 projects a part of the second luminance histogram corresponding to the partial region selected by the region selection unit 1440 to each partial space stored in the partial space holding unit 1450, and generates a projection vector. Generate.
The projection vector selection unit 1470 selects an eye / mouth region (selects a projection vector) using the projection results onto a plurality of partial spaces in the partial space projection unit 1460.
The subspace reverse projection unit 1480 generates a feature vector necessary for facial expression determination by reversely projecting the projection vector selected by the projection vector selection unit 1470 from the subspace.

図９は、領域選択・特徴ベクトル生成部１４００の処理の一例を示すフローチャートである。
まずは、大まかな領域探索と低周波特徴とを生成するステップ１について説明する。
ステップ１０１では、特徴生成部１４１０は、特徴抽出部１３００で生成した第１の輝度勾配のヒストグラムを使用して、第２の輝度勾配ヒストグラムを生成する。上述したように、まずはおおまかな領域探索を行うので、例えば、特徴生成部１４１０は、第２の輝度勾配のヒストグラムのビン数を６に決定する。第２の輝度勾配のヒストグラムのビン数を６に設定した場合、ビンの幅は３０度となる。したがって、ビンの幅を５度として特徴抽出部１３００で生成した第１の輝度勾配のヒストグラム各要素同士を加算することで、ビン数が６の第２の輝度勾配のヒストグラムを生成することができる。例えば、図１０の０−５、５−１０、１０−１５、１５−２０、２０−２５、２５−３０度要素を加算することで、０−３０度要素を生成することができる。このようにして、予め細かいビン間隔で第１の輝度勾配のヒストグラムを生成しておくことにより、ヒストグラムの各要素同士を加算するだけで第２の様々なヒストグラムを高速に生成することができる。 FIG. 9 is a flowchart illustrating an example of processing of the region selection / feature vector generation unit 1400.
First, step 1 for generating a rough region search and low-frequency features will be described.
In step 101, the feature generation unit 1410 generates a second luminance gradient histogram using the first luminance gradient histogram generated by the feature extraction unit 1300. As described above, first, a rough region search is performed. For example, the feature generation unit 1410 determines that the number of bins of the histogram of the second luminance gradient is six. When the number of bins in the histogram of the second luminance gradient is set to 6, the bin width is 30 degrees. Therefore, by adding the first luminance gradient histogram elements generated by the feature extraction unit 1300 with a bin width of 5 degrees, a second luminance gradient histogram with 6 bins can be generated. . For example, the 0-30 degree element can be generated by adding the 0-5, 5-10, 10-15, 15-20, 20-25, and 25-30 degree elements in FIG. In this way, by generating the histogram of the first luminance gradient at a fine bin interval in advance, the second various histograms can be generated at high speed simply by adding the elements of the histogram.

ステップ１０２では、走査領域設定部１４２０は、走査領域を決定する。例えば、走査領域設定部１４２０は、最初の大まかな探索では、第２の輝度勾配のヒストグラム全体を１ヒストグラムおきに走査するように決定する。
ステップ１０３では、部分領域サイズ設定部１４３０は、走査する際の部分領域サイズを決定する。例えば、部分領域サイズ設定部１４３０は、部分領域サイズを５×５に設定する。つまり、部分領域内には５×５の２５個の輝度勾配のヒストグラムが含まれていることになる。
ステップ１０４では、領域選択部１４４０は、図１１のようにステップ１０２で決定した走査領域の左上から１ヒストグラムおきにラスタスキャン方式で部分領域１４３１を順に走査する。
ステップ１０５では、まず、部分空間射影部１４６０は、図１２のように部分領域１４３１内の２５個のヒストグラム（Ｈ１，Ｈ２，・・・，Ｈ２５）から輝度勾配のヒストグラム要素を特徴ベクトルの要素として、１５０次元（２５ヒストグラム×６ビン）の特徴ベクトルＸを生成する。次に、部分空間射影部１４６０は、生成した特徴ベクトルＸを複数の低次元部分空間に射影する。例えば、部分空間射影部１４６０は、眼の部分空間と口の部分空間の夫々に射影する。 In step 102, the scanning area setting unit 1420 determines a scanning area. For example, the scanning area setting unit 1420 determines that the entire histogram of the second luminance gradient is scanned every other histogram in the first rough search.
In step 103, the partial region size setting unit 1430 determines a partial region size for scanning. For example, the partial area size setting unit 1430 sets the partial area size to 5 × 5. That is, the 5 × 5 25 luminance gradient histograms are included in the partial area.
In step 104, the area selection unit 1440 sequentially scans the partial area 1431 by the raster scan method every other histogram from the upper left of the scanning area determined in step 102 as shown in FIG.
In step 105, first, the subspace projection unit 1460 uses luminance histogram histogram elements from 25 histograms (H1, H2,..., H25) in the partial area 1431 as shown in FIG. , 150-dimensional (25 histogram × 6 bins) feature vector X is generated. Next, the subspace projection unit 1460 projects the generated feature vector X into a plurality of low-dimensional subspaces. For example, the partial space projection unit 1460 projects the partial space of the eye and the partial space of the mouth.

例えば、部分空間射影部１４６０は、図１３の様々な人物の眼の画像群１４４１に対して、輝度勾配のヒストグラム群１４４２と１５０次元の特徴ベクトル群

とを生成することで部分空間を生成する。そして、部分空間射影部１４６０は、これら１５０次元の特徴ベクトル群

に対して式２に従って主成分分析（以下、ＰＣＡ）を行うことで固有値

と基底ベクトル

とを算出する。 For example, the subspace projection unit 1460 performs a brightness gradient histogram group 1442 and a 150-dimensional feature vector group on the image group 1441 of the eyes of various persons in FIG.

A subspace is generated by generating. The subspace projection unit 1460 then collects these 150-dimensional feature vector groups.

Eigenvalues by performing principal component analysis (hereinafter PCA) according to Equation 2

And basis vectors

And calculate.

なお、部分空間射影部１４６０は、最初の大まかな探索においては、特徴ベクトルＸを固有値の大きさが１〜１０番目（累積寄与率は約８５％）までの基底ベクトルで生成した部分空間

に射影する。
なお、非常に値の小さい固有値は、画像のノイズ成分である場合が多い。このため、非常に値の小さい固有値に対応する基底ベクトルを使用しないで部分空間を構成することにより、表情判定に使用する特徴ベクトルからノイズを削除でき、表情を判定する性能が向上するという効果もある。また、部分空間射影部１４６０は、部分空間

への射影ベクトル

は、式３のように部分空間

を構成する基底ベクトルとの内積演算により算出することができる。

In the first rough search, the subspace projection unit 1460 generates a subspace generated from the feature vectors X based on basis vectors whose eigenvalues are 1 to 10th (cumulative contribution ratio is approximately 85%).

Project to.
Note that the eigenvalue having a very small value is often a noise component of an image. For this reason, by constructing a subspace without using a basis vector corresponding to an eigenvalue having a very small value, noise can be deleted from the feature vector used for facial expression determination, and the performance of determining facial expression is improved. is there. The partial space projection unit 1460 is a partial space.

Projection vector to

Is a subspace as shown in Equation 3.

Can be calculated by the inner product calculation with the basis vectors constituting the.

ステップ１０６では、走査領域設定部１４２０は、ステップ１０２で決定した全ての領域に対して走査を行ったかどうか判定する。全ての領域に対して走査を行っていない場合には、走査領域設定部１４２０は、ステップ１０４へ進み、図１４のように走査部分領域を移動させることにより、次の領域を選択する。
一方、ステップ１０２で決定した全ての領域に対して走査を行った場合には、走査領域設定部１４２０は、処理をステップ１０７へ進める。
ステップ１０７では、射影ベクトル選択部１４７０は、図１５のように各部分空間毎に射影した全ての射影ベクトル

を評価する。本実施形態においては、射影ベクトル選択部１４７０は、射影ベクトル

の中でベクトル長の最も大きな射影ベクトル

を探索する。例えば、ＣＬＡＦＩＣと呼ばれる手法においては、自己相関から部分空間を構成し、データを部分空間に射影したときの大きさを類似度としている。様々な人物の眼の領域から生成した部分空間に眼の領域から生成した特徴ベクトルを射影すると射影したときの射影ベクトル長が大きくなるが、眼の領域以外から生成した特徴ベクトルを射影すると射影したときの射影ベクトル長が小さくなる。射影ベクトル選択部１４７０は、このことを利用している。この処理によって、人物の眼の部分空間、口の部分空間等夫々の低次元部分空間毎に１つの射影ベクトルが選択される。 In step 106, the scanning area setting unit 1420 determines whether or not scanning has been performed for all the areas determined in step 102. If the entire region has not been scanned, the scanning region setting unit 1420 proceeds to step 104 and selects the next region by moving the scanning partial region as shown in FIG.
On the other hand, when all the regions determined in step 102 have been scanned, the scanning region setting unit 1420 advances the processing to step 107.
In step 107, the projection vector selection unit 1470 displays all the projection vectors projected for each partial space as shown in FIG.

To evaluate. In the present embodiment, the projection vector selection unit 1470 is a projection vector.

The largest projective vector in vector length

Explore. For example, in a technique called CLAFIC, a partial space is constructed from autocorrelation, and the size when data is projected onto the partial space is used as the similarity. When projecting a feature vector generated from an eye region onto a partial space generated from various human eye regions, the projection vector length when projected is increased, but projecting when a feature vector generated from outside the eye region is projected. The projection vector length at the time becomes small. The projection vector selection unit 1470 uses this fact. By this processing, one projection vector is selected for each low-dimensional subspace such as the partial space of the human eye and the partial space of the mouth.

ステップ１０８では、部分空間逆射影部１４８０は、ステップ１０７で探索された各部分空間上で最も長い射影ベクトル

を部分空間から逆射影し、逆射影した特徴ベクトル

を表情判定に使用する特徴ベクトルを構成する要素として保持しておく。
以上のように、特徴ベクトルを部分空間に射影・逆射影するだけで、表情判定に使用する領域選択と特徴ベクトル生成との双方を同時に実行することができる。
なお、ステップ１０７では、射影ベクトル選択部１４７０は、射影ベクトルの中でベクトル長の最も大きな射影ベクトルを探索するようにしたが、部分空間へ射影する前の特徴ベクトル

と、逆射影した特徴ベクトル

とを比較するようにしてもよい。この手法を使用する場合には、射影ベクトル選択部１４７０は、部分空間へ射影する前の特徴ベクトル

の大きさと、逆射影した特徴ベクトル

の大きさと、の差が最も小さい逆射影した特徴ベクトル

を選択する。 In step 108, the subspace inverse projection unit 1480 has the longest projection vector on each subspace searched in step 107.

Is a feature vector that is projected back from the subspace and backprojected

Is stored as an element constituting a feature vector used for facial expression determination.
As described above, both region selection and feature vector generation used for facial expression determination can be performed simultaneously by simply projecting and back-projecting a feature vector onto a partial space.
In step 107, the projection vector selection unit 1470 searches for the projection vector having the longest vector length among the projection vectors. However, the feature vector before the projection to the subspace is performed.

And the back-projected feature vector

And may be compared. When this method is used, the projection vector selection unit 1470 uses the feature vector before projection onto the subspace.

Size and backprojected feature vector

Back-projected feature vector with the smallest difference between

Select.

次に、より詳細な領域探索と低周波成分と高周波成分との双方を含む特徴を生成するステップ２について説明する。
ステップ１０９では、特徴生成部１４１０は、より詳細な領域探索を実行するために特徴抽出部１３００で生成した第１の輝度勾配のヒストグラムを使用して、第３の輝度勾配ヒストグラムを生成する。第３の輝度勾配ヒストグラムのビン数は、３に設定する（図１６）。
ステップ１１０では、走査領域設定部１４２０は、第１の大まかな領域探索（ステップ１）において図１７のように領域１４４６が選択された場合、第２の詳細な領域探索においては探索領域を領域１４４５のように限定する。
更に、ステップ１１１においては、部分領域サイズ設定部１４３０は、部分領域サイズを図１７のように５×５から３×３に変更する。つまり部分領域サイズ設定部１４３０は、大まかな領域探索においては図１７のように所定の部分領域より大きめの部分領域１４４３を設定し、より詳細な領域探索においては大まかな領域探索で使用した部分領域１４４３よりも小さい部分領域１４４４を設定する。
ステップ１１２では、領域選択部１４４０は、第１の大まかな領域探索（ステップ１）と同様にステップ１１０で決定した走査領域からステップ１１１で決定した部分領域サイズに基づいて領域選択を行う。 Next, step 2 in which a more detailed region search and a feature including both a low frequency component and a high frequency component are generated will be described.
In step 109, the feature generation unit 1410 generates a third luminance gradient histogram using the first luminance gradient histogram generated by the feature extraction unit 1300 in order to perform a more detailed region search. The number of bins in the third luminance gradient histogram is set to 3 (FIG. 16).
In step 110, when the region 1446 is selected as shown in FIG. 17 in the first rough region search (step 1), the scanning region setting unit 1420 sets the search region as the region 1445 in the second detailed region search. Limit as follows.
Further, in step 111, the partial area size setting unit 1430 changes the partial area size from 5 × 5 to 3 × 3 as shown in FIG. That is, the partial area size setting unit 1430 sets a partial area 1443 larger than the predetermined partial area as shown in FIG. 17 in the rough area search, and the partial area used in the rough area search in the more detailed area search. A partial area 1444 smaller than 1443 is set.
In step 112, the area selection unit 1440 performs area selection based on the partial area size determined in step 111 from the scanning area determined in step 110, as in the first rough area search (step 1).

ステップ１１３では、部分空間射影部１４６０は、ステップ１１２で選択された領域から第１の大まかな領域探索（ステップ１）と同様に特徴ベクトルを生成し、生成した特徴ベクトルを複数の高次元部分空間に射影する。例えば、部分空間射影部１４６０は、眼の部分空間と口の部分空間の夫々に射影する。ここで、部分空間射影部１４６０は、使用する部分空間は、固有値の大きさが１〜２０番目（累積寄与率は約９５％）までの基底ベクトルで生成したより高次元の部分空間

を使用する。
ステップ１１４では、走査領域設定部１４２０は、ステップ１１０で決定した全ての領域に対して走査を行ったかどうか判定し、全ての領域に対して走査を行っていない場合には、ステップ１１２へ処理を進める。
ステップ１１５では、射影ベクトル選択部１４７０は、第１の大まかな領域探索（ステップ１）と同様に夫々の高次元空間毎に最もベクトル長の大きい射影ベクトル

を探索する。
ステップ１１６では、部分空間逆射影部１４８０は、部分空間

から逆射影した特徴ベクトル

を表情判定に使用する特徴ベクトルを構成する要素として保持しておく。 In step 113, the subspace projection unit 1460 generates a feature vector from the region selected in step 112 in the same manner as the first rough region search (step 1), and the generated feature vector is a plurality of high-dimensional subspaces. Project to. For example, the partial space projection unit 1460 projects the partial space of the eye and the partial space of the mouth. Here, the subspace projection unit 1460 uses a higher-dimensional subspace generated by basis vectors whose eigenvalues are 1 to 20th (cumulative contribution rate is approximately 95%).

Is used.
In step 114, the scanning area setting unit 1420 determines whether or not all the areas determined in step 110 have been scanned. If all the areas have not been scanned, the process proceeds to step 112. Proceed.
In step 115, the projection vector selection unit 1470 performs the projection vector having the largest vector length for each high-dimensional space in the same manner as in the first rough region search (step 1).

Explore.
In step 116, the subspace inverse projection unit 1480

Feature vector back-projected from

Is stored as an element constituting a feature vector used for facial expression determination.

以上のように、領域選択・特徴ベクトル生成部１４００は、大まかな領域探索により生成された特徴ベクトルから低周波成分だけの特徴、より詳細な領域探索により生成された特徴ベクトルから低周波成分と高周波成分との双方を含む特徴を生成する。
また、本実施形態においては、領域選択・特徴ベクトル生成部１４００は、人物の表情を眼や口等顔パーツの形状より判定するため、表情判定に必要な左眼、右眼、口の３つの顔パーツに対して上述した処理を実行する。以上の処理を実行すると、合計で６つの特徴ベクトルを生成することができる。左眼の大まかな領域探索により生成した特徴ベクトルを

詳細な領域探索により生成した特徴ベクトルを

右眼の大まかな領域探索により生成した特徴ベクトルを

詳細な領域探索により生成した特徴ベクトルを

口の大まかな領域探索により生成した特徴ベクトルを

詳細な領域探索により生成した特徴ベクトルを

とする。 As described above, the region selection / feature vector generation unit 1400 includes only the low frequency component from the feature vector generated by the rough region search, and the low frequency component and the high frequency from the feature vector generated by the more detailed region search. Generate features that include both components.
In the present embodiment, the region selection / feature vector generation unit 1400 determines the facial expression of a person based on the shape of a facial part such as an eye or a mouth. The above-described processing is performed on the face part. When the above processing is executed, a total of six feature vectors can be generated. Feature vector generated by rough region search of left eye

Feature vectors generated by detailed region search

A feature vector generated by a rough region search of the right eye

Feature vectors generated by detailed region search

The feature vector generated by the rough region search of the mouth

Feature vectors generated by detailed region search

And

表情判定部１５００は、上述した計６つの特徴ベクトルを連結することで表情判定に使用する特徴ベクトル

を生成する。Ｆは、識別特徴の一例である。そして、表情判定部１５００は、予め用意しておいた参考文献４のＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（以下、ＳＶＭ）等の識別器に特徴ベクトルＦを入力することで表情判定を行う。ＳＶＭの学習は、例えば大量の喜び表情画像から生成した特徴ベクトル群

と非喜び表情画像から生成した特徴ベクトル群

とを使用して行う。
なお、本実施形態では、生成した特徴ベクトルを使用して表情判定を行う場合について説明したが、予め個人毎の代表特徴ベクトルを保持させておいて、最も類似する特徴ベクトルを選択することで個人を特定する顔認識に使用することもできる。
「参考文献４」
Ｖ． Ｖａｐｎｉｋ． "Ｓｔａｔｉｓｔｉｃａｌ Ｌｅａｒｎｉｎｇ Ｔｈｅｏｒｙ"， Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ， １９９８ The facial expression determination unit 1500 connects the above six feature vectors to use the feature vector used for facial expression determination.

Is generated. F is an example of an identification feature. Then, the facial expression determination unit 1500 performs facial expression determination by inputting the feature vector F to a classifier such as the Support Vector Machine (hereinafter referred to as “SVM”) of Reference Document 4 prepared in advance. SVM learning is performed by, for example, feature vector groups generated from a large amount of joy expression images.

Vector vectors generated from images of facial expressions

And do with.
In the present embodiment, the case where facial expression determination is performed using the generated feature vector has been described. However, a representative feature vector for each individual is held in advance, and an individual can be selected by selecting the most similar feature vector. It can also be used for face recognition that identifies
“Reference 4”
V. Vapnik. "Statistical Learning Theory", John Wiley & Sons, 1998

以上のように、本実施形態においては以下の処理について説明した。
処理１：部分領域から生成した特徴を部分空間に射影し、射影ベクトルを使用して眼や口等の大まかな領域を探索し、射影ベクトルを逆射影する。
このことで表情判定に使用する低周波成分特徴を生成する。
処理２：大まかな領域探索により選択された領域から、より詳細な探索を行う領域を決定し、部分領域から生成した特徴を部分空間に射影し、射影ベクトルを使用して眼や口等の詳細な領域を探索し、射影ベクトルを逆射影する。
このことで表情判定に使用する低周波成分と高周波成分との双方を含む特徴を生成する。
このように、粗密探索と部分空間への射影と逆射影とにより、領域選択と特徴ベクトル生成とを同時に実行することができる。これにより、処理負荷の軽減を実現することができる。また、部分空間への射影はノイズ除去の効果もあるため、高性能な表情判定を行うこともできる。 As described above, the following processing has been described in the present embodiment.
Process 1: A feature generated from a partial region is projected onto a partial space, a rough region such as an eye or a mouth is searched using the projection vector, and the projection vector is back-projected.
This generates a low-frequency component feature used for facial expression determination.
Process 2: A region to be searched in more detail is determined from the region selected by the rough region search, the feature generated from the partial region is projected onto the partial space, and details such as eyes and mouth are used using the projection vector. Search for a new area and backproject the projection vector.
This generates a feature including both a low frequency component and a high frequency component used for facial expression determination.
In this manner, region selection and feature vector generation can be performed simultaneously by the coarse / fine search, the projection onto the partial space, and the reverse projection. Thereby, reduction of processing load is realizable. In addition, since the projection onto the partial space also has an effect of noise removal, high-performance facial expression determination can be performed.

＜実施形態２＞
実施形態１では、眼や口等顔を構成するパーツ毎に部分空間を生成したが、実施形態２では同一パーツで異なる部分空間を構成する。なぜならば、眼や口等の顔パーツは表情変化や個人差が存在するため、顔パーツ毎の部分空間を使用した方がより領域探索の性能が向上するためである。例えば、図１８のように、大きい眼の部分空間（ｓｕｂｓｐａｃｅ１'）と細い眼の部分空間（ｓｕｂｓｐａｃｅ２'）、口を閉じた部分空間（ｓｕｂｓｐａｃｅ３'）と口を開けた部分空間（ｓｕｂｓｐａｃｅ４'）、を構成する。以下では、実施形態１と異なる点について主に説明をする。
ソフトウェア構成については、実施形態１同様に図３のようになる。図３の領域選択・特徴ベクトル生成部１４００の詳細構成についても図８と同様であるが、部分空間保持部１４５０に格納されている部分空間、及び部分空間射影部１４６０における射影する部分空間の種類及び数が実施形態１と実施形態２とでは異なる。したがって、部分空間射影部１４６０においては図１９のように顔のパーツ形状変化毎の部分空間に射影する。 <Embodiment 2>
In the first embodiment, a partial space is generated for each part constituting a face such as an eye or a mouth. However, in the second embodiment, different partial spaces are formed by the same part. This is because facial parts such as eyes and mouth have facial expression changes and individual differences, so that the use of a partial space for each facial part improves the area search performance. For example, as shown in FIG. 18, a large eye partial space (subspace 1 ′), a thin eye partial space (subspace 2 ′), a partial space with closed mouth (subspace 3 ′), and a partial space with open mouth (subspace 4 ′), Configure. In the following, differences from the first embodiment will be mainly described.
The software configuration is as shown in FIG. 3 as in the first embodiment. The detailed configuration of the area selection / feature vector generation unit 1400 in FIG. 3 is the same as that in FIG. 8, but the type of subspace stored in the subspace holding unit 1450 and the subspace to be projected in the subspace projection unit 1460 And the number is different between the first embodiment and the second embodiment. Therefore, the partial space projection unit 1460 projects the partial space for each change in the facial part shape as shown in FIG.

これらの処理を実施形態１で使用した図９の処理フローを使用して説明する。
ステップ１０１から１０４までは実施形態１同様なため説明を省略する。
ステップ１０５では、部分空間射影部１４６０は、上述したように、 眼や口等の顔の各パーツの形状変化毎の低次元部分空間も用意し、これらの部分空間に射影する。
ステップ１０６では、走査領域設定部１４２０は、全ての領域を走査したかどうか判定し、全ての領域を走査していない場合にはステップ１０４へ進む。一方、走査領域設定部１４２０は、全ての領域を走査した場合には、処理をステップ１０７へ進める。
ステップ１０７では、射影ベクトル選択部１４７０は、実施形態１同様に低次元部分空間毎に射影ベクトル長の最も大きい射影ベクトルを選択する。例えば、射影ベクトル選択部１４７０は、大きい眼の低次元部分空間（ｓｕｂｓｐａｃｅ１'）からは射影ベクトルＸ２''、細い眼の低次元部分空間（ｓｕｂｓｐａｃｅ２'）からは射影ベクトルＸ５'''を選択する。但し、眼や口等の顔のパーツ形状変化毎に部分空間を構成しているため、低次元部分空間毎の射影ベクトル長の最も大きい射影ベクトルを選択すると、図２０のように同一パーツで複数の射影ベクトルが得られる。例えば、図２０の射影ベクトルＸ２''と射影ベクトルＸ５'''とは眼に関する射影ベクトルである。この場合には、射影ベクトル選択部１４７０は、同一パーツ中で射影ベクトル長を比較し、射影ベクトル長の最も大きな射影ベクトルを選択する。例えば、射影ベクトル選択部１４７０は、図２０の射影ベクトルＸ２''と射影ベクトルＸ５'''との長さを比較し、図２１のように射影ベクトルＸ２''を選択する。 These processes will be described using the process flow of FIG. 9 used in the first embodiment.
Steps 101 to 104 are the same as those in the first embodiment, and a description thereof will be omitted.
In step 105, as described above, the partial space projection unit 1460 also prepares a low-dimensional partial space for each shape change of each part of the face such as the eyes and mouth, and projects the partial space onto these partial spaces.
In step 106, the scanning area setting unit 1420 determines whether or not all areas have been scanned, and proceeds to step 104 if all areas have not been scanned. On the other hand, the scanning area setting unit 1420 advances the process to step 107 when all the areas have been scanned.
In step 107, the projection vector selection unit 1470 selects the projection vector having the longest projection vector length for each low-dimensional subspace as in the first embodiment. For example, the projection vector selection unit 1470 selects the projection vector X2 ″ from the low-dimensional subspace (subspace 1 ′) of the large eye, and the projection vector X5 ′ ″ from the low-dimensional subspace (subspace2 ′) of the thin eye. . However, since a partial space is configured for each part shape change of the face such as the eyes and mouth, when a projection vector having the longest projection vector length is selected for each low-dimensional partial space, a plurality of the same parts as shown in FIG. The projection vector of is obtained. For example, the projection vector X2 ″ and the projection vector X5 ′ ″ in FIG. 20 are projection vectors related to the eyes. In this case, the projection vector selection unit 1470 compares the projection vector lengths in the same part, and selects the projection vector having the largest projection vector length. For example, the projection vector selection unit 1470 compares the lengths of the projection vector X2 ″ and the projection vector X5 ′ ″ shown in FIG. 20, and selects the projection vector X2 ″ as shown in FIG.

ステップ１０８では、部分空間逆射影部１４８０は、ステップ１０７で選択された射影ベクトルを実施形態１同様に逆射影する。
ステップ１０９からステップ１１２までの処理についても実施形態１と同様なため説明を省略する。
ステップ１１３では、部分空間射影部１４６０は、ステップ１０５と同様に眼や口等の顔の各パーツの形状変化毎の高次元部分空間に射影する。
ステップ１１４では、走査領域設定部１４２０は、全ての領域を走査したかどうか判定し、全ての領域を走査していない場合にはステップ１１２へ進む。一方、走査領域設定部１４２０は、全ての領域を走査した場合には、処理をステップ１１５へ進める。
ステップ１１５では、射影ベクトル選択部１４７０は、眼や口等の顔の各パーツの形状変化の高次元部分空間毎にステップ１０７同様に射影ベクトルを選択する。
ステップ１１６では、部分空間逆射影部１４８０は、ステップ１０８同様に射影ベクトルを逆射影することで特徴ベクトルを生成する。
以上のように、眼や口等の顔パーツの表情変化や個人差に対応するため、顔のパーツ形状変化毎の部分空間を構成することで、より正確な領域探索を実施し、更に表情判定や個人を特定する個人認証等の識別処理をより高精度にすることができる。 In step 108, the subspace reverse projection unit 1480 performs reverse projection of the projection vector selected in step 107 as in the first embodiment.
Since the processing from step 109 to step 112 is the same as that in the first embodiment, the description thereof is omitted.
In step 113, the subspace projection unit 1460 projects to a high-dimensional subspace for each shape change of each part of the face such as the eyes and mouth, as in step 105.
In step 114, the scanning area setting unit 1420 determines whether or not all areas have been scanned. If not, the process proceeds to step 112. On the other hand, the scanning area setting unit 1420 advances the process to step 115 when all the areas have been scanned.
In step 115, the projection vector selection unit 1470 selects a projection vector in the same manner as in step 107 for each high-dimensional subspace of the shape change of each part of the face such as the eyes and mouth.
In step 116, the subspace reverse projection unit 1480 generates a feature vector by performing reverse projection of the projection vector as in step 108.
As described above, in order to respond to facial expression changes such as eyes and mouth and individual differences, a more accurate area search is performed by configuring a partial space for each facial part shape change, and facial expression determination is performed. And identification processing such as personal authentication for identifying an individual can be made more accurate.

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 <Other embodiments>
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.

以上、上述した各実施形態によれば、処理負荷を抑えつつ、より高性能なパターン認識を実現することができる。   As described above, according to each of the above-described embodiments, it is possible to realize higher-performance pattern recognition while suppressing the processing load.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.

１０ 制御装置 10 Control device

Claims (15)

画像を入力する画像入力手段と、
前記画像入力手段で入力された前記画像から特徴の抽出を行う特徴抽出手段と、
前記特徴抽出手段で抽出された特徴に対して複数の部分領域を設定する領域設定手段と、
前記部分領域毎の部分空間を保持する部分空間保持手段と、
前記領域設定手段で設定された複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間保持手段に保持される部分空間に射影し、複数の射影ベクトルを生成する部分空間射影手段と、
前記部分空間射影手段で生成された複数の射影ベクトルから前記部分領域の夫々に対応する射影ベクトルを選択する選択手段と、
前記選択手段で選択された前記射影ベクトルを連結し、識別特徴を生成する特徴生成手段と、
前記特徴生成手段で生成された前記識別特徴を使用して識別処理を行う識別処理手段と、
を有する画像処理装置。 An image input means for inputting an image;
Feature extraction means for extracting features from the image input by the image input means;
Area setting means for setting a plurality of partial areas for the features extracted by the feature extraction means;
Partial space holding means for holding a partial space for each partial area;
Generating a plurality of feature vectors from a plurality of partial regions set by the region setting means, projecting them onto a partial space held by the partial space holding means, and generating a plurality of projection vectors;
Selecting means for selecting a projection vector corresponding to each of the partial areas from a plurality of projection vectors generated by the partial space projection means;
Feature generation means for connecting the projection vectors selected by the selection means to generate an identification feature;
Identification processing means for performing identification processing using the identification feature generated by the feature generation means;
An image processing apparatus. 画像を入力する画像入力手段と、
前記画像入力手段で入力された前記画像から特徴の抽出を行う特徴抽出手段と、
前記特徴抽出手段で抽出された特徴に対して複数の部分領域を設定する領域設定手段と、
前記部分領域毎の部分空間を保持する部分空間保持手段と、
前記領域設定手段で設定された複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間保持手段に保持される部分空間に射影し、複数の射影ベクトルを生成する部分空間射影手段と、
前記部分空間射影手段で生成された複数の射影ベクトルから前記部分領域の夫々に対応する射影ベクトルを選択する選択手段と、
前記選択手段で選択された前記部分領域に対応する前記射影ベクトルを部分空間から逆射影し、逆射影ベクトルを生成する部分空間逆射影手段と、
前記部分空間逆射影手段で生成された前記逆射影ベクトルを連結し、識別特徴を生成する特徴生成手段と、
前記特徴生成手段で生成された前記識別特徴を使用して識別処理を行う識別処理手段と、
を有する画像処理装置。 An image input means for inputting an image;
Feature extraction means for extracting features from the image input by the image input means;
Area setting means for setting a plurality of partial areas for the features extracted by the feature extraction means;
Partial space holding means for holding a partial space for each partial area;
Generating a plurality of feature vectors from a plurality of partial regions set by the region setting means, projecting them onto a partial space held by the partial space holding means, and generating a plurality of projection vectors;
Selecting means for selecting a projection vector corresponding to each of the partial areas from a plurality of projection vectors generated by the partial space projection means;
Subspace reverse projection means for reversely projecting the projection vector corresponding to the partial area selected by the selection means from a partial space, and generating a reverse projection vector;
Feature generating means for connecting the reverse projection vectors generated by the subspace reverse projection means to generate an identification feature;
Identification processing means for performing identification processing using the identification feature generated by the feature generation means;
An image processing apparatus. 前記特徴抽出手段は、前記画像入力手段で入力された前記画像から輝度勾配のヒストグラムを特徴として抽出する請求項１又は２記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the feature extraction unit extracts a histogram of a luminance gradient as a feature from the image input by the image input unit. 画像を入力する画像入力手段と、
前記画像入力手段で入力された前記画像から特徴抽出を行う特徴抽出手段と、
前記特徴抽出手段で抽出された前記特徴に対する部分領域毎の部分空間を保持する部分空間保持手段と、
前記特徴抽出手段で抽出された前記特徴と前記部分空間保持手段で保持されている部分空間とを使用して識別処理に使用する識別特徴を生成する特徴生成手段と、
前記特徴生成手段で生成された前記識別特徴を使用して識別処理を行う識別処理手段と、
を有し、
前記特徴生成手段は、
前記識別特徴を抽出する領域を設定する走査領域設定手段と、
前記走査領域設定手段で決定された領域において複数の部分領域を設定する領域設定手段と、
前記領域設定手段で設定された前記複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間に射影し、複数の射影ベクトルを生成する部分空間射影手段と、
前記部分空間射影手段で生成された複数の射影ベクトルから前記部分領域の夫々に対応する前記射影ベクトルを選択する選択手段と、
を有し、
前記選択手段で選択された前記射影ベクトルを連結し、識別特徴を生成する画像処理装置。 An image input means for inputting an image;
Feature extraction means for extracting features from the image input by the image input means;
A partial space holding means for holding a partial space for each partial area for the feature extracted by the feature extraction means;
Feature generating means for generating an identification feature to be used for identification processing using the feature extracted by the feature extraction means and the partial space held by the partial space holding means;
Identification processing means for performing identification processing using the identification feature generated by the feature generation means;
Have
The feature generation means includes:
Scanning region setting means for setting a region for extracting the identification feature;
Area setting means for setting a plurality of partial areas in the area determined by the scanning area setting means;
Generating a plurality of feature vectors from the plurality of partial regions set by the region setting unit, projecting the partial vector onto the partial space, and generating a plurality of projection vectors;
Selecting means for selecting the projection vector corresponding to each of the partial areas from a plurality of projection vectors generated by the partial space projection means;
Have
An image processing apparatus for generating an identification feature by connecting the projection vectors selected by the selection means. 画像を入力する画像入力手段と、
前記画像入力手段で入力された前記画像から特徴抽出を行う特徴抽出手段と、
前記特徴抽出手段で抽出された前記特徴の部分領域毎の部分空間を保持する部分空間保持手段と、
前記特徴抽出手段で抽出された前記特徴と前記部分空間保持手段で保持されている部分空間を使用して識別処理に使用する識別特徴を生成する特徴生成手段と、
前記特徴生成手段で生成された前記識別特徴を使用して識別処理を行う識別処理手段と、
を有し、
前記特徴生成手段は、
前記識別特徴を抽出する領域を設定する走査領域設定手段と、
前記走査領域設定手段で決定された領域において複数の部分領域を設定する領域設定手段と、
前記領域設定手段で設定された前記複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間に射影し、複数の射影ベクトルを生成する部分空間射影手段と、
前記複数の射影ベクトルから前記部分領域の夫々に対応する前記射影ベクトルを選択する選択手段と、
前記選択手段で選択された前記射影ベクトルを逆射影し、逆射影ベクトルを生成する逆射影手段と、
を有し、
前記逆射影手段で生成された前記逆射影ベクトルを連結し、識別特徴を生成する画像処理装置。 An image input means for inputting an image;
Feature extraction means for extracting features from the image input by the image input means;
Partial space holding means for holding a partial space for each partial area of the feature extracted by the feature extraction means;
Feature generating means for generating an identification feature to be used for identification processing using the feature extracted by the feature extraction means and the partial space held by the partial space holding means;
Identification processing means for performing identification processing using the identification feature generated by the feature generation means;
Have
The feature generation means includes:
Scanning region setting means for setting a region for extracting the identification feature;
Area setting means for setting a plurality of partial areas in the area determined by the scanning area setting means;
Generating a plurality of feature vectors from the plurality of partial regions set by the region setting unit, projecting the partial vector onto the partial space, and generating a plurality of projection vectors;
Selecting means for selecting the projection vector corresponding to each of the partial regions from the plurality of projection vectors;
Reverse projection means for reversely projecting the projection vector selected by the selection means and generating a reverse projection vector;
Have
An image processing apparatus for generating an identification feature by connecting the reverse projection vectors generated by the reverse projection means. 前記識別処理手段は、前記特徴生成手段で生成された前記特徴を使用して人物の表情の識別処理を行う請求項１乃至５何れか１項記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the identification processing unit performs a facial expression identification process using the feature generated by the feature generation unit. 前記識別処理手段は、前記特徴生成手段で生成された前記特徴を使用して個人の識別処理を行う請求項１乃至５何れか１項記載の画像処理装置。   The image processing apparatus according to claim 1, wherein the identification processing unit performs an individual identification process using the feature generated by the feature generation unit. 画像処理装置が実行する画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴の抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴に対して複数の部分領域を設定する領域設定ステップと、
前記部分領域毎の部分空間を保持する部分空間保持ステップと、
前記領域設定ステップで設定された複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間保持ステップに保持される部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記部分空間射影ステップで生成された複数の射影ベクトルから前記部分領域の夫々に対応する射影ベクトルを選択する選択ステップと、
前記選択ステップで選択された前記射影ベクトルを連結し、識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を含む画像処理方法。 An image processing method executed by an image processing apparatus,
An image input step for inputting an image;
A feature extraction step for extracting features from the image input in the image input step;
A region setting step for setting a plurality of partial regions for the features extracted in the feature extraction step;
A partial space holding step for holding a partial space for each partial area;
Generating a plurality of feature vectors from a plurality of partial regions set in the region setting step, projecting them onto a partial space held in the partial space holding step, and generating a plurality of projection vectors;
A selection step of selecting a projection vector corresponding to each of the partial areas from a plurality of projection vectors generated in the subspace projection step;
A feature generation step of connecting the projection vectors selected in the selection step to generate an identification feature;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
An image processing method including: 画像処理装置が実行する画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴の抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴に対して複数の部分領域を設定する領域設定ステップと、
前記部分領域毎の部分空間を保持する部分空間保持ステップと、
前記領域設定ステップで設定された複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間保持ステップに保持される部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記部分空間射影ステップで生成された複数の射影ベクトルから前記部分領域の夫々に対応する射影ベクトルを選択する選択ステップと、
前記選択ステップで選択された前記部分領域に対応する前記射影ベクトルを部分空間から逆射影し、逆射影ベクトルを生成する部分空間逆射影ステップと、
前記部分空間逆射影ステップで生成された前記逆射影ベクトルを連結し、識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を含む画像処理方法。 An image processing method executed by an image processing apparatus,
An image input step for inputting an image;
A feature extraction step for extracting features from the image input in the image input step;
A region setting step for setting a plurality of partial regions for the features extracted in the feature extraction step;
A partial space holding step for holding a partial space for each partial area;
Generating a plurality of feature vectors from a plurality of partial regions set in the region setting step, projecting them onto a partial space held in the partial space holding step, and generating a plurality of projection vectors;
A selection step of selecting a projection vector corresponding to each of the partial areas from a plurality of projection vectors generated in the subspace projection step;
A subspace reverse projection step of generating a reverse projection vector by reversely projecting the projection vector corresponding to the partial region selected in the selection step;
A feature generation step of generating identification features by concatenating the reverse projection vectors generated in the subspace reverse projection step;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
An image processing method including: 画像処理装置が実行する画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された前記特徴に対する部分領域毎の部分空間を保持する部分空間保持ステップと、
前記特徴抽出ステップで抽出された前記特徴と前記部分空間保持ステップで保持されている部分空間とを使用して識別処理に使用する識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を含み、
前記特徴生成ステップは、
前記識別特徴を抽出する領域を設定する走査領域設定ステップと、
前記走査領域設定ステップで決定された領域において複数の部分領域を設定する領域設定ステップと、
前記領域設定ステップで設定された前記複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記部分空間射影ステップで生成された複数の射影ベクトルから前記部分領域の夫々に対応する前記射影ベクトルを選択する選択ステップと、
を含み、
前記特徴生成ステップでは、前記選択ステップで選択された前記射影ベクトルを連結し、識別特徴を生成する画像処理方法。 An image processing method executed by an image processing apparatus,
An image input step for inputting an image;
A feature extraction step of performing feature extraction from the image input in the image input step;
A partial space holding step for holding a partial space for each partial region for the feature extracted in the feature extraction step;
A feature generation step for generating an identification feature to be used for identification processing using the feature extracted in the feature extraction step and the partial space held in the partial space holding step;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
Including
The feature generation step includes:
A scanning region setting step for setting a region for extracting the identification feature;
An area setting step for setting a plurality of partial areas in the area determined in the scanning area setting step;
Generating a plurality of feature vectors from the plurality of partial regions set in the region setting step, projecting them onto the partial space, and generating a plurality of projection vectors;
A selection step of selecting the projection vector corresponding to each of the partial areas from a plurality of projection vectors generated in the subspace projection step;
Including
In the feature generation step, an image processing method for generating an identification feature by connecting the projection vectors selected in the selection step. 画像処理装置が実行する画像処理方法であって、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された前記特徴の部分領域毎の部分空間を保持する部分空間保持ステップと、
前記特徴抽出ステップで抽出された前記特徴と前記部分空間保持ステップで保持されている部分空間を使用して識別処理に使用する識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を含み、
前記特徴生成ステップは、
前記識別特徴を抽出する領域を設定する走査領域設定ステップと、
前記走査領域設定ステップで決定された領域において複数の部分領域を設定する領域設定ステップと、
前記領域設定ステップで設定された前記複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記射影ベクトルから前記部分領域の夫々に対応する前記射影ベクトルを選択する選択ステップと、
前記選択ステップで選択された前記射影ベクトルを逆射影し、逆射影ベクトルを生成する逆射影ステップと、
を含み、
前記特徴生成ステップでは、前記逆射影ステップで生成された前記逆射影ベクトルを連結し、識別特徴を生成する画像処理方法。 An image processing method executed by an image processing apparatus,
An image input step for inputting an image;
A feature extraction step of performing feature extraction from the image input in the image input step;
A partial space holding step for holding a partial space for each partial region of the feature extracted in the feature extraction step;
A feature generation step of generating an identification feature to be used for identification processing using the feature extracted in the feature extraction step and the partial space held in the partial space holding step;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
Including
The feature generation step includes:
A scanning region setting step for setting a region for extracting the identification feature;
An area setting step for setting a plurality of partial areas in the area determined in the scanning area setting step;
Generating a plurality of feature vectors from the plurality of partial regions set in the region setting step, projecting them onto the partial space, and generating a plurality of projection vectors;
Selecting the projection vector corresponding to each of the partial regions from the projection vector; and
A reverse projection step of reversely projecting the projection vector selected in the selection step to generate a reverse projection vector;
Including
In the feature generation step, an image processing method for generating an identification feature by concatenating the reverse projection vectors generated in the reverse projection step. コンピュータに、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴の抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴に対して複数の部分領域を設定する領域設定ステップと、
前記部分領域毎の部分空間を保持する部分空間保持ステップと、
前記領域設定ステップで設定された複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間保持ステップに保持される部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記部分空間射影ステップで生成された複数の射影ベクトルから前記部分領域の夫々に対応する射影ベクトルを選択する選択ステップと、
前記選択ステップで選択された前記射影ベクトルを連結し、識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を実行させるプログラム。 On the computer,
An image input step for inputting an image;
A feature extraction step for extracting features from the image input in the image input step;
A region setting step for setting a plurality of partial regions for the features extracted in the feature extraction step;
A partial space holding step for holding a partial space for each partial area;
Generating a plurality of feature vectors from a plurality of partial regions set in the region setting step, projecting them onto a partial space held in the partial space holding step, and generating a plurality of projection vectors;
A selection step of selecting a projection vector corresponding to each of the partial areas from a plurality of projection vectors generated in the subspace projection step;
A feature generation step of connecting the projection vectors selected in the selection step to generate an identification feature;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
A program that executes コンピュータに、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴の抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された特徴に対して複数の部分領域を設定する領域設定ステップと、
前記部分領域毎の部分空間を保持する部分空間保持ステップと、
前記領域設定ステップで設定された複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間保持ステップに保持される部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記部分空間射影ステップで生成された複数の射影ベクトルから前記部分領域の夫々に対応する射影ベクトルを選択する選択ステップと、
前記選択ステップで選択された前記部分領域に対応する前記射影ベクトルを部分空間から逆射影し、逆射影ベクトルを生成する部分空間逆射影ステップと、
前記部分空間逆射影ステップで生成された前記逆射影ベクトルを連結し、識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を実行させるプログラム。 On the computer,
An image input step for inputting an image;
A feature extraction step for extracting features from the image input in the image input step;
A region setting step for setting a plurality of partial regions for the features extracted in the feature extraction step;
A partial space holding step for holding a partial space for each partial area;
Generating a plurality of feature vectors from a plurality of partial regions set in the region setting step, projecting them onto a partial space held in the partial space holding step, and generating a plurality of projection vectors;
A selection step of selecting a projection vector corresponding to each of the partial areas from a plurality of projection vectors generated in the subspace projection step;
A subspace reverse projection step of generating a reverse projection vector by reversely projecting the projection vector corresponding to the partial region selected in the selection step;
A feature generation step of generating identification features by concatenating the reverse projection vectors generated in the subspace reverse projection step;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
A program that executes コンピュータに、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された前記特徴に対する部分領域毎の部分空間を保持する部分空間保持ステップと、
前記特徴抽出ステップで抽出された前記特徴と前記部分空間保持ステップで保持されている部分空間とを使用して識別処理に使用する識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を実行させ、
前記特徴生成ステップは、
前記識別特徴を抽出する領域を設定する走査領域設定ステップと、
前記走査領域設定ステップで決定された領域において複数の部分領域を設定する領域設定ステップと、
前記領域設定ステップで設定された前記複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記部分空間射影ステップで生成された複数の射影ベクトルから前記部分領域の夫々に対応する前記射影ベクトルを選択する選択ステップと、
を含み、
前記特徴生成ステップでは、前記選択ステップで選択された前記射影ベクトルを連結し、識別特徴を生成するプログラム。 On the computer,
An image input step for inputting an image;
A feature extraction step of performing feature extraction from the image input in the image input step;
A partial space holding step for holding a partial space for each partial region for the feature extracted in the feature extraction step;
A feature generation step for generating an identification feature to be used for identification processing using the feature extracted in the feature extraction step and the partial space held in the partial space holding step;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
And execute
The feature generation step includes:
A scanning region setting step for setting a region for extracting the identification feature;
An area setting step for setting a plurality of partial areas in the area determined in the scanning area setting step;
Generating a plurality of feature vectors from the plurality of partial regions set in the region setting step, projecting them onto the partial space, and generating a plurality of projection vectors;
A selection step of selecting the projection vector corresponding to each of the partial areas from a plurality of projection vectors generated in the subspace projection step;
Including
In the feature generation step, a program for generating an identification feature by connecting the projection vectors selected in the selection step. コンピュータに、
画像を入力する画像入力ステップと、
前記画像入力ステップで入力された前記画像から特徴抽出を行う特徴抽出ステップと、
前記特徴抽出ステップで抽出された前記特徴の部分領域毎の部分空間を保持する部分空間保持ステップと、
前記特徴抽出ステップで抽出された前記特徴と前記部分空間保持ステップで保持されている部分空間を使用して識別処理に使用する識別特徴を生成する特徴生成ステップと、
前記特徴生成ステップで生成された前記識別特徴を使用して識別処理を行う識別処理ステップと、
を実行させ、
前記特徴生成ステップは、
前記識別特徴を抽出する領域を設定する走査領域設定ステップと、
前記走査領域設定ステップで決定された領域において複数の部分領域を設定する領域設定ステップと、
前記領域設定ステップで設定された前記複数の部分領域から複数の特徴ベクトルを生成し、前記部分空間に射影し、複数の射影ベクトルを生成する部分空間射影ステップと、
前記複数の射影ベクトルから前記部分領域の夫々に対応する前記射影ベクトルを選択する選択ステップと、
前記選択ステップで選択された前記射影ベクトルを逆射影し、逆射影ベクトルを生成する逆射影ステップと、
を含み、
前記特徴生成ステップでは、前記逆射影ステップで生成された前記逆射影ベクトルを連結し、識別特徴を生成するプログラム。 On the computer,
An image input step for inputting an image;
A feature extraction step of performing feature extraction from the image input in the image input step;
A partial space holding step for holding a partial space for each partial region of the feature extracted in the feature extraction step;
A feature generation step of generating an identification feature to be used for identification processing using the feature extracted in the feature extraction step and the partial space held in the partial space holding step;
An identification process step for performing an identification process using the identification feature generated in the feature generation step;
And execute
The feature generation step includes:
A scanning region setting step for setting a region for extracting the identification feature;
An area setting step for setting a plurality of partial areas in the area determined in the scanning area setting step;
Generating a plurality of feature vectors from the plurality of partial regions set in the region setting step, projecting them onto the partial space, and generating a plurality of projection vectors;
A selection step of selecting the projection vector corresponding to each of the partial regions from the plurality of projection vectors;
A reverse projection step of reversely projecting the projection vector selected in the selection step to generate a reverse projection vector;
Including
In the feature generation step, a program for generating an identification feature by concatenating the reverse projection vectors generated in the reverse projection step.

Images