JP6827721B2 - Pattern discrimination device, information processing device, pattern discrimination method - Google Patents

Description

本発明は、パターン判別技術に関するものである。 The present invention relates to a pattern discrimination technique.

画像中の人体や顔といった特定のパターンを判別する技術が提案されている。特に、近年、携帯端末や車載機器等の組み込みシステム向けの高速・低コストなパターン判別手法が注目されている。 A technique for discriminating a specific pattern such as a human body or a face in an image has been proposed. In particular, in recent years, high-speed and low-cost pattern discrimination methods for embedded systems such as mobile terminals and in-vehicle devices have attracted attention.

非特許文献１では、パターン検出を高速化させるためのアルゴリズムが提案されている。このアルゴリズムでは、ブースティング学習によってパラメータを生成し、特徴画像を用いて弱判別器を順に処理する。そして、弱判別器の判別結果に基づいて、次の弱判別器を処理するかどうかを判断する。次の弱判別器を処理しないと判断する場合、残りの弱判別器の処理を省略する。 Non-Patent Document 1 proposes an algorithm for speeding up pattern detection. In this algorithm, parameters are generated by boosting learning, and weak discriminators are processed in order using feature images. Then, based on the discrimination result of the weak discriminator, it is determined whether or not to process the next weak discriminator. When it is determined that the next weak discriminator is not processed, the processing of the remaining weak discriminator is omitted.

非特許文献２では、非特徴文献１を拡張し、特徴画像の種類を増加させることにより、精度向上を図っている。 In Non-Patent Document 2, the accuracy is improved by expanding Non-Feature Document 1 and increasing the types of feature images.

非特許文献３では、顔検出を高速化させるためのハードウェア実装方法が提案されている。非特許文献３に記載の技術では、複数カテゴリ（姿勢等）の顔を判別するための弱判別器を空間並列に処理し、画像ウィンドウバッファから特徴画像を読出し、処理時間の短縮を図っている。 Non-Patent Document 3 proposes a hardware mounting method for speeding up face detection. In the technique described in Non-Patent Document 3, weak discriminators for discriminating faces in a plurality of categories (postures, etc.) are processed in spatial parallel, and feature images are read from an image window buffer to shorten the processing time. ..

P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, December 2001.P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, December 2001. Piotr Dollar, et al., “Integral Channel Features,” Proceedings of British Machine Vision Conference, pp. 91.1-91.11, September 2009.Piotr Dollar, et al., “Integral Channel Features,” Proceedings of British Machine Vision Conference, pp. 91.1-91.11, September 2009. Junguk Cho, et al., “Hardware acceleration of multi-view face detection,”Proceedings of IEEE Symposium on Application Specific Processors, pp. 66-69, July 2009.Junguk Cho, et al., “Hardware acceleration of multi-view face detection,” Proceedings of IEEE Symposium on Application Specific Processors, pp. 66-69, July 2009.

高精度のパターン判別を実現するため、カスケード接続された複数の弱判別器を用いた判別処理（非特許文献１、非特許文献２、非特許文献３）は、高速・低コストな手法としてよく使用されている技術である。また、特徴画像の種類は判別処理の処理速度と精度に影響する一つの要素である。特徴画像の種類を増やすことにより、判別処理の性能を向上させることが可能になるが、特徴画像を保持するためのメモリも増加する。 In order to realize highly accurate pattern discrimination, discrimination processing using a plurality of cascaded weak discriminators (Non-Patent Document 1, Non-Patent Document 2, Non-Patent Document 3) is often used as a high-speed and low-cost method. The technology used. In addition, the type of feature image is one factor that affects the processing speed and accuracy of the discrimination process. By increasing the types of feature images, it is possible to improve the performance of the discrimination processing, but the memory for holding the feature images also increases.

また、特徴画像の参照時間を短縮し、弱判別器処理を高速化させるため、非特許文献３では特徴画像を保持するためのレジスタを設けている。レジスタから特徴画像を並列に参照し、同時に複数の弱判別器を処理する。しかしながら、レジスタはデータ保持装置として、その回路規模が大きいという課題がある。性能向上を目的とし、特徴画像を増加させた場合（非特許文献２）、この課題が一層大きくなる。 Further, in order to shorten the reference time of the feature image and speed up the weak discriminator processing, Non-Patent Document 3 provides a register for holding the feature image. The feature images are referenced in parallel from the register, and multiple weak discriminators are processed at the same time. However, as a data holding device, a register has a problem that its circuit scale is large. When the number of feature images is increased for the purpose of improving performance (Non-Patent Document 2), this problem becomes even greater.

本発明はこのような問題に鑑みてなされたものであり、メモリの数の増加を抑えつつ、より高速にパターン判別を行うための技術を提供する。 The present invention has been made in view of such a problem, and provides a technique for performing pattern discrimination at a higher speed while suppressing an increase in the number of memories.

本発明の一様態は、論理的にカスケード接続され、第１の弱判別器と該第１の弱判別器に後続する第２の弱判別器とを含み、複数種類の特徴画像を参照する複数の弱判別器を有するパターン判別装置であって、前記複数種類の特徴画像は当該種類よりも少数の複数のグループに分類され、前記複数の弱判別器の各々は、当該複数のグループのうちそれぞれ異なるグループに属する、弱判別器ごとに定められた２種類以上の特徴画像を参照してパターン判別を行うものであり、
入力画像から前記複数種類の特徴画像を生成する生成手段と、
生成された前記複数種類の特徴画像を前記複数のグループに分類し、グループごとにそれぞれ異なるメモリに保持させる保持手段と
を備え、
前記第１の弱判別器は、該第１の弱判別器に定められた２種類以上の特徴画像のそれぞれが属するグループの特徴画像を保持する２以上のメモリに対して並列にアクセスして当該２種類以上の特徴画像を読み出し、該読み出した２種類以上の特徴画像を参照してパターン判別を行い、
前記第２の弱判別器は、前記第１の弱判別器によるパターン判別が成功した場合には、該第２の弱判別器に定められた２種類以上の特徴画像のそれぞれが属するグループの特徴画像を保持する２以上のメモリに対して並列にアクセスして当該２種類以上の特徴画像を読み出し、該読み出した２種類以上の特徴画像を参照してパターン判別を行う
ことを特徴とする。 One aspect of the present invention is logically cascaded look containing a second weak classifier subsequent to the first weak discriminator and the first weak classifier, referring to plural types of feature images A pattern discriminator having a plurality of weak discriminators, the plurality of types of feature images are classified into a plurality of groups smaller than the type, and each of the plurality of weak discriminators is included in the plurality of groups. Pattern discrimination is performed by referring to two or more types of feature images defined for each weak discriminator, each belonging to a different group.
A generation means for generating the plurality of types of feature images from an input image, and
As a holding means for classifying the generated plurality of types of feature images into the plurality of groups and holding each group in a different memory.
With
The first weak discriminator, the accesses in parallel to two or more memory each of two or more feature images defined on the first weak discriminator holds the group feature images belonging Two or more types of feature images are read out, and pattern discrimination is performed with reference to the read out two or more types of feature images .
When the pattern discrimination by the first weak discriminator is successful, the second weak discriminator is a feature of a group to which each of two or more types of feature images defined in the second weak discriminator belongs. Two or more types of memory for holding an image are accessed in parallel to read out the two or more types of feature images, and pattern discrimination is performed with reference to the read out two or more types of feature images.
It is characterized by that.

本発明の構成により、メモリの数の増加を抑えつつ、より高速にパターン判別を行うことができる。 According to the configuration of the present invention, pattern discrimination can be performed at higher speed while suppressing an increase in the number of memories.

パターン判別装置によるパターン判別処理のフローチャート。The flowchart of the pattern discrimination process by the pattern discriminator. カスケード接続されたＭ個の弱判別器によるパターン判別を説明する図。The figure explaining the pattern discrimination by M weak discriminators connected in cascade. それぞれの弱判別器への第１パラメータの一例を示す図。The figure which shows an example of the 1st parameter to each weak discriminator. 特徴画像のグループ分割の一例を示す図。The figure which shows an example of group division of a feature image. 第１〜４特徴画像をグループごとに別個のメモリに格納しない場合を説明する図。The figure explaining the case where the 1st to 4th feature images are not stored in a separate memory for each group. それぞれの特徴画像を別個のメモリに格納する場合を示す図。The figure which shows the case where each feature image is stored in a separate memory. コンピュータ装置のハードウェア構成例を示すブロック図。A block diagram showing a hardware configuration example of a computer device. パターン判別装置の機能構成例を示すブロック図。The block diagram which shows the functional configuration example of the pattern discriminator. それぞれの弱判別器への第１パラメータの一例を示す図。The figure which shows an example of the 1st parameter to each weak discriminator. カスケード接続されたＭ個の弱判別器を示す図。The figure which shows M weak discriminators connected in cascade. 第２の実施形態におけるパラメータ学習のフローチャート。The flowchart of the parameter learning in the 2nd Embodiment.

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。 Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. In addition, the embodiment described below shows an example when the present invention is concretely implemented, and is one of the specific examples of the configuration described in the claims.

［第１の実施形態］
以下では、論理的にカスケード接続された複数の弱判別器を有するパターン判別装置であって、以下のような構成を有することを特徴とするパターン判別装置の一例について説明する。即ち、パターン判別の対象となるデータを保持した複数のメモリを有し、該複数のメモリのうち２以上のメモリに対して並列にアクセスしてデータを読み出し、該読み出したデータを用いて弱判別器によるパターン判別を行う。然るに、このような構成に帰着するものであれば、以下に説明する実施形態の構成に限るものではなく、適宜変形／変更が可能である。 [First Embodiment]
Hereinafter, an example of a pattern discrimination device having a plurality of logically cascaded weak discriminators and having the following configuration will be described. That is, it has a plurality of memories holding data to be pattern-discriminated, accesses two or more of the plurality of memories in parallel to read the data, and weakly discriminates using the read data. The pattern is discriminated by the device. However, as long as it results in such a configuration, it is not limited to the configuration of the embodiment described below, and can be appropriately modified / changed.

先ず、本実施形態に係るパターン判別装置の機能構成例について、図８のブロック図を用いて説明する。 First, a functional configuration example of the pattern discriminating device according to the present embodiment will be described with reference to the block diagram of FIG.

特徴画像生成部８０１には、人物などのパターン判別の対象となるオブジェクトを含む画像（例えばＲＧＢ画像）が入力画像として入力される。この入力画像の入力元については特定の入力元に限るものではなく、ハードディスクドライブ装置などの記憶装置から読み出されたものであっても構わないし、ディジタルカメラ等の撮像装置から供給されたものであっても構わない。 An image (for example, an RGB image) including an object such as a person to be pattern-discriminated is input to the feature image generation unit 801 as an input image. The input source of this input image is not limited to a specific input source, and may be read from a storage device such as a hard disk drive device, or may be supplied from an image pickup device such as a digital camera. It doesn't matter if there is.

そして特徴画像生成部８０１は、入力画像から複数枚の特徴画像を生成する。特徴画像の生成方法については特定の生成方法に限るものではなく、パターン判別に適した特徴画像を生成することができるのであれば、如何なる生成方法を採用しても構わない。例えば入力画像にフィルタを適用し、各画素の画素値が入力画像のＹ成分（輝度値）を表す画像、各画素の画素値が入力画像のＣｂ成分（色差）を表す画像、各画素の画素値が入力画像のＣｒ成分（色差）を表す画像、の夫々を特徴画像として生成しても良い。 Then, the feature image generation unit 801 generates a plurality of feature images from the input image. The method for generating the feature image is not limited to a specific generation method, and any generation method may be adopted as long as the feature image suitable for pattern discrimination can be generated. For example, a filter is applied to the input image, and the pixel value of each pixel represents the Y component (brightness value) of the input image, the pixel value of each pixel represents the Cb component (color difference) of the input image, and the pixel of each pixel. An image whose value represents the Cr component (color difference) of the input image may be generated as a feature image.

そして特徴画像生成部８０１は、生成した複数枚の特徴画像を複数のグループに分割する。そして特徴画像生成部８０１は、同じグループに属する特徴画像は同じメモリに格納されるように、異なるグループの特徴画像は異なるメモリに格納されるように、それぞれの特徴画像をグループ保持部８０２に格納する。 Then, the feature image generation unit 801 divides the generated plurality of feature images into a plurality of groups. Then, the feature image generation unit 801 stores each feature image in the group holding unit 802 so that the feature images belonging to the same group are stored in the same memory and the feature images of different groups are stored in different memories. To do.

グループ保持部８０２は、複数のメモリを有しており、それぞれのメモリには、同じグループに属する特徴画像が格納される。また、グループ保持部８０２は、異なる複数のメモリへのデータ参照（アクセス）が並列して行えるように構成されている。 The group holding unit 802 has a plurality of memories, and feature images belonging to the same group are stored in each memory. Further, the group holding unit 802 is configured so that data reference (access) to a plurality of different memories can be performed in parallel.

弱判別器処理部８０４は、論理的にカスケード接続された複数の弱判別器を有し、パラメータ保持部８０５に保持されている第１パラメータ及び第２パラメータを用いてそれぞれの弱判別器を時分割に動作させて、特徴画像に対するパターン判別を行う。以下では、弱判別器を動作させることを「弱判別器を処理（実行）する」と表記する場合がある。 The weak discriminator processing unit 804 has a plurality of weak discriminators logically cascaded, and uses the first parameter and the second parameter held in the parameter holding unit 805 to time each weak discriminator. The pattern is discriminated for the feature image by operating the division. In the following, operating the weak discriminator may be referred to as "processing (executing) the weak discriminator".

パラメータ保持部８０５は、上記の第１パラメータ及び第２パラメータを保持している。ここで、第１パラメータとは、弱判別器ごとに設けられたもので、該弱判別器によるパターン判別の対象を規定する情報である。また、第２パラメータとは、弱判別器ごとに設けられたもので、該弱判別器によるパターン判別の結果が成功であるか否かを判断するために用いられる情報である。 The parameter holding unit 805 holds the above-mentioned first parameter and second parameter. Here, the first parameter is provided for each weak discriminator, and is information that defines the target of pattern discrimination by the weak discriminator. The second parameter is provided for each weak discriminator, and is information used for determining whether or not the result of pattern discrimination by the weak discriminator is successful.

弱判別器処理部８０４が有する個々の弱判別器によるパターン判別の結果は、判別結果保持部８０６に格納される。全ての弱判別器によるパターン判別の結果が判別結果保持部８０６に格納された時点で、判別結果保持部８０６には、最終的なパターン判別結果が得られることになる。然るに弱判別器処理部８０４は、全ての弱判別器においてパターン判別を行った場合には、判別結果保持部８０６から、この最終的なパターン判別結果を読み出して出力することになる。 The result of pattern discrimination by each weak discriminator included in the weak discriminator processing unit 804 is stored in the discrimination result holding unit 806. When the results of pattern discrimination by all the weak discriminators are stored in the discrimination result holding unit 806, the discrimination result holding unit 806 will obtain the final pattern discrimination result. However, when the weak discriminator processing unit 804 performs pattern discrimination in all the weak discriminators, the weak discriminator processing unit 804 reads out the final pattern discrimination result from the discrimination result holding unit 806 and outputs it.

制御部８０３は、パターン判別装置全体の動作制御を行うと共に、特徴画像生成部８０１、弱判別器処理部８０４、のそれぞれの動作制御をも行う。 The control unit 803 controls the operation of the entire pattern discriminating device, and also controls the operation of each of the feature image generation unit 801 and the weak discriminator processing unit 804.

次に、本実施形態に係るパターン判別装置によるパターン判別処理について、図１のフローチャートに従って説明する。 Next, the pattern discrimination process by the pattern discrimination device according to the present embodiment will be described with reference to the flowchart of FIG.

＜ステップＳ１０１＞
特徴画像生成部８０１は、入力画像を受けると、該入力画像から複数枚の特徴画像を生成する。 <Step S101>
Upon receiving the input image, the feature image generation unit 801 generates a plurality of feature images from the input image.

＜ステップＳ１０２＞
特徴画像生成部８０１は、ステップＳ１０１で生成した複数枚の特徴画像を規定の基準に従って複数のグループに分割する。そして特徴画像生成部８０１は、グループ１に属する特徴画像はメモリ１、グループ２に属する特徴画像はメモリ２、…というように、同じグループに属する特徴画像は同じメモリに格納されるように、異なるグループの特徴画像は異なるメモリに格納されるように、それぞれの特徴画像をグループ保持部８０２に格納する。 <Step S102>
The feature image generation unit 801 divides the plurality of feature images generated in step S101 into a plurality of groups according to a predetermined standard. Then, the feature image generation unit 801 is different so that the feature images belonging to the same group are stored in the same memory, the feature image belonging to the group 1 is the memory 1, the feature image belonging to the group 2 is the memory 2, and so on. Each feature image is stored in the group holding unit 802 so that the feature images of the group are stored in different memories.

例えば、図４に示す如く、特徴画像生成部８０１が、４種類のフィルタをそれぞれ入力画像４０１に掛けて４枚の特徴画像（第１特徴画像４０２、第２特徴画像４０３、第３特徴画像４０４、第４特徴画像４０５）を生成する。具体的には、まず、輝度抽出フィルタを用いて、入力画像４０１から輝度情報を抽出し、第１特徴画像４０２を生成する。次に、ローパスフィルタを用いて、入力画像４０１から低周波数成分を抽出し、第２特徴画像４０３を生成する。それから、水平方向エッジフィルタを用いて、入力画像４０１から水平方向のエッジ情報を抽出し、第３特徴画像４０４を生成する。最後に、垂直方向エッジフィルタを用いて、入力画像４０１から垂直方向のエッジ情報を抽出し、第４特徴画像４０５を生成する。これら４枚の特徴画像を同時に生成することも可能である。これら４枚の特徴画像を規定の基準に従って２つのグループに分割したとする。図４では、第１特徴画像４０２及び第２特徴画像４０３が第１グループ４０６、第３特徴画像４０４及び第４特徴画像４０５が第２グループ４０７に分類されている。この場合、第１グループ４０６に属する第１特徴画像４０２及び第２特徴画像４０３は、グループ保持部８０２が有する複数個のメモリのうち第１グループ用のメモリである第１メモリに格納される。また、第２グループ４０７に属する第３特徴画像４０４及び第４特徴画像４０５は、グループ保持部８０２が有する複数個のメモリのうち第２グループ用のメモリである第２メモリに格納される。第１メモリと第２メモリとは別個のメモリであり、このように別個のメモリであれば、弱判別器処理部８０４はこれらのメモリに対して並列にアクセスすることができる。 For example, as shown in FIG. 4, the feature image generation unit 801 applies four types of filters to the input image 401, respectively, and four feature images (first feature image 402, second feature image 403, third feature image 404). , Fourth feature image 405) is generated. Specifically, first, the luminance extraction filter is used to extract the luminance information from the input image 401 to generate the first feature image 402. Next, a low-pass filter is used to extract low-frequency components from the input image 401 to generate a second feature image 403. Then, the horizontal edge filter is used to extract the horizontal edge information from the input image 401 to generate the third feature image 404. Finally, the vertical edge filter is used to extract the vertical edge information from the input image 401 to generate the fourth feature image 405. It is also possible to generate these four feature images at the same time. It is assumed that these four feature images are divided into two groups according to a specified standard. In FIG. 4, the first feature image 402 and the second feature image 403 are classified into the first group 406, and the third feature image 404 and the fourth feature image 405 are classified into the second group 407. In this case, the first feature image 402 and the second feature image 403 belonging to the first group 406 are stored in the first memory, which is the memory for the first group, among the plurality of memories of the group holding unit 802. Further, the third feature image 404 and the fourth feature image 405 belonging to the second group 407 are stored in the second memory which is the memory for the second group among the plurality of memories of the group holding unit 802. The first memory and the second memory are separate memories, and if they are separate memories in this way, the weak discriminator processing unit 804 can access these memories in parallel.

なお、特徴画像の分割グループ数については特定の数に限るものではなく、例えば、パターン判別装置の処理能力や帯域等によって決定される。また、特徴画像のグループ分割方法については、特定の方法に限るものではない。例えば、学習アルゴリズムによって決定された第１パラメータを解析し（特徴画像アクセスパターン解析）、弱判別器毎に、異なるグループから特徴画像の画素を参照する確率が高まるようにグループを設定する。特徴画像アクセスパターンはパターン判別対象によって異なり、特徴画像への参照頻度に偏りが生じる。例えば、明るくて水平方向エッジが多い物体がパターン判別対象の場合には、第１特徴画像４０２（輝度情報）と第３特徴画像４０４（水平方向エッジ情報）の画素を参照する頻度が高く、その他の特徴画像の画素を参照する頻度が低い。異なるメモリから特徴画像の画素を並列に参照する確率を高めるためには、第１特徴画像４０２と第３特徴画像４０４とを異なるグループとして、同じメモリに保存しない。暗くて垂直方向エッジが多い物体がパターン判別対象の場合には、第１特徴画像４０２（輝度情報）と第４特徴画像４０５（垂直方向エッジ情報）の画素を参照する頻度が高く、その他の画素を参照する頻度が低い。異なるメモリから特徴画像の画素を並列に参照する確率を高めるためには、第１特徴画像４０２と第４特徴画像４０５とを異なるグループとして、同じメモリに保存しない。なお、第１パラメータ及び第２のパラメータは学習アルゴリズム（ブースティング学習等）によって予め決定される。 The number of divided groups of the feature image is not limited to a specific number, and is determined by, for example, the processing capacity and band of the pattern discriminating device. Further, the method for grouping feature images is not limited to a specific method. For example, the first parameter determined by the learning algorithm is analyzed (feature image access pattern analysis), and a group is set for each weak discriminator so that the probability of referring to the pixel of the feature image from a different group increases. The feature image access pattern differs depending on the pattern discrimination target, and the reference frequency to the feature image is biased. For example, when an object that is bright and has many horizontal edges is a pattern discrimination target, the pixels of the first feature image 402 (luminance information) and the third feature image 404 (horizontal edge information) are frequently referred to, and others. The frequency of referring to the pixels of the feature image is low. In order to increase the probability of referencing the pixels of the feature image in parallel from different memories, the first feature image 402 and the third feature image 404 are not stored in the same memory as different groups. When an object that is dark and has many vertical edges is the pattern discrimination target, the pixels of the first feature image 402 (luminance information) and the fourth feature image 405 (vertical edge information) are frequently referred to, and other pixels are frequently referred to. Infrequently refer to. In order to increase the probability of referencing the pixels of the feature image in parallel from different memories, the first feature image 402 and the fourth feature image 405 are not stored in the same memory as different groups. The first parameter and the second parameter are predetermined by a learning algorithm (boostering learning, etc.).

＜ステップＳ１０３＞
弱判別器処理部８０４は、カスケード接続されたそれぞれの弱判別器を時分割に動作させて、グループ保持部８０２に格納されている特徴画像及びパラメータ保持部８０５に保持されている第１，２パラメータを用いてパターン判別を行う。ステップＳ１０３では、ステップＳ１０４〜ステップＳ１１２の処理を行う。以下では、弱判別器処理部８０４は、カスケード接続されたＭ（Ｍは２以上の自然数）個の弱判別器を有しているものとして説明する。 <Step S103>
The weak discriminator processing unit 804 operates each of the weak discriminators connected in cascade in a time division manner, and the first and second weak discriminators are held in the feature image and the parameter holding unit 805 stored in the group holding unit 802. Pattern discrimination is performed using parameters. In step S103, the processes of steps S104 to S112 are performed. In the following, the weak discriminator processing unit 804 will be described as having M (M is a natural number of 2 or more) cascadingly connected weak discriminators.

＜ステップＳ１０４＞
制御部８０３は、以降の処理で用いる変数ｉの値を１に初期化する。以降、ステップＳ１０５〜Ｓ１１２のループ処理をｉ＝１〜Ｍについて（ステップＳ１１０でＦａｌｓｅとならない限り）行う。 <Step S104>
The control unit 803 initializes the value of the variable i used in the subsequent processing to 1. After that, the loop processing of steps S105 to S112 is performed for i = 1 to M (unless it becomes False in step S110).

＜ステップＳ１０６＞
弱判別器処理部８０４は、パラメータ保持部８０５から、ｉ番目の弱判別器（最初に動作する弱判別器は１番目の弱判別器）用の第１パラメータを読み出す。ここで、ｉ番目の弱判別器用の第１パラメータとは、ｉ番目の弱判別器がパターン判別のために参照する特徴画像中の画素位置と、該特徴画像に固有の識別情報（例えば画像に固有の番号）と、のセットデータである。例えば、ｉ番目の弱判別器がパターン判別の為に、特徴画像Ａの画素位置ＰＡ、特徴画像Ｂの画素位置ＰＢ、を参照する場合、「ｉ番目の弱判別器用の第１パラメータ」は、次の２つのセットデータを含む。 <Step S106>
The weak discriminator processing unit 804 reads out the first parameter for the i-th weak discriminator (the weak discriminator that operates first is the first weak discriminator) from the parameter holding unit 805. Here, the first parameter for the i-th weak discriminator is the pixel position in the feature image referred to by the i-th weak discriminator for pattern discrimination and the identification information unique to the feature image (for example, in the image). It is a set data of (unique number) and. For example, when the i-th weak discriminator refers to the pixel position PA of the feature image A and the pixel position PB of the feature image B for pattern discrimination, the "first parameter for the i-th weak discriminator" is It contains the following two set data.

・ 特徴画像Ａの識別情報と画素位置ＰＡとのセットデータ
・ 特徴画像Ｂの識別情報と画素位置ＰＢとのセットデータ
このような第１パラメータは、弱判別器ごとに設けられる。より詳しくは、「ｉ番目の弱判別器用の第１パラメータ」においてｊ（１≦ｊ≦Ｋ：Ｋは「ｉ番目の弱判別器用の第１パラメータ」に含まれるセットデータの数）番目のセットデータＤ_ｉ、ｊは以下のようなセットデータとなる。 -Set data of the identification information of the feature image A and the pixel position PA-Set data of the identification information of the feature image B and the pixel position PB Such a first parameter is provided for each weak discriminator. More specifically, in the "first parameter for the i-th weak discriminator", the j (1 ≤ j ≤ K: K is the number of set data included in the "first parameter for the i-th weak discriminator") th set. The data _{Di and j} are the following set data.

（式１）においてＮ_ｉ、ｊは、特徴画像の識別情報であり、例えば、該特徴画像に固有の番号である。また、Ｙ_ｉ、ｊは、識別情報＝Ｎ_ｉ、ｊで特定される特徴画像においてパターン判別のために参照する画素位置のｙ座標値である。また、Ｘ_ｉ、ｊは、識別情報＝Ｎ_ｉ、ｊで特定される特徴画像においてパターン判別のために参照する画素位置のｘ座標値である。なお、Ｎ_ｉ、ｊは、ｉを固定した場合、それぞれのｊについて互いに異なる特徴画像の識別情報であるものとする。 In (Equation 1), _{Ni and j} are identification information of the feature image, and are numbers unique to the feature image, for example. Further, Y _{i and j} are y coordinate values of pixel positions referred to for pattern discrimination in the feature image specified by the identification information = _{Ni and j} . Further, X _{i and j} are x coordinate values of pixel positions referred to for pattern discrimination in the feature image specified by the identification information = _{Ni and j} . It should be noted that Ni and _j are identification information of feature images different from each other for each j when i is fixed.

＜ステップＳ１０７＞
弱判別器処理部８０４は、識別情報＝Ｎ_ｉ、１の特徴画像における画素位置（Ｘ_ｉ、１、Ｙ_ｉ、１）における画素値、…、識別情報＝Ｎ_ｉ、Ｋの特徴画像における画素位置（Ｘ_ｉ、Ｋ、Ｙ_ｉ、Ｋ）における画素値、をグループ保持部８０２から並列に読み出して、ｉ番目の弱判別器に供給する。 <Step S107>
Weak classifier processor 804, the pixel value at the pixel position in the identification information _{= N i, 1} of the feature image _{(X i, 1, Y i} , 1), ..., identification information _{= N i,} pixels in the feature images of _K The pixel values at the positions (X _{i, K} , Y _{i, K} ) are read out in parallel from the group holding unit 802 and supplied to the i-th weak discriminator.

「識別情報＝Ｎ_ｉ、１の特徴画像」、…、「識別情報＝Ｎ_ｉ、Ｋの特徴画像」というＫ枚の特徴画像は互いに異なるグループに属している特徴画像であり、然るにそれぞれ異なるメモリに登録されている。然るに本ステップでは、「識別情報＝Ｎ_ｉ、１の特徴画像」、…、「識別情報＝Ｎ_ｉ、Ｋの特徴画像」を格納しているそれぞれのメモリに並列してアクセスすることができる。これにより、識別情報＝Ｎ_ｉ、１の特徴画像における画素位置（Ｘ_ｉ、１、Ｙ_ｉ、１）における画素値、…、識別情報＝Ｎ_ｉ、Ｋの特徴画像における画素位置（Ｘ_ｉ、Ｋ、Ｙ_ｉ、Ｋ）における画素値、を並列に読み出すことができる。 The _K feature images such as "identification information = _{Ni, 1} feature image", ..., "Identification information = _{Ni, K} feature image" are feature images belonging to different groups, and have different memories. It is registered in. However, in this step, it is possible to access in parallel each memory storing "identification information = feature image of _{Ni, 1} ", ..., "identification information = feature image of _{Ni, K} ". Thus, the pixel value at the pixel position in the identification information _{= N i, 1} of the feature image _{(X i, 1, Y i} , 1), ..., identification information _{= N i,} the pixel position in the feature image of _{K (X i,} The pixel values at _K , Y _{i, K} ) can be read out in parallel.

そしてｉ番目の弱判別器は、本ステップにおいてグループ保持部８０２から並列に読み出された画素値を用いてパターン判別を行う。それぞれの特徴画像から読み出した画素値を用いたパターン判別については周知技術であるため、これに係る説明は省略する。 Then, the i-th weak discriminator discriminates the pattern using the pixel values read in parallel from the group holding unit 802 in this step. Since pattern discrimination using pixel values read from each feature image is a well-known technique, the description thereof will be omitted.

なお、第１パラメータに含まれるそれぞれのデータセットが指し示すものは１つの画素位置に限るものではなく、複数画素から成る画素領域であっても構わない。また、第１パラメータに含まれるそれぞれのデータセットが１つの画素位置を指し示し、画素値を読み出す時点で、該画素位置の近傍画素領域内の画素値を読み出すようにしても構わない。また、第１パラメータは、複数枚の画像における画素位置や、動画像を処理する時の時系列空間の複数組の画素位置を指し示すようなものであっても構わない。 Note that the data set included in the first parameter is not limited to one pixel position, and may be a pixel region composed of a plurality of pixels. Further, each data set included in the first parameter may indicate one pixel position, and when the pixel value is read out, the pixel value in the pixel region in the vicinity of the pixel position may be read out. Further, the first parameter may be something that indicates a pixel position in a plurality of images or a plurality of sets of pixel positions in a time series space when processing a moving image.

＜ステップＳ１０８＞
弱判別器処理部８０４は、パラメータ保持部８０５から、ｉ番目の弱判別器用の第２パラメータを読み出す。「ｉ番目の弱判別器用の第２パラメータ」とは、ｉ番目の弱判別器用にステップＳ１０７で読み出した画素値に基づいて、対象とするパターンらしさに相当するスコアを算出するための関数である特徴量変換関数と、閾値と、のセットデータである。 <Step S108>
The weak discriminator processing unit 804 reads out the second parameter for the i-th weak discriminator from the parameter holding unit 805. The "second parameter for the i-th weak discriminator" is a function for calculating a score corresponding to the target pattern-likeness based on the pixel value read out in step S107 for the i-th weak discriminator. It is a set data of a feature amount conversion function and a threshold value.

＜ステップＳ１０９＞
ｉ番目の弱判別器は、ステップＳ１０７で読み出された画素値と、ステップＳ１０８で読み出されたｉ番目の弱判別器用の第２パラメータに含まれている特徴量変換関数と、を用いて、スコアを計算する。ここで、「識別情報＝Ｎ_ｉ、ｊの特徴画像における画素位置（Ｘ_ｉ、ｊ、Ｙ_ｉ、ｊ）における画素値」をｆ（Ｎ_ｉ、ｊ、Ｘ_ｉ、ｊ、Ｙ_ｉ、ｊ）とする。また、ｉ番目の弱判別器用の特徴量変換関数をＬ_ｉ（）とする。ここで、Ｋ＝２の場合、ｉ番目の弱判別器用のスコアＳ_ｉは以下の式に従って計算される。 <Step S109>
The i-th weak discriminator uses the pixel value read in step S107 and the feature amount conversion function included in the second parameter for the i-th weak discriminator read in step S108. , Calculate the score. Here, the "identification information _{= N i,} the pixel position in the feature image _{j (X i, j, Y} i, j) pixel values in" _{f (N i, j, X} i, j, Y i, j) And. Further, the feature quantity conversion function of i-th weak discriminator dexterity and L _{i ().} Here, when K = 2, the score S _{i for} the i-th weak discriminator is calculated according to the following equation.

なお、Ｋが３以上の自然数であっても同様に、それぞれの画素値を特徴量変換関数でもってスコアに変換すればよい。 Similarly, even if K is a natural number of 3 or more, each pixel value may be converted into a score by a feature amount conversion function.

＜ステップＳ１１０＞
ｉ番目の弱判別器は、ステップＳ１０９で求めたスコアＳ_ｉが、ステップＳ１０８で読み出されたｉ番目の弱判別器用の第２パラメータに含まれている閾値Ｔ_ｉを超えているか否かを判断する。この判断の結果、Ｓ_ｉ＞Ｔ_ｉである場合には、パターン判別は成功した（所定のパターンが検出された＝Ｔｒｕｅ）ものと判断して処理はステップＳ１１１に進む。一方、Ｓ_ｉ≦Ｔ_ｉである場合には、パターン判別は失敗した（所定のパターンが検出されなかった＝Ｆａｌｓｅ）ものと判断して処理はステップＳ１１３に進む。 <Step S110>
i-th weak classifier, the score S _i determined in the step S109 is whether or not exceeds the threshold value T _i contained in the second parameter of the i-th weak classifier dexterity read in step S108 to decide. As a result of this determination, if S _i > _Ti, it is determined that the pattern determination is successful (a predetermined pattern is detected = True), and the process proceeds to step S111. On the other hand, when S _i ≤ _Ti, it is determined that the pattern determination has failed (predetermined pattern was not detected = False), and the process proceeds to step S113.

つまり、Ｓ_ｉ≦Ｔ_ｉの場合には、（ｉ＋１）番目以降の弱判別器によるパターン判別は行わずに、パターン判別はｉ番目の弱判別器で打ち切るものとする。なお、ｉ番目の弱判別器は、パターン判別が成功した場合には、そのパターン判別結果を判別結果保持部８０６に格納する。 In other words, in the case of S _i ≦ T _i does not perform pattern determination by (i + 1) th and subsequent weak discriminator, pattern judgment shall abort the i-th weak discriminator. When the pattern discrimination is successful, the i-th weak discriminator stores the pattern discrimination result in the discrimination result holding unit 806.

＜ステップＳ１１１＞
制御部８０３は、変数ｉの値を１つインクリメントする。そして処理はステップＳ１０６に戻り、インクリメント後の変数ｉを用いて以降の処理が行われることになる。 <Step S111>
The control unit 803 increments the value of the variable i by one. Then, the process returns to step S106, and the subsequent process is performed using the variable i after the increment.

＜ステップＳ１１３＞
弱判別器処理部８０４は、ｉ＝１〜ＭについてステップＳ１０５〜Ｓ１１２の処理を行った場合、即ち、１番目の弱判別器〜Ｍ番目の弱判別器のそれぞれに対するスコアが何れも閾値を超えている場合、入力画像には所定のパターンが含まれていると判断する。然るにこの場合、弱判別器処理部８０４は、判別結果保持部８０６に上記の処理によって保持されているパターン判別の結果を適当な出力先に対して出力する。なお、このパターン判別の結果は、そのまま出力されても良いが、対応するオブジェクトのＩＤに変換してから出力するなど、パターン判別の結果に基づく他の情報を出力するようにしても構わない。 <Step S113>
When the weak discriminator processing unit 804 performs the processing of steps S105 to S112 for i = 1 to M, that is, the scores for each of the first weak discriminator to the Mth weak discriminator exceed the threshold value. If so, it is determined that the input image contains a predetermined pattern. However, in this case, the weak discriminator processing unit 804 outputs the pattern discrimination result held by the above processing to the discrimination result holding unit 806 to an appropriate output destination. The result of this pattern discrimination may be output as it is, but other information based on the result of the pattern discrimination may be output, such as converting to the ID of the corresponding object and then outputting.

一方、弱判別器処理部８０４は、１番目の弱判別器〜Ｍ番目の弱判別器の何れかに対するスコアが閾値を超えていなかった場合、入力画像には所定のパターンは含まれていないと判断する。然るにこの場合、弱判別器処理部８０４は、入力画像には所定のパターンは含まれていなかった旨を示す情報を適当な出力先に対して出力する。なお、「入力画像には所定のパターンは含まれていなかった旨を示す情報」には様々なものが適用できる。例えば、入力画像には所定のパターンは含まれていなかった旨を示すメッセージを表示装置や外部機器に対して出力しても良い。 On the other hand, the weak discriminator processing unit 804 states that the input image does not include a predetermined pattern when the score for any of the first weak discriminator to the Mth weak discriminator does not exceed the threshold value. to decide. However, in this case, the weak discriminator processing unit 804 outputs information indicating that the input image does not include the predetermined pattern to an appropriate output destination. In addition, various things can be applied to "information indicating that the input image does not include a predetermined pattern". For example, a message indicating that the input image does not include a predetermined pattern may be output to a display device or an external device.

以上説明した、カスケード接続されたＭ個の弱判別器によるパターン判別について、図２を用いて説明する。図２では、Ｍ＝４としている。 The pattern discrimination by the M weak discriminators connected in cascade described above will be described with reference to FIG. In FIG. 2, M = 4.

先ず、１番目の弱判別器である弱判別器Ｃ１が動作する。弱判別器Ｃ１には、Ｃ１用の第１パラメータであるＤ_１，１，…，Ｄ_１，Ｋ、Ｃ１用の第２パラメータである特徴量変換関数Ｌ_１、閾値Ｔ_１が入力される。然るに弱判別器Ｃ１は、Ｄ_１，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_１，Ｋで特定される特徴画像中の画素位置の画素値をグループ保持部８０２から並列に読み出す。そして弱判別器Ｃ１は、読み出したこれらの画素値を用いてパターン判別を行う。更に弱判別器Ｃ１は、Ｄ_１，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_１，Ｋで特定される特徴画像中の画素位置の画素値を特徴量変換関数Ｌ_１を用いてスコアＳ_１に変換する。そして弱判別器Ｃ１は、Ｓ_１＞Ｔ_１（判別成功）であるか否かを判断し、Ｓ_１＞Ｔ_１であれば、弱判別器処理部８０４は２番目（弱判別器Ｃ１に後続する）の弱判別器Ｃ２を動作させる。一方、Ｓ_１≦Ｔ_１（判別失敗）であれば、弱判別器処理部８０４は弱判別器Ｃ２以降を動作させず、弱判別器処理部８０４は、入力画像には所定のパターンは存在しない旨を出力する。 First, the weak discriminator C1, which is the first weak discriminator, operates. The weakness discriminator C1 is input with the first parameter D ₁ , ₁ , ..., D _{1, K} for C1, the feature amount conversion function L ₁ which is the second parameter for C1, and the threshold value T ₁ . However weak classifiers C1, the pixel value of the pixel position in the feature image specified by D _{1, 1,} ..., a pixel value of a pixel position in the feature image specified by D _{1, K} from the group holding section 802 Read in parallel. Then, the weak discriminator C1 discriminates the pattern using these read pixel values. Furthermore weak classifiers C1, the pixel value of the pixel position in the feature image specified by D _{1, 1,} ..., D _1, the feature amount the pixel value of the pixel position in the feature image specified by the _K conversion function L It converted to the score _{S 1} using _1. Then, the weak discriminator C1 determines whether or not S ₁ > T ₁ (successful discrimination), and if S ₁ > T ₁ , the weak discriminator processing unit 804 is second (following the weak discriminator C1). ) The weak discriminator C2 is operated. On the other hand, if S ₁ ≤ T ₁ (discrimination failure), the weak discriminator processing unit 804 does not operate the weak discriminator C2 or later, and the weak discriminator processing unit 804 does not have a predetermined pattern in the input image. Output to that effect.

次に、弱判別器Ｃ２が動作する場合、弱判別器Ｃ２には、Ｃ２用の第１パラメータであるＤ_２，１，…，Ｄ_２，Ｋ、Ｃ２用の第２パラメータである特徴量変換関数Ｌ_２、閾値Ｔ_２が入力される。然るに弱判別器Ｃ２は、Ｄ_２，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_２，Ｋで特定される特徴画像中の画素位置の画素値をグループ保持部８０２から並列に読み出す。そして弱判別器Ｃ２は、読み出したこれらの画素値を用いてパターン判別を行う。更に弱判別器Ｃ２は、Ｄ_２，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_２，Ｋで特定される特徴画像中の画素位置の画素値を特徴量変換関数Ｌ_２を用いてスコアＳ_２に変換する。そして弱判別器Ｃ２は、Ｓ_２＞Ｔ_２であるか否かを判断し、Ｓ_２＞Ｔ_２であれば、弱判別器処理部８０４は３番目の弱判別器Ｃ３を動作させる。一方、Ｓ_２≦Ｔ_２であれば、弱判別器処理部８０４は弱判別器Ｃ３以降を動作させず、弱判別器処理部８０４は、入力画像には所定のパターンは存在しない旨を出力する。 Next, when the weak discriminator C2 operates, the weak discriminator C2 is _subjected to the feature quantity conversion which is the first parameter for C2, D _{2, 1} , ..., D _{2, K} , and the second parameter for C2. The function L ₂ and the threshold value T ₂ are input. However, the weak discriminator C2 obtains the pixel value of the pixel position in the feature image specified by D ₂ , ₁ , ..., The pixel value of the pixel position in the feature image specified by D _{2, K} from the group holding unit 802. Read in parallel. Then, the weak discriminator C2 discriminates the pattern using these read pixel values. Further, the weak discriminator C2 converts the pixel value of the pixel position in the feature image specified by D ₂ , ₁ and ..., the pixel value of the pixel position in the feature image specified by D _{2, K} into the feature amount conversion function L. It converted to the score _{S 2} with _2. The weak discriminator C2 _determines whether S 2> _{T 2,} if S 2> _{T 2,} the weak classifier processor 804 operates the third weak discriminator C3. On the other hand, if S ₂ ≤ T ₂ , the weak discriminator processing unit 804 does not operate the weak discriminator C3 or later, and the weak discriminator processing unit 804 outputs that a predetermined pattern does not exist in the input image. ..

次に、弱判別器Ｃ３が動作する場合、弱判別器Ｃ３には、Ｃ３用の第１パラメータであるＤ_３，１，…，Ｄ_３，Ｋ、Ｃ３用の第２パラメータである特徴量変換関数Ｌ_３、閾値Ｔ_３が入力される。然るに弱判別器Ｃ３は、Ｄ_３，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_３，Ｋで特定される特徴画像中の画素位置の画素値をグループ保持部８０２から並列に読み出す。そして弱判別器Ｃ３は、読み出したこれらの画素値を用いてパターン判別を行う。更に弱判別器Ｃ３は、Ｄ_３，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_３，Ｋで特定される特徴画像中の画素位置の画素値を特徴量変換関数Ｌ_３を用いてスコアＳ_３に変換する。そして弱判別器Ｃ３は、Ｓ_３＞Ｔ_３であるか否かを判断し、Ｓ_３＞Ｔ_３であれば、弱判別器処理部８０４は４番目の弱判別器Ｃ４を動作させる。一方、Ｓ_３≦Ｔ_３であれば、弱判別器処理部８０４は弱判別器Ｃ４を動作させず、弱判別器処理部８０４は、入力画像には所定のパターンは存在しない旨を出力する。 Next, when the weak discriminator C3 operates, the weak discriminator C3 is _{subjected to} feature quantity conversion which is the first parameter for C3, D _{3, 1} , ..., D _{3, K} , and the second parameter for C3. The function L ₃ and the threshold value T ₃ are input. However, the weak discriminator C3 obtains the pixel value of the pixel position in the feature image specified by D ₃ , ₁ ..., The pixel value of the pixel position in the feature image specified by D _{3, K} from the group holding unit 802. Read in parallel. Then, the weak discriminator C3 discriminates the pattern using these read pixel values. Further, the weak discriminator C3 converts the pixel value of the pixel position in the feature image specified by D ₃ , ₁ and ..., the pixel value of the pixel position in the feature image specified by D _{3, K} into the feature amount conversion function L. It converted to the score _{S 3} with _3. The weak discriminator C3 _determines whether S 3> _{T 3,} if S 3> _{T 3,} the weak classifier processor 804 operates the 4 th weak discriminator C4. On the other hand, if S ₃ ≤ T ₃ , the weak discriminator processing unit 804 does not operate the weak discriminator C4, and the weak discriminator processing unit 804 outputs that a predetermined pattern does not exist in the input image.

次に、弱判別器Ｃ４が動作する場合、弱判別器Ｃ４には、Ｃ４用の第１パラメータであるＤ_４，１，…，Ｄ_４，Ｋ、Ｃ４用の第２パラメータである特徴量変換関数Ｌ_４、閾値Ｔ_４が入力される。然るに弱判別器Ｃ４は、Ｄ_４，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_４，Ｋで特定される特徴画像中の画素位置の画素値をグループ保持部８０２から並列に読み出す。そして弱判別器Ｃ４は、読み出したこれらの画素値を用いてパターン判別を行う。更に弱判別器Ｃ４は、Ｄ_４，１で特定される特徴画像中の画素位置の画素値，…，Ｄ_４，Ｋで特定される特徴画像中の画素位置の画素値を特徴量変換関数Ｌ_４を用いてスコアＳ_４に変換する。そして弱判別器Ｃ４は、Ｓ_４＞Ｔ_４であるか否かを判断し、Ｓ_４＞Ｔ_４であれば、弱判別器処理部８０４は、判別結果保持部８０６に保持されている最終的なパターン判別結果を出力する。一方、Ｓ_４≦Ｔ_４であれば、弱判別器処理部８０４は、入力画像には所定のパターンは存在しない旨を出力する。 Next, when the weak discriminator C4 operates, the weak discriminator C4 is _subjected to the feature quantity conversion which is the first parameter for C4, D _{4, 1} , ..., D _{4, K} , and the second parameter for C4. The function L ₄ and the threshold value T ₄ are input. However, the weak discriminator C4 obtains the pixel value of the pixel position in the feature image specified by D ₄ , ₁ ..., The pixel value of the pixel position in the feature image specified by D _{4, K} from the group holding unit 802. Read in parallel. Then, the weak discriminator C4 discriminates the pattern using these read pixel values. Further, the weak discriminator C4 converts the pixel value of the pixel position in the feature image specified by D ₄ , ₁ and ..., the pixel value of the pixel position in the feature image specified by D _{4, K} into the feature amount conversion function L. It converted to the score _{S 4} using _4. The weak discriminator C4 _determines whether _{S 4> T 4, S 4} > If _{T 4,} the weak classifier processor 804, finally held in the determination result holder 806 Pattern discrimination result is output. On the other hand, if S ₄ ≤ T ₄ , the weak discriminator processing unit 804 outputs that the predetermined pattern does not exist in the input image.

なお、カスケード接続されたＭ個の弱判別器は図１０に示すような構成となる。このような場合であっても、弱判別器Ｃ１から順にパターン判別を行い、パターン判別に成功した場合には次の弱判別器によるパターン判別を行う。 The M weak discriminators connected in cascade have a configuration as shown in FIG. Even in such a case, pattern discrimination is performed in order from the weak discriminator C1, and if the pattern discrimination is successful, pattern discrimination is performed by the next weak discriminator.

次に、図２のように、カスケード接続された４個の弱判別器によってパターン判別を行う場合における、それぞれの弱判別器への第１パラメータの一例について、図３を用いて説明する。図３では、入力画像から第１特徴画像、第２特徴画像、第３特徴画像、第４特徴画像の４枚の特徴画像が生成されている。 Next, as shown in FIG. 2, when pattern discrimination is performed by four cascade-connected weak discriminators, an example of the first parameter for each weak discriminator will be described with reference to FIG. In FIG. 3, four feature images, a first feature image, a second feature image, a third feature image, and a fourth feature image, are generated from the input image.

図３において、弱判別器Ｃ１用の第１パラメータはＤ_１，１とＤ_１，２の２つのセットデータを含む。Ｄ_１，１は、第１特徴画像の識別情報と、第１特徴画像において黒丸で示した画素位置と、のセットデータである。Ｄ_１，２は、第３特徴画像の識別情報と、第３特徴画像において黒丸で示した画素位置と、のセットデータである。 In FIG. 3, the first parameter for the weak discriminator C1 includes two set data of D ₁ , ₁ and D ₁ , 2. D _{1 and 1} are set data of the identification information of the first feature image and the pixel positions indicated by black circles in the first feature image. D _{1 and 2} are set data of the identification information of the third feature image and the pixel positions indicated by the black circles in the third feature image.

弱判別器Ｃ２用の第１パラメータはＤ_２，１とＤ_２，２の２つのセットデータを含む。Ｄ_２，１は、第２特徴画像の識別情報と、第２特徴画像において黒丸で示した画素位置と、のセットデータである。Ｄ_２，２は、第４特徴画像の識別情報と、第４特徴画像において黒丸で示した画素位置と、のセットデータである。 The first parameter for the weak discriminator C2 contains two set data of D ₂ , ₁ and D ₂ , 2. D _{2 and 1} are set data of the identification information of the second feature image and the pixel positions indicated by the black circles in the second feature image. D _{2 and 2} are set data of the identification information of the fourth feature image and the pixel positions indicated by the black circles in the fourth feature image.

弱判別器Ｃ３用の第１パラメータはＤ_３，１とＤ_３，２の２つのセットデータを含む。Ｄ_３，１は、第１特徴画像の識別情報と、第１特徴画像において黒丸で示した画素位置と、のセットデータである。Ｄ_３，２は、第４特徴画像の識別情報と、第４特徴画像において黒丸で示した画素位置と、のセットデータである。 The first parameter for the weak discriminator C3 includes two set data of D ₃ , ₁ and D ₃ , 2. D _{3 and 1} are set data of the identification information of the first feature image and the pixel positions indicated by the black circles in the first feature image. D _{3 and 2} are set data of the identification information of the fourth feature image and the pixel positions indicated by the black circles in the fourth feature image.

弱判別器Ｃ４用の第１パラメータはＤ_４，１とＤ_４，２の２つのセットデータを含む。Ｄ_４，１は、第１特徴画像の識別情報と、第１特徴画像において黒丸で示した画素位置と、のセットデータである。Ｄ_４，２は、第２特徴画像の識別情報と、第２特徴画像において黒丸で示した画素位置と、のセットデータである。 The first parameter for the weak discriminator C4 contains two set data of D ₄ , ₁ and D ₄ , 2. D _{4 and 1} are set data of the identification information of the first feature image and the pixel positions indicated by the black circles in the first feature image. D _{4 and 2} are set data of the identification information of the second feature image and the pixel positions indicated by the black circles in the second feature image.

このような場合において弱判別器Ｃｉ（ｉ＝１，２，３，４）がＤ_ｉ，１に対応する画素値とＤ_ｉ，２に対応する画素値とを並列に読み出す為には、Ｄ_ｉ，１に対応する特徴画像とＤ_ｉ，２に対応する特徴画像とをそれぞれ別個のメモリに格納させる必要がある。そこで、このような場合には、図４に示す如く、第１特徴画像４０２及び第２特徴画像４０３を第１メモリに格納し、第３特徴画像４０４及び第４特徴画像４０５を、第１メモリとは異なる第２メモリに格納する。これにより、弱判別器Ｃ１は、第１メモリからＤ_１，１に対応する画素値、第２メモリからＤ_１，２に対応する画素値、を並列に読み出すことができる。また、弱判別器Ｃ２は、第１メモリからＤ_２，１に対応する画素値、第２メモリからＤ_２，２に対応する画素値、を並列に読み出すことができる。また、弱判別器Ｃ３は、第１メモリからＤ_３，１に対応する画素値、第２メモリからＤ_３，２に対応する画素値、を並列に読み出すことができる。 In such a case, in order for the weak discriminator Ci (i = 1, 2, 3, 4) to read out the pixel values corresponding to _{Di, 1} and the pixel values corresponding to _{Di, 2} in parallel, D It is necessary to store the feature image corresponding to _{i and 1} and the feature image corresponding to _{Di and 2} in separate memories. Therefore, in such a case, as shown in FIG. 4, the first feature image 402 and the second feature image 403 are stored in the first memory, and the third feature image 404 and the fourth feature image 405 are stored in the first memory. It is stored in a second memory different from the above. Thus, the weak discriminator C1 can read pixel values corresponding from the first memory to the D _{1, 1,} pixel values corresponding the second memory to the D _{1, 2,} in parallel. Further, the weak discriminator C2 can read out the pixel values corresponding to D ₂ and 1 from the first memory and the pixel values corresponding to D ₂ and ₂ from the second memory in parallel. Furthermore, the weak discriminator C3 can read pixel values corresponding from the first memory to the D _{3, 1,} pixel values corresponding the second memory to the D _3,2, in parallel.

１つのメモリから単位時間（１サイクル）当たりに最大１個の特徴画像の画素を読み出すことができるわけであるから、読み出すべき画素をそれぞれ異なるメモリに格納しておけば、１サイクルでそれぞれのメモリから画素を読み出すことができる。 Since it is possible to read up to one pixel of the feature image per unit time (1 cycle) from one memory, if the pixels to be read are stored in different memories, each memory can be read in one cycle. Pixels can be read from.

次に、図４のように第１〜４特徴画像が第１メモリ及び第２メモリの何れかにグループ分けされて保持されている場合に、図３に示す弱判別器Ｃ１〜Ｃ４の動作に要する時間について説明する。 Next, when the first to fourth feature images are grouped and held in either the first memory or the second memory as shown in FIG. 4, the operation of the weak discriminators C1 to C4 shown in FIG. 3 is performed. The time required will be described.

弱判別器Ｃ１は、第１メモリからＤ_１，１に対応する特徴画像（第１特徴画像４０２）における画素位置の画素値、第２メモリからＤ_１，２に対応する特徴画像（第３特徴画像４０４）における画素位置の画素値、を並列に読み出す。上記の通り、第１メモリへのアクセス及び第２メモリへのアクセスを１サイクルで実現できる。また、１つの弱判別器において、第１パラメータの読み出し以外の処理に最短で１サイクルを要するとすると、弱判別器Ｃ１については最短２サイクルで処理できる。 The weak discriminator C1 has a pixel value of a pixel position in a feature image (first feature image 402) corresponding to D ₁ , 1 from the first memory, and a feature image (third feature) corresponding to D ₁ , 2 from the second memory. The pixel value of the pixel position in image 404) is read out in parallel. As described above, the access to the first memory and the access to the second memory can be realized in one cycle. Further, if it is assumed that one weak discriminator requires a minimum of one cycle for processing other than reading the first parameter, the weak discriminator C1 can be processed in a minimum of two cycles.

弱判別器Ｃ２は、第１メモリからＤ_２，１に対応する特徴画像（第２特徴画像４０３）における画素位置の画素値、第２メモリからＤ_２，２に対応する特徴画像（第４特徴画像４０５）における画素位置の画素値、を並列に読み出す。上記の説明から、弱判別器Ｃ２についても最短２サイクルで処理できることがわかる。 The weak discriminator C2 is a pixel value of a pixel position in a feature image (second feature image 403) corresponding to D ₂ and 1 from the first memory, and a feature image (fourth feature) corresponding to D ₂ and ₂ from the second memory. The pixel value of the pixel position in the image 405) is read out in parallel. From the above description, it can be seen that the weak discriminator C2 can also be processed in a minimum of two cycles.

弱判別器Ｃ３は、第１メモリからＤ_３，１に対応する特徴画像（第１特徴画像４０２）における画素位置の画素値、第２メモリからＤ_３，２に対応する特徴画像（第４特徴画像４０５）における画素位置の画素値、を並列に読み出す。上記の説明から、弱判別器Ｃ３についても最短２サイクルで処理できることがわかる。 The weak discriminator C3 is a pixel value of a pixel position in a feature image (first feature image 402) corresponding to D ₃ and 1 from the first memory, and a feature image (fourth feature) corresponding to D ₃ and 2 from the second memory. The pixel value of the pixel position in the image 405) is read out in parallel. From the above description, it can be seen that the weak discriminator C3 can also be processed in a minimum of two cycles.

弱判別器Ｃ４は、第１メモリからＤ_４，１に対応する特徴画像（第１特徴画像４０２）における画素位置の画素値、第１メモリからＤ_４，２に対応する特徴画像（第２特徴画像４０３）における画素位置の画素値、を読み出す。この場合、第１メモリから２つの画素値を読み出すことになるので、これには２サイクルの時間を要することになり、その結果、弱判別器Ｃ４については最短３サイクルで処理できることがわかる。 Weak discriminator C4, the pixel value of the pixel position in the feature image (first feature image 402) corresponding from the first memory to the _{D 4, 1,} wherein the image (second features corresponding from the first memory to the _{D 4, 2} The pixel value of the pixel position in image 403) is read out. In this case, since the two pixel values are read from the first memory, this requires a time of two cycles, and as a result, it can be seen that the weak discriminator C4 can be processed in a minimum of three cycles.

然るに、このような場合、弱判別器Ｃ１〜Ｃ４を全て処理するためには、合計９サイクルの時間を要することが分かる。 However, in such a case, it can be seen that a total of 9 cycles are required to process all the weak discriminators C1 to C4.

次に、本実施形態の構成において、図５に示す如く、第１特徴画像４０２、第２特徴画像４０３、第３特徴画像４０４、第４特徴画像４０５をグループごとに別個のメモリに格納しない場合に、図３に示す弱判別器Ｃ１〜Ｃ４の動作に要する時間について説明する。図５では、第１特徴画像４０２、第２特徴画像４０３、第３特徴画像４０４、第４特徴画像４０５を１つのグループ５０１（グループ１）として（グループ分けせずに）、１つのメモリ（第１メモリ）に格納している。 Next, in the configuration of the present embodiment, as shown in FIG. 5, when the first feature image 402, the second feature image 403, the third feature image 404, and the fourth feature image 405 are not stored in separate memories for each group. The time required for the operation of the weak discriminators C1 to C4 shown in FIG. 3 will be described later. In FIG. 5, the first feature image 402, the second feature image 403, the third feature image 404, and the fourth feature image 405 are grouped 501 (group 1) into one memory (without grouping). It is stored in 1 memory).

弱判別器Ｃ１は、第１メモリからＤ_１，１に対応する特徴画像（第１特徴画像４０２）における画素位置の画素値と、Ｄ_１，２に対応する特徴画像（第３特徴画像４０４）における画素位置の画素値と、を読み出す。この場合、第１メモリから２つの画素値を読み出すことになるので、これには２サイクルの時間を要することになり、その結果、弱判別器Ｃ１については最短３サイクルの時間を要することになる。 The weak discriminator C1 has a pixel value of a pixel position in a feature image (first feature image 402) corresponding to D ₁ , 1 from the first memory and a feature image corresponding to D ₁ , ₂ (third feature image 404). The pixel value of the pixel position in is read out. In this case, since two pixel values are read from the first memory, this requires a time of two cycles, and as a result, the weak discriminator C1 requires a minimum of three cycles. ..

弱判別器Ｃ２は、第１メモリからＤ_２，１に対応する特徴画像（第２特徴画像４０３）における画素位置の画素値と、Ｄ_２，２に対応する特徴画像（第４特徴画像４０５）における画素位置の画素値と、を読み出す。上記の説明から、弱判別器Ｃ２についても最短３サイクルの時間を要することになる。 The weak discriminator C2 has a pixel value of a pixel position in a feature image (second feature image 403) corresponding to D ₂ , 1 from the first memory and a feature image corresponding to D ₂ , ₂ (fourth feature image 405). The pixel value of the pixel position in is read out. From the above description, it takes a minimum of 3 cycles for the weak discriminator C2 as well.

弱判別器Ｃ３は、第１メモリからＤ_３，１に対応する特徴画像（第１特徴画像４０２）における画素位置の画素値と、Ｄ_３，２に対応する特徴画像（第４特徴画像４０５）における画素位置の画素値と、を読み出す。上記の説明から、弱判別器Ｃ３についても最短３サイクルの時間を要することになる。 The weak discriminator C3 has a pixel value of a pixel position in a feature image (first feature image 402) corresponding to D ₃ and 1 from the first memory and a feature image corresponding to D ₃ and ₂ (fourth feature image 405). The pixel value of the pixel position in is read out. From the above description, the weak discriminator C3 also requires a minimum of 3 cycles.

弱判別器Ｃ４は、第１メモリからＤ_４，１に対応する特徴画像（第１特徴画像４０２）における画素位置の画素値と、Ｄ_４，２に対応する特徴画像（第２特徴画像４０３）における画素位置の画素値と、を読み出す。上記の説明から、弱判別器Ｃ４についても最短３サイクルの時間を要することになる。 The weak discriminator C4 has a pixel value of a pixel position in a feature image (first feature image 402) corresponding to D ₄ , 1 from the first memory and a feature image corresponding to D ₄ , 2 (second feature image 403). The pixel value of the pixel position in is read out. From the above explanation, it takes a minimum of 3 cycles for the weak discriminator C4 as well.

然るに、このような場合、弱判別器Ｃ１〜Ｃ４を全て処理するためには、合計１２サイクルの時間を要することが分かる。 However, in such a case, it can be seen that a total of 12 cycles is required to process all the weak discriminators C1 to C4.

このように、入力画像から生成した特徴画像をグループごとに異なるメモリに格納しておくことで、特徴画像をグループ分けせずに１つのメモリに格納する場合と比べて、カスケード接続された複数個の弱判別器によるパターン判別に要する時間を短縮できる。 By storing the feature images generated from the input images in different memories for each group in this way, as compared with the case where the feature images are stored in one memory without being divided into groups, a plurality of cascade-connected features are stored. The time required for pattern discrimination by the weak discriminator can be shortened.

［第２の実施形態］
第１の実施形態では、図３の弱判別器Ｃ４に対する第１パラメータのように、１つの弱判別器について画素値を読み出す際に、１つのメモリに複数回のアクセスを許容していた。本実施形態では、各弱判別器に対応するパラメータに制約を与えて学習する。具体的には、ブースティング学習による特徴選択時に、第１パラメータにおけるそれぞれのデータセットに対応する特徴画像が同一のグループの中にある組合せを選択しない。これにより、１つの弱判別器について画素値を読み出す際に、１つのメモリに複数回のアクセスを許容せず、１つのメモリに１回のみのアクセスとする。以下では第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。 [Second Embodiment]
In the first embodiment, as in the first parameter for the weak discriminator C4 in FIG. 3, when reading the pixel value for one weak discriminator, one memory is allowed to be accessed a plurality of times. In the present embodiment, the parameters corresponding to each weak discriminator are constrained for learning. Specifically, at the time of feature selection by boosting learning, the combination in which the feature images corresponding to the respective data sets in the first parameter are in the same group is not selected. As a result, when reading the pixel value for one weak discriminator, one memory is not allowed to be accessed multiple times, and one memory is accessed only once. Hereinafter, the differences from the first embodiment will be mainly described, and unless otherwise specified below, the same as the first embodiment.

図９のように、カスケード接続された４個の弱判別器によってパターン判別を行う場合における、それぞれの弱判別器への第１パラメータの一例について、図９を用いて説明する。図９では、入力画像から第１特徴画像、第２特徴画像、第３特徴画像、第４特徴画像の４枚の特徴画像が生成されている。ここで、弱判別器Ｃ１〜Ｃ３に対する第１パラメータは、図３と同様であるが、弱判別器Ｃ４に対する第１パラメータは図３と異なる。即ち、Ｄ_４，１は、第２特徴画像の識別情報と、第２特徴画像において黒丸で示した画素位置と、のセットデータである。Ｄ_４，２は、第３特徴画像の識別情報と、第３特徴画像において黒丸で示した画素位置と、のセットデータである。 As shown in FIG. 9, an example of the first parameter for each weak discriminator when pattern discrimination is performed by four cascade-connected weak discriminators will be described with reference to FIG. In FIG. 9, four feature images, a first feature image, a second feature image, a third feature image, and a fourth feature image, are generated from the input image. Here, the first parameters for the weak discriminators C1 to C3 are the same as those in FIG. 3, but the first parameters for the weak discriminators C4 are different from those in FIG. That is, D _{4 and 1} are set data of the identification information of the second feature image and the pixel positions indicated by the black circles in the second feature image. D _{4 and 2} are set data of the identification information of the third feature image and the pixel positions indicated by the black circles in the third feature image.

図３とは異なり、Ｄ_４，１に対応する特徴画像（第２特徴画像）とＤ_４，２に対応する特徴画像（第３特徴画像）とは互いに異なるメモリ（前者は第１メモリで後者は第２メモリ）に格納されている。然るにこの場合、弱判別器Ｃ４についても、第１メモリからＤ_４，１に対応する画素値、第２メモリからＤ_４，２に対応する画素値、を並列に読み出すことができる。 Unlike FIG. 3, the feature image (second feature image) corresponding to D ₄ , ₁ and the feature image (third feature image) corresponding to D ₄ , ₂ have different memories (the former is the first memory and the latter). Is stored in the second memory). However, in this case, also for the weak discriminator C4, the pixel values corresponding to D ₄ and 1 can be read from the first memory and the pixel values corresponding to D ₄ and ₂ can be read out in parallel from the second memory.

次に、図４のように第１〜４特徴画像が第１メモリ及び第２メモリの何れかにグループ分けされて保持されてる場合に、図９に示す弱判別器Ｃ１〜Ｃ４の動作に要する時間について説明する。弱判別器Ｃ１〜Ｃ３については図３と同様であるから、弱判別器Ｃ１〜Ｃ３の何れについても、最短２サイクルで処理できる。 Next, when the first to fourth feature images are grouped and held in either the first memory or the second memory as shown in FIG. 4, the weak discriminators C1 to C4 shown in FIG. 9 are required to operate. Explain the time. Since the weak discriminators C1 to C3 are the same as those in FIG. 3, any of the weak discriminators C1 to C3 can be processed in a minimum of two cycles.

弱判別器Ｃ４は、第１メモリからＤ_４，１に対応する特徴画像（第２特徴画像）における画素位置の画素値、第２メモリからＤ_４，２に対応する特徴画像（第３特徴画像）における画素位置の画素値、を読み出す。上記の通り、第１メモリへのアクセス及び第２メモリへのアクセスを１サイクルで実現できるので、１つの弱判別器において、第１パラメータの読み出し以外の処理に最短で１サイクルを要するとすると、弱判別器Ｃ４についても最短２サイクルで処理できる。 The weak discriminator C4 is a pixel value of a pixel position in a feature image (second feature image) corresponding to D ₄ , 1 from the first memory, and a feature image (third feature image) corresponding to D ₄ , 2 from the second memory. ) Is read out. As described above, since the access to the first memory and the access to the second memory can be realized in one cycle, if one weak discriminator requires a minimum of one cycle for processing other than reading the first parameter, it is assumed. The weak discriminator C4 can also be processed in a minimum of two cycles.

然るに、このような場合、弱判別器Ｃ１〜Ｃ４を全て処理するためには、合計８サイクルの時間を要することが分かる。 However, in such a case, it can be seen that a total of 8 cycles is required to process all the weak discriminators C1 to C4.

ここで、図６に示す如く、それぞれの特徴画像を別個のメモリに格納する場合、図６では４枚の特徴画像（第１特徴画像４０２、第２特徴画像４０３、第３特徴画像４０４、第４特徴画像４０５）が生成されているわけであるから、メモリの数も４となる（第１〜４メモリ６０１〜６０４）。ここで、第１〜４メモリへのアクセスを１サイクルで行い、且つ１つの弱判別器において第１パラメータの読み出し以外の処理に最短で１サイクルを要するとすると、上記の説明からすると、弱判別器Ｃ１〜Ｃ４のそれぞれについては最短２サイクルで処理できる。然るに、このような場合、弱判別器Ｃ１〜Ｃ４を全て処理するためには、合計８サイクルの時間を要する。このように、弱判別器Ｃ１〜Ｃ４を全て処理するために要するサイクル数については本実施形態と同様である。しかし、使用しているメモリの数は４（第１〜４メモリ）となり、本実施形態において必要となるメモリの数（＝２つ：第１メモリと第２メモリ）よりも多くなってしまい、実装時のコストが増大する。 Here, as shown in FIG. 6, when each feature image is stored in a separate memory, four feature images (first feature image 402, second feature image 403, third feature image 404, third feature image 404) are shown in FIG. Since the four feature images 405) are generated, the number of memories is also four (first to fourth memories 601 to 604). Here, assuming that the first to fourth memories are accessed in one cycle and a process other than reading the first parameter requires one cycle at the shortest in one weak discriminator, the weak discriminant is determined from the above explanation. Each of the vessels C1 to C4 can be processed in a minimum of two cycles. However, in such a case, it takes a total of 8 cycles to process all the weak discriminators C1 to C4. As described above, the number of cycles required to process all the weak discriminators C1 to C4 is the same as that of the present embodiment. However, the number of memories used is 4 (1st to 4th memories), which is larger than the number of memories required in the present embodiment (= 2: 1st memory and 2nd memory). The cost of mounting increases.

このように、特徴画像を所定のグループ単位で保持し、学習アルゴリズムに制約をかけることで、常にグループ保持部のメモリから異なるグループの特徴画像を並列に参照できるようになるため、メモリコストの増加を抑えて、高速に処理することができる。 In this way, by holding the feature images in a predetermined group unit and limiting the learning algorithm, it is possible to always refer to the feature images of different groups in parallel from the memory of the group holding unit, which increases the memory cost. Can be processed at high speed.

＜変形例＞
各弱判別器に対応する第１，２パラメータは複数の段階で決定しても良い。図１１にパラメータ学習の例を示す。ステップＳ１１０１では、学習アルゴリズムによって、仮の第１パラメータと第２パラメータを決定する。ステップＳ１１０２では、測定画像と仮の第１パラメータと第２パラメータを用いて第１判別精度を計算し、保存する。ここでの判別精度は、測定画像でのパターン判別の正確度である。ステップＳ１１０３では、各特徴画像の画素を参照する確率を解析し、弱判別器毎に異なるグループから特徴画像の画素を参照する確率が高まるようにグループの単位を設定する。ステップＳ１１０４では、ステップＳ１１０３で設定したグループの単位に基づいて、異なるメモリから特徴画像を並列に参照できるという制約を元に、第１パラメータと第２パラメータを決定する。ステップＳ１１０５では、測定画像と第１パラメータと第２パラメータを用いて第２判別精度を計算し、保存する。ステップＳ１１０６では、第１判別精度と第２判別精度との差が所定の閾値より大きいかどうかを判断する。第１判別精度と第２判別精度との差が閾値より大きい場合には、ステップＳ１１０３に戻り、グループの単位を再設定する。そうでない場合には、パラメータ学習を終了する。 <Modification example>
The first and second parameters corresponding to each weak discriminator may be determined in a plurality of stages. FIG. 11 shows an example of parameter learning. In step S1101, a tentative first parameter and a second parameter are determined by the learning algorithm. In step S1102, the first discrimination accuracy is calculated and saved using the measured image, the provisional first parameter, and the second parameter. The discrimination accuracy here is the accuracy of pattern discrimination in the measured image. In step S1103, the probability of referencing the pixel of each feature image is analyzed, and the unit of the group is set so that the probability of referencing the pixel of the feature image from a different group for each weak discriminator increases. In step S1104, the first parameter and the second parameter are determined based on the restriction that the feature images can be referred to in parallel from different memories based on the group unit set in step S1103. In step S1105, the second discrimination accuracy is calculated and saved using the measured image, the first parameter, and the second parameter. In step S1106, it is determined whether or not the difference between the first discrimination accuracy and the second discrimination accuracy is larger than a predetermined threshold value. If the difference between the first discrimination accuracy and the second discrimination accuracy is larger than the threshold value, the process returns to step S1103 and the unit of the group is reset. If not, parameter learning is terminated.

なお、上述した例では、グループの単位を決定するために、第１判別精度と第２判別精度との差が閾値より大きいかどうかを判断していたが、判別精度の差に代えて、弱判別器の数の差で判断するようにしても良い。 In the above-mentioned example, in order to determine the unit of the group, it was determined whether the difference between the first discrimination accuracy and the second discrimination accuracy was larger than the threshold value, but instead of the difference in the discrimination accuracy, it was weak. The judgment may be made based on the difference in the number of discriminators.

また、第１，２の実施形態では、特徴画像（２次元データ／２次元配列）に対してパターン判別を行うという例について説明した。しかし、第１，２の実施形態は、任意次元の入力データ列から生成された任意次元の特徴データ列に対してパターン判別を行うケースであっても同様に適用することができる。 Further, in the first and second embodiments, an example in which pattern discrimination is performed on a feature image (two-dimensional data / two-dimensional array) has been described. However, the first and second embodiments can be similarly applied even in the case of performing pattern discrimination on the arbitrary dimension feature data string generated from the arbitrary dimension input data string.

また、第１，２の実施形態では、１枚の入力画像から複数枚の特徴画像を生成し、該生成された複数枚の特徴画像を用いてパターン判別を行う例を説明した。しかし複数枚の静止画像のそれぞれから複数枚の特徴画像を生成する、又は動画像を構成する各フレームの画像から複数枚の特徴画像を生成する、の何れであっても、グループ化対象となる画像の数が増えるだけで実質的な処理は第１，２の実施形態と同様である。 Further, in the first and second embodiments, an example in which a plurality of feature images are generated from one input image and pattern discrimination is performed using the generated plurality of feature images has been described. However, whether a plurality of feature images are generated from each of the plurality of still images or a plurality of feature images are generated from the images of each frame constituting the moving image, they are subject to grouping. Substantial processing is the same as in the first and second embodiments except that the number of images is increased.

また、第１、２の実施形態では、４枚の特徴画像を２個のグループに分割する例について説明したが、２個のグループに限定される訳でなく、任意個のグループでも良い。即ち、１枚の特徴画像を３個以上のグループに分割しても良い。また、一個のグループの中の特徴画像は部分的な特徴画像を包含しても良い。 Further, in the first and second embodiments, an example of dividing the four feature images into two groups has been described, but the present invention is not limited to the two groups, and any group may be used. That is, one feature image may be divided into three or more groups. Further, the feature image in one group may include a partial feature image.

また、入力画像に対して任意の線形変換（幾何学的な変換等）又は非線形変換（モフォロジカルフィルタ等）を施したものを特徴画像として生成しても構わないし、入力画像がカラー画像の場合、各色プレーン或いはその色変換結果を特徴画像としても良い。更に、特徴画像は積分画像等であっても良い。 Further, an input image that has undergone arbitrary linear transformation (geometric transformation, etc.) or nonlinear transformation (morphological filter, etc.) may be generated as a feature image, and when the input image is a color image. , Each color plane or its color conversion result may be used as a feature image. Further, the feature image may be an integrated image or the like.

また、第１，２の実施形態では、各弱判別器に対応するパラメータの特性に基づいて、特徴画像を所定のグループ単位で異なるメモリに保持する例について説明したが、特徴画像の特性に応じて、グループ単位を決定しても良い。 Further, in the first and second embodiments, an example in which the feature image is held in a different memory in a predetermined group unit based on the characteristics of the parameters corresponding to each weak discriminator has been described, but it depends on the characteristics of the feature image. The group unit may be determined.

また、第１，２の実施形態では、各弱判別器に対応するパラメータの特性に基づいて、特徴画像を所定のグループ単位で異なるメモリに保持する例について説明したが、判別するパターンにより、グループ単位を決定しても良い。例えば、人体や車等の判別対象によって、グループ単位を決定しても良い。 Further, in the first and second embodiments, an example in which the feature image is held in a different memory in a predetermined group unit based on the characteristics of the parameters corresponding to each weak discriminator has been described, but the group is determined by the discriminating pattern. The unit may be determined. For example, the group unit may be determined according to the discrimination target such as a human body or a car.

［第３の実施形態］
図８に示した各機能部はハードウェアでもって構成しても構わない。しかし、グループ保持部８０２、パラメータ保持部８０５、判別結果保持部８０６をメモリで構成し、制御部８０３をＣＰＵ等のプロセッサで構成し、特徴画像生成部８０１及び弱判別器処理部８０４をコンピュータプログラムで構成しても構わない。 [Third Embodiment]
Each functional unit shown in FIG. 8 may be configured by hardware. However, the group holding unit 802, the parameter holding unit 805, and the discrimination result holding unit 806 are configured by a memory, the control unit 803 is configured by a processor such as a CPU, and the feature image generation unit 801 and the weak discriminator processing unit 804 are computer programs. It may be composed of.

また、図８に示した構成を有するパターン判別装置を搭載したコンピュータ装置（情報処理装置）を構成することも可能である。この場合、このコンピュータ装置は、第１，２の実施形態で説明したパターン判別装置の機能を含む様々な機能を有する装置となる。このようなコンピュータ装置としては、例えば、一般のＰＣ（パーソナルコンピュータ）や、ディジタルカメラ、携帯電話、タブレット端末装置、などがある。このようなコンピュータ装置のハードウェア構成例について、図７のブロック図を用いて説明する。 It is also possible to configure a computer device (information processing device) equipped with a pattern discriminating device having the configuration shown in FIG. In this case, the computer device is a device having various functions including the functions of the pattern discriminating device described in the first and second embodiments. Examples of such a computer device include a general PC (personal computer), a digital camera, a mobile phone, a tablet terminal device, and the like. An example of a hardware configuration of such a computer device will be described with reference to the block diagram of FIG.

入力部７０１は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をＣＰＵ７０５に対して入力することができる。 The input unit 701 is composed of a user interface such as a keyboard and a mouse, and various instructions can be input to the CPU 705 by the user's operation.

データ保存部７０２は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。データ保存部７０２には、ＯＳ（オペレーティングシステム）や、コンピュータ装置が行うべき各処理をＣＰＵ７０５に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。データ保存部７０２に保存されているコンピュータプログラムやデータは、ＣＰＵ７０５による制御に従って適宜ＲＡＭ７０７にロードされ、ＣＰＵ７０５による処理対象となる。このコンピュータプログラムやデータには、判別処理部７０８が用いるコンピュータプログラムやデータが含まれていても良い。 The data storage unit 702 is a large-capacity information storage device typified by a hard disk drive device. The data storage unit 702 stores computer programs and data for causing the CPU 705 to execute or control each process to be performed by the OS (operating system) and the computer device. The computer programs and data stored in the data storage unit 702 are appropriately loaded into the RAM 707 according to the control by the CPU 705, and are processed by the CPU 705. The computer program or data may include the computer program or data used by the discrimination processing unit 708.

なお、データ保存部７０２にはその他の記憶装置を適用することもできる。例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲやＤＶＤ、メモリカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、ＵＳＢメモリ等をデータ保存部７０２に適用することができる。なお、データ保存部７０２は、本コンピュータ装置が有することに限らず、外部装置として設けても良く、外部装置としてのデータ保存部７０２に通信部７０３を介してアクセスしてデータの読み書きを行っても良い。 It should be noted that other storage devices can also be applied to the data storage unit 702. For example, a flexible disk, CD-ROM, CD-R or DVD, memory card, CF card, SmartMedia, SD card, memory stick, xD picture card, USB memory and the like can be applied to the data storage unit 702. The data storage unit 702 is not limited to the computer device, and may be provided as an external device. The data storage unit 702 as an external device is accessed via the communication unit 703 to read and write data. Is also good.

通信部７０３は、外部装置とのデータ通信を行うものであり、本コンピュータ装置において処理した結果を外部装置に対して送信したり、外部装置から必要な情報を受信したりする。 The communication unit 703 performs data communication with an external device, transmits the result of processing in the computer device to the external device, and receives necessary information from the external device.

表示部７０４は、ＣＲＴや液晶画面、プロジェクタなどにより構成されており、ＣＰＵ７０５による処理結果を画像や文字などでもって表示／投影することができる。なお、入力部７０１と表示部７０４とを一体化させてタッチパネル画面を構成してもよく、その場合、このタッチパネル画面は、ユーザからの様々な操作入力を受け付けると共に、ＣＰＵ７０５による処理結果を画像や文字などでもって表示することができる。また、表示部７０４は、本コンピュータ装置が有することに限らず、外部装置として設けても構わない。 The display unit 704 is composed of a CRT, a liquid crystal screen, a projector, and the like, and can display / project the processing result by the CPU 705 with images, characters, and the like. The input unit 701 and the display unit 704 may be integrated to form a touch panel screen. In that case, the touch panel screen accepts various operation inputs from the user and displays the processing result by the CPU 705 as an image. It can be displayed with characters. Further, the display unit 704 is not limited to the computer device, and may be provided as an external device.

ＣＰＵ７０５は、ＲＯＭ７０６やＲＡＭ７０７に格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、本コンピュータ装置全体の動作制御を行う。 The CPU 705 controls the operation of the entire computer device by executing various processes using the computer programs and data stored in the ROM 706 and the RAM 707.

ＲＯＭ７０６には、本コンピュータ装置の設定データやブートプログラムなどが格納されている。 The ROM 706 stores the setting data of the computer device, the boot program, and the like.

ＲＡＭ７０７は、データ保存部７０２からロードされたコンピュータプログラムやデータ、通信部７０３が外部装置から受信したコンピュータプログラムやデータ、を格納するためのエリアを有する。更にＲＡＭ７０７は、ＣＰＵ７０５や判別処理部７０８が各種の処理を実行する際に用いるワークエリアも有する。このようにＲＡＭ７０７は、各種のエリアを適宜提供することができる。また、データ保存部７０２及びＲＡＭ７０７のうち一方の機能の一部を他方が担っても良い。 The RAM 707 has an area for storing computer programs and data loaded from the data storage unit 702 and computer programs and data received from the external device by the communication unit 703. Further, the RAM 707 also has a work area used by the CPU 705 and the discrimination processing unit 708 to execute various processes. As described above, the RAM 707 can appropriately provide various areas. Further, the other may bear a part of the function of one of the data storage unit 702 and the RAM 707.

判別処理部７０８は、第１，２の実施形態に係るパターン判別装置であり、図８に示す構成を有する。例えば判別処理部７０８は、通信部７０３を介して外部装置から若しくはデータ保存部７０２からＲＡＭ７０７に取得した第１，２パラメータ及び特徴画像を用いてパターン判別を行う。判別処理部７０８による処理結果はＲＡＭ７０７やデータ保存部７０２に格納しても良いし、通信部７０３を介して外部装置に対して送信しても良い。 The discrimination processing unit 708 is a pattern discrimination device according to the first and second embodiments, and has the configuration shown in FIG. For example, the discrimination processing unit 708 performs pattern discrimination using the first and second parameters and the feature image acquired from the external device or from the data storage unit 702 to the RAM 707 via the communication unit 703. The processing result by the discrimination processing unit 708 may be stored in the RAM 707 or the data storage unit 702, or may be transmitted to an external device via the communication unit 703.

また、ＣＰＵ７０５が判別処理部７０８によるパターン判別の結果を用いて画像処理や画像認識を行うこともできる。この場合、ＣＰＵ７０５は、画像処理や画像認識の結果をデータ保存部７０２に保存したり、通信部７０３を介して外部装置に対して送信しても良い。 Further, the CPU 705 can also perform image processing and image recognition using the result of pattern discrimination by the discrimination processing unit 708. In this case, the CPU 705 may store the results of image processing and image recognition in the data storage unit 702, or may transmit the results to an external device via the communication unit 703.

なお、入力部７０１、データ保存部７０２、通信部７０３、表示部７０４、ＣＰＵ７０５、ＲＯＭ７０６、ＲＡＭ７０７、判別処理部７０８のそれぞれは、バス７０９に接続されている。 The input unit 701, the data storage unit 702, the communication unit 703, the display unit 704, the CPU 705, the ROM 706, the RAM 707, and the discrimination processing unit 708 are each connected to the bus 709.

なお、図７に示した構成は一例に過ぎない。例えば、ＣＰＵ７０５を複数個設けても構わないし、複数個のコンピュータ装置でもって図７の構成と同等の構成を実現させても構わない。また、以上説明した実施形態や変形例の一部若しくは全部は適宜組み合わせても構わないし、選択的に使用しても構わない。 The configuration shown in FIG. 7 is only an example. For example, a plurality of CPU 705s may be provided, or a plurality of computer devices may be used to realize a configuration equivalent to the configuration shown in FIG. 7. In addition, some or all of the embodiments and modifications described above may be combined as appropriate, or may be selectively used.

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other Examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

８０２：グループ保持部 ８０４：弱判別器処理部 802: Group holding unit 804: Weak discriminator processing unit

Claims (10)

論理的にカスケード接続され、第１の弱判別器と該第１の弱判別器に後続する第２の弱判別器とを含み、複数種類の特徴画像を参照する複数の弱判別器を有するパターン判別装置であって、前記複数種類の特徴画像は当該種類よりも少数の複数のグループに分類され、前記複数の弱判別器の各々は、当該複数のグループのうちそれぞれ異なるグループに属する、弱判別器ごとに定められた２種類以上の特徴画像を参照してパターン判別を行うものであり、
入力画像から前記複数種類の特徴画像を生成する生成手段と、
生成された前記複数種類の特徴画像を前記複数のグループに分類し、グループごとにそれぞれ異なるメモリに保持させる保持手段と
を備え、
前記第１の弱判別器は、該第１の弱判別器に定められた２種類以上の特徴画像のそれぞれが属するグループの特徴画像を保持する２以上のメモリに対して並列にアクセスして当該２種類以上の特徴画像を読み出し、該読み出した２種類以上の特徴画像を参照してパターン判別を行い、
前記第２の弱判別器は、前記第１の弱判別器によるパターン判別が成功した場合には、該第２の弱判別器に定められた２種類以上の特徴画像のそれぞれが属するグループの特徴画像を保持する２以上のメモリに対して並列にアクセスして当該２種類以上の特徴画像を読み出し、該読み出した２種類以上の特徴画像を参照してパターン判別を行う
ことを特徴とするパターン判別装置。 Is logically cascaded, having a first weak classifier and saw including a second weak classifier subsequent to the first weak classifier, a plurality of weak classifiers refers to several types of feature images In the pattern discriminator, the plurality of types of feature images are classified into a plurality of groups smaller than the type, and each of the plurality of weak discriminators belongs to a different group among the plurality of groups. The pattern is discriminated by referring to two or more types of feature images determined for each discriminator.
A generation means for generating the plurality of types of feature images from an input image, and
As a holding means for classifying the generated plurality of types of feature images into the plurality of groups and holding each group in a different memory.
With
The first weak discriminator, the accesses in parallel to two or more memory each of two or more feature images defined on the first weak discriminator holds the group feature images belonging Two or more types of feature images are read out, and pattern discrimination is performed with reference to the read out two or more types of feature images .
When the pattern discrimination by the first weak discriminator is successful, the second weak discriminator is a feature of a group to which each of two or more types of feature images defined in the second weak discriminator belongs. Two or more types of memory for holding an image are accessed in parallel to read out the two or more types of feature images, and pattern discrimination is performed with reference to the read out two or more types of feature images.
Pattern discriminating apparatus, characterized in that. 更に、
前記弱判別器がパターン判別のために参照するパラメータを保持するパラメータ保持手段を備えることを特徴とする請求項１に記載のパターン判別装置。 In addition
The pattern discriminating device according to claim 1 , wherein the weak discriminator includes a parameter holding means for holding a parameter referred to for pattern discriminating. 前記パラメータ保持手段は、前記弱判別器ごとにパラメータを保持することを特徴とする請求項２に記載のパターン判別装置。 The pattern discriminating device according to claim 2 , wherein the parameter holding means holds parameters for each weak discriminator. 前記パラメータ保持手段は、前記弱判別器ごとに該弱判別器によるパターン判別の対象を規定する第１のパラメータを保持することを特徴とする請求項３に記載のパターン判別装置。 The pattern discriminating device according to claim 3 , wherein the parameter holding means holds a first parameter that defines a target for pattern discrimination by the weak discriminator for each weak discriminator. 前記第１のパラメータは、パターン判別のために参照する特徴画像の識別情報と該特徴画像中の画素位置とを含むことを特徴とする請求項４に記載のパターン判別装置。 The pattern discrimination apparatus according to claim 4 , wherein the first parameter includes identification information of a feature image referred to for pattern discrimination and pixel positions in the feature image. 前記パラメータ保持手段は、前記弱判別器ごとに該弱判別器によるパターン判別の結果が成功であるか否かを判断するための第２のパラメータを保持することを特徴とする請求項３乃至５の何れか１項に記載のパターン判別装置。 Claims 3 to 5 are characterized in that the parameter holding means holds a second parameter for each weak discriminator for determining whether or not the result of pattern discrimination by the weak discriminator is successful. The pattern discriminating device according to any one of the above items. 前記第２のパラメータは、パターンらしさに相当するスコアを算出するための関数と該スコアに対する閾値とを含むことを特徴とする請求項６に記載のパターン判別装置。 The pattern discriminating device according to claim 6 , wherein the second parameter includes a function for calculating a score corresponding to the pattern-likeness and a threshold value for the score. 請求項１乃至７の何れか１項に記載のパターン判別装置と、該パターン判別装置によるパターン判別の結果を用いて処理を実行する実行手段と、を備えることを特徴とする情報処理装置。 An information processing device comprising the pattern discriminating device according to any one of claims 1 to 7 and an execution means for executing processing using the result of pattern discriminating by the pattern discriminating device. 論理的にカスケード接続され、第１の弱判別器と該第１の弱判別器に後続する第２の弱判別器とを含み、複数種類の特徴画像を参照する複数の弱判別器を有し、前記複数種類の特徴画像は当該種類よりも少数の複数のグループに分類され、前記複数の弱判別器の各々は、当該複数のグループのうちそれぞれ異なるグループに属する、弱判別器ごとに定められた２種類以上の特徴画像を参照してパターン判別を行うパターン判別装置が行うパターン判別方法であって、
入力画像から前記複数種類の特徴画像を生成し、
生成された前記複数種類の特徴画像を前記複数のグループに分類し、グループごとにそれぞれ異なるメモリに保持させ、
前記第１の弱判別器が、該第１の弱判別器に定められた２種類以上の特徴画像のそれぞれが属するグループの特徴画像を保持する２以上のメモリに対して並列にアクセスして当該２種類以上の特徴画像を読み出し、該読み出した２種類以上の特徴画像を参照してパターン判別を行い、
前記第２の弱判別器が、前記第１の弱判別器によるパターン判別が成功した場合には、該第２の弱判別器に定められた２種類以上の特徴画像のそれぞれが属するグループの特徴画像を保持する２以上のメモリに対して並列にアクセスして当該２種類以上の特徴画像を読み出し、該読み出した２種類以上の特徴画像を参照してパターン判別を行うことを特徴とするパターン判別方法。 Is logically cascaded look containing a second weak classifier subsequent to the first weak discriminator and the first weak classifier, have a plurality of weak classifiers refers to several types of feature images However, the plurality of types of feature images are classified into a plurality of groups smaller than the type, and each of the plurality of weak discriminators is defined for each weak discriminator belonging to a different group among the plurality of groups. It is a pattern discrimination method performed by a pattern discrimination device that discriminates a pattern by referring to two or more types of feature images .
The plurality of types of feature images are generated from the input image, and
The generated multiple types of feature images are classified into the plurality of groups, and each group is stored in a different memory.
The first weak discriminator, the accesses in parallel to two or more memory each of two or more feature images defined on the first weak discriminator holds the group feature images belonging Two or more types of feature images are read out, and pattern discrimination is performed with reference to the read out two or more types of feature images .
When the second weak discriminator succeeds in pattern discrimination by the first weak discriminator, the feature of the group to which each of the two or more types of feature images defined in the second weak discriminator belongs. Pattern discrimination characterized in that two or more types of memory for holding an image are accessed in parallel, the two or more types of feature images are read out, and pattern discrimination is performed with reference to the read out two or more types of feature images. Method. コンピュータに請求項９に記載のパターン判別方法を実行させるためのコンピュータプログラム。 A computer program for causing a computer to execute the pattern determination method according to claim 9 .

Images