JP4626418B2 - Object detection device and object detection method - Google Patents
Object detection device and object detection method Download PDFInfo
- Publication number
- JP4626418B2 JP4626418B2 JP2005187128A JP2005187128A JP4626418B2 JP 4626418 B2 JP4626418 B2 JP 4626418B2 JP 2005187128 A JP2005187128 A JP 2005187128A JP 2005187128 A JP2005187128 A JP 2005187128A JP 4626418 B2 JP4626418 B2 JP 4626418B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- image
- advance
- weak
- template feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像データを処理して、画像中に含まれる特定の対象物を検出する対象物検出装置、及び対象物検出方法に関するものである。 The present invention relates to an object detection apparatus and an object detection method for detecting a specific object included in an image by processing image data.
従来技術に係る対象物検出装置は、同種の識別器を直列的に接続して構成されており(非特許文献1)、各識別器により画像データを処理して、画像中に含まれる特定の対象物を検出している。ここで、対象物検出装置の各識別器は、第一領域(白領域)と第二領域(黒領域)を有するテンプレートを有しており、各領域の画素の輝度値の総和を求め、第一領域の画素値の総和と第二領域の画素の輝度値の総和の差分を求めることで、画像の特徴量を演算し、その特徴量に基づいて特定の対象物を検出する。
しかしながら、従来技術に係る対象物検出装置では、テンプレートに規定される領域の画素の輝度値の総和を求めるのみであるため、色彩に特徴がある対象物(例えば、道路上の標識、車両など)を検出できない場合がある。即ち、色彩に特徴がある対象物を撮影した画像データでは、対象物の配色が変化する境界部分において、色差が大きいものの輝度差が小さい場合があり、対象物を検出することができない、という問題がある。 However, since the object detection device according to the related art only calculates the sum of the luminance values of the pixels in the region defined in the template, the object having a characteristic in color (for example, a sign on a road, a vehicle, etc.) May not be detected. That is, in the image data obtained by photographing an object having a characteristic in color, there is a problem that the luminance difference may be small but the object cannot be detected at the boundary portion where the color scheme of the object changes, although the color difference is large. There is.
そこで、本発明は、色彩に特徴がある対象物を好適に検出することが可能な対象物検出装置、及び対象物検出方法を提供することを目的とする。 Then, an object of this invention is to provide the target object detection apparatus and target object detection method which can detect the target object characterized by a color suitably.
上述した目的を達成するために、本発明に係る対象物検出装置は、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する撮像部と、事前に学習したテンプレート情報を用いて、スペクトル画像のそれぞれについてテンプレート特徴量を算出するテンプレート特徴算出部と、事前に学習した識別関数情報を用いて、テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する第一識別器と、第一識別器の判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第二識別器と、を有することを特徴とする。 In order to achieve the above-described object, an object detection apparatus according to the present invention uses an imaging unit that captures an imaging region and generates a plurality of spectral images having different frequency regions, and template information learned in advance. Whether or not a detection target is included in the image for each of the template feature amounts using the template feature calculation unit that calculates the template feature amounts for each of the spectral images and the identification function information learned in advance. It has the 1st discriminator to determine and the 2nd discriminator which determines whether a detection target is contained in an image based on the determination result of a 1st discriminator.
この構成によれば、撮像部が、互いに周波数領域が異なる複数のスペクトル画像を生成する。そして、テンプレート特徴算出部、第一識別器及び第二識別器が、画像中に検出対象物が含まれるか否かを判定する。これによれば、互いに周波数領域が異なる複数のスペクトル画像を処理して、画像中に検出対象物が含まれるか否かを判定するため、輝度差が小さく色差が大きい検出対象物を検出することができる。 According to this configuration, the imaging unit generates a plurality of spectral images having different frequency regions. Then, the template feature calculation unit, the first discriminator, and the second discriminator determine whether or not the detection target is included in the image. According to this, in order to process a plurality of spectral images having different frequency regions from each other and determine whether or not the detection object is included in the image, the detection object having a small luminance difference and a large color difference is detected. Can do.
上述した目的を達成するために、本発明に係る対象物検出装置は、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する撮像部と、事前に学習したテンプレート情報を用いて、スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出部と、事前に学習した識別関数情報を用いて、テンプレート特徴ベクトルの各要素のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する第一識別器と、テンプレート情報が共通する第一識別器の判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第二識別器と、第二識別器の判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第三識別器と、を有することを特徴とする。 In order to achieve the above-described object, an object detection apparatus according to the present invention uses an imaging unit that captures an imaging region and generates a plurality of spectral images having different frequency regions, and template information learned in advance. Whether or not a detection target object is included in the image for each element of the template feature vector using the template feature vector calculation unit that calculates the template feature vector for the spectrum image and the identification function information learned in advance. A second discriminator that determines whether or not a detection target is included in the image based on a determination result of the first discriminator that determines whether the detection target is included in the image, And a third discriminator that determines whether or not a detection target is included in the image based on the determination result of the detector.
この構成によれば、撮像部が、互いに周波数領域が異なる複数のスペクトル画像を生成する。そして、テンプレート特徴ベクトル算出部、第一識別器、第二識別器及び第三識別器が、画像中に検出対象物が含まれるか否かを判定する。これによれば、互いに周波数領域が異なる複数のスペクトル画像を処理して、画像中に検出対象物が含まれるか否かを判定するため、輝度差が小さく色差が大きい検出対象物を検出することができる。 According to this configuration, the imaging unit generates a plurality of spectral images having different frequency regions. Then, the template feature vector calculation unit, the first discriminator, the second discriminator, and the third discriminator determine whether or not the detection target is included in the image. According to this, in order to process a plurality of spectral images having different frequency regions from each other and determine whether or not the detection object is included in the image, the detection object having a small luminance difference and a large color difference is detected. Can do.
上述した目的を達成するために、本発明に係る対象物検出装置は、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する撮像部と、事前に学習したテンプレート情報を用いて、スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出部と、事前に学習した射影パラメータを用いて、テンプレート特徴ベクトルを射影変換して、テンプレート特徴量を算出する射影変換部と、事前に学習した識別関数情報を用いて、テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する第一識別器と、第一識別器の判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第二識別器と、を有することを特徴とする。 In order to achieve the above-described object, an object detection apparatus according to the present invention uses an imaging unit that captures an imaging region and generates a plurality of spectral images having different frequency regions, and template information learned in advance. A template feature vector calculation unit that calculates a template feature vector for the spectrum image, a projective conversion unit that calculates a template feature amount by performing projective conversion of the template feature vector using the projection parameters learned in advance, For each template feature amount using the learned discriminant function information, a first discriminator that determines whether or not a detection target is included in the image, and based on the determination result of the first discriminator, And a second discriminator that determines whether or not a detection target is included.
この構成によれば、撮像部が、互いに周波数領域が異なる複数のスペクトル画像を生成する。そして、テンプレート特徴ベクトル算出部、射影変換部、第一識別器及び第二識別器が、画像中に検出対象物が含まれるか否かを判定する。これによれば、互いに周波数領域が異なる複数のスペクトル画像を処理して、画像中に検出対象物が含まれるか否かを判定するため、輝度差が小さく色差が大きい検出対象物を検出することができる。 According to this configuration, the imaging unit generates a plurality of spectral images having different frequency regions. Then, the template feature vector calculation unit, the projection conversion unit, the first discriminator, and the second discriminator determine whether or not the detection target is included in the image. According to this, in order to process a plurality of spectral images having different frequency regions from each other and determine whether or not the detection object is included in the image, the detection object having a small luminance difference and a large color difference is detected. Can do.
また、上述した対象物検出装置において、第一識別器は、1つの入力値に基づいて画像中に検出対象物が含まれるか否かを判定するものであり、その他の識別器は、複数の入力値に基づいて画像中に検出対象物が含まれるか否かを判定するものであることが好ましい。 Moreover, in the target object detection apparatus mentioned above, a 1st discriminator determines whether a detection target object is contained in an image based on one input value, and other discriminators are a plurality of discriminators. It is preferable to determine whether or not the detection target is included in the image based on the input value.
上述した目的を達成するために、本発明に係る対象物検出方法は、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する撮像ステップと、事前に学習したテンプレート情報を用いて、スペクトル画像のそれぞれについてテンプレート特徴量を算出するテンプレート特徴算出ステップと、事前に学習した識別関数情報を用いて、テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する第一識別ステップと、第一識別ステップにおける判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第二識別ステップと、を含む。 In order to achieve the above-described object, an object detection method according to the present invention uses an imaging step of capturing an imaging region and generating a plurality of spectral images having different frequency regions, and template information learned in advance. The template feature calculation step for calculating the template feature amount for each of the spectral images and the identification function information learned in advance are used to determine whether or not a detection target is included in the image for each of the template feature amounts. A first identification step for determining; and a second identification step for determining whether or not the detection target is included in the image based on the determination result in the first identification step.
上述した目的を達成するために、本発明に係る対象物検出方法は、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する撮像ステップと、事前に学習したテンプレート情報を用いて、スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出ステップと、事前に学習した識別関数情報を用いて、テンプレート特徴ベクトルの各要素のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する第一識別ステップと、第一識別ステップにおけるテンプレート情報が共通する判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第二識別ステップと、第二識別ステップにおける判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第三識別ステップと、を含む。 In order to achieve the above-described object, an object detection method according to the present invention uses an imaging step of capturing an imaging region and generating a plurality of spectral images having different frequency regions, and template information learned in advance. Whether or not a detection target object is included in the image for each element of the template feature vector using the template feature vector calculation step for calculating the template feature vector for the spectrum image and the discriminating function information learned in advance. A first identification step for determining whether or not a detection target is included in the image based on a determination result in which the template information in the first identification step is common, and a second identification Based on the determination result in the step, the third knowledge for determining whether or not the detection target is included in the image. Including the step, the.
上述した目的を達成するために、本発明に係る対象物検出方法は、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する撮像ステップと、事前に学習したテンプレート情報を用いて、スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出ステップと、事前に学習した射影パラメータを用いて、テンプレート特徴ベクトルを射影変換して、射影テンプレート特徴量を算出する射影変換ステップと、事前に学習した識別関数情報を用いて、射影テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する第一識別ステップと、第一識別ステップにおける判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する第二識別ステップと、を含む。 In order to achieve the above-described object, an object detection method according to the present invention uses an imaging step of capturing an imaging region and generating a plurality of spectral images having different frequency regions, and template information learned in advance. A template feature vector calculating step for calculating a template feature vector for the spectrum image, a projective conversion step for calculating a projection template feature amount by performing projective conversion of the template feature vector using the projection parameters learned in advance, Based on the determination result in the first identification step and the first identification step for determining whether or not the detection target object is included in the image for each of the projection template feature amounts using the learned identification function information, A second identification step for determining whether or not a detection target is included in the image; Including.
本発明によれば、色彩に特徴がある対象物を好適に検出することができる。 ADVANTAGE OF THE INVENTION According to this invention, the target object characterized by a color can be detected suitably.
以下、図面を参照して、本発明の好適な実施形態に係る対象物検出装置について説明する。 Hereinafter, an object detection apparatus according to a preferred embodiment of the present invention will be described with reference to the drawings.
[1]第一の実施形態
[対象物検出装置]
図1には、第一の実施形態に係る対象物検出装置1の構成の概略が示されている。対象物検出装置1は、物理的には、撮像素子101〜10M、ハードディスク等の大容量記憶装置12、CPU及びRAM13等で構成されている。また、対象物検出装置1は、機能的には、M個のフィルタ付き撮像素子101〜10Mと、学習結果データベース12と、T個のテンプレート特徴算出部141〜14Tと、T個の弱識別器(第一識別器)161〜16Tと、強識別器(第二識別器)18と、で構成されている。テンプレート特徴算出部141〜14T、弱識別器161〜16T及び強識別器18は、CPU及びRAM13が記憶装置12に記憶された情報に基づいて演算処理を行うことで実現される。
[1] First embodiment [object detection apparatus]
FIG. 1 shows an outline of the configuration of the
フィルタ付き撮像素子101〜10Mは、特定のスペクトルの電磁波のみを通過させるバンドパスフィルタ、例えばRGBカラーフィルタ、赤外線領域のみを通過させるフィルタなどを有する撮像素子である。フィルタ付き撮像素子101〜10Mは全部でM個設けられており、各フィルタ付き撮像素子101〜10Mが通過させる電磁波の周波数領域は互いに異なる。よって、各フィルタ付き撮像素子101〜10Mにより生成される画像データにおいて、各画素データはフィルタを通過する電磁波に応じた輝度値を有するデータとなる。以下の説明では、フィルタ付き撮像素子101〜10Mにより生成される特定のスペクトルの画像データを、スペクトル画像データと呼ぶ。なお、ベイヤー配列型のように部分的に画素データが欠損した画像データを得る撮像素子については、欠損した画素データについてNearest Neighbor法等の補間処理を行うことで、欠損のない画像データを得てもよい。 The image sensors with filters 10 1 to 10 M are image sensors having a band-pass filter that passes only an electromagnetic wave having a specific spectrum, such as an RGB color filter, a filter that passes only an infrared region, and the like. M image sensors 10 1 to 10 M with filters are provided in total, and the frequency regions of electromagnetic waves that pass through the image sensors 10 1 to 10 M with filters are different from each other. Therefore, in the image data generated by each of the image pickup devices 10 1 to 10 M with a filter, each pixel data is data having a luminance value corresponding to the electromagnetic wave passing through the filter. In the following description, the image data of a specific spectrum generated by the image sensors with filters 10 1 to 10 M is referred to as spectrum image data. For image sensors that obtain image data with partially missing pixel data, such as the Bayer array type, by performing interpolation processing such as the Nearest Neighbor method on the missing pixel data, image data without defects is obtained. Also good.
学習結果データベース12は、対象物を検出するのに有効なT個のテンプレート情報、弱識別関数ht、強識別関数h、及びそれらの対応関係が記憶されている。ここで、テンプレート情報とは、画像データの特徴量を演算するための情報であり、演算対象となる画像データに含まれる一部の領域を特定する情報と、その領域の画素データに対する演算方法の情報を含んでいる。図2及び図3を参照して、テンプレート情報の一例について説明する。図2に示されるテンプレート情報は、画像データPの第一領域(白領域)R1及び第二領域(黒領域)R2を演算対象の領域Rとして特定し、第一領域R1の画素データの輝度値の総和から第二領域R2の画素データの輝度値の総和を減算して差分を求める処理を演算方法として特定する。このテンプレート情報は、次の数式(1)により表される。なお、次の数式(1)において、Im,u,vは、スペクトルmの画像データにおける画素座標u,vの輝度値である。
The
さらに図3に示すように、T個のテンプレート情報はそれぞれ、演算対象となる領域R1〜Rtの位置及び大きさが異なっており、車両、信号、道路標識などの対象物を検出するために用いられる。 Further, as shown in FIG. 3, each of the T pieces of template information has different positions and sizes of the regions R 1 to R t to be calculated, and detects objects such as vehicles, signals, road signs, and the like. Used for.
テンプレート特徴算出部141〜14Tは、学習結果データベース12に記憶されたテンプレート情報に従って、フィルタ付き撮像素子101〜10Mにより生成されたスペクトル画像データを処理することで、各スペクトル画像データのテンプレート特徴量を算出する。テンプレート特徴算出部141〜14Tは全部でT個設けられており、各テンプレート特徴算出部141〜14Tは互いに異なる処理を行ってテンプレート特徴量を算出する。
The template feature calculation units 14 1 to 14 T process the spectral image data generated by the image pickup devices 10 1 to 10 M with filters in accordance with the template information stored in the
弱識別器161〜16Tは、学習結果データベース12に記憶された弱識別関数htに従って、テンプレート特徴算出部141〜14Tにより算出されたテンプレート特徴量を処理することで、スペクトル画像データに検出対象物が含まれるか否かを判定する。弱識別器161〜16Tは、各テンプレート特徴算出部141〜14Tに対して一つずつ設けられており、各テンプレート特徴算出部141〜14Tにより算出されたテンプレート特徴量について判定を行う。ここで、各弱識別器161〜16Tは、スペクトル画像データに検出対象物が含まれると判定した場合には1を出力し、スペクトル画像データに検出対象物が含まれないと判定した場合には0を出力する。なお、弱識別関数htとは、上述したとおり、スペクトル画像データに検出対象物が含まれるか否かを判定する条件であり、本実施形態ではテンプレート特徴量を閾値と比較して判定が行われる。
The weak classifiers 16 1 to 16 T process the template feature amounts calculated by the template feature calculation units 14 1 to 14 T according to the weak discrimination function ht stored in the
強識別器18は、次の数式(2)の強識別関数hにより、弱識別器161〜16Tの結果を統合して、フィルタ付き撮像素子101〜10Mにより撮影された画像データに、検出対象物が含まれるか否かを判定する。ここで、強識別器18は、画像データに検出対象物が含まれると判定した場合には1を出力し、画像データに検出対象物が含まれないと判定した場合には0を出力する。
The
本実施形態では、M個のフィルタ付き撮像素子101〜10Mにより互いにスペクトルが異なる複数のスペクトル画像データが生成され、これらのスペクトル画像データを処理することで、画像データに検出対象物が含まれるか否かが判定される。従来技術のように、撮像素子にフィルタを設けないで画像データを得た場合には、車両、信号、標識などの検出対象物に対応する画素データとその周囲の画素データとで輝度値の差が小さいと、各検出対象物を検出できない。これに対して、本実施形態では、互いにスペクトルが異なる複数のスペクトル画像データを処理するため、検出対象物に対応する画素データとその周囲の画素データとで輝度値の差が小さい状況でも、色彩に特徴がある検出対象物を検出することができる。 In the present embodiment, a plurality of spectral image data having different spectra are generated by the M filter-equipped imaging elements 10 1 to 10 M , and the detection target is included in the image data by processing these spectral image data. It is determined whether or not. When image data is obtained without providing a filter in the image sensor as in the prior art, there is a difference in luminance value between pixel data corresponding to a detection target such as a vehicle, a signal, a sign, and the surrounding pixel data. If is small, each detection object cannot be detected. In contrast, in the present embodiment, since a plurality of spectral image data having different spectra are processed, even in a situation where the difference in luminance value between the pixel data corresponding to the detection object and the surrounding pixel data is small, the color It is possible to detect a detection object having a characteristic.
次に、上述した対象物検出装置1による処理について説明する。図4には、対象物検出装置1による処理のフローチャートが示されている。先ず、対象物検出装置1は、フィルタ付き撮像素子101〜10Mにより、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する(S401)。次に、対象物検出装置1は、テンプレート特徴算出部141〜14Tにより、事前に学習したテンプレート情報を用いて、スペクトル画像のそれぞれについてテンプレート特徴量を算出する(S402)。次に、対象物検出装置1は、弱識別器161〜16Tにより、事前に学習した識別関数情報を用いて、テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する(S403)。次に、対象物検出装置1は、強識別器18により、弱識別器161〜16Tの判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する(S404)。
Next, the process by the target
[学習装置]
次に、上述した学習結果データベース12を得るための学習装置2について説明する。図5には、学習装置2の構成の概略が示されている。学習装置2は、物理的には、ハードディスク等の大容量記憶装置12,20,22、CPU及びRAM23等で構成されている。また、学習装置2は、機能的には、マルチスペクトル正解画像データベース20と、マルチスペクトル不正解画像データベース22と、それぞれN個のテンプレート特徴算出部261〜26Nを含むスペクトル1〜M用特徴算出部241〜24Mと、識別器学習部28と、学習結果データベース12と、で構成されている。
[Learning device]
Next, the
マルチスペクトル正解画像データベース20は、多数の検出対象物をフィルタ付き撮像素子101〜10Mにより撮影して生成したスペクトル画像データを、マルチスペクトル正解画像データとして記憶しているものである。また、マルチスペクトル不正解画像データベース22は、対象物以外の物体をフィルタ付き撮像素子101〜10Mにより撮影して生成したスペクトル画像データ、又はランダムな画素データからなる画像データを、マルチスペクトル不正解画像データとして記憶しているものである。マルチスペクトル画像データ及びマルチスペクトル不正解画像データは、1つの画素に対してM個のスペクトル成分の輝度値及び色情報を有している。
The multispectral
スペクトル1〜M用特徴算出部241〜24Mはそれぞれ、マルチスペクトル正解画像データ又はマルチスペクトル不正解画像データから、自己の対応するスペクトル1〜Mの画像データのみを抽出して、テンプレート情報に従いテンプレート特徴量を算出する。スペクトル1〜M用特徴算出部241〜24Mはそれぞれ全ての種類のテンプレート1〜N特徴算出部261〜26Nを有しており、各テンプレート特徴算出部261〜26Nは互いに異なる処理を行ってテンプレート特徴量を算出する。
Each of the spectrum 1 to M feature calculation units 24 1 to 24 M extracts only image data of its corresponding spectrum 1 to M from the multispectral correct image data or the multispectral incorrect image data, and follows the template information. A template feature amount is calculated. The spectrum 1 to M feature calculation units 24 1 to 24 M have all types of
識別器学習部28は、算出されたテンプレート特徴量に基づいて学習を行い、画像データに検出対象物が含まれるか否かを判定するための弱識別関数ht及び強識別関数hを決定する。本実施形態では、Adaboost法を用いて学習用のテンプレート特徴量を選択し、各識別関数ht,hを決定する。以下、識別器学習部28の処理の詳細について説明する。
The
識別器学習部28は、先ず、各画像jに関するテンプレート特徴量の集合Fjと、その画像jが正解又は不正解であることを示す正解情報yjとを、学習用のデータとして取得する。ここで、正解情報yjとは、画像jが検出対象物を含む正解データである場合に1となり、画像jが検出対象物を含まない不正解データである場合に0となる情報である。なお、次の数式(3)に示すように、テンプレート特徴量の集合Fjは、テンプレート特徴ベクトルfmの集合として表され、さらに、テンプレート特徴ベクトルfmは、テンプレート特徴量fm,nの集合として表される。
The
識別器学習部28は、次に、画像データのそれぞれに対して重みωt,jを付与する。ここで、画像データが正解データである場合には重みの初期値ω1,j=Q/2が付与され、画像データが不正解データである場合には重みの初期値ω1,j=P/2が付与される。なお、Pは正解データの総数であり、Qは不正解データの総数である。
Next, the
これから説明する処理は、所定の回数T繰り返し行われる処理である。以降の説明では、繰り返し回数をtで表しており、この繰り返し回数tは1からTまで漸増する。 The process described below is a process that is repeated a predetermined number of times T. In the following description, the number of repetitions is represented by t, and this number of repetitions t gradually increases from 1 to T.
識別器学習部28は、重みωt,jを、次の数式(4)に従って正規化する。
特徴ベクトルFjの各要素fm,nに対して複数の識別関数hm,n,tを用意し、各識別関数hm,n,tについて、次の数式(5)で定義されるエラー値εm,n,tを算出する。
各特徴ベクトルの各要素fm,nについて、エラー値が最小となる識別関数htを選択し、その識別関数htの重みαtを次の数式(6)に従って算出する。
識別器学習部28は、テンプレートn及びスペクトルmと関連付けて、識別関数htとその重みαtを、識別パラメータとしてデータベースに記憶する。なお、この識別関数htが、対象物検出装置1の弱識別器161〜16Tとなる。
The
次に、識別器学習部28は、次の数式(7)に従って、各画像データの重みωt,jを更新する。これにより、重みωt,jが大きくなった画像データが重点的に学習されることとなる。
識別器学習部28は、繰り返し回数tをインクリメント(+1)し、上記の重みωt,jの正規化から重みωt,jの更新までの処理を繰り返す。但し、繰り返し回数tが所定の回数Tに至っている場合には、識別器学習部28は、以上の処理の結果から、T個のテンプレート情報、T個の弱識別関数htとその重みαt、強識別関数hを取得して、学習結果データベース12に記憶する。なお、強識別器18用の識別関数hは、既述の数式(2)で表される。
The
[2]第二の実施形態
[対象物検出装置]
図6には、第二の実施形態に係る対象物検出装置3の構成の概略が示されている。対象物検出装置3は、物理的には、撮像素子301〜30M、ハードディスク等の大容量記憶装置32、CPU及びRAM33等で構成されている。また、対象物検出装置3は、機能的には、M個のフィルタ付き撮像素子301〜30Mと、学習結果データベース32と、T個のテンプレート特徴ベクトル算出部341〜34Tと、それぞれM個のスペクトル弱識別器(第一識別器)361,1〜36M,Tを含むテンプレート1〜T用スペクトル弱識別器セット351〜35Tと、T個のテンプレート識別器(第二識別器)371〜37Tと、強識別器(第三識別器)38と、で構成されている。テンプレート特徴ベクトル算出部341〜34T、スペクトル弱識別器361,1〜36M,T、テンプレート識別器371〜37T及び強識別器38は、CPU及びRAM33が記憶装置32に記憶された情報に基づいて演算処理を行うことで実現される。
[2] Second Embodiment [Object Detection Device]
FIG. 6 shows an outline of the configuration of the
フィルタ付き撮像素子301〜30Mは、第一実施形態のフィルタ付き撮像素子101〜10Mと同じ構成である。また、学習結果データベース32は、対象物を検出するのに有効なT個のテンプレート情報、スペクトル弱識別関数hl、テンプレート識別関数ηn、強識別関数η、及びそれらの対応関係が記憶されている。
The image pickup devices 30 1 to 30 M with a filter have the same configuration as the image pickup devices 10 1 to 10 M with a filter of the first embodiment. The
テンプレート特徴ベクトル算出部341〜34Tのそれぞれは、学習結果データベース32に記憶されたテンプレート情報に従って、各フィルタ付き撮像素子301〜30Mにより生成されたスペクトル画像データを処理することで、各スペクトル画像データのテンプレート特徴量からなるテンプレート特徴ベクトルを算出する。テンプレート特徴ベクトル算出部341〜34Tは全部でT個設けられており、各テンプレート特徴ベクトル算出部341〜34Tは互いに異なる処理を行ってテンプレート特徴ベクトルを算出する。
Each of the template feature vector calculation units 34 1 to 34 T processes the spectral image data generated by the image pickup devices 30 1 to 30 M with filters in accordance with the template information stored in the
スペクトル弱識別器361,1〜36M,Tは、各テンプレート特徴ベクトル算出部341〜34Tに対してM個ずつ設けられている。スペクトル弱識別器361,1〜36M,Tのそれぞれは、学習結果データベース32に記憶された弱識別関数hlに従って、テンプレート特徴ベクトル算出部341〜34Tにより算出されたテンプレート特徴量を処理することで、スペクトル画像データに検出対象物が含まれるか否かを判定する。ここで、各スペクトル弱識別器361,1〜36M,Tは、スペクトル画像データに検出対象物が含まれると判定した場合には1を出力し、スペクトル画像データに検出対象物が含まれないと判定した場合には0を出力する。
M spectrum weak classifiers 36 1,1 to 36 M, T are provided for each of the template feature vector calculation units 34 1 to 34 T. Each of the spectral weak classifiers 36 1, 1 to 36 M, T uses the template feature amount calculated by the template feature vector calculation units 34 1 to 34 T according to the weak discrimination function h 1 stored in the
テンプレート識別器371〜37Tのそれぞれは、次の数式(8)のテンプレート識別関数ηnにより、テンプレート特徴ベクトル算出部341〜34Tが共通するスペクトル弱識別器361,1〜36M,1,361,t〜36M,t,361,T〜36M,Tの判定結果を統合して、フィルタ付き撮像素子301〜30Mにより撮影された画像データに、検出対象物が含まれるか否かを判定する。ここで、テンプレート識別器371〜37Tは、画像データに検出対象物が含まれると判定した場合には1を出力し、画像データに検出対象物が含まれないと判定した場合には0を出力する。
Each
強識別器38は、次の数式(9)の強識別関数ηにより、テンプレート識別器371〜37Tの結果を統合して、フィルタ付き撮像素子301〜30Mにより撮影された画像データに、検出対象物が含まれるか否かを判定する。ここで、強識別器38は、画像データに検出対象物が含まれると判定した場合には1を出力し、画像データに検出対象物が含まれないと判定した場合には0を出力する。
The
本実施形態では、M個のフィルタ付き撮像素子301〜30Mにより互いにスペクトルが異なる複数のスペクトル画像データが生成され、これらのスペクトル画像データを処理することで、画像データに検出対象物が含まれるか否かが判定される。よって、本実施形態では、第一実施形態と同様に、互いにスペクトルが異なる複数のスペクトル画像データを処理するため、検出対象物に対応する画素データとその周囲の画素データとで輝度値の差が小さい状況でも、色彩に特徴がある検出対象物を検出することができる。 In the present embodiment, a plurality of spectral image data having different spectra are generated by the M image pickup devices 30 1 to 30 M with filters, and the detection target is included in the image data by processing these spectral image data. It is determined whether or not. Therefore, in the present embodiment, as in the first embodiment, since a plurality of spectral image data having different spectra are processed, the difference in luminance value between the pixel data corresponding to the detection target and the surrounding pixel data is reduced. Even in a small situation, it is possible to detect a detection object having a characteristic in color.
次に、上述した対象物検出装置3による処理について説明する。図7には、対象物検出装置3による処理のフローチャートが示されている。先ず、対象物検出装置3は、フィルタ付き撮像素子301〜30Mにより、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する(S701)。次に、対象物検出装置3は、テンプレート特徴ベクトル算出部341〜34Tにより、事前に学習したテンプレート情報を用いて、スペクトル画像についてテンプレート特徴ベクトルを算出する(S702)。次に、対象物検出装置3は、スペクトル弱識別器361,1〜36M,Tにより、事前に学習した識別関数情報を用いて、テンプレート特徴ベクトルの各要素のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する(S703)。次に、対象物検出装置3は、テンプレート識別器371〜37Tにより、テンプレート情報が共通するスペクトル弱識別器361,1〜36M,Tの判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する(S704)。次に、対象物検出装置3は、強識別器38により、テンプレート識別器371〜37Tの判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する(S705)。
Next, the process by the target
[学習装置]
次に、上述した学習結果データベース32を得るための学習装置4について説明する。図8には、学習装置4の構成の概略が示されている。学習装置4は、物理的には、ハードディスク等の大容量記憶装置32,40,42、CPU及びRAM43等で構成されている。また、学習装置4は、機能的には、マルチスペクトル正解画像データベース40と、マルチスペクトル不正解画像データベース42と、N個のテンプレート特徴ベクトル算出部441〜44Nと、識別器学習部48と、学習結果データベース32と、で構成されている。
[Learning device]
Next, the
マルチスペクトル正解画像データベース40、及びマルチスペクトル不正解画像データベース42は、第一実施形態と同様な構成である。
The multispectral
テンプレート特徴ベクトル算出部441〜44Nのそれぞれは、マルチスペクトル正解画像データ又はマルチスペクトル不正解画像データを、テンプレート情報に従って処理することで、各画像についてスペクトル数(M個)のテンプレート特徴量からなるテンプレート特徴ベクトルを算出する。テンプレート特徴ベクトル算出部441〜44Nのそれぞれは、互いに異なる処理を行ってテンプレート特徴ベクトルを算出する。 Each of the template feature vector calculation units 44 1 to 44 N processes the multispectral correct answer image data or the multispectral incorrect answer image data according to the template information, so that the number of spectra (M) of template features for each image is obtained. A template feature vector is calculated. Each of the template feature vector calculation units 44 1 to 44 N performs a different process to calculate a template feature vector.
識別器学習部48は、算出されたテンプレート特徴ベクトルに基づいて学習を行い、画像データに検出対象物が含まれるか否かを判定するためのスペクトル弱識別関数hl、テンプレート識別関数ηn及び強識別関数ηを決定する。本実施形態では、Adaboost法を用いて学習用のテンプレート特徴量を選択し、各識別関数hl,ηn,ηを決定する。以下、識別器学習部48の処理の詳細について説明する。
The
(1)強識別器学習方法
強識別器を構成する強識別関数ηの学習方法について説明する。識別器学習部48は、第一実施形態と同様に、先ず、各画像jに関するテンプレート特徴ベクトルの集合Fjと、その画像jが正解又は不正解であることを示す正解情報yjと、を学習用のデータとして取得し、次に、画像データのそれぞれに対して重みω1,j=Q/2,P/2を付与する。
(1) Strong discriminator learning method A learning method of the strong discriminant function η constituting the strong discriminator will be described. As in the first embodiment, the
これから説明する処理は、所定の回数T繰り返し行われる処理である。以降の説明では、繰り返し回数をtで表しており、この繰り返し回数tは1からTまで漸増する。 The process described below is a process that is repeated a predetermined number of times T. In the following description, the number of repetitions is represented by t, and this number of repetitions t gradually increases from 1 to T.
識別器学習部48は、重みωt,jを、次の数式(10)に従って正規化する。
複数のテンプレート識別関数ηn,tを用意し、各テンプレート識別関数ηn,tについて、次の数式(11)で定義されるエラー値εn,tを算出する。なお、テンプレート識別関数ηn,tのそれぞれは、弱識別関数hlとその重みβによって構成される。
エラー値が最小となるテンプレート識別関数ηn,tを選択し、そのテンプレート識別関数ηn,tの重みαtを次の数式(12)に従って算出する。
識別器学習部48は、テンプレートnと関連付けて、テンプレート識別関数ηn,tとその重みαtを、識別パラメータとしてデータベースに記憶する。
The
次に、識別器学習部48は、次の数式(13)に従って、画像データの重みωt,jを更新する。これにより、重みωt,jが大きくなった画像データが重点的に学習されることとなる。
識別器学習部48は、繰り返し回数tをインクリメント(+1)し、上記の重みωt,jの正規化から重みωt,jの更新までの処理を繰り返す。但し、繰り返し回数tが所定の回数Tに至っている場合には、識別器学習部48は、以上の処理の結果から、T個のテンプレート情報、テンプレート識別関数ηn,tとその重みαt、強識別関数ηを取得して、学習結果データベース32に記憶する。なお、強識別関数ηは、既述の数式(9)で表される。
The
(2)テンプレート識別器学習方法
テンプレート識別器を構成するテンプレート識別関数ηnの学習方法について説明する。識別器学習部48は、各画像jをテンプレート情報nで処理して得た特徴ベクトルfn,jと、その画像jが正解又は不正解であることを示す正解情報yjと、を学習用のデータとして取得し、次に、画像データのそれぞれに対して重みΩ1,j=ωt,jを付与する。
(2) Template Discriminator Learning Method A method for learning the template discriminant function η n constituting the template discriminator will be described. The
これから説明する処理は、所定の回数L繰り返し行われる処理である。以降の説明では、繰り返し回数をlで表しており、この繰り返し回数lは1からLまで漸増する。 The process described below is a process that is repeated a predetermined number of times. In the following description, the number of repetitions is represented by l, and the number of repetitions l increases gradually from 1 to L.
識別器学習部48は、重みΩ1,jを、次の数式(14)に従って正規化する。
特徴ベクトルfnの各要素fm,nに対して複数の弱識別関数hm,lを用意し、各弱識別関数hm,lについて、次の数式(15)で定義されるエラー値φm,lを算出する。
エラー値が最小となる弱識別関数hm,lを選択し、その弱識別関数hm,lの重みβtを次の数式(16)に従って算出する。
識別器学習部48は、スペクトルmと関連付けて、スペクトル弱識別関数hm,lとその重みβtを、識別パラメータとしてデータベースに記憶する。なお、この識別関数hlが、対象物検出装置3のスペクトル弱識別器361,1〜36M,Tとなる。
The
次に、識別器学習部48は、次の数式(17)に従って、画像データの重みΩt,jを更新する。これにより、重みΩt,jが大きくなった画像データが重点的に学習されることとなる。
識別器学習部48は、繰り返し回数lをインクリメント(+1)し、上記の重みΩt,jの正規化から重みΩt,jの更新までの処理を繰り返す。但し、繰り返し回数lが所定の回数Lに至っている場合には、識別器学習部48は、以上の処理の結果から、L個のスペクトル弱識別関数hlとその重みβl、テンプレート識別関数ηnを取得して、学習結果データベース32に記憶する。なお、テンプレート識別関数ηnは、既述の数式(8)で表される。
The
[3]第三の実施形態
[対象物検出装置]
図9には、第三の実施形態に係る対象物検出装置5の構成の概略が示されている。対象物検出装置5は、物理的には、撮像素子501〜50M、ハードディスク等の大容量記憶装置52、CPU及びRAM53等で構成されている。また、対象物検出装置5は、機能的には、M個のフィルタ付き撮像素子501〜50Mと、学習結果データベース52と、T個のテンプレート特徴ベクトル算出部541〜54Tと、T個の射影変換部551〜55Tと、T個の弱識別器(第一識別器)561〜56Tと、強識別器(第二識別器)58と、で構成されている。テンプレート特徴ベクトル算出部541〜54T、射影変換部551〜55T、弱識別器561〜56T及び強識別器58は、CPU及びRAM53が記憶装置52に記憶された情報に基づいて演算処理を行うことで実現される。
[3] Third Embodiment [Object Detection Device]
FIG. 9 shows an outline of the configuration of the
フィルタ付き撮像素子501〜50Mは、第一実施形態のフィルタ付き撮像素子101〜10Mと同じ構成である。また、学習結果データベース52は、対象物を検出するのに有効なT個のテンプレート情報、射影変換に用いる射影パラメータa、弱識別関数ht、強識別関数h、及びそれらの対応関係が記憶されている。
The image sensors with filters 50 1 to 50 M have the same configuration as the image sensors with filters 10 1 to 10 M according to the first embodiment. The
テンプレート特徴ベクトル算出部541〜54Tのそれぞれは、学習結果データベース52に記憶されたテンプレート情報に従って、各フィルタ付き撮像素子501〜50Mにより生成されたスペクトル画像データを処理することで、各スペクトル画像データのテンプレート特徴量からなるテンプレート特徴ベクトルを算出する。テンプレート特徴ベクトル算出部541〜54Tは全部でT個設けられており、各テンプレート特徴ベクトル算出部541〜54Tは互いに異なる処理を行ってテンプレート特徴ベクトルを算出する。
Each of the template feature vector calculation units 54 1 to 54 T processes the spectral image data generated by the image pickup devices 50 1 to 50 M with filters in accordance with the template information stored in the
射影変換部551〜55Tのそれぞれは、各テンプレートに対応する射影パラメータan,mを学習結果データベースより取得し、テンプレート特徴ベクトルfnを射影変換し、射影変換後の射影テンプレート特徴量fm,n’を次の数式(18)により得る。このように、射影変換によりテンプレート特徴ベクトルfnの次元数を累積寄与率等を基準として削減することで、1次元の射影テンプレート特徴量fm,n’を求める。これにより、後段の弱識別器561〜56Tにおいて識別に要する計算時間を短くすることができる。 Each of the projective transformation units 55 1 to 55 T acquires the projection parameters an n, m corresponding to each template from the learning result database , performs projective transformation on the template feature vector f n, and performs the projection template feature value f after the projective transformation. m, n ′ is obtained by the following equation (18). In this way, the one-dimensional projection template feature quantity f m, n ′ is obtained by reducing the number of dimensions of the template feature vector f n by projective transformation based on the cumulative contribution rate or the like. As a result, it is possible to shorten the calculation time required for the identification in the subsequent weak classifiers 56 1 to 56 T.
弱識別器561〜56Tのそれぞれは、学習結果データベース52に記憶された弱識別関数htに従って、射影変換部551〜55Tにより射影変換された射影テンプレート特徴量を処理することで、スペクトル画像データに検出対象物が含まれるか否かを判定する。弱識別器561〜56Tは、各射影変換部551〜55Tに対して一つずつ設けられており、射影変換部551〜55Tにより射影変換された射影テンプレート特徴量について判定を行う。ここで、各弱識別器561〜56Tは、スペクトル画像データに検出対象物が含まれると判定した場合には1を出力し、スペクトル画像データに検出対象物が含まれないと判定した場合には0を出力する。
Each of the
強識別器58は、次の数式(19)の強識別関数ηにより、弱識別器561〜56Tの結果を統合して、フィルタ付き撮像素子501〜50Mにより撮影された画像データに、検出対象物が含まれるか否かを判定する。ここで、強識別器58は、画像データに検出対象物が含まれると判定した場合には1を出力し、画像データに検出対象物が含まれないと判定した場合には0を出力する。
The
本実施形態では、M個のフィルタ付き撮像素子501〜50Mにより互いにスペクトルが異なる複数のスペクトル画像データが生成され、これらのスペクトル画像データを処理することで、画像データに検出対象物が含まれるか否かが判定される。よって、本実施形態では、第一実施形態と同様に、互いにスペクトルが異なる複数のスペクトル画像データを処理するため、検出対象物に対応する画素データとその周囲の画素データとで輝度値の差が小さい状況でも、色彩に特徴がある検出対象物を検出することができる。 In the present embodiment, a plurality of spectral image data having different spectra are generated by the M filter-equipped imaging elements 50 1 to 50 M , and the detection target is included in the image data by processing these spectral image data. It is determined whether or not. Therefore, in the present embodiment, as in the first embodiment, since a plurality of spectral image data having different spectra are processed, the difference in luminance value between the pixel data corresponding to the detection target and the surrounding pixel data is reduced. Even in a small situation, it is possible to detect a detection object having a characteristic in color.
次に、上述した対象物検出装置5による処理について説明する。図10には、対象物検出装置5による処理のフローチャートが示されている。先ず、対象物検出装置5は、フィルタ付き撮像素子501〜50Mにより、撮像領域を撮影して、互いに周波数領域が異なる複数のスペクトル画像を生成する(S101)。次に、対象物検出装置5は、テンプレート特徴ベクトル算出部541〜54Tにより、事前に学習したテンプレート情報を用いて、スペクトル画像についてテンプレート特徴ベクトルを算出する(S102)。次に、対象物検出装置5は、射影変換部551〜55Tにより、事前に学習した射影パラメータを用いて、テンプレート特徴ベクトルを射影変換して、テンプレート特徴量を算出する(S103)。次に、対象物検出装置5は、弱識別器561〜56Tにより、事前に学習した識別関数情報を用いて、テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する(S104)。次に、対象物検出装置5は、強識別器58により、弱識別器561〜56Tの判定結果に基づいて、画像中に検出対象物が含まれるか否かを判定する(S105)。
Next, the process by the target
[学習装置]
次に、上述した学習結果データベース52を得るための学習装置6について説明する。図11には、学習装置6の構成の概略が示されている。学習装置6は、物理的には、ハードディスク等の大容量記憶装置52,60,62、CPU及びRAM63等で構成されている。また、学習装置6は、機能的には、マルチスペクトル正解画像データベース60と、マルチスペクトル不正解画像データベース62と、N個のテンプレート特徴ベクトル算出部641〜64Nと、N個の射影パラメータ算出部651〜65Nと、N個の射影変換部661〜66Nと、識別器学習部68と、学習結果データベース52と、で構成されている。
[Learning device]
Next, the
マルチスペクトル正解画像データベース60、及びマルチスペクトル不正解画像データベース62は、第一実施形態と同様な構成である。
The multispectral
テンプレート特徴ベクトル算出部641〜64Nのそれぞれは、マルチスペクトル正解画像データ又はマルチスペクトル不正解画像データを、テンプレート情報に従って処理することで、各画像についてスペクトル数(M個)のテンプレート特徴量からなるテンプレート特徴ベクトルを算出する。テンプレート特徴ベクトル算出部641〜64Nのそれぞれは、互いに異なる処理を行ってテンプレート特徴ベクトルを算出する。 Each of the template feature vector calculation units 64 1 to 64 N processes the multispectral correct image data or the multispectral incorrect image data according to the template information, so that the number of spectra (M) of template features for each image is obtained. A template feature vector is calculated. Each of the template feature vector calculation units 64 1 to 64 N performs a different process to calculate a template feature vector.
射影パラメータ算出部651〜65Nのそれぞれは、各画像について算出されたテンプレート特徴ベクトルを、所定の軸上に射影変換するための射影パラメータを算出する。ここで、射影変換の対象となる軸は、正解画像データと不正解画像データとの識別面を簡単に決定できる軸であることが好ましい。このような軸を求める方法としては、KL展開やフィッシャーの線形判別法などの次元圧縮方法がある。 Each of the projection parameter calculation units 65 1 to 65 N calculates a projection parameter for performing projective transformation on a predetermined axis for the template feature vector calculated for each image. Here, it is preferable that the axis to be subject to projective transformation is an axis that can easily determine the identification plane between correct image data and incorrect image data. As a method for obtaining such an axis, there are dimensional compression methods such as KL expansion and Fisher's linear discrimination method.
射影変換部661〜66Nのそれぞれは、射影パラメータ算出部で算出された射影行列Anを用いて、次の数式(20)に従ってテンプレート特徴ベクトルfnを射影変換し、射影変換後の特徴ベクトルfn’を求める。このように、射影変換により特徴ベクトルfnの次元数を累積寄与率等を基準として削減することで、1次元の射影テンプレート特徴量fm,n’を求める。これにより、後段の識別器学習部68で識別に要する計算時間を短くすることができる。
Each of the projective transformation unit 66 1 -66 N, using the projection matrix A n calculated by the projective parameter calculating section, a template feature vector f n and projective transformation according to the following equation (20), characterized after the projection conversion The vector f n ′ is obtained. In this way, the one-dimensional projection template feature value f m, n ′ is obtained by reducing the number of dimensions of the feature vector f n by projective transformation based on the cumulative contribution rate or the like. As a result, the calculation time required for discrimination by the
識別器学習部68は、算出された射影テンプレート特徴量に基づいて学習を行い、画像データに検出対象物が含まれるか否かを判定するための射影パラメータan,m、弱識別関数ht及び強識別関数hを決定する。本実施形態では、Adaboost法を用いて学習用のテンプレート特徴量を選択し、射影パラメータan,m及び各識別関数ht,hを決定する。以下、識別器学習部68の処理の詳細について説明する。
The
識別器学習部68は、第一実施形態と同様に、先ず、各画像jに関する射影変換後の特徴ベクトルの集合Fjと、その画像jが正解又は不正解であることを示す正解情報yjと、を学習用のデータとして取得し、次に、画像データのそれぞれに対して重みω1,j=Q/2,P/2を付与する。
Similar to the first embodiment, the
これから説明する処理は、所定の回数T繰り返し行われる処理である。以降の説明では、繰り返し回数をtで表しており、この繰り返し回数tは1からTまで漸増する。 The process described below is a process that is repeated a predetermined number of times T. In the following description, the number of repetitions is represented by t, and this number of repetitions t gradually increases from 1 to T.
識別器学習部68は、重みωt,jを、次の数式(21)に従って正規化する。
複数の弱識別関数hm,n,tを用意し、各弱識別関数hm,n,tについて、次の数式(22)で定義されるエラー値εm,n,tを算出する。
エラー値が最小となる弱識別関数hm,n,tを選択し、その弱識別関数hm,n,tの重みαtを次の数式(23)に従って算出する。
識別器学習部68は、テンプレートnと関連付けて、射影パラメータan,m、弱識別関数htとその重みαtを、識別パラメータとしてデータベースに記憶する。なお、この識別関数htが、対象物検出装置5の弱識別器561〜56Tとなる。
The
次に、識別器学習部68は、次の数式(24)に従って、画像データの重みωt,jを更新する。これにより、重みωt,jが大きくなった画像データが重点的に学習されることとなる。
識別器学習部68は、繰り返し回数tをインクリメント(+1)し、上記の重みωt,jの正規化から重みωt,jの更新までの処理を繰り返す。但し、繰り返し回数tが所定の回数Tに至っている場合には、識別器学習部68は、以上の処理の結果から、T個のテンプレート情報、射影変換パラメータan,m、弱識別関数htとその重みαt、強識別関数hを取得して、学習結果データベース52に記憶する。なお、強識別関数ηは、既述の数式(19)で表される。
The
なお、上述した第一〜第三の実施形態の対象物検出装置1,3,5では、強識別器の前段にあるテンプレート特徴算出部、弱識別器などの各構成を並列させたが、他の実施形態では、これらの構成を直列的に接続して、対象物検出装置を構成してもよい。
In addition, in the
1,3,5…対象物検出装置、2,4,6…学習装置、101-10M…フィルタ付き撮像素子、12…学習結果データベース、141-14T…テンプレート特徴算出部、161-16T…弱識別器、18…強識別器、20…マルチスペクトル正解画像データベース、22…マルチスペクトル不正解画像データベース、241-24M…スペクトル1〜M用特徴算出部、261-26N…テンプレート特徴算出部、28…識別器学習部。 1,3,5 ... object detecting device, 2, 4, 6 ... learning device, 10 1 -10 M ... Filtered imaging device, 12 ... learning results database, 14 1 -14 T ... template feature calculation unit, 16 1 -16 T ... weak classifier, 18 ... strong classifier, 20 ... multispectral correct answer image database, 22 ... multispectral incorrect answer image database, 24 1-24 M ... spectrum 1 to M feature calculator, 26 1 -26 N : Template feature calculation unit, 28: Discriminator learning unit.
Claims (7)
事前に学習することにより前記複数のスペクトルのそれぞれについて用意された複数のテンプレート情報を用いて、前記スペクトル画像のそれぞれについてテンプレート特徴量を算出するテンプレート特徴算出部と、
前記テンプレート情報を用いて事前に学習した弱識別関数を用いて、前記テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する弱識別器と、
前記テンプレート情報を用いて事前に学習した強識別関数を用いて、前記弱識別器の判定結果を統合して、画像中に検出対象物が含まれるか否かを判定する強識別器と、
を有し、
前記複数のテンプレート情報のそれぞれは、隣接する2つの領域の輝度値の差分を前記テンプレート特徴量として求めるものであることを特徴とする対象物検出装置。 An imaging unit that captures an imaging region and generates a plurality of spectral images having different frequency regions;
Using a plurality of template information prepared for each of the plurality of spectra by learning in advance, a template feature calculation unit for calculating a template feature amount for each of the spectrum images;
With weak discrimination function learned in advance by using the template information, for each of the template feature amount, and determines weak classifier whether or not the detected object in the image is included,
Using a strong discriminant function learned in advance by using the template information, by integrating the determination result of the weak classifier, and determining strong classifier whether or not the detected object in the image is included,
I have a,
Each of the plurality of template information is for obtaining a difference between luminance values of two adjacent areas as the template feature amount .
事前に学習することにより前記複数のスペクトルのそれぞれについて用意された複数のテンプレート情報を用いて、前記スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出部と、
前記テンプレート情報を用いて事前に学習した弱識別関数を用いて、前記テンプレート特徴ベクトルの各要素のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する弱識別器と、
前記テンプレート情報を用いて事前に学習したテンプレート識別関数を用いて、前記テンプレート情報が共通する前記弱識別器の判定結果を統合して、画像中に検出対象物が含まれるか否かを判定するテンプレート識別器と、
前記テンプレート情報を用いて事前に学習した強識別関数を用いて、前記テンプレート識別器の判定結果を統合して画像中に検出対象物が含まれるか否かを判定する強識別器と、
を有し、
前記複数のテンプレート情報のそれぞれは、隣接する2つの領域の輝度値の差分を前記テンプレート特徴量として求めるものであることを特徴とする対象物検出装置。 An imaging unit that captures an imaging region and generates a plurality of spectral images having different frequency regions;
A template feature vector calculation unit that calculates a template feature vector for the spectrum image using a plurality of template information prepared for each of the plurality of spectra by learning in advance;
With weak discrimination function learned in advance by using the template information, for each of the elements of the template feature vector, and determines weak classifier whether or not the detected object in the image is included,
Using a template identification function learned in advance using the template information, the determination results of the weak classifiers that share the template information are integrated to determine whether or not a detection target is included in the image. A template identifier;
And the template information using the strong classifier function learned in advance using, determines strong classifier whether contains the template identifier determination result by integrating the detection object in the image,
I have a,
Each of the plurality of template information is for obtaining a difference between luminance values of two adjacent areas as the template feature amount .
事前に学習することにより前記複数のスペクトルのそれぞれについて用意された演算を行うための複数のテンプレート情報を用いて、前記スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出部と、
前記テンプレート情報を用いて事前に学習した射影パラメータを用いて、前記テンプレート特徴ベクトルを射影変換して、射影テンプレート特徴量を算出する射影変換部と、
前記テンプレート情報を用いて事前に学習した弱識別関数を用いて、前記射影テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する弱識別器と、
前記テンプレート情報を用いて事前に学習した強識別関数を用いて、前記弱識別器の判定結果を統合して、画像中に検出対象物が含まれるか否かを判定する強識別器と、
を有し、
前記複数のテンプレート情報のそれぞれは、隣接する2つの領域の輝度値の差分を前記テンプレート特徴量として求めるものであることを特徴とする対象物検出装置。 An imaging unit that captures an imaging region and generates a plurality of spectral images having different frequency regions;
A template feature vector calculation unit that calculates a template feature vector for the spectrum image using a plurality of template information for performing calculations prepared for each of the plurality of spectra by learning in advance;
A projective transformation unit that performs projective transformation of the template feature vector using projection parameters learned in advance using the template information, and calculates a projected template feature amount;
With weak discrimination function learned in advance by using the template information, for each of the projective template feature amount, and determines weak classifier whether or not the detected object in the image is included,
Using a strong discriminant function learned in advance by using the template information, by integrating the determination result of the weak classifier, and determining strong classifier whether or not the detected object in the image is included,
I have a,
Each of the plurality of template information is for obtaining a difference between luminance values of two adjacent areas as the template feature amount .
その他の前記識別器は、複数の入力値に基づいて画像中に検出対象物が含まれるか否かを判定するものであることを特徴とする請求項1〜3のいずれか1項に記載の対象物検出装置。 The weak classifier determines whether a detection target is included in an image based on one input value,
The said other discriminator determines whether a detection target object is contained in an image based on a some input value, The any one of Claims 1-3 characterized by the above-mentioned. Object detection device.
事前に学習することにより前記複数のスペクトルのそれぞれについて用意された複数のテンプレート情報を用いて、前記スペクトル画像のそれぞれについてテンプレート特徴量を算出するテンプレート特徴算出ステップと、
前記テンプレート情報を用いて事前に学習した弱識別関数を用いて、前記テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する弱識別ステップと、
前記テンプレート情報を用いて事前に学習した強識別関数を用いて、前記弱識別ステップにおける判定結果を統合して、画像中に検出対象物が含まれるか否かを判定する強識別ステップと、
を含み、
前記複数のテンプレート情報のそれぞれは、隣接する2つの領域の輝度値の差分を前記テンプレート特徴量として求めるものである、対象物検出方法。 An imaging step of capturing an imaging region and generating a plurality of spectral images having different frequency regions;
A template feature calculation step of calculating a template feature amount for each of the spectrum images using a plurality of template information prepared for each of the plurality of spectra by learning in advance;
A weak identification step of determining whether or not a detection target is included in an image for each of the template feature values, using a weak identification function learned in advance using the template information ;
Using a strong discriminant function learned in advance by using the template information, by integrating the determination result of the weak discrimination step, and determining strong identification step whether it includes detection object in the image,
Only including,
Each of the plurality of template information is an object detection method in which a difference between luminance values of two adjacent regions is obtained as the template feature amount .
事前に学習することにより前記複数のスペクトルのそれぞれについて用意された複数のテンプレート情報を用いて、前記スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出ステップと、
前記テンプレート情報を用いて事前に学習した弱識別関数を用いて、前記テンプレート特徴ベクトルの各要素のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する弱識別ステップと、
前記テンプレート情報を用いて事前に学習したテンプレート識別関数を用いて、前記弱識別ステップにおける前記テンプレート情報が共通する判定結果を統合して、画像中に検出対象物が含まれるか否かを判定するテンプレート識別ステップと、
前記テンプレート情報を用いて事前に学習した強識別関数を用いて、前記テンプレート識別ステップにおける判定結果を統合して画像中に検出対象物が含まれるか否かを判定する強識別ステップと、
を含み、
前記複数のテンプレート情報のそれぞれは、隣接する2つの領域の輝度値の差分を前記テンプレート特徴量として求めるものである、対象物検出方法。 An imaging step of capturing an imaging region and generating a plurality of spectral images having different frequency regions;
A template feature vector calculation step of calculating a template feature vector for the spectrum image using a plurality of template information prepared for each of the plurality of spectra by learning in advance;
A weak identification step of determining whether or not a detection target is included in an image for each element of the template feature vector using a weak identification function learned in advance using the template information ;
Using a template identification function learned in advance using the template information, the determination results common to the template information in the weak identification step are integrated to determine whether or not a detection target is included in the image. A template identification step;
Using a strong discriminant function learned in advance by using the template information, and determines strong identification step whether include detection object in the image by integrating the determination result of the template identification step,
Only including,
Each of the plurality of template information is an object detection method in which a difference between luminance values of two adjacent regions is obtained as the template feature amount .
事前に学習することにより前記複数のスペクトルのそれぞれについて用意された複数のテンプレート情報を用いて、前記スペクトル画像についてテンプレート特徴ベクトルを算出するテンプレート特徴ベクトル算出ステップと、
前記テンプレート情報を用いて事前に学習した射影パラメータを用いて、前記テンプレート特徴ベクトルを射影変換して、テンプレート特徴量を算出する射影変換ステップと、
前記テンプレート情報を用いて事前に学習した弱識別関数を用いて、前記テンプレート特徴量のそれぞれについて、画像中に検出対象物が含まれるか否かを判定する弱識別ステップと、
前記テンプレート情報を用いて事前に学習した強識別関数を用いて、前記弱識別ステップにおける判定結果を統合して、画像中に検出対象物が含まれるか否かを判定する強識別ステップと、
を含み、
前記複数のテンプレート情報のそれぞれは、隣接する2つの領域の輝度値の差分を前記テンプレート特徴量として求めるものである、対象物検出方法。 An imaging step of capturing an imaging region and generating a plurality of spectral images having different frequency regions;
A template feature vector calculation step of calculating a template feature vector for the spectrum image using a plurality of template information prepared for each of the plurality of spectra by learning in advance;
A projective transformation step of projectively transforming the template feature vector using a projection parameter learned in advance using the template information, and calculating a template feature amount;
A weak identification step of determining whether or not a detection target is included in an image for each of the template feature values, using a weak identification function learned in advance using the template information ;
Using a strong discriminant function learned in advance by using the template information, by integrating the determination result of the weak discrimination step, and determining strong identification step whether it includes detection object in the image,
Only including,
Each of the plurality of template information is an object detection method in which a difference between luminance values of two adjacent regions is obtained as the template feature amount .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005187128A JP4626418B2 (en) | 2005-06-27 | 2005-06-27 | Object detection device and object detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005187128A JP4626418B2 (en) | 2005-06-27 | 2005-06-27 | Object detection device and object detection method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007004721A JP2007004721A (en) | 2007-01-11 |
JP4626418B2 true JP4626418B2 (en) | 2011-02-09 |
Family
ID=37690243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005187128A Expired - Fee Related JP4626418B2 (en) | 2005-06-27 | 2005-06-27 | Object detection device and object detection method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4626418B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101315670B (en) * | 2007-06-01 | 2010-08-11 | 清华大学 | Specific shot body detection device, learning device and method thereof |
KR100963797B1 (en) * | 2008-02-27 | 2010-06-17 | 아주대학교산학협력단 | Method for realtime target detection based on reduced complexity hyperspectral processing |
JP5311899B2 (en) * | 2008-06-30 | 2013-10-09 | キヤノン株式会社 | Pattern detector learning apparatus, learning method, and program |
JP6336351B2 (en) * | 2014-08-08 | 2018-06-06 | 東芝テック株式会社 | Information processing apparatus and program |
TWI830907B (en) * | 2019-06-05 | 2024-02-01 | 日商索尼半導體解決方案公司 | Image recognition device and image recognition method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62237591A (en) * | 1986-04-09 | 1987-10-17 | Hitachi Ltd | Color pattern matching system |
JPH08167029A (en) * | 1994-12-13 | 1996-06-25 | Fujitsu Ltd | Image processor |
JP2004362468A (en) * | 2003-06-06 | 2004-12-24 | Omron Corp | Specific object detection device |
JP2005108197A (en) * | 2003-09-09 | 2005-04-21 | Fuji Photo Film Co Ltd | Object identification unit, method, and program |
-
2005
- 2005-06-27 JP JP2005187128A patent/JP4626418B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62237591A (en) * | 1986-04-09 | 1987-10-17 | Hitachi Ltd | Color pattern matching system |
JPH08167029A (en) * | 1994-12-13 | 1996-06-25 | Fujitsu Ltd | Image processor |
JP2004362468A (en) * | 2003-06-06 | 2004-12-24 | Omron Corp | Specific object detection device |
JP2005108197A (en) * | 2003-09-09 | 2005-04-21 | Fuji Photo Film Co Ltd | Object identification unit, method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2007004721A (en) | 2007-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10726244B2 (en) | Method and apparatus detecting a target | |
US10303983B2 (en) | Image recognition apparatus, image recognition method, and recording medium | |
JP4772839B2 (en) | Image identification method and imaging apparatus | |
US9008365B2 (en) | Systems and methods for pedestrian detection in images | |
JP5483961B2 (en) | Image processing apparatus, subject discrimination method, program, and storage medium | |
JP5549345B2 (en) | Sky detection apparatus and method used in image acquisition apparatus | |
JP6351240B2 (en) | Image processing apparatus, image processing method, and program | |
US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
JP2008517352A (en) | Non-contact optical means and 3D fingerprint recognition method | |
CN110520768B (en) | Hyperspectral light field imaging method and system | |
US20130201342A1 (en) | Estimating a visible vector representation for pixels in an infrared image | |
US20090207260A1 (en) | Image pickup apparatus and image pickup method | |
JP4626418B2 (en) | Object detection device and object detection method | |
US11272163B2 (en) | Image processing apparatus and image processing method | |
JP5591090B2 (en) | Image processing apparatus and method | |
JP2017053699A (en) | Wavelength decision method of near-infrared image capturing used in substance determination, and substance determination method using near-infrared image | |
CN117496560B (en) | Fingerprint line identification method and device based on multidimensional vector | |
CN111435457B (en) | Method for classifying acquisitions acquired by sensors | |
JP5791361B2 (en) | PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM | |
JP2019028650A5 (en) | ||
JP4985264B2 (en) | Object identification device | |
US20220414826A1 (en) | Image processing apparatus, image processing method, and medium | |
JP2011113360A (en) | Object identification apparatus | |
CN114651272A (en) | Imaging sensor, image processing apparatus, and image processing method | |
Aminova et al. | Overview of digital forensics algorithms in DSLR cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100803 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101012 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101025 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |