JP6547280B2 - Setting device, information classification device, classification plane setting method of setting device, information classification method of information classification device and program - Google Patents

Description

本発明は、情報の分類に用いる分類面を情報分類装置に設定するための設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラムに関する。   The present invention relates to a setting apparatus, an information classification apparatus, a classification plane setting method for the setting apparatus, an information classification method for an information classification apparatus, and a program for setting a classification plane used for information classification in an information classification apparatus.

指紋や顔等の類似・非類似の分類を行う際に、サポートベクトルマシン（ＳＶＭ：Support Vector Machine）を用いた情報分類装置を使用する。ＳＶＭは、未知の情報をどのように分類すべきかを、既知の学習用情報を用いて情報を分類するための分類面（情報を分類するための分類条件を表す関数）を予め構築しておき、その分類面を用いて未知の情報を分類するものである。ＳＶＭは、線形ＳＶＭと非線形ＳＶＭに大別できるが、情報を特徴空間に写像する技術を用いて情報を分類する非線形ＳＶＭの方がより複雑な情報を正確に分類することができる。   When classifying similar or dissimilar such as fingerprints and faces, an information classification device using a support vector machine (SVM) is used. The SVM constructs in advance a classification surface (a function representing a classification condition for classifying information) for classifying information using known learning information as to how unknown information should be classified. , Classify unknown information using its classification surface. SVMs can be roughly divided into linear SVMs and non-linear SVMs, but non-linear SVMs that classify information using a technology that maps information to a feature space can classify more complex information more accurately.

非特許文献１は、非線形ＳＶＭに設定する分類面を構築するために用いるカーネルとして、特徴ベクトルの要素の各々をべき乗した関数式を開示している。カーネルは、分類対象の情報から抽出した特徴ベクトルの関係を求める関数式である。非特許文献１は、開示するカーネルを用いることにより、画像の分類精度を上げる技術を開示している。   Non-Patent Document 1 discloses a functional expression in which each element of a feature vector is raised to a power as a kernel used to construct a classification surface to be set to a non-linear SVM. The kernel is a functional expression for obtaining the relationship between feature vectors extracted from information of a classification target. Non-Patent Document 1 discloses a technique for increasing the classification accuracy of an image by using the disclosed kernel.

Sabri Boughorbel、外２名、「GENERALIZED HISTOGRAM INTERSECTION KERNEL FOR IMAGE RECOGNITION」、International Conference on Image Processing (ICIP)、２００５年９月Sabri Boughorbel, 2 others, "GENERALIZED HISTOGRAM INTERSECTION KERNEL FOR IMAGE RECOGNITION", International Conference on Image Processing (ICIP), September 2005

しかしながら、非特許文献１が開示するカーネルは、特徴ベクトルの各要素の値をそれぞれべき乗する計算処理を行っている。べき乗計算の処理は、計算処理の負荷が大きい。したがって、非特許文献１が開示する技術を用いると、特徴ベクトルの要素の数が増加すると処理負荷が大きいべき乗計算処理の回数も増加し、処理負荷が大きくなるという問題があった。
本発明は、上記問題点に鑑みてなされたもので、情報から取得した特徴ベクトルの要素の数が増加してもカーネルのべき乗計算の処理負荷が小さい設定装置、情報分類装置、設定装置の分類面設定方法、情報分類装置の情報分類方法及びプログラムを提供することを目的とする。 However, the kernel disclosed in Non-Patent Document 1 performs calculation processing for raising the value of each element of the feature vector. The processing of the exponentiation calculation is heavy in calculation processing. Therefore, when the technology disclosed in Non-Patent Document 1 is used, there is a problem that when the number of elements of the feature vector is increased, the number of times of the exponentiation process in which the processing load is large is also increased and the processing load is increased.
The present invention has been made in view of the above problems, and a setting device, an information classification device, and a setting device classification in which the processing load of the power calculation of the kernel is small even if the number of elements of the feature vector acquired from information increases An object of the present invention is to provide a plane setting method, an information classification method of an information classification device, and a program.

上記目的を達成するために、本発明に係る設定装置は、分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力手段と、前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得手段と、特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習手段と、前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、前記選択手段により選択された分類面を情報分類装置に設定する設定手段と、を備えることを特徴とする。
また、上記目的を達成するために、本発明に係る情報分類装置は、前記設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、を備えることを特徴とする。 In order to achieve the above object, the setting device according to the present invention indicates a plurality of learning information whose classification is known, a plurality of test information whose classification is known, and an allowance for misclassification of the learning information. Input means for inputting a plurality of regularization parameters and a plurality of exponentiation parameters for raising the similarity between feature vectors, and an acquisition means for acquiring feature vectors respectively corresponding to the learning information and the test information And learning means for constructing a plurality of classification planes for classifying the learning information for each combination of the regularization parameter and the exponentiation parameter based on the power of the similarity between the feature vectors, and the learning means Selecting one of the plurality of classification planes constructed in step (d) and classifying the feature vector corresponding to the test information generated by the acquisition means, and dividing the feature vector corresponding to the test information The classification rate which represents the proportion classified into the known classification state to be determined is determined, and further, the classification surface which is selected successively is updated several times, and the classification surface determined the highest by the classification ratio determined by the test means. And a setting unit configured to set the classification plane selected by the selection unit in the information classification apparatus.
Further, in order to achieve the above object, an information classification device according to the present invention is an information classification means for classifying unknown information different from learning information and test information according to the classification surface constructed by the setting device. And the like.

本発明によれば、特徴ベクトルの要素の数が増加してもカーネルのべき乗計算の処理負荷を小さくすることができる。   According to the present invention, even if the number of elements of a feature vector increases, the processing load of kernel power calculation can be reduced.

本発明の実施形態１に係る情報分類装置のブロック図である。It is a block diagram of the information classification device concerning Embodiment 1 of the present invention. 図１に示す情報分類装置の機能構成図である。It is a function block diagram of the information classification device shown in FIG. 画像から特徴ベクトルを抽出し、抽出した特徴ベクトルを正規化する処理を説明するための図であり、（ａ）は画像を（縦５マス、横５マス）のブロックに分割した例を示し、（ｂ）は特徴ベクトルの正規化について説明するための図である。It is a figure for demonstrating the process which extracts a feature vector from an image, and normalizes the extracted feature vector, (a) shows the example which divided | segmented the image into the block (5 vertical bars, 5 horizontal bars), (B) is a figure for demonstrating normalization of a feature vector. 特徴ベクトルを２値に分類することを説明するための概念図であり、（ａ）は分類面を容易に設定可能な場合、（ｂ）は分類面を容易に設定できない場合を説明する図である。It is a conceptual diagram for demonstrating classifying a feature vector into a binary, (a) is a figure explaining the case where a classification surface can not be set easily, when (b) can easily set a classification surface. is there. カーネルの計算例を説明するための図であり、（ａ）は正規化された学習用画像の特徴ベクトル、（ｂ）は正規化された他の学習用画像の特徴ベクトル、（ｃ）はカーネルの計算例、（ｄ）は（ａ）の棒グラフ、（ｅ）は（ｂ）の棒グラフ、（ｆ）は（ｄ）と（ｅ）の重なり部分、を示す。It is a figure for demonstrating the example of calculation of a kernel, (a) is a feature vector of a training image for normalization, (b) is a feature vector of another training image for normalization, (c) is a kernel (D) shows the bar graph of (a), (e) shows the bar graph of (b), and (f) shows the overlapping part of (d) and (e). 分類面の構築について説明するための図であり、（ａ）は線形分離不可能の場合で有り、（ｂ）は線形分離可能な特徴空間に写像した場合を示す。It is a figure for demonstrating the structure of a classification | category surface, (a) is a case where it can not linear isolate | separate, (b) shows the case where it maps to the linearly separable feature space. 本発明の実施形態１に係る情報分類装置が実行する分類面の設定処理を説明するためのフローチャート図である。It is a flowchart figure for demonstrating the setting process of the classification | category surface which the information classification apparatus which concerns on Embodiment 1 of this invention performs. 従来技術に対するべき乗計算の処理負荷削減効果について説明するための図である。It is a figure for demonstrating the processing load reduction effect of the power calculation with respect to a prior art. 本発明の実施形態２に係る情報分類装置に分類面を設定する設定装置の機能構成図である。It is a functional block diagram of the setting apparatus which sets a classification | category surface to the information classification apparatus which concerns on Embodiment 2 of this invention. 本発明の実施形態２に係る情報分類装置の機能構成図である。It is a function block diagram of the information classification device which concerns on Embodiment 2 of this invention.

以下、本発明の実施形態に係る情報分類装置、情報分類装置の設定方法及びプログラムについて、図面を参照しながら説明する。本実施形態では、情報分類装置を画像情報の分類に適用した場合について説明する。   Hereinafter, an information classification device, a setting method of the information classification device, and a program according to an embodiment of the present invention will be described with reference to the drawings. In this embodiment, the case where the information classification device is applied to classification of image information will be described.

（実施形態１）
本発明の実施形態１に係る情報分類装置のハードウエア構成について、図１を参照しながら説明する。本実施形態１に係る情報分類装置１１は、入力部１２、表示部１３、入出力インタフェース（入出力Ｉ／Ｆ）部１４、記憶部１５、ＲＯＭ（Read Only Memory）１６、ＲＡＭ（Random Access Memory）１７、制御部１８とを備える。
入力部１２は、ユーザによる学習用画像や試験用画像や分類対象画像を特定する指示や情報分類処理に必要なパラメータ等の情報を入力し、キーボード等から構成される。
表示部１３は、入力したパラメータ値や後述する識別率、分類された画像等の各種情報を表示し、液晶ディスプレイ等で構成される。
入出力Ｉ／Ｆ部１４は、外部メモリやパーソナルコンピュータ等とのインタフェース機能を有し、ＵＳＢ（Universal Serial Bus）インタフェース、コンパクトディスクドライブ等から構成される。
記憶部１５は、学習用画像、試験用画像、分類対象画像、過去に解析した画像と後述する画像の特徴ベクトル及び特徴ベクトルの分類に使用した分類面の情報等を記憶し、ハードディスク等で構成される。
ＲＯＭ１６は、画像から特徴ベクトルを抽出するＢｏｆ（Bag-of-Features）プログラムを含む制御部１８が実行する非線形ＳＶＭ処理プログラムを記憶する。
ＲＡＭ１７は、制御部１８のワークエリアとして使用される。 (Embodiment 1)
The hardware configuration of the information classification device according to the first embodiment of the present invention will be described with reference to FIG. The information classification device 11 according to the first embodiment includes an input unit 12, a display unit 13, an input / output interface (input / output I / F) unit 14, a storage unit 15, a read only memory (ROM) 16, and a random access memory (RAM). And 17. a control unit 18.
The input unit 12 is configured by a keyboard or the like to input information such as an instruction for specifying a learning image, a test image, and a classification target image by a user, and a parameter necessary for information classification processing.
The display unit 13 displays various information such as input parameter values, identification rates to be described later, and classified images, and is configured by a liquid crystal display or the like.
The input / output I / F unit 14 has an interface function with an external memory, a personal computer, and the like, and is configured of a USB (Universal Serial Bus) interface, a compact disk drive, and the like.
The storage unit 15 stores a learning image, a test image, a classification target image, feature vectors of images analyzed in the past and images to be described later, classification plane information used for classification of feature vectors, etc. Be done.
The ROM 16 stores a non-linear SVM processing program executed by the control unit 18 including a Bof (Bag-of-Features) program for extracting feature vectors from an image.
The RAM 17 is used as a work area of the control unit 18.

制御部１８は、プロセッサ等から構成され、ＲＯＭ１６に記憶された非線形ＳＶＭ処理プログラムをＲＡＭ１７に読み出し、そのプログラムを実行することにより、情報分類装置として機能する。制御部１８は、図２に示すように、機能的には、取得部２１、正規化部２２、学習部２３、試験部２４、選択部２５、設定部２６、分類部２７を備える。   The control unit 18 includes a processor or the like, reads out the nonlinear SVM processing program stored in the ROM 16 to the RAM 17, and functions as an information classification device by executing the program. As shown in FIG. 2, the control unit 18 functionally includes an acquisition unit 21, a normalization unit 22, a learning unit 23, a test unit 24, a selection unit 25, a setting unit 26, and a classification unit 27.

取得部２１は、画像の特徴ベクトルを抽出するＢｏｆプログラムをＲＯＭ１６から読み出し、解析対象となる学習用画像群・試験用画像群・分類対象画像群から特徴ベクトルを抽出する。取得部２１は、抽出した特徴ベクトルをＲＡＭ１７に格納する。情報量が多い場合は、記憶部１５に記憶してもよい。   The acquisition unit 21 reads from the ROM 16 a Bof program for extracting feature vectors of an image, and extracts feature vectors from a learning image group, a test image group, and a classification target image group to be analyzed. The acquisition unit 21 stores the extracted feature vector in the RAM 17. When the amount of information is large, it may be stored in the storage unit 15.

特徴ベクトルとは、画像から抽出された特徴を定量化したものである。本実施形態では、画像をブロックに分割して、ブロック内の画素を判定してブロックを構成する色の頻度を特徴ベクトルとして抽出する場合について説明する。すなわち、どの色が何ブロックあるかをカウントして、そのカウント値を特徴ベクトルの要素としている。
理解を容易にするために、（桃色、赤、青、白、黒）の５色にについて、図３（ａ）に示す縦５マス、横５マスのブロックに分割し、どの色が何ブロックに存在するかという頻度を特徴ベクトルの要素として抽出する。図３（ａ）で例示する顔の画像では、（桃色）が２５個のブロック中の１０個のブロックに存在し、（赤）が２個のブロックに存在し、（青）は１個のブロックに、（白）は７個のブロックに、（黒）は５個のブロックに存在しているとする。この色の頻度を特徴ベクトルの要素として抽出したものを図３（ｂ）の２行目に示す。 A feature vector is a quantification of features extracted from an image. In this embodiment, an image is divided into blocks, pixels in the block are determined, and the frequency of colors forming the block is extracted as a feature vector. That is, it counts which color has which block, and counts the count value as an element of the feature vector.
In order to facilitate understanding, the five colors (pink, red, blue, white, black) are divided into blocks of 5 squares vertically and 5 squares horizontally as shown in FIG. The frequency of whether it exists in is extracted as an element of the feature vector. In the image of the face illustrated in FIG. 3 (a), (pink) exists in 10 blocks in 25 blocks, (red) exists in 2 blocks, and (blue) is 1 In the block, (white) is present in 7 blocks and (black) is present in 5 blocks. What extracted this color frequency as an element of a feature vector is shown in the 2nd line of FIG.3 (b).

図２に戻って、正規化部２２は、取得部２１で取得した特徴ベクトルをＬ２ノルムで正規化する。Ｌ２ノルムは、特徴ベクトルの各要素の２乗和の平方根である。この正規化は、例えば、画像を分類する際に、対比する画像同士の大きさは異なるが相似形である場合、画像としては類似として分類すべきであるが、比較対象画像の大きさが異なることにより非類似として分類されることを防止する機能を有している。
図３（ｂ）の２行目に記載されている特徴ベクトルの各要素の２乗和は（１７９）であり、その平方根は（１３．３８）である。そして、図３（ｂ）の３行目に、２行目に記載されている特徴ベクトルの各要素を特徴ベクトルの各要素の２乗和の平方根で正規化した特徴ベクトルの各要素を記載している。 Returning to FIG. 2, the normalization unit 22 normalizes the feature vector acquired by the acquisition unit 21 with the L2 norm. The L2 norm is the square root of the sum of squares of each element of the feature vector. In this normalization, for example, when classifying the images, if the sizes of the images to be compared are different but they are similar, they should be classified as similar as the images, but the sizes of the comparison target images are different. It has a function to prevent it from being classified as dissimilar.
The sum of squares of each element of the feature vector described in the second line of FIG. 3B is (179), and the square root thereof is (13. 38). Then, on the third line of FIG. 3B, each element of the feature vector obtained by normalizing each element of the feature vector described on the second line with the square root of the sum of squares of each element of the feature vector is described ing.

図２に戻って、学習部２３は、登載されている非線形ＳＶＭを使用して、学習用画像の正規化された特徴ベクトルを分類するための分類面を構築する。学習部２３は、この分類面を、後述する分類誤りの許容度を示す正則化パラメータＣとカーネルのべき乗パラメータαとの組み合わせごとに構築する。正則化パラメータＣとべき乗パラメータαとの組み合わせが、例えば、１００通りある場合には、１００個の分類面を構築する。   Returning to FIG. 2, the learning unit 23 constructs a classification surface for classifying the normalized feature vectors of the learning image, using the on-line nonlinear SVM. The learning unit 23 constructs this classification surface for each combination of a regularization parameter C indicating the tolerance of classification error described later and the power parameter α of the kernel. For example, if there are 100 combinations of the regularization parameter C and the exponentiation parameter α, 100 classification planes are constructed.

試験部２４は、学習部２３で構築した分類面を用いて、既知である試験用画像に対応する特徴ベクトルを分類する。そして、試験部２４は、特徴ベクトルが既知のグループ（クラス）に分類された割合を示す識別率を求める。試験部２４は、学習部２３で構築した複数の分類面の各々に対して識別率を求める。
例えば、Ａ氏の試験用画像が１００枚ある場合、１００枚の試験用画像中の何枚がＡ氏として正しく分類されたかを調べて識別率を求める。１００枚中９９枚をＡ氏として分類していれば、識別率は９９％であり、９５枚をＡ氏として分類していれば、識別率は９５％である。試験部２４は、学習部２３で構築した分類面が１００個であれば、１００個の分類面の各々に対して、識別率を求める。 The test unit 24 classifies a feature vector corresponding to a known test image using the classification surface constructed by the learning unit 23. Then, the test unit 24 obtains an identification rate indicating a rate at which the feature vector is classified into a known group (class). The test unit 24 obtains the identification rate for each of the plurality of classification planes constructed by the learning unit 23.
For example, if there are 100 test images for Mr. A, how many of the 100 test images are correctly classified as Mr. A to find out the identification rate. If 99 out of 100 sheets are classified as Mr. A, the discrimination rate is 99%, and if 95 sheets are classified as Mr. A, the discrimination rate is 95%. If the number of classification planes constructed by the learning unit 23 is 100, the test unit 24 obtains an identification rate for each of the 100 classification planes.

選択部２５は、試験部２４で分類面ごとに求めた識別率の中で、最も識別率が高かった分類面を選択する。
設定部２６は、選択部２５で選択した識別率が最も高い分類面を非線形ＳＶＭに設定する。 The selection unit 25 selects the classification plane having the highest discrimination rate among the discrimination rates obtained for each classification plane in the test unit 24.
The setting unit 26 sets the classification surface having the highest discrimination rate selected by the selection unit 25 as the nonlinear SVM.

分類部２７は、設定部２６により分類面を設定された非線形ＳＶＭを用いて、どのように分類すべきかが未知である分類対象の画像に対応する特徴ベクトルを分類する。具体的には、ユーザが、分類対象画像群を取得部２１に供給する指示を行い、取得部２１は各分類対象画像の特徴ベクトルを抽出する。正規化部２２は抽出した特徴ベクトルを正規化し、特徴ベクトルを分類部２７に供給する。分類部２７は、非線形ＳＶＭに設定されている分類面を用いて、入力された分類対象画像に対応する特徴ベクトルを分類することにより分類対象画像を分類する。   The classification unit 27 classifies the feature vector corresponding to the image of the classification target whose method of classification is unknown using the non-linear SVM for which the classification plane is set by the setting unit 26. Specifically, the user instructs to supply the classification target image group to the acquisition unit 21, and the acquisition unit 21 extracts the feature vector of each classification target image. The normalization unit 22 normalizes the extracted feature vector and supplies the feature vector to the classification unit 27. The classification unit 27 classifies the classification target image by classifying the feature vector corresponding to the input classification target image using the classification plane set in the nonlinear SVM.

以上で、情報分類装置１１の構成について説明した。次に学習部２３の詳細機能について説明する。本実施形態では、Ａ氏の画像の特徴ベクトルを白丸で表してグループＡに分類し、その他の画像の特徴ベクトルを黒丸で表してグループＢに分類する例について説明する。図４（ａ）に示す例では、白丸で表示された特徴ベクトルが固まって分布し、黒丸で表示された特徴ベクトルも固まって分布しているので、グループＡとグループＢとの間に分類面を容易に構築できる。ところが、図４（ｂ）に示す例では、白丸で表示された特徴ベクトルと黒丸で表示された特徴ベクトルとが入り組んで分布しているので、容易には分類面を構築することはできない。   The configuration of the information classification device 11 has been described above. Next, detailed functions of the learning unit 23 will be described. In the present embodiment, an example will be described in which feature vectors of Mr. A's image are represented by white circles and classified into group A, and feature vectors of other images are represented by black circles and classified into group B. In the example shown in FIG. 4A, the feature vectors represented by white circles are distributed in a clump and the feature vectors represented by black circles are also distributed in a clump. Can be easily built. However, in the example shown in FIG. 4B, since the feature vector displayed as white circles and the feature vector displayed as black circles are distributed in an intricate manner, it is impossible to easily construct a classification plane.

このように分類面を容易に構築できない場合に、学習部２３は、ある程度までは分類誤りを許容して分類面を構築する機能を有している。本実施形態では、この分類誤りを許容する程度を正則化パラメータＣで表している。正則化パラメータＣを大きくすると分類誤りを許容しない分類面を構築し、正則化パラメータＣを小さくすると分類誤りをある程度許容して分類面を構築する。   As described above, when the classification surface can not be easily constructed, the learning unit 23 has a function of allowing classification errors to a certain extent and constructing the classification surface. In this embodiment, the degree to which this classification error is permitted is represented by the regularization parameter C. When the regularization parameter C is increased, a classification surface that does not tolerate classification errors is constructed, and when the regularization parameter C is decreased, classification errors are allowed to some extent, and a classification surface is constructed.

図４（ｂ）に実線で示す分類面は、正則化パラメータＣが大きく、分類誤りを許容しない場合であり、分類面は複雑な形状となっている。分類面が複雑に入り組んでいるため、特徴ベクトルと分類面との距離（分類マージン）は小さくなる傾向にある。これに対して、点線で示す分類面は、正則化パラメータＣが小さく、分類誤りをかなり許容する場合である。分類面は単純な曲線で構築することができ、誤分類になっていない特徴ベクトルと分類面との分類マージンは大きくなる傾向にある。   The classification surface indicated by a solid line in FIG. 4B is a case where the regularization parameter C is large and the classification error is not permitted, and the classification surface has a complicated shape. Because the classification plane is intricate, the distance between the feature vector and the classification plane (classification margin) tends to be smaller. On the other hand, the classification plane indicated by the dotted line is a case where the regularization parameter C is small and the classification error is quite tolerated. Classification planes can be constructed with simple curves, and the classification margin between feature vectors that are not misclassified and classification planes tends to be large.

学習部２３は、非線形ＳＶＭの学習機能を用いて分類面を構築する。非線形ＳＶＭでは、図６（ａ）に示すような線形分離不可能な分布である学習用特徴ベクトルｘ_ｉを非線形空間変換を用いて図６（ｂ）に示す線形分離可能なφ（ｘ_ｉ）の特徴空間に変換して分類面を構築する。

この分類面を表す識別関数を式（２）で表す。

The learning unit 23 constructs a classification surface using the learning function of the nonlinear SVM. In the nonlinear SVM, the learning feature vector x _i which is a linear non-separable distribution as shown in FIG. 6 (a) can be linearly separated φ (x _i ) as shown in FIG. 6 (b) using non-linear space transformation. Transform to the feature space of to construct a classification surface.

A discrimination function representing this classification surface is expressed by equation (2).

学習用画像に対応する特徴ベクトルｘ_ｉは、ｉ＝１〜ｎとする。この特徴ベクトルｘ_ｉをグループ（クラス）Ａとグループ（クラス）Ｂとに分類する。この特徴ベクトルに対して、ｇ（ｘ）が次の条件を満たすように重みベクトルｍとバイアス項ｂを求めれば、分類面を表す識別関数を構築できる。この特徴ベクトルに対して、ｇ（ｘ）が次の条件を満たすように重みベクトルｍとバイアス項ｂを調整する。

ここで、学習用画像の特徴ベクトルｘ_ｉに関する教師信号ｙ_ｉを次のように定義する。

Ａ氏の画像を分類する場合では、ｘ_ｉがＡ氏の画像である場合はｙ_ｉ＝１であり、ｘ_ｉがＡ氏の画像ではない場合はｙ_ｉ＝−１である。 The feature vector x _i corresponding to the learning image is i = 1 to n. This feature vector x _i is classified into a group (class) A and a group (class) B. If a weight vector m and a bias term b are obtained for this feature vector so that g (x) satisfies the following condition, a discrimination function representing a classification surface can be constructed. With respect to this feature vector, the weight vector m and the bias term b are adjusted so that g (x) satisfies the following condition.

Here, the teacher signal y _i regarding the feature vector x _i of the learning image is defined as follows.

In the case of classifying the image of Mr. A, if x _i is the image of Mr. A is y _{i =} 1, if x _i is not the image of Mr. A is y _{i =} -1.

この式（４）を使用して式（３）を書き換えると式（５）となる。

学習部２３は、図６（ｂ）に実線で示す分類面（識別関数）から最寄りの点（φ（ｘ_Ａ１），φ（ｘ_Ｂ１））までの距離（分類マージンＬ）を最大化するように重みベクトルｍとバイアス項ｂを求めて分類面を構築する。図６（ｂ）に示す分類マージンＬは、この最寄りの点φ（ｘ_Ａ１）を含み分類面と平行する関数Ｈ１と、点φ（ｘ_Ｂ２）を含み分類面と平行する関数Ｈ２とから求めることができる。

If Expression (3) is rewritten using Expression (4), Expression (5) is obtained.

The learning unit 23 maximizes the distance (classification margin L) from the classification surface (classification function) indicated by the solid line in FIG. 6B to the nearest points (φ (x _A1 ), φ (x _B1 )). The weight vector m and the bias term b are obtained to construct a classification surface. The classification margin L shown in FIG. 6B is obtained from the function H1 including the nearest point φ (x _A1 ) parallel to the classification plane and the function H2 including the point φ (x _B2 ) parallel to the classification plane be able to.

分類マージンＬは、Ｈ１とＨ２との距離の半分であるので、マージンＬを求めるために両者を引くと、ｙ_ｉｍ（φ（ｘ_Ａ１）−φ（ｘ_Ｂ１））＝２となる。 両辺を重みベクトルの大きさ||ｍ||で割ると、ｙ_ｉ（φ（ｘ_Ａ１）−φ（ｘ_Ｂ１））＝２／||ｍ||となり、分類マージンＬはこの１／２であるので式（７）となる。

この分類マージンＬが最大化するために、||ｍ||を最小化すれば良い。この式（７）を等価である式（８）に置き換える。

Since the classification margin L is half of the distance between H1 and H2, when the two are subtracted to obtain the margin L, y _i m (φ (x _A1 ) −φ (x _B1 )) = 2. If both sides are divided by the weight vector size || m ||, then y _i (φ (x _A1 ) −φ (x _B1 )) = 2 / || m || Since it exists, it becomes Formula (7).

In order to maximize the classification margin L, it is sufficient to minimize || m ||. This equation (7) is replaced with the equivalent equation (8).

式（８）を最大化する問題をラグランジュの未定乗数法で書き換えると式（９）となる。

λは、ラグランジュの未定乗数である。これをｍ及びｂで偏微分して０とおくと、

式（１０）より、

ラグランジュ関数ＬｐをＦ（λ）と書き換えて、式（１１）及び式（１２）を代入すると、式（１３）となる。

If the problem of maximizing equation (8) is rewritten using Lagrange's undetermined multiplier method, equation (9) is obtained.

λ is Lagrange's undetermined multiplier. If this is differentially differentiated by m and b and set to 0,

From equation (10),

If the Lagrange function Lp is rewritten as F (λ) and the equations (11) and (12) are substituted, the equation (13) is obtained.

式（１３）に式（１２）を代入すると式（１４）となる。

ここで、内積部分φ（ｘ_ｉ）φ（ｘ_ｊ）をカーネルｋ（ｘ_ｉ，ｘ_ｊ）で置き換えると、式（１５）となる。

Substituting equation (12) into equation (13) results in equation (14).

Here, when the inner product part φ (x _i ) φ (x _j ) is replaced by the kernel k (x _i , x _j ), equation (15) is obtained.

正則化パラメータＣ≧λ_ｉ≧０の制約条件の下で、このＦ（λ）が最大となる重みベクトルλが求められ、それにより式（１２）の ｍ が決まる。 Under the constraint of the regularization parameter C ≧ λ _i 00, the weight vector λ at which this F (λ) becomes maximum is determined, thereby determining m in equation (12).

式（１２）を式（２）式に代入し、内積部分φ（ｘ_ｉ）φ（ｘ_ｊ）をカーネルｋ（ｘ_ｉ，ｘ_ｊ）で置き換えると式（１６）となる。

式（１６）に、図６（ｂ）に示す分類マージンを決める特徴ベクトルｘ_Ａ１，ｘ_Ｂ１を代入することにより、バイアス項ｂが決まる。 If equation (12) is substituted into equation (2) and the inner product part φ (x _i ) φ (x _j ) is replaced with kernel k (x _i , x _j ), equation (16) is obtained.

The bias term b is determined by substituting the feature vectors x _A1 and x _B1 for determining the classification margin shown in FIG. 6B into Equation (16).

以上に説明したようにして、学習部２３は、Ｆ（λ）が最大となる重みベクトルｍとバイアス項ｂを求めて、分類面を表す式（２）を構築する。
学習部２３では、式（１５）（１６）の中のカーネルｋ（ｘ_ｉ，ｘ_ｊ）は関数式（１７）で表されている。

式（１７）は、ｉ番目の画像の特徴ベクトルをｘ_ｉ，ｊ番目の画像の特徴ベクトルをｘ_ｊとし、ｘ_ｉとｘ_ｊの対応するｋ番目の要素を比較して、小さい方の要素を選択して累算し、そして、累算結果をα乗することを示している。 As described above, the learning unit 23 obtains the weight vector m and the bias term b that maximize F (λ), and constructs Expression (2) representing the classification surface.
In the learning unit 23, the kernel k (x _i , x _j ) in the equations (15) and (16) is expressed by the functional equation (17).

Equation (17) sets the feature vector of the i-th image to x _i and the feature vector of the j-th image to x _j and compares the corresponding k-th elements of x _i and x _j Is selected and accumulated, and indicates that the accumulated result is raised to α.

学習部２３が、カーネルに式（１７）を用いて、５次元の特徴ベクトルから類似度を求める計算例を図５を用いて具体的に説明する。図５の（ａ）は、図３（ｂ）を用いて説明した正規化された５次元の特徴ベクトルｘ_ｉである。類似度を求める他の画像の正規化された特徴ベクトルｘ_ｊは、図５（ｂ）であるとする。図５（ｃ）では、図５（ａ）のベクトル要素と、図５（ｂ）のベクトル要素とを比較して、小さい方のベクトル要素を選択している。まず、特徴ベクトルｘ_ｉとｘ_ｊの最初のベクトル要素ｘ_ｉ１とｘ_ｊ１を比較して、小さい方のｘ_ｊ１（０．００）を選択している。次のベクトル要素ｘ_ｉ２とｘ_ｊ２を比較して、小さい方のｘ_ｉ２（０．１５）を選択している。次のベクトル要素ｘ_ｉ３とｘ_ｊ３を比較して小さい方のｘ_ｉ３（０．０７）を選択し、ｘ_ｉ４とｘ_ｊ４を比較して小さい方のｘ_ｊ４（０．２８）を選択し、ｘ_ｉ５とｘ_ｊ５を比較して小さい方のｘ_ｉ５（０．３７）を選択している。そして、図５（ｃ）の右端は、これらを累算した計算値（０．８７）をα乗した値を表している。図５（ｃ）では、α＝１の場合を例示しているので、（０．８７）がα＝１の場合の式（１７）で求めた値となる。
このように、学習部２３は、カーネルに式（１７）を用いて、５次元の特徴ベクトルｘ_ｉと５次元の特徴ベクトルｘ_ｊとから、ｋ（ｘ_ｉ、ｘ_ｊ）という２つの特徴ベクトル間の類似度を求めている。 A calculation example in which the learning unit 23 obtains the similarity from the five-dimensional feature vector using Equation (17) for the kernel will be specifically described using FIG. FIG. 5A is the normalized five-dimensional feature vector x _i described with reference to FIG. 3B. The normalized feature vector x _j of another image for which the degree of similarity is to be obtained is assumed to be as shown in FIG. In FIG. 5C, the vector element in FIG. 5A is compared with the vector element in FIG. 5B to select the smaller vector element. First, the smaller vector x _j1 (0.00) is selected by comparing the first vector elements x _i1 and x _j1 of the feature vector x _i and x _j . The next vector element x _i2 is compared with x _j2 to select the smaller x _i2 (0.15). Compare the next vector element x _i3 to x _j3 to select the smaller x _i3 (0.07), compare x _i4 to x _j4 to select the smaller x _j4 (0.28), The smaller x _i5 (0.37) is selected by comparing x _i5 and x _j5 . The right end of FIG. 5C represents a value obtained by multiplying the calculated value (0.87) obtained by accumulating these values by α. FIG. 5C exemplifies the case where α = 1, so (0.87) is the value obtained by the equation (17) where α = 1.
Thus, the learning unit 23 uses two kernels of k (x _i , x _j ) from the five-dimensional feature vector x _i and the five-dimensional feature vector x _j using equation (17) for the kernel. The similarity between the two is being sought.

ところで、図５（ｄ）は、図５（ａ）の特徴ベクトルの正規化された各要素の値を棒グラフで表したものである。図５（ｅ）は、図５（ｂ）の特徴ベクトルの正規化された各要素の値を棒グラフで表したものである。図５（ｆ）は、図５（ｄ）と図５（ｅ）とを重ね合わせて、両者の小さい方を黒くしてある。すなわち、黒い部分が、｛Σｍｉｎ（ｘ_ｉｋ，ｘ_ｊｋ）｝に該当する。この図からわかるように、｛Σｍｉｎ（ｘ_ｉｋ，ｘ_ｊｋ）｝は、特徴ベクトルｘ_ｉと特徴ベクトルｘ_ｊとの共通部分であるので、特徴ベクトル間の類似度（共通度）を表している。特徴ベクトルｘ_ｉと特徴ベクトルｘ_ｊとが近似しているほど重なり部分は増える。 FIG. 5 (d) is a bar graph representing values of normalized elements of the feature vector of FIG. 5 (a). FIG. 5 (e) is a bar graph showing the values of the normalized elements of the feature vector of FIG. 5 (b). In FIG. 5 (f), FIG. 5 (d) and FIG. 5 (e) are superimposed and the smaller one is blackened. That is, the black part corresponds to {Σmin (x _ik , x _jk )}. As can be seen from this figure, {Σmin (x _ik , x _jk )} is the common part of feature vector x _i and feature vector x _j, and therefore represents the similarity (commonality) between feature vectors . The overlapping portion increases as the feature vector x _i and the feature vector x _j approximate.

学習部２３が処理する式（１７）のべき乗パラメータαは、アルファの値を大きくすると、些細な情報を評価せず、αの値を小さくすると、些細な情報を強調して評価するという機能を有している。
ホクロがある顔について類似分類をする場合で説明すると、べき乗パラメータαを小さくすると、顔全体としては些細な要素であるホクロの存在が強調されて評価することになる。このため、ホクロの有無に関しては正確な分類ができていても、顔全体としてはそっくりな画像でありながらホクロが無い画像は非類似として分類される恐れもある。
学習部２３は、５次元の特徴ベクトルからカーネルに式（１７）を用いて２つの特徴ベクトルｘ_ｉとｘ_ｊとの類似度を求めている。そして、この各特徴ベクトル間の類似度を用いて次元拡張することすることによって特徴ベクトルを容易に分類できるようにしている。
以上で、学習部２３の機能説明を終了する。 The power parameter α of the equation (17) processed by the learning unit 23 does not evaluate the trivial information when the value of alpha is increased, and the function of emphasizing the trivial information and evaluation is performed when the value of α is decreased. Have.
Describing the case of similarity classification with respect to a certain face, if the power parameter α is reduced, the presence of the minor element which is a minor element in the face as a whole is emphasized and evaluated. For this reason, even if accurate classification can be made regarding the presence or absence of hokuro, there is a possibility that an image that is the same as the whole face but has no hokuro may be classified as non-similar.
The learning unit 23 obtains the degree of similarity between two feature vectors x _i and x _j using the equation (17) from the five-dimensional feature vector to the kernel. Then, feature vectors can be easily classified by performing dimensional expansion using the similarity between the feature vectors.
This is the end of the functional description of the learning unit 23.

次に、上記構成を有する情報分類装置１１の動作について説明する。情報分類装置１１が、未知の画像を分類するためには、未知の画像を分類するための分類面をあらかじめ情報分類装置１１に設定しておく必要がある。情報分類装置１１に分類面を設定するためには、分類が既知の学習用画像と分類が既知の試験用画像とを用いて分類面を構築する必要がある。
以下に、情報分類装置１１に分類面を設定するまでの処理の詳細について、図２に示す機能構成図と図７に示すフローチャート図を用いて説明する。図７に示す分類面の設定処理は、ＲＯＭ１６から非線形ＳＶＭ処理プログラムを読み出して、該プログラムの学習用機能をスタートすることにより開始する。 Next, the operation of the information classification device 11 having the above configuration will be described. In order for the information classification device 11 to classify unknown images, it is necessary to set in advance in the information classification device 11 a classification surface for classifying unknown images. In order to set a classification plane in the information classification device 11, it is necessary to construct a classification plane using a learning image of known classification and a test image of known classification.
Hereinafter, details of processing until the classification plane is set in the information classification device 11 will be described using the functional configuration diagram shown in FIG. 2 and the flowchart diagram shown in FIG. The classification surface setting process shown in FIG. 7 is started by reading the non-linear SVM processing program from the ROM 16 and starting the learning function of the program.

まず、ユーザは、入力部１２のキーボードを操作して、記憶部１５に格納されている学習用画像群と試験用画像群を取得部２１に供給する（ステップＳ１）。例えば、不特定多数の画像からＡ氏の画像とその他の画像とを分類する場合では、Ａ氏の画像群と不特定の人の多数の画像群とを学習用画像として、さらに、学習用画像とは異なる画像群を試験用画像として、記憶部１５から取得部２１に供給する。   First, the user operates the keyboard of the input unit 12 to supply the learning image group and the test image group stored in the storage unit 15 to the acquisition unit 21 (step S1). For example, in the case of classifying the image of Mr. A and the other images from a large number of unspecified images, the image group of Mr. A and a large number of images of unspecified people are used as learning images, Are supplied from the storage unit 15 to the acquisition unit 21 as a test image.

次に、ユーザは、分類誤りの許容度を示す正則化パラメータＣとカーネルのべき乗パラメータαの範囲を設定する（ステップＳ２）。以下の説明では、理解を容易にするために、正則化パラメータＣは、初期値をＣ１、最大値をＣｍ、変更倍率をＣｔとし、Ｃ１＝０．００１、Ｃｍ＝１０、Ｃｔ＝１０とする。また、べき乗パラメータαは、初期値をα１、最大値をαｎ、変更幅をαｓｔｅｐとし、α１＝０．１、αｎ＝２０、αｓｔｅｐ＝０．２とする。
学習部２３は、入力部１２から入力された各パラメータ値をＲＡＭ１７に格納する。あるいは、情報分類装置１１が保有する初期値として、ＲＯＭ１６もしくは記憶部１５に格納しておいてもよい。 Next, the user sets the range of the regularization parameter C indicating the tolerance of the classification error and the power parameter α of the kernel (step S2). In the following description, in order to facilitate understanding, the regularization parameter C has an initial value of C1, a maximum value of Cm, and a change magnification of Ct, where C1 = 0.001, Cm = 10, and Ct = 10. . The exponentiation parameter α has an initial value α1, a maximum value αn, and a change width αstep, and α1 = 0.1, αn = 20, and αstep = 0.2.
The learning unit 23 stores each parameter value input from the input unit 12 in the RAM 17. Alternatively, it may be stored in the ROM 16 or the storage unit 15 as an initial value held by the information classification device 11.

取得部２１として機能する制御部１８は、ＲＯＭ１６に格納されているＢｏｆプログラムを用いて、供給した学習用画像と試験用画像の各々を５×５のブロックに分割して各ブロックの色を判別し、色の頻度をベクトル要素として画像から特徴ベクトルを抽出し、ＲＡＭ１７に格納する（ステップＳ３）。取得した特徴ベクトルの一例は、図３（ｂ）の２行目に該当する。   The control unit 18 functioning as the acquisition unit 21 divides each of the supplied learning image and test image into 5 × 5 blocks using the Bof program stored in the ROM 16 and determines the color of each block Then, the feature vector is extracted from the image with the color frequency as a vector element, and stored in the RAM 17 (step S3). An example of the acquired feature vector corresponds to the second line in FIG.

正規化部２２は、抽出した各特徴ベクトルをそれ自身のＬ２ノルムで正規化する（ステップＳ４）。   The normalization unit 22 normalizes each extracted feature vector with its own L2 norm (step S4).

次に、学習部２３は、ステップＳ２で設定された正則化パラメータＣとべき乗パラメータαとの組み合わせを順次変えながら、学習用画像を分類するための分類面を構築していく。   Next, the learning unit 23 constructs a classification plane for classifying the learning image while sequentially changing the combination of the regularization parameter C and the exponentiation parameter α set in step S2.

まず、学習部２３は、最初の正則化パラメータＣとべき乗パラメータαとの組み合わせとして、（Ｃ、α）＝（Ｃ１、α１）＝（０．００１、０．１）を設定する（ステップＳ５、ステップＳ６）。
学習部２３は、学習用画像に対応する正規化された特徴ベクトルを、正則化パラメータＣで指定される分類誤りの許容範囲内で分類する分類面を構築する（ステップＳ７）。具体的には、学習部２３は、この分類面を構築する非線形ＳＶＭ処理プログラムの中でカーネルとして式（１７）を使用し、２つの学習用画像の正規化された５次元の特徴ベクトルから類似度を求めて式（１５）に代入する。学習用画像１００枚の中からＡ氏を分類するための分類面を構築する場合には、_１００Ｃ_２＝４９５０回この処理をおこなって、制約条件を満たしながら分類マージンを最大化する重みベクトルｍとバイアス項ｂを求め、Ａ氏を分類する分類面を表す式（２）を構築する。 First, the learning unit 23 sets (C, α) = (C1, α1) = (0.001, 0.1) as a combination of the first regularization parameter C and the exponentiation parameter α (step S5, Step S6).
The learning unit 23 constructs a classification surface that classifies the normalized feature vector corresponding to the learning image within the allowable range of the classification error specified by the regularization parameter C (step S7). Specifically, the learning unit 23 uses Equation (17) as a kernel in a non-linear SVM processing program that constructs this classification plane, and generates similarity from normalized five-dimensional feature vectors of two learning images. The degree is determined and substituted into equation (15). When constructing a classification surface for classifying Mr. A out of 100 learning images, this process is performed ₁₀₀ C ₂ = 4950 times to maximize the classification margin while satisfying the constraint condition weight vector m And the bias term b, and formula (2) representing a classification surface for classifying Mr. A is constructed.

次に、試験部２４は、構築された分類面を用いて、どのように分類すべきかが既知である試験用画像に対応する特徴ベクトルを分類する。ここでは、（Ｃ、α）＝（０．００１、０．１）に対応するステップＳ７で構築した分類面を用いて分類する。具体的には、試験部２４は、学習部２３が構築した重みベクトルｍとバイアス項ｂが確定している分類面を表す式（２）のｘに、試験用画像の正規化された特徴ベクトルを代入する。そして、ｙ＝１であれば、特徴ベクトルをグループＡ（Ａ氏の画像）に分類し、ｙ＝−１であれば特徴ベクトルをグループＢ（Ａ氏の画像ではない）に分類する。この分類を試験用画像が１００枚あれば１００回行う。そして、試験用画像はどのように分類すべきかが既知の画像であるので、試験部２４は、分類された試験用画像に対応する特徴ベクトルが分類されるべきグループに分類された割合を示す識別率（正しく分類された確率）を求め、分類面と対応づけてＲＡＭ１７に格納する（ステップＳ８）。   Next, the test unit 24 classifies the feature vector corresponding to the test image whose known way is to be classified, using the constructed classification surface. Here, classification is performed using the classification surface constructed in step S7 corresponding to (C, α) = (0.001, 0.1). Specifically, the test unit 24 normalizes the test image to x in Formula (2) representing the classification plane in which the weight vector m and the bias term b established by the learning unit 23 are determined. Assign. Then, if y = 1, the feature vector is classified into group A (image of Mr. A), and if y = −1, the feature vector is classified into group B (not the image of Mr. A). This classification is performed 100 times if there are 100 test images. Then, since the test image is an image known how to classify, the test unit 24 identifies the proportion of the feature vector corresponding to the classified test image classified into the group to be classified. The rate (probability of being correctly classified) is determined, and stored in the RAM 17 in association with the classification surface (step S8).

次に、学習部２３は、べき乗パラメータαの次の値について分類面を構築するために、αにαｓｔｅｐ（＝０．２）を加算して、α＝０．３とする（ステップＳ９）。
次に、学習部２３は、べき乗パラメータαが最大値αｎ以下であるかを判別する（ステップＳ１０）。ここでは、まだα＝０．３（＜２０）であるので（ステップＳ１０：Ｙｅｓ）、ステップＳ７の処理およびステップＳ８の処理を行い、２つ目の分類面と識別率とをＲＡＭ１７に格納する。 Next, the learning unit 23 adds αstep (= 0.2) to α to set α = 0.3 in order to construct a classification surface for the next value of the power parameter α (step S9).
Next, the learning unit 23 determines whether the exponentiation parameter α is equal to or less than the maximum value α n (step S10). Here, since α = 0.3 (<20) (step S10: Yes), the process of step S7 and the process of step S8 are performed, and the second classification plane and the identification rate are stored in the RAM 17 .

この処理を繰り返し、α＞αｎ（α＞２０）になると（ステップＳ１０：Ｎｏ）、処理はステップＳ１１に移行し、正則化パラメータＣの値を変えるために、Ｃ＝０．００１にＣｔ（＝１０）を掛け、Ｃ＝０．０１とする（ステップＳ１１）。
そして、正則化パラメータＣが最大値Ｃｍ以下（Ｃ≦１０）であるかを判別する（ステップＳ１２）。ここでは、まだ、Ｃ＝０．０１であるので、ステップＳ６に戻る（ステップＳ１２：Ｙｅｓ）。ステップＳ６で、α＝α１に再設定されるので、（Ｃ、α）＝（０．０１、０．１）として、ステップＳ７及びステップＳ８の処理を行い、構築した分類面と対応づけて識別率をＲＡＭ１７に格納する。 This process is repeated, and when α> α n (α> 20) (step S10: No), the process proceeds to step S11, and Ct is changed to C = 0.001 to change the value of the regularization parameter C. 10) to set C = 0.01 (step S11).
Then, it is determined whether the regularization parameter C is equal to or less than the maximum value Cm (C ≦ 10) (step S12). Here, since C = 0.01, the process returns to step S6 (step S12: Yes). Since α is reset to α1 in step S6, the processing in steps S7 and S8 is performed as (C, α) = (0.01, 0.1), and the classification surface is identified and identified. The rate is stored in the RAM 17.

Ｃ＝０．０１に対して、α＝０．１〜２０までの処理が終了すると（ステップＳ１０：Ｎｏ）、ＣにＣｔを掛け（ステップＳ１１）、正則化パラメータＣが最大値Ｃｍ以下かを判別する（ステップＳ１２）。この処理をＣ＞Ｃｍが成立するまで繰りし、Ｃ＞Ｃｍ（Ｃ＞１０）が成立すると（ステップＳ１２：Ｎｏ）、ステップＳ１３に移行する。   When the processing to α = 0.1 to 20 is completed with respect to C = 0.01 (step S10: No), C is multiplied by Ct (step S11) to determine whether the regularization parameter C is the maximum value Cm or less It discriminates (step S12). This process is repeated until C> Cm is established, and when C> Cm (C> 10) is established (step S12: No), the process proceeds to step S13.

選択部２５は、試験部２４で分類面に対応して求めた識別率を降順にソートし、最も高い識別率に対応づけられている分類面を選択する。設定部２６は、情報分類装置１１の分類部２７に実装されている非線形ＳＶＭに選択された分類面を設定し（ステップＳ１３）、情報分類装置１１に対する分類面の設定処理を終了する。以上で情報分類装置１１に分類面を設定する処理は終了した。   The selection unit 25 sorts the identification rates obtained corresponding to the classification planes in the test unit 24 in descending order, and selects the classification plane associated with the highest identification rate. The setting unit 26 sets the selected classification plane to the nonlinear SVM implemented in the classification unit 27 of the information classification device 11 (step S13), and ends the process of setting the classification surface to the information classification device 11. Thus, the process of setting the classification plane in the information classification device 11 is completed.

情報分類装置１１に分類面を設定する処理が終了したので、ユーザは、以上の設定処理が終了した情報分類装置１１を用いて、どのように分類すべきかが未知の画像を分類する。ユーザは、非線形ＳＶＭ処理プログラムの情報分類機能をスタートさせ、入力部１２から分類が未知の分類対象画像を指定し、取得部２１に供給する。取得部２１は未知の分類対象画像に対応する特徴ベクトルを抽出し、正規化部２２は特徴ベクトルを正規化し、分類部２７に供給する。分類部２７は、ステップ１３で分類面を設定された非線形ＳＶＭを用いて、この正規化された未知の分類対象画像に対応する特徴ベクトルを分類する。
具体的には、選択された分類面を表す関数式（２）に、分類対象画像に対応する正規化された特徴ベクトルを代入して、分類対象画像をグループＡかグループＢかに分類する。この例では、Ａ氏を分類するための分類面を設定しているので、Ａ氏の画像群とその他の人の画像群とを分類対象画像群として入力し、その分類対象画像群からＡ氏の画像をグループＡとして分類する。以上で、情報分類装置１１が分類対象画像を分類する説明を終了する。 Since the process of setting the classification plane in the information classification device 11 is completed, the user uses the information classification device 11 in which the above setting process is completed to classify an unknown image as to how to classify. The user starts the information classification function of the non-linear SVM processing program, designates the classification target image whose classification is unknown from the input unit 12, and supplies it to the acquisition unit 21. The acquisition unit 21 extracts a feature vector corresponding to an unknown classification target image, the normalization unit 22 normalizes the feature vector, and supplies the normalized feature vector to the classification unit 27. The classification unit 27 classifies the feature vector corresponding to the normalized unknown classification target image using the non-linear SVM for which the classification plane is set in step 13.
Specifically, the classification target image is classified into group A or group B by substituting the normalized feature vector corresponding to the classification target image into the functional expression (2) representing the selected classification surface. In this example, since the classification surface for classifying Mr. A is set, the image group of Mr. A and the image group of other people are input as a classification target image group, and the classification target image group is input from Mr. A The image of is classified as group A. This is the end of the description of the information classification device 11 classifying the classification target image.

以上説明したように、本実施形態で説明したカーネルに使用する式（１７）のべき乗計算の処理回数は、特徴ベクトルの要素の数が増えても１回のみである。これに対して、非特許文献１が開示する式（１８）のカーネルでは、特徴ベクトルの要素の数Ｋが増えると、べき乗計算の処理回数も増加する。

本実施形態に用いるカーネルを用いた場合のべき乗計算の処理回数と、非特許文献１が開示するカーネルを用いた場合のべき乗計算の処理回数とを図８で比較する。本実施形態では、特徴ベクトルの要素数が５の場合で説明したが、人の画像を分類する場合には、目・鼻・口・耳などの色や形状や角度などの様々な情報をベクトル要素としている。分類精度を上げるためには、特徴ベクトルの要素の数を増やす必要がある。このように、特徴ベクトルの要素数が大きくなるほど、式（１７）をカーネルに使用する本実施形態に係る情報分類装置１１のべき乗計算処理の負荷は、従来技術に比べると相対的に著しく軽くなる。 As described above, the number of times of processing of the exponentiation calculation of Expression (17) used for the kernel described in this embodiment is only once even if the number of elements of the feature vector increases. On the other hand, in the kernel of equation (18) disclosed in Non-Patent Document 1, as the number K of elements of the feature vector increases, the number of times of processing of the power calculation also increases.

The number of times of processing of the exponentiation when using the kernel used in the present embodiment and the number of times of processing of the exponentiation when using the kernel disclosed in Non-Patent Document 1 are compared in FIG. In the present embodiment, the case where the number of elements of the feature vector is five has been described, but when classifying a human image, various information such as colors, shapes, angles, etc. of eyes, nose, mouth, ears etc. It is an element. In order to improve classification accuracy, it is necessary to increase the number of elements of the feature vector. As described above, as the number of elements of the feature vector increases, the load of the power calculation process of the information classification device 11 according to the present embodiment using Equation (17) for the kernel becomes relatively lighter compared to the prior art. .

また、本実施形態で説明したカーネルに使用する式（１７）はべき乗項を有しているので、式（１７）を用いた分類装置は、従来技術が開示する式（１８）と同じようにべき乗パラメータαを調整することにより分類面を構築する選択肢を増やすことができる。式（１７）を用いた情報分類装置は、このべき乗パラメータによる効果を有しながら、べき乗計算の処理負荷を軽くすることができる。したがって、本実施形態を用いることによって、分類精度が高く、特徴ベクトルの要素の数が増加してもカーネルのべき乗計算の処理負荷が小さい情報分類装置、情報分類装置の設定方法およびプログラムを提供することができる。   Further, since the equation (17) used for the kernel described in the present embodiment has a power term, the classification apparatus using the equation (17) is the same as the equation (18) disclosed in the prior art. By adjusting the power parameter α, it is possible to increase the options for constructing the classification surface. The information classification device using the equation (17) can reduce the processing load of the exponentiation calculation while having an effect by the exponentiation parameter. Therefore, by using the present embodiment, an information classification device having high classification accuracy and small processing load of kernel power calculation even if the number of elements of feature vectors increases is provided, and a setting method and program of the information classification device be able to.

（実施形態２）
実施形態１では、非線形ＳＶＭの分類面を設定する設定機能と未知の画像を分類する機能とが一体の装置に実装されている場合について説明したが、本発明はこれには限定されない。特徴ベクトル間の類似度のべき乗値をカーネルに用いて分類面を構築する設定装置、および、該設定装置により構築された分類面を用いて情報を分類する情報分類装置であれば、本発明を適用することができる。他の実施形態として、実施形態２では、非線形ＳＶＭの分類面を設定する機能と未知の画像を分類する機能とが別装置に実装されている場合について説明する。
なお、図中同一又は相当する部分には同じ符号を付す。 Second Embodiment
The first embodiment has described the case where the setting function for setting the classification surface of the nonlinear SVM and the function for classifying an unknown image are implemented in an integrated device, but the present invention is not limited to this. The present invention is applicable to a setting device that constructs a classification surface using a power of similarity between feature vectors as a kernel, and an information classification device that classifies information using the classification surface constructed by the setting device. It can apply. As another embodiment, in the second embodiment, the case where the function of setting the classification surface of the nonlinear SVM and the function of classifying an unknown image are implemented in different devices will be described.
In the drawings, the same or corresponding parts are denoted by the same reference numerals.

本発明の実施形態に係る非線形ＳＶＭの分類面を設定する設定装置１１Ａの機能構成図を図９に示す。設定装置１１Ａによって分類面を設定された本発明の実施形態に係る情報分類装置１１Ｂの機能構成図を図１０に示す。
設定装置１１Ａと情報識別装置１１Ｂのハード構成については、実施形態１で図１を用いて説明した構成と同じでよい。 A functional configuration diagram of the setting device 11A for setting the classification surface of the non-linear SVM according to the embodiment of the present invention is shown in FIG. A functional block diagram of an information classification device 11B according to an embodiment of the present invention, the classification surface of which is set by the setting device 11A, is shown in FIG.
The hardware configuration of the setting device 11A and the information identification device 11B may be the same as the configuration described using FIG. 1 in the first embodiment.

本実施形態に係る設定装置１１Ａの機能構成について、実施形態１との差を中心に、図９を用いて説明する。
実施形態１に係る情報分類装置１１と実施形態２に係る設定装置１１Ａとの差は、設定装置１１Ａが分類部２７を有しない点である。すなわち、本実施形態２に係る設定装置１１Ａは、識別率が最も高い分類面の選択までを行い、選択した分類面を図１０に示す情報分類装置１１Ｂに設定する。これに伴って、設定装置１１Ａの入力部１２では、どのように分類すべきかが未知である分類対象画像の入力指示は行わない。 The functional configuration of the setting device 11A according to the present embodiment will be described with reference to FIG. 9, focusing on the difference from the first embodiment.
The difference between the information classification device 11 according to the first embodiment and the setting device 11A according to the second embodiment is that the setting device 11A does not have the classification unit 27. That is, the setting device 11A according to the second embodiment selects the classification surface having the highest identification rate, and sets the selected classification surface in the information classification device 11B shown in FIG. Along with this, the input unit 12 of the setting device 11A does not issue an instruction to input a classification target image whose method of classification is unknown.

まず、設定装置１１Ａにおいて分類面を構築する処理を行うために、既知の学習用画像と既知の試験用画像とを取得部２１に供給する。取得部２１は、Ｂｏｆプログラムを用いて学習用画像群と試験用画像群とから特徴ベクトルを抽出して、正規化部２２に供給する。正規化部２２は、特徴ベクトルをＬ２ノルムで正規化する。
学習部２３は、登載されている非線形ＳＶＭのカーネルに式（１７）を用いて、学習用画像の正規化された特徴ベクトルを分類するための分類面を分類マージンが最大になるように構築する。学習部２３は、この分類面を正則化パラメータＣとべき乗パラメータαとの組み合わせごとに構築する。試験部２４は、学習部２３で構築した分類面を用いて、既知である試験用画像に対応する特徴ベクトルを分類する。そして、試験部２４は、学習部２３で構築した複数の分類面の各々に対して識別率を求める。
選択部２５は、試験部２４で分類面ごとに求めた識別率の中で、最も識別率が高かった分類面を選択する。設定部２６は、選択部２５で選択した識別率が最も高い分類面を記憶部１５に格納する。もしくは、入出力Ｉ／Ｆ部１４からＵＳＢメモリ等の記録媒体に選択された分類面に関する情報を出力する。もしくは、設定装置１１Ａの入出力Ｉ／Ｆ部１４と図１０に示す情報分類装置１１Ｂの入出力Ｉ／Ｆ部１４とを接続して、設定装置１１Ａから選択された分類面を情報分類装置１１Ｂに実装されている非線形ＳＶＭに設定してもよい。 First, a known learning image and a known test image are supplied to the acquiring unit 21 in order to perform processing of constructing a classification plane in the setting device 11A. The acquisition unit 21 extracts a feature vector from the learning image group and the test image group using the Bof program, and supplies the feature vector to the normalization unit 22. The normalization unit 22 normalizes the feature vector with the L2 norm.
The learning unit 23 constructs a classification plane for classifying the normalized feature vector of the learning image so as to maximize the classification margin, using the equation (17) for the kernel of the nonlinear SVM registered. . The learning unit 23 constructs this classification plane for each combination of the regularization parameter C and the power parameter α. The test unit 24 classifies a feature vector corresponding to a known test image using the classification surface constructed by the learning unit 23. Then, the test unit 24 obtains an identification rate for each of the plurality of classification planes constructed by the learning unit 23.
The selection unit 25 selects the classification plane having the highest discrimination rate among the discrimination rates obtained for each classification plane in the test unit 24. The setting unit 26 stores, in the storage unit 15, the classification surface having the highest discrimination rate selected by the selection unit 25. Alternatively, the input / output I / F unit 14 outputs information on the selected classification surface to a recording medium such as a USB memory. Alternatively, by connecting the input / output I / F unit 14 of the setting device 11A and the input / output I / F unit 14 of the information classification device 11B shown in FIG. 10, the classification surface selected from the setting device 11A can be used as the information classification device 11B. It may be set to the nonlinear SVM implemented in.

次に、本実施形態に係る情報分類装置１１Ｂの機能構成について、実施形態１との差を中心に、図１０を用いて説明する。
実施形態１に係る情報分類装置１１と実施形態２に係る情報分類装置１１Ｂとの差は、情報分類装置１１Ｂが、学習部２３、試験部２４、選択部２５、設定部２６を有しない点である。すなわち、本実施形態２に係る情報分類装置１１Ｂは、設定装置１１Ａで選択した分類面を設定された未知の画像を分類する情報分類装置である。 Next, the functional configuration of the information classification device 11B according to the present embodiment will be described with reference to FIG. 10, focusing on the difference from the first embodiment.
The difference between the information classification device 11 according to the first embodiment and the information classification device 11B according to the second embodiment is that the information classification device 11B does not have the learning unit 23, the test unit 24, the selection unit 25, and the setting unit 26. is there. That is, the information classification device 11B according to the second embodiment is an information classification device that classifies an unknown image in which the classification plane selected by the setting device 11A is set.

まず、ユーザは、入力部１２のキーボードを操作して、記憶部１５に格納されている分類が未知の分類対象画像を取得部２１に供給する。取得部２１は、Ｂｏｆプログラムを用いて分類対象画像から特徴ベクトルを抽出して、正規化部２２に供給する。正規化部２２は、特徴ベクトルをＬ２ノルムで正規化し、分類部２７に供給する。分類部２７は、分類面を設定された非線形ＳＶＭを用いて、分類対象画像に対応する特徴ベクトルを分類する。
具体的には、分類部２７は、設定された分類面を表す関数式（２）に、分類対象画像に対応する正規化された特徴ベクトルを代入して、分類対象画像をグループＡかグループＢかに分類する。この例では、Ａ氏を分類するための分類面を設定しているので、Ａ氏の画像群とその他の人の画像群とを分類対象画像群として入力し、その分類対象画像群からＡ氏の画像をグループＡとして分類する。 First, the user operates the keyboard of the input unit 12 to supply the acquisition unit 21 with a classification target image whose classification is unknown stored in the storage unit 15. The acquisition unit 21 extracts a feature vector from the classification target image using the Bof program, and supplies the feature vector to the normalization unit 22. The normalization unit 22 normalizes the feature vector with the L2 norm, and supplies the normalized feature vector to the classification unit 27. The classification unit 27 classifies the feature vector corresponding to the classification target image using the non-linear SVM in which the classification plane is set.
Specifically, the classification unit 27 substitutes the normalized feature vector corresponding to the classification target image into the functional expression (2) representing the set classification surface, and sets the classification target image to the group A or the group B. Categorize. In this example, since the classification surface for classifying Mr. A is set, the image group of Mr. A and the image group of other people are input as a classification target image group, and the classification target image group is input from Mr. A The image of is classified as group A.

設定装置１１Ａにおいて、情報分類装置１１Ｂの分類部２７に設定する分類面を選択するまでの処理については、図７に示すフローチャート図と同じである。   The process until the classification surface to be set in the classification unit 27 of the information classification device 11B is selected in the setting device 11A is the same as the flowchart shown in FIG.

以上に説明したように、実施形態２では、分類面を設定する機能と未知の情報を分類する機能とを別装置に実装している。したがって、分類面の構築処理を必要としない情報分類装置１１Ｂの処理負荷を軽くできる。また、情報分類装置１１Ｂの記憶部１５やＲＡＭ１７に学習用画像と試験用画像の情報を記憶する必要がないので、メモリ量を削減することができる。このように、情報分類装置１１Ｂの処理負荷を軽くすることにより、情報分類装置１１Ｂを安価に製造することができる。   As described above, in the second embodiment, the function of setting the classification plane and the function of classifying unknown information are implemented in separate apparatuses. Therefore, the processing load of the information classification device 11B that does not require the classification surface construction process can be reduced. Further, since it is not necessary to store the information for the learning image and the test image in the storage unit 15 or the RAM 17 of the information classification device 11B, the memory amount can be reduced. Thus, the information classification device 11B can be manufactured inexpensively by reducing the processing load of the information classification device 11B.

また、実施形態２では、設定装置１１Ａで選択した分類面を記憶媒体等を介して情報分類装置１１Ｂに設定する場合について説明したが、設定装置１１Ａで選択した分類面をインターネット等の通信ネットワーク上のサーバ装置内の記憶部に格納しておき、情報分類装置１１Ｂにダウンロードできるようにしてもよい。
また、実施形態２では、未知の分類対象画像が記憶部１５に格納されているとして説明したが、未知の分類対象画像は、インターネット等の通信ネットワークを介して供給するようにしてもよい。 In the second embodiment, the classification surface selected by the setting device 11A is set in the information classification device 11B via a storage medium or the like. However, the classification surface selected by the setting device 11A is on the communication network such as the Internet It may be stored in a storage unit in the server device of the above, and may be downloaded to the information classification device 11B.
In the second embodiment, the unknown classification target image is described as being stored in the storage unit 15. However, the unknown classification target image may be supplied via a communication network such as the Internet.

（変形例）
以上の実施形態では、特徴ベクトル間の関係を求めるカーネルとして、特徴ベクトル間の類似度を求める式（１７）を用いる場合について説明した。しかし、類似度を求める式はこれに限定されることはない。例えば、特徴ベクトル間の差分を求める式（１９）を使用することもできる。

(Modification)
In the above embodiment, the case where equation (17) for finding the similarity between feature vectors is used as a kernel for finding the relationship between feature vectors has been described. However, the equation for obtaining the degree of similarity is not limited to this. For example, equation (19) for determining the difference between feature vectors can also be used.

また、類似度を求める式として、特徴ベクトルの比率を求める式、例えば、式（２０）を使用することもできる。

式（２０）で求めた計算値は、特徴ベクトルｘｉと特徴ベクトルｘ_ｊとの類似度が高くなるほど１に近づく。 Further, as a formula for finding the degree of similarity, it is also possible to use a formula for finding the ratio of feature vectors, for example, formula (20).

The calculated value obtained by equation (20) approaches 1 as the degree of similarity between the feature vector xi and the feature vector x _j increases.

このように、特徴ベクトル間の類似度を求める計算式であれば、他の計算式をカーネルとして使用してもよい。   As described above, any other equation may be used as a kernel as long as the equation can be used to determine the similarity between feature vectors.

なお、実施形態の説明では、本発明に係る情報分類装置を画像の分類装置として使用した場合について説明したが、本発明の用途は画像の分類の他にも様々な情報の分類にも使用できる。例えば、音楽をワルツか否かで分類するとか、長調と短調で分類することもできる。その他の応用でも、情報から特徴ベクトルを抽出して情報分類装置を用いて分類する場合には、本発明を適用できる。   Although the information classification apparatus according to the present invention is used as an image classification apparatus in the description of the embodiment, the application of the present invention can be used for classification of various information in addition to image classification. . For example, music can be classified as waltz or not, or major and minor. The present invention can also be applied to other applications where feature vectors are extracted from information and classified using an information classification device.

また、本実施形態において図７を用いて、正則化パラメータＣとべき乗パラメータαとの１つの組み合わせを設定するごとに、学習工程と試験工程とを行うフローチャートについて説明した。しかし、正則化パラメータＣとべき乗パラメータαとの全ての組み合わせについて学習工程を終了した後に、構築した分類面の全てについて試験工程を行うフローチャートとしてもよい。   Further, in the present embodiment, a flowchart for performing the learning step and the test step every time one combination of the regularization parameter C and the exponentiation parameter α is set is described using FIG. 7. However, after completing the learning process for all combinations of the regularization parameter C and the power parameter α, the test process may be performed on all of the constructed classification planes.

また、本実施形態で用いたパラメータの値は、発明を説明するための例示であり、実施形態で用いたパラメータ値は発明の権利範囲には影響しない。
また、上述の実施形態では、正則化パラメータＣとべき乗パラメータαとを一定のルールで変化させた場合について説明したが、変更ルールが一定ではない複数のパラメータ値を記憶部１５に格納しておき、それを順次読み出して使用しても良い。例えば、正則化パラメータＣとべき乗パラメータαとをランダムに生成してもよい。また、正則化パラメータＣとべき乗パラメータαとの何れか一方を固定して使用することもできる。 Further, the values of the parameters used in the present embodiment are examples for describing the invention, and the parameter values used in the embodiment do not affect the scope of the invention.
In the above embodiment, although the regularization parameter C and the exponentiation parameter α are changed according to a certain rule, a plurality of parameter values whose change rules are not constant are stored in the storage unit 15 , May be read out sequentially and used. For example, the regularization parameter C and the exponentiation parameter α may be generated randomly. Alternatively, one of the regularization parameter C and the exponentiation parameter α may be fixed and used.

また、本発明に係る制御部１８が実現する各種機能は、専用システムによらず、通常のコンピュータシステムを用いても実現可能である。例えば、プログラムをフレキシブルディスクやＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納し、そのプログラムをコンピュータに格納することにより、上記の各部の機能を実現できるコンピュータを構成してもよい。
また、インターネット等の通信ネットワークに接続されたサーバ装置にプログラムを格納しておき、例えば、コンピュータがプログラムをダウンロードをすることができるようにしてもよい。 Further, various functions realized by the control unit 18 according to the present invention can be realized not only by a dedicated system but also by using a normal computer system. For example, by storing a program in a computer-readable recording medium such as a flexible disk, a compact disc read only memory (CD-ROM), a USB memory, etc. and storing the program in a computer, the functions of the above-described portions can be realized. You may configure a computer.
Further, the program may be stored in a server apparatus connected to a communication network such as the Internet so that, for example, the computer can download the program.

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。   Although the preferred embodiments of the present invention have been described above, the present invention is not limited to the specific embodiments, and the present invention includes the invention described in the claims and the equivalents thereof. included. The invention described in the claims at the beginning of the present application is appended below.

（付記１）
分類が既知の複数の学習用情報を入力する入力手段と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段と、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段と、
を備える設定装置。 (Supplementary Note 1)
An input unit for inputting a plurality of learning information whose classification is known;
Acquisition means for acquiring feature vectors corresponding to each of the learning information;
Learning means for constructing a classification surface for classifying the learning information on the basis of the power of similarity between feature vectors;
Setting means for setting the classification surface constructed by the learning means in the information classification device;
Configuration device comprising:

（付記２）
前記入力手段は、さらに、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力し、
前記取得手段は、前記試験用情報から各々に対応する特徴ベクトルを取得し、
前記学習手段は、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、複数の分類面を構築し、
さらに、前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、
を備えることを特徴とする付記１に記載の設定装置。 (Supplementary Note 2)
The input means further includes a plurality of test information of known classification, a plurality of regularization parameters indicating tolerance of misclassification of the learning information, and a plurality of power parameters for raising the similarity between feature vectors. And enter
The acquisition means acquires feature vectors respectively corresponding to the test information,
The learning means constructs a plurality of classification planes for each combination of the regularization parameter and the exponentiation parameter,
Furthermore, one of a plurality of classification planes constructed by the learning means is selected, a feature vector corresponding to the test information prepared by the acquiring means is classified, and a feature vector corresponding to the test information is classified Determining the identification rate representing the proportion classified into the known classification state to be performed, and further updating the selected classification surface sequentially and performing the test a plurality of times;
Selection means for selecting a classification surface having the highest identification rate obtained by the test means;
The setting device according to claim 1, further comprising:

（付記３）
前記取得手段は、前記学習用情報と前記試験用情報とから、Ｂｏｆ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ）により情報の特徴を定量化した特徴ベクトルを取得し、
さらに、取得した特徴ベクトルをＬ２ノルムで正規化を行なう正規化手段を備え、
前記学習手段は、前記正規化手段により正規化された特徴ベクトルを分類するための複数の分類面を構築する、
ことを特徴とする付記２に記載の設定装置。 (Supplementary Note 3)
The acquisition means acquires a feature vector which quantifies features of information by Bof (Bag of Features) from the information for learning and the information for test.
And a normalization means for normalizing the acquired feature vector with L2 norm,
The learning means constructs a plurality of classification planes for classifying the feature vectors normalized by the normalization means.
The setting device according to appendix 2, characterized in that

（付記４）
付記１乃至３の何れかに記載の設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
を備える情報分類装置。 (Supplementary Note 4)
An information classification unit that classifies unknown information different from the learning information and the test information according to the classification surface constructed by the setting device according to any one of appendices 1 to 3;
An information classification device comprising:

（付記５）
分類が既知の複数の学習用情報を入力する入力工程と、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得工程と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習工程と、
前記学習工程で構築した分類面を情報分類装置に設定する設定工程と、
を含む設定装置の分類面設定方法。 (Supplementary Note 5)
An input step of inputting a plurality of learning information whose classification is known;
An acquisition step of acquiring feature vectors corresponding to each of the learning information;
A learning step of constructing a classification surface for classifying the information for learning based on a power value of similarity between feature vectors;
A setting step of setting the classification surface constructed in the learning step in the information classification device;
Classification plane setting method of setting device including.

（付記６）
付記５に記載の設定装置の分類面設定方法によって設定された分類面に従って、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類工程、
を含む情報分類装置の情報分類方法。 (Supplementary Note 6)
An information classification step of classifying unknown information different from the learning information and the test information according to the classification surface set by the classification surface setting method of the setting device as set forth in appendix 5;
And an information classification method of the information classification device.

（付記７）
コンピュータを、
分類が既知の複数の学習用情報を入力する入力手段、
前記学習用情報から各々に対応する特徴ベクトルを取得する取得手段、
特徴ベクトル間の類似度のべき乗値に基づいて、前記学習用情報を分類する分類面を構築する学習手段、
前記学習手段で構築した分類面を情報分類装置に設定する設定手段、
として機能させるためのプログラム。 (Appendix 7)
Computer,
Input means for inputting a plurality of learning information of known classification;
Acquisition means for acquiring feature vectors corresponding to each of the learning information;
Learning means for constructing a classification surface for classifying the learning information based on a power of similarity between feature vectors;
Setting means for setting the classification plane constructed by the learning means in the information classification device;
Program to function as.

（付記８）
コンピュータを、
付記７に記載のプログラムの実行により設定された分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
として機能させるためのプログラム。 (Supplementary Note 8)
Computer,
An information classification unit that classifies unknown information different from the learning information and the test information according to the classification surface set by the execution of the program described in the supplementary note 7;
Program to function as.

１１…情報分類装置、１１Ａ…設定装置、１１Ｂ…情報分類装置、１２…入力部、１３…表示部、１４…入出力Ｉ／Ｆ、１５…記憶部、１６…ＲＯＭ、１７…ＲＡＭ、１８…制御部、２１…取得部、２２…正規化部、２３…学習部、２４…試験部、２５…選択部、２６…設定部、２７…分類部 11: Information classification device, 11A: Setting device, 11B: Information classification device, 12: Input unit, 13: Display unit, 14: Input / output I / F, 15: Storage unit, 16: ROM, 17: RAM, 18: Control part, 21 ... acquisition part, 22 ... normalization part, 23 ... learning part, 24 ... test part, 25 ... selection part, 26 ... setting part, 27 ... classification part

Claims (7)

分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力手段と、
前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得手段と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習手段と、
前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段と、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段と、
前記選択手段により選択された分類面を情報分類装置に設定する設定手段と、
を備える設定装置。 A plurality of learning information having a known classification, a plurality of test information having a known classification, a plurality of regularization parameters indicating tolerance of misclassification of the learning information, and a power of similarity between feature vectors Input means for inputting a plurality of power parameters ,
Acquisition means for acquiring feature vectors respectively corresponding to the learning information and the test information ;
Learning means for constructing a plurality of classification planes for classifying the learning information for each combination of the regularization parameter and the exponentiation parameter based on the power of the similarity between feature vectors;
One of a plurality of classification planes constructed by the learning means is selected, a feature vector corresponding to the test information prepared by the acquiring means is classified, and a feature vector corresponding to the test information is classified Testing means for determining a classification rate representing the rate of classification into known classification states, and further updating the selected classification surface sequentially and performing the process multiple times;
Selection means for selecting a classification surface having the highest identification rate obtained by the test means;
Setting means for setting the classification surface selected by the selection means in the information classification device;
Configuration device comprising: 前記取得手段は、前記学習用情報と前記試験用情報とから、Ｂｏｆ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅｓ）により情報の特徴を定量化した特徴ベクトルを取得し、
さらに、取得した特徴ベクトルをＬ２ノルムで正規化を行なう正規化手段を備え、
前記学習手段は、前記正規化手段により正規化された特徴ベクトルを分類するための複数の分類面を構築する、
ことを特徴とする請求項１に記載の設定装置。 The acquisition means acquires a feature vector which quantifies features of information by Bof (Bag of Features) from the information for learning and the information for test.
And a normalization means for normalizing the acquired feature vector with L2 norm,
The learning means constructs a plurality of classification planes for classifying the feature vectors normalized by the normalization means.
Setting device according to claim 1, characterized in that. 請求項１又は２に記載の設定装置が構築した分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
を備える情報分類装置。 An information classification unit that classifies unknown information different from the learning information and the test information according to the classification surface constructed by the setting device according to claim 1 or 2 .
An information classification device comprising: 分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力工程と、
前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得工程と、
特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習工程と、
前記学習工程で構築した複数の分類面のうちの１つを選定して取得工程で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験工程と、
前記試験工程で求めた識別率が最も高い分類面を選択する選択工程と、
前記選択工程により選択された分類面を情報分類装置に設定する設定工程と、
を含む設定装置の分類面設定方法。 A plurality of learning information having a known classification, a plurality of test information having a known classification, a plurality of regularization parameters indicating tolerance of misclassification of the learning information, and a power of similarity between feature vectors An input step of inputting a plurality of power parameters ;
An acquiring step of acquiring feature vectors respectively corresponding to the learning information and the test information ;
A learning step of constructing a plurality of classification planes for classifying the learning information for each combination of the regularization parameter and the exponentiation parameter based on the power of the similarity between feature vectors;
One of a plurality of classification planes constructed in the learning step is selected, a feature vector corresponding to the test information generated in the acquisition step is classified, and a feature vector corresponding to the test information is classified A test process in which a classification rate representing a ratio classified into a known classification state is determined, and a classification surface to be selected is sequentially updated and performed a plurality of times;
A selection step of selecting a classification surface having the highest identification rate obtained in the test step;
A setting step of setting the classification surface selected by the selection step in the information classification device;
Classification plane setting method of setting device including. 請求項４に記載の設定装置の分類面設定方法によって設定された分類面に従って、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類工程、
を含む情報分類装置の情報分類方法。 An information classification step of classifying unknown information different from the learning information and the test information according to the classification surface set by the classification surface setting method of the setting device according to claim 4 ;
And an information classification method of the information classification device. コンピュータを、
分類が既知の複数の学習用情報と、分類が既知の複数の試験用情報と、前記学習用情報の誤分類の許容度を示す複数の正則化パラメータと、特徴ベクトル間の類似度をべき乗する複数のべき乗パラメータと、を入力する入力手段、
前記学習用情報と前記試験用情報から各々に対応する特徴ベクトルを取得する取得手段、
特徴ベクトル間の類似度のべき乗値に基づいて、前記正則化パラメータと前記べき乗パラメータとの組み合わせごとに、前記学習用情報を分類する複数の分類面を構築する学習手段、
前記学習手段で構築した複数の分類面のうちの１つを選定して取得手段で作成した前記試験用情報に対応する特徴ベクトルを分類し、前記試験用情報に対応する特徴ベクトルが分類されるべき既知の分類状態に分類された割合を表す識別率を求め、さらに、選定する分類面を順次更新して複数回行う試験手段、
前記試験手段で求めた識別率が最も高い分類面を選択する選択手段、
前記選択手段により選択された分類面を情報分類装置に設定する設定手段、
として機能させるためのプログラム。 Computer,
A plurality of learning information having a known classification, a plurality of test information having a known classification, a plurality of regularization parameters indicating tolerance of misclassification of the learning information, and a power of similarity between feature vectors Input means for inputting a plurality of power parameters ,
Acquisition means for acquiring feature vectors respectively corresponding to the learning information and the test information ;
Learning means for constructing a plurality of classification planes for classifying the learning information for each combination of the regularization parameter and the exponentiation parameter based on the power of the similarity between feature vectors;
One of a plurality of classification planes constructed by the learning means is selected, a feature vector corresponding to the test information prepared by the acquiring means is classified, and a feature vector corresponding to the test information is classified A test means for determining a classification rate representing the proportion classified into the known classification state, and further updating the selected classification surface sequentially and performing the process multiple times,
Selection means for selecting a classification surface having the highest discrimination rate obtained by the test means,
Setting means for setting the classification surface selected by the selection means in the information classification device;
Program to function as. コンピュータを、
請求項６に記載のプログラムの実行により設定された分類面にしたがって、学習用情報と試験用情報とは異なる未知の情報を分類する情報分類手段、
として機能させるためのプログラム。 Computer,
An information classification unit that classifies unknown information different from the learning information and the test information according to the classification surface set by the execution of the program according to claim 6 .
Program to function as.

Images