KR101480221B1 - A feature extraction method and system for reducing complexity with linear discriminant analtsys - Google Patents

Abstract

본 발명의 일실시예는 선형 판별 분석을 이용하여 특징을 추출하는 데에 복잡도를 줄이는 방법과 그 시스템에 관한 것이다. 특징 추출기의 복잡도를 줄이는 방법에 있어서, 부류의 개수가 c일 때 일대다 방법을 이용하여 표식 벡터를 c개의 두 부류 표식 벡터로 나누는 (부류의 개수가 2일 때는 한 개의 두 부류 표식 벡터) (1) 단계; 특징 추출기의 자료 행렬을 이용하여 문제 행렬

을 계산하는 (2) 단계; 문제 행렬

을 이용하여 변형 행렬

을 계산하는 (3) 단계-μ_H는 자료 행렬로부터 적절히 정할 수 있는 양수이고 N은 1이상의 정수이며, 1_NxN은 모든 원소가 1인 NxN의 행렬임-; 촐레스키(Cholesky) 분해를 이용하여 변형 행렬

을

으로 분해하는 (4) 단계; 두 부류 표식 벡터로부터 에르미트 벡터(Hermitian Vector)

을 계산하는 (5) 단계; 기분해 벡터

을 이용하여 j번째 부류의 최적해

를 획득하는 (6) 단계; 최적해

를 이용하여 j번째 부류의 선형 판별 벡터

를 계산하는 (7) 단계; 및 특징 추출기의 바이어스를 계산하는 (8) 단계를 포함하는 특징 추출기의 특징 추출 방법이 제공될 수 있다.One embodiment of the present invention relates to a method and system for reducing complexity in extracting features using linear discriminant analysis. To reduce the complexity of the feature extractor, divide the landmark vector into two clan marker vectors using a one-to-many method when the number of classes is c (one of two classifier vectors when the number of classes is 2) Stage 1; Using the feature matrix of the feature extractor,

(2); Problem matrix

The transformation matrix

(3) -μ _H calculating is a positive number, and N is an integer number of 1 or more can be suitably determined from the data matrix, all the elements being one _NxN is a NxN matrix of one of the; Deformation matrix using Cholesky decomposition

of

(4); From the two classifier vectors, Hermitian Vector

(5); Moody vector

The optimal solution of the jth class

(6); Optimal solution

And the jth class linear discriminant vector

(7); And a step (8) of calculating a bias of the feature extractor.

Description

선형 판별 분석을 이용하여 복잡도를 줄인 특징 추출 방법 및 그 시스템{A FEATURE EXTRACTION METHOD AND SYSTEM FOR REDUCING COMPLEXITY WITH LINEAR DISCRIMINANT ANALTSYS}TECHNICAL FIELD [0001] The present invention relates to a feature extracting method and a system for reducing complexity using a linear discriminant analysis,

본 발명의 일실시예는 선형 판별 분석을 이용하여 특징을 추출하는 데에 복잡도를 줄이는 방법과 그 시스템에 관한 것이다.One embodiment of the present invention relates to a method and system for reducing complexity in extracting features using linear discriminant analysis.

선형 판별 분석(Linear Discriminant Analysis)은 특징 추출 방법들 가운데 가장 기본적이고 확실한 방법 중 하나로써, 선형 판별 분석을 바탕으로 하여 많은 특징 추출 기법들이 제안되어 왔다. 하지만, 자료의 차원

가 자료의 수

보다 큰 패턴 인식 문제에서는 부류 안 분산 행렬(Within-class scatter)의 특이성(Singularity) 때문에 선형 판별 분석을 쓸 수 없다.Linear Discriminant Analysis is one of the most basic and reliable methods among feature extraction methods. Many feature extraction techniques have been proposed based on linear discriminant analysis. However,

Number of materials

For larger pattern recognition problems, linear discriminant analysis can not be used because of Singularity of within-class scatter.

여기서, 부류의 개수를

라 할 때

인 패턴 인식 문제를 작은 표본 크기 (small sample size) 문제라고 부른다: 보통, 작은 표본 크기 문제에서

는 몇 만,

은 몇 천까지 이른다.Here, the number of classes

When

The pattern recognition problem is called the small sample size problem: usually, in small sample size problems

A few thousand,

There are several thousand.

작은 표본 크기 문제에서도 선형 판별 분석을 쓸 수 있도록 하기 위해서, 주성분 분석(principle component analysis)에 선형 판별 분석을 더한 것, 직접 선형 판별 분석(direct linear discriminant analysis), 영 공간 기반 선형 판별 분석(null space-based linear discriminant analysis), 직교 선형 판별 분석(orthogonal linear discriminant analysis), 그리고 주파수 회귀 판별 분석(spectral regression discriminant analysis) 같은 몇 가지 선형 판별 분석 관련 기법들이 제안된 바 있다. 이 가운데 영 공간 기반 선형 판별 분석 기법은 일반적으로 좋은 패턴 인식 성능을 가지고 있으나, 그 복잡도가

으로 높다는 문제가 있다.In order to be able to use linear discriminant analysis even in the case of small sample sizes, the linear component discrimination analysis, the linear linear discriminant analysis, the null space null analysis Several linear discriminant analysis techniques have been proposed, such as -based linear discriminant analysis, orthogonal linear discriminant analysis, and spectral regression discriminant analysis. Among them, the zero space based linear discriminant analysis technique generally has good pattern recognition performance, but its complexity

.

따라서, 이러한 방법을 간단히 하여, 복잡도가

인 큐알 인수분해(QR factorization)　기법과, 고유값 분해 (Eigen-decomposition) 기술을 바탕으로 복잡도가

인 기법이 제안된 바 있다.Thus, by simplifying this method,

Based on the QR factorization technique and the Eigen-decomposition technique,

Has been proposed.

한편, 직교 선형 판별 분석은 성능이 영 공간 기반 선형 판별 분석과 같으면서 복잡도가

이고, 선형 판별 분석을 회귀 틀에 넣어 푸는 주파수 회귀 판별 분석은 복잡도가

이다.On the other hand, the orthogonal linear discriminant analysis has the same performance as the zero space based linear discriminant analysis,

, And the frequency-regression discriminant analysis that solves the linear discriminant analysis by adding it to the regression framework has a complexity

to be.

한국 공개특허공보 제2005-0112219호Korean Patent Publication No. 2005-0112219

본 발명의 실시예는 앞서 기재한 기존 선형 판별 분석의 문제점을 해결하기 위한 것으로, 자세하게는 특징 추출기의 복잡도를 줄이기 위해 선형 판별 분석을 이용하여 특징을 추출하는 데 복잡도를 줄이는 방법과 그 시스템을 제공하고자 한다.An embodiment of the present invention is to solve the problems of the conventional linear discriminant analysis described above. Specifically, in order to reduce the complexity of the feature extractor, a method of reducing complexity in extracting features using linear discriminant analysis and a system thereof are provided I want to.

이를 위해 특징 추출기의 선형 판별 벡터를 얻을 수 있는 새로운 방법을 고안한다. 부류 안 분산 행렬의 대칭성과 준 양정치를 이용하여 부류 안 분산 행렬의 영 공간을 자료와 표식들에 대한 수식으로 나타내고, 이후 영 공간 기반 선형 판별 분석을 이용하여 특징을 추출하는 문제를 촐레스키(Cholesky) 분해로 풀 수 있는 선형 방정식 문제로 변형함으로써 특징 추출기의 특징 추출 방법과 그 시스템을 제공한다.To do this, we devise a new method to obtain the linear discriminant vector of the feature extractor. Using the symmetry and quasi-quantization of the class-anomalous dispersion matrix, we can express the null space of the class-anomalous dispersion matrix by the mathematical expression of the data and the markers, and then extract the feature using the zero space based linear discriminant analysis. We propose a feature extraction method and its system by transforming it into a linear equation problem solved by Cholesky decomposition.

특징 추출기의 복잡도를 줄이는 방법에 있어서, 부류의 개수가 c(c는 3 이상의 정수)일 때 일대다 방법을 이용하여 표식 벡터를 c개의 두 부류 표식 벡터들로 나누는 (1) 단계; 특징 추출기의 자료 행렬을 이용하여 (선형 방정식의) 문제 행렬

을 계산하는 (2) 단계; (선형 방정식의) 문제 행렬

을 이용하여 변형 행렬

을 계산하는 (3) 단계-μ_H는 자료 행렬에 기초하여 미리 정해진 양수이고, N은 1이상의 정수이며, 1_NxN은 모든 원소가 1인 NxN의 행렬임-; 촐레스키(Cholesky) 분해를 이용하여 변형 행렬

을

으로 분해하는 (4) 단계; 두 부류 표식 벡터로부터 에르미트 벡터(Hermitian vector)

을 계산하는 (5) 단계; 기분해 벡터

을 이용하여 j번째 부류의 최적해

를 획득하는 (6) 단계;

를 이용하여 j번째 부류의 선형 판별 벡터

를 계산하는 (7) 단계; 및 특징 추출기의 바이어스를 계산하는 (8) 단계를 포함하는 특징 추출기의 특징 추출 방법이 제공될 수 있다.A method for reducing the complexity of a feature extractor, comprising: (1) dividing a landmark vector into c landmark vector pairs using a one-to-many method when the number of classes is c (c is an integer of 3 or more); Using the data matrix of the feature extractor, the problem matrix (of linear equations)

(2); Problem matrix (of linear equations)

The transformation matrix

(3), - _{H H} is a predetermined positive number based on the data matrix, N is an integer equal to or greater than 1, and 1 _NxN is a matrix of NxN with all elements equal to 1; Deformation matrix using Cholesky decomposition

of

(4); From the two classifier vectors, an Hermitian vector

(5); Moody vector

The optimal solution of the jth class

(6);

And the jth class linear discriminant vector

(7); And a step (8) of calculating a bias of the feature extractor.

일측에 있어서, (1) 단계는 j번째 부류의 표본들을 제1 표식으로, 나머지를 제2 표식으로 표현함으로써 표식 벡터를 c개의 두 부류 표식 벡터로 나누는 단계를 포함할 수 있다. 또한, 일 측에 따르면, c=2인 경우도 지원되는데, 이때에는 표식 벡터를 한 개의 두 부류 표식 벡터로 나누는 단계를 포함할 수 있다.On one side, step (1) may include dividing the landmark vector into two c-class landmark vectors by expressing the jth class specimen as a first landmark and the remainder as a second landmark. Also, according to one aspect, c = 2 is also supported, which may include dividing the landmark vector into one landmark vector.

또 다른 측면에 있어서, (2) 단계는 라그랑지 기법을 이용하여 선형 판별 벡터의 제한 조건을 포함하여 계산하는 단계를 포함할 수 있다.In yet another aspect, step (2) may include computing the constraints of the linear discriminant vector using a Lagrangian technique.

또 다른 측면에 있어서, (3) 단계는

이라는 조건을 만족할 경우에 변형 행렬

을 계산하는 단계를 포함하며,

은 자료 행렬의 전역 평균 벡터를 의미할 수 있다.In yet another aspect, the step (3)

If the condition is satisfied,

≪ / RTI >

May refer to the global mean vector of the data matrix.

또 다른 측면에 있어서, 기분해 벡터

은 맞모 성분이 양수인 윗 세모 행렬이며, (4)단계는 촐레스키 분해한 뒤 후진 대입(Backward Substitution)과 전진 대입(Forward Substitution) 방법을 잇달아 이용하는 단계를 포함할 수 있다.In yet another aspect,

(4) may include a step of decomposing Cholesky and then sequentially using the backward substitution method and the forward substitution method.

또 다른 측면에 있어서, (6) 단계는 자료 행렬

의

가 특이 행렬일 경우, 작은 양수 μ를 이용하여 완전 계수 행렬

로 바꾸는 섭동법을 이용하는 단계를 포함할 수 있다.In yet another aspect, the step (6)

of

Is a singular matrix, a full coefficient matrix < RTI ID = 0.0 >

Lt; RTI ID = 0.0 > a < / RTI >

또 다른 측면에 있어서, 특징 추출기는

으로 표현되며, 벡터

는 선형 판별 벡터를 의미하고, 스칼라

는 바이어스를 의미할 수 있다.In another aspect, the feature extractor

, And the vector

Means a linear discriminant vector, and scalar

Can be a bias.

또 다른 측면에 있어서, 특징 추출기의 특징 추출 방법의 복잡도를 분석하는 단계를 더 포함하고, 복잡도를 분석하는 단계는 곱셈 연산에 대한 복잡도를 계산하는 단계를 포함하며, 곱셈 연산에 대한 복잡도는 나눗셈과 제곱근의 복잡도와 일치할 수 있다.In yet another aspect, the method further comprises analyzing the complexity of the feature extraction method of the feature extractor, wherein the step of analyzing the complexity comprises calculating the complexity of the multiplication operation, and the complexity of the multiplication operation is divided into division It can be matched to the complexity of the square root.

또 다른 측면에 있어서, 특징 추출기의 특징 추출 방법의 패턴 인식률을 분석하는 단계를 더 포함하고, 패턴 인식률을 분석하는 단계는 가장 가까운 이웃 분류기를 이용할 수 있다.In yet another aspect, the method further comprises analyzing the pattern recognition rate of the feature extraction method of the feature extractor, wherein analyzing the pattern recognition rate may utilize the nearest neighbor classifier.

또 다른 측면에 있어서, 특징 추출기는 영 공간 기반 선형 판별 분석(Null Linear Discriminant Analysis) 방법을 이용할 수 있다.In another aspect, the feature extractor may employ a null linear discriminant analysis method.

본 발명의 실시예를 통해 특징 추출기에서 선형 판별 분석을 이용하여 특징을 추출하는 데 복잡도를 줄인 방법과 그 시스템을 제공할 수 있다.It is possible to provide a method and system for reducing the complexity in extracting features using linear discriminant analysis in the feature extractor through embodiments of the present invention.

영 공간 기반 선형 판별 분석의 제한 조건의 꼴을 바꿈으로써, 영 공간 기반 선형 판별 분석을 사용하여 특징을 추출하는 문제를 제한 조건을 가지는 최적화 문제로 바꾼 뒤, 마지막으로 이를 촐레스키 분해를 거쳐 풀 수 있는 선형 방정식 문제로 바꿀 수 있다.By changing the constraint condition of the linear space discriminant analysis based on the zero space, the problem of extracting features using the linear space discriminant analysis based on zero space is replaced with the optimization problem with constraint condition, and finally, You can turn it into a linear equation problem.

이를 통해 좋은 패턴 인식 성능을 가지면서, 기존의 기법들에 견주었을 때 복잡도가 낮은 선형 판별 분석 방법과 특징 추출기를 제공할 수 있다.We can provide a linear discriminant analysis method and a feature extractor that have good pattern recognition performance and low complexity when compared to existing techniques.

도 1은 본 발명의 일실시예에 있어서, 특징 추출기에서 복잡도를 줄인 특징 추출 방법의 각 단계를 설명하기 위한 흐름도이다.
도 2 내지 도 5는 본 발명의 일실시예에 있어서, 다수 개의 표본 집합에서 제안하는 다양한 특징 추출 방법의 곱셈 연산 수에 대한 복잡도를 비교하기 위한 그래프를 도시한 것이다.
도 6은 본 발명의 일실시예에 있어서, 특징 추출기의 복잡도를 줄인 특징 추출 시스템의 내부 구성을 설명하기 위한 블록도이다.FIG. 1 is a flowchart for explaining each step of a feature extraction method with reduced complexity in a feature extractor according to an embodiment of the present invention.
FIGS. 2 to 5 are graphs for comparing complexity with respect to the multiplication operation numbers of various feature extraction methods proposed in a plurality of sample sets according to an embodiment of the present invention.
6 is a block diagram for explaining an internal configuration of a feature extraction system that reduces complexity of a feature extractor in an embodiment of the present invention.

이하, 복잡도를 줄인 특징 추출 방법과 그 시스템에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.Hereinafter, a feature extraction method and a system thereof with reduced complexity will be described in detail with reference to the accompanying drawings.

부류 패턴 인식 문제는 일대다 (one-versus-all) 방법으로,

개의 두 부류 패턴 인식 문제로 쓸 수 있기 때문에, 본 발명에서는 두 부류 패턴 인식 문제를 다루어 설명한다.

The problem of class pattern recognition is a one-versus-all method,

The present invention addresses the problem of recognition of two kinds of patterns.

선형 특징 추출기는 보통

로 표현되는데, 여기서

는 입력이고,

벡터

는 선형 판별 벡터(Linear Discriminant Vector)를 의미하며, 스칼라인

는 바이어스이다.The linear feature extractor

, Where

Is an input,

vector

Means a linear discriminant vector, and scalar

Is a bias.

자료

와 그 표식

들의 집합을

이라 가정한다. 이를 간단히 하기 위해, 자료

가 정렬되어 있어서 표식 벡터를

로 쓸 수 있다고 한다. 이때,

는 모든 원소가

인

행렬을 의미한다.material

And the mark

A set of

. To simplify this,

Are arranged so that the marker vector

It can be written as. At this time,

All the elements

sign

Matrix.

영 공간 기반 선형 판별 분석의 선형 판별 벡터 제한조건이

일 때 선형 판별 벡터는 수학식 1과 같이 얻을 수 있다.The linear discriminant vector constraint of the zero space based linear discriminant analysis

The linear discriminant vector can be obtained as shown in Equation (1).

여기서,

는 유클리드 길이(Euclidean norm)이고,

는 차수(rank)가

인

부류 사이 분산 행렬(between-class scatter)을 의미한다. 한편,

는 차수가

인

부류 안 분산 행렬을 의미한다.here,

Is the Euclidean norm,

The rank

sign

It means a between-class scatter. Meanwhile,

The order

sign

Class distributed matrix.

여기서,

은

자료 행렬이고,

은 부류

의 가리킴 수 집합이며,

은 부류

의 표본 평균 벡터이다. 또한,

은

의 원소들의 개수이다. 일단 선형 판별 벡터

이 정해지면, 바이어스

은

로 얻을 수 있다.here,

silver

Data matrix,

Silver bracket

Is a set of indices,

Silver bracket

Is the sample mean vector. Also,

silver

. Once the linear discriminant vector

When this is determined,

silver

.

직교 선형 판별 분석의 선형 판별 벡터

을 제한 조건이

일 때, 선형 판별 벡터는

와 같이 얻을 수 있다.Linear discriminant vector of orthogonal linear discriminant analysis

Restrictions

, The linear discriminant vector is

Can be obtained as follows.

여기서,

는 전체 분산 행렬이다. 이와 비슷한 형태로, 주파수 회전 판별 분석의 선형 판별 벡터는

와 같이 구할 수 있다. 여기서,

이고

이며, 특징 추출기의 자료에 대한 전역 평균 벡터

, 그리고 응답벡터

이다. 또한, 정규화(Regularization) 변수

는 음이 아닌 수이고, 선형 판별 벡터에 따라 변한다. 특히

일 때,

로 얻을 수 있고, 여기서

는 의사역변환(Pseudoinverse)을 의미한다.here,

Is the total dispersion matrix. In a similar fashion, the linear discriminant vector of the frequency rotation discriminant analysis

As shown in Fig. here,

ego

, And the global mean vector < RTI ID = 0.0 >

, And the response vector

to be. In addition, the regularization variable

Is a nonnegative number and varies according to the linear discriminant vector. Especially

when,

, Where < RTI ID = 0.0 >

Means a pseudoinverse.

도 1은 본 발명의 일실시예에 있어서, 특징 추출기에서 복잡도를 줄인 특징 추출 방법의 각 단계를 설명하기 위한 흐름도이다.FIG. 1 is a flowchart for explaining each step of a feature extraction method with reduced complexity in a feature extractor according to an embodiment of the present invention.

본 발명에서는 작은 표본 크기 문제에서 기존의 발명보다 낮은 복잡도를 가지도록 하기 위해 선형 판별 벡터를 얻는 새로운 방법을 제안한다. 특징 추출 방법을 위해서는 자료 행렬

, 표식 벡터

, 부류 c에 대한 입력을 필요로 한다. 또한, 본 발명의 특징 추출기는 영 선형 판별 분석을 이용하는 실시예를 적용할 수 있다.In the present invention, a new method for obtaining a linear discriminant vector is proposed in order to have lower complexity than the conventional one in the case of a small sample size problem. For the feature extraction method,

, The marker vector

, Input to class c is required. Further, the feature extractor of the present invention can be applied to an embodiment using a linear discriminant analysis.

실시예에 있어서, 단계(110)에서는 부류 c가 일정 수 이상일 경우, 이 부류 c 중 j번째 부류의 표본들을 제1 표식으로 두고, 나머지를 제2 표식으로 두는 일대다 방법을 통해 모든 부류에 대해서

를 c개의 두 부류 표식 벡터

로 나눌 수 있다. 예를 들면, 일대다 방식을 적용할 때에 표본들은 1로 표시하고, 나머지를 -1로 표시할 수 있다.In the embodiment, in step 110, if the class c is equal to or greater than a certain number, a one-to-many method of putting the samples of the jth class as the first mark and the remainder as the second mark of this class c

Lt; RTI ID = 0.0 > c <

. For example, when applying a one-to-many approach, the samples may be denoted by 1 and the remainder may be denoted by -1.

먼저,

에서

이기 때문에, 수학식 1을 수학식 2와 같이 재작성이 가능하다first,

in

, It is possible to rewrite equation (1) as shown in equation (2)

여기서,

이며,

을 의미한다.

가 완전 계수 행렬이며,

은 모든 원소가 0인 벡터일 때, 제한조건

을

으로 정리할 수 있다.here,

Lt;

.

Is a full coefficient matrix,

Is a vector where all elements are 0,

of

.

여기서, 스칼라

을 의미한다. 이제, 수학식 2와 정리된 제한 조건인

에 나타난 문제의 라그랑지(Lagrange) 함수를 수학식 3과 같이 표현할 수 있다.Here,

. Now, Equation 2 and summarized constraint < RTI ID = 0.0 >

The Lagrange function of the problem shown in Equation (3) can be expressed as Equation (3).

이때,

벡터

는 라그랑지 곱수(multiplier)이다. 수학식 3의 라그랑지 함수

을

와

에 대해서 각각 편미분한 값이 0이 되도록 만들면, 수학식 4와 수학식 5를 얻을 수 있다.At this time,

vector

Is a Lagrange multiplier. The Lagrange function of equation (3)

of

Wow

(4) and (5) can be obtained.

이제, 수학식 4와 수학식 5를 이용하여 수학식 3의 라그랑지 함수를 정리하면,

로 다시 기재할 수 있다. 따라서, 제한 조건이

인 수학식 2를 제한 조건이 수학식 4와 같은 문제로서 수학식 6으로 다시 쓸 수 있다.Now, by summarizing the Lagrange functions of Equation (3) using Equations (4) and (5)

Can be rewritten. Therefore,

(2) can be rewritten as Equation (6) as a constraint condition of Equation (4).

이때,

와

의 관계는 수학식 7과 같음을 수학식 5를 통해서 확인할 수 있다.At this time,

Wow

Can be confirmed by Equation (5). &Quot; (5) "

라그랑지 기법을 이용하여 앞서 설명한 단계와 비슷하게 거치고 나면 제한 조건이 수학식 4인 문제 수학식 6을 수학식 8과 같이 기재할 수 있다.When the Lagrangian technique is used in a manner similar to the above-described steps, the constraint condition equation (6) can be written as Equation (8).

단계(120)에서는 특징 추출기의 자료 행렬과 단위 행렬을 이용하여 문제 행렬

을 계산할 수 있다.In step 120, the data matrix of the feature extractor and the unit matrix are used to calculate the problem matrix

Can be calculated.

앞서 수학식 8에 보인 최적해를

에 대해 미분한 값을 0으로 두면,

임을 알 수 있다. 여기서, 수학식 9와 같은 (선형 방정식의) 문제 행렬

과

를 구할 수 있다.The optimal solution shown in equation (8)

If you set the derivative value to 0 for the value 0,

. Here, the problem matrix (of the linear equation)

and

Can be obtained.

이어서 단계(130)에서는 앞서 구한 수학식 9를 이용하여 이의 변형 행렬

을 구할 수 있다.Next, in step 130, the transformation matrix of Equation (9)

Can be obtained.

먼저, 수학식 2를 통해 설명한 값

와 수학식 7을 이용하여

임을 확인할 수 있으며, 수학식 1을 통해 설명한 바와 같이

이기 때문에, 스칼라인

의 값이

임을 알 수 있다. 따라서, 수학식 11과 같은 선형 판별 벡터를 획득할 수 있다.First, the value described through equation (2)

And Equation 7

, And as described in Equation 1,

Because of this,

The value of

. Therefore, a linear discriminant vector such as Equation (11) can be obtained.

다시 말해,

를 얻으면 선형 판별 벡터

을 획득할 수 있다.In other words,

The linear discriminant vector

Can be obtained.

벡터

가

의 영 공간과 직교하지 않고

가 완전 계수 행렬이라는 조건에서

를 얻었다. 한편,

가

의 영 공간과 직교할 때는,

이 늘 0이기 때문에 수학식 1의 풀이가 없다.vector

end

Not orthogonal to the null space of

Is a perfect coefficient matrix

. Meanwhile,

end

When orthogonal to the zero space of

Is always 0, there is no solution of the equation (1).

단,

가 특이행렬일 때에는, 작은 양수

를 써서

를 완전 계수 행렬

로 바꾸는 방법으로 섭동법을 이용하여

를 얻을 수 있다.only,

Is a singular matrix, a small positive number

By using

Lt; / RTI >

And then using the perturbation method

Can be obtained.

수학식 4에서

이기 때문에, 수학식 12가 수학식 13을 만족시킴을 쉽게 확인할 수 있다.In Equation 4,

, It can be easily confirmed that the expression (12) satisfies the expression (13).

여기서,

보다 큰 실수

를 생각하면 행렬

은 양정치이기 때문에, 단계(140)에서는 촐레스키(Cholesky) 분해를 이용하여 수학식 13을 풀면

의 해를 얻을 수 있다.here,

A bigger mistake

Considering the matrix,

(13) using the Cholesky decomposition in step 140,

Can be obtained.

를 구하는데 있어서,

의 식을 이용하여 바로 얻을 수 있는 방법으로,

쯤의 곱셈을 또 다른 일례로 들 수 있다. 그러나, 해당 방법을 통한 계산은 본 발명의 실시예보다 복잡도가 더 높게 나타난다.

In this case,

, Which can be directly obtained by using the equation

Another example is the multiplication. However, the calculation through the method is more complex than the embodiment of the present invention.

이어서, 각 두 부류의 표식 벡터인

로부터 단계(150)에서는 에르미트 벡터

을 계산할 수 있다. 이때, 앞서 설명한 수학식 10을 이용할 수 있다.Then, each of the two classes of marker vectors

Lt; RTI ID = 0.0 > 150 < / RTI &

Can be calculated. At this time, the above-described expression (10) can be used.

단계(160)에서는 촐레스키 분석을 통해 구한 행렬

을 이용하여 수학식 13을 풀고, j번째 부류의 최적해

를 획득할 수 있다.In step 160, the matrix obtained through Cholesky analysis

To solve equation (13), and the jth class optimal solution

Can be obtained.

단계(170)에서는 같은 j번째 부류에 대한 선형 판별 벡터

를 구할 수 있다. 이때, 수학식 11과 단계(160)을 통해 구한 값을 이용할 수 있다.In step 170, the linear discriminant vector < RTI ID = 0.0 >

Can be obtained. At this time, it is possible to use the values obtained through the equations (11) and (160).

마지막으로 단계(180)에서는 특징 추출기를 나타내는

에 대해서, j번째 부류에 대한 바이어스

를 계산할 수 있다. 이때 실시예에 있어서, 수학식 14를 이용할 수 있다.Finally, in step 180,

, The bias for the jth class

Can be calculated. At this time, in the embodiment, equation (14) can be used.

본 발명의 실시예에 있어서, 특징 추출기의 복잡도를 줄이기 위한 특징 추출 방법은 해당 방법의 복잡도를 분석하는 단계(미도시)를 더 포함할 수 있다. 이때, 연산 시에 곱셈 연산이 덧셈 연산보다 중앙처리장치(CPU)에서 처리 시간이 더 많기 때문에 곱셈 연산 수만을 고려하여 분석할 수 있다.In the embodiment of the present invention, the feature extraction method for reducing the complexity of the feature extractor may further include a step (not shown) of analyzing the complexity of the method. At this time, since the multiprocessing operation is performed by the central processing unit (CPU) more than the addition operation at the time of calculation, only the number of multiplication operations can be considered and analyzed.

실시예에 있어서, 곱셈연산 한 번을 복잡도 1로 둘 수 있다. 본 발명의 실시예와 기존의 방식은 곱셈의 수와 덧셈의 수가 크게 다르지 않다. 이하의 설명하는 방법을 통해 본 발명의 복잡도를 획득할 수 있다.In an embodiment, one multiplication operation may be left with a complexity of one. The number of multiplications and the number of additions are not significantly different between the embodiment of the present invention and the conventional method. The complexity of the present invention can be obtained through the following method.

단계 1: 첫째,

는 대칭이기 때문에,

를

번 곱셈하고

번 덧셈하여 얻을 수 있다.

원소들 하나하나를 얻는 데

번 곱셈하고

번 덧셈해야 하기 때문이다. 둘째, 행렬

은 수학식 9와 수학식 12를 이용하여

로부터 얻을 수 있고, 이때

번 곱셈해야 한다. 또,

임을 새기면,

의 모든 원소들을 더해

으로 나눔으로써,

을 나누고

번 덧셈하여 얻을 수 있다.Step 1: First,

Is symmetrical,

To

Times multiplication

Can be obtained by addition.

To get each element

Times multiplication

Because it has to be added. Second,

Using Equations (9) and (12)

And at this time,

Times multiplication. In addition,

However,

Plus all the elements of

By dividing by,

Split

Can be obtained by addition.

단계 2: 부분 추축(Partial Pivoting)을 쓰는 가우스 소거법으로, 행렬

을

로 분해하는 데,

번 곱셈하고

번 덧셈해야 한다. 여기서,

은 맞모 성분이 양수인 윗 세모 행렬이다. 촐레스키 분해한 뒤 후진 대입(Backward Substitution)과 전진 대입(Forward Substitution) 방법을 잇달아 써서 수학식 13을 풀 수 있고, 이렇게

를 얻는 데

번 곱셈 연산해야 한다.Step 2: Gaussian elimination using partial pivoting,

of

However,

Times multiplication

You have to add it. here,

Is a top triangle matrix in which the right-wing components are positive. After Cholesky decomposition, we can solve equation (13) one after another by using backward substitution and forward substitution methods.

To get

Times multiplication operation.

단계 3: 끝으로

에서,

번 곱셈하고

번 덧셈하여

를 얻을 수 있다. 그 뒤,

에서

번 곱셈,

번 덧셈, 그리고

번 제곱근 연산을 하여

을 얻을 수 있다. 이어서,

와

에서

번 나눗셈을 하여

을 얻을 수 있다.Step 3: To the end

in,

Times multiplication

Add

Can be obtained. After that,

in

Times multiplication,

Addition, and

Square root operation

Can be obtained. next,

Wow

in

Divide by

Can be obtained.

요약하면, 두 부류 패턴 인식 문제에서 제안한 기법의 복잡도는

이다. 그 뒤,

부류 패턴 인식문제에서 분해된

개의 두 부류 패턴 인식 문제는 각각 선형 방정식 문제인 수학식 13에 같은

과 다른

를 쓰는 문제로 바꿀 수 있다. 곧, 두 부류 패턴 인식 문제를 하나 풀면, 나머지 두 부류 패턴 인식 문제들을 단계 2에서

번, 단계 3에서

번 더 덧셈하여 풀 수 있다: 이때,

의 계산과

의 촐레스키 분해는 첫째 두 부류 문제를 푼 뒤에는 필요로 하지 않는다. 제안한 기법을 써서

부류 패턴 인식 문제를 푸는 데 드는 복잡도는

으로 쓸 수 있다.In summary, the complexity of the proposed method in the problem of two bracket pattern recognition

to be. After that,

In discrete pattern recognition problems,

The two bracket pattern recognition problems are shown in Equation 13, which is a linear equation problem

And other

You can change the problem to write. Soon, if we solve the problem of two bracket pattern recognition, the other two bracket pattern recognition problems are solved in step 2

In step 3,

You can solve by adding more times: At this time,

And

Cholesky's decomposition is not necessary after the first two problems have been solved. Using the proposed technique

The complexity of solving the bracket pattern recognition problem is

.

이하에서는 4개의 표본 집합들을 바탕으로 모의실험을 거쳐 제안한 기법과 다른 기법들의 복잡도를 견주어 보도록 하겠다.In the following, the complexity of the proposed technique and other techniques will be compared through simulation based on four sample sets.

1) 크랜메드(CRANMED) 표본 집합: 크랜메드 표본 집합은, 크랜필드(Cranfield) 모음집에서 얻은 공기 역학 표본 1398개와 메드라스(Medlas) 모음집에서 얻은 생물 의학 표본 1033개로 이루어져 있다. 공기 역학과 생물 의학 분야에서 자주 쓰이는 전문 용어 41681개를 모은 뒤, 용어 하나하나가 문서에 쓰인 횟수를 셈으로써, 2431개 문서 하나하나를 1또는 -1의 표식을 갖는

벡터로 바꾸었다.1) CRANMED Sample Set: The Cran Med sample set consists of 1398 aerodynamic samples from the Cranfield collection and 1033 biomedical samples from the Medlas collection. After collecting 41681 of the most frequently used terminology in aerodynamics and biomedical sciences, by counting the number of times a term was used in a document, each 2431 document was labeled with 1 or -1

Vector.

2) 백혈병(Leukemia) 표본 집합: 백혈병 표본 집합은 두 종류의 급성 백혈병의 유전자 표현에 대한 연구에서 얻었다; 급성 림프 모구 백혈병에서 47개의 표본들과 급성 골수 모구 백혈병에서 25개의 표본들을 얻었다. 7129개 유전자의 정량 표현 단계를 측정하여, 각 표본을

벡터로 나타내는데, 이때 급성 림프 모구 백혈병은 표식 1로 급성 골수 모구 백혈병은 표식 -1로 두었다. 2) Leukemia Sample Set: A sample of leukemia was obtained from a study of the gene expression of two types of acute leukemia; 47 samples from acute lymphoblastic leukemia and 25 samples from acute myeloid leukemia were obtained. Quantitative expression levels of 7129 genes were measured, and each sample

Vector, in which acute lymphoblastic leukemia was labeled 1 and acute myelogenous leukemia was labeled 1.

3) 티디티2(TDT2) 표본 집합: 티디티2 프로젝트의 2단계 표본 집합은 뉴스 송신사(APW, NYT) 둘, 라디오 방송(VOA, PRI) 둘, 그리고 텔레비전 방송(CNN, ABC) 둘에서 얻은 표본으로 9394개이고, 표본들이 30개의 부류를 이룬다. 표본에서 적어도 2번 나온 낱말들 36771개가 쓰인 횟수를 세어,

벡터로 바꾸었다. 곧, 36771차원의 9394개 행 벡터들과 해당되는 표식들을 갖는다. 3) TTT2 sample set: A two-stage sample set of the TTT2 project consists of two news transmitters (APW, NYT), two radio stations (VOA, PRI), and two television stations (CNN, ABC) There are 9394 samples and 30 samples. Count the number of times 36771 words were written at least twice in the sample,

Vector. Soon, we have 9394 row vectors of dimension 36771 and corresponding markers.

4) 오알엘(ORL) 표본 집합: 오알엘 표본 집합은 자세, 조명, 표정과 얼굴의 세세한 부분들이 다른 40명에게서 모은, 10304픽셀의 400개 얼굴 사진으로 이루어져 있다. 각 픽셀의 회색 단계를 측정해서, 각 얼굴 사진을

벡터로 표현한다. 그 뒤, 40개의 부류에 대한 10304차원의 400개 행 벡터들과 해당되는 표식들을 갖는다.4) ORL Sample Set: The ORAL sample set consists of 400 face pictures of 10304 pixels, collected from 40 different people with details of posture, lighting, facial expression and facial features. Measure the gray levels of each pixel,

Expressed as a vector. Then, it has 400 row vectors of 10304 dimensions for 40 classes and corresponding markers.

도 2 내지 도 5에서는 상기 4개의 표본 집합에서 제안한 기법의 곱셈 연산 수에 대한 기존의 다양한 기법들과 곱셈 연산 수의 비를 보인다. 본 발명의 복잡도는 [13], [15], [16]의 기법들과 견주어 확실히 더 낮고, [14]의 기법과는 실질적으로 거의 같음을 확인할 수 있다. 도 2 내지 도 5에서 A1~D1 점들과 A2~D2 점들은 중앙처리장치에서 드는 시간의 비와 견주기 위한 것이다.FIGS. 2 to 5 show the ratio of the number of multiplication operations to the number of conventional multiplication operations for the proposed scheme in the four sample sets. The complexity of the present invention is certainly lower than the techniques of [13], [15] and [16], and is substantially the same as the technique of [14]. In Figs. 2 to 5, the points A1 to D1 and the points A2 to D2 are intended to match the ratio of the time spent in the central processing unit.

여기서, [13]은 직교 선형 판별 분석을 이용한 방법이며, [14]는 주파수 회귀 판별 분석을 이용한 방법, 그리고 [15]와 [16]은 영 공간 기반 선형 판별 분석을 이용한 기존의 방법을 나타낸다.Here, [13] is a method using orthogonal linear discriminant analysis, [14] is a method using frequency regression discriminant analysis, and [15] and [16] are conventional methods using linear discriminant analysis based on space.

먼저,

개의 부류들에서 각각 무작위로

개의 표본들을 (그리고 그것들의 표식을) 골라서 크렌메드, 백혈병, 티디티2, 오알엘 표본에서 크기가 각각

,

,

,

인 학습 자료 행렬들을 만들었다. 여기서, N=2k일 수 있다. 그 다음, N개의 학습 자료를 사용하여, 선형 판별 벡터를 구하는 데 소요되는 중앙처리장치 시간을 측정하여 순서대로 표 1 내지 표 4로 도시하였다.first,

At each of the four groups,

(And their markers) to determine the size of each of the Clemmed, Leukemia, Tertiary 2, and ORAL specimens

,

,

,

In-process learning matrices. Where N = 2k. Next, the central processing unit time required to obtain the linear discriminant vector is measured using N learning data, and shown in Table 1 to Table 4 in order.

표 1내지 표 4에서 각 k에 대하여 250번 거듭한 뒤에 평균하여 얻을 중앙처리장치의 시간을 보였는데, 그 비율이 도 2 내지 도 5를 통해 보인 복잡도 분석에서 기대할 수 있는 바와 거의 일치하는 것을 확인할 수 있다. 여기서, 괄호 안의 숫자는 본 실시예에서의 중앙처리장치의 시간에 대한 각 경우에서의 중앙처리장치의 시간을 나타낸다.In Table 1 to Table 4, the time of the central processing unit to be averaged after 250 times for each k is shown, and it is confirmed that the ratio almost coincides with that expected in the complexity analysis shown in FIGS. 2 to 5 . Here, the numbers in parentheses indicate the time of the central processing unit in each case with respect to the time of the central processing unit in this embodiment.

예를 들어, (1) k=600일 때, 도 2의 점 B2를 보면, 특징을 추출하는 데 이론적으로 드는 곱셈 연산 수의 비는 5.24이고, 실제로 중앙 처리장치에서 드는 시간의 비는 5.04임이 표 1에 도시되어 있다.For example, when (1) k = 600, the ratio of the multiplication factor theoretically added to extract the characteristic is 5.24, and the ratio of the time taken in the central processing unit is 5.04 Lt; / RTI >

(2) k=5일 때, 도 3의 점 A1을 보면 특징을 추출하는 데 이론적으로 드는 곱셈연산 수의 비는 3.13인데, 실제로 중앙처리장치에서 드는 시간의 비는 2.31임을 표 2에서 볼 수 있다; (3) k=50일 때, 도 4의 점 D2를 보면 특징을 추출하는 데 이론적으로 드는 곱셈연산 수의 비는 13.27인데, 실제로 중앙처리장치에서 드는 시간의 비는 13.22임을 표 3 에서 볼 수 있다.(2) When k = 5, the ratio of the multiplication factor theoretically required to extract the feature is 3.13, which is actually 2.31 in the central processing unit. have; (3) When k = 50, the ratio of the number of multiplication operations theoretically required to extract the feature is 13.27 in view of the point D2 in FIG. 4. Actually, the ratio of the time spent in the central processing unit is 13.22 have.

특징 추출기의 패턴 인식률은 가장 가까운 이웃 분류기를 이용하여 살펴볼 수 있다. 패턴 인식률이 높을수록 특징 추출기가 더 좋은 것임을 의미한다.The pattern recognition rate of the feature extractor can be examined using the nearest neighbors classifier. The higher the pattern recognition rate, the better the feature extractor.

여기서, 패턴 인식률은 추정에 쓰인 벡터의 수 M에 대한, 가장 가까운 이웃 분류기를 써서 표식들이 제대로 추정된 벡터들의 (검사 표본들) 수의 비로 나타낼 수 있다.Here, the pattern recognition rate can be expressed as a ratio of the number of vectors used for estimation to the number of correctly estimated vectors (test specimens) using the nearest neighbor classifier.

이때, 크렌메드, 백혈병, 티디티2, 오알엘에서의 각 M=2431-2k, 72-2k, 9394-30k, 400-40k이다. 이에 대해서, 순서대로 표 5 내지 표 8에 보인 모의실험 결과를 바탕으로, 다음과 같은 결과를 알 수 있다.In this case, M = 2431-2k, 72-2k, 9394-30k, and 400-40k in Clemmed, leukemia, Tidti-2, On the basis of this, on the basis of the simulation results shown in Tables 5 to 8, the following results are obtained.

(1) 표 5와 표 6을 통해 크렌메드와 백혈병의 두 부류 패턴 인식 문제에서, 제안한 기법과 [13]-[16]에 제안된 기법들의 패턴 인식률은 같다: 이는 [13]에서 보인 것처럼 영 선형 판별 분석의 선형 판별 벡터와 직교 선형 판별 분석의 선형 판별 벡터가 같다는 점과, 두 부류 문제일 경우, 제안한 기법과 주파수 회전 판별 분석의 선형 판별 벡터가 같다는 점을 새긴다면 쉽게 추측할 수 있다.(1) In Table 5 and Table 6, the pattern recognition rates of the proposed technique and the techniques proposed in [13] - [16] for the two bracket pattern recognition problems of Clemmed and leukemia are the same: It is easy to guess that the linear discriminant vector of the linear discriminant analysis is the same as the linear discriminant vector of the orthogonal linear discriminant analysis and that the linear discriminant vector of the frequency discrimination analysis is the same for the two class problems.

(2) 한편, 다 부류 문제에서 일대다 방법을 쓸 때, 제안한 기법의 목적 함수는 [13], [15], [16]에서 제안한 기법들의 목적 함수와 더 이상 같지 않다: 결과적으로, 이 기법들의 패턴 인식 성능이 다름을 표 7과 8에서 살필 수 있다. 30개 부류 티디티2 집합에서, 제안한 기법의 패턴 인식률이 다른 기법들과 견주어 대개 더 높음을 새겨두자. 40개 부류 오알엘 집합에서, 제안한 기법의 성능은 [13], [15], [16]에서 제안한 기법들의 성능과 견주어 조금 나쁘지만, [14]에서 제안한 기법보다는 더 좋다.(2) On the other hand, the objective function of the proposed technique is no longer the same as the objective function of the techniques proposed in [13], [15], [16] The difference in pattern recognition performance between the two is shown in Tables 7 and 8. In the 30-piece classification 2 set, let's note that the pattern recognition rate of the proposed technique is usually higher than other techniques. The performance of the proposed scheme is better than the performance of the proposed schemes in [13], [15] and [16], but it is better than the scheme proposed in [14].

이때, 다 부류 패턴 인식 문제에서 일대다 방법을 쓸 때, 제안한 기법의 패턴 인식률이 항상 가장 높다고는 할 수 없으나, 본 발명의 실시예는 인식률과 복잡도를 동시에 견줄 때 가장 효율이 높은 방법이 될 수 있다.In this case, when the one-to-many method is used in the multi-class pattern recognition problem, the pattern recognition rate of the proposed technique is not always the highest, but the embodiment of the present invention can be the most efficient method for matching the recognition rate and the complexity simultaneously have.

도 6은 본 발명의 일실시예에 있어서, 특징 추출기의 복잡도를 줄이기 위한 특징 추출 방법을 수행하기 위한 특징 추출 시스템(600)의 구성을 설명하기 위한 블록도이다. 실시예에 따른 시스템(600)은 도 1을 통해 설명한 특징 추출 방법을 수행할 수 있으며, 특징 추출기에 포함될 수 있다.6 is a block diagram for explaining a configuration of a feature extraction system 600 for performing a feature extraction method for reducing a complexity of a feature extraction unit according to an embodiment of the present invention. The system 600 according to the embodiment may perform the feature extraction method described with reference to FIG. 1 and may be included in the feature extractor.

특징 추출 시스템(600)은 벡터 분류부(610), 제1 계산부(620), 제2 계산부(630), 행렬 분해부(640), 벡터 계산부(650)를 포함하여 구성될 수 있다.The feature extraction system 600 may include a vector classification unit 610, a first calculation unit 620, a second calculation unit 630, a matrix decomposition unit 640, and a vector calculation unit 650 .

먼저, 벡터 분류부(610)는 부류의 개수가 c(c는 3 이상의 정수)일 때 일대다 방법을 이용하여 표식 벡터를 c개의 두 부류 표식 벡터들로 나눌 수 있다. 일 실시예에 따르면, c가 2인 경우도 포함하는데, 부류의 개수 c가 2일 때, 표식 벡터를 한 개의 두 부류 표식 벡터로 나눌 수 있다.First, the vector classifier 610 can divide the landmark vector into two c classifier vectors using a one-to-many method when the number of classes is c (c is an integer of 3 or more). According to an embodiment, c includes 2, and when the number c of the classes is 2, the landmark vector can be divided into two classes of landmark vectors.

제1 계산부(620)는 특징 추출기의 자료 행렬을 이용하여 문제 행렬

을 계산할 수 있다. 또한, 제2 계산부(630)는 문제 행렬

을 이용하여 변형 행렬

을 계산할 수 있다. 여기서, μ_H는 작은 자료 행렬로부터 적절히 정할 수 있는 양수이고 N은 1이상의 정수이며, 1_NxN은 NxN의 단위 행렬을 의미한다.The first calculation unit 620 calculates a problem matrix using the feature matrix of the feature extractor

Can be calculated. Also, the second calculation unit 630 calculates the problem matrix

The transformation matrix

Can be calculated. Here, μ _H is a positive number that can be appropriately determined from a small data matrix, N is an integer of 1 or more, and 1 _NxN means a unit matrix of N × N.

행렬 분해부(640)는 촐레스키(Cholesky) 분해를 이용하여 변형 행렬

을

으로 분해할 수 있고, 마지막으로, 벡터 계산부(650)는 두 부류표식 벡터에서 j번째 부류의 최적해

를 획득하여 선형 판별 벡터

를 획득할 수 있다.The matrix decomposition unit 640 performs a matrix transformation using a transformation matrix

of

And finally, the vector calculation unit 650 calculates the vector of the j-th class optimal solution

To obtain a linear discriminant vector

Can be obtained.

벡터 계산부(650)에서는, 자세하게는, 두 부류 표식 벡터로부터 에르미트 벡터(Hermitian vector)

을 계산하고, 기분해 벡터

을 이용하여 j번째 부류의 최적해

를 획득하며, j번째 부류의 선형 판별 벡터

를 계산한 후, 특징 추출기의 바이어스를 계산할 수 있다. 특징 추출기는 일반적으로

의 벡터와 스칼라로 표현될 수 있다. 여기서, 벡터

는 선형 판별 벡터를 의미하고, 스칼라

는 바이어스를 의미할 수 있다.In detail, in the vector calculation unit 650, an Hermitian vector is calculated from the two classification marker vectors,

, And the mood vector

The optimal solution of the jth class

, And the jth class linear discriminant vector

And then the bias of the feature extractor can be calculated. Feature extractors are generally

And a scalar. Here,

Means a linear discriminant vector, and scalar

Can be a bias.

본 발명의 실시예에 있어서, 특징 추출 시스템은 영 공간 기반 선형 판별 분석(Null Space-based Linear Discriminant Analysis) 방법을 이용할 수 있다.In an embodiment of the present invention, the feature extraction system may employ a null space-based linear discriminant analysis method.

본 발명의 실시예를 통해 특징 추출기에서 선형 판별 분석을 이용하여 특징을 추출하는 데 복잡도를 줄인 방법과 그 시스템을 제공할 수 있다.It is possible to provide a method and system for reducing the complexity in extracting features using linear discriminant analysis in the feature extractor through embodiments of the present invention.

특히, 영 선형 판별 분석의 제한 조건의 꼴을 바꿈으로써, 영 선형 판별 분석을 사용하여 특징을 추출하는 문제를 제한 조건을 가지는 최적화 문제로 바꾼 뒤, 마지막으로 이를 촐레스키 분해를 거쳐 풀 수 있는 선형 방정식 문제로 바꾼다. 이를 통해 좋은 패턴 인식 성능을 가지면서, 기존의 기법들에 견주었을 때 복잡도가 낮은 선형 판별 분석 방법과 특징 추출기를 제공할 수 있다.In particular, by changing the condition of the constraints of the linear discriminant analysis, the problem of extracting features using the linear discriminant analysis is replaced with the optimization problem with the constraint condition, and finally, We turn to equation problems. We can provide a linear discriminant analysis method and a feature extractor that have good pattern recognition performance and low complexity when compared to existing techniques.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

600: 특징 추출 시스템
610: 벡터 분류부
620: 제1 계산부
630: 제2 계산부
640: 행렬 분해부
650: 벡터 계산부600: feature extraction system
610: Vector classification part
620:
630: second calculation unit
640:
650: vector calculation unit

Claims (13)

특징 추출 시스템에서 특징을 추출하는 방법에 있어서,
벡터 분류부에서 부류의 개수가 c(c는 3 이상의 정수)일 때 일대다 방법을 이용하여 표식 벡터를 c개의 두 부류 표식 벡터로 나누는 (1) 단계;
제1 계산부에서 상기 특징 추출 시스템의 자료 행렬을 이용하여 문제 행렬

을 계산하는 (2) 단계;
제2 계산부에서 상기 문제 행렬

을 이용하여 변형 행렬

을 계산하는 (3) 단계-μ_H는 자료 행렬로부터 미리 정해진 양수이고 N은 1이상의 정수이며, 1_NxN은 모든 원소가 1인 NxN의 행렬임-;
행렬 분해부에서 촐레스키(Cholesky) 분해를 이용하여 상기 변형 행렬

을

으로 분해하는 (4) 단계;
벡터 계산부에서 상기 두 부류 표식 벡터로부터 에르미트 벡터(Hermitian Vector)

을 계산하는 (5) 단계;
상기 벡터 계산부에서 상기 기분해 벡터

을 이용하여 j번째 부류의 최적해

를 획득하는 (6) 단계;
상기 벡터 계산부에서 상기 j번째 부류의 선형 판별 벡터

를 계산하는 (7) 단계; 및
상기 벡터 계산부에서 상기 특징 추출 시스템의 바이어스를 계산하는 (8) 단계
를 포함하는 특징 추출 시스템에서 특징을 추출하는 방법.A method for extracting features from a feature extraction system,
(1) dividing the landmark vector into c landmark vector pairs using a one-to-many method when the number of classes in the vector classifier is c (c is an integer of 3 or more);
The first calculation unit uses the data matrix of the feature extraction system to calculate a problem matrix

(2);
In the second calculation unit, the problem matrix

The transformation matrix

(3) - μ _H is a predetermined positive number from the data matrix and N is an integer equal to or greater than 1, and 1 _NxN is a matrix of NxN with all elements equal to 1;
The transformation matrix is transformed by using a Cholesky decomposition in the matrix decomposition unit,

of

(4);
In the vector calculation unit, Hermitian Vector is extracted from the two classifier vectors,

(5);
In the vector calculation unit,

The optimal solution of the jth class

(6);
The vector calculation unit calculates the jth class linear discriminant vector

(7); And
(8) calculating the bias of the feature extraction system in the vector calculation unit
And extracting features from the feature extraction system. 제1항에 있어서,
상기 (1) 단계는 상기 j번째 부류의 표본들을 제1 표식으로, 나머지를 제2 표식으로 표현함으로써 상기 표식 벡터를 c개의 두 부류 표식 벡터로 나누는 단계를 포함하는 것
을 특징으로 하는 특징 추출 시스템에서 특징을 추출하는 방법.The method according to claim 1,
The step (1) includes dividing the landmark vector into c landmark vector sets by expressing the jth class specimen as a first landmark and the remainder as a second landmark
And extracting features from the feature extraction system. 제1항에 있어서,
상기 (2) 단계는 라그랑지 기법을 이용하여 상기 선형 판별 벡터의 제한 조건을 포함하여 계산하는 단계를 포함하는 것
을 특징으로 하는 특징 추출 시스템에서 특징을 추출하는 방법.The method according to claim 1,
The step (2) includes a step of calculating the constraint condition of the linear discriminant vector using the Lagrangian technique
And extracting features from the feature extraction system. 제1항에 있어서,
상기 (3) 단계는

이라는 조건을 만족할 경우에 상기 변형 행렬

을 계산하는 단계를 포함하며,
상기

은 상기 자료 행렬의 전역 평균 벡터를 의미하는 것
을 특징으로 하는 특징 추출기의 특징 추출 방법.The method according to claim 1,
The step (3)

Lt; / RTI >< RTI ID = 0.0 >

≪ / RTI >
remind

Means the global mean vector of the data matrix
And extracting features of the feature extractor. 제1항에 있어서,
상기 기분해 벡터

은 맞모 성분이 양수인 윗 세모 행렬이며,
상기 (4)단계는 촐레스키 분해한 뒤 후진 대입(Backward Substitution)과 전진 대입(Forward Substitution) 방법을 잇달아 이용하는 단계를 포함하는 것
을 특징으로 하는 특징 추출 시스템에서 특징을 추출하는 방법.The method according to claim 1,
The mood vector

Is a top triangular matrix in which the right-
The step (4) includes a step of using the Backward Substitution method and the Forward Substitution method after Cholesky decomposition
And extracting features from the feature extraction system. 삭제delete 제1항에 있어서,
상기 특징 추출 시스템은

으로 표현되며,
벡터

는 상기 선형 판별 벡터를 의미하고, 스칼라

는 상기 바이어스를 의미하는 것
을 특징으로 하는 특징 추출 시스템에서 특징을 추출하는 방법.The method according to claim 1,
The feature extraction system

Lt; / RTI >
vector

Means the linear discriminant vector, and scalar

Means the bias
And extracting features from the feature extraction system. 삭제delete 제1항에 있어서,
상기 특징 추출 시스템의 상기 특징 추출 방법의 패턴 인식률을 분석하는 단계를 더 포함하는 것
을 특징으로 하는 특징 추출 시스템에서 특징을 추출하는 방법.The method according to claim 1,
And analyzing the pattern recognition rate of the feature extraction method of the feature extraction system
And extracting features from the feature extraction system. 제1항에 있어서,
상기 특징 추출 시스템은 영 공간 기반 선형 판별 분석(Null Space-based Linear Discriminant Analysis) 방법을 이용하는 것
을 특징으로 하는 특징 추출 시스템에서 특징을 추출하는 방법.The method according to claim 1,
The feature extraction system uses a null space-based linear discriminant analysis method
And extracting features from the feature extraction system. 특징 추출기에 포함된 특징 추출 시스템에 있어서,
부류의 개수가 c(c는 3 이상의 정수)일 때 일대다 방법을 이용하여 표식 벡터를 c개의 두 부류 표식 벡터로 나누는 벡터 분류부;
상기 특징 추출기의 자료 행렬을 이용하여 문제 행렬

을 계산하는 제1 계산부;
상기 문제 행렬

을 이용하여 변형 행렬

을 계산하는 제2 계산부-μ_H는 자료 행렬로부터 미리 정해진 양수이고 N은 1이상의 정수이며, 1_NxN은 NxN의 단위 행렬임-;
촐레스키(Cholesky) 분해를 이용하여 상기 변형 행렬

을

으로 분해하는 행렬 분해부; 및
상기 두 부류표식 벡터에서 j번째 부류의 최적해

를 획득하여 선형 판별 벡터

를 획득하는 벡터 계산부
를 포함하는 특징 추출 시스템.In a feature extraction system included in a feature extractor,
A vector classifier for dividing the landmark vector into two c classifier vectors using a one-to-many method when the number of classes is c (c is an integer of 3 or more);
Using the feature matrix of the feature extractor,

A first calculation unit for calculating a first calculation result;
The problem matrix

The transformation matrix

- _{H H} is a predetermined positive number from the data matrix, N is an integer equal to or greater than 1, and 1 _NxN is a unit matrix of NxN;
Using the Cholesky decomposition, the transformation matrix < RTI ID = 0.0 >

of

A matrix decomposition unit for decomposing the matrix into a matrix; And
In the above two classifier vector, the jth class optimal solution

To obtain a linear discriminant vector

A vector calculation unit
The feature extraction system comprising: 제11항에 있어서,
상기 벡터 계산부는
상기 두 부류 표식 벡터로부터 에르미트 벡터(Hermitian Vector)

을 계산하고,
상기 기분해 벡터

을 이용하여 상기 j번째 부류의 최적해

를 획득하며,
상기 j번째 부류의 선형 판별 벡터

를 계산하고,
상기 특징 추출기의 바이어스를 계산하는 것
을 특징으로 하는 특징 추출 시스템.12. The method of claim 11,
The vector calculation unit
From these two classifier vectors, Hermitian Vector

Lt; / RTI >
The mood vector

Gt; j < / RTI >

Lt; / RTI >
The jth class linear discriminant vector

Lt; / RTI >
Calculating a bias of the feature extractor
The feature extraction system comprising: 제12항에 있어서,
상기 특징 추출기는 영 공간 기반 선형 판별 분석(Null Space-based Linear Discriminant Analysis) 방법을 이용하며,
상기 특징 추출기는

으로 표현되는데,
벡터

는 상기 선형 판별 벡터를 의미하고, 스칼라

는 상기 바이어스를 의미하는 것
을 특징으로 하는 특징 추출 시스템.13. The method of claim 12,
The feature extractor uses a null space-based linear discriminant analysis method,
The feature extractor

Lt; / RTI >
vector

Means the linear discriminant vector, and scalar

Means the bias
The feature extraction system comprising:

Images