KR102399025B1

KR102399025B1 - 개선된 데이터 비교 방법

Info

Publication number: KR102399025B1
Application number: KR1020150155232A
Authority: KR
Inventors: 줄리엔 보네; 스테판 젠트릭
Original assignee: 아이데미아 아이덴티티 앤드 시큐리티 프랑스
Priority date: 2014-11-05
Filing date: 2015-11-05
Publication date: 2022-05-17
Also published as: EP3018615A1; US10332016B2; KR20160053833A; JP2016091566A; US20160125308A1; FR3028064A1; FR3028064B1; JP6603548B2; CN105590020B; CN105590020A; EP3018615B1

Abstract

본 발명은 프로세싱 유닛의 프로세싱 수단에 의해 수행되는, 센서 또는 인터페이스로부터 획득된 2개의 데이터들을 비교하기 위한 방법에 관한 것이고, 상기 방법은 비교될 데이터의 2개의 피쳐 벡터들 간의 유사도 함수를 계산하는 것을 포함하고, 데이터의 각각의 피쳐 벡터는 가우시안 변수들의 합으로서 모델링되고, 상기 변수들은:
상기 벡터가 속하는 클래스의 평균,
고유 편차, 및
벡터의 관측 잡음을 포함하고, 각각의 피쳐 벡터는 상기 피쳐 벡터의 관측 잡음에 대한 정보를 포함하는 품질 벡터와 관련되고, 상기 유사도 함수는 상기 피쳐 벡터들 및 관련된 품질 벡터들로부터 계산되는 것을 특징으로 한다.

Description

개선된 데이터 비교 방법{IMPROVED DATA COMPARISON METHOD}

본 발명은 데이터 간의 유사율(rate of similarity)을 결정하기 위해 센서 또는 인터페이스로부터 획득되는 데이터를 비교하기 위한 방법에 관한 것이다. 특히, 본 발명은 기계 학습을 통한 데이터 비교 방법에 관한 것이다.

컴퓨터 비전(또는 디지털 비전)의 분야에서 구현되는 수많은 태스크들은 예컨대, 복합 데이터 간의 유사도 스코어를 획득하기 위해 이미지들과 같은 복잡한 데이터의 비교를 요한다.

예를 들어, 생체 인증(biometric authentication)의 분야에서, 개인들의 얼굴 이미지들은 상기 이미지들이 동일한 사람으로부터 획득된 것인지를 결정하기 위해 비교된다.

이러한 타입의 문제를 다루기 위해, 비교될 데이터로부터 피쳐(feature)들의 추출 - 상기 피쳐들의 추출은 비교될 데이터를 피쳐 벡터(feature vector)들로 변환함 - 을 수행하고 후속적으로, 상기 피쳐 벡터들 간의 유사도 함수(similarity function)를 계산하는 것이 알려져 있다.

계산된 유사도 함수는 일반적으로, 선험적인 미지수인(priori unknown) 파라미터들을 포함한다. 이 파라미터들은 기계 학습에 의해 결정되고 점진적으로 최적화된다. 이렇게 하기 위해, 프로세싱 유닛은 데이터베이스로부터 알려진 데이터의 세트에 대하여 데이터 비교 동작들을 수행하고, 상기 유사도 함수에 의해 제공되는 결과들을 실제 결과와 비교하며, 그리고 이에 따라 더욱 신뢰성있는 결과들에 대해 상기 유사도 함수의 파라미터들을 최적화한다.

예컨대, 참고문헌(저자 D. Chen, X. Cao,, L. Wang, F. Wen 및 J. Sun, Bayesian Face Revisited: A Joint Formulation, ECCV, 2012)으로부터, 데이터 간의 유사도 함수에 대한 학습 방법이 알려져 있는 바, 상기 데이터는 두 개의 독립 가우시안 변수들 즉, 하나의 데이터(datum)가 속하는 클래스의 평균(mean) 및 상기 평균에 대한 상기 데이터의 분산(variation)의 합(summation)에 의해 모델링된다.

예를 들어, 만약 데이터가 얼굴의 이미지들이면, 클래스는 대상(subject)의 아이덴티티(identity)에 대응하고, 그러므로, 클래스의 평균에 대한 분산은 대상의 평균 얼굴 이미지와 서로 다른 상황들 하에서 취해진 이미지 간에 발생할 수 있는 모든 변화들에 대응하는 바, 서로 다른 상황들은 다음과 같다.

- 조명, 이미지 상의 그림자들

- 이미지에서 얼굴의 포즈

- 표정

- 국부적인 블러(local blur), 등.

그러나, 기계 학습으로부터 비롯되는 비교의 성능 레벨의 개선은 변화하는 품질의 데이터가 데이터베이스에서 고려된다는 사실에 의해 제한된다. 그 결과, 결정된 유사도 함수는 비교의 악화된 성능을 보이며, 따라서 비교의 악화된 품질을 보인다. 그러므로, 제안된 비교 방법은 전적으로 신뢰성있는 것은 아니다.

본 발명의 목적은 배경 기술과 비교하여 개선된 성능을 가지는 데이터 비교 방법을 제안하는 것이다.

이에 관하여, 본 발명의 대상은 프로세싱 유닛의 프로세싱 수단에 의해 수행되는, 센서 또는 인터페이스로부터 획득된 두 개의 컴퓨터 데이터 아이템들을 비교하기 위한 방법이며, 상기 방법은 비교될 데이터의 두 개의 피쳐 벡터들 사이의 유사도 함수의 계산을 포함하고, 상기 방법에 있어서,

데이터의 각각의 피쳐 벡터는 가우시안 변수들의 합으로서 모델링되며, 상기 변수들은,

- 벡터가 속하는 클래스의 평균,

- 고유 편차(intrinsic deviation), 그리고

- 벡터의 관측 잡음를 포함하고,

각각의 피쳐 벡터는 상기 피쳐 벡터의 관측 잡음에 관한 정보를 포함하는 품질 벡터와 관련되는 것을 특징으로 하며,

그리고 상기 유사도 함수는 상기 피쳐 벡터들 및 관련 품질 벡터들로부터 계산되는 것을 특징으로 한다.

장점적으로 하지만 선택에 따라(optionally), 본 발명의 방법은 다음의 특징들 중 적어도 하나를 더 포함할 수 있다.

- 상기 유사도 함수는 하나의 동일한 클래스에 속하는 벡터들을 갖는 피쳐 벡터들의 확률 밀도

와 두 개의 서로 다른 클래스들에 속하는 벡터들을 갖는 피쳐 벡터들의 확률 밀도

와의 사이의 비율(ratio)의 로그값(logarithm)이다.

- 상기 유사도 함수는 또한, 피쳐 벡터들의 컴포넌트들의 공분산 행렬들(covariance matrices)의 함수로서 계산되고, 각각의 피쳐 벡터의 관측 잡음의 공분산 행렬은 관련 품질 벡터의 함수로서 획득된다.

- 상기 방법은 또한, 벡터들이 속하는 클래스들의 평균들의 공분산 행렬들 및 상기 클래스 평균들에 대한 벡터 편차들(vector deviations)을 결정하기 위한 학습 알고리즘의 구현을 포함한다.

- 상기 학습 알고리즘은 예측-최대화(expectation-maximization) 타입의 알고리즘이다.

- 상기 유사도 함수는 다음의 공식에 의해 주어진다.

여기서,

여기서,

는 클래스들의 평균들의 공분산 행렬(클래스간(inter-class) 공분산 행렬)이고,

는 평균에 대한 편차들의 공분산 행렬(클래스내(intra-class) 공분산 행렬)이고, 그리고

및

는 각각 벡터들 x 및 y의 관측 잡음들의 공분산 행렬들이다.

- 센서들 또는 인터페이스들로부터 도출되는 컴퓨터 데이터는 물리적 객체들 또는 물리적 크기들을 표시하는 데이터이다.

- 센서들 또는 인터페이스들로부터 도출되는 컴퓨터 데이터는 이미지들이고, 피쳐 벡터들은 이미지들에 적어도 하나의 필터를 적용함으로써 획득된다.

- 품질 벡터의 컴포넌트들은 피쳐 벡터를 형성하는 데이터의 타입 및 피쳐들의 타입에 따라 생성된다.

- 방법은 또한, 데이터가 공통 클래스에 속하는지를 결정하기 위한 임계(threshold)와의 계산된 유사도 함수의 결과의 비교를 포함한다.

본 발명의 추가적인 대상은 프로세싱 유닛의 프로세싱 수단에 의해 실행될 때 이전의 설명에 따른 방법을 구현하도록 하는 코드 명령어들을 포함하는 컴퓨터 프로그램 물이다.

본 발명의 추가적인 대상은 시스템이며, 상기 시스템은,

- 소위 복수의 라벨링된 데이터를 포함하는 데이터베이스와,

- 데이터 취득 유닛과, 그리고

- 프로세싱 유닛을 포함하고, 상기 프로세싱 유닛은 두 개의 데이터 아이템들로부터 두 개의 피쳐 벡터들 및 두 개의 관련 품질 벡터들을 구성하도록 된 프로세싱 수단을 포함하고, 상기 프로세싱 유닛은 또한, 이전의 설명에 따른 비교 방법을 구현함으로써 데이터를 비교하도록 되어 있다.

상기 제안된 방법은 데이터 간의 유사도 함수를 계산할 때 데이터 품질이 고려될 수 있게 한다. 이는 양호한 품질의 데이터와 더욱 불확실한 데이터 간에 가변적인 가중을 이용하는 것을 가능하게 한다.

예를 들어, 본 발명의 방법이 이미지들의 비교에 적용될 때, 이미지의 그림자 또는 블러 영역들은 선명하게 보이고 분명하게 구별되는 영역들만큼의 가중으로 유사도 함수에 의해 고려되지 않는다.

그럼으로써, 데이터 비교의 증가된 성능이 획득된다.

추가적으로, 기계 학습은 유사도 함수 파라미터들의 최적화를 가능하게 하고, 따라서 비교 방법의 개선된 성능을 가능하게 한다.

본 발명의 다른 특징들, 목적들 및 장점들이, 단지 예시를 위해 주어지고 첨부 도면들과 연계하여 읽혀질 다음의 비한정적인 설명으로부터 분명해질 것이다.
도 1은 비교 방법을 구현하도록 된 시스템의 예를 도시한다.
도 2는 본 발명의 하나의 실시예에 따른 데이터 비교 방법의 주요 단계들을 도시한다.

도 1을 참조하면, 하기에 기술되는 컴퓨터 데이터 비교 방법을 구현하기 위해 프로세싱 수단(11)을 포함하는 프로세싱 유닛(10)을 포함하는 시스템(1)이 예시된다.

상기 프로세싱 유닛(10)은 예컨대 집적 회로일 수 있고, 상기 프로세싱 수단은 프로세서일 수 있다.

장점적으로, 시스템(1)은 선택에 따라, 하기에 기술되는 바와 같이 기계 학습을 수행하기 위해 프로세싱 유닛(10)에 의해 이용되는 복수의 데이터를 메모리에 저장하는 원격 데이터베이스(20)를 더 포함한다.

마지막으로, 시스템(1)은 데이터 취득 유닛(30)을 포함하거나 또는 데이터 취득 유닛(30)이 시스템과는 독립적인 경우, 상기 시스템은 이러한 유닛과 통신하도록 된 인터페이스(미도시)를 포함한다. 이러한 방식으로, 시스템(1)은 하기에 기술되는 방법을 이용하여 특히, 데이터 b의 비교를 위해 상기 데이터 b를 수신 및 프로세스할 수 있다.

하기에 기술되는 방법에서 비교될 데이터의 타입에 따라, 상기 데이터 취득 유닛은 어떤 타입으로든 이루어질 수 있는 바, 예컨대, 광학 센서(포토그래픽 카메라, 비디오 카메라, 스캐너), 음향 센서, 지문 센서, 움직임 센서(movement sensor), 등으로 이루어질 수 있다. 상기 데이터 취득 유닛은 또한, 텍스트, 그림, 등과 같은 오퍼레이터에 의해 입력되는 데이터를 기록하도록 하는 사람과 기계간의 인터페이스(Man-Machine interface)(키패드, 터치-스크린 인터페이스를 구비한 태블릿)일 수 있다.

컴퓨터 데이터 b는 취득 유닛(30)에 의해 획득되며, 그러므로 센서 또는 인터페이스, 예컨대 사람과 기계간의 인터페이스로부터 도출된다. 컴퓨터 데이터 b는 물리적 객체, 예컨대 이미지, 스케매틱(schematic), 기록, 설명을 표시하는 데이터 또는 물리적(전기적, 기계적, 열적, 음향적, 등등) 크기를 표시하는 데이터, 예컨대 센서에 의해 기록된 데이터일 수 있다.

프로세싱 유닛의 프로세싱 수단(11)은 장점적으로는, 적합한 프로그램을 실행함으로써 하기에 기술되는 데이터 비교 방법을 수행하도록 구성된다.

또한 이 방법을 구현하기 위해, 프로세싱 수단들(11)은 - 데이터 취득 장치(30)에 의해 전달된 컴퓨터 입력 데이터 b로부터 - 데이터와 연관된 피쳐 벡터(feature vector) x 및 상기 피쳐 벡터와 연관된 데이터의 품질 벡터(quality vector) qx를 생성하기 위해 피쳐들의 추출을 생성하도록 구성된 피쳐 추출 모듈(12)을 장점적으로 포함한다.

품질 벡터 qx는 피쳐 벡터와 동일한 사이즈의 벡터이고, 그것의 각 구성요소는 피쳐 벡터 x의 대응하는 구성요소에 포함된 정보의 품질을 표시한다. 대안적으로, 품질 벡터 qx는 임의의 사이즈일 수 있다. 품질 벡터의 생성은 데이터 b의 타입에 의존한다.

예를 들면, 피쳐 추출은 데이터 b에 이 목적을 위해 구성된 하나 이상의 필터들을 적용함으로써 수행되며, 선택에 따라 필터링 결과의 프로세싱(예를 들면, 계산된 히스토그램(computed histogram) 등)이 후속한다.

품질 벡터의 생성은 데이터 b의 타입 및 피쳐 벡터 x의 피쳐들의 타입, 즉, 벡터 x의 컴포넌트 구성요소들에 의존한다. 품질 벡터의 각 구성요소는 피쳐 벡터의 특정한 피쳐들과 연관된 고유의 데이터에 관련된 정보를 고려한다.

예를 들면, 신호 프로세싱 또는 이미지 프로세싱 분야에서, 데이터가 이미지이거나 센서에 의해 획득된 대표적인 신호의 취득인 경우, 데이터의 주파수 표현(예를 들면, 푸리에 변환) 또는 공간 주파수 표현(예를 들면, 웨이블릿 변환(wavelet transform)을 피쳐 벡터 x로서 사용하는 것은 빈번하다. 그 후 피쳐 벡터의 각 컴포넌트는 일부 주파수 대역들에만 의존한다.

상기 경우들에서, 데이터의 높은 주파수 컴포넌트들은 낮은 주파수 컴포넌트들에 비해 더 차별적일 뿐만 아니라 잡음(noise)의 존재 또는 신호 해상도(signal resolution)의 부족과 같은 현상에 더 민감하다고 판명된다.

데이터에서 잡음의 양은 데이터가 센서에 의해 획득된 신호인 경우 그것의 에너지 스펙트럼을, 또는 데이터가 이미지인 경우 그것의 고유 해상도를 분석함으로써 결정된다. 예를 들면, 펜닝(Pfenning) 및 커그너(Kirchner)의 논문은 이미지의 해상도의 결정으로 알려져 있다: 《Spectral Methods to Determine the Exact Scaling Factor of Resampled Digital Images》, ISCCP, 2012.

그 후 피쳐 벡터 x 및 데이터의 고유 품질의 함수로서 생성된 품질 벡터 qx는 다음과 같이 구성된다:

- 고품질은 데이터의 낮은 주파수 컴포넌트들에 민감한 피쳐 벡터의 컴포넌트들에 기인한다.

- 고품질은 데이터의 높은 주파수 컴포넌트들에 민감하고 낮은 잡음 레벨 및/또는 높은 해상도를 가지는 피쳐 벡터의 컴포넌트들에 기인한다.

- 저품질은 높은 주파수 컴포넌트들에 민감하고 높은 잡음 레벨 및/또는 낮은 해상도를 가지는 피쳐 벡터의 컴포넌트들에 기인한다.

잡음 레벨 또는 해상도에 대한 기인된 품질 값들 및 임계치들은 검증 기반의 비교 방법의 성능을 최적화하기 위해 실험적으로 결정된다.

다른 예에 따르면, 데이터는 얼굴 이미지이다.

이 예에 따르면, 피쳐 벡터는 첸(Chen) 등의 논문, 《Blessing of Dimensionality: High-dimensional Feature and Its Efficient Compression for Face Verification》, VCPR, 2013에 보여진 바와 같이 얼굴의 특정 시맨틱 포인트들(semantic points)의 부근에서 추출된 국부적 기술어들(local descriptors)을 결부(concatenating)시킴으로써 획득된다(예를 들면, 코의 끝, 입의 가장자리, 눈 등).

이 표현은 기술어들을 일정한 그리드(regular grid)에서 추출하는 방법들보다 포즈의 변화들에 대해 더 강건한(robust) 이점을 가진다.

그러나 이들 피쳐들의 추출은 이들 포인트들을 검출하는 단계를 포함한다. 이 단계 내내 검출기(detector)는 이미지에서 얼굴의 각 포인트의 가장 개연성 있는 위치를 제공하는 것 뿐만 아니라 검출 정확성(detection accuracy)의 신뢰도 레벨(confidence level)을 해석(translating)하는 정보를 제공하는데 사용된다.

측정은, 랍(Rapp) 등의 논문 《Multiple kernel learning SVM and statistical validation for facial landmark detection》, Automatic Face & Gesture Recognition, 2011,으로부터 SVM들(Support Vector Machines)에 기초하여 검출기를 사용할 때 분류 평면(separating hyperplane)에 대한 거리를 측정하는 예로 알려져 있다.

다른 예는 단톤(Dantone)등의 논문, 《Real-time Facial Feature Detection using Conditional Regression Forests》, CVPR, 2012에서 주어지며, 신뢰도의 측정은 회귀 트리(regression tree)를 사용하는 검출기에 의해 결정된 투표들의 수에 의해 주어진다.

이 신뢰도 정보는 거기에 대응하는 얼굴의 시맨틱 포인트(semantic point)의 검출의 품질을 귀착(attributing)시킴으로써 피쳐 벡터의 각 컴포넌트들과 연관된 품질을 생성하는데 사용된다.

추가적 예에 따르면, 예를 들면, 출원 번호 N°FR 2 998 402에 기술된 방법을 적용함으로써 얼굴 이미지가 얼굴의 정면 이미지가 아닌 이미지로부터 생성된 얼굴 이미지인 경우, 품질 벡터는 신뢰도 색인이며, 이 색인은 원본 이미지에서 발생하는 얼굴의 포인트들에 대해 상대적으로 높아지며 원본 이미지에서 발생하지 않는 얼굴의 포인트들에 대해 상대적으로 낮아지고, 외삽법(extrapolation)을 통해 재구성된다.

더 일반적으로, 데이터가 이미지인 경우 품질 벡터는 블러(blur)의 국부적 측정에 의해 획득된다.

대안적으로, 피쳐 추출 모듈은 취득 유닛으로 하여금 프로세싱 수단(11)과 피쳐 벡터 및 연관된 품질 벡터를 직접적으로 통신하게 하는 취득 유닛(30)의 모듈이다.

데이터 비교 방법

도 2를 참조하면, 이제 프로세싱 유닛의 프로세싱 수단들(11)에 의해 구현되는 데이터 비교 방법이 주어진다.

이 방법은 각각의 데이터로부터 획득된 동일한 사이즈의 2개의 피쳐 벡터들 x 와 y와의 사이의 유사도 함수(similarity function)(100)를 계산함으로써 및 데이터베이스에서 유사도 함수의 파라미터들의 기계 학습(machine learning)(200)을 수행함으로써 2개의 데이터 아이템들의 비교를 포함한다.

이 방법에서 각 피쳐 벡터는 3개의 독립적 가우시안 변수들(Gaussian variables)의 합으로서 모델링된다:

χ=μ+ω+ε

여기서:

- μ는 벡터 x가 속하는 클래스의 평균이며;

- ω는 상기 평균으로부터의 벡터 x의 고유의 편차이며; 그리고

- ε는 관측 잡음이다.

클래스는 유사하다고 간주되는 피쳐 벡터들의 세트이다. 2개의 피쳐 벡터들은 만약 유사도 함수에 의한 그들의 비교가 임계치보다 높은 결과를 생성하면 유사하다고 간주되며, 이 임계치는 경험적으로 결정된다.

예를 들면, 만약 데이터가 얼굴 이미지들인 경우, 클래스는 개인에 장점적으로 대응한다. 수개의 데이터 중 2개의 피쳐 벡터들을 비교함으로써, 만약 데이터가 동일한 개인으로부터 유래된 경우, 데이터는 유사하다고 간주진다.

이전에 기술된 모델로 되돌아가면, 1개의 동일한 클래스에 속하는 2개의 피쳐 벡터들은 따라서 동일한 μ값을 가지지만, 서로 다른 ω 및 ε값들을 가진다.

만약 피쳐 벡터들이 서로 다른 클래스들에 속하는 경우, 3개의 변수들은 완전히 독립적이다.

이들 3개의 변수들은 0을 중심으로 하는 다변수 정규 분포를 따른다고 간주되며, 각각의 공분산 행렬들(covariance matrixes)은 S_μ, S_ω및 S_ε로 작성된다. S_μ는 클래스 간(inter-class) 공분산 행렬, S_ω는 클래스 내(intra-class) 공분산 행렬, S_ε은 관측 잡음 공분산 행렬이라 불린다.

S_μ, S_ω는 모든 피쳐 벡터들에 공통되는 미지수들(unknowns)이다.

반면, S_ε은 피쳐 추출 모듈에 의해, 그것이 피쳐 벡터와 연관된 품질 벡터로부터 획득됨에 따라 기지수(known)이다. 이는 연관된 피쳐 벡터와 동일한 사이즈이다.

예를 들면, 관측 잡음이 다른 것과 상관되지 않는다고 가정하면, S_ε은 대각 행렬(diagonal matrix)에 의해 잘 근사화된다.

이 대각 행렬의 구성요소들은 이 품질 벡터로부터 획득되며, 그 후 품질 벡터의 컴포넌트들의 분산(variance)에 대응한다.

예를 들면, 분산은 품질 벡터 qx의 컴포넌트들에 f(q_x)=1/e^aqx ^+b 타입의 시그모이드 함수(sigmoid function)를 적용함으로써 부여된다. 계수들 a 및 b는 결정된 분산 레벨을 품질 레벨과 연관시키기 위해 선택된다.

예를 들면, 고품질은 0의 분산과 연관되며, 매우 낮은 품질은 최대 분산과 연관되며, 중간 분산들은 중간 품질들에 대응한다.

일반적으로, 품질 벡터 및 피쳐 벡터가 데이터 타입에 의존함에 따라, 품질 벡터를 잡음 공분산 행렬로 변환하는 전달 함수(transfer function)는 연관된 품질 벡터 및 피쳐 벡터에 특정된다.

이하에서, S_εx는 품질 벡터 qx로부터 획득된 벡터 x의 배경 잡음의 공분산 행렬을 나타내며, S_εy는 품질 벡터 qy로부터 획득된 벡터 y의 배경 잡음의 공분산 행렬이다.

H_sim은 2개의 피쳐 벡터들이 1개의 동일한 클래스에 속한다는 즉 대응하는 데이터가 유사하다고 간주되는 가설을 표시하며, H_dis는 피쳐 벡터들이 서로 다른 클래스들에 속하고 대응하는 데이터가 비유사하다고 간주되는 역가설을 표시한다.

x 및 y의 각각의 배경 잡음의 공분산 행렬들을 알고 있고 가설 H_sim을 고려하는, x 및 y를 생성하는 결합 확률(joint probability)은

로 작성된다. 이 확률은 중심은 0이고 공분산 행렬은 S_sim:

인 가우시안 법칙(Gaussian law)을 따른다.

x 및 y의 각각의 배경 잡음의 공분산 행렬들을 알고 있고 가설 H_dis을 고려하는, x 및 y를 생성하는 결합 확률은

로 작성된다. 이 확률은 중심이 0이고 공분산 행렬은 S_dis:

인 가우시안 법칙을 따른다.

행렬들 S_sim 및 S_dis는 다음과 같이 정의된다.

어느 정도 그 자체로 알려진

의 확률 밀도는

이며, |S_sim| 는 S_sim의 행렬식(deteminant)이며, N은 피쳐 벡터의 차원(dimension)이다.

동일한 표현이 필요한 변경을 가하여 확률 밀도

에 적용된다.

벡터들 x 및 y에 대응하는 2개의 데이터를 비교하기 위한 계산된 유사도 함수는 1개의 동일한 클래스에 속하는 벡터들을 가지는 피쳐 벡터들의 확률 밀도와 2개의 서로 다른 클래스들에 속하는 벡터들을 가지는 피쳐 벡터들의 확률 밀도와의 사이의 비율의 로그값(logarithm)이다.

그러므로 유사도 함수는 다음과 같이 표현된다:

위에 표시된 확률 밀도의 표현을 이용할 때, 그리고 행렬들

및

를 인버팅하기 위해 블럭 인버젼 수식을 이용하여 상기 함수를 전개할 때, 획득되는 유사도 함수는 다음과 같이 표현된다.

이 표현에서, A, B 및 C는

의 블럭 인버젼의 결과인 항들이고 각각 다음과 같이 표현된다.

상기 상수는 x, y,

또는

에 종속하지 않고 그러므로 무시될 수 있다.

그러므로 상기 유사도 함수 LR은 x 및 y의 관측 잡음들의 공분산 행렬들

및

을 고려하고, 그리고 그러므로 각 피쳐 벡터와 관련된 품질 벡터를 고려한다는 것이 발견된다.

비교의 결과는 그러므로 불량하거나 불확실한 품질을 갖는 것으로 간주되는 피쳐에 대한 낮은 가중치 부여 및 양호한 품질 또는 높은 신뢰도를 갖는 피쳐에 대한 높은 가중치 부여를 허용하는 피쳐 벡터와 관련된 품질 - 또는 신뢰도-에 의해 영향을 받는다.

본 명세서의 나머지에서 볼 수 있는 바와 같이, 이 유사도 함수는 또한 기계 학습에 의해 파라미터화된다. 피쳐 벡터와 관련된 품질을 고려함으로써, 불량한 품질의 데이터의 상기 함수의 파라미터화에 대한 영향이 최소화될 수 있다.

상기 비교 방법은 그러므로 더 신뢰성이 있다.

도 2로 돌아가면, 그 후에 단계(110)에서 비교의 결과는 결정된 임계치와 비교된다.

이 임계치는 (하나의 동일한 클래스에 속하거나 속하지 않는다고 알려진)데이터베이스의 알려진 피쳐 벡터들에 대한 다수의 비교들을 적용함으로써 경험적으로 장점적으로 결정된다.

만약 x 및 y에 대해 적용되는 상기 유사도 함수의 결과가 결정된 임계치보다 높다면, 대응하는 데이터는 유사한 것으로 간주된다. 그렇지 않으면 상기 데이터는 비유사한 것으로 간주된다.

이전에 표시된 상기 유사도 함수 LR의 표현은 이 함수가 알려지지 않은 공분산 행렬들

에 의해 파라미터화됨을 보여준다.

그러므로 상기 방법은 상기 행렬들을 기계 학습에 의해 결정하는 단계(200)를 포함한다.

상기 방법은 예측-최대화(EM; expectation-maximization) 알고리즘을 이용해서 장점적으로 수행되고 데이터베이스에 저장된 데이터의 세트에 수행되며, 이 데이터는 <<라벨링됨(labelled)>>, 즉, 데이터가 속하는 각각의 클래스들이 알려져 있다고 불린다.

개의 피쳐 벡터들이 속하는 클래스는 c로 표기되고,

는 클래스의 피쳐 벡터들의 결부(concatenation)를 표기하고

는 이들 각각의 관측 잡음의 공분산 행렬들을 표기한다.

잠재 변수들(latent variables)

은 각각의 클래스 c에 대해 정의되며,

가 클래스 평균이고 그러므로 클래스 평균은 하나만 존재하며, 각각의

는 클래스의 피쳐 벡터의 이 평균으로부터의 편차이다(그러므로 편차는 피쳐 벡터당 하나씩 존재함).

EM 알고리즘에 의해 추정될 파라미터는

이다.

예측-최대화 알고리즘은 잠재 변수들

의 분포의 파라미터들을 추정하기 위한 제1 단계(210)를 포함하는 반복적 알고리즘이며, 여기서

는 파라미터들의 이전의 추정이다.

상기 방법의 초기화로,

는 상기 파라미터들의 제1의 경험적 추정이다.

파라미터

의 초기화는 각 클래스 c에 대해서 상기 클래스의 경험적 평균을 계산하고 그 후에 상기 평균값들의 공분산 행렬을 결정함으로써 장점적으로 획득된다.

파라미터

의 초기화는 각 클래스에 대해서 상기 피쳐 벡터들의 공분산 행렬을 계산하고 - 상기 공분산 행렬에서 상기 클래스 평균이 차감됨(예를 들어, 상기 평균에 대한 피쳐 벡터 차이들)- 그 후에 모든 클래스들에 대한 평균 공분산 행렬을 결정함으로써 획득될 수 있다.

상기 알고리즘은 다음으로

에 후속하는, 잠재 변수

에 대한 예측된 로그 라이클리우드(logarithmic likelihood)의 최대화 단계(220)를 포함한다.

이 단계를 적절히 수행하고 계산 시간을 최소화하기 위해서, 다음과 같이

를 인수분해함으로써, 잠재 변수들

이

와 조건적으로 독립적이라는 사실이 고려된다.

단계(220)에서의

의 최적화는 파라미터들

및

의 확률 분포들을 계산하는 것을 필요로 한다. 이 계산들은 아래에 상세히 설명된다.

여기서,

이며, 그리고,

이다.

방정식 (1)과

가 확률들의 분포라는 사실을 조합하면

이다.

추가적으로,

이고, 여기서,

이며, 여기서,

이고,

이다.

단계(220)는 그러므로

및

에 관한 최대화를 수반한다.

이는 기울기들(gradients)을 계산하고

및

의 해를 구함으로써 획득된다.

추가적으로,

예측-최대화 알고리즘은 단계(210)에서 변수들

및

을 연속적으로 계산하고 값들

및

을 적용시키고 그러므로

를 단계(220)에서 수렴할 때까지 적용함으로써 반복적으로 수행된다. 단계(210)의 각각의 새로운 반복에서, 이전 단계(220)에서 획득된

의 새로운 값이 재사용된다.

Claims

프로세싱 유닛(10)의 프로세싱 수단(11)에 의해 구현되는, 센서 또는 인터페이스(30)로부터 획득된 2개의 데이터들의 비교 방법으로서,
상기 방법은 비교될 상기 데이터들의 2개의 피쳐 벡터들(feature vectors) (x,y)간의 유사도 함수(LR)의 계산(100)을 포함하고,
데이터의 각각의 피쳐 벡터가 3개의 독립적인 가우시안 변수들(Gaussian variables)의 합인
로서 모델링되고, 상기 변수들은:
상기 벡터가 속하는 클래스의 평균
,
고유 편차(intrinsic deviation)
,
상기 벡터의 관측 잡음(observation noise)
이며,
각 피쳐 벡터 x는 상기 피쳐 벡터의 관측 잡음에 대한 정보를 포함하는 품질 벡터(quality vector) qx와 관련되고, 상기 품질 벡터의 컴포넌트들은 데이터의 타입 및 상기 피쳐 벡터를 형성하는 피쳐들의 타입의 함수로서 생성되고,
상기 유사도 함수(LR)는 상기 피쳐 벡터들의 컴포넌트들의 공분산 행렬들(covariance matrixes)

의 함수로서 피쳐 벡터들(x, y) 및 관련된 품질 벡터들(qx, qy)로부터 계산되고, 각각의 피쳐 벡터의 상기 관측 잡음 공분산 행렬
은 관련된 품질 벡터의 함수로서 획득되는 것을 특징으로 하는 비교 방법.
제 1항에 있어서,
상기 피쳐 벡터들의 컴포넌트들의 공분산 행렬들은 각각 상기 벡터들이 속하는 클래스들의 평균들의 공분산 행렬(클래스 간 공분산 행렬(inter-class covariance matrix)
이라고 불림) 및 클래스 평균들로부터의 벡터 편차들의 공분산 행렬(클래스 내 공분산 행렬(intra-class covariance matrix)
이라고 불림)인 공분산 행렬들을 포함하는 것을 특징으로 하는 비교 방법.
제1항에 있어서,
상기 유사도 함수(LR)는 하나의 동일한 클래스에 속하는 벡터들을 갖는 피쳐 벡터들의 확률 밀도
와 2개의 서로 다른 클래스들에 속하는 벡터들을 갖는 피쳐 벡터들의 확률 밀도
간의 비율의 로그값(logarithm)인 것을 특징으로 하는 비교 방법.
제1항에 있어서,
상기 벡터들이 속하는 클래스들의 평균들의 공분산 행렬(S_μ) 및 상기 벡터들이 속하는 클래스들의 평균들로부터의 상기 벡터들의 편차들의 공분산 행렬 (S_ω)을 결정하기 위한 학습 알고리즘의 적용(200)을 더 포함하는 것을 특징으로 하는 비교 방법.
제 4항에 있어서,
상기 학습 알고리즘은 예측-최대화 타입(expectation-maximization type)의 알고리즘인 것을 특징으로 하는 비교 방법.
제1항에 있어서,
상기 유사도 함수(LR)는

라는 수식에 의해 주어지고, 여기서,

이며, 여기서
는 클래스들의 평균들의 공분산 행렬이고,
는 평균으로부터의 편차들의 공분산 행렬이고,
및
는 각각 벡터들 x 및 y의 관측 잡음의 공분산 행렬들인 것을 특징으로 하는 비교 방법.
제1항에 있어서,
상기 센서 또는 인터페이스(30)로부터 획득된 2개의 데이터들은 물리적 객체들 또는 물리적 크기들을 나타내는 데이터인 것을 특징으로 하는 비교 방법.
제7항에 있어서,
상기 센서 또는 인터페이스(30)로부터 획득된 2개의 데이터들은 이미지들이고, 상기 피쳐 벡터들은 적어도 하나의 필터를 상기 이미지들에 적용함으로써 획득되는 것을 특징으로 하는 비교 방법.
제1항에 있어서,
상기 데이터가 공통된 클래스에 속하는지 여부를 결정하기 위해서, 상기 계산된 유사도 함수(LR)의 결과와 임계치 간의 비교(110)를 더 포함하는 것을 특징으로 하는 비교 방법.
코드 명령어들을 저장한 컴퓨터 판독가능한 저장매체로서,
상기 코드 명령어들은 프로세싱 유닛(10)의 프로세싱 수단(11)에 의해 실행될 때, 제1항에 따른 방법을 수행하는 것을 특징으로 하는 컴퓨터 판독가능한 저장매체.
시스템(1)으로서,
복수의 소위 라벨링된 데이터(so-called labelled data)를 포함하는 데이터베이스(20)와;
데이터 취득 유닛(30)과; 그리고
2개의 피쳐 벡터들 (x,y) 및 2개의 관련된 품질 벡터들 (qx, qy)을 2개의 데이터 아이템들로부터 구성하도록 된 프로세싱 수단(11)을 포함하는 프로세싱 유닛(10)을 포함하고, 상기 프로세싱 유닛은 또한 제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현함으로써 상기 데이터를 비교하도록 된 것을 특징으로 하는 시스템(1).