KR20190143525A

KR20190143525A - 에이다부스트 학습을 이용한 문자 데이터 검출 방법

Info

Publication number: KR20190143525A
Application number: KR1020180066137A
Authority: KR
Inventors: 장석우
Original assignee: 안양대학교 산학협력단
Priority date: 2018-06-08
Filing date: 2018-06-08
Publication date: 2019-12-31
Also published as: KR102139932B1

Abstract

입력 영상으로부터 MCT 특징과 에이다부스트 방법을 이용하여 문자의 후보 영역들을 추출하고, 기하학적인 특징을 활용하여 추출된 문자의 후보 영역들로부터 비 문자 영역들을 제외하여 실제적인 문제 영역들만을 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것으로서, (a) 상기 입력영상에서 MCT(Modified Census Transform) 특징을 추출하는 단계; (b) 에이다부스트 학습 방식으로 생성된 문자검출 분류기를 이용하여, 상기 추출한 MCT 특징을 상기 문자검출 분류기에 입력시켜서 상기 입력영상에서 문자 영역의 후보 영역들을 검출하는 단계; 및, (c) 후보 영역의 기하학적 특징을 사용하여, 상기 후보 영역들을 필터링하여 최종 문자 영역을 검출하는 단계를 포함하는 구성을 마련하여, MCT 특징과 에이다부스트 방법을 이용할 뿐만 아니라 기하학적인 특징으로 후보 영역을 효과적으로 필터링함으로써, 종래기술에 비하여 보다 정확하게 문자 영역들을 검출할 수 있다.

Description

에이다부스트 학습을 이용한 문자 데이터 검출 방법 { A Method of Detecting Character Data through a Adaboost Learning Method }

본 발명은 입력되는 영상으로부터 MCT 특징과 에이다부스트(Adaboost) 방법을 이용하여 문자 영역만을 정확하게 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것이다.

또한, 본 발명은 입력 영상으로부터 MCT 특징과 에이다부스트 방법을 이용하여 문자의 후보 영역들을 추출하고, 기하학적인 특징을 활용하여 추출된 문자의 후보 영역들로부터 비 문자 영역들을 제외하여 실제적인 문제 영역들만을 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것이다.

최근 들어, 하드웨어와 소프트웨어의 눈부신 발전으로 인해 스마트폰, CCTV, 블랙박스, 드론(drone), 인공위성, 그리고 디지털 카메라 등에서 수집되는 다양한 종류의 영상 데이터의 양이 기하급수적으로 증가하고 있다. 일반적으로 영상 빅 데이터는 기존의 정형화되어 있는 자료를 분석하는 대신 그동안 제대로 분석되지 못하고 있었던 이런 종류의 비정형 영상 데이터를 분석하여 의미 있는 정보를 추출함으로써 새로운 가치를 발굴하고자 하는 차세대의 신기술로 인식되고 있다[비특허문헌 1].

다양한 종류의 영상 데이터를 분석하여 영상 내에 포함된 문자 영역만을 추출하는 작업은 매우 중요하다[비특허문헌 2]. 왜냐하면 영상에 포함된 문자는 영상의 의미를 대표하는 주요한 핵심 정보를 제공할 수 있기 때문이다. 이런 문자 추출 분야 중에서 영상 분석을 이용한 자동차의 번호판 추출은 특히 중요한데, 주차장의 출입 관제, 그리고 도로에서의 과속 차량 단속 등을 위해서는 반드시 필요한 작업이다[비특허문헌 3].

다양한 종류의 입력 영상으로부터 문자 영역만을 자동으로 추출하는 기존의 연구는 관련된 참고문헌에서 찾아볼 수 있다. [비특허문헌 4]에서는 N×N 크기의 정방형 블록 단위로 입력 영상을 분할한 다음, 문자가 존재하는 영역에서는 가로 또는 세로 방향의 고주파 요소가 상대적으로 크다는 특징을 이용하여 문자 영역들을 추출하였다. [비특허문헌 5]에서는 채도(Saturation) 데이터를 사용하고, 배경 영역과 문자 영역 사이의 색상 천이지도(transition map)를 작성하여 입력 영상으로부터 문자 영역을 검출하였다. [비특허문헌 6]에서는 고정된 카메라로 촬영된 그레이(gray) 영상으로부터 움직임을 이용하여 물체를 감지하고 추적함으로써 전방에 위치한 차량이나 이륜차의 번호판을 검출하였다. [비특허문헌 7]에서는 영상으로부터 노란색 또는 녹색의 색상 정보를 이용하여 자동차의 번호판 영역을 검출하였다. 그러나 이 방법은 배경이 비교적 단순한 영상이어야 한다는 단점이 존재한다. 위에서 기술한 방법들 이외에도 문자 영역 추출에 관련된 많은 방법들이 계속해서 관련 문헌에 소개되고 있다.

위에서 기술한 기존의 문자 영역 검출 방법들도 어느 정도는 정확하게 문자 영역들을 검출할 수는 있다. 그러나 사전에 정해진 일정한 주변 환경에서만 어느 정도 그 정확성을 보장할 수 있다는 제약사항(constraint)이 존재한다.

따라서 주변 환경과 상관없이 영상에서 문자를 정확하게 검출할 수 있는 기술이 필요하다.

J.-G. Ko, Y.-S. Bae, J.-Y. Park, and K. Park, "Technologies Trends in Image Big Data Analysis," Electronics and Telecommunications Trends, Vol. 29, No. 4, pp. 21-29, August 2014. S.-W. Jang, K.-J. Ahn, and G.-Y. Kim, "Robust Caption Segmentation Using DCT Coefficients and Edges," Journal of Korean Institute of Next Generation Computing, Vol. 11, No. 3, pp. 63-72, June 2015. K. Lim, H. Byun, and Y. Choi, "Vehicle License Plate Detection in Road Images," Journal of Korean Institute of Information Scientists and Engineers, Vol. 43, No. 2, pp. 186-195, February 2016. X. Qian, G. Liu, H. Wang, and R. Su, "Text Detection, Localization, and Tracking in Compressed Video," Signal Processing: Image Communication, Vol. 22, No. 9. pp. 752-768. October 2007. W. Kim and C. Kim, "A New Approach for Overlay Text Detection and Extraction from Complex Video Scene," IEEE Transactions on Image Processing, Vol. 18, No. 2, pp. 401-411, February 2009. H. Lee, S. Chen, and S. Wang, "Extraction and recognition of license plates of motorcycles and vehicles," In Proc. of the 17th IEEE International Conference on Pattern Recognition, pp. 356-359, August 2004. K. Deb and K. Jo, "HSI Color-based Vehicle License Plate Detection," In Proc. of the International Conference on Control, Automation and Systems, pp. 687-691, 2008. B. Froba and A. Ernst, "Face Detection with the Modified Census Transform," In Proc. of the IEEE International Conference on Automatic Face and Gesture Recognition, pp. 91-96, May 2004. H.-W. Jo and B. Moon, "A Modified Census Transform Using the Representative Intensity Values," In Proc. of the International SoC Design Conference (ISOCC), pp. 309-310, November 2015. C. Gao, P. Li, Y. Zhang, J. Liu, and L. Wang, "People Counting Based on Head Detection Combining Adaboost and CNN in Crowded Surveillance Environment," Neurocomputing, Vol. 208, pp. 108-116, October 2016. P. Viola and M. Jones, "Rapid Object Detection Using a Boosted Cascade of Simple Features," In Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, December, 2001. E. Rosten and T. Drummond, "Machine Learning for High-Speed Corner Detection," In Proc. of the European Conference on Computer Vision, pp. 430-443, May 2006.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, MCT 특징과 에이다부스트(Adaboost: adaptive boosting) 학습 방법을 이용하여 입력된 영상으로부터 문자의 후보 영역들을 추출하고, 추출된 후보 문자 영역들을 기하학적인 정보를 이용하여 필터링함으로써 비 문자 영역들을 제외하여 실제적인 문자 영역들만을 강인하게 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 입력영상에서 문자 영역을 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 관한 것으로서, (a) 상기 입력영상에서 MCT(Modified Census Transform) 특징을 추출하는 단계; (b) 에이다부스트 학습 방식으로 생성된 문자검출 분류기를 이용하여, 상기 추출한 MCT 특징을 상기 문자검출 분류기에 입력시켜서 상기 입력영상에서 문자 영역의 후보 영역들을 검출하는 단계; 및, (c) 후보 영역의 기하학적 특징을 사용하여, 상기 후보 영역들을 필터링하여 최종 문자 영역을 검출하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 입력영상의 MCT 특징 Γ(x)은 다음 [수식 1]에 의하여 추출하는 것을 특징으로 한다.

[수식 1]

단, I(x)는 x의 화소 값을 나타내고,

는 커널 내에 위치한 화소들의 평균 화소 값을 나타내고, n'은 커널의 중심과 인접한 화소들의 집합을 나타내고, ζ()는 비교 함수로서 I(y)가 평균 화소 값 보다 크면 1을 출력하고, 그렇지 않으면 0을 출력하는 함수이고,

는 10진수 변환 연산자로서 비교 함수 ζ()의 결과로 나오는 아홉 자리의 2진수 배열을 10진수로 변경해 주는 연산자임.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c)단계는, (c1) 상기 후보 영역들을 그룹핑하고 각 그룹에서 대표 후보영역을 추출하는 단계; (c2) 상기 대표 후보영역을 사전에 정해진 길이만큼 확장하는 단계; (c3) 확장된 대표 후보영역에 대하여 이진화를 수행하는 단계; (c4) 이진화된 대표 후보영역에 대하여 레이블링(labeling)을 수행하는 단계; (c5) 레이블링된 영역의 크기와 비율을 이용하여 필터링을 수행하는 단계; (c6) 레이블링이 수행된 영역에서 코너(corner) 점을 검출하고, 추출된 코너점 중에서 가장 외곽에 위치한 4개의 꼭지점을 선택하는 단계; 및, (c7) 꼭지점이 검출된 후보 영역에 대해 해당 영역의 왼쪽 면과 오른쪽 면의 길이를 이용하여 최종 문자 영역으로 판단하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c1)단계에서, 상기 후보 영역들을 위치와 크기별로 그룹핑(grouping)을 수행하고, 평균 사각형 위치와 평균 사각형 크기에 가장 유사한 사각형을 문자의 대표 후보 영역으로 추출하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c2)단계에서, 길이 k만큼 상기 대표 후보영역의 가로와 세로의 길이를 확장하되, k를 상기 대표 후보영역의 1/2로 설정하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c3)단계에서, 상기 대표 후보영역들에 대해서 오쯔(Otsu)의 적응적인 방법을 이용하여 이진화(binarization)를 수행하되, 이진화에 사용되는 임계값(threshold)은 상기 대표 후보영역의 평균적인 화소 값보다는 높은 값을 사용하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c5)단계에서, 레이블링된 영역의 크기가 사전에 설정된 범위를 벗어나거나, 상기 레이블링된 영역의 가로세로의 비율이 사전에 설정된 범위를 벗어나면, 대표 후보영역에서 제거하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c6)단계에서, 상기 레이블링된 영역에서 각 화소에 대하여, 해당 화소의 값이 해당 화소의 주변 화소값과 사전에 정해진 임계값 보다 큰 차이를 가지면 해당 화소를 후보 코너로 정하고, 후보 코너의 화소 P에 대하여 화소 P를 중심으로 반지름 3인 원 상의 16개의 화소 값들과의 밝기 차이를 산출하여 사전에 정해진 임계값을 벗어나는 화소가 사전에 정해진 임계 개수에 이상이면 해당 후보 코너를 코너로 판별하고, 코너 중에서 해당 코너를 중심으로 3×3 마스크를 씌워 그 범위 내에서 가장 차이가 많이 나는 점을 선택하여 최종 코너로 선택하는 것을 특징으로 한다.

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 상기 (c7)단계에서, 꼭지점이 검출된 후보영역에 대하여, 해당 후보영역의 왼쪽 면과 오른쪽 면의 길이를 다음 [수식 2]의 논리식을 검증하여 참이면, 해당 후보영역을 최종 문자 영역으로 검출하는 것을 특징으로 한다.

[수식 2]

또, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 시스템에 있어서, 특징으로 한다.

또한, 본 발명은 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

상술한 바와 같이, 본 발명에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 의하면, MCT 특징과 에이다부스트 방법을 이용할 뿐만 아니라 기하학적인 특징으로 후보 영역을 효과적으로 필터링함으로써, 종래기술에 비하여 보다 정확하게 문자 영역들을 검출할 수 있는 효과가 얻어진다. 구체적으로, 실험을 통해, 입력되는 다양한 영상으로부터 기존의 방법보다 문자 영역들을 2.1% 보다 강인하게 추출할 수 있음을 알 수 있다.

또한, 본 발명에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 의하면, 상점의 간판 인식, 자동차의 번호판 인식 등과 같은 멀티미디어 및 영상 처리와 관련된 실제 응용 분야에서 매우 유용하게 활용될 수 있는 효과가 얻어진다.

본 발명에 따른 방법은 MCT 특징과 에이다부스트 방법을 이용하였고, 기하학적인 특징을 사용하여 후보 영역을 효과적으로 필터링하였으므로 보다 정확하게 문자 영역들을 검출할 수 있었다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 설명하는 흐름도.
도 3은 본 발명의 일실시예에 따른 MCT 특징 추출의 일례를 나타낸 도면.
도 4는 본 발명의 일실시예에 따른 에이다부스트 방법의 슈도코드(pseudo-code)를 나타낸 표.
도 5는 본 발명의 일실시예에 따른 기하학적 특징을 이용하여 최종 문자영역을 검출하는 방법을 설명하는 흐름도.
도 6은 본 발명의 일실시예에 따른 후보 사각형을 그룹핑하는 예시 영상.
도 7은 본 발명의 일실시예에 따른 FAST 방법을 설명하는 흐름도.
도 8은 본 발명의 실험에 따른, MCT 특징 추출과 에이다부스트 학습을 위해서 사용한 자동차 번호판이 포함된 학습 영상과 번호판을 포함하지 않은 배경 영상의 예시 영상으로서, (a) 학습을 위한 영상 1, (b) 학습을 위한 영상의 예시영상.
도 9은 본 발명의 실험에 따른, 테스트 영상으로부터 추출한 자동차 번호판의 후보 영역들에 대해 레이블링을 수행한 결과의 예시 영상.
도 10는 본 발명의 실험에 따른, 후보 영역들의 필터링을 통해서 비 문자 영역을 제외하고 최종적으로 검출한 자동차의 번호판 영역들을 보여주는 예시 영상.
도 11은 본 발명의 실험에 따른, 종래기술과 본 발명의 문자 영역 추출 방법에 대한 정확도 측면의 성능 비교 결과를 나타낸 그래프.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.

도 1에서 보는 바와 같이, 본 발명에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법은 영상(또는 이미지)(10)을 입력받아 상기 영상(또는 이미지)에 대하여 문자 데이터 검출을 수행하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 문자 데이터 검출 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 에이다부스트를 이용한 문자 데이터 검출 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 영상을 대상으로 문자 데이터 검출만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 검출 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

한편, 영상(10)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(10)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(10)은 하나의 이미지인 경우에도 해당된다.

다음으로, 본 발명의 일실시예에 따른 에이다부스트 학습을 이용한 문자 데이터 검출 방법을 도 2를 참조하여 설명한다.

본 발명에서는 MCT(Modified Census Transform) 특징[비특허문헌 8-9]과 에이다부스트(Adaboost) 학습 방법[비특허문헌 10]을 이용하여 입력된 영상으로부터 문자의 후보 영역들을 추출한다.

도 2에서 보는 바와 같이, 먼저, 입력된 영상에 대하여 전처리를 수행한다(S10). 특히, 입력 영상 내에서 부분적으로 포함될 수 있는 잡음(noise)을 제거하기 위해서 가우시안 스무딩(smoothing)을 수행한다.

다음으로, 전처리된 입력영상에서 MCT(Modified Census Transform) 특징을 추출한다(S20).

MCT 특징은 지역 구조 특징(local structure feature)으로서 0과 1의 바이너리 정보로 표현된다. 다시 말해, MCT 특징은 특정한 위치의 화소(pixel)와 주변에 인접해 있는 화소들 사이의 관계를 표현한다. 일반적으로, MCT 특징은 일정한 위치에 있는 화소 값 자체를 그대로 사용하는 대신, 주변에 위치한 화소 값들 사이의 상관관계를 일정한 패턴으로 표현하므로 조명의 변화에 강인하다. 그리고 계산이 비교적 간단하므로 영상처리 응용 분야에서 검출율이 상대적으로 높으며, 수행 시간도 빠른 편이다.

본 발명에서 3×3 커널(kernel)을 이용하는 MCT 특징 Γ(x)은 수학식 1과 같이 표현될 수 있다.

[수학식 1]

위의 수학식 1에서 I(x)는 x의 화소 값을 나타내고,

는 커널 내에 위치한 화소들의 평균 화소 값을 나타낸다. n'은 커널의 중심과 인접한 화소들의 집합을 나타낸다. ζ()는 비교 함수로서 I(y)가 평균 화소 값 보다 크면 1을 출력하고, 그렇지 않으면 0을 출력한다. 그리고

는 10진수 변환 연산자로서 비교 함수 ζ()의 결과로 나오는 아홉 자리의 2진수 배열을 10진수로 변경해 준다. 따라서 본 발명에서 사용하는 MCT 특징은 0에서 511까지의 범위를 갖는다. 또한, MCT 특징은 입력영상과 같은 크기의 영상으로 생성된다.

도 3은 MCT 변환의 예를 그림으로 보여준다.

다음으로, 이전 단계에서 추출한 MCT 특징을 에이다부스트 학습기로 생성한 문자 검출 분류기에 입력시켜서 영상에서 문자 영역의 후보 영역들을 검출한다(S30).

에이다부스트 학습은 부스팅(boosting)의 한 방법으로 분류 성능이 떨어지는 여러 개의 약한 분류기(weak learner)들을 조합하여 분류 성능이 좋은 하나의 강한 분류기(strong learner)를 구축하는 방법을 의미한다. 보통 약한 분류기는 분류 정확도가 50% 이상인 분류기를 말하고, 강한 분류기는 매우 작은 분류 오류를 가지는 분류기를 말한다.

일반적으로 에이다부스트 방법은 구현이 비교적 간편하고 속도가 빠르므로 영상처리 및 패턴인식 분야에서 널리 사용되고 있다[비특허문헌 11]. 그리고 이 방법은 그 성능을 보다 개선시키기 위하여 다른 종류의 학습 방법과 결합되어 이용될 수 있다는 장점도 가지고 있다.

에이다부스트 학습 방법은 학습된 가설의 오류 율에 따라 원래의 데이터로부터 집합을 생성한 후, 이를 사용하여 다시 새로운 가설을 학습하고 학습된 가설들로부터 데이터 집합을 구성한다. 그리고 가설을 학습하고 가설의 오류에 따라 가설이 옳게 예측한 데이터의 가중치는 줄이고 잘못 예측한 데이터의 가중치는 증가시킴으로써 분류하기 어려운 데이터에 집중한다. 에이다부스트 방법은 실제에 있어 이론적인 오류 상한 값보다 적은 학습 오류를 나타내며, 일반화 오류 역시 학습 오류와 함께 감소한다는 장점을 가진다.

도 4의 표는 에이다부스트 방법의 수도코드(pseudo-code)를 보여준다.

도 4의 표에서 N은 샘플의 개수를 의미하고, w_j는 j번째 샘플의 가중치를 나타내며, K는 분류기의 개수를 나타낸다. c_k는 k번째 분류기를 나타내고, ε는 오류를 의미하며, α_k는 분류기 c_k의 신뢰도를 나타낸다. 에이다부스트 방법의 특징은 분류기들이 상호 보완적이라는 데에서 찾을 수 있다. 다시 말해, c_k의 약점을 c_k+1이 보완해 주는 것이다.

다음으로, 이전 단계에서 에이다부스트 학습 방법을 사용하여 추출한 문자의 후보 영역들을 기하학적인 특징들을 사용하여 검증함으로써 최종적인 문자 영역들만을 검출한다(S40). 기하학적 특징을 이용하여 최종 문자 영역을 검출하는 단계가 도 5에 도시되고 있다.

도 5에서 보는 바와 같이, 먼저, 후보 영역들을 그룹핑하고 각 그룹에서 대표 후보 영역을 판단한다(S41).

도 6에서 보는 바와 같이, 에이다부스트 방법을 이용하여 검출한 문자의 후보 영역들을 나타내는 사각형들은 실제 문자 영역이 존재하는 부근에서 집중적으로 나타난다. 따라서 본 발명에서는 먼저 사각형의 위치와 크기별로 그룹핑(grouping)을 수행한 다음, 각 그룹에서 평균 사각형 위치와 평균 사각형 크기에 가장 유사한 사각형을 문자의 대표 후보 영역으로 판단한다.

즉, 그룹핑은 위치와 크기가 유사한 후보 사각형들을 그룹핑한다는 의미이다. 에이다부스트 학습 방법을 이용하여 추출한 문자의 후보 영역을 나타내는 사각형들은 실제 문자 영역이 존재하는 부근에서 여러 개의 사각형으로 집중해서 나타난다. 따라서 사각형의 위치와 크기에 대하여 각각 소정의 범위 내의 위치와 크기를 가지는 모든 사각형을 그룹핑한다. 도 6에서 노란색 사각형이 문자의 후보 영역을 나타내고 있으며, 파란색으로 표시된 사각형이 각 그룹의 대표 후보영역이 된다.

이하에서 처리되는 문자 후보 영역은 대표 후보영역에 대하여만 수행된다.

다음으로, 검출된 문자 후보 영역이 원래 존재하는 문자 영역 전체를 모두 포함하지 않을 경우를 고려하여, 일정한 길이 k만큼 후보 영역(또는 대표 후보영역)의 가로와 세로의 길이를 확장한다(S42). 본 발명에서는 k를 문자 후보 영역 높이의 1/2로 설정하였다.

다음으로, 확장된 문자의 후보 영역(또는 대표 후보영역)들에 대해서 오쯔(Otsu)가 제안한 적응적인 방법을 이용하여 이진화(binarization)를 수행한다(S43). 이때 번호판 영역과 같이 문자의 후보 영역에서 글자에 해당하는 부분을 제외한 배경 부분은 일반적으로 글자에 비해 밝은 색을 포함하고 있으므로 이진화에 사용되는 임계값(threshold)은 문자 후보 영역의 평균적인 화소 값보다는 높은 값을 사용한다.

다음으로, 이진화된 문자의 후보 영역(또는 대표 후보영역)들에 대해 레이블링(labeling)을 수행한다(S44). 즉, 이진화된 후보 영역의 각 화소들에 고유번호를 붙이되(라벨링을 하되), 각 화소의 연결성을 분석하여 인접한 화소 영역들을 하나의 동일한 객체 또는 동일한 고유번호로 라벨링을 한다. 특히, 서로 연결된 인접한 화소 영역들을 동일한 고유번호를 갖게 하고, 다른 인접 영역 성분은 또 다른 고유번호를 갖도록 한다.

그리고 독립된 하나의 번호로 라벨링된 영역(그룹화되어 라벨링된 화소들)을 모두 포함하는 최소 사각형을 레이블링된 영역으로 설정한다.

상기와 같은 이진화와 레이블링을 수행하는 최종적인 목적은 문자 영역(예를 들어 자동차의 번호판 영역)을 획득하기 위함이다. 다시 말해, 본 발명에서는 문자영역(번호판 등) 내에 존재하는 문자들을 찾아서 문자인식을 수행하는 것이 아니라, 문자들이 포함된 문자영역(번호판 영역 등)을 찾는 것이다. 따라서 위의 단계에서 이진화를 수행하게 되면 도 9와 같이 흰색으로 표시된 문자영역(번호판 등)의 배경 영역과 검정색으로 표시된 나머지 영역으로 분할된다. 그리고 레이블링을 수행하게 되면 도 9에서 흰색으로 표시된 문자영역(번호판 영역 등)에 대해서 레이블링된 영역이 추출된다. 그런 다음, 레이블링된 문자영역(번호판 영역 등)에 대해서 코너 점을 추출하는 등의 이하의 작업이 수행된다.

다음으로, 레이블링된 영역의 크기와 비율을 이용하여 필터링을 수행한다(S45). 즉, 레이블링된 영역의 크기가 너무 작거나 영역의 가로세로의 비율에 맞지 않다면 문자 후보 영역에서 제거한다. 예를 들어, 자동차 번호판은 일정한 크기를 가지고 있고, 가로세로의 비율이 일정하다. 그런데 이러한 크기나 비율이 사전에 정해진 범위를 벗어나면 자동차 번호판이 아닌 경우이므로, 이들 후보영역을 후보에서 제외시킨다.

다음으로, 레이블링이 수행된 영역에서 코너(corner) 점을 검출하고, 추출된 코너점 중에서 가장 외곽에 위치한 4개의 꼭지점을 선택한다(S46). 본 발명에서는 코너 점을 추출하기 위해서 영국 캠브리지 대학의 에드워드 로스텐(Edward Rosten)이 제안한 빠른 코너 추출 방법인 FAST를 사용한다[비특허문헌 12].

FAST는 이름에서도 알 수 있듯이 빠른 속도를 추구하는 특징점 추출 방법이다. 그리고 FAST가 뛰어난 점은 FAST가 속도에 최적화되어 설계된 방법임에도 불구하고 품질 또한 기존의 방법들을 상회한다는 점에 있다.

FAST 방법의 기본적인 처리 과정은 도 7와 같이 표현될 수 있다.

FAST 방법은 도 7와 같이 3가지 단계로 구성된다. 첫 번째 단계에서는 빠른 속도로 코너의 후보를 정하는 단계이다. 이 단계에서는 한 점 P에 대해 주변에 있는 점들과 얼마나 차이가 있는지를 확인하는 작업이다. 즉, 사전에 정해진 임계값 보다 큰 차이를 가지면 후보로 정한다.

두 번째 단계에서는 후보 코너가 된 모든 점들에 대해 밝기 차이를 조사한다. 다시 말해, 후보 코너 점 P에 대해 점 P를 중심으로 하는 반지름 3인 원 상의 16개의 화속 값을 보고 판단한다. 즉, P 주변에 위치한 점들과의 밝기 차이를 조사하여 어둡거나 밝은 점이 k개 이상이면 점 P를 코너로 판단한다.

세 번째 단계에서는 점 P를 중심으로 3×3 마스크를 씌워 그 범위 내에서 가장 차이가 많이 나는 점을 선택하여 최종 코너로 선택한다. 다시 말해, FAST 코너의 한 가지 문제점은 어떤 점 P가 코너 점으로 인식되면 P와 인접한 주변 점들도 같이 코너 점으로 검출되는 경우가 많다. 따라서 FAST에서는 이 문제를 해결하기 위해 추가적인 후처리 단계인 세 번째 단계를 적용한다.

다음으로, 꼭지점이 검출된 문자의 후보 영역에 대해 해당 영역의 왼쪽 면과 오른쪽 면의 길이를 식 2와 같이 비교하여 최종적으로 실제의 문자 영역을 검증한다(S47).

[수학식 2]

식 2에서 Len_l은 후보 영역을 나타내는 사각형의 왼쪽 변의 길이를 나타내고, Len_r은 사각형의 오른쪽 변의 길이를 나타낸다. 그리고 R_i는 i번째 후보 문자 영역을 의미한다.

Len_l, Len_r 는 사각형의 왼쪽 또는 오른쪽 변의 길이로서, 꼭지점을 이용하여 산출된다.

다음으로, 본 발명의 효과를 실험을 통해 설명한다.

본 발명에서 실험을 위해서 사용한 컴퓨터는 인텔 Core(TM) i7 2.93Ghz의 CPU와 8GB의 메인 메모리로 구성되어 있으며, 윈도우 7 운영체제(OS)를 이용하였다. 그리고 마이크로소프트의 비주얼 스튜디오(Visual Studio)와 OpenCV 오픈 라이브러리를 이용하여 본 발명의 방법을 구현하였다. 본 실험에서는, 본 발명의 방법의 성능을 비교 평가하기 위해서 문자 영역들이 포함된 여러 가지 종류의 테스트 영상들을 수집하여 활용하였다.

도 8은 본 발명의 실험에서 MCT 특징 추출과 에이다부스트 학습을 위해서 사용한 자동차 번호판이 포함된 학습 영상과 번호판을 포함하지 않은 배경 영상의 예를 나타낸다. 본 발명에서는 307개의 번호판 영상과 2,736개의 배경 영상들을 이용하여 학습을 진행하였다.

도 9은 테스트 영상으로부터 추출한 자동차 번호판의 후보 영역들에 대해 레이블링을 수행한 결과 영상의 예를 보여준다. 그리고 도 9은 후보 영역들의 필터링을 통해서 비 문자 영역을 제외하고 최종적으로 검출한 자동차의 번호판 영역들을 보여준다. 도 9에서 녹색의 사각형은 검출된 문자 영역의 후보 영역들을 나타내고, 파란색의 사각형은 필터링을 통해서 선택된 실제 문자 영역을 나타낸다. 그리고 빨간색의 사각형은 영상 보정을 통해 최종적으로 추출한 자동차 번호판의 문자 영역을 나타낸다.

본 발명에 따른 자동차 번호판 등 문자 영역 추출 방법의 성능을 정량적으로 비교 평가하기 위해서 비 문자 영역을 포함하지 않은 정확하게 추출된 문자 영역들과 영상에 존재하는 전체 문자 영역들과의 비율을 백분율(%)로 표시한 수학식 3과 같은 정확도 척도를 사용하였다. 수학식 3에서 N_detected는 본 발명의 방법을 이용하여 정확하게 검출한 문자 영역들의 개수를 나타내고, N_existing은 테스트 영상에 존재하는 문자 영역들의 전체 개수를 나타낸다.

[수학식 3]

도 10는 수학식 3을 통해서 획득한 문자 영역 추출 방법의 정확도 측면의 성능 비교 결과를 그래프로 나타내고 있다. 도 10에서 확인할 수 있듯이 본 발명의 방법을 이용한 방법이 보다 정확하게 문자 영역을 검출한다는 것을 확인할 수 있다. 다시 말해, 고주파 요소를 활용하는 질감 정보를 이용한 기존의 방법은 배경과 문자 영역 사이의 이진화가 적절히 수행되지 않아 문자 영역의 오 검출이 많이 발생하였다. 그러나 본 발명에 따른 방법은 MCT 특징과 에이다부스트 방법을 이용하였고, 기하학적인 특징을 사용하여 후보 영역을 효과적으로 필터링하였으므로 보다 정확하게 문자 영역들을 검출할 수 있었다.

최근 들어, 입력된 실내외 영상을 분석한 다음 자동차 번호판과 같이 영상 내에 포함된 문자 영역들만을 강인하게 분할해 내는 연구에 대한 필요성이 점점 더 증가하고 있다.

본 발명에서는 MCT 특징과 에이다부스트 방법을 이용하여 다양한 입력 영상으로부터 배경 영역을 제외하고 문자 영역들만을 강인하게 검출하는 새로운 방법을 제안하였다. 이를 위해, 먼저 문자의 후보 영역들을 MCT 특징과 에이다부스트 학습 방법을 사용하여 추출하였다. 그런 다음, 추출된 문자의 후보 영역들을 기하학적인 특징을 사용해 필터링함으로써 비 문자 영역들을 제외하고 실제적인 문자 영역들만을 강인하게 검출하였다. 실험을 통해 제안된 방법은 기존의 방법에 비해 보다 정확하게 문자 영역들을 검출함을 확인할 수 있다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 영상 20 : 컴퓨터 단말
30 : 프로그램 시스템

Claims

입력영상에서 문자 영역을 검출하는, 에이다부스트 학습을 이용한 문자 데이터 검출 방법에 있어서,
(a) 상기 입력영상에서 MCT(Modified Census Transform) 특징을 추출하는 단계;
(b) 에이다부스트 학습 방식으로 생성된 문자검출 분류기를 이용하여, 상기 추출한 MCT 특징을 상기 문자검출 분류기에 입력시켜서 상기 입력영상에서 문자 영역의 후보 영역들을 검출하는 단계; 및,
(c) 후보 영역의 기하학적 특징을 사용하여, 상기 후보 영역들을 필터링하여 최종 문자 영역을 검출하는 단계를 포함하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
제1항에 있어서,
상기 입력영상의 MCT 특징 Γ(x)은 다음 [수식 1]에 의하여 추출하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
[수식 1]

단, I(x)는 x의 화소 값을 나타내고,
는 커널 내에 위치한 화소들의 평균 화소 값을 나타내고, n'은 커널의 중심과 인접한 화소들의 집합을 나타내고, ζ()는 비교 함수로서 I(y)가 평균 화소 값 보다 크면 1을 출력하고, 그렇지 않으면 0을 출력하는 함수이고,
는 10진수 변환 연산자로서 비교 함수 ζ()의 결과로 나오는 아홉 자리의 2진수 배열을 10진수로 변경해 주는 연산자임.
제1항에 있어서, 상기 (c)단계는,
(c1) 상기 후보 영역들을 그룹핑하고 각 그룹에서 대표 후보영역을 추출하는 단계;
(c2) 상기 대표 후보영역을 사전에 정해진 길이만큼 확장하는 단계;
(c3) 확장된 대표 후보영역에 대하여 이진화를 수행하는 단계;
(c4) 이진화된 대표 후보영역에 대하여 레이블링(labeling)을 수행하는 단계;
(c5) 레이블링된 영역의 크기와 비율을 이용하여 필터링을 수행하는 단계;
(c6) 레이블링이 수행된 영역에서 코너(corner) 점을 검출하고, 추출된 코너점 중에서 가장 외곽에 위치한 4개의 꼭지점을 선택하는 단계; 및,
(c7) 꼭지점이 검출된 후보 영역에 대해 해당 영역의 왼쪽 면과 오른쪽 면의 길이를 이용하여 최종 문자 영역으로 판단하는 단계를 포함하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
제3항에 있어서,
상기 (c1)단계에서, 상기 후보 영역들을 위치와 크기별로 그룹핑(grouping)을 수행하고, 평균 사각형 위치와 평균 사각형 크기에 가장 유사한 사각형을 문자의 대표 후보 영역으로 추출하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
제3항에 있어서,
상기 (c2)단계에서, 길이 k만큼 상기 대표 후보영역의 가로와 세로의 길이를 확장하되, k를 상기 대표 후보영역의 1/2로 설정하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
제3항에 있어서,
상기 (c3)단계에서, 상기 대표 후보영역들에 대해서 오쯔(Otsu)의 적응적인 방법을 이용하여 이진화(binarization)를 수행하되, 이진화에 사용되는 임계값(threshold)은 상기 대표 후보영역의 평균적인 화소 값보다는 높은 값을 사용하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
제3항에 있어서,
상기 (c5)단계에서, 레이블링된 영역의 크기가 사전에 설정된 범위를 벗어나거나, 상기 레이블링된 영역의 가로세로의 비율이 사전에 설정된 범위를 벗어나면, 대표 후보영역에서 제거하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
제3항에 있어서,
상기 (c6)단계에서, 상기 레이블링된 영역에서 각 화소에 대하여, 해당 화소의 값이 해당 화소의 주변 화소값과 사전에 정해진 임계값 보다 큰 차이를 가지면 해당 화소를 후보 코너로 정하고, 후보 코너의 화소 P에 대하여 화소 P를 중심으로 반지름 3인 원 상의 16개의 화소 값들과의 밝기 차이를 산출하여 사전에 정해진 임계값을 벗어나는 화소가 사전에 정해진 임계 개수에 이상이면 해당 후보 코너를 코너로 판별하고, 코너 중에서 해당 코너를 중심으로 3×3 마스크를 씌워 그 범위 내에서 가장 차이가 많이 나는 점을 선택하여 최종 코너로 선택하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
제3항에 있어서,
상기 (c7)단계에서, 꼭지점이 검출된 후보영역에 대하여, 해당 후보영역의 왼쪽 면과 오른쪽 면의 길이를 다음 [수식 2]의 논리식을 검증하여 참이면, 해당 후보영역을 최종 문자 영역으로 검출하는 것을 특징으로 하는 에이다부스트 학습을 이용한 문자 데이터 검출 방법.
[수식 2]
제1항 내지 제9항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.