KR101986592B1 - 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법 - Google Patents

앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법 Download PDF

Info

Publication number
KR101986592B1
KR101986592B1 KR1020190046508A KR20190046508A KR101986592B1 KR 101986592 B1 KR101986592 B1 KR 101986592B1 KR 1020190046508 A KR1020190046508 A KR 1020190046508A KR 20190046508 A KR20190046508 A KR 20190046508A KR 101986592 B1 KR101986592 B1 KR 101986592B1
Authority
KR
South Korea
Prior art keywords
anchor box
image
anchor
box
size
Prior art date
Application number
KR1020190046508A
Other languages
English (en)
Inventor
오정훈
고대경
이강훈
Original Assignee
주식회사 펜타게이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 펜타게이트 filed Critical 주식회사 펜타게이트
Priority to KR1020190046508A priority Critical patent/KR101986592B1/ko
Application granted granted Critical
Publication of KR101986592B1 publication Critical patent/KR101986592B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K9/3258—
    • G06K9/4642—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 차량 번호 인식 장치는 제1 영상 이미지를 입력 받는 영상 입력부, 상기 제1 영상 이미지로부터 문자가 포함된 관심 영역을 검출하여 제2 영상 이미지를 생성하는 제2 영상 생성부, 상기 제2 영상 이미지로부터 특징성분을 추출하는 특징성분 추출부, 상기 제2 영상 이미지로부터 상기 제2 영상 이미지와 세로의 크기가 서로 동일하고 가로의 크기가 서로 상이한 복수개의 앵커박스(Anchor Box)를 생성하는 앵커박스 생성부, 상기 앵커박스들의 영역에 해당하는 상기 제2 영상 이미지의 특징성분들을 문자 검출 학습데이터와 비교하여 최대 매칭 값을 갖는 앵커박스를 각 문자 영역의 바운딩박스(Bounding Box)로 선정하는 바운딩박스 생성부 및 상기 바운딩박스에 해당하는 영역의 특징성분을 문자 인식 학습데이터와 비교하여 상기 앵커박스에 해당하는 문자를 인식하는 문자 인식부를 포함하고, 상기 앵커박스들은 상기 제2 영상 이미지의 모든 영역에 걸쳐 일정한 간격으로 겹쳐서 위치하며 가로의 크기와 세로의 크기가 동일한 a개의 엔드 앵커박스(a는 자연수), 상기 엔드 앵커박스의 일측에 위치하며, 가로의 크기가 세로의 크기보다 작은 a개의 베이스 앵커박스 및 상기 베이스 앵커박스의 영역을 포함하며, 가로의 크기가 상기 엔드 앵커박스의 가로의 크기보다 작으면서 상기 베이스 앵커박스의 가로의 크기에서 일정한 크기만큼 증가한 크기를 갖는 복수개의 서브 앵커박스를 포함한다.

Description

앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법{RECOGNITION METHOD OF LICENSE PLATE NUMBER USING ANCHOR BOX AND CNN AND APPARATUS USING THEREOF}
본 발명은 인공지능을 이용한 차량 번호 인식 장치 및 차량 번호 인식 방법에 관한 것이다. 보다 상세하게는 앵커박스 및 CNN 특징 맵을 이용하여 영상 이미지로부터 정확하게 문자를 인식할 수 있는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 차량 번호 인식 방법에 관한 것이다.
차량용 번호판이란 차량의 전면 또는 후면에 부착되며 규격화된 문자(글자, 숫자 및 기호 포함)가 특정 패턴으로 기재된 판을 의미하며, 차량 번호판 인식 장치란 영상으로부터 차량용 번호판 및 이제 기재된 문자를 자동으로 인식 및 판독하는 장치를 의미한다. 일반적인 차량 번호판 인식 장치는 차량 촬영과 번호판 추출, 음영이나 기울기에 따른 전처리 과정을 수행하고 미리 정해진 기준 글자에 따라 번호판을 인식하는 단계를 포함한다. 이러한 차량 번호판 인식 장치에는 차량 번호판에 기재된 문자를 인식하는 차량 번호 인식 장치 또는 차량 번호 인식 방법이 반드시 수반되므로 보다 정확한 차량 번호 인식 방법은 차량 번호판 인식 장치에 있어서 매우 중요한 요소이다.
기존의 번호판 인식은 원형 정합 방법 및 구문론적 방법 등이 이용되고 있으며, 원형 정합 방법은 기하학적 정합 방법을 개선시킨 방법으로서, 표준 패턴에 입력된 영상을 정합 시켜 문자를 인식시키는 방법을 말한다. 그러나, 기울어진 영상이나 잡음이 있을 경우 인식률이 저하되며, 환경이 변화되면 표준 패턴을 재구성해야 되는 단점을 갖고 있으며, 구문론 적인 방법은 문자 특징 간의 상호 관련성 또는 상호 연결성 정보와 같은 구조적 정보를 이용하며 글자 크기, 기울기 등에 강한 특징을 지닌다. 특히 구조적 정보를 정량화 하여 추출할 수 있어야 한다는 어려움이 있으며, 특징 간의 정확한 구조적 정보를 구하는 것이 용이하지 않은 문제점이 있다.
최근에는 신경망을 이용한 번호판 인식 방법에 많은 관심이 집중되고 있다. 신경망 또는 인공신경망(ANN: artificial neural network)이란 생물학의 신경망에서 영감을 얻은 통계학적 학습 알고리즘으로 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜, 문제 해결 능력을 가지는 모델 전반을 가리킨다. 딥러닝 기술이란 다층구조 형태의 인공 신경망을 기반으로 하는 머신 러닝의 한 분야로 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계학습(machine learning) 알고리즘의 집합이다.
신경망을 이용한 방법은 입력된 영상의 영역을 나누어 신경망의 입력으로 하고 이로부터 신경망을 이용하여 문자를 인식하는 방법이다. 따라서, 이러한 신경망을 이용한 방법은 입력 영역의 선정이 매우 중요하며, 이에 따라서 성능이 크게 좌우되므로 문자가 차지하는 영역의 선정 방법에 대한 많은 연구가 요구된다.
한국등록특허공보 제10-1931804호(2018.12.17)
이에 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로, 본 발명의 목적은 앵커박스 및 인공 신경망을 이용하여 영상 이미지로부터 정확하게 문자를 인식할 수 있는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치를 제공하는 것이다.
또한 본 발명의 다른 목적은 앵커박스 및 인공 신경망을 이용하여 보다 정확히 차량번호를 인식할 수 있는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법을 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치는 제1 영상 이미지를 입력 받는 영상 입력부, 상기 제1 영상 이미지로부터 문자가 포함된 관심 영역을 검출하여 제2 영상 이미지를 생성하는 제2 영상 생성부, 상기 제2 영상 이미지로부터 특징성분을 추출하는 특징성분 추출부, 상기 제2 영상 이미지로부터 상기 제2 영상 이미지와 세로의 크기가 서로 동일하고 가로의 크기가 서로 상이한 복수개의 앵커박스(Anchor Box)를 생성하는 앵커박스 생성부, 상기 앵커박스들의 영역에 해당하는 상기 제2 영상 이미지의 특징성분들을 문자 검출 학습데이터와 비교하여 최대 매칭 값을 갖는 앵커박스를 각 문자 영역의 바운딩박스(Bounding Box)로 선정하는 바운딩박스 생성부 및 상기 바운딩박스에 해당하는 영역의 특징성분을 문자 인식 학습데이터와 비교하여 상기 앵커박스에 해당하는 문자를 인식하는 문자 인식부를 포함하고, 상기 앵커박스들은 상기 제2 영상 이미지의 모든 영역에 걸쳐 일정한 간격으로 겹쳐서 위치하며 가로의 크기와 세로의 크기가 동일한 a개의 엔드 앵커박스(a는 자연수), 상기 엔드 앵커박스의 일측에 위치하며, 가로의 크기가 세로의 크기보다 작은 a개의 베이스 앵커박스 및 상기 베이스 앵커박스의 영역을 포함하며, 가로의 크기가 상기 엔드 앵커박스의 가로의 크기보다 작으면서 상기 베이스 앵커박스의 가로의 크기에서 일정한 크기만큼 증가한 크기를 갖는 복수개의 서브 앵커박스를 포함한다.
본 발명의 일 실시예에 있어서, 상기 앵커박스 생성부가 상기 앵커박스를 생성하는 방법은 상기 제2 영상 이미지의 일측에 위치하는 베이스 앵커박스를 생성하는 단계, 가로의 크기가 세로의 크기가 같아질 때까지 바로 이전에 생성된 앵커박스의 영역을 포함하며 바로 이전에 생성된 앵커박스의 가로의 크기에서 일정한 크기로 가로의 크기를 증가시킨 상기 서브 앵커박스를 생성하는 단계, 바로 이전에 생성된 앵커박스의 영역을 포함하는 상기 엔드 앵커박스를 생성하는 단계, 바로 이전에 생성된 베이스 앵커박스에서 일정한 크기만큼 가로 위치가 이동된 새로운 베이스 앵커박스를 생성하는 단계, 상기 서브 앵커박스를 생성하는 단계 및 상기 엔드 앵커박스를 생성하는 단계를 다시 수행하는 단계 및 상기 새로운 베이스 앵커박스를 생성하는 단계 및 상기 다시 수행하는 단계를 상기 제2 영상 이미지의 일측의 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커박스의 크기는 픽셀 단위이고, 상기 베이스 앵커박스의 가로의 크기(픽셀의 개수)는 상기 엔드 앵커박스의 세로의 크기(픽셀의 개수)의 1/r배이고, 상기 서브 앵커박스의 증가하는 가로의 일정한 크기는 p픽셀이고, 상기 a개의 엔드 앵커박스들 중에서 가장 인접한 엔드 박스 사이의 시작 위치의 일정한 간격은 q픽셀(q는 자연수)일 수 있다.
본 발명의 일 실시예에 있어서, r이 2일때 하나의 상기 제2 영상 이미지로부터 생성되는 앵커박스의 총 개수는 다음의 수학식으로 계산될 수 있다.
Figure 112019040927488-pat00001
여기서, N은 상기 제2 영상 이미지의 세로의 크기이고, M은 상기 제2 영상 이미지의 가로의 크기임.
본 발명의 일 실시예에 있어서, 상기 차량 번호 인식 장치는 상기 제1 영상 이미지로부터 SDD(Single shot MultiBox Detector) 알고리즘을 이용하여 차량 영역을 검출하는 차량 검출부를 더 포함하고, 상기 제2 영상 생성부는 상기 검출된 차량 영역으로부터 SDD(Single shot MultiBox Detector) 알고리즘을 이용하여 상기 관심 영역인 차량용 번호판 영역을 검출하여 제2 영상 이미지를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 제2 영상 이미지에 intensity balancing 및 모폴로지(Morphology)를 수행하여 화질을 개선하는 전처리부를 더 포함하고, 상기 모폴로지는 닫힘 모폴로지 및 열림 모폴로지를 포함하고, 상기 intensity balancing의 수행은 영상 그레이 레벨에 대한 히스토그램을 계산하고, 상기 히스토그램으로부터 하위 사분위수와 상위 사분위수에 해당되는 픽셀 값을 계산하며, 다음의 수학식으로 어파인 변환(affine transform)을 수행할 수 있다.
Figure 112019040927488-pat00002
여기서, x는 해당 위치의 픽셀 값이고, max는 해당 영역에서 최대 픽셀 값이고, min은 해당 영역에서 최소 픽셀 값이고, Vmin은 하위 사분위수에 해당되는 픽셀 값이고, Vmax는 상위 사분위수에 해당되는 픽셀 값임.
본 발명의 일 실시예에 있어서, 상기 차량 번호 인식 장치는 수평투영법(Horizontal projection)을 이용하여 상기 제2 영상 이미지의 상위 위치와 하위 위치를 계산하는 프로젝션부를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 특징성분 추출부는 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여 상기 제2 영상 이미지의 컨볼루션 특징 맵(convolution feature map)을 추출하고, 이를 상기 특징성분으로 하며, 상기 합성곱 신경망은 입력 레이어(Input layer), 합성곱 레이어(Convolution Layer) 및 풀링 레이어(Pooling Layer)를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 문자 인식부는 Fully Connection 네트워크를 이용하여 상기 앵커박스에 해당하는 문자를 인식할 수 있다.
상기한 본 발명의 목적을 실현하기 위한 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법은 영상 입력부가 제1 영상 이미지를 입력 받는 단계, 제2 영상 이미지 생성부가 상기 제1 영상 이미지로부터 문자가 포함된 관심 영역을 검출하여 제2 영상 이미지를 생성하는 단계, 특징성분 추출부가 상기 제2 영상 이미지로부터 특징성분을 추출하는 단계, 앵커박스 생성부가 상기 제2 영상 이미지로부터 상기 제2 영상 이미지와 세로의 크기가 서로 동일하고 가로의 크기가 서로 상이한 복수개의 앵커박스(Anchor Box)를 생성하는 단계, 바운딩박스 생성부가 상기 앵커박스들의 영역에 해당하는 상기 제2 영상 이미지의 특징성분들을 문자 검출 학습데이터와 비교하여 최대 매칭 값을 갖는 앵커박스를 각 문자 영역의 바운딩박스(Bounding Box)로 선정하는 단계 및 문자 인식부가 상기 바운딩박스에 해당하는 영역의 특징성분을 문자 인식 학습데이터와 비교하여 상기 앵커박스에 해당하는 문자를 인식하는 단계를 포함하고, 상기 앵커박스들은 상기 제2 영상 이미지의 모든 영역에 걸쳐 일정한 간격으로 겹쳐서 위치하며 가로의 크기와 세로의 크기가 동일한 a개의 엔드 앵커박스(a는 자연수), 상기 엔드 앵커박스의 일측에 위치하며, 가로의 크기가 세로의 크기보다 작은 a개의 베이스 앵커박스 및 상기 베이스 앵커박스의 영역을 포함하며, 가로의 크기가 상기 엔드 앵커박스의 가로의 크기보다 작으면서 상기 베이스 앵커박스의 가로의 크기에서 일정한 크기만큼 증가한 크기를 갖는 복수개의 서브 앵커박스를 포함한다.
본 발명의 일 실시예에 있어서, 상기 앵커박스(Anchor Box)를 생성하는 단계는 상기 제2 영상 이미지의 일측에 위치하는 베이스 앵커박스를 생성하는 단계, 가로의 크기가 세로의 크기가 같아질 때까지 바로 이전에 생성된 앵커박스의 영역을 포함하며 바로 이전에 생성된 앵커박스의 가로의 크기에서 일정한 크기로 가로의 크기를 증가시킨 상기 서브 앵커박스를 생성하는 단계, 바로 이전에 생성된 앵커박스의 영역을 포함하는 상기 엔드 앵커박스를 생성하는 단계, 바로 이전에 생성된 베이스 앵커박스에서 일정한 크기만큼 가로 위치가 이동된 새로운 베이스 앵커박스를 생성하는 단계;
상기 서브 앵커박스를 생성하는 단계 및 상기 엔드 앵커박스를 생성하는 단계를 다시 수행하는 단계 및 상기 새로운 베이스 앵커박스를 생성하는 단계 및 상기 다시 수행하는 단계를 상기 제2 영상 이미지의 일측의 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 앵커박스의 크기는 픽셀 단위이고, 상기 베이스 앵커박스의 가로의 크기(픽셀의 개수)는 상기 엔드 앵커박스의 세로의 크기(픽셀의 개수)의 1/r배이고, 상기 서브 앵커박스의 증가하는 가로의 일정한 크기는 p픽셀이고, 상기 a개의 엔드 앵커박스들 중에서 가장 인접한 엔드 박스 사이의 시작 위치의 일정한 간격은 q픽셀일 수 있다.
본 발명의 일 실시예에 있어서, r이 2일때 하나의 상기 제2 영상 이미지로부터 생성되는 앵커박스의 총 개수는 다음의 수학식으로 계산될 수 있다.
Figure 112019040927488-pat00003
여기서, N은 상기 제2 영상 이미지의 세로의 크기이고, M은 상기 제2 영상 이미지의 가로의 크기임.
본 발명의 일 실시예에 있어서, 상기 차량 번호 인식 방법은 차량 검출부가 상기 제1 영상 이미지로부터 SDD(Single shot MultiBox Detector) 알고리즘을 이용하여 차량 영역을 검출하는 단계를 더 포함하고, 상기 제2 영상 이미지를 생성하는 단계에서는 상기 검출된 차량 영역으로부터 SDD(Single shot MultiBox Detector) 알고리즘을 이용하여 상기 관심 영역인 차량용 번호판 영역을 검출하여 제2 영상 이미지를 생성할 수 있다.
본 발명의 일 실시예에 있어서, 상기 차량 번호 인식 방법은 전처리부가 상기 제2 영상 이미지에 intensity balancing 및 모폴로지(Morphology)를 수행하여 화질을 개선하는 단계를 더 포함하고, 상기 화질을 개선하는 단계는 닫힘 모폴로지를 수행하는 단계, 상기 닫힘 모폴로지의 수행에 이어서 열림 모폴로지를 수행하는 단계, 영상 그레이 레벨에 대한 히스토그램을 계산하는 단계, 상기 히스토그램으로부터 하위 사분위수와 상위 사분위수에 해당되는 픽셀 값을 계산하는 단계 및 다음의 수학식으로 어파인 변환(affine transform)을 수행하는 단계를 포함할 수 있다.
Figure 112019040927488-pat00004
여기서, x는 해당 위치의 픽셀 값이고, max는 해당 영역에서 최대 픽셀 값이고, min은 해당 영역에서 최소 픽셀 값이고, Vmin은 하위 사분위수에 해당되는 픽셀 값이고, Vmax는 상위 사분위수에 해당되는 픽셀 값임.
본 발명의 일 실시예에 있어서, 상기 차량 번호 인식 방법은 프로젝션부가 수평투영법(Horizontal projection)을 이용하여 상기 제2 영상 이미지의 상위 위치와 하위 위치를 계산하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 특징성분을 추출하는 단계에서는 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여 상기 제2 영상 이미지의 컨볼루션 특징 맵(convolution feature map)을 추출하고, 이를 상기 특징성분으로 하며, 상기 합성곱 신경망은 입력 레이어(Input layer), 합성곱 레이어(Convolution Layer) 및 풀링 레이어(Pooling Layer)를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 문자를 인식하는 단계에서는 Fully Connection 네트워크를 이용하여 상기 앵커박스에 해당하는 문자를 인식할 수 있다.
본 발명의 실시예들에 따르면, 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 차량 번호 인식 방법은 영상 입력부, 제2 영상 이미지 생성부, 특징성분 추출부, 앵커박스 생성부, 바운딩박스 생성부 및 문자 인식부를 포함한다. 따라서, 영상으로부터 앵커박스를 생성하고 상기 앵커박스에 해당하는 부분의 특징성분을 문자 인식 학습데이터와 비교하여 보다 정확한 차량 번호를 인식할 수 있다.
또한, 본 발명은 다양한 크기의 다수의 앵커박스로부터 문자가 위치하는 영역인 바운딩박스를 생성하므로 문자의 특징에 따라서 가변적으로 영역이 선택될 수 있으며, 이로 인해 효율적인 크기의 영역 선택 및 이를 이용한 보다 정확한 차량 번호를 인식할 수 있다.
또한, 본 발명은 인공 신경망 기술을 이용하여 문자 영역을 추출하고, 문자를 인식하므로 문자 인식의 높은 확장성 및 정확도를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치를 나타내는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치를 나타내는 구성도이다.
도 3은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법을 나타내는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법을 나타내는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법의 화질을 개선하는 단계를 나타내는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법의 앵커박스(Anchor Box)를 생성하는 단계를 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법의 앵커박스를 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법의 앵커박스를 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법의 구현예를 나타내는 도면이다.
도 10은 일반적인 SSD 방법을 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법의 제2 영상 이미지의 구현예를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법의 CNN의 구현예를 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치 및 방법의 Fully Connection 네트워크의 구현예를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 실시예들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다.
상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함하다" 또는 "이루어진다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
본 발명에서 문자는 글자, 숫자 및 기호를 포함한다.
도 1은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치를 나타내는 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치는 영상 입력부(100), 제2 영상 생성부(200), 특징성분 추출부(300), 앵커박스 생성부(400), 바운딩박스 생성부(500) 및 문자 인식부(600)를 포함한다.
상기 영상 입력부(100)는 제1 영상 이미지를 입력 받을 수 있다. 예를 들면, 상기 영상 입력부(100)는 카메라, CCTV 또는 영상 센서일 수 있다. 예를 들면, 상기 영상 입력부(100)는 IP 카메라일 수 있다. 예를 들면, 상기 영상 입력부(100)는 도로위에 설치되어 차량의 전면 또는 후면을 촬영하는 카메라일 수 있다. 상기 제1 영상 이미지에는 동일한 규격을 갖는 문자가 포함될 수 있다. 상기 제1 영상 이미지에는 동일한 규격을 갖는 일렬로 배치된 문자들이 포함될 수 있다. 예를 들면, 상기 제1 영상 이미지에는 숫자, 글자 또는 부호가 포함될 수 있다. 예를 들면, 도 11과 같이 상기 제1 영상 이미지에는 차량용 번호판이 포함될 수 있다.
상기 제2 영상 생성부(200)는 상기 제1 영상 이미지로부터 문자가 포함된 관심 영역을 검출하여 제2 영상 이미지를 생성할 수 있다. 예를 들면, 도 11과 같이 상기 관심 영역은 차량용 번호판의 영역일 수 있다. 상기 관심 영역의 검출에는 딥러닝 기술이 사용될 수 있다. 예를 들면, 도 9와 같이 상기 관심 영역은 차량용 번호판의 영역이고, 상기 딥러닝 기술은 SSD(Single shot Multibox Detector)이며 번호판검출 학습 데이터를 이용하여 상기 차량용 번호판을 검출할 수 있다. 차량용 번호판 검출에 사용되는 상기 SSD 기술은 도 10과 같이 이미 공지된 기술이므로 자세한 설명은 생략한다.
상기 특징성분 추출부(300)는 상기 제2 영상 이미지로부터 특징성분을 추출할 수 있다. 예를 들면, 상기 특징성분 추출부(300)는 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여 상기 제2 영상 이미지의 컨볼루션 특징 맵(convolution feature map)을 추출하고, 이를 상기 특징성분으로 할 수 있다.
상기 합성곱 신경망은 입력 레이어(Input layer), 합성곱 레이어(Convolution Layer), 풀링 레이어(Pooling Layer) 및 특징 맵(feature map)을 포함할 수 있다. 상기 합성곱 레이어 및 풀링 레이어는 복수개가 사용될 수 있다. 상기 합성곱 레이어(Convolution Layer)는 입력 데이터에 필터를 적용 후 활성화 함수를 반영하여 이미지를 변환할 수 있다. 상기 풀링 레이어(Pooling Layer)는 이미지의 차원을 줄이는 서브 샘플링(subsampling) 레이어 일 수 있다. 따라서, 상기 풀링 레이어는 생략될 수 있다.
예를 들면, 도 12와 같이 상기 입력 레이어에서는 상기 제2 영상 이미지를 112x112 크기로 정규화 시킬 수 있으며 그레이 레벨 한 채널을 사용할 수 있고(@1 또는 depth 1), 상기 합성곱 레이어에서는 그레이 레벨 32 채널을 사용하여 상기 정규화 된 제2 영상 이미지를 56x56 크기로 변환할 수 있으며, 상기 풀링 레이어에서는 그레이 레벨 32 채널을 사용하여 상기 변환된 제2 영상 이미지를 28x28 크기로 변환할 수 있고, 다음 합성곱 레이어에서는 그레이 레벨 64 채널을 사용하여 상기 풀링 레이어에서 변환된 상기 제2 영상 이미지를 14x14 크기로 변환할 수 있고, 다음 풀링 레이어에서는 상기 다음 합성곱 레이어에서 변환된 상기 제2 영상 이미지를 그레이 레벨 128 채널을 사용하여 7x7 크기로 변환할 수 있으며, 최종 변환된 7x7 크기에 128 depth를 갖는 이미지는 상기 특징 맵으로 사용될 수 있다.
상기 앵커박스 생성부(400)는 상기 제2 영상 이미지로부터 복수개의 앵커박스(Anchor Box)를 생성할 수 있다. 상기 복수개의 앵커박스들은 상기 제2 영상 이미지와 세로의 크기가 서로 동일하고 가로의 크기가 서로 상이할 수 있다. 상기 앵커박스(Anchor Box)는 문자 인식을 위한 임의 구분 영역일 수 있다.
상기 앵커박스들은 엔드 앵커박스(403), 베이스 앵커박스(401) 및 서브 앵커박스(402)를 포함할 수 있다.
상기 엔드 앵커박스(403)는 가로의 크기와 세로의 크기가 동일한 형상일 수 있다. 예를 들면, 도 7과 같이 가로의 크기 및 세로의 크기가 N인 앵커박스일 수 있다. 상기 엔드 앵커박스(403)는 복수개 일 수 있다. 예를 들면, 상기 엔드 앵커박스(403)는 a개일 수 있다(a는 자연수). 상기 엔드 앵커박스(403)는 상기 제2 영상 이미지의 모든 영역에 걸쳐 일정한 간격으로 겹쳐서 위치할 수 있다. 예를 들면, 도 8과 같이 제2 영상 이미지의 가로의 크기가 M, 세로의 크기가 N이며, 상기 엔드 앵커박스(403)가 크기 1(r=1)의 간격으로 배치된 경우 상기 엔드 앵커박스(403)들의 개수 a는 (M-N+1)개일 수 있다.
상기 베이스 앵커박스(401)는 가로의 크기가 세로의 크기보다 작을 수 있다. 예를 들면, 도 7과 같이 상기 베이스 앵커박스(401)의 가로의 크기는 세로의 크기의 1/r배일 수 있다. 예를 들면, 상기 베이스 앵커박스(401)의 가로의 크기는 세로의 크기의 1/2배일 수 있다. 상기 베이스 앵커박스(401)는 상기 엔드 앵커박스(403)의 일측에 위치할 수 있다. 상기 베이스 앵커박스(401)는 상기 엔드 앵커박스(403)와 동일한 개수로 생성될 수 있다. 예를 들면, 도 8과 같이 제2 영상 이미지의 가로의 크기가 M, 세로의 크기가 N이며, 상기 베이스 앵커박스(401)가 크기 1(r=1)의 간격으로 배치된 경우 상기 베이스 앵커박스(401)들의 개수 a는 (M-N+1)개일 수 있다.
상기 서브 앵커박스(402)는 가로의 크기가 상기 엔드 앵커박스(403)의 가로의 크기보다 작으면서 상기 베이스 앵커박스(401)의 가로의 크기에서 일정한 크기만큼 증가한 크기를 가질 수 있다. 상기 서브 앵커박스(402)는 하나의 상기 베이스 앵커박스(401)에 대하여 복수개가 생성될 수 있다. 예를 들면, 도 7과 같이 상기 서브 앵커박스(402)들의 가로의 크기는 세로의 크기의 1/r에 p의 n배를 더한 값일 수 있다.
상기 서브 앵커박스(402)는 상기 베이스 앵커박스(401)의 영역을 포함할 수 있다. 예를 들면, 도 7과 같이 상기 서브 앵커박스(402)들은 상기 베이스 앵커박스(401)의 가로의 크기인 N/r보다 큰 가로의 크기와 상기 베이스 앵커박스(401)의 세로의 크기인 N과 동일한 세로의 크기를 가지며, 상기 베이스 앵커박스(401)를 일측에 완전히 포함하는 위치에 배치될 수 있다. 상기 서브 앵커박스(402)들은 서로 가로로 p만큼 이동된 위치에 배치될 수 있다.
상기 앵커박스의 크기는 픽셀단위일 수 있다. 상기 베이스 앵커박스(401)의 가로의 크기(픽셀의 개수)는 상기 엔드 앵커박스(403)의 세로의 크기(픽셀의 개수)의 1/r배일 수 있다. 예를 들면, 상기 세로의 크기에 해당하는 픽셀의 개수는 짝수이고, 상기 r은 세로의 크기의 약수일 수 있다. 예를 들면, 도 7과 같이 상기 베이스 앵커박스(401)들은 세로 픽셀의 개수가 N, 가로 픽셀의 개수가 N/r일 수 있다.
상기 서브 앵커박스(402)의 증가하는 가로의 일정한 크기는 p픽셀일 수 있다. 예를 들면, 도 7과 같이 상기 서브 앵커박스(402)들은 세로 픽셀의 개수가 N, 가로 픽셀의 개수가 (N/r)+n*p일 수 있다(n은 자연수).
상기 a개의 엔드 앵커박스(403)들 중에서 가장 인접한 엔드 박스 사이의 시작 위치의 일정한 간격은 q픽셀일 수 있다. 상기 a개의 베이스 앵커박스(401)들 중에서 가장 인접한 베이스 앵커박스(401) 사이의 시작 위치의 일정한 간격은 q픽셀일 수 있다. 예를 들면, 도 8의 (b)와 같이 가로의 픽셀 개수 N개, 세로의 픽셀 개수 N/r개를 갖는 베이스 앵커박스(401)들은 q픽셀의 간격으로 배치될 수 있다. 예를 들면, 도 8의 (c)와 같이 가로의 픽셀 개수 N개, 세로의 픽셀 개수 N개를 갖는 엔드 앵커박스(403)들은 q픽셀의 간격으로 배치될 수 있다.
상기 앵커박스 생성부(400)는 상기 r 및 q를 상기 제2 영상 이미지의 크기에 따라서 변경할 수 있다. 예를 들면, 상기 제2 영상 이미지의 세로의 크기가 홀수이고, 가로의 크기가 짝수이며, r값이 2인 경우, 상기 앵커박스 생성부(400)는 q값을 0.5 단위를 포함하는 값으로 설정할 수 있다. 상기 r, q 및 p값은 장치 사용자 또는 장치 관리자에 의해 변경될 수 있다.
상기 앵커박스 생성부(400)가 상기 앵커박스를 생성하는 방법은 도 6과 같이 베이스 앵커박스를 생성하는 단계(S410), 서브 앵커박스를 생성하는 단계(S420), 엔드 앵커박스를 생성하는 단계(S430), 새로운 베이스 앵커박스를 생성하는 단계(S440), 다시 수행하는 단계(S450) 및 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계(S460)를 포함할 수 있다.
상기 베이스 앵커박스를 생성하는 단계(S410)에서는 상기 제2 영상 이미지의 일측에 위치하는 베이스 앵커박스(401)를 생성할 수 있다. 예를 들면, 도 8의 (a)와 같이 상기 제2 영상 이미지의 일측 끝단에 세로의 크기 N, 가로의 크기 N/r인 베이스 앵커박스(401)를 생성할 수 있다.
상기 서브 앵커박스를 생성하는 단계(S420)에서는 가로의 크기와 세로의 크기가 같아질 때까지 바로 이전에 생성된 앵커박스의 영역을 포함하며 바로 이전에 생성된 앵커박스의 가로의 크기에서 일정한 크기로 가로의 크기를 증가시킨 상기 서브 앵커박스(402)를 생성할 수 있다. 예를 들면, 도 8의 (a)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 세로의 크기 N, 가로의 크기가 (N/r)+n*p인 서브 앵커박스(402)들을 생성할 수 있다(n은 자연수).
상기 엔드 앵커박스를 생성하는 단계(S430)에서는 바로 이전에 생성된 앵커박스의 영역을 포함하는 상기 엔드 앵커박스(403)를 생성할 수 있다. 예를 들면, 도 8의 (a)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 세로의 크기 N, 가로의 크기가 N인 엔드 앵커박스(403)를 생성할 수 있다.
상기 새로운 베이스 앵커박스를 생성하는 단계(S440)에서는 바로 이전에 생성된 베이스 앵커박스(401)에서 일정한 크기만큼 가로 위치가 이동된 새로운 베이스 앵커박스(401)를 생성할 수 있다. 예를 들면, 도 8의 (b)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 q만큼 이동한 세로의 크기 N, 가로의 크기 N/r인 베이스 앵커박스(401)를 생성할 수 있다.
상기 다시 수행하는 단계(S450)에서는 상기 서브 앵커박스를 생성하는 단계(S420) 및 상기 엔드 앵커박스를 생성하는 단계(S430)를 다시 수행할 수 있다. 예를 들면, 도 8의 (b)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 l*q만큼 이동한 세로의 크기 N, 가로의 크기가 (N/r)+n*p인 서브 앵커박스(402)들 및 세로의 크기 N이고 가로의 크기가 N인 엔드 앵커박스(403)들을 생성할 수 있다(n및 l은 자연수).
상기 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계(S460)에서는 상기 새로운 베이스 앵커박스를 생성하는 단계(S440) 및 상기 다시 수행하는 단계(S450)를 상기 제2 영상 이미지의 일측의 가장 반대측에 위치하는 엔드 앵커박스(403)가 생성될 때까지 반복할 수 있다. 예를 들면, 도 8의 (c)와 같이 상기 제2 영상 이미지의 일측의 반대측의 끝단에 위치하는 세로의 크기 N, 가로의 크기가 N인 엔드 앵커박스(403)를 생성할 수 있다.
따라서, 세로의 크기가 N이고 가로의 크기가 M이며 r이 2인 제2 영상 이미지로부터 생성되는 앵커박스의 개수는 다음의 수학식 1 로 계산될 수 있다.
수학식 1
Figure 112019040927488-pat00005
여기서, N은 상기 제2 영상 이미지의 세로의 크기이고, M은 상기 제2 영상 이미지의 가로의 크기임.
상기 바운딩박스 생성부(500)는 상기 앵커박스들의 영역에 해당하는 상기 제2 영상 이미지의 특징성분들을 문자 검출 학습데이터와 비교하여 최대 매칭 값을 갖는 앵커박스를 각 문자 영역의 바운딩박스(Bounding Box)로 선정할 수 있다.
상기 문자 인식부(600)는 상기 바운딩박스에 해당하는 영역의 특징성분을 문자 인식 학습데이터와 비교하여 상기 앵커박스에 해당하는 문자를 인식할 수 있다. 상기 문자 인식부(600)는 Fully Connection 네트워크를 이용하여 상기 앵커박스에 해당하는 문자를 인식할 수 있다. 상기 Fully Connection 네트워크는 입력 레이어(Input layer), Fully Connection layer 및 출력 레이어(Output layer)를 포함할 수 있다. 예를 들면, 도 13과 같이 상기 Fully Connection 네트워크는 입력 레이어(Input layer), 제1 Fully Connection layer 및 제2 Fully Connection Layer를 포함할 수 있으며, 상기 입력 레이어에는 상기 바운딩박스에 해당하는 영역의 특징성분이 입력될 수 있다. 여기서, Fully Connection 네트워크란 이전 계층의 모든 뉴런과 결합된 형태의 layer를 사용한 인공 신경망 기술을 말한다.
도 2는 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치를 나타내는 구성도이다.
본 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치는 차량 검출부(700), 전처리부(800) 및 프로젝션부(900)를 제외하고는 도 1의 차량 번호 인식 장치와 실질적으로 동일하다. 따라서, 도 1의 차량 번호 인식 장치와 동일한 구성요소는 동일한 도면 부호를 부여하고, 반복되는 설명은 생략한다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치는 차량 검출부(700), 전처리부(800) 및 프로젝션부(900)를 포함할 수 있다.
상기 차량 검출부(700)는 상기 제1 영상 이미지로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 차량 영역을 검출할 수 있다. 상기 차량 검출부(700)는 상기 SSD(Single shot Multibox Detector)기술 및 차량검출 학습 데이터를 이용하여 상기 차량 영역을 검출할 수 있다. 차량 검출에 사용되는 상기 SSD 기술은 도 10과 같이 이미 공지된 기술이므로 자세한 설명은 생략한다. 상기 제2 영상 생성부(200)는 상기 검출된 차량 영역으로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 상기 관심 영역인 차량용 번호판 영역을 검출하여 제2 영상 이미지를 생성할 수 있다.
상기 전처리부(800)는 상기 제2 영상 이미지에 intensity balancing 및 모폴로지(Morphology)를 수행하여 화질을 개선할 수 있다.
상기 intensity balancing의 수행은 영상 그레이 레벨에 대한 히스토그램을 계산하고, 상기 히스토그램으로부터 하위 사분위수와 상위 사분위수에 해당되는 픽셀 값을 계산하며, 다음의 수학식 2를 이용하여 어파인 변환(affine transform)을 수행할 수 있다.
수학식 2
Figure 112019040927488-pat00006
여기서, x는 해당 위치의 픽셀 값이고, max는 영역에서 최대 픽셀 값이고, min은 영역에서 최소 픽셀 값이고, Vmin은 하위 사분위수에 해당되는 픽셀 값이고, Vmax는 상위 사분위수에 해당되는 픽셀 값임.
상기 모폴로지(Morphology)란 영상의 노이즈를 제거하고 문자 부분을 강조하기 위한 방법일 수 있다. 상기 모폴로지는 닫힘 모폴로지 및 열림 모폴로지를 포함할 수 있으며, 상기 전처리부(800)는 상기 닫힘 모폴로지를 수행하고 이어서 열림 모폴로지를 수행할 수 있다. 상기 닫힘 모폴로지는 침식(erosion)연산을 수행 후 팽창(dilation)연산을 수행하는 것일 수 있다. 열림 모폴로지는 팽창연산을 한 후, 침식 연산을 수행하는 것일 수 있다. 상기 닫힘 모폴로지는 노이즈를 제거하며, 상기 열림 모폴로지는 문자 부분의 픽셀을 강조시킬 수 있다.
상기 프로젝션부(900)는 수평투영법(Horizontal projection)을 이용하여 상기 제2 영상 이미지의 상위 위치와 하위 위치를 계산할 수 있다. 상기 수평투영법은 상기 제2 영상 이미지를 이진화 한 다음 각 행 별로 수행 프로젝션을 수행해서 픽셀 수를 카운트한 후 하위부터 픽셀 카운트 수를 계산해서 최소 카운트 수 부분을 하위 위치로 정하고, 다음에 최소 카운트 수 부분을 상위 위치로 정하는 방법일 수 있다.
상기 차량 번호 인식 장치는 상기 차량 번호 인식 장치에 전원을 제공하는 전원부, 상기 차량 번호 인식 장치의 각 구성에서 저장 기능이 필요한 경우 저장부를 더 포함할 수 있다.
상기 차량 번호 인식 장치는 상기 인식된 문자를 순서대로 결합하여 차량의 번호를 출력하는 차량 번호 출력부를 더 포함할 수 있다.
상기 차량 번호 인식 장치의 구성은 다양하게 변형될 수 있다. 상기 차량 번호 인식 장치의 구성은 전부 하나의 장치로 구성되거나 분리된 장치로 구성될 수 있다. 예를 들면, 상기 영상 입력부(100), 상기 제2 영상 생성부(200), 상기 특징 성분 추출부, 상기 앵커박스 생성부(400), 상기 바운딩박스 생성부 및 상기 문자 인식부(600)는 하나의 장치로 구성될 수 있다. 예를 들면, 상기 제2 영상 생성부(200), 상기 특징 성분 추출부, 상기 앵커박스 생성부(400), 상기 바운딩박스 생성부 및 상기 문자 인식부(600)는 하나의 프로세서로 구성될 수 있다. 예를 들면, 상기 제2 영상 생성부(200), 상기 특징 성분 추출부, 상기 앵커박스 생성부(400), 상기 바운딩박스 생성부 및 상기 문자 인식부(600)는 별도의 장치인 서버로 구성되고, 상기 서버에 복수개의 상기 영상 입력부(100)가 유선 또는 무선으로 연결될 수 있다. 상기 차량 번호 인식 장치는 데이터를 다른 구성요소 또는 타 시스템으로 전송하는 통신부를 더 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법을 나타내는 흐름도이다.
본 실시예에 따른 차량 번호 인식 방법은 상기 차량 번호 인식 장치에서 수행되며, 도 1 및 도 2의 차량 번호 인식 장치와 카테고리만 상이할 뿐 실질적으로 동일하다. 따라서, 도 1 및 도 2의 차량 번호 인식 장치와 동일한 구성요소는 동일한 도면 부호를 부여하고, 반복되는 설명은 생략한다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 차량 번호 인식 방법은 제1 영상 이미지를 입력 받는 단계(S100), 제2 영상 이미지를 생성하는 단계(S200), 특징성분을 추출하는 단계(S300), 특징성분을 추출하는 단계(S400), 바운딩박스(Bounding Box)로 선정하는 단계(S500) 및 문자를 인식하는 단계(S600)를 포함한다.
상기 제1 영상 이미지를 입력 받는 단계(S100)에서는 상기 영상 입력부(100)가 제1 영상 이미지를 입력 받을 수 있다. 상기 제1 영상 이미지에는 동일한 규격을 갖는 문자가 포함될 수 있다. 상기 제1 영상 이미지에는 동일한 규격을 갖는 일렬로 배치된 문자들이 포함될 수 있다. 예를 들면, 상기 제1 영상 이미지에는 숫자, 글자 또는 부호가 포함될 수 있다. 예를 들면, 도 11과 같이 상기 제1 영상 이미지에는 차량용 번호판이 포함될 수 있다.
상기 제2 영상 이미지를 생성하는 단계(S200)에서는 상기 제2 영상 생성부(200)가 상기 제1 영상 이미지로부터 문자가 포함된 관심 영역을 검출하여 제2 영상 이미지를 생성할 수 있다. 예를 들면, 도 11과 같이 상기 관심 영역은 차량용 번호판의 영역일 수 있다. 상기 관심 영역의 검출에는 딥러닝 기술이 사용될 수 있다. 예를 들면, 상기 관심 영역은 차량용 번호판의 영역이고, 상기 딥러닝 기술은 SSD(Single shot Multibox Detector)이며 번호판검출 학습 데이터를 이용하여 상기 차량용 번호판 영역을 검출할 수 있다. 차량용 번호판 검출에 사용되는 상기 SSD 기술은 도 10과 같이 이미 공지된 기술이므로 자세한 설명은 생략한다.
상기 특징성분을 추출하는 단계(S300)에서는 상기 특징성분 추출부(300)가 상기 제2 영상 이미지로부터 특징성분을 추출할 수 있다. 예를 들면, 상기 특징성분 추출부(300)는 합성곱 신경망(CNN: Convolutional Neural Network)을 이용하여 상기 제2 영상 이미지의 컨볼루션 특징 맵(convolution feature map)을 추출하고, 이를 상기 특징성분으로 할 수 있다.
상기 합성곱 신경망은 입력 레이어(Input layer), 합성곱 레이어(Convolution Layer), 풀링 레이어(Pooling Layer) 및 특징 맵(feature map)을 포함할 수 있다. 상기 합성곱 레이어 및 풀링 레이어는 복수개가 사용될 수 있다. 상기 합성곱 레이어(Convolution Layer)는 입력 데이터에 필터를 적용 후 활성화 함수를 반영하여 이미지를 변환할 수 있다. 상기 풀링 레이어(Pooling Layer)는 이미지의 차원을 줄이는 서브 샘플링(subsampling) 레이어 일 수 있다. 따라서, 상기 풀링 레이어는 생략될 수 있다.
예를 들면, 도 12와 같이 상기 입력 레이어에서는 상기 제2 영상 이미지를 112x112 크기로 정규화 시킬 수 있으며 그레이 레벨 한 채널을 사용할 수 있고(@1 또는 depth 1), 상기 합성곱 레이어에서는 그레이 레벨 32 채널을 사용하여 상기 정규화 된 제2 영상 이미지를 56x56 크기로 변환할 수 있으며, 상기 풀링 레이어에서는 그레이 레벨 32 채널을 사용하여 상기 변환된 제2 영상 이미지를 28x28 크기로 변환할 수 있고, 다음 합성곱 레이어에서는 그레이 레벨 64 채널을 사용하여 상기 풀링 레이어에서 변환된 상기 제2 영상 이미지를 14x14 크기로 변환할 수 있고, 다음 풀링 레이어에서는 상기 다음 합성곱 레이어에서 변환된 상기 제2 영상 이미지를 그레이 레벨 128 채널을 사용하여 7x7 크기로 변환할 수 있으며, 최종 변환된 7x7 크기에 128 depth를 갖는 이미지는 상기 특징 맵으로 사용될 수 있다.
상기 특징성분을 추출하는 단계(S400)에서는 상기 앵커박스 생성부(400)는 상기 제2 영상 이미지로부터 복수개의 앵커박스(Anchor Box)를 생성할 수 있다. 상기 복수개의 앵커박스들은 상기 제2 영상 이미지와 세로의 크기가 서로 동일하고 가로의 크기가 서로 상이할 수 있다. 상기 앵커박스(Anchor Box)는 문자 인식을 위한 임의 구분 영역일 수 있다.
상기 앵커박스들은 엔드 앵커박스(403), 베이스 앵커박스(401) 및 서브 앵커박스(402)를 포함할 수 있다.
상기 엔드 앵커박스(403)는 가로의 크기와 세로의 크기가 동일한 형상일 수 있다. 예를 들면, 도 7과 같이 가로의 크기 및 세로의 크기가 N인 앵커박스일 수 있다. 상기 엔드 앵커박스(403)는 복수개 일 수 있다. 예를 들면, 상기 엔드 앵커박스(403)는 a개일 수 있다(a는 자연수). 상기 엔드 앵커박스(403)는 상기 제2 영상 이미지의 모든 영역에 걸쳐 일정한 간격으로 겹쳐서 위치할 수 있다. 예를 들면, 도 8과 같이 제2 영상 이미지의 가로의 크기가 M, 세로의 크기가 N이며, 상기 엔드 앵커박스(403)가 크기 1(r=1)의 간격으로 배치된 경우 상기 엔드 앵커박스(403)들의 개수 a는 (M-N+1)개일 수 있다.
상기 베이스 앵커박스(401)는 가로의 크기가 세로의 크기보다 작을 수 있다. 예를 들면, 도 7과 같이 상기 베이스 앵커박스(401)의 가로의 크기는 세로의 크기의 1/r배일 수 있다. 예를 들면, 상기 베이스 앵커박스(401)의 가로의 크기는 세로의 크기의 1/2배일 수 있다. 상기 베이스 앵커박스(401)는 상기 엔드 앵커박스(403)의 일측에 위치할 수 있다. 상기 베이스 앵커박스(401)는 상기 엔드 앵커박스(403)와 동일한 개수로 생성될 수 있다. 예를 들면, 도 8과 같이 제2 영상 이미지의 가로의 크기가 M, 세로의 크기가 N이며, 상기 베이스 앵커박스(401)가 크기 1(r=1)의 간격으로 배치된 경우 상기 베이스 앵커박스(401)들의 개수 a는 (M-N+1)개일 수 있다.
상기 서브 앵커박스(402)는 가로의 크기가 상기 엔드 앵커박스(403)의 가로의 크기보다 작으면서 상기 베이스 앵커박스(401)의 가로의 크기에서 일정한 크기만큼 증가한 크기를 가질 수 있다. 상기 서브 앵커박스(402)는 하나의 상기 베이스 앵커박스(401)에 대하여 복수개가 생성될 수 있다. 예를 들면, 도 7과 같이 상기 서브 앵커박스(402)들의 가로의 크기는 세로의 크기의 1/r에 p의 n배를 더한 값일 수 있다.
상기 서브 앵커박스(402)는 상기 베이스 앵커박스(401)의 영역을 포함할 수 있다. 예를 들면, 도 7과 같이 상기 서브 앵커박스(402)들은 상기 베이스 앵커박스(401)의 가로의 크기인 N/r보다 큰 가로의 크기와 상기 베이스 앵커박스(401)의 세로의 크기인 N과 동일한 세로의 크기를 가지며, 상기 베이스 앵커박스(401)를 일측에 완전히 포함하는 위치에 배치될 수 있다. 상기 서브 앵커박스(402)들은 서로 가로로 p만큼 이동된 위치에 배치될 수 있다.
상기 앵커박스의 크기는 픽셀단위일 수 있다. 상기 베이스 앵커박스(401)의 가로의 크기(픽셀의 개수)는 상기 엔드 앵커박스(403)의 세로의 크기(픽셀의 개수)의 1/r배일 수 있다. 예를 들면, 상기 세로의 크기에 해당하는 픽셀의 개수는 짝수이고, 상기 r은 세로의 크기의 약수일 수 있다. 예를 들면, 도 7과 같이 상기 베이스 앵커박스(401)들은 세로 픽셀의 개수가 N, 가로 픽셀의 개수가 N/r일 수 있다.
상기 서브 앵커박스(402)의 증가하는 가로의 일정한 크기는 p픽셀일 수 있다. 예를 들면, 도 7과 같이 상기 서브 앵커박스(402)들은 세로 픽셀의 개수가 N, 가로 픽셀의 개수가 (N/r)+n*p일 수 있다(n은 자연수).
상기 a개의 엔드 앵커박스(403)들 중에서 가장 인접한 엔드 박스 사이의 시작 위치의 일정한 간격은 q픽셀일 수 있다. 상기 a개의 베이스 앵커박스(401)들 중에서 가장 인접한 베이스 앵커박스(401) 사이의 시작 위치의 일정한 간격은 q픽셀일 수 있다. 예를 들면, 도 8의 (b)와 같이 가로의 픽셀 개수 N개, 세로의 픽셀 개수 N/r개를 갖는 베이스 앵커박스(401)들은 q픽셀의 간격으로 배치될 수 있다. 예를 들면, 도 8의 (c)와 같이 가로의 픽셀 개수 N개, 세로의 픽셀 개수 N개를 갖는 엔드 앵커박스(403)들은 q픽셀의 간격으로 배치될 수 있다.
상기 앵커박스 생성부(400)는 상기 r 및 q를 상기 제2 영상 이미지의 크기에 따라서 변경할 수 있다. 예를 들면, 상기 제2 영상 이미지의 세로의 크기가 홀수이고, 가로의 크기가 짝수이며, r값이 2인 경우, 상기 앵커박스 생성부(400)는 q값을 0.5 단위를 포함하는 값으로 설정할 수 있다.
상기 특징성분을 추출하는 단계(S400)는 베이스 앵커박스를 생성하는 단계(S410), 서브 앵커박스를 생성하는 단계(S420), 엔드 앵커박스를 생성하는 단계(S430), 새로운 베이스 앵커박스를 생성하는 단계(S440), 다시 수행하는 단계(S450) 및 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계(S460)를 포함할 수 있다.
상기 베이스 앵커박스를 생성하는 단계(S410)에서는 상기 제2 영상 이미지의 일측에 위치하는 베이스 앵커박스(401)를 생성할 수 있다. 예를 들면, 도 8의 (a)와 같이 상기 제2 영상 이미지의 일측 끝단에 세로의 크기 N, 가로의 크기 N/r인 베이스 앵커박스(401)를 생성할 수 있다.
상기 서브 앵커박스를 생성하는 단계(S420)에서는 가로의 크기와 세로의 크기가 같아질 때까지 바로 이전에 생성된 앵커박스의 영역을 포함하며 바로 이전에 생성된 앵커박스의 가로의 크기에서 일정한 크기로 가로의 크기를 증가시킨 상기 서브 앵커박스(402)를 생성할 수 있다. 예를 들면, 도 8의 (a)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 세로의 크기 N, 가로의 크기가 (N/r)+n*p인 서브 앵커박스(402)들을 생성할 수 있다(n은 자연수).
상기 엔드 앵커박스를 생성하는 단계(S430)에서는 바로 이전에 생성된 앵커박스의 영역을 포함하는 상기 엔드 앵커박스(403)를 생성할 수 있다. 예를 들면, 도 8의 (a)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 세로의 크기 N, 가로의 크기가 N인 엔드 앵커박스(403)를 생성할 수 있다.
상기 새로운 베이스 앵커박스를 생성하는 단계(S440)에서는 바로 이전에 생성된 베이스 앵커박스(401)에서 일정한 크기만큼 가로 위치가 이동된 새로운 베이스 앵커박스(401)를 생성할 수 있다. 예를 들면, 도 8의 (b)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 q만큼 이동한 세로의 크기 N, 가로의 크기 N/r인 베이스 앵커박스(401)를 생성할 수 있다.
상기 다시 수행하는 단계(S450)에서는 상기 서브 앵커박스를 생성하는 단계(S420) 및 상기 엔드 앵커박스를 생성하는 단계(S430)를 다시 수행할 수 있다. 예를 들면, 도 8의 (b)와 같이 상기 제2 영상 이미지의 일측 끝단으로부터 l*q만큼 이동한 세로의 크기 N, 가로의 크기가 (N/r)+n*p인 서브 앵커박스(402)들 및 세로의 크기 N이고 가로의 크기가 N인 엔드 앵커박스(403)들을 생성할 수 있다(n및 l은 자연수).
상기 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계(S460)에서는 상기 새로운 베이스 앵커박스를 생성하는 단계(S440) 및 상기 다시 수행하는 단계(S450)를 상기 제2 영상 이미지의 일측의 가장 반대측에 위치하는 엔드 앵커박스(403)가 생성될 때까지 반복할 수 있다. 예를 들면, 도 8의 (c)와 같이 상기 제2 영상 이미지의 일측의 반대측의 끝단에 위치하는 세로의 크기 N, 가로의 크기가 N인 엔드 앵커박스(403)를 생성할 수 있다.
따라서, 세로의 크기가 N이고 가로의 크기가 M이며 r이 2인 제2 영상 이미지로부터 생성되는 앵커박스의 개수는 다음의 수학식 3으로 계산될 수 있다.
수학식 3
Figure 112019040927488-pat00007
여기서, N은 상기 제2 영상 이미지의 세로의 크기이고, M은 상기 제2 영상 이미지의 가로의 크기임.
상기 바운딩박스(Bounding Box)로 선정하는 단계(S500)에서는 상기 바운딩박스 생성부(500)는 상기 앵커박스들의 영역에 해당하는 상기 제2 영상 이미지의 특징성분들을 문자 검출 학습데이터와 비교하여 최대 매칭 값을 갖는 앵커박스를 각 문자 영역의 바운딩박스(Bounding Box)로 선정할 수 있다.
상기 문자를 인식하는 단계(S600)에서는 상기 문자 인식부(600)는 상기 바운딩박스에 해당하는 영역의 특징성분을 문자 인식 학습데이터와 비교하여 상기 앵커박스에 해당하는 문자를 인식할 수 있다. 상기 문자 인식부(600)는 Fully Connection 네트워크를 이용하여 상기 앵커박스에 해당하는 문자를 인식할 수 있다. 상기 Fully Connection 네트워크는 입력 레이어(Input layer), Fully Connection layer 및 출력 레이어(Output layer)를 포함할 수 있다. 예를 들면, 도 13과 같이 상기 Fully Connection 네트워크는 입력 레이어(Input layer), 제1 Fully Connection layer 및 제2 Fully Connection Layer를 포함할 수 있으며, 상기 입력 레이어에는 상기 바운딩박스에 해당하는 영역의 특징성분이 입력될 수 있다. 여기서, Fully Connection 네트워크란 이전 계층의 모든 뉴런과 결합된 형태의 layer를 사용한 인공 신경망 기술을 말한다.
도 4는 본 발명의 일 실시예에 따른 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법을 나타내는 흐름도이다. 도 5는 본 발명의 일 실시예에 따른 차량 번호 인식 방법의 화질을 개선하는 단계를 나타내는 흐름도이다.
본 실시예에 따른 차량 번호 인식 방법은 차량 영역을 검출하는 단계(S110), 화질을 개선하는 단계(S210) 및 제2 영상 이미지의 상위 위치와 하위 위치를 계산하는 단계(S220)를 제외하고는 도 3의 차량 번호 인식 방법과 실질적으로 동일하다. 따라서, 도 3의 차량 번호 인식 방법과 동일한 구성요소는 동일한 도면 부호를 부여하고, 반복되는 설명은 생략한다.
도 4 및 도 5를 참조하면, 본 발명의 일 실시예에 따른 차량 번호 인식 방법은 차량 영역을 검출하는 단계(S110), 화질을 개선하는 단계(S210) 및 제2 영상 이미지의 상위 위치와 하위 위치를 계산하는 단계(S220)를 포함할 수 있다.
상기 차량 영역을 검출하는 단계(S110)에서는 상기 차량 검출부(700)는 상기 제1 영상 이미지로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 차량 영역을 검출할 수 있다. 예를 들면, 도 9와 같이 상기 차량 영역을 검출하는 단계(S110)에서는 SSD(Single shot Multibox Detector) 및 차량검출 학습 데이터를 이용하여 상기 차량을 검출할 수 있다. 상기 차량 검출에 사용되는 상기 SSD 기술은 도 10과 같이 이미 공지된 기술이므로 자세한 설명은 생략한다. 상기 제2 영상 이미지를 생성하는 단계에서는 상기 검출된 차량 영역으로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 상기 관심 영역인 차량용 번호판 영역을 검출하여 제2 영상 이미지를 생성할 수 있다.
상기 화질을 개선하는 단계(S210)에서는 상기 전처리부(800)는 상기 제2 영상 이미지에 intensity balancing 및 모폴로지(Morphology)를 수행하여 화질을 개선할 수 있다.
상기 화질을 개선하는 단계(S210)는 히스토그램을 계산하는 단계(S211), 픽셀 값을 계산하는 단계(S212), 어파인 변환(affine transform)을 수행하는 단계(S213), 닫힘 모폴로지를 수행하는 단계(S214) 및 열림 모폴로지를 수행하는 단계(S215)를 포함할 수 있다.
상기 히스토그램을 계산하는 단계(S211)에서는 상기 제2 영상 이미지로부터 영상 그레이 레벨에 대한 히스토그램을 계산할 수 있다. 상기 픽셀 값을 계산하는 단계(S212)에서는 상기 히스토그램으로부터 하위 사분위수와 상위 사분위수에 해당되는 픽셀 값을 계산할 수 있다. 상기 어파인 변환(affine transform)을 수행하는 단계(S213)에서는 다음의 수학식 4를 이용하여 어파인 변환(affine transform)을 수행할 수 있다.
수학식 4
Figure 112019040927488-pat00008
여기서, x는 해당 위치의 픽셀 값이고, max는 영역에서 최대 픽셀 값이고, min은 영역에서 최소 픽셀 값이고, Vmin은 하위 사분위수에 해당되는 픽셀 값이고, Vmax는 상위 사분위수에 해당되는 픽셀 값임.
상기 모폴로지(Morphology)란 영상의 노이즈를 제거하고 문자 부분을 강조하기 위한 방법일 수 있다. 상기 모폴로지는 닫힘 모폴로지 및 열림 모폴로지를 포함할 수 있다. 상기 전처리부(800)는 상기 닫힘 모폴로지를 수행하고 이어서 열림 모폴로지를 수행할 수 있다. 상기 닫힘 모폴로지를 수행하는 단계(S214)에서는 침식(erosion)연산을 수행 후 팽창(dilation)연산을 수행하는 상기 닫힘 모폴로지를 수행할 수 있다. 상기 열림 모폴로지를 수행하는 단계(S215)에서는 팽창연산을 한 후, 침식 연산을 수행하는 상기 열림 모폴로지를 수행할 수 있다. 상기 닫힘 모폴로지는 노이즈를 제거하며, 상기 열림 모폴로지는 문자 부분의 픽셀을 강조시킬 수 있다.
상기 제2 영상 이미지의 상위 위치와 하위 위치를 계산하는 단계(S220)에서는 상기 프로젝션부(900)는 수평투영법(Horizontal projection)을 이용하여 상기 제2 영상 이미지의 상위 위치와 하위 위치를 계산할 수 있다. 상기 수평투영법은 상기 제2 영상 이미지를 이진화 한 다음 각 행 별로 수행 프로젝션을 수행해서 픽셀 수를 카운트한 후 하위부터 픽셀 카운트 수를 계산해서 최소 카운트 수 부분을 하위 위치로 정하고, 다음에 최소 카운트 수 부분을 상위 위치로 정하는 방법일 수 있다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 통상의 기술자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 영상 입력부
200: 제2 영상 생성부
300: 특징성분 추출부
400: 앵커박스 생성부
500: 바운딩박스 생성부
600: 문자 인식부

Claims (12)

  1. 제1 영상 이미지를 입력 받는 영상 입력부;
    상기 제1 영상 이미지로부터 문자가 포함된 관심 영역을 검출하여 제2 영상 이미지를 생성하는 제2 영상 생성부;
    상기 제2 영상 이미지로부터 특징성분을 추출하는 특징성분 추출부;
    상기 제2 영상 이미지로부터 상기 제2 영상 이미지와 세로의 크기가 서로 동일하고 가로의 크기가 서로 상이한 복수개의 앵커박스(Anchor Box)를 생성하는 앵커박스 생성부;
    상기 앵커박스들의 영역에 해당하는 상기 제2 영상 이미지의 특징성분들을 문자 검출 학습데이터와 비교하여 최대 매칭 값을 갖는 앵커박스를 각 문자 영역의 바운딩박스(Bounding Box)로 선정하는 바운딩박스 생성부; 및
    상기 바운딩박스에 해당하는 영역의 특징성분을 문자 인식 학습데이터와 비교하여 상기 앵커박스에 해당하는 문자를 인식하는 문자 인식부를 포함하고,
    상기 앵커박스들은,
    상기 제2 영상 이미지의 모든 영역에 걸쳐 일정한 간격으로 겹쳐서 위치하며 가로의 크기와 세로의 크기가 동일한 a개의 엔드 앵커박스(a는 자연수);
    상기 엔드 앵커박스의 일측에 위치하며, 가로의 크기가 세로의 크기보다 작은 a개의 베이스 앵커박스; 및
    상기 베이스 앵커박스의 영역을 포함하며, 가로의 크기가 상기 엔드 앵커박스의 가로의 크기보다 작으면서 상기 베이스 앵커박스의 가로의 크기에서 일정한 크기만큼 증가한 크기를 갖는 복수개의 서브 앵커박스를 포함하는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치.
  2. 제1항에 있어서, 상기 앵커박스 생성부가 상기 앵커박스를 생성하는 방법은,
    상기 제2 영상 이미지의 일측에 위치하는 베이스 앵커박스를 생성하는 단계;
    가로의 크기가 세로의 크기가 같아질 때까지 바로 이전에 생성된 앵커박스의 영역을 포함하며 바로 이전에 생성된 앵커박스의 가로의 크기에서 일정한 크기로 가로의 크기를 증가시킨 상기 서브 앵커박스를 생성하는 단계;
    바로 이전에 생성된 앵커박스의 영역을 포함하는 상기 엔드 앵커박스를 생성하는 단계;
    바로 이전에 생성된 베이스 앵커박스에서 일정한 크기만큼 가로 위치가 이동된 새로운 베이스 앵커박스를 생성하는 단계;
    상기 서브 앵커박스를 생성하는 단계 및 상기 엔드 앵커박스를 생성하는 단계를 다시 수행하는 단계; 및
    상기 새로운 베이스 앵커박스를 생성하는 단계 및 상기 다시 수행하는 단계를 상기 제2 영상 이미지의 일측의 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계를 포함하는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치.
  3. 제1항에 있어서, 상기 앵커박스의 크기는 픽셀 단위이고,
    상기 베이스 앵커박스의 가로의 크기(픽셀의 개수)는 상기 엔드 앵커박스의 세로의 크기(픽셀의 개수)의 1/r배이고,
    상기 서브 앵커박스의 증가하는 가로의 일정한 크기는 p픽셀이고,
    상기 a개의 엔드 앵커박스들 중에서 가장 인접한 엔드 박스 사이의 시작 위치의 일정한 간격은 q픽셀인 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치.
  4. 제3항에 있어서, r이 2일때 하나의 상기 제2 영상 이미지로부터 생성되는 앵커박스의 총 개수는 다음의 수학식으로 계산되는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치.
    Figure 112019052752588-pat00009

    여기서, N은 상기 제2 영상 이미지의 세로의 크기이고, M은 상기 제2 영상 이미지의 가로의 크기임.
  5. 제1항에 있어서, 상기 제1 영상 이미지로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 차량 영역을 검출하는 차량 검출부를 더 포함하고,
    상기 제2 영상 생성부는 상기 검출된 차량 영역으로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 상기 관심 영역인 차량용 번호판 영역을 검출하여 제2 영상 이미지를 생성하는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 장치.
  6. 제1항에 있어서,
    상기 제2 영상 이미지에 intensity balancing 및 모폴로지(Morphology)를 수행하여 화질을 개선하는 전처리부를 더 포함하고,
    상기 모폴로지는 닫힘 모폴로지 및 열림 모폴로지를 포함하고,
    상기 intensity balancing의 수행은 영상 그레이 레벨에 대한 히스토그램을 계산하고, 상기 히스토그램으로부터 하위 사분위수와 상위 사분위수에 해당되는 픽셀 값을 계산하며, 다음의 수학식으로 어파인 변환(affine transform)을 수행하는 것인 차량 번호 인식 장치.
    Figure 112019040927488-pat00010

    여기서, x는 해당 위치의 픽셀 값이고, max는 해당 영역에서 최대 픽셀 값이고, min은 해당 영역에서 최소 픽셀 값이고, Vmin은 하위 사분위수에 해당되는 픽셀 값이고, Vmax는 상위 사분위수에 해당되는 픽셀 값임.
  7. 영상 입력부가 제1 영상 이미지를 입력 받는 단계;
    제2 영상 이미지 생성부가 상기 제1 영상 이미지로부터 문자가 포함된 관심 영역을 검출하여 제2 영상 이미지를 생성하는 단계;
    특징성분 추출부가 상기 제2 영상 이미지로부터 특징성분을 추출하는 단계;
    앵커박스 생성부가 상기 제2 영상 이미지로부터 상기 제2 영상 이미지와 세로의 크기가 서로 동일하고 가로의 크기가 서로 상이한 복수개의 앵커박스(Anchor Box)를 생성하는 단계;
    바운딩박스 생성부가 상기 앵커박스들의 영역에 해당하는 상기 제2 영상 이미지의 특징성분들을 문자 검출 학습데이터와 비교하여 최대 매칭 값을 갖는 앵커박스를 각 문자 영역의 바운딩박스(Bounding Box)로 선정하는 단계; 및
    문자 인식부가 상기 바운딩박스에 해당하는 영역의 특징성분을 문자 인식 학습데이터와 비교하여 상기 앵커박스에 해당하는 문자를 인식하는 단계를 포함하고,
    상기 앵커박스들은,
    상기 제2 영상 이미지의 모든 영역에 걸쳐 일정한 간격으로 겹쳐서 위치하며 가로의 크기와 세로의 크기가 동일한 a개의 엔드 앵커박스(a는 자연수);
    상기 엔드 앵커박스의 일측에 위치하며, 가로의 크기가 세로의 크기보다 작은 a개의 베이스 앵커박스; 및
    상기 베이스 앵커박스의 영역을 포함하며, 가로의 크기가 상기 엔드 앵커박스의 가로의 크기보다 작으면서 상기 베이스 앵커박스의 가로의 크기에서 일정한 크기만큼 증가한 크기를 갖는 복수개의 서브 앵커박스를 포함하는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법.
  8. 제7항에 있어서, 상기 앵커박스(Anchor Box)를 생성하는 단계는,
    상기 제2 영상 이미지의 일측에 위치하는 베이스 앵커박스를 생성하는 단계;
    가로의 크기가 세로의 크기가 같아질 때까지 바로 이전에 생성된 앵커박스의 영역을 포함하며 바로 이전에 생성된 앵커박스의 가로의 크기에서 일정한 크기로 가로의 크기를 증가시킨 상기 서브 앵커박스를 생성하는 단계;
    바로 이전에 생성된 앵커박스의 영역을 포함하는 상기 엔드 앵커박스를 생성하는 단계;
    바로 이전에 생성된 베이스 앵커박스에서 일정한 크기만큼 가로 위치가 이동된 새로운 베이스 앵커박스를 생성하는 단계;
    상기 서브 앵커박스를 생성하는 단계 및 상기 엔드 앵커박스를 생성하는 단계를 다시 수행하는 단계; 및
    상기 새로운 베이스 앵커박스를 생성하는 단계 및 상기 다시 수행하는 단계를 상기 제2 영상 이미지의 일측의 가장 반대측에 위치하는 엔드 앵커박스가 생성될 때까지 반복하는 단계를 포함하는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법.
  9. 제7항에 있어서, 상기 앵커박스의 크기는 픽셀 단위이고,
    상기 베이스 앵커박스의 가로의 크기(픽셀의 개수)는 상기 엔드 앵커박스의 세로의 크기(픽셀의 개수)의 1/r배이고,
    상기 서브 앵커박스의 증가하는 가로의 일정한 크기는 p픽셀이고,
    상기 a개의 엔드 앵커박스들 중에서 가장 인접한 엔드 박스 사이의 시작 위치의 일정한 간격은 q픽셀인 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법.
  10. 제9항에 있어서, r이 2일때 하나의 상기 제2 영상 이미지로부터 생성되는 앵커박스의 총 개수는 다음의 수학식으로 계산되는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법.
    Figure 112019052752588-pat00011

    여기서, N은 상기 제2 영상 이미지의 세로의 크기이고, M은 상기 제2 영상 이미지의 가로의 크기임.
  11. 제7항에 있어서,
    차량 검출부가 상기 제1 영상 이미지로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 차량 영역을 검출하는 단계를 더 포함하고,
    상기 제2 영상 이미지를 생성하는 단계에서는 상기 검출된 차량 영역으로부터 SSD(Single shot MultiBox Detector) 알고리즘을 이용하여 상기 관심 영역인 차량용 번호판 영역을 검출하여 제2 영상 이미지를 생성하는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법.
  12. 제7항에 있어서,
    전처리부가 상기 제2 영상 이미지에 intensity balancing 및 모폴로지(Morphology)를 수행하여 화질을 개선하는 단계를 더 포함하고,
    상기 화질을 개선하는 단계는,
    닫힘 모폴로지를 수행하는 단계;
    상기 닫힘 모폴로지의 수행에 이어서 열림 모폴로지를 수행하는 단계;
    영상 그레이 레벨에 대한 히스토그램을 계산하는 단계;
    상기 히스토그램으로부터 하위 사분위수와 상위 사분위수에 해당되는 픽셀 값을 계산하는 단계; 및
    다음의 수학식으로 어파인 변환(affine transform)을 수행하는 단계를 포함하는 앵커박스 및 CNN 특징 맵을 이용한 차량 번호 인식 방법.
    Figure 112019040927488-pat00012

    여기서, x는 해당 위치의 픽셀 값이고, max는 해당 영역에서 최대 픽셀 값이고, min은 해당 영역에서 최소 픽셀 값이고, Vmin은 하위 사분위수에 해당되는 픽셀 값이고, Vmax는 상위 사분위수에 해당되는 픽셀 값임.

KR1020190046508A 2019-04-22 2019-04-22 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법 KR101986592B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190046508A KR101986592B1 (ko) 2019-04-22 2019-04-22 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190046508A KR101986592B1 (ko) 2019-04-22 2019-04-22 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101986592B1 true KR101986592B1 (ko) 2019-06-10

Family

ID=66848570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190046508A KR101986592B1 (ko) 2019-04-22 2019-04-22 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101986592B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472588A (zh) * 2019-08-19 2019-11-19 上海眼控科技股份有限公司 锚点框确定方法、装置、计算机设备和存储介质
CN110472539A (zh) * 2019-08-01 2019-11-19 上海海事大学 一种文本检测方法、装置及计算机存储介质
CN110689010A (zh) * 2019-09-27 2020-01-14 支付宝(杭州)信息技术有限公司 一种证件识别方法及装置
CN110717445A (zh) * 2019-10-09 2020-01-21 清华大学 一种用于自动驾驶的前车距离跟踪***与方法
CN110796144A (zh) * 2019-11-08 2020-02-14 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN111241940A (zh) * 2019-12-31 2020-06-05 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及***
KR102157989B1 (ko) * 2020-06-29 2020-09-18 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 불법 주정차 단속 방법 및 시스템
KR102157990B1 (ko) * 2020-06-29 2020-09-21 이홍기 신경망을 이용한 차량 번호판 인식 방법 및 시스템
KR102161516B1 (ko) 2020-04-27 2020-10-05 주식회사 펜타게이트 딥러닝 기반의 데이터 확장학습을 이용한 차종 분류 방법
KR102161948B1 (ko) * 2020-06-29 2020-10-06 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 주차 유도 시스템 및 이의 주차 차량 위치 정보 제공 방법
KR102161949B1 (ko) * 2020-06-29 2020-10-06 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법 및 시스템
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、***和存储介质
KR102194890B1 (ko) * 2020-06-29 2020-12-24 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 무인 단속 및 도로 방범 방법 및 시스템
KR20210004529A (ko) * 2019-07-05 2021-01-13 김용운 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv
KR102238401B1 (ko) * 2020-09-14 2021-04-09 전주비전대학교산학협력단 데이터 확장 및 cnn을 이용한 차량번호 인식 방법
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测***
WO2022065547A1 (ko) * 2020-09-24 2022-03-31 주식회사 키센스 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템
KR20220071822A (ko) * 2020-11-24 2022-05-31 전주비전대학교산학협력단 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량번호 식별 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140334721A1 (en) * 2013-05-10 2014-11-13 Tantrum Street LLC Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers
KR20150093453A (ko) * 2014-02-07 2015-08-18 전북대학교산학협력단 차량 번호판 이중 검출 방법 및 장치
KR20150094165A (ko) * 2014-02-10 2015-08-19 전북대학교산학협력단 차량 번호판의 문자 분할 방법 및 장치
US20150371109A1 (en) * 2013-01-17 2015-12-24 Sensen Networks Pty Ltd Automated vehicle recognition
KR101931804B1 (ko) 2018-03-26 2018-12-21 장경익 차량 번호판의 인식률 증대 장치 및 방법
KR101970442B1 (ko) * 2018-12-04 2019-04-19 주식회사 넥스파시스템 Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150371109A1 (en) * 2013-01-17 2015-12-24 Sensen Networks Pty Ltd Automated vehicle recognition
US20140334721A1 (en) * 2013-05-10 2014-11-13 Tantrum Street LLC Methods and apparatus for capturing, processing, training, and detecting patterns using pattern recognition classifiers
KR20150093453A (ko) * 2014-02-07 2015-08-18 전북대학교산학협력단 차량 번호판 이중 검출 방법 및 장치
KR20150094165A (ko) * 2014-02-10 2015-08-19 전북대학교산학협력단 차량 번호판의 문자 분할 방법 및 장치
KR101931804B1 (ko) 2018-03-26 2018-12-21 장경익 차량 번호판의 인식률 증대 장치 및 방법
KR101970442B1 (ko) * 2018-12-04 2019-04-19 주식회사 넥스파시스템 Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210004529A (ko) * 2019-07-05 2021-01-13 김용운 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv
KR102220643B1 (ko) * 2019-07-05 2021-02-26 김용운 딥러닝을 기반으로 차량번호를 인식할 수 있는 cctv
CN110472539A (zh) * 2019-08-01 2019-11-19 上海海事大学 一种文本检测方法、装置及计算机存储介质
CN110472539B (zh) * 2019-08-01 2022-09-30 上海海事大学 一种文本检测方法、装置及计算机存储介质
CN110472588A (zh) * 2019-08-19 2019-11-19 上海眼控科技股份有限公司 锚点框确定方法、装置、计算机设备和存储介质
CN110689010B (zh) * 2019-09-27 2021-05-11 支付宝(杭州)信息技术有限公司 一种证件识别方法及装置
CN110689010A (zh) * 2019-09-27 2020-01-14 支付宝(杭州)信息技术有限公司 一种证件识别方法及装置
CN110717445A (zh) * 2019-10-09 2020-01-21 清华大学 一种用于自动驾驶的前车距离跟踪***与方法
CN110717445B (zh) * 2019-10-09 2022-08-23 清华大学 一种用于自动驾驶的前车距离跟踪***与方法
CN110796144A (zh) * 2019-11-08 2020-02-14 北京字节跳动网络技术有限公司 车牌检测方法、装置、设备及存储介质
CN111241940B (zh) * 2019-12-31 2022-07-26 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及***
CN111241940A (zh) * 2019-12-31 2020-06-05 浙江大学 一种机器人的远程控制方法、人体边界框确定方法及***
KR102161516B1 (ko) 2020-04-27 2020-10-05 주식회사 펜타게이트 딥러닝 기반의 데이터 확장학습을 이용한 차종 분류 방법
KR102194890B1 (ko) * 2020-06-29 2020-12-24 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 무인 단속 및 도로 방범 방법 및 시스템
KR102161949B1 (ko) * 2020-06-29 2020-10-06 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 통합 주차 관리 방법 및 시스템
KR102161948B1 (ko) * 2020-06-29 2020-10-06 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 주차 유도 시스템 및 이의 주차 차량 위치 정보 제공 방법
KR102157990B1 (ko) * 2020-06-29 2020-09-21 이홍기 신경망을 이용한 차량 번호판 인식 방법 및 시스템
KR102157989B1 (ko) * 2020-06-29 2020-09-18 이홍기 신경망을 이용한 차량 번호판 인식 기술이 적용된 불법 주정차 단속 방법 및 시스템
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、***和存储介质
CN112069995B (zh) * 2020-09-04 2024-02-27 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、***和存储介质
KR102238401B1 (ko) * 2020-09-14 2021-04-09 전주비전대학교산학협력단 데이터 확장 및 cnn을 이용한 차량번호 인식 방법
WO2022065547A1 (ko) * 2020-09-24 2022-03-31 주식회사 키센스 하이브리드 기법을 이용한 번호판 인식 방법 및 그 시스템
KR20220071822A (ko) * 2020-11-24 2022-05-31 전주비전대학교산학협력단 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량번호 식별 시스템
KR102516890B1 (ko) * 2020-11-24 2023-03-30 전주비전대학교산학협력단 드론 영상과 인공지능 기술을 이용한 불법 주정차 차량 번호 식별 시스템
CN113052835A (zh) * 2021-04-20 2021-06-29 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测***
CN113052835B (zh) * 2021-04-20 2024-02-27 江苏迅捷装具科技有限公司 一种基于三维点云与图像数据融合的药盒检测方法及其检测***

Similar Documents

Publication Publication Date Title
KR101986592B1 (ko) 앵커박스 및 cnn 특징 맵을 이용한 차량 번호 인식 장치 및 방법
Bunk et al. Detection and localization of image forgeries using resampling features and deep learning
Bappy et al. Exploiting spatial structure for localizing manipulated image regions
Raghunandan et al. Riesz fractional based model for enhancing license plate detection and recognition
Al-Ghaili et al. Vertical-edge-based car-license-plate detection method
Yousif et al. Toward an optimized neutrosophic K-means with genetic algorithm for automatic vehicle license plate recognition (ONKM-AVLPR)
EP1693782B1 (en) Method for facial features detection
Gllavata et al. A robust algorithm for text detection in images
US8867828B2 (en) Text region detection system and method
Slimani et al. An automated license plate detection and recognition system based on wavelet decomposition and CNN
US11450087B2 (en) System and method for multimedia analytic processing and display
JP2004318879A (ja) 画像内容を比較する自動化技術
KR101906796B1 (ko) 딥러닝 기반 영상 분석 장치 및 영상 분석 방법
Roy et al. Fractional poisson enhancement model for text detection and recognition in video frames
CN110866529A (zh) 字符识别方法、装置、电子设备及存储介质
US20210256707A1 (en) Learning to Segment via Cut-and-Paste
CN108229434A (zh) 一种车辆识别与细致重构的方法
CN111754441B (zh) 一种图像复制粘贴伪造被动检测方法
CN111814690A (zh) 一种目标重识别方法、装置和计算机可读存储介质
Tao et al. Smoke vehicle detection based on robust codebook model and robust volume local binary count patterns
CN113628181A (zh) 图像处理方法、装置、电子设备及存储介质
CN116311212B (zh) 基于高速摄像机实现运动状态下的船号识别方法及装置
Huang et al. A back propagation based real-time license plate recognition system
JP6377214B2 (ja) テキスト検出方法および装置
Favorskaya et al. Semantic segmentation of multispectral satellite images for land use analysis based on embedded information

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant