KR102030628B1 - Cnn 기반 차량 번호판 인식 방법 및 시스템 - Google Patents

Abstract

본 발명은 CNN 기반 차량 번호판 인식 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법은, 차량의 번호판을 인식하기 위해 차량의 번호판이 촬영된 영상이 입력되는 단계; 상기 차량의 번호판이 촬영된 영상이 CPU 및 GPU 중 어느 하나 이상이 포함된 연산장치로 입력되면, 입력된 영상에 대해 CNN 신경망의 정해진 비율로 해상도를 재조정하되, 상기 차량 번호판의 검출은 입력된 영상의 해상도를 재조정하는 YOLO v3가 이용되는 다운 샘플링 수행 단계; 상기 다운 샘플링된 영상에서 특징 맵(feature map)을 추출하고, 차량 번호판의 형상, 문자열의 색, 차량 번호판의 바탕색 및 문자열의 배치에 대한 정보에 따라 차량 번호판을 종류별로 분류하는 단계; 상기 분류된 차량 번호판의 종류에 따라 상기 차량 번호판의 크기에 대응되는 크기로 해상도가 재조정되는 단계; 및 상기 분류된 차량 번호판의 문자열 전체에 대해 OCR(optical character reader)이 수행되는 단계를 포함하되, 상기 OCR 수행 단계는 차량 번호판의 크기에 대응되는 크기로 해상도가 재조정된 번호판에 대해 수행되며, 상기 OCR이 수행됨에 따라 상기 차량 번호판 종류 및 인식된 문자열에 대한 경계박스 좌표 및 그 신뢰도 값(confidence)이 산출되며, 상기 차량 번호판 및 OCR 신뢰도 값을 이용하여 신뢰도가 낮은 번호판들은 강화 학습 방법으로 인식률을 제고하는 것을 특징으로 한다.

Description

CNN 기반 차량 번호판 인식 방법 및 시스템{RECOGNIZING METHOD AND SYSTEM OF VEHICLE LICENSE PLATE BASED CONVOLUTIONAL NEURAL NETWORK}

본 발명은 CNN 기반 차량 번호판 인식 방법 및 시스템에 관한 것으로, 더욱 상세하게는 CCTV 영상에서 차량 번호판을 검출하고 인식하기 위해 CNN을 기반으로 차량 번호판을 인식하는 CNN 기반 차량 번호판 인식 방법 및 시스템에 관한 것이다.

최근 지능형 교통체계(intelligent transport system) 구축을 위한 연구가 많이 진행되고 있다. 지능형 교통체계는 교통관리의 최적화, 교통정보 유통 활성화 등 다양한 개발 분야, 서비스 및 세부 서비스로 분류된다. 이 중 교통 단속 서비스의 핵심 기술은 차량 번호판을 인식하는 시스템으로, 차량의 출입 통제, 주차 관리, 과속 단속 등 여러 분야에서 활용된다. 또한, 오랜 시간동안 연구가 진행되고 있다. 최근 차량 관련 범죄가 증가함에 따라 범죄 예방 및 범죄 상황에 대한 빠른 조치를 위해 CCTV 영상을 대상으로 차량 번호판 인식에 대한 연구가 중요한 연구로 진행되고 있다.

차량 번호판의 인식기에 대한 연구는, 일반적으로 번호판 검출, 번호판 내 문자열 추출, 문자열 인식 단계로 구성된다. 특히, 번호판을 검출하는 과정은, 차량 번호판 인식 시스템의 성능에 가장 큰 영향이 있어, 이에 대한 연구가 활발하게 진행되고 있다.

기존 차량 번호판 검출 방법은 대부분 핸드 크래프트(hand crafted) 특징을 기반으로 하는 방법들로, 에지(edge) 기반 번호판 검출 방법, 색상 기반 번호판 검출 방법, SIFT(scale-invariant feature transform) 기반 번호판 검출 방법 등이 있다. 하지만, 이러한 핸드 크래프트 특징을 기반으로 하는 방법들은, 일정한 조명 환경, 제한된 카메라 위치 등과 같이 영상 취득 환경에 대한 다양한 제약이 있다.

하지만, CCTV 영상의 경우, 대부분 야외에서 취득되기 때문에 영상이 촬영된 시간대에 따라 광량이 다르고, 비나 눈 등의 기상 상황에 따라 조명이 일정하지 않다. 또한, 차량의 진입 방향이나 카메라의 위치에 따라 촬영된 영상 내에서 취득되는 번호판에 대해 기하학적인 왜곡이 발생할 수 있다.

따라서 상기와 같은 문제를 해결하기 위해, 최근 CNN(convolutional neural network)를 이용하여 영상 내 물체 인식하거나 물체를 검출하는 연구가 진행되고 있으며, 이러한 컴퓨터 비전 분야에서 상당한 성과가 나오고 있다. 특히 물체 인식 및 물체 검출 분야의 경우, 물체에 대한 조명 변화와 구조적인 정보 변화(크기, 회전, 기울어짐, 가려짐 등)와 같은 다양한 왜곡이 존재하는 경우에도 높은 성능이 나타고 있다.

CNN을 이용하여 물체를 검출하는 방법은, 크게 2단계 검출 방법과 1단계 검출 방법으로 분류된다. 2단계 검출 방법은, R-CNN, fast R-CNN, faster R-CNN 등이 있다. 2단계 검출 방법은, 검출 성능이 높지만 실시간 검출 성능이 상대적으로 크게 낮아 실시간으로 차량 번호판을 인식하기 위한 시스템에 적용하는 것에 문제가 있다.

반면, 1단계 검출 방법은, YOLO(you only look once) 및 SSD(single shot multibox detector) 등이 있다. 1단계 검출 방법은, 2단계 검출 방법에 비해 상대적으로 낮은 검출 성능을 갖지만, 실시간 검출 성능이 상대적으로 높다. 따라서 1단계 검출 방법은, 실시간으로 차량 번호판을 인시기하기 위한 시스템에 적합하다.

그렇지만, 상기와 같은 1단계 검출 방법을 CCTV 영상 내의 차량 번호판을 검출하는 것에 그대로 적용하는 것은, 다음과 같은 문제가 있다.

첫째로, 대부분의 1단계 검출 방법은, 입력 영상의 해상도가 일정해야 하는데, 이를 위해 전 처리 방법으로, 입력 영상의 해상도를 동일한 해상도로 재조정(resize)하는 과정이 포함된다.

하지만, CCTV 영상은, 대부분 FHD(full high definition) 해상도(1920 x 1080)를 갖는데, 해상도를 재조정하는 과정에서 정보가 손실되는 경우가 발생할 수 있다. 특히, 영상의 종횡비(aspect ratio)가 변화되는 경우, 영상 내에 조재하는 물체의 종횡비 또한 크게 왜곡될 위험이 있다. 이는 구조적인 정보를 특징으로 추출하는 CNN 성능을 감소시키는 문제가 있다.

둘째로, 1단계 검출 방법인 YOLO v3 및 SSD는 물체의 다양한 크기의 변화에 대응하기 위해 여러 크기의 특징 맵(feature map)에서 물체를 검출한다. 하지만, CCTV 영상에서 취득되는 번호판의 경우, 대부분 크기가 작고 취득된 환경에 따라 크기 변화가 매우 작기 때문에 여러 크기의 특징 맵에서 물체 검출을 수행할 경우, 오 검출율이 높고, 불필요한 연산량이 증가되는 문제가 있다.

대한민국 등록특허 제10-1954404호 (2019.02.26.) 대한민국 등록특허 제10-0703956호 (2007.03.29)

본 발명이 해결하고자 하는 과제는, CNN을 기반으로 차량 번호판을 검출할 때, 해상도를 재조정하는 과정에서 발생하는 구조적인 정보의 손실과 왜곡을 완화시킬 수 있는 CCTV 영상에 적합한 CNN 기반 차량 번호판 인식 방법 및 시스템을 제공하는 것이다.

본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법은, 차량의 번호판을 인식하기 위해 차량의 번호판이 촬영된 영상이 입력되는 단계; 상기 차량의 번호판이 촬영된 영상이 CPU 및 GPU 중 어느 하나 이상이 포함된 연산장치로 입력되면, 입력된 영상에 대해 CNN 신경망의 정해진 비율로 다운 샘플링을 수행하는 단계; 상기 다운 샘플링된 영상에서 특징 맵(feature map)을 추출하고, 추출된 특징에 포함된 차량 번호판의 종류에 따라 분류하는 단계; 상기 분류된 차량 번호판의 종류에 따라 상기 차량 번호판의 크기에 대응되는 크기로 해상도가 재조정되는 단계; 및 상기 분류된 차량 번호판의 문자열 전체에 대해 OCR(optical character reader)이 수행되는 단계를 포함하고, 상기 OCR 수행 단계는 차량 번호판의 크기에 대응되는 크기로 해상도가 재조정된 번호판에 대해 수행되며, 상기 OCR이 수행됨에 따라 상기 번호판 종류 및 인식된 문자열에 대한 경계박스 좌표 및 그 신뢰도 값(confidence)이 산출될 수 있다.

상기 차량 번호판이 촬영된 영상이 입력되는 단계는, CCTV에서 촬영된 영상이 입력될 수 있다.

상기 차량 번호판이 촬영된 영상이 입력되는 단계에서, 입력되는 차량 번호판이 촬영된 영상은 상기 CCTV에서 촬영된 전체 영상 중 차량 번호판이 촬영된 일부 영상일 수 있다.

상기 다운 샘플링을 수행하는 단계는, 입력된 영상에 포함된 차량 번호판의 영상에 대해 가로 및 세로의 비율을 3:1 또는 2:1의 비율로 해상도를 재조정(resize)할 수 있다.

상기 차량 번호판의 종류에 따라 분류하는 단계는, 차량 번호판의 종류에 대한 데이터베이스에 포함된 차량 번호판 종류에 따라 분류할 수 있다.

상기 차량 번호판의 종류는, 차량 번호판의 형상, 문자열의 색, 차량 번호판의 바탕색 및 문자열의 배치에 대한 정보에 따라 분류될 수 있다.

상기 OCR의 수행은, 비최대억제(NMS)를 이용하여 검증이 이루어질 수 있다.

상기 OCR 수행에서 산출된 신뢰도 값을 이용하여 기존 학습 데이터 셋을 다운 샘플링하고 신규 데이터 셋을 추가하여 차량 번호 인식율을 재고시켜 학습하는 단계를 더 포함할 수 있다.

한편, 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 시스템은, CCTV에서 촬영된 영상이 수신되는 영상수신부; 상기 영상수신부에서 수신되어 입력된 영상에서 차량 번호판 만을 추출하고, 추출된 차량 번호판의 비율은 CNN 신경망의 정해진 비율로 재조정(resize) 하되, 차량 번호판의 검출은 입력된 영상의 해상도를 재조정하는 YOLO v3가 이용되며, CPU 및 GPU 중 어느 하나 이상이 포함된 재조정부; 상기 재조정된 해상도의 차량 번호판 영상에서 특징 맵(feature map)을 추출하고, 차량 번호판의 형상, 문자열의 색, 차량 번호판의 바탕색 및 문자열의 배치에 대한 정보에 따라 차량 번호판을 종류별로 분류하는 번호판 분류부; 상기 분류된 차량 번호판의 문자열 전체에 대해 OCR(optical character reader)을 수행하는 문자열 인식부를 포함하고, 상기 재조정부는, 상기 수신된 영상의 해상도를 소정의 비율로 재조정하는 제1 재조정부 및 상기 번호판 분류부에서 분류된 번호판의 종류에 따라 해당 번호판의 크기에 대응되는 해상도의 비율로 상기 제1 재조정부에서 재조정된 영상을 재조정하는 제2 재조정부를 포함하며, 상기 번호판 분류부는, 상기 제1 재조정부에서 재조정된 영상에서 차량의 번호판의 비율에 따라 번호판을 분류하는 제1 번호판 분류부 및 상기 제2 재조정부에서 재조정된 영상에서 차량의 번호판의 종류에 따라 번호판을 분류하는 제2 번호판 분류부를 포함할 수 있다.

삭제

삭제

삭제

삭제

삭제

본 발명에 의하면, 단일 인공신경망(CNN)을 이용하여 입력된 CCTV 영상을 다운 샘플링을 수행하고, 다운 샘플링된 영상을 CNN 모델링을 수행할 때, 우리나라 번호판의 크기에 따라 재조정(resize)을 수행하고, 영상 처리 없이 한번에 OCR하기 때문에 기존에 비해 다양한 왜곡에 강인하고 빠르며 정확하게 차량 번호판을 인식할 수 있는 효과가 있다.

더욱이, 다운 샘플링을 수행할 때, 재조정 비율을 3:1 또는 2:1로 재조정함으로써, 기존에 1:1로 재조정하는 것에 비해 차량 번호판을 약 15%정도 빠른 속도와 약 2%정도 높은 정확도로 인식할 수 있는 효과가 있다.

또한, 차량 번호판을 인식할 때, 우리나라 실정에 맞도록 차량의 번호판 종류에 따라 분류를 수행한 상태에서 해당 번호판에 대한 인식이 이루어짐에 따라 번호판의 인식율을 높일 수 있는 효과가 있다.

도 1은 CCTV 영상 내에 차량 번호판이 촬영된 상태를 도시한 도면들이다.
도 2는 CNN 신경망을 예시적으로 도시한 도면이다.
도 3은 CNN 신경망 구조를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 시스템을 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법으로 차량 번호판을 인식한 일례를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법으로 차량 번호판을 인식한 다른 예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법으로 차량 번호판을 인식한 또 다른 예를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법에 따라 차량 번호판을 인식하는 것을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법에서 분류하기 위한 차량의 번호판 종류를 도시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 CNN 기판 차량 번호판 인식 방법에서 번호판 인식의 학습률을 나타낸 그래프이다.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다." 또는 "포함한다." 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 CCTV 영상 내에 차량 번호판이 촬영된 상태를 도시한 도면들이고, 도 2는 CNN 신경망을 예시적으로 도시한 도면이다. 그리고 도 3은 CNN 신경망 구조를 도시한 도면이다. 도 4는 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 시스템을 도시한 블록도이다. 또한, 도 5는 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법을 설명하기 위한 흐름도이다.

먼저, 도 1을 참조하면, 도 1의 (a) 내지 도 1의 (f)에는 각각 CCTV에서 촬영된 차량 번호판이 도시된다. 도 1의 (a)는 공간적인 조명이 불균일하게 촬영된 영상이고, 도 1의 (b)는 차량 번호판이 부분적으로 가려진 상태에서 촬영된 영상이며, 도 1의 (c)는 다수의 차량 번호판이 촬영된 영상이다. 그리고 도 1의 (d)는 해상도가 부족한 상태로 촬영된 영상이고, 도 1의 (e)는 차량 번호판이 초점이 맞지 않게 촬영된 영상이며, 도 1의 (f)는 차량 번호판이 가하학적으로 왜곡된 상태로 촬영된 영상이다.

이렇게 도 1에 도시된 도면들과 같이, CCTV 영상에서 차량 번호판이 정상적으로 촬영되지 않은 영상에서 차량의 번호판을 인식할 때, 인식율이 높지 않을 수 있다. 이를 위해 본 실시예는 CNN(convolutional neural network) 기반으로 차량의 번호판을 인식하는 방법을 제공한다.

CNN은 도 3에 도시된 바와 같이, 심층 신경망(DNN, deep neural network)의 한 종류로, 하나 또는 여러 개의 컨볼루션 계층(convolutional layer)과 통합 계층(pooling layer), 완전하게 연결된 계층(fully connected layer)들로 구성된 신경망이다. CNN은 2차원 데이터의 학습에 적합한 구조를 가지고 있으며, 역전달(backpropagation algorithm)을 통해 훈련될 수 있다. 특히, CNN은 영상 내 객체 분류, 객체 탐지 등 다양한 응용분야에 폭넓게 활용되는 심층 신경망의 대표적인 모델 중 하나이다.

이러한 CNN은 모델이 직접 이미지, 비디오, 텍스트 또는 사운드를 분류하는 머신 러닝의 한 유형이다. CNN은 이미지에서 객체, 얼굴, 장면을 인식하기 위해 패턴을 찾는데 특히 유용하며, 데이터에서 직접 학습하고, 패턴을 사용하여 이미지를 분류하며 특징을 수동으로 추출할 필요가 없다.

CNN은 자율 주행 자동차, 얼굴 인식 프로그램이나 차량 번호판 인식을 위한 프로그램과 같이 객체 인식과 컴퓨터 비전이 필요한 분야에서 많이 사용된다. 응용분야에 따라 CNN을 처음부터 만들거나 데이터 셋으로 사전 학습된 모델을 사용할 수 있다.

이러한 CNN은 특징을 직접 학습하기 때문에 특징을 수동으로 추출할 필요가 없고, 높은 수준의 인식 결과를 확인할 수 있으며, 기존 네트워크를 바탕으로 새로운 인식 작업을 위해 CNN을 재학습하여 사용하는 것이 가능한 장점이 있다.

또한, CNN은 학습을 위해서 GPU를 사용하지만, 테스트는 CPU와 GPU 등 기타 연산장치를 이용할 수 있다. 특히, GPU는 연산에 특화하여 CPU에 비해 수십 배에서 수백 배까지 빠른 연산을 수행할 수 있다.

CNN의 작동 방식은, 수십, 수백 개의 계층이 각각 이미지의 서로 다른 특징을 감지하도록 학습할 수 있다. 필터가 이용되는데, 필터는 각 학습 이미지에 서로 다른 해상도로 적용되고, 필터의 출력은 다음 계층의 입력으로 활용된다. 필터는 밝기 및 가장자리 등과 같이 매우 단순한 특징에서 시작하여 객체만의 고유한 특징으로 더 복잡하게 발전될 수 있다.

CNN은 다른 신경망과 마찬가지로 도 2에 도시된 바와 같이, 입력 계층, 출력 계층 및 두 계층 사이의 여러 은닉 계층으로 구성된다. 각 계층은 해당 데이터만이 갖는 특징을 학습하기 위해 데이터를 변경하는 계산을 수행한다. 가장 자주 사용되는 계층으로 컨벌루션, 활성화/ReLU, 풀링이 있다.

컨벌루션은 각 이미지에서 특정 특징을 활성화하는 컨벌루션 필터 집합에 입력 이미지를 통과시킨다.

ReLU(rectified linear unit)는 음수 값을 0에 매핑하고 양수 값을 유지하여 더 빠르고 효과적인 학습을 가능하게 한다. 이때, 활성화된 다음 계층으로 전달되기 때문에 이 과정을 활성화라 부른다.

풀링은 비선형 다운 샘플링을 수행하고, 네트워크에서 학습해야 하는 매개 변수의 수를 줄여 출력을 간소화한다. 이러한 작업이 수십 개 또는 수백 개의 계층에서 반복되어 각 계층이 여러 특징을 검출하는 방법을 학습한다.

CNN의 아키텍처는 여러 계층에서 특징을 학습한 다음 분류로 넘어간다. 끝에서 두 번째 계층은 K차원의 벡터를 출력하는 완전 연결 계층이다. 여기서, K는 네트워크가 예측할 수 있는 클래스의 수이다. 이 벡터에는 분류되는 이미지의 각 클래스에 대한 확률이 포함된다. CNN의 아키텍처의 마지막 계층에서는 softmax와 같은 분류 계층을 사용하여 분류 출력을 제공한다.

CNN은 수백, 수천 개, 때로는 수백만 개의 이미지를 학습한다. 다량의 데이터와 복잡한 네트워크 아키텍처가 사용될 때, GPU를 적용하면 모델을 학습시키기 위한 처리 시간을 대폭 단축할 수 있다. CNN 학습이 완료되면, ADAS(고급 운전자 지원 시스템)에서 실시간 응용분야에 활용할 수 있다.

CNN은 처음부터 학습시킬 수 있고, 사전에 학습된 모델을 사용하여 전이 학습을 수행할 수도 있다. 어떤 방법을 사용하지는 사용가능한 리소스와 만들고자 하는 프로그램의 유형에 따라 달라질 수 있다.

네트워크를 처음부터 학습시키기 위해 설계자는 계층 및 필터의 개수와 그 밖의 조정 가능한 매개 변수들을 정의할 필요가 있다. 모델을 처음부터 학습시켜 정확한 결과를 도출하기 위해 다량의 데이터와 수백만 개의 샘플이 필요할 수 있다.

CNN은 처음부터 학습시키는 대신 자주 사용되는 대안은 사전에 학습된 모델을 활용하여 새로운 데이터 셋으로부터 특징을 자동으로 추출하는 것이다. 전이학습이라고 하는 방법을 사용하면 대규모 데이터 셋을 준비하여 계산 시간 및 학습 시간을 줄인 상태에서, 딥러닝을 간편하게 적용할 수 있다.

먼저, 도 4를 참조하면, 본 발명의 CNN 기판 차량 번호판 인식 시스템(100)은, 영상수신부(110), 제1 재조정부(120), 제2 재조정부(130), 제1 번호판 분류부(140), 제2 번호판 분류부(150), 문자열 인식부(160) 및 데이터베이스부(170)를 포함한다.

영상수신부(110)는 CCTV에서 촬영된 영상을 수신한다. 영상수신부(110)에서 수신되는 영상은 번호판만 촬영된 영상이 아닌 차량의 번호판을 포함하여 차량이나 다른 물체 등도 함께 촬영된 영상일 수 있다. 그리고 영상수신부(110)로 수신된 영상에 포함된 번호판은 도 1에 도시된 번호판들과 같이, 다양하게 왜곡된 상태의 번호판이 포함될 수 있다.

제1 재조정부(120)는 영상수신부(110)에서 수신되어 입력된 영상에서 차량의 번호판만을 추출하고, 추출된 번호판의 비율을 가로 및 세로 비율에 대한 해상도를 3:1 또는 2:1로 재조정(resize)한다. 그리고 제1 재조정부(120)는 이렇게 입력된 영상에 대한 다운 샘플링이 이루어진다.

제2 재조정부(130)는 제1 번호판 분류부(140)에서 번호판 크기에 따라 분류가 이루어지면, 분류된 번호판의 종류에 따라 해상도를 대략 2:1 또는 대략 5:1의 크기로 재조정한다. 구체적으로 구형 번호판의 크기는 335mm x 155mm, 335mm x 170mm, 440mm x 220mm 및 440mm x 200mm 중 하나이므로, 구형 번호판의 크기의 비율과 일치하는 비율로 재조정한다. 그리고 신형 번호판의 크기는 520mm x 110mm이므로, 신형 번호판의 크기의 비율과 일치하는 비율로 재조정한다.

제1 번호판 분류부(140)는, 제1 재조정부(120)에서 추출된 번호판에 대해 재조정된 해상도의 번호판 영상에서 차량의 번호판을 종류에 따라 분류한다. 이때, 분류하는 차량의 번호판 종류는 앞서 설명한 바와 같이, 구형 번호판이거나 신형 번호판을 분류하는 것으로, 대략 2:1의 비율을 갖는 번호판과 대략 5:1의 비율을 갖는 번호판으로 분류할 수 있다.

제2 번호판 분류부(150)는 후술할 도 10에 도시된 번호판으로 세분화하여 분류한다. 제2 번호판 분류부(150)는 제2 재조정부(130)에서 번호판의 크기와 동일한 해상도의 크기를 가지도록 재분류됨에 따라 제2 번호판 분류부(150)는 제2 재조정부(130)에서 재조정된 크기에 따라 각 번호판의 종류에 따라 세분화하여 분류한다.

문자열 인식부(160)는, 제2 번호판 분류부(150)를 통해 분류된 번호판의 특징에 따라 문자열 전체에 대해 문자열을 인식한다. 이때, 문자열의 인식은 OCR(optical character reader) 방식이 이용될 수 있다. 문자열 인식부(160)는 제2 번호판 분류부(150)를 통해 번호판을 세분화하여 분류함에 따라 번호판의 어느 위치에 문자 또는 숫자가 배치되어 있는지 사전에 알기 때문에 보다 정확하게 문자 또는 숫자를 인식할 수 있다.

도 5를 참조하면, 먼저, CCTV에서 촬영된 영상이 입력된다(S101). 본 단계에서, 입력되는 영상은, CCTV에서 촬영된 영상이며, 이때, CCTV 영상 중 차량 번호판이 촬영된 영상이 입력될 수 있다. 이때, 본 단계에서, 입력되는 CCTV 영상은 도 1에 도시된 도면들과 같은 차량 번호판만 촬영된 영상일 수 있다. 그렇지만 이에 한정되는 것은 아니며, 차량 번호판이 포함된 전체 영상일 수도 있다. 이때, CCTV에서 촬영된 영상 중 전체 영상에 비해 차량 번호판이 촬영된 부분은 전체 영상 너비의 약 5%의 너비를 가질 수 있다.

즉, CCTV 영상에서 문자열을 인식할 수 있는 차량 번호판의 평균적인 너비는 전체 영상의 너비에 대비하여 약 5%일 수 있고, 평균적인 높이는 전체 영상의 높이에 대비하여 약 2.5%일 수 있다.

다음으로, 입력된 영상에 대한 다운 샘플링 단계가 수행된다(S103). 일반적으로 CNN 기반의 1단계 물체 검출 방법은, 입력된 영상의 해상도를 일정한 해상도로 재조정(resize)하는 과정을 포함한다. CNN 기반의 물체 검출 방법 중 하나인 YOLO v3의 경우, 입력된 영상의 해상도를 416 x 416 해상도로 재조정하고, SSD의 경우, 입력된 영상의 해상도를 300 x 300 또는 512 x 512 해상도로 재조정한다. 즉, CNN 기반의 1단계 물체 검출 방법의 경우, 입력된 영상의 해상도를 1:1로 재조정한다.

이때, 우리나라의 차량 번호판을 보면, 신형 번호판이 가로 및 세로의 비율이 5:1이고, 구형 번호판이 가로 및 세로의 비율이 2:1이다. 따라서 기존의 1단계 물체 검출 방법에서 입력된 영상의 해상도를 1:1로 재조정하는 경우, 차량 번호판의 인식율이 좋지 않을 수 있다.

따라서 본 단계에서, 입력된 영상에 대한, 다운 샘플링을 할 때, 다양한 비율에 대한 실험을 수행하였으며, 그 결과, 입력된 영상의 가로 및 세로 비율에 대한 해상도를 3:1 또는 2:1로 재조정(resize)한다.

본 단계에서, CNN 기반으로 한 CNN 모델은 CCTV 영상 내의 차량 번호판 검출을 위해 높은 검출 성능과 실시간 검출 성능이 높은 YOLO v3을 이용한 것에 대해 설명한다. CCTV 영상 내에서 차량 번호판을 검출하기 위해, YOLO v3의 경우, 약 80개의 물체(사람, 차량, 배, 신호등 등)에 대한 검출 성능을 측정하기 위해 COCO 데이터 셋을 기준으로, 제안된 CNN 모델의 특징을 추출한다. 이를 위해 53개의 컨볼류션 계층(convolution layer)를 갖는 Darknet-53 네트워크를 사용하였으며, 물체의 다양한 크기 변화에 대응하기 위해 입력 영상의 해상도에서 32배, 16배 및 8배 다운 샘플링된 크기에 해당하는 특징 맵(feature map)에서 검출을 수행하도록 한다.

본 단계에서, 해상도의 재조정은, 416 x 208 또는 240 x 80으로 수행하였으며, 상기와 같이, 3:1 또는 2:1의 비율로 해상도를 재조정함에 따라 기존에 1:1로 해상도를 재조정하는 것에 비해 약 15%의 물체 검출 속도가 증가하고, 약 2%의 정확도가 상승한 것을 확인하였다.

표 1을 참조하면, CCTV 영상에서 차량 번호판 검출을 위해 CNN 모델의 네트워크 구조를 확인할 수 있다. 이때, 검출 레이어의 동작은 YOLO v3의 검출 레이어 동작과 동일하다.

Layer	Type	Filters	Size/Stride	Input Size	Output Size
0	Convolution	32	3x3 / 1	240 x 80 x 32	240 x 80 x 32
1	Convolution	64	3x3 / 2	120 x 40 x 32	120 x 40 x 32
2	Convolution	128	3x3 / 1	60 x 20 x 64	60 x 20 x 64
3	Convolution	64	3x3 / 2	60 x 20 x 128	60 x 20 x 128
4	Convolution	128	3x3 / 1	60 x 20 x 64	60 x 20 x 64
5	Convolution	256	3x3 / 2	60 x 20 x 128	60 x 20 x 128
6	Convolution	128	3x3 / 1	30 x 10 x 128	30 x 10 x 128
7	Convolution	256	3x3 / 2	30 x 10 x 256	30 x 10 x 256
8	Convolution	128	3x3 / 1	30 x 10 x 128	30 x 10 x 128
9	Convolution	256	3x3 / 1	30 x 10 x 256	30 x 10 x 256
10	Convolution	512	3x3 / 1	30 x 10 x 512	30 x 10 x 512
11	Convolution	256	1x1 / 1	30 x 10 x 256	30 x 10 x 256
12	Convolution	512	3x3 / 1	30 x 10 x 512	30 x 10 x 512
13	Convolution	30	1x1 / 1	30 x 10 x 30	30 x 10 x 30
14	Detection	54 x 30 x 18

이때, YOLO v3은 각각의 예측된 box마다 objectness에 대한 점수를 logistic regression을 사용하여 산정한다. 만약 예측된 어떤 box가 다른 box들보다 IOU가 높다면 해당 값은 1이 된다.

만약 box의 IOU가 제일 좋은 것은 아니지만, 특정한 threshold보다 높으면, Faster R-CNN의 방법을 사용하여 무시한다. 이때, YOLO v3은 IOU threshold 값으로 0.5를 사용하고, faster R-CNN과 달리 하나의 box에 하나의 GT box를 할당한다. 만일 box가 GT에 할당되지 않으면, 좌표 및 클래스 예측에 손실을 주지 않고, bojectness에 대한 손실 값만 적용한다.

각각의 box는 box에 대한 클래스 예측을 multi-label classification으로 수행한다. 여기서, YOLO v3은 logical classifier가 이용되고, classification 학습 시 손실은 binary cross-entropy를 사용한다. 이러한 방식은, 좀 더 복잡한 도메인에서의 classification으로 detection 문제를 해결하는데 도움이 된다.

YOLO v3은 3개의 다른 스케일의 box를 예측한다. YOLO v3은 feature pyramid network의 컨셉과 유사한 방식으로 다양한 스케일에서 특징(feature)들을 추출한다. 기본적으로 feature extractor에서 몇 개의 컨볼루션 계층(convolutional layer)만 추가한다. 최종적으로 3D tensor를 출력값으로 얻으며, 여기에 box에 대한 정보, objectness, class에 대한 정보가 포함될 수 있다.

따라서 각 스케일에서 3개의 box를 예측하여 N x N x [3*(4+1+80)]의 형태로 출력된다. 이때, N은 feature tensor의 gird 개수이고, 3개는 anchor box의 개수(4+1+80)는 4개의 box shift and scaling value, 1개의 objectness score, 80개의 class 정보이다.

다음으로 이전 2번째 layer에서 특징 맵(feature map)을 가지고 와서 2배로 업 스케일(up scaling)하고, 제일 앞단의 특징 맵을 가져와 둘을 concatenation을 사용해서 업 샘플(upsampled)된 특징 맵과 합친다. 따라서 의미 있는 semantic information을 이전 layer의 특징 맵으로 얻을 수 있고, finer-grained information을 제일 앞단의 특징맵 으로 부터 얻을 수 있다. 그리고 합쳐진 특징 맵을 사용하기 위해서(process) 몇 개의 컨볼루션 계층을 추가한다. 결국엔 사이즈(size)는 2배지만 유사한 tensor를 예측할 수 있다.

YOLO v3은 feature extraction을 위해 새로운 네트워크 모델을 사용한다. YOLO v2와 Daknet-19 및 newfangled residual network를 결합(hybrid)하여 사용한다. YOLO v3의 feature extractor는 3x3 및 1x1 컨볼루션 계층을 적용하고, shortcut connection으로 인해 네트워크 자체가 많이 커진다. 총 53개의 컨볼루션 계층이 존재하고, 새로운 분류(classification) 모델이 Darnet-53이다.

Darknet-53은 Train과 Test가 동일한 설정으로 셋팅되며, 256x256의 single crop으로 테스트된다. Titan X에서 256 x 256크기를 갖는 네트워크의 Run-Time을 측정했을 때, Accuracy는 비교된 대조 네트워크와 동등하지만, floating point operation은 더 적고 속도는 더 빠르다. Darknet-53은 ResNet-101보다는 약 1.5배 빠르고, ResNet-152와 성능은 비슷하면서 2배 이상의 성능을 갖는다.

YOLO v3은 negative mining이나 기타 다른 방법을 전혀 사용하지 않고, Full Images를 사용한다. 다만, multi-scale training, 대량 data의 augmentation, batch normalization 외의 기타 여러 가지 방법들을 사용한다.

상기와 같이, 입력된 영상에 대한, 다운 샘플링이 완료되면, 3:1 또는 2:1로 재조정된 차량 번호판의 영상에 대한 번호판 분류가 수행된다(S105).

차량 번호판은 사각형의 특징과 글자색이 검정색 또는 흰색이며, 바탕색이 흰색, 녹색, 노란색, 주홍색 청색 중 하나인 특징이 있다. 이러한 번호판의 특징을 이용하여 국내 번호판의 특징을 6가지로 분류할 수 있다. 이렇게 차량 번호판의 특징을 분류하는 것은, 기존의 기술들이 흑백 또는 회색조를 이용하여 번호판을 인식함에 따라 최종단에서 문자 인식하는 과정에서 다양한 왜곡으로 인해 부정확하게 인식하는 것을 방지하기 위함이다.

즉, '무'와 '부', '무'와 '우', '어'와 '머', '아'와 '마' 등과 같은 비슷한 문자열의 혼동을 상기와 같이, 차량 번호판의 특징을 분류함으로써, 피할 수 있으며, 그로 인해 인식율을 높일 수 있다.

다음으로, 차량 번호판에 대한 문자열 전체에 대해 OCR(optical character reader)을 수행한다(S107).

본 단계에 대해, 도 7에 도시된 도면을 참조할 수 있다. 본 단계는, 차량 번호판에 대해 단계 S105에서 분류된 이후에 진행되기 때문에 차량 번호판의 형상을 사전에 인식하기 때문에 해당 번호판의 크기인 5:1 또는 2:1 비율에 맞게 네트워크를 조정하고, 해당 비율에 의해 문자열의 위치를 결정할 수 있다.

즉, 우리나라의 번호판 규격은, 국토부에서 나온 규격을 바탕으로 동일한 CNN 모델을 이용하여 특징을 추출하고 문자 인식을 진행한다. 그에 따라 차량 번호판에 대한 인식이 완료된다(S109).

도 6은 본 발명의 일 실시예에 따른 End to End 방식의 CNN 기반 차량 번호판 인식 방법으로 차량 번호판을 인식한 일례를 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법으로 차량 번호판을 인식한 다른 예를 도시한 도면이다. 그리고 도 8은 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법으로 차량 번호판을 인식한 또 다른 예를 도시한 도면이다.

이때, 도 6 내지 도 8에 도시된 도면은 실제 CCTV에서 촬영된 이미지를 이용하여 테스트한 결과이며, GPU 환경에서 번호판의 실제 IOU 값이 평균 95% 이상이고, OCR은 평균 99%의 정확성과 20 FPS의 속도로 국내에서 가장 빠른 속도로 인식한 결과를 확인할 수 있다.

도 6 내지 도 8을 참조하면, 상기에서 설명한 바와 같이, 번호판의 종류를 사전에 판단한 상태에서, 번호판의 종류에 따라 그에 맞는 OCR weight를 사용하여 해당 번호판의 문자열을 분석하기 때문에 어느 위치에 어떤 종류의 문자열에 배치되는지 사전에 확인한 상태에서, OCR이 이루어지므로, 차량 번호판에 대한 인식율을 높일 수 있다.

특히, 도 6 및 도 7에 도시된 바와 같은 구형 번호판과 도 6에 도시된 번호판은 문자가 배치되는 위치와 숫자가 배치되는 위치가 다르기 때문에 해당 번호판에 대한 분류가 사전에 이루어지지 않은 상태에서, OCR이 수행되면, 그에 따른 인식율이 떨어질 수 있다.

더욱이, 도 8에 도시된 바와 같이 문자가 세로로 배치되는 경우, 다른 번호판과 문자의 배치가 달라, 인식율이 더 떨어질 수 있다. 그렇지만, 본 발명에서, 번호판의 종류를 사전에 파악한 상태에서, 해당 번호판에 대한 OCR이 이루어지기 때문에 작은 문자의 경우에도 보다 명확하게 번호판을 인식할 수 있다.

또한, 2019년 09월부터 도입되는 신형 7자리 번호판의 체계가 도입되더라도 번호판의 종류에 대한 데이터베이스만 업데이트하면 본 발명의 CNN 기반 차량 번호판 인식 방법을 그대로 적용할 수 있다. 즉, 번호판 종류를 정확히 알 수 있으며, 어느 위치에 문자가 배치되는지 알 수 있고, 또 어떤 문자열이 몇 개가 배치되는 지 알 수 있다. 이를 확장하여 다른 나라의 번호판이나 문자 학습에도 적용할 수 있는 장점이 있다. 그러므로 이러한 데이터베이스의 업데이트만을 통해 CNN 기반 차량 번호 인식 방법은 지속적으로 이용될 수 있다.

또한, 차량 번호판 번호인식 최종 검증단에서는 비최대억제 (non-maximum-suppression) 함수를 이용하여 신뢰도가 낮은 유사도 검사를 통해 정확성을 높일 수 있다.

도 9는 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법에 따라 차량 번호판을 인식하는 것을 설명하기 위한 도면이다. 도 10은 본 발명의 일 실시예에 따른 CNN 기반 차량 번호판 인식 방법에서 분류하기 위한 차량의 번호판 종류를 도시한 도면이다. 그리고 도 11은 본 발명의 일 실시예에 따른 CNN 기판 차량 번호판 인식 방법에서 번호판 인식의 학습률을 나타낸 그래프이다.

도 9에 도시된 바와 같이, 번호판에 대한 문자열에 대해 각 문자 및 숫자를 분리하지 않고 번호판 전체에 대해, OCR을 진행하는 모습을 보여주며, 문자 및 숫자에 대해 분리하는 과정을 생략하여 속도를 개선하며, 잘못 분리 했을 경우에 대한 오인식률을 줄여 인식율을 높일 수 있다.

특히, 도 9의 (b)에 도시된 번호판의 이미지와 같이, 번호판이 기하학적으로 휘어 있는 상태로 촬영된 이미지의 경우에도, 문자 및 숫자를 통으로 한번에 OCR이 수행됨에 따라 해당 문자 및 숫자에 대한 인식율을 높일 수 있다.

또한, 번호판 및 OCR 신뢰도 값(confidence)을 이용하여 신뢰도 값이 낮은 번호판들을 강화학습 방법으로 인식률을 제고 할 수 있다.

강화학습 방법은 낮은 신뢰도(confidence)의 번호판 들을 모아 기존의 쉬운 번호판 이미지들을 다운 샘플링 하고 어려운 난이도의 번호판들을 데이터 확대 방법을 통해 5배 ~ 10배까지 확대시켜 그 비율을 높여 새로운 트레인 셋(DB)을 구축하고, 재학습하여 인식률을 제고할 수 있다. 데이터 증대 방법은 번호판의 회전, 잡음, 오염, 폐색, 그늘, 해상도 조절 등을 통해 증대 시킬 수 있다.

그리고 도 10을 참조하면, 본 실시예에서 분류하고자 하는 차량의 번호판 종류가 도시되어 있다. 본 실시예에서, 차량의 번호판은 도시된 바와 같은 종류의 번호판 각각을 분류할 수 있고, 그에 따라 분류된 번호판에 대해 문자열 전체에 대해 OCR을 수행하여, 문자열의 인식율을 높일 수 있다.

또한, 도 11에 도시된 바와 같이, 본 실시예에 따라 학습을 통해 번호판의 인식하는 시간을 급격히 줄일 수 있다.

위에서 설명한 바와 같이 본 발명에 대한 구체적인 설명은 첨부된 도면을 참조한 실시예에 의해서 이루어졌지만, 상술한 실시예는 본 발명의 바람직한 예를 들어 설명하였을 뿐이므로, 본 발명이 상기 실시예에만 국한되는 것으로 이해돼서는 안 되며, 본 발명의 권리범위는 후술하는 청구범위 및 그 등가개념으로 이해되어야 할 것이다.

100: 차량 번호판 인식 시스템
110: 영상수신부
120: 제1 재조정부
130: 제2 재조정부
140: 제1 번호판 분류부
150: 제2 번호판 분류부
160: 문자열 인식부
170: 데이터베이스부

Claims (10)

1. 차량의 번호판을 인식하기 위해 차량의 번호판이 촬영된 영상이 입력되는 단계;
   상기 차량의 번호판이 촬영된 영상이 CPU 및 GPU 중 어느 하나 이상이 포함된 연산장치로 입력되면, 입력된 영상에 대해 CNN 신경망의 정해진 비율로 해상도를 재조정하되, 상기 차량 번호판의 검출은 입력된 영상의 해상도를 재조정하는 YOLO v3가 이용되는 다운 샘플링 수행 단계;
   상기 다운 샘플링된 영상에서 특징 맵(feature map)을 추출하고, 차량 번호판의 형상, 문자열의 색, 차량 번호판의 바탕색 및 문자열의 배치에 대한 정보에 따라 차량 번호판을 종류별로 분류하는 단계;
   상기 분류된 차량 번호판의 종류에 따라 상기 차량 번호판의 크기에 대응되는 크기로 해상도가 재조정되는 단계; 및
   상기 분류된 차량 번호판의 문자열 전체에 대해 OCR(optical character reader)이 수행되는 단계를 포함하되,
   상기 OCR 수행 단계는 차량 번호판의 크기에 대응되는 크기로 해상도가 재조정된 번호판에 대해 수행되며,
   상기 OCR이 수행됨에 따라 상기 차량 번호판 종류 및 인식된 문자열에 대한 경계박스 좌표 및 그 신뢰도 값(confidence)이 산출되며,
   상기 차량 번호판 및 OCR 신뢰도 값을 이용하여 신뢰도가 낮은 번호판들은 강화 학습 방법으로 인식률을 제고하는 CNN 기반 차량 번호판 인식 방법.
   
2. 청구항 1에 있어서,
   상기 차량 번호판이 촬영된 영상이 입력되는 단계는, CCTV에서 촬영된 영상이 입력된 CNN 기반 차량 번호판 인식 방법.
   
3. 청구항 2에 있어서,
   상기 차량 번호판이 촬영된 영상이 입력되는 단계에서, 입력되는 차량 번호판이 촬영된 영상은 상기 CCTV에서 촬영된 전체 영상 중 차량 번호판이 촬영된 일부 영상인 CNN 기반 차량 번호판 인식 방법.
   
4. 청구항 1에 있어서,
   상기 다운 샘플링을 수행하는 단계는, 입력된 영상에 포함된 차량 번호판의 영상에 대해 가로 및 세로의 비율을 3:1 또는 2:1의 비율로 해상도를 재조정(resize)하는 CNN 기반 차량 번호판 인식 방법.
   
5. 청구항 1에 있어서,
   상기 차량 번호판의 종류에 따라 분류하는 단계는, 차량 번호판의 종류에 대한 데이터베이스에 포함된 차량 번호판 종류에 따라 분류하는 CNN 기반 차량 번호판 인식 방법.
   
6. 삭제
7. 청구항 1에 있어서,
   상기 OCR의 수행은, 비최대억제(NMS)를 이용하여 검증이 이루어지는 CNN 기반 차량 번호판 인식 방법.
   
8. 청구항 1에 있어서,
   상기 OCR 수행에서 산출된 신뢰도 값을 이용하여 기존 학습 데이터 셋을 다운 샘플링하고 신규 데이터 셋을 추가하여 차량 번호 인식율을 재고시켜 학습하는 단계를 더 포함하는 CNN 기반 차량 번호판 인식 방법.
   
9. CCTV에서 촬영된 영상이 수신되는 영상수신부;
   상기 영상수신부에서 수신되어 입력된 영상에서 차량 번호판 만을 추출하고, 추출된 차량 번호판의 비율은 CNN 신경망의 정해진 비율로 재조정(resize) 하되, 차량 번호판의 검출은 입력된 영상의 해상도를 재조정하는 YOLO v3가 이용되며, CPU 및 GPU 중 어느 하나 이상이 포함된 재조정부;
   상기 재조정된 해상도의 차량 번호판 영상에서 특징 맵(feature map)을 추출하고, 차량 번호판의 형상, 문자열의 색, 차량 번호판의 바탕색 및 문자열의 배치에 대한 정보에 따라 차량 번호판을 종류별로 분류하는 번호판 분류부;
   상기 분류된 차량 번호판의 문자열 전체에 대해 OCR(optical character reader)을 수행하는 문자열 인식부를 포함하고,
   상기 재조정부는, 상기 수신된 영상의 해상도를 소정의 비율로 재조정하는 제1 재조정부 및 상기 번호판 분류부에서 분류된 번호판의 종류에 따라 해당 번호판의 크기에 대응되는 해상도의 비율로 상기 제1 재조정부에서 재조정된 영상을 재조정하는 제2 재조정부를 포함하며,
   상기 번호판 분류부는, 상기 제1 재조정부에서 재조정된 영상에서 차량의 번호판의 비율에 따라 번호판을 분류하는 제1 번호판 분류부 및 상기 제2 재조정부에서 재조정된 영상에서 차량의 번호판의 종류에 따라 번호판을 분류하는 제2 번호판 분류부를 포함하는 CNN 기반 차량 번호판 인식 시스템.
   
10. 삭제

Images