KR101794632B1 - 전기차 번호판 로고 패턴 인식 방법 - Google Patents

전기차 번호판 로고 패턴 인식 방법 Download PDF

Info

Publication number
KR101794632B1
KR101794632B1 KR1020170112998A KR20170112998A KR101794632B1 KR 101794632 B1 KR101794632 B1 KR 101794632B1 KR 1020170112998 A KR1020170112998 A KR 1020170112998A KR 20170112998 A KR20170112998 A KR 20170112998A KR 101794632 B1 KR101794632 B1 KR 101794632B1
Authority
KR
South Korea
Prior art keywords
license plate
logo
image
recognition system
vehicle
Prior art date
Application number
KR1020170112998A
Other languages
English (en)
Inventor
이홍기
이순기
김진호
Original Assignee
주식회사한맥아이피에스
이홍기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사한맥아이피에스, 이홍기 filed Critical 주식회사한맥아이피에스
Priority to KR1020170112998A priority Critical patent/KR101794632B1/ko
Application granted granted Critical
Publication of KR101794632B1 publication Critical patent/KR101794632B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K9/3258—
    • G06K9/4652—
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 전기차 번호판 로고 패턴 인식 방법은 카메라에 의해 촬영된 차량 전방 영상으로부터 차량 번호판 및 차량 넘버를 자동으로 인식하는 차량 번호판 자동 인식 시스템이 전기차 번호판의 어느 한 측에 기재된 전기차 이미지 로고(A)와 전기차 번호판의 다른 한 측에 기재된 EV 문자 로고(B)를 인식하여 현재 차량이 전기차인지 또는 연료차인지를 분간해 내기 위한 전기차 번호판 로고 패턴 인식 방법에 있어서, 차량 번호판 자동 인식 시스템이 카메라를 이용하여 전기차의 전방을 촬영하는 단계와; 차량 번호판 자동 인식 시스템이 촬영된 전기차의 전방 영상으로부터 전기차 번호판의 후보 영역을 검출하는 단계; 차량 번호판 자동 인식 시스템이 검출된 전기차 번호판을 흑백 영상으로 변환하는 단계; 상기 차량 번호판 자동 인식 시스템이 흑백 영상으로 변환된 차량 번호판에서 전기차 이미지 로고(A)와 EV 문자 로고(B)가 기재된 후보 영역을 분할하고 분할한 후보 영역을 차량 번호판으로부터 추출하는 단계; 상기 차량 번호판 자동 인식 시스템이 차량 번호판으로부터 추출되고 분류된 후보 영역을 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식 및 분류하는 인공 신경망(Artificial Neural Network)에 투입시켜 후보 영역 중에 전기차 이미지 로고(A)와 EV 문자 로고(B)가 포함되어 있는지 확인하고 후보 영역이 전기차 이미지 로고(A)인지 또는 EV 문자 로고(B)인지 분류하는 단계; 및 상기 차량 번호판 자동 인식 시스템은 후보 영역이 인공 신경망에 의해 전기차 이미지 로고(A)나 EV 문자 로고(B)로 분류되었다면 현재 인식된 차량 번호판이 장착된 차량이 전기차라고 판단하는 단계로 이루어질 수 있다.

Description

전기차 번호판 로고 패턴 인식 방법{The logo pattern recognizing method in number plate of electric vehicle}
본 발명은 전기차 번호판 로고 패턴 인식 방법에 관한 것으로, 보다 상세하게는, 기존의 차량 번호판 자동 인식 시스템이 전기차 번호판에 새겨진 전기차 특유의 로고 패턴을 자동으로 인식할 수 있도록 함으로써 전기차를 자동 식별할 수 있도록 한 전기차 번호판 로고 패턴 인식 방법에 관한 것이다.
요즘 전기차에 대한 국가적, 산업적 관심도가 높아지고 있다.
뿐만 아니라, 일반 소비자들도 전기차에 대한 호기심이 많아지고 있다.
19세기 후반 유럽에서 개발되어 보급된 전기차가 유전 개발 및 내연 기관 자동차의 엔진 성능 발전으로 인해 내연 기관 자동차에게 그 시장을 내어주게 된 것이 1920년대의 일이다.
이후, 다시 전기차 관련 기술의 발전 및 유가 급등과, 환경 문제 등으로 인해 전기차가 1990년대를 기점으로 재조명을 받은 적이 있으나, 기득권 그룹(정유 회사, 자동차 회사 등)의 지속적인 로비로 인해 다시 수면 아래로 가라앉고 말았다.
하지만, 최근 들어 배기가스에 의한 대기 오염 등의 환경 문제와, 이로 인한 지구 온난화 문제, 세계적인 경제 성장에 따른 원유 소비량 급증, 각국의 산업적 이해 관계 등으로 인해 친환경 차량, 특히, 전기차에 대한 전력적 접근이 이루어지고 있는 실정이다.
한편, 우리나라에서 운행되고 있는 전기차 번호판의 디자인은 도면 1에 도시한 같이, 푸른 색 바탕에 태극 문양을 배경으로 하고 좌측 하단에 대한민국 문양이 표시되며, 좌측 상단에 전기차 이미지 로고(A)가 표시되고, 우측에 EV 문자 로고(B)가 표시된다.
현재, 연료차와 전기차가 뒤섞여 운행되고 있는 시점에서 기존의 차량 번호판 자동 인식 시스템이 차량 번호판을 자동으로 인식할 때 카메라에 의해 촬영된 차량 번호판이 연료차인지 또는 전기차인지 여부를 동시에 판단하는 것이 매우 중요한 과제로 대두 되고 있다.
왜냐하면, 기존의 차량 번호판 자동 인식 시스템이 도입된 현장에서 전기차에 대해 주차 요금 감면 및 통행료 감면 등 기존 연료차와 다른 혜택을 제공하기 위해서는 해당 차량이 전기차인지 또는 연료차인지 여부를 자동으로 판단할 수 있어야 하기 때문이다.
기존의 차량 번호판 자동 인식 시스템에 탑재된 대부분의 카메라는 번호판에 대한 컬러 정보를 활용하지 않으므로 카메라에 찍힌 차량 번호판이 전기차인지 또는 연료차인지를 판단할 때에는 컬러 정보를 배제하여야 한다.
예를 들어, 전기차 번호판의 푸른색 컬러 정보를 이용하지 않고도 번호판에 기재된 넘버나, 로고들을 이용하여 현재 촬영된 차량이 연료차인지 또는 전기차인지를 분간해낼 수 있어야 한다.
한편, 본 발명의 선행 기술로는 특허등록번호 "10-1756926"호의 "번호판 인식 장치"가 출원되어 등록되었는데, 상기 번호판 인식 장치는 촬영된 복수의 주차 공간 영역을 포함하는 곡면형 영상을 평면형 영상으로 변환하는 영상 처리부와, 표준주차공간정보에 기초하여 평면형 영상에서 번호판 위치 추정 영역을 설정하여 해당 영역을 추출하는 주차 영역 추출부, 상기 번호판 위치 추정 영역에 기초하여 번호판을 추출하고 상기 번호판으로부터 문자를 인식하는 번호 인식부, 및 상기 복수의 주차 공간 영역을 촬영하는 전방위 카메라를 포함하고, 상기 표준주차공간정보는 복수의 주차 공간 영역에 대한 정보를 포함한다.
대한민국 특허등록번호 10-1705061 (2017.02.10) 대한민국 특허등록번호 10-1731804 (2017.05.04) 대한민국 특허등록번호 10-1756926 (2017.07.11)
이에 본 발명은 상기 문제점을 해결하기 위하여 기존의 차량 번호판 자동 인식 시스템이 차량 번호판의 좌·우측에 기재된 특정 문양의 로고나 EV 문자 로고(B)를 자동으로 인식 및 식별할 수 있도록 함으로써 현재 차량이 전기차인지 또는 연료차인지 분간해 낼 수 있도록 한 전기차 번호판 로고 패턴 인식 방법을 제공하는 것이다.
또한, 본 발명의 또 다른 목적은 기존의 차량 번호판 자동 인식 시스템을 통해 식별된 전기차에게 주차 요금이나 통행료를 감면시켜 줌으로써 전기차 사용을 권장할 수 있도록 한 전기차 번호판 로고 패턴 인식 방법을 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명에 따른 전기차 번호판 로고 패턴 인식 방법은 카메라에 의해 촬영된 차량 전방 영상으로부터 차량 번호판 및 차량 넘버(Number)를 자동으로 인식하는 차량 번호판 자동 인식 시스템이 전기차 번호판의 어느 한 측에 기재된 전기차 이미지 로고(A)와 전기차 번호판의 다른 한 측에 기재된 EV 문자 로고(B)를 인식하여 현재 차량이 전기차인지 또는 연료차인지를 분간해 내기 위한 전기차 번호판 로고 패턴 인식 방법에 있어서, 차량 번호판 자동 인식 시스템이 카메라를 이용하여 전기차의 전방을 촬영하는 단계와; 차량 번호판 자동 인식 시스템이 촬영된 전기차의 전방 영상으로부터 전기차 번호판의 후보 영역을 검출하는 단계; 차량 번호판 자동 인식 시스템이 검출된 전기차 번호판을 흑백 영상으로 변환하는 단계; 상기 차량 번호판 자동 인식 시스템이 흑백 영상으로 변환된 차량 번호판에서 전기차 이미지 로고(A)와 EV 문자 로고(B)가 기재된 후보 영역을 분할하고 분할한 후보 영역을 차량 번호판으로부터 추출하는 단계; 상기 차량 번호판 자동 인식 시스템이 차량 번호판으로부터 추출되고 분류된 후보 영역을 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식 및 분류하는 인공 신경망(Artificial Neural Network)에 투입시켜 후보 영역 중에 전기차 이미지 로고(A)와 EV 문자 로고(B)가 포함되어 있는지 확인하고 후보 영역이 전기차 이미지 로고(A)인지 또는 EV 문자 로고(B)인지 분류하는 단계; 및 상기 차량 번호판 자동 인식 시스템은 후보 영역이 인공 신경망에 의해 전기차 이미지 로고(A)나 EV 문자 로고(B)로 분류되었다면 현재 인식된 차량 번호판이 장착된 차량이 전기차라고 판단하는 단계로 이루어질 수 있다.
이러한 절차로 이루어진 본 발명에 따른 전기차 번호판 로고 패턴 인식 방법은 차량 번호판 자동 인식 시스템에 갖추어진 카메라를 통해 촬영된 전기차 번호판을 흑백 영상으로 이진화시킨 다음, 상기 흑백 영상으로부터 전기차 이미지 로고(A)와 EV 문자 로고(B)를 추출하고, 추출된 전기차 이미지 로고(A)와 EV 문자 로고(B)의 크기를 흑백 영상으로부터 추출된 숫자 크기와 동등하게 정규화시킨다.
다음, 본 발명은 전기차 이미지 로고(A)와 EV 문자 로고(B) 패턴을 0부터 9까지의 숫자와 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식하고 식별 및 분류해 낼 수 있는 인공 신경망에 투입하여 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식 및 분류할 수 있다.
또한, 본 발명은 인공 신경망을 통해 전기차 이미지 로고(A)나 EV 문자 로고(B)를 인식 및 분류하였을 때 현재 차량이 전기차임을 인식할 수 있다.
따라서, 본 발명은 차량 요금 징수 시스템과 연계되어 식별된 전기차에게 주차 요금이나 통행료를 감면시켜 줌으로써 소비자들에게 전기차 사용을 권장할 수 있고, 전기차 권장으로 인해 대기 오염을 줄일 수도 있다.
도면 1은 국토 교통부에서 발표한 전기차 번호판의 샘플 이미지,
도면 2는 본 발명의 제어 흐름도,
도면 3은 카메라에 의해 촬영된 전기차 번호판을 흑백 영상으로 변환한 예,
도면 4는
Figure 112017085912265-pat00001
크기의 국소 윈도우 영역을 설정한 일실시예,
도면 5는 전기차 번호판의 흑백 영상에서 숫자 및 문자와 전기차 이미지 로고(A), EV 문자 로고(B)의 후보 영역을 검출한 일실시예,
도면 6은 차량 번호판 인식용 한글 및 숫자 전용 인공 신경망에서 전기차 이미지 로고(A)와, EV 문자 로고(B)를 인식하기 위해 숫자 인식용 인공 신경망의 구조를 확장한 일실시예,
도면 7은 전기차 번호판으로부터 추출한 숫자와 전기차 이미지 로고(A) 및 EV 문자 로고(B)를 도시한 도면,
이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명한다.
본 발명에 따른 전기차 번호판 로고 패턴 인식 방법은 도면 2에 도시한 바와 같이, 카메라에 의해 촬영된 차량 전방 영상으로부터 차량 번호판 및 차량 넘버(Number)를 자동으로 인식하는 차량 번호판 자동 인식 시스템이 전기차 번호판의 어느 한 측에 기재된 전기차 이미지 로고(A)와 전기차 번호판의 다른 한 측에 기재된 EV 문자 로고(B)를 인식하여 현재 차량이 전기차인지 또는 연료차인지를 분간해 내기 위한 전기차 번호판 로고 패턴 인식 방법에 있어서, 차량 번호판 자동 인식 시스템이 카메라를 이용하여 전기차의 전방을 촬영하는 단계(S1)와; 차량 번호판 자동 인식 시스템이 촬영된 전기차의 전방 영상으로부터 전기차 번호판의 후보 영역을 검출하는 단계(S2); 차량 번호판 자동 인식 시스템이 검출된 전기차 번호판을 흑백 영상으로 변환하는 단계(S3); 상기 차량 번호판 자동 인식 시스템이 흑백 영상으로 변환된 차량 번호판에서 전기차 이미지 로고(A)와 EV 문자 로고(B)가 기재된 후보 영역을 분할하고 분할한 후보 영역을 차량 번호판으로부터 추출하는 단계(S4); 상기 차량 번호판 자동 인식 시스템이 차량 번호판으로부터 추출되고 분류된 후보 영역을 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식 및 분류하는 인공 신경망(Artificial Neural Network)에 투입시켜 후보 영역 중에 전기차 이미지 로고(A)와 EV 문자 로고(B)가 포함되어 있는지 확인하고 후보 영역이 전기차 이미지 로고(A)인지 또는 EV 문자 로고(B)인지 분류하는 단계(S5); 및 상기 차량 번호판 자동 인식 시스템은 후보 영역이 인공 신경망에 의해 전기차 이미지 로고(A)나 EV 문자 로고(B)로 분류되었다면 현재 인식된 차량 번호판이 장착된 차량이 전기차라고 판단하는 단계(S6)로 이루어질 수 있다.
상기 EV 문자 로고(B)는 EV(Electric Vehicle)이다.
상기 전기차 번호판의 디자인은 도면 1과 같은 표준 형태로 확정되었는데, 상기 전기차 번호판에 대해 보다 상세히 설명하면, 상기 전기차 번호판의 바탕면은 푸른색으로 채워지고, 상기 푸른색의 바탕 면에는 태극 문양 패턴이 새겨진다.
또한, 상기 전기차 번호판의 정면에는 기존 차량 넘버가 기재되고, 상기 전기차 번호판의 좌측 상단에는 전기차 이미지 로고(A)가 기재되며, 상기 전기차 번호판의 우측에는 EV 문자 로고(B)가 기재된다.
상기 전기차 번호판의 이미지는 국토 교통부에서 발표한 이미지로서 2017년 5월 말 현재 국내에 등록된 전기차는 14,861대이다.
현재 설치 운영되고 있는 기존의 차량 번호판 자동 인식 시스템에 탑재된 대부분의 카메라는 번호판의 컬러 정보를 활용하지 않으므로 전기차 번호판의 푸른색 컬러 정보를 이용하지 않고 전기차 번호판에 추가된 로고들만을 참고하는 것만으로 전기차 여부를 판단할 수 있어야 한다.
상기 전기차 번호판에 추가된 로고들만으로 해당 차량이 전기차인지 여부를 판단하기 위해서는 전기차 번호판을 흑백 영상으로 변환하였을 때 전기차 이미지 로고(A)나 EV 문자 로고(B)가 선명하게 표시될 수 있는 알고리즘의 개발이 매우 중요하다.
상기 전기차 번호판에 새겨진 전기차 이미지 로고(A)나 EV 문자 로고(B)는 전기차 번호판에 새겨진 차량 넘버 색과 푸른 바탕색 사이의 중간 명도 레벨을 갖는다.
이에 따라 본 발명은 전기차 번호판을 흑백 영상으로 변환할 때 전기차 번호판의 바탕 면에 표시된 푸른색 태극 문양들은 없애고, 전기차 이미지 로고(A)와 EV 문자 로고(B) 그리고 차량 넘버는 선명하게 표시할 수 있는 알고리즘이 필요하다.
한편, 상기 차량 번호판 자동 인식 시스템이 촬영된 전기차의 전방 영상으로부터 전기차 번호판의 후보 영역을 검출하는 단계(S2)는 전기차의 전방 영상 전체에 가우시안 스무딩(Gaussian smoothing)과 메디안 필터링(median filtering)을 차례대로 수행하여 전기차의 전방 영상 내 잡음을 제거하는 단계와; 전기차의 전방 영상 전체에 2차 미분 필터링(Filtering)을 수행한 다음 수평 방향으로 에지(Edge) 성분을 추출하는 단계; 추출된 에지 성분이 연결된 에지 세그먼트(Edge Segment)를 수직 방향으로 누적시켜 생성된 연속한 세그먼트(Segment)에 대해 동일한 레이블(Label) 값을 할당하는 방식으로 문자 세그먼트 영상을 생성하는 단계; 및 생성된 에지 기반 문자 세그먼트 영상에서 4개의 연속된 숫자 블롭(Blob)들을 찾아냄으로써 전기차 번호판의 후보 영역을 검출하는 단계로 이루어질 수 있다.
번호판 영역에 왜곡이 발생한 경우 번호판 고유의 기하학적 특징들이 많이 소실될 수 있지만, 연속적으로 배치된 4개의 큰 숫자들의 크기와 위치 등에는 규칙성이 남아있게 된다.
따라서, 왜곡에 불변한 번호판 검출 및 인식 시스템을 구현하기 위해 연속된 4개의 큰 숫자들을 먼저 찾은 다음 번호판 영역을 추정한다.
일반적으로, 전기차 번호판을 흑백 영상으로 변환할 때 적응적 이진화 알고리즘을 이용할 경우 이진화 매개 변수들 즉, 이진화를 위해 임계치를 구하는데 사용되는 국소 윈도우 크기와 화소들의 명도 레벨 분포에 대한 반영 비율 등이 고정되면 변환된 흑백 영상의 화질이 달라질 수 있어, 전기차 로고 형태를 정확하게 추출할 수 없다.
이를 위해 전기차 번호판을 흑백 영상으로 변환할 때 전기차 이미지 로고(A)나 EV 문자 로고(B)를 흑백 영상으로 정확하게 변환하기 위해 가변적 이진화 매개 변수들을 설정해야만 한다.
이를 위해 상기 차량 번호판 자동 인식 시스템이 검출된 전기차 번호판을 흑백 영상으로 변환하는 단계(S3)는 상기 차량 번호판 자동 인식 시스템이 추출된 명도 영상(Grayscale image) 상태의 전기차 번호판의 전체 화소에 대해서 평균 명도값
Figure 112017085912265-pat00002
을 구한 다음, 평균 명도값
Figure 112017085912265-pat00003
이 차량 번호판 자동 인식 시스템에 설정된 명도 임계값
Figure 112017085912265-pat00004
이하인지 확인하는 단계와; 상기 차량 번호판 자동 인식 시스템은 평균 명도값
Figure 112017085912265-pat00005
이 차량 번호판 자동 인식 시스템에 설정된 명도 임계값
Figure 112017085912265-pat00006
이하라면 촬영된 전기차 번호판 영상이 흐린 영상이라고 판단하여 선명한 이진화 영상을 얻기 위해 각 화소들의 명도 레벨 분포에 대한 반영 비율
Figure 112017085912265-pat00007
값을 차량 번호판 자동 인식 시스템에 저장된 하이 값(High value)으로 설정하는 단계; 상기 차량 번호판 자동 인식 시스템은 평균 명도값
Figure 112017085912265-pat00008
이 차량 번호판 자동 인식 시스템에 설정된 명도 임계값
Figure 112017085912265-pat00009
을 초과하였다면 불필요한 영상 일부가 이진화됨을 막기 위해 각 화소들의 명도 레벨 분포에 대한 반영 비율
Figure 112017085912265-pat00010
값을 차량 번호판 자동 인식 시스템에 저장된 로우 값(Low value)으로 설정하는 단계; 상기 차량 번호판 자동 인식 시스템은 전기차 번호판 영상 내 숫자들의 평균 높이
Figure 112017085912265-pat00011
을 구한 다음, 상기
Figure 112017085912265-pat00012
이 차량 번호판 자동 인식 시스템에 설정된 숫자 높이의 임계값
Figure 112017085912265-pat00013
이하일 경우 전기차 번호판 영상이 작고 흐린 영상이라고 판단하여 국소 윈도우(Window) 크기 값
Figure 112017085912265-pat00014
을 차량 번호판 자동 인식 시스템에 저장된 하이 값(High value)으로 설정하는 단계; 상기 차량 번호판 자동 인식 시스템은 전기차 번호판 영상 내 숫자들의 평균 높이
Figure 112017085912265-pat00015
을 구한 다음, 상기
Figure 112017085912265-pat00016
이 차량 번호판 자동 인식 시스템에 설정된 숫자 높이의 임계값
Figure 112017085912265-pat00017
을 초과하였을 경우 국소 윈도우 크기 값
Figure 112017085912265-pat00018
을 차량 번호판 자동 인식 시스템에 저장된 로우 값(Low value)으로 설정하는 단계; 상기 차량 번호판 자동 인식 시스템은
Figure 112017085912265-pat00019
식을 이용하여 국소 임계치(Local threshold value) T를 구하는 단계; 및 상기 차량 번호판 자동 인식 시스템은 국소 윈도우 영역 내 포함된 각 화소들의 명도 레벨과 국소 임계치 T를 순차적으로 비교하여 특정 화소의 명도 레벨이 국소 임계치 T보다 크면 특정 화소를 백색 화소('1')로 변환하고 특정 화소의 명도 레벨이 국소 임계치 T보다 낮으면 특정 화소를 흑색 화소로 변환함으로써 전기차 번호판의 명도 영상을 흑백 영상으로 변환 및 이진화하는 단계로 이루어질 수 있다.
여기서, 상기
Figure 112017085912265-pat00020
는 전기차 번호판의 명도 영상을 흑백 영상으로 변환할 때 명도 영상의 국소 윈도우 영역에 포함된 각 화소들의 명도 레벨과 비교되는 국소 임계치(Local threshold value)이고, 상기
Figure 112017085912265-pat00021
은 도면 4에 도시한 바와 같이, 전기차 번호판의 명도 영상 내 국소 윈도우(Window)의 가로 세로 크기이며, 상기
Figure 112017085912265-pat00022
은
Figure 112017085912265-pat00023
크기의 국소 윈도우 영역 내에 포함된 화소들의 명도 레벨을 평균 낸 값이다.
또한, 상기
Figure 112017085912265-pat00024
는 국소 임계치
Figure 112017085912265-pat00025
를 계산하기 위해 국소 윈도우 내 각 화소들의 명도 레벨 분포에 대한 반영 비율이고, 상기
Figure 112017085912265-pat00026
는
Figure 112017085912265-pat00027
크기의 국소 윈도우 영역 내에 포함된 화소들의 명도 레벨에 대한 표준 편차이며, 상기
Figure 112017085912265-pat00028
은 상수로서 128로 고정한다.
상기 차량 번호판 자동 인식 시스템이 흑백 영상으로 변환된 차량 번호판에서 전기차 이미지 로고(A)와 EV 문자 로고(B)가 기재된 후보 영역을 분할하고 분할한 후보 영역을 차량 번호판으로부터 추출하는 단계(S4)는 상기 차량 번호판 자동 인식 시스템이 전기차 번호판에 새겨진 차량 넘버(Number)를 인식하는 단계와; 상기 차량 번호판 자동 인식 시스템이 인식한 차량 넘버의 좌측 단과 우측 단의 위치 정보를 기준으로 전기차 번호판에 새겨진 전기차 이미지 로고(A)와 EV 문자 로고(B)의 위치를 예측하고 예측된 위치의 전기차 이미지 로고(A)와 EV 문자 로고(B)를 추출하는 단계; 및 상기 차량 번호판 자동 인식 시스템이 추출된 전기차 이미지 로고(A)와 EV 문자 로고(B)의 크기를 전기차 번호판에 새겨진 숫자 크기와 동등하게 정규화하는 단계를 포함한다.
상기 차량 번호판 자동 인식 시스템이 흑백 영상으로 변환된 차량 번호판에서 전기차 이미지 로고(A)와 EV 문자 로고(B)가 기재된 후보 영역을 분할하고 분할한 후보 영역을 차량 번호판으로부터 추출하는 단계(S4)는 흑백 영상으로 변환된 차량 번호판에서 끊어진 화소들이 존재할 경우 모폴로지(Morphology) 기법을 이용하여 끊어진 화소를 연결시키는 단계를 더 포함한다.
즉, 상기 차량 번호판 자동 인식 시스템은 차량 넘버의 좌측에 위치한 전기차 이미지 로고(A)와, 차량 넘버의 우측에 위치한 EV 문자 로고(B)를 추출하여 현재 차량이 연료차인지 또는 전기차인지 여부를 판단할 수 있다.
상기 차량 번호판 자동 인식 시스템이 인공 신경망을 이용하여 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식하기 위해서는 먼저, 추출된 전기차 이미지 로고(A)와 EV 문자 로고(B)에 대한 샘플을 수집하고, 상기 전기차 이미지 로고(A)와 EV 문자 로고(B)의 크기를 정규화시킨다.
다음, 크기가 정규화된 전기차 이미지 로고(A)와 EV 문자 로고(B)를 도면 6에 도시한 바와 같이, 숫자 인식용 신경망에 추가해 훈련 시킨다.
즉, 10개의 출력을 갖는 숫자 인식용 신경망에 전기차 이미지 로고(A)와 EV 문자 로고(B)를 추가로 인식할 수 있도록 출력 뉴런의 개수를 0~9와 전기차 이미지 로고(A), EV 문자 로고(B)를 합한 12개로 늘리고, 상기 전기차 이미지 로고(A)와 EV 문자 로고(B)를 증가 된 2개의 뉴런으로 인식한다.
즉, 기존의 숫자 인식용 인공 신경망을 수정하여 도면 6에 도시한 바와 같이, 12개의 입력 패턴들을 분류해낼 수 있도록 학습시킨다.
숫자 인식용 인공 신경망에 12개의 입력 패턴들을 학습시키고 난 이후, 임의의 입력 샘플에 대해 인공 신경망의 신뢰도를 확인하고 분석한 결과 12개의 입력 패턴에 대해서는 95% 이상의 신뢰도를 가지며, 학습되지 않은 패턴들에 대해서는 60% 이하의 낮은 신뢰도를 갖게 되어 전기차 번호판에 새겨진 숫자뿐만 아니라 전기차 이미지 로고(A)와 EV 문자 로고(B)에 대해서도 정확한 인식이 가능하다.
상기 숫자 인식용 인공 신경망을 확장시켜 전기차 이미지 로고(A)와 EV 문자 로고(B)를 포함한 12종류의 숫자와 로고를 구분할 수 있도록 숫자 인식용 인공 신경망을 학습시킴으로써 고성능 숫자 인식용 인공 신경망을 이용하여 전기차 이미지 로고(A)와 EV 문자 로고(B)들을 인식할 수 있도록 한다.
따라서, 전기차 이미지 로고(A)나 EV 문자 로고(B)의 인식을 위한 별도의 독립된 판단 분류기를 도입하지 않고 기존의 숫자 인식용 인공 신경망에 출력 뉴런을 증가시켜 분류 클래스만 늘임으로써 간편하게 현재 차량이 연료차인지 또는 전기차인지 여부를 확인할 수 있다.
상기 차량 번호판 자동 인식 시스템이 차량 번호판으로부터 추출되고 분류된 후보 영역을 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식 및 분류하는 인공 신경망(Artificial Neural Network)에 투입시켜 후보 영역 중에 전기차 이미지 로고(A)와 EV 문자 로고(B)가 포함되어 있는지 확인하고 후보 영역이 전기차 이미지 로고(A)인지 또는 EV 문자 로고(B)인지 분류하는 단계(S5)에서 상기 인공 신경망은 역전파 알고리즘(Backpropagation algorithm)을 이용하여 구현하였으며, 상기 인공 신경망에서 전기차 이미지 로고(A)와 EV 문자 로고(B)의 특징 추출 방법으로는 흑백 영상으로 변환된 전기차 번호판으로부터 추출된 전기차 이미지 로고(A) 또는 EV 문자 로고(B)를 격자 형태로 나누어 흑색 화소의 분포 비율을 계산하는 그물망 특징 추출 방법과, 흑백 영상으로 변환된 전기차 번호판으로부터 추출된 전기차 이미지 로고(A) 또는 EV 문자 로고(B)에 외접하는 사각형으로부터 전기차 이미지 로고(A)나 EV 문자 로고(B)의 획(劃)까지의 수평 및 수직 거리를 계산하는 거리 추출 방법, 흑백 영상으로 변환된 전기차 번호판으로부터 추출된 전기차 이미지 로고(A) 또는 EV 문자 로고(B)에 대해서 수평 방향이나 수직 방향으로 흑색 화소를 누적시켰을 때 흑색 화소의 분포를 계산하는 투영 추출 방법, 및 흑백 영상으로 변환된 전기차 번호판으로부터 추출된 전기차 이미지 로고(A) 또는 EV 문자 로고(B)를 수평 방향이나 수직 방향으로 가로지르는 선이 전기차 이미지 로고(A) 또는 EV 문자 로고(B)의 획(劃)과 만나는 횟수를 계산하는 크로싱(Crossing) 특징 추출 방법을 사용할 수 있다.
이러한 절차로 이루어진 본 발명에 따른 전기차 번호판 로고 패턴 인식 방법은 차량 번호판 자동 인식 시스템에 갖추어진 카메라를 통해 촬영된 전기차 번호판을 흑백 영상으로 이진화시킨 다음, 상기 흑백 영상으로부터 전기차 이미지 로고(A)와 EV 문자 로고(B)를 추출하고, 추출된 전기차 이미지 로고(A)와 EV 문자 로고(B)의 크기를 흑백 영상으로부터 추출된 숫자 크기와 동등하게 정규화시킨다.
다음, 본 발명은 전기차 이미지 로고(A)와 EV 문자 로고(B) 패턴을 0부터 9까지의 숫자와 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식하고 식별 및 분류해 낼 수 있는 인공 신경망에 투입하여 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식 및 분류할 수 있다.
또한, 본 발명은 인공 신경망을 통해 전기차 이미지 로고(A)나 EV 문자 로고(B)를 인식 및 분류하였을 때 현재 차량이 전기차임을 인식할 수 있다.
따라서, 본 발명은 차량 요금 징수 시스템과 연계되어 식별된 전기차에게 주차 요금이나 통행료를 감면시켜 줌으로써 소비자들에게 전기차 사용을 권장할 수 있고, 전기차 권장으로 인해 대기 오염을 줄일 수도 있다.

Claims (3)

  1. 카메라에 의해 촬영된 차량 전방 영상으로부터 차량 번호판 및 차량 넘버(Number)를 자동으로 인식하는 차량 번호판 자동 인식 시스템이 전기차 번호판의 어느 한 측에 기재된 전기차 이미지 로고(A)와 전기차 번호판의 다른 한 측에 기재된 EV 문자 로고(B)를 인식하여 현재 차량이 전기차인지 또는 연료차인지를 분간해 내기 위한 전기차 번호판 로고 패턴 인식 방법에 있어서,
    차량 번호판 자동 인식 시스템이 카메라를 이용하여 전기차의 전방을 촬영하는 단계(S1)와;
    차량 번호판 자동 인식 시스템이 촬영된 전기차의 전방 영상으로부터 전기차 번호판의 후보 영역을 검출하는 단계(S2);
    차량 번호판 자동 인식 시스템이 검출된 전기차 번호판을 흑백 영상으로 변환하는 단계(S3);
    상기 차량 번호판 자동 인식 시스템이 흑백 영상으로 변환된 차량 번호판에서 전기차 이미지 로고(A)와 EV 문자 로고(B)가 기재된 후보 영역을 분할하고 분할한 후보 영역을 차량 번호판으로부터 추출하는 단계(S4);
    상기 차량 번호판 자동 인식 시스템이 차량 번호판으로부터 추출되고 분류된 후보 영역을 전기차 이미지 로고(A)와 EV 문자 로고(B)를 인식 및 분류하는 인공 신경망(Artificial Neural Network)에 투입시켜 후보 영역 중에 전기차 이미지 로고(A)와 EV 문자 로고(B)가 포함되어 있는지 확인하고 후보 영역이 전기차 이미지 로고(A)인지 또는 EV 문자 로고(B)인지 분류하는 단계(S5);
    및 상기 차량 번호판 자동 인식 시스템은 후보 영역이 인공 신경망에 의해 전기차 이미지 로고(A)나 EV 문자 로고(B)로 분류되었다면 현재 인식된 차량 번호판이 장착된 차량이 전기차라고 판단하는 단계(S6)로 이루어지고,
    상기 차량 번호판 자동 인식 시스템이 검출된 전기차 번호판을 흑백 영상으로 변환하는 단계(S3)는
    상기 차량 번호판 자동 인식 시스템이 추출된 명도 영상(Grayscale image) 상태의 전기차 번호판의 전체 화소에 대해서 평균 명도값
    Figure 112017101150280-pat00063
    을 구한 다음, 평균 명도값
    Figure 112017101150280-pat00064
    이 차량 번호판 자동 인식 시스템에 설정된 명도 임계값
    Figure 112017101150280-pat00065
    이하인지 확인하는 단계와;
    상기 차량 번호판 자동 인식 시스템은 평균 명도값
    Figure 112017101150280-pat00066
    이 차량 번호판 자동 인식 시스템에 설정된 명도 임계값
    Figure 112017101150280-pat00067
    이하라면 촬영된 전기차 번호판 영상이 흐린 영상이라고 판단하여 선명한 이진화 영상을 얻기 위해 각 화소들의 명도 레벨 분포에 대한 반영 비율
    Figure 112017101150280-pat00068
    값을 차량 번호판 자동 인식 시스템에 저장된 하이 값(High value)으로 설정하는 단계;
    상기 차량 번호판 자동 인식 시스템은 평균 명도값
    Figure 112017101150280-pat00069
    이 차량 번호판 자동 인식 시스템에 설정된 명도 임계값
    Figure 112017101150280-pat00070
    을 초과하였다면 불필요한 영상 일부가 이진화됨을 막기 위해 각 화소들의 명도 레벨 분포에 대한 반영 비율
    Figure 112017101150280-pat00071
    값을 차량 번호판 자동 인식 시스템에 저장된 로우 값(Low value)으로 설정하는 단계;
    상기 차량 번호판 자동 인식 시스템은 전기차 번호판 영상 내 숫자들의 평균 높이
    Figure 112017101150280-pat00072
    을 구한 다음, 상기
    Figure 112017101150280-pat00073
    이 차량 번호판 자동 인식 시스템에 설정된 숫자 높이의 임계값
    Figure 112017101150280-pat00074
    이하일 경우 전기차 번호판 영상이 작고 흐린 영상이라고 판단하여 국소 윈도우(Window) 크기 값
    Figure 112017101150280-pat00075
    을 차량 번호판 자동 인식 시스템에 저장된 하이 값(High value)으로 설정하는 단계;
    상기 차량 번호판 자동 인식 시스템은 전기차 번호판 영상 내 숫자들의 평균 높이
    Figure 112017101150280-pat00076
    을 구한 다음, 상기
    Figure 112017101150280-pat00077
    이 차량 번호판 자동 인식 시스템에 설정된 숫자 높이의 임계값
    Figure 112017101150280-pat00078
    을 초과하였을 경우 국소 윈도우 크기 값
    Figure 112017101150280-pat00079
    을 차량 번호판 자동 인식 시스템에 저장된 로우 값(Low value)으로 설정하는 단계;
    상기 차량 번호판 자동 인식 시스템은
    Figure 112017101150280-pat00080
    식을 이용하여 국소 임계치(Local threshold value) T를 구하는 단계;
    및 상기 차량 번호판 자동 인식 시스템은 국소 윈도우 영역 내 포함된 각 화소들의 명도 레벨과 국소 임계치 T를 순차적으로 비교하여 특정 화소의 명도 레벨이 국소 임계치 T보다 크면 특정 화소를 백색 화소('1')로 변환하고 특정 화소의 명도 레벨이 국소 임계치 T보다 낮으면 특정 화소를 흑색 화소로 변환함으로써 전기차 번호판의 명도 영상을 흑백 영상으로 변환 및 이진화하는 단계로 이루어진 전기차 번호판 로고 패턴 인식 방법.

    상기
    Figure 112017101150280-pat00081
    는 전기차 번호판의 명도 영상을 흑백 영상으로 변환할 때 명도 영상의 국소 윈도우 영역에 포함된 각 화소들의 명도 레벨과 비교되는 국소 임계치(Local threshold value),
    상기
    Figure 112017101150280-pat00082
    은 전기차 번호판의 명도 영상 내 국소 윈도우(Window)의 가로 세로 크기,
    상기
    Figure 112017101150280-pat00083
    은
    Figure 112017101150280-pat00084
    크기의 국소 윈도우 영역 내에 포함된 화소들의 명도 레벨을 평균 낸 값,
    상기
    Figure 112017101150280-pat00085
    는 국소 임계치
    Figure 112017101150280-pat00086
    를 계산하기 위해 국소 윈도우 내 각 화소들의 명도 레벨 분포에 대한 반영 비율,
    상기
    Figure 112017101150280-pat00087
    는
    Figure 112017101150280-pat00088
    크기의 국소 윈도우 영역 내에 포함된 화소들의 명도 레벨에 대한 표준 편차,
    상기
    Figure 112017101150280-pat00089
    은 상수로서 128로 설정한다.
  2. 삭제
  3. 제1 항에 있어서,
    상기 차량 번호판 자동 인식 시스템이 흑백 영상으로 변환된 차량 번호판에서 전기차 이미지 로고(A)와 EV 문자 로고(B)가 기재된 후보 영역을 분할하고 분할한 후보 영역을 차량 번호판으로부터 추출하는 단계(S4)는
    상기 차량 번호판 자동 인식 시스템이 전기차 번호판에 새겨진 차량 넘버(Number)를 인식하는 단계와;
    상기 차량 번호판 자동 인식 시스템이 인식한 차량 넘버의 좌측 단과 우측 단의 위치 정보를 기준으로 전기차 번호판에 새겨진 전기차 이미지 로고(A)와 EV 문자 로고(B)의 위치를 예측하고 예측된 위치의 전기차 이미지 로고(A)와 EV 문자 로고(B)를 추출하는 단계;
    및 상기 차량 번호판 자동 인식 시스템이 추출된 전기차 이미지 로고(A)와 EV 문자 로고(B)의 크기를 전기차 번호판에 새겨진 숫자 크기와 동등하게 정규화하는 단계를 포함하는 것을 특징으로 하는 전기차 번호판 로고 패턴 인식 방법.
KR1020170112998A 2017-09-05 2017-09-05 전기차 번호판 로고 패턴 인식 방법 KR101794632B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170112998A KR101794632B1 (ko) 2017-09-05 2017-09-05 전기차 번호판 로고 패턴 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170112998A KR101794632B1 (ko) 2017-09-05 2017-09-05 전기차 번호판 로고 패턴 인식 방법

Publications (1)

Publication Number Publication Date
KR101794632B1 true KR101794632B1 (ko) 2017-11-07

Family

ID=60385065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170112998A KR101794632B1 (ko) 2017-09-05 2017-09-05 전기차 번호판 로고 패턴 인식 방법

Country Status (1)

Country Link
KR (1) KR101794632B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200129684A (ko) 2019-05-09 2020-11-18 파킹클라우드 주식회사 주차장용 전기차 번호판 판별 시스템
KR102452756B1 (ko) 2021-08-31 2022-10-11 주식회사한맥아이피에스 딥러닝 기반의 전기차 충전 구역 불법 주정차 관리 방법, 및 전기자동차용 충전 장치
CN116740577A (zh) * 2023-08-10 2023-09-12 瞳见科技有限公司 道路积水识别方法、***、终端及存储介质
CN116935697A (zh) * 2023-07-10 2023-10-24 宁波福尔达智能科技股份有限公司 一种基于图像的车辆防追尾提醒方法、车用摄像设备及车辆

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200129684A (ko) 2019-05-09 2020-11-18 파킹클라우드 주식회사 주차장용 전기차 번호판 판별 시스템
KR102452756B1 (ko) 2021-08-31 2022-10-11 주식회사한맥아이피에스 딥러닝 기반의 전기차 충전 구역 불법 주정차 관리 방법, 및 전기자동차용 충전 장치
CN116935697A (zh) * 2023-07-10 2023-10-24 宁波福尔达智能科技股份有限公司 一种基于图像的车辆防追尾提醒方法、车用摄像设备及车辆
CN116740577A (zh) * 2023-08-10 2023-09-12 瞳见科技有限公司 道路积水识别方法、***、终端及存储介质
CN116740577B (zh) * 2023-08-10 2024-01-12 瞳见科技有限公司 道路积水识别方法、***、终端及存储介质

Similar Documents

Publication Publication Date Title
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
US8509486B2 (en) Vehicle license plate recognition method and system thereof
Al-Ghaili et al. Vertical-edge-based car-license-plate detection method
KR101794632B1 (ko) 전기차 번호판 로고 패턴 인식 방법
TWI381321B (zh) 重組多張影像與辨識方法以及影像擷取與辨識系統
KR101403876B1 (ko) 차량 번호판 인식 방법과 그 장치
CN110659539A (zh) 一种信息处理方法及其装置
Saha et al. License Plate localization from vehicle images: An edge based multi-stage approach
Al-Hmouz et al. License plate localization based on a probabilistic model
Aggarwal et al. A robust method to authenticate car license plates using segmentation and ROI based approach
Azad et al. A novel and robust method for automatic license plate recognition system based on pattern recognition
Davis et al. Automatic license plate detection using vertical edge detection method
Ingole et al. Characters feature based Indian vehicle license plate detection and recognition
Do et al. Speed limit traffic sign detection and recognition based on support vector machines
CN112115800A (zh) 一种基于深度学习目标检测的车辆组合识别***及方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测***及方法
CN105512662A (zh) 一种无牌车辆检测方法及装置
Shima Extraction of number plate images based on image category classification using deep learning
Ismail License plate Recognition for moving vehicles case: At night and under rain condition
Hommos et al. Hd Qatari ANPR system
KR101784764B1 (ko) 전기차의 고속도로 통행료 징수 방법
Huang et al. A method of detecting and recognizing speed-limit signs
Deb et al. Vehicle license plate detection algorithm based on color space and geometrical properties
Deb et al. Statistical characteristics in HSI color model and position histogram based vehicle license plate detection
KR101468566B1 (ko) 저조도 영상에서의 말레이시아 차량 번호판 인식 방법과 그 시스템

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant