KR102506971B1 - 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템 - Google Patents
딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템 Download PDFInfo
- Publication number
- KR102506971B1 KR102506971B1 KR1020220139772A KR20220139772A KR102506971B1 KR 102506971 B1 KR102506971 B1 KR 102506971B1 KR 1020220139772 A KR1020220139772 A KR 1020220139772A KR 20220139772 A KR20220139772 A KR 20220139772A KR 102506971 B1 KR102506971 B1 KR 102506971B1
- Authority
- KR
- South Korea
- Prior art keywords
- license plate
- vehicle
- unit
- image
- recognition
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 15
- 230000002265 prevention Effects 0.000 claims abstract description 37
- 238000013528 artificial neural network Methods 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000005336 cracking Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Tourism & Hospitality (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Educational Administration (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 도로에 설치된 차량번호인식장치를 통해 이륜자동차의 번호판을 추출하고, 추출된 번호판에 대하여 딥러닝 기반의 객체 인식 작업을 통해 일반 자동차와 이륜자동차를 분류 및 검출 한 후 검출된 객체의 번호판에 대한 이미지 확대 및 번호판 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 차량방범과, 생활방범을 포함하는 지능형 방범이 가능한 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템에 관한 것이다. 이러한 본 발명은 차량의 후방을 촬영하도록 도로에 설치되고, 내장된 감시카메라에서 촬영한 영상에 대한 딥러닝 기반의 객체 인식 작업을 통해 도로상의 일반 자동차와 이륜자동차를 분류하며, 분류된 객체들의 움직임을 추적하고 특정 위치에서 해당 객체를 분류 검출하며, 검출된 객체의 번호판 유무를 판단한 후 추출된 번호판에 대한 이미지 확대 및 번호판에 대한 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 이륜자동차 번호판 인식을 인식하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판을 인식하고, 그 중 방범 대상으로 인식된 차량정보에 대하여 도로방범 서버(200)로 해당 차량번호인식장치의 식별정보와 단속관련 정보를 전송하는 복수의 제1 내지 제N차량번호인식장치(101, 102, 103); 및 복수의 상기 제1 내지 제N차량번호인식장치(101, 102, 103)로 방범대상 차량의 번호판 정보를 포함하는 방범관련 차량 정보를 전송하고, 복수의 제1 내지 제N차량번호인식장치(101, 102, 103)로부터 전송된 정보를 경찰청을 포함하는 관련기관으로 통보하는 상기 도로방범 서버(200);를 포함하여 구성됨을 특징으로 하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템을 제공한다.
Description
본 발명은 이륜자동차 번호판 인식에 관한 것으로, 더욱 상세하게는 도로에 설치된 차량번호인식장치를 통해 이륜자동차의 번호판을 추출하고, 추출된 번호판에 대하여 딥러닝 기반의 객체 인식 작업을 통해 일반 자동차와 이륜자동차를 분류 및 검출 한 후 검출된 객체의 번호판에 대한 이미지 확대 및 번호판 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 차량방범과, 생활방범을 포함하는 지능형 방범이 가능한 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템에 관한 것이다.
일반적으로 영상정보를 수집하기 위한 영상처리 시스템으로는 일정한 지역에 고정식 또는 이동식으로 설치된 감시카메라를 통하여 영상정보를 수집하는 CCTV보안시스템, 지능형 영상분석 기법을 적용하여 개별 오브젝트를 분류하는 객체인식 시스템, 주행 중인 차량의 속도위반이나 신호위반, 주차위반 등을 감지하는 차량번호판 인식시스템 등 각종 감시카메라와 연동하여 다양한 유형의 영상정보를 수집할 수 있는 영상처리 시스템이 폭넓게 사용되고 있다.
이러한 영상처리 시스템은 다양한 목적에 따라 대상객체를 확인하고 추적하기 위한 시스템으로 적용하기 위해서는 팬(pan)/틸트(tilt)/줌(zoom) 기능을 갖는 감시카메라를 목적하는 감시지점에 설치하고, 해당 감시지점을 감시카메라에서 촬영한 영상을 녹화 및 재생하기 위한 장치와 전기적 및 전자적으로 연결하여 구성하게 된다.
상기와 같은 영상처리 시스템과 관련하여 개시되어 있었던 종래기술로써, 대한민국 등록특허공보 제1060528호(2011.08.24.)에는 사고발생 상황을 촬영하기 위해 특정의 지점에 설치되어 대상지점을 상시 촬영하는 범용카메라와; 상기 사고발생시 범용카메라에 촬영된 원본영상을 스트림 형태로 추출하는 원본영상 추출부와; 상기 원본영상 추출부에 의해 추출된 영상의 이미지를 대상객체와 주변사물로 구분하고, 상기 대상객체와 주변사물을 인식하여 이들 정보를 각각 처리가능한 데이터 형태로 가공하는 이미지 처리부와; 상기 이미지 처리부를 통해 전송된 데이터에 의해 대상객체를 인식하고 대상객체를 확인하고 추적하기 위한 데이터를 생성하여 출력하며, 각구성을 제어하는 마이크로 컴퓨터와; 상기 이미지 처리부에서 대상객체와 주변사물을 구분하고 이들을 인식하기 위한 데이터가 미리 저장되어, 대상객체와 주변사물의 구분 및 인식시 상기 마이크로 컴퓨터를 통해 미리 저장된 데이터를 제공하는 데이터 서버와; 상기 마이크로 컴퓨터에 의해 생성된 데이터를 수신하여 목적하는 대상객체에 초점을 두고 연속적으로 추적하며 촬영하는 전용카메라;를 포함하여 구성됨에 따라 대상객체에 대한 보다 향상된 인식률을 얻을 수 있는 보안시스템으로 적용되는 영상처리 시스템이 공지되어 있다.
또한 등록특허공보 제1053939호(2011.07.28.)에는 적어도 2개 차량이 나란히 주행할 수 있는 폭의 도로를 한꺼번에 촬영하는 하나의 카메라와, 상기 카메라가 촬영한 원본 이미지를 처리하는 영상제어기를 포함하고, 상기.영상제어기는 저장매체; 상기 카메라로부터 상기 원본 이미지를 수신하는 영상수신부; 상기 원본 이미지에서 상기 도로를 주행하는 차량의 이미지 영역을 추출 인식하는 차량인식부; 및 상기 원본 이미지에서 상기 인식된 차량 이미지 영역을 포함하는 부분 이미지를 잘라내어 상기 저장매체에 저장하는 영상분할부를 포함하여 구성됨에 따라 고해상도 카메라로 촬영한 차량의 이미지를 생성하면서 저장 및 관리를 효율적으로 수행할 수 있는 고해상도 카메라를 이용한 차량 방범용 CCTV 시스템이 공지되어 있다.
그러나 상기한 종래기술인 등록특허공보 제1060528호 및 제1053939호는 양자 모두 해당 감시지역의 사물이나 차량 등의 특정 객체를 검출하기 위해서는 감시카메라의 줌 기능에 따른 거리 값을 가깝게 설정해야만 하기 때문에 감시가능한 영역 범위가 매우 한정적이며, 감시카메라의 줌 기능에 따른 거리 값을 멀리 설정할 경우 감시영역은 확대할 수 있으나 객체인식의 인식률이 현저히 저하된다는 문제가 있었다.
또한 상기한 종래기술에서는 객체인식효율을 높이기 위하여 제1060528호의 경우 범용카메라와 함께 전용카메라를 구비한 복수 개의 감시카메라를 적용하거나 평소 감시영역 범위가 매우 제한적임은 물론 객체추적 이외의 객체에 대한 상세검출효율이 미비하다는 문제가 있고, 제1053939호의 경우에는 고해상도의 카메라를 적용하였으나 단순히 카메라의 해상도에만 의존하기 때문에 인식효율이 한계가 있다는 문제가 있었다.
즉 종래 기술의 경우 일반적으로 고정식 감시 카메라나 이동식 감시 카메라를 통해 실시간 영상을 처리하게 되어, 일반자동차의 경우에는 차로 상에 차지하는 객체의 크기가 차로의 가로 크기 정도이며, 번호판의 문자나 숫자의 해상도 크기가 30픽셀 이상이면 인식하는데 있어서 현재 기술로는 문제가 없지만, 반대로 현저하게 작은 경우에는 차량번호인식을 하기가 어렵다.
이러한 문제가 있기에 고정형 및 이동식 감시 카메라의 해상도를 아주 크게 하거나, 차량번호인식이 가능한 크기가 될 수 있도록 렌즈를 줌 인하게 되나, 감시범위를 확대를 하는 경우, 해당 객체의 이동 궤적이 짧아져서 객체 추적이 용이하지 않게 되고, 특정 위치에서 해당 객체의 정보를 추출하기 어려워진다는 문제가 있다.
특히 이륜자동차의 경우, 작은 번호판 크기로 인하여 이륜자동차의 번호판 인식이 어려워지므로, 작은 번호판의 인식을 하기 위해서는 일반 자동차 번호판 크기로 확대가 필요하다.
그러나 원본 이미지를 단순 확대를 하는 경우, 이미지의 윤곽선이 희미해지고 특징점들이 적어지므로 번호인식의 정확도를 많이 떨어뜨린다. 영상 이미지 확대시에 보정하는 영상 처리 방법은 처리속도가 많이 소요되며, 그 정확도가 떨어진다는 문제가 발생하였다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 도로에 설치된 차량번호인식장치를 통해 이륜자동차의 번호판을 추출하고, 추출된 번호판에 대하여 딥러닝 기반의 객체 인식 작업을 통해 일반 자동차와 이륜자동차를 분류 및 검출 한 후 검출된 객체의 번호판에 대한 이미지 확대 및 번호판 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 차량방범과, 생활방범을 포함하는 지능형 방범이 가능한 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 차량의 후방을 촬영하도록 도로에 설치되고, 내장된 감시카메라에서 촬영한 영상에 대한 딥러닝 기반의 객체 인식 작업을 통해 도로상의 일반 자동차와 이륜자동차를 분류하며, 분류된 객체들의 움직임을 추적하고 특정 위치에서 해당 객체를 분류 검출하며, 검출된 객체의 번호판 유무를 판단한 후 추출된 번호판에 대한 이미지 확대 및 번호판에 대한 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 이륜자동차 번호판 인식을 인식하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판을 인식하고, 그 중 방범 대상으로 인식된 차량정보에 대하여 도로방범 서버(200)로 해당 차량번호인식장치의 식별정보와 단속관련 정보를 전송하는 복수의 제1 내지 제N차량번호인식장치(101, 102, 103); 및 복수의 상기 제1 내지 제N차량번호인식장치(101, 102, 103)로 방범대상 차량의 번호판 정보를 포함하는 방범관련 차량 정보를 전송하고, 복수의 제1 내지 제N차량번호인식장치(101, 102, 103)로부터 전송된 정보를 경찰청을 포함하는 관련기관으로 통보하는 상기 도로방범 서버(200);를 포함하여 구성됨을 특징으로 하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템을 제공한다.
여기서 상기 이륜자동차 번호판 인식은 SRCNN(Super Resolution Conveoltion Neural Network)을 이용하는 것을 특징으로 한다.
그리고 상기한 목적을 달성하기 위하여 본 발명은 일반 자동차, 이륜자동차 인식 신경망 학습 시 후방촬영 영상에 대하여 일반, 이륜자동차 인식, 바운더리 박스 생성, 번호판 영역 검출, 번호판 영역 판독 및 학습 데이터를 포함하는 인식 신경망 학습을 하는 단계(S100); 상기 학습 데이터가 완성되면 판독 신경망을 학습하는 단계(S110); 상기 학습된 판독 신경망 데이터를 복수개의 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 저장부에 프로그램으로 설치하는 단계(S120); 상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 저장부(170)에 통신망과 통신부(110)를 통해 도로방범 서버(200)로부터 방범관련 차량번호가 주기적으로 업데이트되는 단계(S130); 상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 감시카메라부(120)는 도로에 주행 중인 차량의 후방을 촬영하여 영상을 수신하고, 수신된 영상은 각각의 사전객체 분류부(130)에서 일반차량과 이륜자동차로 분류되는 단계(S140); 상기 제1 내지 제N차량번호인식장치(101, 102, 103)의 객체 추적부(140)는 상기 사전객체 분류부(130)에서 분류된 객체 중 이륜자동차(이륜차)의 움직임을 추적하는 단계(S150); 상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 번호 추출부(160)는 이륜자동차(이륜차)의 번호판에서 번호를 추출하는 단계(S170);를 포함하여 이루어지는 것을 특징으로 하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법을 제공한다.
여기서 번호를 추출하는 단계(S170)는 SRCNN(Super Resolution Conveoltion Neural Network)을 이용하는 것을 특징으로 한다.
이와 같이 이루어지는 본 발명은 다음과 같은 효과가 있다.
첫째, 도로에 설치된 차량번호인식장치를 통해 이륜자동차의 번호판을 추출하고, 추출된 번호판에 대하여 딥러닝 기반의 객체 인식 작업을 통해 일반 자동차와 이륜자동차를 분류 및 검출 한 후 검출된 객체의 번호판에 대한 이미지 확대 및 번호판 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 후방 촬영 영상 보정 알고리즘을 통해서 차량방범과, 생활방범을 포함하는 지능형 방범이 가능한 이륜자동차 번호판을 인식할 수 있는 효과가 있다.
둘째, 번호판이 뒤에만 있는 이륜자동차(이륜차)의 후방을 촬영함으로써 특히 이륜자동차 단속에 효율적으로 활용할 수 있다.
셋째, 방범 관련 단속에 필요한 번호판 판독을 각각의 차량번호인식장치에서 수행함으로써 기존에 복수의 카메라에서 촬영한 영상정보를 수신한 서버에서 모든 영상데이터에서 번호를 판독하기 위한 불필요한 영상 데이터 송수신을 획기적으로 줄일 수 있음에 따라 불필요한 데이터 통신을 줄임은 물론, 전송된 모든 영상 데이터에 대한 차량 번호판 판독을 서버에서 수행함으로써 발생하였던 방범 관련 번호판 판독의 과부하 문제를 해결할 수 있다.
도 1은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템의 실시예를 설명하기 위한 도면,
도 2는 도 1에 나타낸 차량번호인식장치의 실시예를 설명하기 위한 블록 구성도,
도 3은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템에서 이용되는 신경망의 실시예를 설명하기 위한 도면,
도 4는 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템에서 이용되는 SRCNN의 네트워크 구조를 나타낸 도면,
도 5는 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 결과의 예를 보여주는 도면,
도 6은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법의 실시예를 설명하기 위한 흐름도이다.
도 2는 도 1에 나타낸 차량번호인식장치의 실시예를 설명하기 위한 블록 구성도,
도 3은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템에서 이용되는 신경망의 실시예를 설명하기 위한 도면,
도 4는 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템에서 이용되는 SRCNN의 네트워크 구조를 나타낸 도면,
도 5는 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 결과의 예를 보여주는 도면,
도 6은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법의 실시예를 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시 예를 설명하기로 한다.
본 발명의 실시 예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시 예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
도 1은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템의 실시예를 설명하기 위한 도면이고, 도 2는 도 1에 나타낸 차량번호인식장치의 실시예를 설명하기 위한 블록 구성도이며, 도 3은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템에서 이용되는 신경망의 실시예를 설명하기 위한 도면이고, 도 4는 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템에서 이용되는 SRCNN의 네트워크 구조를 나타낸 도면이며, 도 5는 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 결과의 예를 보여주는 도면이다.
본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템의 실시예는 도 1 내지 도 4에 나타낸 바와 같은데, 우선 시스템의 실시예는 도 1에 나타낸 바와 같이, 일반자동차나 이륜자동차가 통행하는 도로에 설치되는 복수개의 제1 내지 제N차량번호인식장치(101, 102, 103)와 도로방범 서버(200) 및 통신망을 포함하여 구성된다.
복수의 제1 내지 제N차량번호인식장치(101, 102, 103) 각각은 도로에 설치된 카메라로부터 영상 신호를 수신하고, 수신된 영상으로부터 딥러닝 기반의 객체 인식 작업을 통해 도로상의 일반 자동차와 이륜자동차를 분류하며, 분류된 객체들의 움직임을 추적하고 특정 위치에서 해당 객체를 분류 검출하며, 검출된 객체의 번호판 유무를 판단한 후 추출된 번호판에 대한 이미지 확대 및 번호판 확대에 따른 영상 노이즈 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 이륜자동차 번호판 인식을 인식하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판을 인식하고, 그 중 방범 대상으로 인식된 차량정보에 대하여 도로방범 서버(200)로 해당 차량번호인식장치의 식별정보와 단속관련 정보(촬영영상 정보, 촬영시간, 촬영위치, 차량번호판 등) 등 미리 설정된 정보를 전송한다.
도로방범 서버(200)는 복수의 제1 내지 제N차량번호인식장치(101, 102, 103)로 방범대상 차량의 번호판 정보 등 방범관련 차량 정보를 전송하고, 복수의 제1 내지 제N차량번호인식장치(101, 102, 103)로부터 전송된 정보를 관련기관인 경찰청 등으로 통보하게 된다.
여기서 복수개의 제1 내지 제N차량번호인식장치(101, 102, 103) 각각은 도 2에 나타낸 바와 같이, 통신부(110), 감시카메라부(120), 사전객체 분류부(130), 객체 추적부(140), 번호판 판단부(150), 번호 추출부(160), 저장부(170), 제어부(180) 및 전원 공급부(190)를 포함하여 구성되고, 저장부(170)는 제1저장부(170a)와 제2저장부(170b)로 구성될 수 있다.
통신부(110)는 도로방범 서버(200)와 통신망을 통해 통신한다.
감시카메라부(120)는 도로에 설치된 카메라로 도로상의 영상신호를 수신한다. 이러한 감시카메라부(120)는 일반적으로 차량의 전방이 아닌 후방을 촬영하는 감시카메라(120)로써, 이는 이륜자동차의 경우 후방에만 번호판이 부착되기 때문이다.
사전객체 분류부(130)는 감시카메라부(120)에서 수신된 영상으로부터 딥러닝 기반의 객체인식작업을 통해 도로상의 차량에 대하여 일반차량(트럭, 일반자동차 등)과 이륜자동차를 분류한다. 이때, 감시카메라부(120)로부터 수신된 영상데이터에서 실시간으로 이미지 프레임 데이터를 추출한다. 이미지 데이터는 일반자동차와 이륜자동차 객체 감지(Object detection)를 위한 CNN(Convolutional Neural Network)의 입력으로 사용된다.
객체 추적부(140)는 사전객체 분류부(130)에서 분류된 객체 중 이륜자동차(이륜차)의 움직임을 추적한다. 즉 일반자동차와 이륜자동차 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행(Deep SORT; Simple Online and Realtime Tracking 알고리즘 등의 사용)한다. 그리고 미리 설정된 특정위치의 해당 객체(번호판)를 분류한다.
번호판 판단부(150)는 객체추적부(140)에서 검출된 객체의 번호판 유무를 판단한다.
번호 추출부(160)는 번호판 판단부(150)에서 번호판이 있는 것으로 판단되면 해당 번호판에서 번호를 추출한다. 이때, 본 발명에서는 이륜자동차의 후방 촬영으로 획득한 차량 번호판 영상 데이터는 1) 노이즈(Noise)가 많거나 2) 저해상도(Low Resolution)이미지가 존재 할 경우가 상당히 많다. 따라서 번호판 식별을 위해, 영상(이미지)로부터 이륜차 번호판이 검출되고, 검출된 영역은 Crop되어 2개의 노이즈 제거 및 고해상도 복원 딥러닝 네트워크의 입력으로 사용된다.
즉 이륜자동차의 번호판을 인식하는 방법은 영상(이미지)로부터 심층 신경망(CNN)의 객체 검출를 통한 영역을 Crop하여 이륜차인 오토바이를 획득하고, 이러 오토바이 번호판을 획득한다. 여기서 획득된 번호판의 OCR은 작은 크기로 구성되어 있으며, 일반적인 기존의 심층 신경망 기반의 번호인식을 하였을 경우, 오인식이 발생한다. 따라서 해당 번호판 이미지를 고해상도 복원 딥러닝 네트워크 알고리즘을 사용하여, 흐릿한 영상 이미지를 고해상도 이미지 변환을 한 후, 번호인식을 진행한다. 이때 본 발명에서는 해상도 이미지를 고해상도로 복원하는 알고리즘으로, Single Image Super Resolution을 사용하며, 그 중에서 도 4에서와 같은 SRCNN을 사용한다.
참고로, 먼저 저해상도 이미지를 Bicubic 보간법에 의해 이미지 확대를 한다. 그 다음 SRCNN(Super Resolution Conveoltion Neural Network)의 경우 늘려진 이미지를 입력으로 특징을 가지는 다차원의 Patch를 추출하고, Non-linear하게 다른 차원의 Patch들로 매핑을 진행하여 고해상도 이미지를 복원한다. 그 다음 고해상도 이미지와 실제 고해상도 이미지 사이의 차이를 역전파하여 신경망의 가중치를 학습을 진행하게 된다.
이때 첨부된 도 4의 SRCNN 네트워크는 저해상도(Low Resolution : LR) 이미지를 입력에 대하여, 이미지 확대에는 이미치 처리 방식인 Bicublc 보간법을 사용하여 원하는 크기로 이미지를 늘려주고(High Resolution : HR), 여기에 convolutional layer를 적용하여, 노이즈 제거 동작을 수행하게 되므로 후방에서 촬영하는 이륜차의 번호판에 대한 인식률을 향상시키게 된다. 이때, 도 5는 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 결과의 예를 보여주는 도면으로, SRCNN 네트워크 처리 전의 영상과 SRCNN 네트워크 처리 후의 영상의 선명도에 확실한 차이가 있음을 보여주고 있다.
본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템에서 이용되는 신경망의 실시예인 도 3을 보면 일반 자동차, 이륜자동차 인식 신경망 학습 시 후방촬영 영상에 대하여 일반, 이륜자동차 인식, 바운더리 박스 생성, 번호판 영역 검출, 번호판 영역 판독, 학습 데이터 완성 후 판독 신경망을 학습하게 되고, 이러한 학습 결과에 따라 실제 후방 촬영 영상 데이터에 대하여 CCTC(감시카메라부(120))로부터의 실시간 이미지에 대하여 일반, 이륜자동차 인식, 차량 번호판 영역 인식 및 딥러닝에 의한 노이즈 제거(슈퍼 해상도 적용)에 따른 차량 번호판 판독이 수행되는 것이다.
저장부(170)는 번호 추출부(160)에서 추출한 번호를 저장한다. 이때, 저장부(170)는 추출한 번호 외에도 도로방범 서버(200)에서 전송된 방범 관련 차량의 번호판 정보가 미리 저장된다. 이를 위하여 저장부(170)는 도로방범 서버(200)에서 전송된 방범 관련 차량의 번호판 정보를 저장하기 위한 제1저장부(170a)와 번호 추출부(160)에서 추출한 번호를 저장하기 위한 제2저장부(170b)로 구성될 수 있다.
제어부(180)는 통신부(110), 감시카메라부(120), 사전객체 분류부(130), 객체 추적부(140), 번호판 판단부(150), 번호 추출부(160) 및 저장부(170)를 제어하며, 제1저장부(170a)와 제2저장부(170b)의 번호정보를 비교하여 방범 관련 번호가 추출된 경우 해당 차량번호인식장치의 식별정보와 단속관련 정보(촬영영상 정보, 촬영시간, 촬영위치, 차량번호판 등)를 통신부(110)를 통해 도로방범 서버(200)로 전송한다.
도 6은 본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법의 실시예를 설명하기 위한 흐름도이다.
본 발명에 따른 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법의 실시예는 도 6에 나타낸 바와 같이, 일반 자동차, 이륜자동차 인식 신경망 학습 시 후방촬영 영상에 대하여 일반, 이륜자동차 인식, 바운더리 박스 생성, 번호판 영역 검출, 번호판 영역 판독 및 학습 데이터를 포함하는 인식 신경망 학습을 한다(S100).
그리고 학습 데이터가 완성되면 판독 신경망을 학습한다(S110).
이러한 판독 신경망 데이터를 복수개의 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 저장부에 프로그램으로 설치한다(S120).
그리고 각각의 제1 내지 제N차량번호인식장치(101, 102, 103)의 저장부(170)에 통신망과 통신부(110)를 통해 도로방범 서버(200)로부터 방범관련 차량번호가 주기적으로 저장(업데이트)된다(S130).
제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 감시카메라부(120)는 도로에 주행 중인 차량의 후방을 촬영하여 영상을 수신하고, 수신된 영상은 사전객체 분류부(130)에서 일반차량(트럭, 일반자동차 등)과 이륜자동차를 분류한다(S140).
그리고 각각의 제1 내지 제N차량번호인식장치(101, 102, 103)의 객체 추적부(140)는 사전객체 분류부(130)에서 분류된 객체 중 이륜자동차(이륜차)의 움직임을 추적하는데, 이륜자동차 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행(Deep SORT; Simple Online and Realtime Tracking 알고리즘 등의 사용)한다(S150).
한편 차량번호인식장치의 번호판 판단부(150)는 객체추적부(140)에서 검출된 객체(이륜자동차)의 번호판 유무를 판단한다(S160).
또한 차량번호인식장치의 번호 추출부(160)는 번호판 판단부(150)에서 번호판이 있는 것으로 판단되면 해당 번호판에서 번호를 추출한다(S170). 이때, 해당 번호판 이미지를 고해상도 복원 딥러닝 네트워크 알고리즘을 사용하여, 흐릿한 영상 이미지를 고해상도 이미지 변환을 한 후, 번호인식을 진행하는데, 고해상도 이미지와 실제 고해상도 이미지 사이의 차이를 역전파하여 신경망의 가중치를 학습을 진행하게 된다. 이때, SRCNN(Super Resolution Conveoltion Neural Network)을 이용한다.
차량번호인식장치의 제어부(180)는 번호 추출부(160)에서 추출한 번호를 저장부(170)에 저장한다. 이때, 저장부(170)에는 추출한 번호 외에도 도로방범 서버(200)에서 전송된 방범 관련 차량의 번호판 정보가 미리 저장되어 있으므로 제어부(180)는 저장부(170)(제1저장부(170a)와 제2저장부(170b))의 번호정보를 비교하여(S180), 방범 관련 번호가 추출된 경우 해당 차량번호인식장치의 식별정보와 단속관련 정보(촬영영상 정보, 촬영시간, 촬영위치, 차량번호판 등)를 통신부(110)를 통해 도로방범 서버(200)로 전송한다(S190).
이상에서 설명된 본 발명의 일 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
101, 102, 103 : 복수개의 제1 내지 제N차량번호인식장치
110 : 통신부 120 : 감시카메라부
130 : 사전객체 분류부 140 : 객체 추적부
150 : 번호판 판단부 160 : 번호 추출부
170 : 저장부 170a : 제1저장부
170b : 제2저장부 180 : 제어부
190 : 전원 공급부 200 : 도로방범 서버
210 : 통신부 220 : 데이터베이스
230 : 방법정보 저장부 240 : 제어부
110 : 통신부 120 : 감시카메라부
130 : 사전객체 분류부 140 : 객체 추적부
150 : 번호판 판단부 160 : 번호 추출부
170 : 저장부 170a : 제1저장부
170b : 제2저장부 180 : 제어부
190 : 전원 공급부 200 : 도로방범 서버
210 : 통신부 220 : 데이터베이스
230 : 방법정보 저장부 240 : 제어부
Claims (4)
- 차량의 후방을 촬영하도록 도로에 설치되고, 내장된 감시카메라에서 촬영한 영상에 대한 딥러닝 기반의 객체 인식 작업을 통해 도로상의 일반 자동차와 이륜자동차를 분류하고, 분류된 객체들의 움직임을 추적하고 특정 위치에서 해당 객체를 분류 검출하며, 검출된 객체의 번호판 유무를 판단한 후 추출된 번호판에 대한 이미지 확대와, 번호판에 대한 이미지 확대에 따른 영상 노이즈 제거 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 후방을 촬영한 이륜자동차 번호판을 인식하고, 그 중 방범 대상으로 인식된 차량정보에 대하여 도로방범 서버(200)로 해당 차량번호인식장치의 식별정보와 단속관련 정보를 전송하는 복수의 제1 내지 제N차량번호인식장치(101, 102, 103); 및
복수의 상기 제1 내지 제N차량번호인식장치(101, 102, 103)로 방범대상 차량의 번호판 정보를 포함하는 방범관련 차량 정보를 전송하고, 복수의 제1 내지 제N차량번호인식장치(101, 102, 103)로부터 전송된 정보를 경찰청을 포함하는 관련기관으로 통보하는 상기 도로방범 서버(200);를 포함하여 구성되되,
상기 이륜자동차 번호판 인식은 SRCNN(Super Resolution Conveoltion Neural Network)을 이용하며, 복수의 상기 제1 내지 제N차량번호인식장치(101, 102, 103)의 내장된 감시카메라에서 촬영한 영상에 대하여 저해상도(Low Resolution : LR) 이미지를 바이큐빅(Bicubic) 보간법을 사용하여 원하는 크기의 고해상도(High Resolution : HR) 이미지로 늘려주고, 컨벌루셔널 레이어(convolutional layer)를 적용하여 노이즈 제거를 수행하여 후방을 촬영한 이륜자동차의 번호판에 대한 인식률을 향상시키고,
복수의 상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각은,
상기 도로방범 서버(200)와 통신망을 통해 통신하는 통신부(110)와,
이륜자동차의 후방에 부착된 번호판을 촬영하는 감시카메라부(120)와,
상기 감시카메라부(120)에서 수신된 영상으로부터 딥러닝 기반의 객체인식작업을 통해 도로상의 차량에 대하여 트럭이나 일반자동차와 이륜자동차를 분류하는 사전객체 분류부(130)와,
상기 사전객체 분류부(130)에서 분류된 객체 중 이륜자동차의 움직임을 추적하되, 이륜자동차 객체감지의 결과로 얻어진 바운딩 박스(Bounding box)에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 딥(Deep) SORT(Simple Online and Realtime Tracking) 알고리즘을 통해 객체 추적을 진행하여 미리 설정된 특정위치의 해당 객체인 이륜자동차의 번호판을 분류하는 객체 추적부(140)와,
상기 객체추적부(140)에서 검출된 객체의 번호판 유무를 판단하는 번호판 판단부(150)와,
이륜자동차의 번호판 영상 이미지로부터 심층 신경망(CNN)의 객체 검출을 통한 영역을 크롭(Crop)하여 이륜자동차인 오토바이를 획득하고, 획득한 오토바이의 번호판을 획득하며, 해당 번호판 이미지를 고해상도 복원 딥러닝 네트워크 알고리즘을 사용하여, 흐릿한 영상 이미지를 SISR(Single Image Super Resolution) 중 SRCNN(Super Resolution Conveoltion Neural Network)을 통해 고해상도 이미지 변환을 한 후, 번호인식을 진행하는 번호 추출부(160)와,
상기 도로방범 서버(200)에서 전송된 방범 관련 차량의 번호판 정보를 저장하기 위한 제1저장부(170a)와 상기 번호 추출부(160)에서 추출한 번호를 저장하기 위한 제2저장부(170b)로 구성되는 저장부(170)와,
상기 통신부(110), 감시카메라부(120), 사전객체 분류부(130), 객체 추적부(140), 번호판 판단부(150), 번호 추출부(160) 및 저장부(170)를 제어하며, 상기 제1저장부(170a)와 제2저장부(170b)의 번호정보를 비교하여 방범 관련 번호가 추출된 경우 해당 차량번호인식장치의 식별정보와 촬영영상 정보, 촬영시간, 촬영위치, 차량번호판을 포함하는 단속관련 정보를 상기 통신부(110)를 통해 상기 도로방범 서버(200)로 전송하도록 제어하는 제어부(180)를 포함하여 구성됨을 특징으로 하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템.
- 삭제
- 도로방범 서버(200)와 통신망을 통해 통신하는 통신부(110)와, 이륜자동차의 후방에 부착된 번호판을 촬영하는 감시카메라부(120)와, 상기 감시카메라부(120)에서 수신된 영상으로부터 딥러닝 기반의 객체인식작업을 통해 도로상의 차량에 대하여 트럭이나 일반자동차와 이륜자동차를 분류하는 사전객체 분류부(130)와, 상기 사전객체 분류부(130)에서 분류된 객체 중 이륜자동차의 움직임을 추적하되, 이륜자동차 객체감지의 결과로 얻어진 바운딩 박스(Bounding box)에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 딥(Deep) SORT(Simple Online and Realtime Tracking) 알고리즘을 통해 객체 추적을 진행하여 미리 설정된 특정위치의 해당 객체인 이륜자동차의 번호판을 분류하는 객체 추적부(140)와, 상기 객체추적부(140)에서 검출된 객체의 번호판 유무를 판단하는 번호판 판단부(150)와, 이륜자동차의 번호판 영상 이미지로부터 심층 신경망(CNN)의 객체 검출을 통한 영역을 크롭(Crop)하여 이륜자동차인 오토바이를 획득하고, 획득한 오토바이의 번호판 이미지를 획득하며, 해당 번호판 이미지를 고해상도 복원 딥러닝 네트워크 알고리즘을 사용하여, 흐릿한 영상 이미지를 SISR(Single Image Super Resolution) 중 SRCNN(Super Resolution Conveoltion Neural Network)을 통해 고해상도 이미지 변환을 한 후, 번호인식을 진행하는 번호 추출부(160)와, 상기 도로방범 서버(200)에서 전송된 방범 관련 차량의 번호판 정보를 저장하기 위한 제1저장부(170a)와 상기 번호 추출부(160)에서 추출한 번호를 저장하기 위한 제2저장부(170b)로 구성되는 저장부(170)와, 상기 통신부(110), 감시카메라부(120), 사전객체 분류부(130), 객체 추적부(140), 번호판 판단부(150), 번호 추출부(160) 및 저장부(170)를 제어하며, 상기 제1저장부(170a)와 제2저장부(170b)의 번호정보를 비교하여 방범 관련 번호가 추출된 경우 해당 차량번호인식장치의 식별정보와 촬영영상 정보, 촬영시간, 촬영위치, 차량번호판을 포함하는 단속관련 정보를 상기 통신부(110)를 통해 상기 도로방범 서버(200)로 전송하도록 제어하는 제어부(180)를 포함하여 각각 구성되어 차량의 후방을 촬영하도록 도로에 설치되고, 내장된 감시카메라(120)에서 촬영한 영상에 대한 딥러닝 기반의 객체 인식 작업을 통해 도로상의 일반 자동차와 이륜자동차를 분류하며, 분류된 객체들의 움직임을 추적하고 특정 위치에서 해당 객체를 분류 검출하며, 검출된 객체의 번호판 유무를 판단한 후 추출된 번호판에 대한 이미지 확대와, 번호판에 대한 이미지 확대에 따른 영상 노이즈 제거 및 딥러닝 기반의 영상 보정 알고리즘을 통해서 후방을 촬영한 이륜자동차 번호판을 인식하고, 그 중 방범 대상으로 인식된 차량정보에 대하여 상기 도로방범 서버(200)로 해당 차량번호인식장치의 식별정보와 단속관련 정보를 전송하는 복수의 제1 내지 제N차량번호인식장치(101, 102, 103)와, 복수의 상기 제1 내지 제N차량번호인식장치(101, 102, 103)로 방범대상 차량의 번호판 정보를 포함하는 방범관련 차량 정보를 전송하고, 복수의 제1 내지 제N차량번호인식장치(101, 102, 103)로부터 전송된 정보를 경찰청을 포함하는 관련기관으로 통보하는 상기 도로방범 서버(200);를 포함하여 구성되는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 시스템의 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법으로,
일반 자동차, 이륜자동차 인식 신경망 학습 시 후방촬영 영상에 대하여 일반, 이륜자동차 인식, 바운더리 박스 생성, 번호판 영역 검출, 번호판 영역 판독 및 학습 데이터를 포함하는 인식 신경망 학습을 하는 단계(S100);
상기 학습 데이터가 완성되면 판독 신경망을 학습하는 단계(S110);
상기 학습된 판독 신경망 데이터를 복수개의 상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 저장부(170)에 프로그램으로 설치하는 단계(S120);
상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 저장부(170)에 통신망과 통신부(110)를 통해 상기 도로방범 서버(200)로부터 방범관련 차량번호가 주기적으로 업데이트되는 단계(S130);
상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 감시카메라부(120)는 도로에 주행 중인 차량의 후방을 촬영하여 영상을 수신하고, 수신된 영상은 각각의 상기 사전객체 분류부(130)에서 일반차량과 이륜자동차로 분류되는 단계(S140);
상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 상기 객체 추적부(140)는 상기 사전객체 분류부(130)에서 분류된 객체 중 이륜자동차의 움직임을 추적하는 단계(S150);
이륜자동차의 움직임을 추적한 상기 제1 내지 제N차량번호인식장치(101, 102, 103)의 번호판 판단부(150)는 상기 객체추적부(140)에서 검출된 객체인 이륜자동차의 번호판 유무를 판단하는 단계(S160);
상기 제1 내지 제N차량번호인식장치(101, 102, 103)의 번호 추출부(160)는 이륜자동차의 번호판에서 번호를 추출하는 단계(S170); 및
상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 제어부(180)는 상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 제1저장부(170a)에 저장된 방범 관련 차량의 번호 정보와 상기 제1 내지 제N차량번호인식장치(101, 102, 103) 각각의 제2저장부(170b)의 번호정보를 각각 비교하여(S180), 방범 관련 번호가 추출된 경우 해당 차량번호인식장치의 식별정보와 촬영영상 정보, 촬영시간, 촬영위치, 차량번호판을 포함하는 단속관련 정보를 상기 통신부(110)를 통해 상기 도로방범 서버(200)로 전송하는 단계(S190);를 포함하여 이루어지는 것을 특징으로 하는 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법. - 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220139772A KR102506971B1 (ko) | 2022-10-26 | 2022-10-26 | 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220139772A KR102506971B1 (ko) | 2022-10-26 | 2022-10-26 | 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102506971B1 true KR102506971B1 (ko) | 2023-03-07 |
Family
ID=85513680
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220139772A KR102506971B1 (ko) | 2022-10-26 | 2022-10-26 | 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102506971B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102630939B1 (ko) * | 2023-10-06 | 2024-01-30 | 이홍기 | 딥러닝 기반 전후면 차량번호인식 무인교통단속 방법 및 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101053939B1 (ko) | 2011-03-25 | 2011-08-04 | 주식회사 엘리소프트 | 고해상도 카메라를 이용한 차량 방범용 ｃｃｔｖ 시스템 및 그 영상처리 방법 |
| KR101060528B1 (ko) | 2011-05-06 | 2011-08-30 | 웅진보안시스템(주) | 보안시스템으로 적용되는 영상처리 시스템 및 그 운영방법 |
| KR102160959B1 (ko) * | 2020-04-29 | 2020-09-29 | (주)진명아이앤씨 | 방범용 감시 카메라에서 차량번호 인식 장치 및 그 방법 |
| KR102338912B1 (ko) * | 2021-08-11 | 2021-12-15 | 주식회사 아프로시스템즈 | 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 |
| KR20220129314A (ko) * | 2021-03-16 | 2022-09-23 | 주식회사 인포벨리코리아 | 딥러닝 영상분석 기술 기반 축산농장 차단 방역 통제 관리시스템 |
-
2022
- 2022-10-26 KR KR1020220139772A patent/KR102506971B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101053939B1 (ko) | 2011-03-25 | 2011-08-04 | 주식회사 엘리소프트 | 고해상도 카메라를 이용한 차량 방범용 ｃｃｔｖ 시스템 및 그 영상처리 방법 |
| KR101060528B1 (ko) | 2011-05-06 | 2011-08-30 | 웅진보안시스템(주) | 보안시스템으로 적용되는 영상처리 시스템 및 그 운영방법 |
| KR102160959B1 (ko) * | 2020-04-29 | 2020-09-29 | (주)진명아이앤씨 | 방범용 감시 카메라에서 차량번호 인식 장치 및 그 방법 |
| KR20220129314A (ko) * | 2021-03-16 | 2022-09-23 | 주식회사 인포벨리코리아 | 딥러닝 영상분석 기술 기반 축산농장 차단 방역 통제 관리시스템 |
| KR102338912B1 (ko) * | 2021-08-11 | 2021-12-15 | 주식회사 아프로시스템즈 | 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102630939B1 (ko) * | 2023-10-06 | 2024-01-30 | 이홍기 | 딥러닝 기반 전후면 차량번호인식 무인교통단속 방법 및 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101565978B1 (ko) | 원거리 캡처 영상으로 복수의 차량번호를 인식하고 복수의 증거사진을 동시에 추출하는 방법 | |
| KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| KR101935399B1 (ko) | 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템 | |
| US8798314B2 (en) | Detection of vehicles in images of a night time scene | |
| CN111161312B (zh) | 一种基于计算机视觉的物体轨迹追踪识别装置及*** | |
| KR101561626B1 (ko) | 주행차량의 번호판 인식이 실시간으로 가능한 차량용 블랙박스 | |
| KR101756848B1 (ko) | 불법 주정차 관리 시스템 | |
| Wu et al. | Accurate vehicle detection using multi-camera data fusion and machine learning | |
| JP2001216519A (ja) | 交通監視装置 | |
| KR102579542B1 (ko) | 군중 밀집도 기반의 위험 지역 자동 알림 시스템 | |
| KR102506971B1 (ko) | 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템 | |
| JP2005173787A (ja) | 移動物体の検出・認識を行う画像処理装置 | |
| CN115546738A (zh) | 一种铁轨异物检测方法 | |
| KR20130122262A (ko) | 영상 검색 시스템 및 영상 분석 서버 | |
| KR101911239B1 (ko) | 불법 주정차 단속을 위한 채널 확대 운영 시스템 | |
| KR101485512B1 (ko) | 객체 행동패턴의 해마 신경망 학습을 이용한 미래범죄 발생확률 우선순위 이벤트 cctv 영상처리 방법 | |
| WO2017116226A1 (en) | System and method to identify identification plate characters using background estimation binarization | |
| CN110363192B (zh) | 物件影像辨识***及物件影像辨识方法 | |
| KR100770157B1 (ko) | 이동형 차량번호 판독 및 증거수집 시스템 | |
| KR100801989B1 (ko) | 번호판 인식 시스템，전처리 장치 및 방법 | |
| KR101154350B1 (ko) | 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법 | |
| KR20200010691A (ko) | 이종 카메라를 활용한 인물인식 및 교통통제시스템 | |
| KR101563543B1 (ko) | 경차 및 이륜차 인식을 위한 lpr 시스템 | |
| KR20220098677A (ko) | 교통사고 예측 방법 및 시스템 | |
| KR101547239B1 (ko) | 배경영상 추출 기반 카메라 영상밝기 조절 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |