KR102637924B1 - 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 - Google Patents
인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 Download PDFInfo
- Publication number
- KR102637924B1 KR102637924B1 KR1020230111056A KR20230111056A KR102637924B1 KR 102637924 B1 KR102637924 B1 KR 102637924B1 KR 1020230111056 A KR1020230111056 A KR 1020230111056A KR 20230111056 A KR20230111056 A KR 20230111056A KR 102637924 B1 KR102637924 B1 KR 102637924B1
- Authority
- KR
- South Korea
- Prior art keywords
- helmet
- license plate
- unit
- wheeled vehicle
- wearing
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000005336 cracking Methods 0.000 title claims abstract description 11
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 51
- 238000004891 communication Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 15
- OWZREIFADZCYQD-NSHGMRRFSA-N deltamethrin Chemical compound CC1(C)[C@@H](C=C(Br)Br)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 OWZREIFADZCYQD-NSHGMRRFSA-N 0.000 claims description 9
- 238000013526 transfer learning Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 15
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Tourism & Hospitality (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 딥러닝기반 컴퓨터비전 기술을 활용하여 이륜자동차의 불법운행을 단속 시 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차 영역을 추출하고, 이륜자동차 영역에서 운전자 및 동승자의 헬맷(안전모) 착용여부에 따라 헬맷 미착용 시 이륜자동차의 번호판을 감지하고 판독하여 이를 단속관련 기관으로 전송하는 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법에 관한 것이다. 이러한 본 발명은 각각 이륜자동차의 후면을 촬영하도록 설치된 카메라를 통해 촬영된 영상신호에서 이륜자동차를 검출하고, 검출된 이륜자동차의 운전자와 동승자에 대한 헬맷 착용여부를 검출한 후 헬맷 미착용의 경우 차량번호판에서 차량번호를 추출하고 이를 단속관련 기관의 서버인 교통위반 단속서버(200)로 전송하는 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103); 및 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 헬맷 미착용 단속정보를 통지하는 교통위반 단속서버(200);를 포함하여 구성됨을 특징으로 하는 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템을 제공한다.
Description
본 발명은 이륜자동차의 헬맷 미착용 단속에 관한 것으로, 더욱 상세하게는 딥러닝기반 컴퓨터비전 기술을 활용하여 이륜자동차의 불법운행을 단속시 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차 영역을 추출하여 운전자 및 동승자의 헬맷(안전모) 착용여부에 따라 헬맷 미착용 시 이륜자동차의 번호판을 감지 및 판독하여 이를 단속관련 기관으로 전송하는 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법에 관한 것이다.
이륜자동차는, 자동차의 보급이 활성화되기 이전부터 많은 국민들에게 사용되어왔다. 아울러 현대 시대에는 자동차의 보급이 활발해졌지만, 여전히 이륜자동차 특유의 매력을 따라, 여가생활 혹은 이동수단으로서 이륜자동차를 사용하고 있다.
특히, 코로나로 인해 배달문화가 활성화된 현재, 이륜자동차의 도로 주행량은 증가하고 있다.
그러나 이륜자동차는 일반 자동차와 다르게 도로 상에서 주행범위가 다소 자유롭다. 이는 법적으로 자유로운 것은 아니고, 크기가 자동차에 비해 작고, 2개의 휠로 구동되어지다 보니, 자전거와 마찬가지로 자유로운 이동이 가능하다는 것이다.
때문에, 도로 상에서 도로법규를 지키지 않고 무분별한 주행을 하는 운전자가 늘고 있다. 이러한 이륜자동차로 인해 도로 상에서 안전하게 주행하는 일반 자동차나, 안전하게 보행 중인 보행자가 피해를 보는 경우도 발생되고 있다.
이와 같이 일반적으로 이륜 자동차(이하 이륜자동차)의 교통 법규 위반 사항을 단속하고자 할 경우, 이륜자동차 운전자는 단속 경찰의 지시에 순응하지 않고, 도주 시 번호판의 식별이 어렵고, 또한 무인 카메라를 이용하여 이륜자동차를 자동 촬영하여 단속하고자 하여도 전면부에 번호판이 없으므로 촬영을 한다 해도 누구의 소유인지 알 수가 없어 단속의 효과가 없었다.
특히, 안전 사고 예방을 위해 이륜자동차 탑승자는 헬맷을 필히 착용해야 함에도 불편함 등의 이유로 헬맷을 착용하지 않는 경우가 많다. 하지만 이를 단속하기 위해서는 단속 경찰이 직접 단속해야 하는 어려움이 있다.
이러한 문제를 해결하기 위하여 다양한 기술이 개발되고 있다.
예컨대, 등록특허공보 제10-1942491호에는 도로교통 상황 모니터링 관제·실시간 교통정보 분석·교통신호제어로 이루어진 인공지능형 CCTV통합관제중개제어모듈을 갖는 CCTV통합관제센터시스템이 기재되어 있다.
상기 기술은, 기존의 CCTV카메라에서 촬영된 현장용 CCTC영상이 DSP처리 및 통합관제용 인터페이스처리없이, 바로 통합관제센터시스템으로 전달되기 때문에, 현장용 CCTV영상의 화질이 흔들리거나 희미해져서, 특정개체를 육안으로 파악하기가 힘든 문제점과, 종래의 통합관제센터시스템에서는 관제자인 사람이 24시간 모니터를 보며 감시하는 체제이므로 즉각적인 반응이 어렵고, 실제 위험요소를 객체인식으로 판별하여 추적하기는 어려운 문제점, 다양한 이상 상황 발생 시 위험 요소의 실시간 객체검출 및 추적이 불가능한 문제점, 그리고, 통합관제센터 시스템에 도로교통 상황 모니터링 관제시스템 따로, 교통정보 분석시스템 따로, 교통신호등 제어시스템 따로, 구축이 되기 때문에, 시스템구축비용이 비싸지고, 시스템과부하에 따른 처리속도가 늦어지고, 잦은 고장이 발생되는 문제점을 개선하고자, 현장용 CCTV 모듈(100), CCTV 통합관제관리서버(200), 인공지능형 CCTV통합관제중개 제어모듈(300)로 구성됨으로서, 복수개의 현장용 CCTV모듈과 CCTV 통합관제관리서버 사이에 형성된 인공지능형 CCTV통합관제중개제어모듈을 통해, DSP처리와 관제인터페이스 처리를 통해, 기존에 비해 80% 향상된 양질의 현장용 CCTV영상데이터를 통합관제센터의 모니터링화면에 표출시킬 수 있으며, CCTV 통합관제관리서버가 해야할 도로교통 상황 모니터링 관제기능과, 특정이동차량검출기능, 특정이동차량추적기능, 교통정보분석기능, 교통신호제어기능을 인공지능형 CCTV통합관제중개제어모듈을 수행시킬 수 있어, CCTV 통합관제관리서버의 업데이트되는 시스템구축비용을 기존에 비해 70% 저렴하게 할 수 있고, CCTV 통합관제관리서버의 모니터링화면 표출속도 및 분석처리속도를 기존에 비해 2배~4배 향상시킬 수 있으며, CCTV 통합관제관리서버의 고장발생율을 60%이하로 낮출 수 있고, 그리드 셀 기반형 합성곱 신경망구조와 RNN (Recurrent Neural Network) 신경망 구조를 통해 자가학습하면서, 학습한 자가학습데이터를 기반으로, 프레임별 현장용 CCTV영상데이터 속에 있는 이동차량과 비교하여, 특정이동차량만을 검출시킬 수 있어, 특정이동차량의 검출속도를 기존에 비해 80% 향상시킬 수 있고, 장애 시간이나 횟수를 줄임으로 인한 공백시간을 기존에 비해, 80% 줄일 수가 있으며, 이동차량 검출시, 정지된 환경에서 구현되는 기존의 차량검출과는 다르게 이동차량마다 ID를 부여하여 현재 프레임화면에서 알아볼 수 없다 하더라도, 또 다른 이웃하는 현장용 CCTV모듈에서 촬영된 다음 프레임화면의 이동차량의 특징 패턴과 벡터, 색정보를 비교하여 동일 이동차량임을 설정할 수 있어, 기존에 비해 특정이동차량검출율을 80% 향상시킬 수 있는 도로교통 상황 모니터링 관제/실시간 교통정보 분석/교통신호제어로 이루어진 인공지능형 CCTV통합관제중개 제어모듈을 갖는 CCTV통합관제센터시스템를 제공하는데 그 목적이 있다.
물론, 종래 도로상황과 더불어 자동차를 감시하는 기술이 이륜자동차 역시 감시하도록 되어 있지만, 이러한 종래의 자동차 감시 기술을 적용하기에 이륜자동차의 경우 헛점이 존재한다.
예를 들어, 이륜자동차가 횡단보도를 통해 차도로 진입하면서 교통법규를 위반하는 경우, 차량 번호판을 촬영하도록 구성된 종래 기술은, 방향을 틀어짐에 따른 이륜자동차의 번호판을 놓치는 경우가 발생될 수 있다.
또한, 등록특허공보 제10-2166784호에는 자전거 전용차로 ＣＣＴＶ 단속관리 시스템이 기재되어 있다.
상기 기술은, 자전거 전용차로 CCTV 단속관리 시스템에 관한 것으로, 자전거 전용차로 상에 고정된 지지대의 상부에 설치되고, 카메라를 이용하여 자전거 전용차로 상에 기 지정된 특정 영역의 영상을 획득하며, 기 설정된 상기 지지대의 위도 및 경도와 함께 획득된 특정 영역의 영상을 전송하는 영상획득장치와, 영상획득장치와 통신망을 통해 연결되며, 통신망을 통해 영상획득장치로부터 기 설정된 지지대의 위도 및 경도와 함께 획득된 특정영역의 영상을 제공받아 이를 기반으로 기 설정된 영상인식 기술을 이용한 영상처리 및 분석을 통해 자전거 전용차로 상의 불법차량을 인식함과 아울러 해당 불법차량 번호판을 검출하고, 기 설정된 지지대의 위도와 경도를이용하여 해당 불법차량 번호판에 대한 현재 위치의 위도와 경도를 산출하여 해당 불법차량의 현재 위치정보를검출하며, 관리자가 해당 불법차량에 대한 번호판 이미지를 비롯하여 해당 불법차량의 차량번호, 위도와 경도를 갖는 현재 위치 및 시간을 시각적 또는 청각적으로 실시간 모니터링(Monitoring)할 수 있도록 서비스를 제공하는 도로 관리서버를 포함함으로써, 자전거 운전자에게 사전에 충분한 주의를 줄 수 있을 뿐만 아니라 추돌사고발생을 효과적으로 줄일 수 있다.
또한, 등록특허공보 제10-0464619호에는 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신 장치가 기재되어 있다.
그러나 상술된 기술들은, 이륜자동차에 특화되어 번호판 감지를 도모하기 위한 기술을 적용하지 않고 있다는 문제가 있었다.
따라서, 본 발명은 상기와 같은 종래 기술의 제반 단점과 문제점을 해결하기 위한 것으로, 딥러닝기반 컴퓨터비전 기술을 활용하여 이륜자동차의 불법운행을 단속 시 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차 영역을 추출하고, 이륜자동차 영역에서 운전자 및 동승자의 헬맷(안전모) 착용여부에 따라 헬맷 미착용 시 이륜자동차의 번호판을 감지하고 판독하여 이를 단속관련 기관으로 전송하는 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명은 각각 이륜자동차의 후면을 촬영하도록 설치된 카메라를 통해 촬영된 영상신호에서 이륜자동차를 검출하고, 검출된 이륜자동차의 운전자와 동승자에 대한 헬맷 착용여부를 검출한 후 헬맷 미착용의 경우 차량번호판에서 차량번호를 추출하고 이를 단속관련 기관의 서버인 교통위반 단속서버(200)로 전송하는 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103); 및 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 헬맷 미착용 단속정보를 통지하는 교통위반 단속서버(200);를 포함하여 구성됨을 특징으로 하는 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템을 제공한다.
여기서 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103) 각각은 도로 진행방향의 후방에서 이륜자동차의 객체가 감지되기 위해서 0도에서 60도 사이에서 촬영된 이륜자동차의 데이터를 확보하고, FPS(Frame per second)가 높은 딥러닝 네트워크를 사용하며, MS COCO 데이터 셋으로 학습된 딥러닝 네트워크에 탑뷰에서 촬영된 이륜자동차의 데이터를 추가하기 위한 전이학습을 진행한 것을 특징으로 한다.
그리고 상기한 목적을 달성하기 위하여 본 발명은 일반 자동차, 이륜자동차 인식 신경망 학습 시 후방촬영 영상에 대하여 일반, 이륜자동차 인식, 바운더리 박스 생성, 번호판 영역 검출, 번호판 영역 판독 및 학습 데이터를 포함하는 인식 신경망 학습이된 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)를 설치하는 단계(S100); 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)의 영상수신부(120)로부터 영상이 수신되면(S110), 헬맷 미착용 단속장치(101, 102, 103)의 이륜차 검출부(130)를 통해 영상에서 이륜자동차를 검출하는 단계(S120); 상기 검출된 이륜자동차에 대하여 운전자 또는 동승자의 헬맷 미착용을 검출하는 단계(S150); 및 헬맷 미착용이라면 이륜자동차 객체를 추적하고, 객체 ID를 부여하며, 번호판에서 차량번호를 추출하여 통신망(300)을 통해 교통위반 단속서버(200)로 교통위반 단속정보를 전송하는 단계(S170);를 포함하는 것을 특징으로 하는 인공지능기반 이륜자동차의 헬맷 미착용 단속 방법을 제공한다.
이와 같이 이루어지는 본 발명은 다음과 같은 효과가 있다.
첫째, 딥러닝기반 컴퓨터비전 기술을 활용하여 이륜자동차의 불법운행을 단속 시 도로에 설치된 카메라로부터 영상신호를 수신하여 이륜자동차 영역을 추출하고, 이륜자동차 영역에서 운전자 및 동승자의 헬맷(안전모) 착용여부에 따라 헬맷 미착용 시 이륜자동차의 번호판을 감지하고 판독하여 이를 단속관련 기관으로 전송함으로써 단속 편의성을 높일 수 있다.
둘째, 번호판이 뒤에만 있는 이륜자동차(이륜자동차)의 후방을 촬영함으로써 특히 이륜자동차 단속에 효율적으로 활용할 수 있다.
셋째, 도로에 설치된 카메라로부터 영상신호를 수신한 차량번호인식장치를 통해 이륜자동차의 번호판을 추출하고, 추출된 번호판에 대하여 딥러닝 기반의 객체 인식 작업을 통해 일반 자동차와 이륜자동차를 분류 및 검출 한 후 검출된 객체의 번호판에 대한 이미지 확대 및 번호판 이미지 확대에 따른 영상 노이즈 및 딥러닝 기반의 후방 촬영 영상 보정 알고리즘을 통해서 신뢰도 높은 번호판 인식이 가능한 효과가 있다.
도 1은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 의 실시예를 설명하기 위한 도면,
도 2는 도 1에 나타낸 헬맷 미착용 단속장치의 실시예를 설명하기 위한 블록 구성도,
도 3은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 신경망의 실시예를 설명하기 위한 도면,
도 4는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서의 헬맷 미착용 단속 흐름의 실시예를 설명하기 위한 도면,
도 5는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서의 전이학습의 실시예를 설명하기 위한 도면,
도 6 및 도 7은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 IOU를 설명하기 위한 도면,
도 8은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 핼멧과 번호판 판별의 실시예를 설명하기 위한 도면,
도 9는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속 방법의 실시예를 설명하기 위한 흐름도이다.
도 2는 도 1에 나타낸 헬맷 미착용 단속장치의 실시예를 설명하기 위한 블록 구성도,
도 3은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 신경망의 실시예를 설명하기 위한 도면,
도 4는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서의 헬맷 미착용 단속 흐름의 실시예를 설명하기 위한 도면,
도 5는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서의 전이학습의 실시예를 설명하기 위한 도면,
도 6 및 도 7은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 IOU를 설명하기 위한 도면,
도 8은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 핼멧과 번호판 판별의 실시예를 설명하기 위한 도면,
도 9는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속 방법의 실시예를 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여, 본 발명에 따른 바람직한 실시 예를 설명하기로 한다.
본 발명의 실시 예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시 예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
도 1은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 의 실시예를 설명하기 위한 도면이고, 도 2는 도 1에 나타낸 차량번호인식장치의 실시예를 설명하기 위한 블록 구성도이며, 도 3은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 신경망의 실시예를 설명하기 위한 도면이고, 도 4는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서의 헬맷 미착용 단속 흐름의 실시예를 설명하기 위한 도면이다.
본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템은 도 1에 나타낸 바와 같이, 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)와, 교통위반 단속서버(200) 및 통신망(300)을 포함한다.
여기서 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)는 각각 이륜자동차의 후면을 촬영하도록 설치된 카메라를 통해 촬영된 영상신호에서 이륜자동차를 검출하고, 검출된 이륜자동차의 운전자와 동승자에 대한 헬맷 착용여부를 검출한 후 헬맷 미착용의 경우 차량번호판에서 차량번호를 추출하고 이를 단속관련 기관의 서버인 교통위반 단속서버(200)로 전송하도록 구성된다.
여기서 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103) 각각은 도 2에 나타낸 바와 같이, 통신부(110), 영상수신부(120), 이륜차 검출부(130), 헬맷 검출부(140), 객체 추적부(150), 객체 ID 부여부(160), 번호판 판단부(170), 차량번호 추출부(180), 메모리부(190) 및 제어부(195)로 구성된다.
교통위반 단속서버(200)는 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 단속정보(범칙금, 벌점 등)를 통지하는 서버로 예로써 경찰청 서버일 수 있다.
통신망(300)은 복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)와 교통위반 단속서버(200)간 통신을 수행하는 유무선 통신망으로 구성된다.
여기서 통신부(110)는 통신망(300)을 통해 교통위반 단속서버(200)와 통신한다.
영상수신부(120)는 카메라(CCTV)를 통해 촬영되는 도로나 인도의 영상을 수신받는다. 이때, 카메라는 전방은 물론 이륜자동차 번호판 확인을 위하여 도로 진행방향의 후방에서 촬영하는 것이 이용된다. 이를 보다 상세히 설명하면 지상에서 일정거리만큼 떨어진 곳에 설치된 단속카메라로부터 이륜자동차의 객체가 감지되기 위해서 다양한 각도(0도에서 60도 사이)에서 촬영된 이륜자동차의 데이터를 확보한다. 이때, 본 발명 단속 시스템은 높은 정확도와 함께 FPS(Frame per second)가 높은 딥러닝 네트워크를 사용한다(YOLO v4 등). 또한 MS COCO 데이터 셋으로 학습된 딥러닝 네트워크에 탑뷰에서 촬영된 이륜자동차의 데이터를 추가하기 위한 전이학습을 진행한다. 또한 인도주행을 검출하기 위하여 인도에 설치된 카메라 영상데이터는 인도만의 영역을 표기하기 위한 ROI(Region of Interest) 설정을 진행한다. ROI 영역에 이륜자동차가 검출될 경우, 헬맷 착용 여부와 관계없이 번호판을 검출, 인식하는 동작이 수행된다.
이륜차 검출부(130)는 영상수신부(120)를 통해 수신된 영상에서 이륜자동차(이륜차)만을 검출한다.
이때, 도 3에서와 같은 신경망 학습 데이터에 따라 일반자동차와 이륜자동차(오토바이)의 차량에 대한 인식신경망 학습 데이터를 통해 이륜자동차를 검출한다.
헬맷 검출부(140)는 이륜차 검출부(130)에서 이륜자동차가 검출되면 운전자와 동승자에 대한 헬맷 착용 여부를 검출한다. 이러한 헬맷 착용 여부는 도 6 및 도 7에 나타낸 바와 같은 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 IOU( Area of Overlap / Area of Union)를 통해 검출하게 된다.
객체 추적부(150)는 헬맷 검출부(140)에서 헬맷 미착용으로 검출된 객체, 즉 오토바이 객체에 대한 추적을 수행한다.
객체 ID 부여부(160)는 객체 추적부(150)에서 추적하는 객체에 대한 식별자(ID)를 부여한다. 이때 이륜자동차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID를 부여한다. 이에 대하여는 도 3을 통해 보다 상세히 설명한다.
번호판 판단부(170)는 객체 ID 부여부(160)에서 부여한 헬맷 미착용 이륜자동차의 번호판을 판단한다. 이에 대하여는 도 4를 통해 보다 상세히 설명한다.
차량번호 추출부(180)는 번호판 판단부(170)에서 판단한 번호판에서 차량번호를 추출한다. 이때, 차량번호 추출은 이륜차 검출부(130)에서 이륜자동차를 검출하고, 헬맷 검출부(140)에서 헬맷 미착용(No helmet)인 경우에 객체 추적부(150)에서 추적한 객체 중 번호판 판단부(170)에서 판단한 번호판의 차량번호를 추출하는데, 도로상에서 보면 이륜자동차는 하나의 차선에 인접해서 복수의 이륜자동차가 붙어 있는 경우가 있는 것을 알 수 있다. 그에 따라 헬맷 미착용 이륜자동차가 아닌 다른 이륜자동차의 차량번호를 검출하는 오류를 방지하고자 본 발명에서는 도 8에서와 같이 헬맷 검출부(140)의 검출결과 헬맷 미착용(No helmet)의 경우 차량번호 추출부(180)는 가장 가까운 번호판을 인지하도록 설정된다.
메모리부(190)는 영상수신부(120)에서 수신되고, 이륜차 검출부(1300에서 검출한 이륜자동차 중 헬맷 검출부(140)에서 운전자나 동승자 중 한명이라도 헬맷 미착용한 경우에 대한 영상과, 차량번호 추출부(180)에서 추출한 차량번호가 매칭되어 저장된다.
제어부(195)는 통신부(110), 영상수신부(120), 이륜차 검출부(130), 헬맷 검출부(140), 객체 추적부(150), 객체 ID 부여부(160), 번호판 판단부(170), 차량번호 추출부(180) 및 메모리부(190)를 제어하며, 메모리부(190)에 저장된 헬맷 미착용 이륜자동차의 차량번호를 교통위반 단속서버(200)로 전송되도록 제어한다. 또한 제어부(195)는 영상수신부(120)에서 수신한 영상에 대하여 이륜차 검출부(130)에서 이륜자동차를 검출하되 해당 영상수신부(120)가 차도가 아닌 인도만의 영역을 표기하기 위한 ROI(Region of Interest) 설정된 영상수신부(120)로부터의 영상인 경우 헬맷 검출 여부와 관계없이 차량번호판을 검출, 인식하고 차량번호를 교통위반 단속서버(200)로 전송되도록 제어한다.
한편 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 신경망은 도 3 및 도 4에 나타낸 바와 같이, 카메라를 통해 일반자동차와 이륜자동차(오토바이)의 차량에 대한 인식신경망 학습을 수행한다. 이를 위하여 우선 차량인식 후, 이륜자동차로 인식된 차량에 대한 바운딩 박스(Bounding Box) 생성을 통해 고유 ID가 부여되고, 고유 ID가 부여된 이륜자동차량에 대한 벡터 값 추적(+ 또는 -), 학습 데이터 완성 및 불법 유턴 단속 신경망 학습을 수행한다.
그리고 신경망에서는 카메라를 통해 실시간 이미지에서 헬맷착용 여부를 판단하고, 차량번호판 영역을 인식한다. 즉 신경망 학습과정에서 학습된 학습 데이터에 따라 운전자와 동승자에 대하여 헬맷 미착용자가 있는 이륜자동차량에 대한 차량번호를 검출한다.
이때, 카메라로부터 수신된 영상데이터에서 실시간으로 이미지 프레임 데이터를 추출하고, 이미지 데이터는 이륜자동차 객체 감지(Object detection)를 위한 CNN(Convolutional Neural Network)의 입력으로 사용된다. 이륜자동차 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행한다(Deep SORT; Simple Online and Realtime Tracking 알고리즘 등의 사용).
도 5는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서의 전이학습의 실시예를 설명하기 위한 도면이다.
전이학습에서는 이륜자동차 데이터를 획득하고, 이를 pre-trained CNN 학습과 MS COCO Dataset 등을 통해 새로운 영상에서 추론결과를 확인한다. pre-trained CNN의 경우 학습을 별도로 시킬 필요는 없고, pre-trained 모델을 찾아서 바로 inference 진행할 수 있다는 장점이 있다.
그리고 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)등을 통해서 번호판 검출과 인식이 진행된다. CRNN은 CNN을 통해 입력이미지로부터 Feature sequence를 추출하고, 이들은 RNN의 입력으로 이미지의 텍스트 시퀀스를 예측한다. 예측된 텍스트 시퀀스는 텍스트로 변환된다.
도 6 및 도 7은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 이용되는 IOU를 설명하기 위한 도면이다.
본 발명에 따른 인공지능기반 운행위반 이륜자동차 단속 시스템에서 이륜자동차 검출에 이용되는 IOU(Area of Overlap / Area of Union)는 학습 시 각 클래스 별 신뢰도는 개별 신뢰도 예측과 조건부 클래스 확률을 곱하여 얻게 되며 기존 확률과 예측 된 개체 간의 적합성이 모두 고려된다.
각 셀은 바운딩 박스와 분류한 클래스의 확률을 예측한다.
바운딩박스는 X, Y 좌표, 가로, 세로 크기 정보와 Confidence Score(Score) 수치를 가지고 있다. Score는 B(Bonnding Box)가 물체를 영역으로 잡고 있는지와 클래스를 잘 예측하였는지를 나타낸다. Score는 일반적으로 Pr(Object) * IOU로 정의하고 있으며, Pr(Object)는 바운딩 박스 안에 물체가 존재할 확률이다. 만약 바운딩 박스가 배경만을 영역으로 잡고 있다면 Pr(Object)의 값이 0이므로 Score는 0이 된다. IOU는 Intersection over time의 약자로 학습 데이터의 바운딩 박스와 예측한 바운딩 박스가 일치하는 정도를 나타낸다.
0 ≤ IOU ≤ 1
이때, IOU < 0.7 = Poor, 0.7 < IOU < 0.89 = Good, IOU > 0.9 = Excellent로 나타낼 수 있다.
여기서, 클래스 확률이란 그리드 셀 안에 있는 그림의 분류 확률을 나타낸다. 기호로는 Pr(Class_i | Object)로 표현하며 B가 배경이 아닌 객체를 포함하는 경우의 각 클래스의 조건부 확률로 B가 배경을 예측했다면 확률은 0이 된다. 최종적으로 클래스 조건부 확률 C와 각 바운딩 박스의 Confidence 예측값을 곱하면 각 박스의 클래스별 Confidence Score 수치를 구할 수 있다.
도 7에서, 는 딥러닝 네트워크를 통해 감지된 영역의 중심좌표와 너비 및 높이를 뜻하고 는 그리드의 왼쪽 상단 좌표를 는 그리드의 치수를 나타낸다.
이때, CCTV 카메라로부터 수신된 영상데이터에서 실시간으로 이미지 프레임 데이터를 추출하고, 이미지 데이터는 이륜자동차 객체 감지(Object detection)를 위한 CNN(Convolutional Neural Network)의 입력으로 사용된다. 이륜자동차 객체감지의 결과로 얻어진 Bounding box에 고유 ID를 부여하고 현재 프레임과 이전 프레임을 비교하여 객체 추적을 진행한다(Deep SORT; Simple Online and Realtime Tracking 알고리즘 등의 사용).
그리고 앞에서 설명한 바와 같이 번호판 검출 및 인식 과정은 CNN과 RNN(Recurrent Neural Network)이 결합된 복합구조 모델인 CRNN(Convolution Recurrent Neural Network)등을 통해서 번호판 검출과 인식이 진행된다. CRNN은 CNN을 통해 입력이미지로부터 Feature sequence를 추출하고, 이들은 RNN의 입력으로 이미지의 텍스트 시퀀스를 예측한다. 예측된 텍스트 시퀀스는 텍스트로 변환된다.
도 8은 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 핼멧과 번호판 판별의 실시예를 설명하기 위한 도면이다.
본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템에서 핼멧과 번호판 판별의 실시예는 예를 들어 차도의 오토바이에 대하여 영상수신부(120)에서 수신한 영상에서 이륜차 검출부(120)가 이륜자동차를 검출하고, 검출한 이륜자동차의 운전자의 헬맷 착용 여부에 대하여 헬맷 검출부(140)에서 헬멧 착용여부를 검출하는데, 객체 ID 추적부(160)에서 부여한 복수의 객체 ID(예를 들어 bike 1 ~ bike 10) 중 2대의 이륜자동차인 bike 5와 bike 6에서 운전자나 동승자가 헬맷 미착용인 것이 검출된 것(no_helmet 2, no_helmet 3)을 도시한 도면이다. 이때 본 발명에서는 헬맷 미착용을 검출(No helmet)한 경우 Object는 그 중심점이 가장 가까운 번호판을 인지하도록 하여 도로상에서 이륜자동차가 근접해 있음에 따라 발생될 수 있는 헬맷 미착용 이륜자동차 번호판에 대한 차량번호 추출 오류를 방지하거나 최소화하였다.
도 9는 본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속 방법의 실시예를 설명하기 위한 흐름도이다.
본 발명에 따른 인공지능기반 이륜자동차의 헬맷 미착용 단속 방법의 실시예는 도 9에 나타낸 바와 같이, 일반 자동차, 이륜자동차 인식 신경망 학습 시 후방촬영 영상에 대하여 일반, 이륜자동차 인식, 바운더리 박스 생성, 번호판 영역 검출, 번호판 영역 판독 및 학습 데이터를 포함하는 인식 신경망 학습이된 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)를 도로와 인도의 이륜자동차(이륜차) 단속을 위하여 설치한다(S100). 이때, 인도에 설치된 단속장치는 인도주행을 검출하기 위하여 인도에 설치된 카메라 영상데이터는 인도만의 영역을 표기하기 위한 ROI(Region of Interest) 설정이 진행된다.
그리고 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)의 영상수신부(120)로부터 영상이 수신되면(S110), 헬맷 미착용 단속장치(101, 102, 103)의 이륜차 검출부(130)를 통해 영상에서 이륜자동차(이륜차)를 검출한다(S120).
이때, 헬맷 미착용 단속장치(101, 102, 103)의 영상이 인도 영역을 표기하기 위한 ROI 설정이 되었는지를 판단한다(S130).
판단결과(S130), 인도에서의 영상이면서 헬맷 미착용 단속장치(101, 102, 103)이더라도 헬맷 착용과 관계없이 인도의 이륜자동차를 단속하기 위하여 객체 추적부(150)를 통해 객체를 추적하고, 객체 ID 부여부(160)를 통해 객체 ID를 부여하며, 번호판 판단부(170)를 통해 번호판을 판단하고, 차량번호 추출부(180)를 통해 차량번호판을 추출하여 저장부(190)에 저장됨과 동시에 통신망(300)과 통신부(110)를 통해 교통위반 단속서버(200)로 교통위반 단속정보(이륜자동차 영상, 차량번호, 헬맷 미착용 단속장치(101, 102, 103)의 설치위치 정보 등)이 전송된다(S140).
그러나 인도에서의 영상이 아니면, 즉 차도에서의 영상이라면 헬맷 검출부(140)를 통해 운전자 및/또는 동승자의 헬맷 미착용을 검출한다(S150).
그리고 검출결과 헬맷 미착용인가를 판단한다(S160).
판단결과(S160), 헬맷 미착용이라면 헬맷 미착용 상태에서 도로에 주행 또는 신호등에의한 정차 등인 상태의 이륜자동차를 단속하기 위하여 객체 추적부(150)를 통해 객체를 추적하고, 객체 ID 부여부(160)를 통해 객체 ID를 부여하며, 번호판 판단부(170)를 통해 번호판을 판단하고, 차량번호 추출부(180)를 통해 차량번호판을 추출하여 저장부(190)에 저장됨과 동시에 통신망(300)과 통신부(110)를 통해 교통위반 단속서버(200)로 교통위반 단속정보(이륜자동차 영상, 차량번호, 헬맷 미착용 단속장치(101, 102, 103)의 설치위치(단속위치) 정보 등)이 전송된다(S170). 이때, 이륜자동차가 근접해 있는 경우에 대한 헬맷 미착용 이륜자동차의 단속 오류 방지를 위하여 헬맷 미착용(No helmet) 인자를 가진 이륜자동차(object)에 대하여 그 중심점이 가장 가까운 번호판을 판단하고, 차량 번호판을 추출한다.
이상에서 설명된 본 발명의 일 실시 예는 예시적인 것에 불과하며, 본 발명이 속한 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 잘 알 수 있을 것이다. 그러므로 본 발명은 상기의 상세한 설명에서 언급되는 형태로만 한정되는 것은 아님을 잘 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다. 또한, 본 발명은 첨부된 청구범위에 의해 정의되는 본 발명의 정신과 그 범위 내에 있는 모든 변형물과 균등물 및 대체물을 포함하는 것으로 이해되어야 한다.
101, 102, 103 : 제1 내지 제N 헬맷 미착용 단속장치
110 : 통신부 120 : 영상 수신부
130 : 이륜차 검출부 140 : 헬맷 검출부
150 : 객체 추적부 160 : 객체 ID 부여부
170 : 번호판 판단부 180 : 차량번호 추출부
190 : 메모리부 195 : 제어부
200 : 교통위반 단속서버 300 : 통신부
110 : 통신부 120 : 영상 수신부
130 : 이륜차 검출부 140 : 헬맷 검출부
150 : 객체 추적부 160 : 객체 ID 부여부
170 : 번호판 판단부 180 : 차량번호 추출부
190 : 메모리부 195 : 제어부
200 : 교통위반 단속서버 300 : 통신부
Claims (3)
- 각각 이륜자동차의 후면을 촬영하도록 설치된 카메라를 통해 촬영된 영상신호에서 이륜자동차를 검출하고, 검출된 이륜자동차의 운전자와 동승자에 대한 헬맷 착용여부를 검출한 후 헬맷 미착용의 경우 차량번호판에서 차량번호를 추출하고 이를 단속관련 기관의 서버인 교통위반 단속서버(200)로 전송하는 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103); 및
복수의 제1 내지 제N 운행위반 단속장치(101, 102, 103)로부터 전송된 운행위반 단속차량에 대한 헬맷 미착용 단속정보를 통지하는 교통위반 단속서버(200);를 포함하여 구성되되,
복수의 상기 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103) 각각은,
통신망(300)을 통해 상기 교통위반 단속서버(200)와 통신하는 통신부(110)와, 카메라(CCTV)를 통해 촬영되는 도로나 인도의 영상을 수신받되, 상기 카메라는 전방은 물론 이륜자동차 번호판 확인을 위하여 도로 진행방향의 후방에서 촬영하는 것이 이용되며, 인도주행을 검출하기 위하여 인도에 설치된 카메라 영상데이터는 인도만의 영역을 표기하기 위한 ROI(Region of Interest) 설정을 진행하여 ROI 영역에 이륜자동차가 검출될 경우, 헬맷 착용 여부와 관계없이 번호판을 검출, 인식하는 동작이 수행되는 영상수신부(120)와, 상기 영상수신부(120)를 통해 수신된 영상에서 이륜자동차만을 검출하는 이륜차 검출부(130)와, 상기 이륜차 검출부(130)에서 이륜자동차가 검출되면 운전자와 동승자에 대한 헬맷 착용 여부를 검출하는 헬맷 검출부(140)와, 상기 헬맷 검출부(140)에서 헬맷 미착용으로 검출된 이륜차동차 객체에 대한 추적을 수행하는 객체 추적부(150)와, 상기 객체 추적부(150)에서 추적하는 객체에 대한 식별자(ID)를 부여하는 객체 ID 부여부(160)와, 상기 객체 ID 부여부(160)에서 부여한 헬맷 미착용 이륜자동차의 번호판을 판단하는 번호판 판단부(170)와, 상기 번호판 판단부(170)에서 판단한 번호판에서 차량번호를 추출하는 차량번호 추출부(180)와, 상기 영상수신부(120)에서 수신되고, 상기 이륜차 검출부(130)에서 검출한 이륜자동차 중 상기 헬맷 검출부(140)에서 운전자나 동승자 중 한명이라도 헬맷 미착용한 경우에 대한 영상과, 상기 차량번호 추출부(180)에서 추출한 차량번호가 매칭되어 저장되는 메모리부(190) 및 상기 통신부(110), 영상수신부(120), 이륜차 검출부(130), 헬맷 검출부(140), 객체 추적부(150), 객체 ID 부여부(160), 번호판 판단부(170), 차량번호 추출부(180) 및 메모리부(190)를 제어하며, 메모리부(190)에 저장된 헬맷 미착용 이륜자동차의 차량번호를 상기 교통위반 단속서버(200)로 전송되도록 제어하고, 상기 영상수신부(120)에서 수신한 영상에 대하여 상기 이륜차 검출부(130)에서 이륜자동차를 검출하되 해당 영상수신부(120)가 차도가 아닌 인도만의 영역을 표기하기 위한 ROI(Region of Interest) 설정된 상기 영상수신부(120)로부터의 영상인 경우 헬맷 검출 여부와 관계없이 차량번호판을 검출, 인식하고 차량번호를 상기 교통위반 단속서버(200)로 전송되도록 제어하는 제어부(195)로 구성되고,
상기 차량번호 추출부(180)는 헬맷 미착용 이륜자동차 번호판에 대한 차량번호 추출 오류를 방지하기 위하여 상기 객체 ID 추적부(160)에서 부여한 복수의 객체 ID에서 운전자나 동승자가 헬맷 미착용인 것이 검출한 경우 Object는 그 중심점이 가장 가까운 번호판을 인지하도록 하여 도로상에서 이륜자동차가 근접해 있음에 따라 발생될 수 있는 차량번호 추출 오류를 방지하도록 구성되며,
상기 복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103) 각각은 도로 진행방향의 후방에서 이륜자동차의 객체가 감지되기 위해서 0도에서 60도 사이에서 촬영된 이륜자동차의 데이터를 확보하고, MS COCO 데이터 셋으로 학습된 딥러닝 네트워크에 탑뷰에서 촬영된 이륜자동차의 데이터를 추가하기 위한 전이학습이 진행됨을 특징으로 하는 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템.
- 삭제
- 일반 자동차, 이륜자동차 인식 신경망 학습 시 후방촬영 영상에 대하여 일반, 이륜자동차 인식, 바운더리 박스 생성, 번호판 영역 검출, 번호판 영역 판독 및 학습 데이터를 포함하는 인식 신경망 학습이 되고, 각각 통신망(300)을 통해 교통위반 단속서버(200)와 통신하는 통신부(110)와, 카메라(CCTV)를 통해 촬영되는 도로나 인도의 영상을 수신받되, 상기 카메라는 전방은 물론 이륜자동차 번호판 확인을 위하여 도로 진행방향의 후방에서 촬영하는 것이 이용되며, 인도주행을 검출하기 위하여 인도에 설치된 카메라 영상데이터는 인도만의 영역을 표기하기 위한 ROI(Region of Interest) 설정을 진행하여 ROI 영역에 이륜자동차가 검출될 경우, 헬맷 착용 여부와 관계없이 번호판을 검출, 인식하는 동작이 수행되는 영상수신부(120)와, 상기 영상수신부(120)를 통해 수신된 영상에서 이륜자동차만을 검출하는 이륜차 검출부(130)와, 상기 이륜차 검출부(130)에서 이륜자동차가 검출되면 운전자와 동승자에 대한 헬맷 착용 여부를 검출하는 헬맷 검출부(140)와, 상기 헬맷 검출부(140)에서 헬맷 미착용으로 검출된 이륜차동차 객체에 대한 추적을 수행하는 객체 추적부(150)와, 상기 객체 추적부(150)에서 추적하는 객체에 대한 식별자(ID)를 부여하는 객체 ID 부여부(160)와, 상기 객체 ID 부여부(160)에서 부여한 헬맷 미착용 이륜자동차의 번호판을 판단하는 번호판 판단부(170)와, 상기 번호판 판단부(170)에서 판단한 번호판에서 차량번호를 추출하되 헬맷 미착용 이륜자동차 번호판에 대한 차량번호 추출 오류를 방지하기 위하여 상기 객체 ID 추적부(160)에서 부여한 복수의 객체 ID에서 운전자나 동승자가 헬맷 미착용인 것이 검출한 경우 Object는 그 중심점이 가장 가까운 번호판을 인지하도록 하여 도로상에서 이륜자동차가 근접해 있음에 따라 발생될 수 있는 차량번호 추출 오류를 방지하도록된 차량번호 추출부(180)와, 상기 영상수신부(120)에서 수신되고, 상기 이륜차 검출부(130)에서 검출한 이륜자동차 중 상기 헬맷 검출부(140)에서 운전자나 동승자 중 한명이라도 헬맷 미착용한 경우에 대한 영상과, 상기 차량번호 추출부(180)에서 추출한 차량번호가 매칭되어 저장되는 메모리부(190) 및 상기 통신부(110), 영상수신부(120), 이륜차 검출부(130), 헬맷 검출부(140), 객체 추적부(150), 객체 ID 부여부(160), 번호판 판단부(170), 차량번호 추출부(180) 및 메모리부(190)를 제어하며, 메모리부(190)에 저장된 헬맷 미착용 이륜자동차의 차량번호를 상기 교통위반 단속서버(200)로 전송되도록 제어하고, 상기 영상수신부(120)에서 수신한 영상에 대하여 상기 이륜차 검출부(130)에서 이륜자동차를 검출하되 해당 영상수신부(120)가 차도가 아닌 인도만의 영역을 표기하기 위한 ROI(Region of Interest) 설정된 상기 영상수신부(120)로부터의 영상인 경우 헬맷 검출 여부와 관계없이 차량번호판을 검출, 인식하고 차량번호를 상기 교통위반 단속서버(200)로 전송되도록 제어하는 제어부(195)로 구성된 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)를 설치하는 단계(S100);
복수의 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)의 상기 영상수신부(120)로부터 영상이 수신되면(S110), 헬맷 미착용 단속장치(101, 102, 103)의 상기 이륜차 검출부(130)를 통해 영상에서 이륜자동차를 검출하는 단계(S120);
상기 제1 내지 제N 헬맷 미착용 단속장치(101, 102, 103)의 영상이 인도 영역을 표기하기 위한 ROI 설정이 되었다면(S130), 헬맷 착용과 관계없이 인도의 이륜자동차를 단속하기 위하여 상기 객체 추적부(150)를 통해 객체를 추적하고, 상기 객체 ID 부여부(160)를 통해 객체 ID를 부여하며, 상기 번호판 판단부(170)를 통해 번호판을 판단하고, 상기 차량번호 추출부(180)를 통해 차량번호판을 추출하여 상기 메모리부(190)에 저장됨과 동시에 상기 통신망(300)과 통신부(110)를 통해 상기 교통위반 단속서버(200)로 교통위반 단속정보인 이륜자동차 영상, 차량번호, 헬맷 미착용 단속장치(101, 102, 103)의 설치위치 정보가 전송되는 단계(S140);
인도에서의 영상이 아닌 차도에서의 영상이라면 상기 검출된 이륜자동차에 대하여 운전자 또는 동승자의 헬맷 미착용을 검출하는 단계(S150); 및
헬맷 미착용이라면 이륜자동차 객체를 추적하고, 객체 ID를 부여하며, 번호판에서 차량번호를 추출하여 통신망(300)을 통해 교통위반 단속서버(200)로 교통위반 단속정보를 전송(S170)하되, 번호판에서 차량번호를 추출 시 이륜자동차가 근접해 있는 경우에 대한 헬맷 미착용 이륜자동차의 단속 오류 방지를 위하여 헬맷 미착용(No helmet) 인자를 가진 이륜자동차(object)에 대하여 그 중심점이 가장 가까운 번호판을 판단하고, 차량 번호판을 추출하는 것을 특징으로 하는 인공지능기반 이륜자동차의 헬맷 미착용 단속 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230111056A KR102637924B1 (ko) | 2023-08-24 | 2023-08-24 | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230111056A KR102637924B1 (ko) | 2023-08-24 | 2023-08-24 | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102637924B1 true KR102637924B1 (ko) | 2024-02-20 |
Family
ID=90056580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230111056A KR102637924B1 (ko) | 2023-08-24 | 2023-08-24 | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102637924B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100464619B1 (ko) | 2002-07-15 | 2005-01-06 | 박제일 | 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신 장치 |
| KR102166784B1 (ko) | 2020-05-22 | 2020-10-16 | 주식회사 서경산업 | 자전거 전용차로 ｃｃｔｖ 단속관리 시스템 |
| KR102349113B1 (ko) | 2021-05-13 | 2022-01-11 | 유니셈 (주) | 헬멧 미착용 단속 시스템 및 방법 |
| KR102368127B1 (ko) | 2021-05-13 | 2022-03-02 | 유니셈 (주) | 이륜차 무인 단속 시스템 |
| KR102491091B1 (ko) * | 2022-08-09 | 2023-01-20 | 주식회사 아이티아이비전 | 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 |
| KR102533582B1 (ko) * | 2022-11-10 | 2023-05-17 | 주식회사 에이엔비 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
| KR102558936B1 (ko) * | 2022-12-27 | 2023-07-25 | 주식회사 아이에스앤로드테크 | 이륜차 단속 시스템 및 방법. |
-
2023
- 2023-08-24 KR KR1020230111056A patent/KR102637924B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100464619B1 (ko) | 2002-07-15 | 2005-01-06 | 박제일 | 이륜 자동차의 단속 및 관리를 위한 데이터 송, 수신 장치 |
| KR102166784B1 (ko) | 2020-05-22 | 2020-10-16 | 주식회사 서경산업 | 자전거 전용차로 ｃｃｔｖ 단속관리 시스템 |
| KR102349113B1 (ko) | 2021-05-13 | 2022-01-11 | 유니셈 (주) | 헬멧 미착용 단속 시스템 및 방법 |
| KR102368127B1 (ko) | 2021-05-13 | 2022-03-02 | 유니셈 (주) | 이륜차 무인 단속 시스템 |
| KR102491091B1 (ko) * | 2022-08-09 | 2023-01-20 | 주식회사 아이티아이비전 | 채증영상클립 생성 방법과, 이를 이용한 이륜차 및 사륜차 일체형 무인교통단속 시스템 |
| KR102533582B1 (ko) * | 2022-11-10 | 2023-05-17 | 주식회사 에이엔비 | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 |
| KR102558936B1 (ko) * | 2022-12-27 | 2023-07-25 | 주식회사 아이에스앤로드테크 | 이륜차 단속 시스템 및 방법. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11380105B2 (en) | Identification and classification of traffic conflicts | |
| US11836985B2 (en) | Identifying suspicious entities using autonomous vehicles | |
| KR101742490B1 (ko) | 끼어들기 위반차량 단속 시스템 및 그 방법 | |
| KR101354057B1 (ko) | 다중 카메라를 이용한 차선 위반 검출 장치 및 이를 이용한 차선 위반 검출 방법, 다중 카메라에 의한 차선 위반 검출 장치를 이용하는 차선 위반 차량 단속시스템 | |
| KR101859402B1 (ko) | 터널 내 카메라 간 물체 연계 추적 및 차선 변경 차량 탐지 방법 | |
| KR102001002B1 (ko) | 딥러닝 기반 번호 인식 시스템 | |
| KR102332517B1 (ko) | 영상감시 제어장치 | |
| CN105654734A (zh) | 车辆违章行为的数据处理方法及装置 | |
| CN110796862B (zh) | 一种基于人工智能的高速公路交通状况检测***及方法 | |
| KR101756848B1 (ko) | 불법 주정차 관리 시스템 | |
| CN114387785A (zh) | 一种基于智慧公路的安全管控方法、***及可存储介质 | |
| CN113111682A (zh) | 目标对象感知方法和装置、感知基站、感知*** | |
| CN114906136A (zh) | 一种基于v2x的车辆盲区行人感知及预警方法、*** | |
| KR102526194B1 (ko) | 이동차량 추적에 의한 불법 끼어들기 차량 감지시스템 | |
| KR102533582B1 (ko) | 인공지능기반 운행위반 이륜자동차 단속 시스템 및 방법 | |
| KR100785759B1 (ko) | 차량 탑재형 카메라를 이용한 자동 불법 주정차 단속시스템 및 방법 | |
| KR102637924B1 (ko) | 인공지능기반 이륜자동차의 헬맷 미착용 단속시스템 및 방법 | |
| KR102558936B1 (ko) | 이륜차 단속 시스템 및 방법. | |
| KR102316700B1 (ko) | 이륜차 전용 무인단속시스템 | |
| CN116564083A (zh) | 一种基于改进CrowdDet算法的高速公路交通拥堵检测的方法 | |
| KR102153609B1 (ko) | Cctv 카메라를 이용한 사고 안내 시스템 | |
| JP4128962B2 (ja) | 道路交通管制システム | |
| KR102662625B1 (ko) | 딥러닝을 이용한 차종별 및 시간대별 가변형 다기능 무인 단속 시스템 | |
| Wu et al. | Detection of moving violations | |
| KR101448696B1 (ko) | 프레임 변화량을 이용하여 연속 차량을 감지하는 방법 및 차량 인식 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |