KR102654570B1 - 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 - Google Patents
컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 Download PDFInfo
- Publication number
- KR102654570B1 KR102654570B1 KR1020210057712A KR20210057712A KR102654570B1 KR 102654570 B1 KR102654570 B1 KR 102654570B1 KR 1020210057712 A KR1020210057712 A KR 1020210057712A KR 20210057712 A KR20210057712 A KR 20210057712A KR 102654570 B1 KR102654570 B1 KR 102654570B1
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- entering
- image
- interest
- bottom image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title abstract description 7
- 238000001514 detection method Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 9
- 230000004075 alteration Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
- G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
- G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
- G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
- G06K7/10297—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves arrangements for handling protocols designed for non-contact record carriers such as RFIDs NFCs, e.g. ISO/IEC 14443 and 18092
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Toxicology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Hardware Design (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Security & Cryptography (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 개시는 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이다. 컴퓨터 비전 기반의 차종 인식을 위한 시스템은, 복수의 차량의 저면 영상을 저장하는 영상 데이터베이스부; 진입 차량의 저면을 촬영하는 하부 카메라; 및 통합 관리 서버를 포함할 수 있다. 통합 관리 서버는 하부 카메라로부터 촬영된 진입 차량의 저면 영상에 기초하여 진입 차량의 차종을 결정하는 차종 결정부를 포함할 수 있다. 차종 결정부는, 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하고, 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하고, 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다.
Description
본 개시는 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 관한 것이다. 보다 구체적으로는, 일반적으로 객체 탐지 기술 분야에서 성능을 평가하는 데 사용되는 IoU(Intersection over Union)를 차종 인식에 활용하여 차종을 결정하는 방법, 시스템 및 컴퓨터 판독가능 저장 매체가 설명된다.
여기에서 달리 언급하지 않으면 본 섹션에서 기술되는 내용은 본 출원에서의 청구범위의 선행 기술이 아니며, 본 섹션에 기재하였다는 이유로 선행 기술로 인정되어서는 안 된다.
도로 상에는 용도, 외형, 크기, 색상, 또는 제조사 등이 상이한 여러 종류의 자동차가 존재한다. 차종에 따라 자동차의 세금 혜택이나, 유료 도로 또는 유료 주차장에서 징수되는 요금, 진입 가능한 장소 등이 상이해질 수 있다. 또한, 각각의 차종은 서로 구별되는, 고유한 특징을 갖기 때문에 차량을 식별하는 데에도 사용될 수 있다. 일반적으로 차량을 식별하는 데에는 차량의 번호판을 인식하고 판독하는 LPR(license plate recognition) 기술이 주로 이용되지만, 위법이나 차량에 대한 요금 부과 회피를 목적으로 차량의 번호판을 위조 또는 변조하는 경우나, LPR 장치에서 차량 번호판이 오인식 또는 미인식되는 경우에 대비하여 차량 번호판 외의 수단으로 차량을 인식할 필요가 있다. 이에 따라, 차량 번호판을 대신하여 차종을 이용하여 차량을 식별하는 방법이 고려될 수 있다.
예컨대, 등록 특허공보 제10-1301868호에서는 영상을 선명하게 하여 차량의 종류에 따른 특징을 추출한 후, 데이터베이스에 미리 설정된 각종 차량 데이터와 비교함으로써, 촬영된 영상에서 차종이 추출되도록 하는 차종 분류 시스템 및 방법을 개시하고 있다. 여기에서, 차종 분류에 사용되는 차량 데이터는 백미러의 형태, 옆창의 외주면 형태, 지붕의 외주면 형태 등으로, 선행 특허는 차종을 추출하기 위해 가시적인 차량의 외관의 특징에 주목하고 있다.
그러나, 선행 특허에서 차량의 특징을 추출하는 데 이용되는 차량의 외관은 쉽게 개조가 가능한 문제점이 있으며, 촬영된 영상과 차량 데이터를 단순 비교하는 방식을 취해, 그 차종 분류 성능에 한계가 있다. 따라서, 차종 인식의 정확도를 높여서 신뢰 가능한 차종 인식 시스템을 구현할 필요가 있다.
본 개시는 위와 같은 문제점들을 해결하기 위한 것으로서, 차량의 외관보다 특징이 잘 구분되고 출고 이후 변형이 어려운 차량의 저면부를 사용하여 차종 인식의 효율을 높이고, 영상 분석 시에 IoU를 활용하여 차종 인식을 위한 딥러닝 모델의 성능을 향상시킬 수 있다.
일 실시예에서, 컴퓨터 비전 기반의 차종 인식을 위한 시스템이 설명된다. 시스템은 진입 차량의 저면을 촬영하는 하부 카메라; 및 통합 관리 서버를 포함할 수 있다. 통합 관리 서버는 하부 카메라로부터 촬영된 진입 차량의 저면 영상에 기초하여 진입 차량의 차종을 결정하는 차종 결정부 및 복수의 차량의 저면 영상을 저장하는 영상 데이터베이스부를 포함할 수 있다. 차종 결정부는 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션(segmentation)하고, 세그먼테이션으로 생성된 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스(predicted bounding box)와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스(reference bounding box)로부터 각각의 IoU(Intersection over Union)를 측정할 수 있다. 차종 결정부는, 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다.
일 예시에서, 차종 결정부는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 또한, 차종 결정부가 주목하는 관심 객체는 차량의 파이프일 수 있다.
일 예시에서, 차종 결정부는 관심 객체의 세그먼테이션 전에, 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출할 수 있다. 차종 결정부는 검출된 복수의 중점을 기준으로 촬영된 진입 차량의 저면 영상을 규격화함으로써, 진입 차량의 저면 영상과 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 간의 중점을 일치시켜 IoU 측정의 정확도를 향상시킬 수 있다.
일 예시에서, 시스템은 진입 차량의 외관을 촬영하는 상부 카메라를 더 포함할 수 있다. 여기에서, 차종 결정부는 상부 카메라로부터 촬영된 진입 차량의 외관 영상에 기초하여 제2 후보 차종을 결정할 수 있다. 차종 결정부는 제1 후보 차종과 제2 후보 차종이 일치하는지 확인함으로써, 차종 인식의 신뢰도를 향상시킬 수 있다.
일 예시에서, 시스템은 진입 차량의 번호판으로부터 차량 번호를 인식하는 LPR 장치를 더 포함할 수 있다. 통합 관리 서버는 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량 번호에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함할 수 있다. 여기에서, 위변조 탐지부는 제원 데이터베이스부로부터 진입 차량의 인식된 차량 번호에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버에 경고 알림을 전송하여, 예컨대, 위법이나 차량에 대한 요금 부과 회피를 목적으로 차량의 번호판을 위조 또는 변조한 차량을 단속할 수 있다.
다른 예시에서, 시스템은 진입 차량에 포함된 RFID 태그로부터 차량의 고유 ID를 인식하는 RFID 리더기를 더 포함할 수 있다. 통합 관리 서버는 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량의 고유 ID에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함할 수 있다. 여기에서, 위변조 탐지부는 제원 데이터베이스부로부터 진입 차량의 고유 ID에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버에 경고 알림을 전송하여, 예컨대, 불법 RFID 태그를 부착한 차량을 단속할 수 있다.
다른 실시예에서, 컴퓨터 비전 기반의 차종 인식을 위한 방법이 설명된다. 방법은 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 단계; 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 단계; 및 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 단계를 포함할 수 있다. 또한, 방법은 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 단계를 포함할 수 있다.
일 예시에서, 제1 후보 차종을 결정하는 단계는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정하는 단계를 포함할 수 있다. 또한, 관심 객체는 차량의 파이프일 수 있다.
일 예시에서, 방법은 관심 객체를 세그먼테이션하는 단계 이전에, 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하는 단계; 인식된 타이어의 각각의 중점을 검출하는 단계; 및 검출된 복수의 중점을 기준으로 촬영된 진입 차량의 저면 영상을 규격화하는 단계를 더 포함할 수 있다.
또 다른 실시예에서, 컴퓨터 비전 기반의 차종 인식을 위한 통합 관리 서버의 기록 매체에 저장되어 통합 관리 서버에 의해 실행되는 컴퓨터 프로그램이 설명된다. 통합 관리 서버의 기록 매체에 저장된 컴퓨터 프로그램은 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 것과 관련된 적어도 하나의 명령어; 및 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 것과 관련된 적어도 하나의 명령어를 포함할 수 있다.
이상의 간단한 요약 및 효과에 관한 설명은 단순히 예시적인 것으로서 본 개시에서 의도한 기술적 사항을 제한하기 위한 것이 아니다. 이하의 상세한 설명과 첨부된 도면을 참조함으로써, 전술한 예시적인 실시예들과 기술적 특징들에 더하여, 추가적인 실시예와 기술적 특징들이 이해될 수 있을 것이다.
앞서 설명한 본 개시의 특징들과 기타 추가적인 특징들에 대해서는 첨부된 도면을 참조하여 이하에서 자세하게 설명한다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시예만을 도시한 것이며, 본 개시의 기술적 사상의 범위를 제한하는 것으로 간주되어서는 안 된다. 본 개시의 기술적 사상은 첨부된 도면을 사용하여 더 구체적이고 상세하게 기술될 것이다.
도 1은 본 개시의 적어도 일부 실시예에 따라, 예시적인 차종 인식을 위한 시스템을 도시하는 개략도이다.
도 2는 본 개시의 적어도 일부 실시예에 따라, 차종 인식을 위한 예시적인 통합 관리 서버를 도시하는 블록도이다.
도 3은 본 개시의 적어도 일부 실시예에 따라, 예시적인 진입 차량의 저면 영상을 도시한다.
도 4는 본 개시의 적어도 일부 실시예에 따라, 통합 관리 서버가 IoU를 측정하는 것을 예시한다.
도 5는 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반의 차종 인식을 위하여 컴퓨팅 장치에서 수행되는 예시적인 프로세스를 도시하는 흐름도이다.
도 6은 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반으로 차종을 인식하는 데 이용될 수 있는 예시적인 컴퓨터 프로그램 제품을 도시한다.
도 1은 본 개시의 적어도 일부 실시예에 따라, 예시적인 차종 인식을 위한 시스템을 도시하는 개략도이다.
도 2는 본 개시의 적어도 일부 실시예에 따라, 차종 인식을 위한 예시적인 통합 관리 서버를 도시하는 블록도이다.
도 3은 본 개시의 적어도 일부 실시예에 따라, 예시적인 진입 차량의 저면 영상을 도시한다.
도 4는 본 개시의 적어도 일부 실시예에 따라, 통합 관리 서버가 IoU를 측정하는 것을 예시한다.
도 5는 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반의 차종 인식을 위하여 컴퓨팅 장치에서 수행되는 예시적인 프로세스를 도시하는 흐름도이다.
도 6은 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반으로 차종을 인식하는 데 이용될 수 있는 예시적인 컴퓨터 프로그램 제품을 도시한다.
이하, 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 구현예 및 실시예를 상세히 설명한다. 그러나, 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현예 및 실시예에 한정되지 않는다.
본 개시는 일반적으로 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체에 저장된 프로그램에 관한 것이다.
도 1은 본 개시의 적어도 일부 실시예에 따라, 예시적인 차종 인식을 위한 시스템(100)을 도시하는 개략도이다. 예시적인 시스템(100)은 통합 관리 서버(110), 차량(120), 저면 영상 인식 장비(130), LPR 장치(140), 차단 장치(145), RFID 리더기(150) 및 상부 카메라(160)를 포함할 수 있다.
통합 관리 서버(110)는 어플리케이션 서버, 독립형 서버, 웹 서버 및 기타 데이터 송수신 기능, 데이터 식별 기능 및 데이터 처리 기능을 갖춘 임의의 컴퓨팅 장치일 수 있다. 통합 관리 서버(110)는 예컨대, 딥러닝 모델을 포함하여, 컴퓨터 비전 기반의 차종 인식을 위한 프로세스를 처리할 수 있으며, 구체적인 구성에 대해서는 도 2에서 보다 상세하게 설명될 것이다.
차량(120)은 용도, 외형, 크기, 색상, 또는 제조사 등이 상이한 모든 종류의 자동차일 수 있다. 차량(120)은 예컨대, 보안이 요구되는 장소 또는 차량(120)에 부과된 요금 결제가 요구되는 장소와 같이, 차량 인식이 요구되는 임의의 장소에서 차량 인식을 위해 대기할 수 있다.
저면 영상 인식 장비(130)는 제1 제어부, 제1 차량 감지부 및 제1 통신부를 포함할 수 있다. 제1 제어부는, 저면 영상 인식 장비(130)의 제1 차량 감지부와 제1 통신부를 제어할 수 있고, 통합 관리 서버(110)와 연동될 수 있다. 제1 차량 감지부는, 저면 영상 인식 장비(130)에 차량(120)이 접근하는 경우, 예컨대, 레이저 또는 압력 감지와 같은 방식으로 차량(120)을 인식할 수 있다. 제1 차량 감지부는 하부 카메라를 포함할 수 있으며, 인식된 차량(120)의 저면 영상을 촬영할 수 있다. 하부 카메라는 컴퓨터 비전 카메라로서, 예컨대, 라인 스캔 카메라가 이용될 수 있다. 제1 통신부는 하부 카메라에 의해 촬영된 차량(120)의 저면 영상을 통합 관리 서버(110)에 전송할 수 있다.
LPR 장치(140)는 LPR 제어부, LPR 차량 감지부 및 LPR 통신부를 포함할 수 있다. LPR 제어부는, LPR 장치(140)의 LPR 차량 감지부와 LPR 통신부를 제어할 수 있고, 통합 관리 서버(110)와 연동될 수 있다. LPR 차량 감지부는, LPR 장치(140)에 차량(120)이 접근하는 경우, 그 차량(120)의 외관 영상을 촬영하여 분석함으로써 차량 번호를 인식할 수 있다. LPR 차량 감지부는 카메라를 포함할 수 있으며, 차량 영상 분석을 위해 예컨대, OCR 기술과 같은 적절한 영상 분석 및 인식 알고리즘을 이용할 수 있다. LPR 통신부는 LPR 차량 감지부에 의해 인식된 차량 번호를 통합 관리 서버(110)에 전송할 수 있다. 대안적으로, LPR 통신부는 LPR 차량 감지부에 의해 촬영된 외관 영상을 통합 관리 서버(110)에 전송하여, 통합 관리 서버(110)에서 차량 번호를 인식할 수도 있다.
차단 장치(145)는 예컨대, 보안 검색 또는 요금 결제 등을 위해 대기하는 차량(120)의 차종 인식 프로세스를 거쳐 진입 또는 진출이 허용될 때까지 차단하는 역할을 수행할 수 있다. 통합 관리 서버(110)에서 차량(120)의 진입 또는 진출을 허용하는 경우, 차단 장치(145)는 차단바를 개방하여 차량(120)이 통과할 수 있도록 허용한다.
RFID 리더기(150)는 차량(120)에 포함된 RFID 태그와 송수신할 수 있으며, RFID 태그에서 수집된 차량(120)의 고유 ID에 관한 정보를 통합 관리 서버(110)에 전송할 수 있다. 상부 카메라(160)는 차량(120)의 외관을 촬영할 수 있으며, 차량(120)의 외관 영상을 통합 관리 서버(110)에 전송할 수 있다.
저면 영상 인식 장비(130), LPR 장치(140), RFID 리더기(150) 및 상부 카메라(160)는 각각 별개의 기능을 수행하는 것으로 예시되었지만, 각 장치에서 동일한 기능을 수행하는 구성 요소는 통합적으로 사용될 수 있다. 예컨대, LPR 장치(140)의 카메라와 상부 카메라(160)는 별도로 구성되지 않고, 하나로 사용될 수 있다. 또한, 저면 영상 인식 장비(130)의 제1 차량 감지부와 LPR 장치(140)의 LPR 차량 감지부는 별도로 구성되지 않고, 하나로 사용되어 임의의 방식으로 진입하는 차량(120)을 감지할 수 있다.
도 1에서 시스템(100)은 단지 예시적인 것으로서, 당업자라면 응용에 적합하도록 도 1의 시스템(100)을 적절하게 수정하거나 변형하여 사용할 수 있을 것이다. 예컨대, 도 1에서 시스템(100)의 차단 장치(145)는 임의의 형태를 가질 수 있으며, 경우에 따라 차단 장치(145)는 시스템(100)에 포함되지 않을 수도 있다. 또한, LPR 장치(140), RFID 리더기(150) 및/또는 상부 카메라(160)는 시스템(100)에서 선택적으로 또는 조합하여 사용될 수 있다.
도 2는 본 개시의 적어도 일부 실시예에 따라, 차종 인식을 위한 예시적인 통합 관리 서버(110)를 도시하는 블록도이다. 도 2에서 도 1의 시스템(100)을 참조하여, 통합 관리 서버(110)의 구체적인 동작이 설명된다.
통합 관리 서버(110)는 차종 결정부(210), 위변조 탐지부(220), 통신부(230), 영상 데이터베이스부(240) 및 제원 데이터베이스부(250)를 포함할 수 있다. 차종 결정부(210)는 저면 영상 인식 장비(130)에 설치된 하부 카메라로부터 촬영된 진입 차량(120)의 저면 영상에 기초하여 진입 차량(120)의 차종을 결정할 수 있다. 차종 결정부(210)는 차종을 인식하기 위한 인공 지능 모델, 예컨대 딥러닝 모델을 포함할 수 있다. 위변조 탐지부(220)는 진입 차량(120)의 위변조 여부를 결정할 수 있다. 통신부(230)는 시스템(100)의 각 장치, 즉, 저면 영상 인식 장비(130), LPR 장치(140), 차단 장치(145), RFID 리더기(150) 및 상부 카메라(160)와 데이터를 송수신할 수 있다. 영상 데이터베이스부(240)에는 복수의 차량의 저면 영상이 각각 차종에 대응하여 저장될 수 있다. 제원 데이터베이스부(250)는 복수의 차량의 각각의 차량 번호 또는 차량의 고유 ID에 대응하는 등록 차종을 저장할 수 있다. 도 2에서는 하나의 통합 관리 서버에 차종 결정부(210), 위변조 탐지부(220), 통신부(230), 영상 데이터베이스부(240) 및 제원 데이터베이스부(250)가 포함되는 것으로 예시되지만, 각각의 구성은 독립적인 별도의 서버에서 구현될 수 있다.
구체적으로, 차종 결정부(210)는 저면 영상 인식 장비(130)로부터 통신부(230)를 거쳐 수신되는, 진입 차량(120)의 저면 영상으로부터 관심 객체를 세그먼테이션할 수 있다. 관심 객체는 차량의 파이프일 수 있다. 이와 관련하여, 도 3은 본 개시의 적어도 일부 실시예에 따라, 예시적인 진입 차량의 저면 영상을 도시한다. 도 3의 예시 (a)-(d)에서 확인할 수 있는 바와 같이, 차종에 따라 차량의 저면 영상, 특히, 차량의 파이프 부분은 서로 구별되는 특징을 가질 수 있다. 또한, 차량의 하부는 출고 이후에는 임의로 개조하는 것이 어려우므로, 차량의 저면 영상을 차량의 식별하는 데 이용하면 효과적일 수 있다.
차종 결정부(210)는 세그먼테이션으로 생성된 진입 차량(120)의 저면 영상 내의 관심 객체, 예컨대, 차량의 파이프의 예측 바운딩 박스와 대응하는 영상 데이터베이스부(240)에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU(Intersection over Union)를 측정할 수 있다. IoU는 전형적으로 딥러닝 모델을 이용한 객체 탐지 기술 분야에서 모델의 성능을 평가하는 지표로서, 모델이 예측한 객체의 위치를 나타내는 바운딩 박스의 영역과 실제 객체가 존재하는 위치를 나타내는 그라운드 트루스(ground truth)의 영역을 비교하여, 두 영역이 겹치는 넓이를 두 영역을 합친 넓이로 나눈 값으로 측정될 수 있다. 이를 식으로 나타내면 다음과 같다:
본 개시에서는 IoU를 딥러닝 모델의 객체 탐지 성능을 평가하는 데 사용하지 않고, 영상 데이터베이스부(240)에 저장된 복수의 차량의 저면 영상 내애 관심 객체의 레퍼런스 바운딩 박스를 미리 설정해 두고, 진입 차량(120)의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 비교함으로써, 차종을 인식하는 데 활용했다는 점에서 특징을 갖는다. 이와 같은 딥러닝 모델을 구현했을 때, 단순히 두 영상을 비교하였을 때보다 차종 인식 성능이 보다 개선될 수 있다.
차종 결정부(210)는, 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다. 일 예시에서, 차종 결정부(210)는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 다른 예시에서, 차종 결정부(210)는 측정된 IoU 중에서 미리 정해진 임계 값 이상인 것을 제1 후보 차종으로 결정할 수 있다.
차종 결정부(210)는 관심 객체의 세그먼테이션 전에, 진입 차량(120)의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출할 수 있다. 이후, 차종 결정부(210)는 검출된 복수의 중점을 기준으로 촬영된 진입 차량(120)의 저면 영상을 규격화할 수 있다. 저면 영상을 규격화하면, 진입 차량(120)의 저면 영상과 영상 데이터베이스부(240)에 저장된 복수의 차량의 저면 영상 간의 중점을 일치시킬 수 있는데, 이에 의해 IoU 측정의 정확도를 향상시킬 수 있다.
차종 결정부(210)는 통신부(230)를 통해 수신되는, 상부 카메라(160)로부터 촬영된 진입 차량(120)의 외관 영상에 기초하여, 제2 후보 차종을 결정할 수 있다. 차종 결정부는 차량(120)의 가시적인 부분, 예컨대, 색상, 치수, 각 구성 요소의 형태, 엠블럼 등에 주목하여 영상 분석을 통해 제2 후보 차종을 결정할 수 있다. 차종 결정부(210)는 제1 후보 차종과 제2 후보 차종이 일치하는지 확인함으로써, 차종 인식의 신뢰도를 향상시킬 수 있다.
일 실시예에서, 위변조 탐지부(220)는 통신부(230)를 통해 LPR 장치(140)로부터 진입 차량(120)의 차량 번호를 수신할 수 있다. 위변조 탐지부(220)는 제원 데이터베이스부(250)에서 진입 차량(120)의 인식된 차량 번호에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부(220)는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버 또는 단속 장치에 경고 알림을 전송하여, 예컨대, 위법이나 차량에 대한 요금 부과 회피를 목적으로 차량의 번호판을 위조 또는 변조한 차량을 단속할 수 있다.
다른 실시예에서, 위변조 탐지부(220)는 통신부(230)를 통해 RFID 리더기(150)로부터 진입 차량(120)의 고유 ID를 수신할 수 있다. 위변조 탐지부(220)는 제원 데이터베이스부(250)에서 진입 차량(120)의 고유 ID에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 위변조 탐지부(220)는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버 또는 단속 장치에 경고 알림을 전송하여, 예컨대, 불법 RFID 태그를 부착한 차량을 단속할 수 있다.
도 2에서 통합 관리 서버(110)의 구성 요소 및 각 구성 요소의 동작(예컨대, 차종 결정부(210) 또는 위변조 탐지부(220)의 동작)은 단지 예시적인 것으로서, 당업자라면 본 개시에 기초하여 적절하게 수정하거나 변형하여 사용할 수 있을 것이다.
도 4는 본 개시의 적어도 일부 실시예에 따라, 통합 관리 서버가 IoU를 측정하는 것을 예시한다.
도 4(a)는 통합 관리 서버(110)가 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출하는 것을 예시한다. 예컨대, 도 4(a)에 예시한 4륜차의 경우 네 개의 타이어의 중점이 검출될 수 있다. 통합 관리 서버(110)는 검출된 복수의 중점, 예컨대 네 개의 중점을 기준으로 하여, 촬영된 진입 차량의 저면 영상을 리사이징하고 회전하여, 저면 영상이 미리 정해진 규격에 맞도록 조정할 수 있다. 통합 관리 서버(110)는 규격화된 저면 영상을 세그먼테이션하여 관심 객체(예컨대, 차량의 파이프)의 예측 바운딩 박스를 생성할 수 있다.
도 4(b)는 통합 관리 서버(110)의 영상 데이터베이스부에 저장된 복수의 차량 중 하나의 저면 영상을 예시한 것이다. 도 4(b)에 예시된 바와 같이, 영상 데이터베이스부에 저장된 모든 차량의 저면 영상은 타이어를 기준으로 이미 규격화되어 있다. 예컨대, 도 4(b)에 도시한 4륜차의 경우 네 개의 타이어의 중점이 표시될 수 있다. 또한, 영상 데이터베이스부에 저장된 모든 차량에 대해, 관심 객체(예컨대, 차량의 파이프)의 레퍼런스 바운딩 박스가 이미 지정되어 있다.
도 4(c)는 통합 관리 서버(110)가 IoU를 측정하기 위해 도 4(a)의 진입 차량의 저면 영상과 도 4(b)의 영상 데이터베이스부에 저장된 복수의 차량 중 하나의 저면 영상을 오버래핑(overlapping)하는 것을 예시한다. 도 4(a)의 진입 차량의 저면 영상과 도 4(b)의 영상 데이터베이스부에 저장된 차량의 저면 영상은 둘 다 규격화된 형태로서, 오버래핑 시 저면 영상 간의 중점이 일치될 수 있다. 통합 관리 서버(110)는 진입 차량의 저면 영상과 영상 데이터베이스부의 저면 영상이 일치된 영역을 진입 차량의 저면 영상과 영상 데이터베이스부의 저면 영상을 합친 영역으로 나누어 IoU를 측정할 수 있다. 통합 관리 서버(110)는 영상 데이터베이스부에 저장된 모든 저면 영상에 대해 동일한 프로세스를 반복하여 각각의 IoU를 측정할 수 있다.
통합 관리 서버(110)는 측정된 복수의 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다. 일 예시에서, 통합 관리 서버(110)는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 다른 예시에서, 통합 관리 서버(110)는 측정된 IoU 중에서 미리 정해진 임계 값 이상인 것을 제1 후보 차종으로 결정할 수 있다. 도 4의 예시에서 도 4(a)의 진입 차량의 저면 영상과 도 4(b)의 영상 데이터베이스부에 저장된 차량의 저면 영상은 상이하므로, 통합 관리 서버(110)가 측정한 두 영상 간의 IoU는 낮으며, 이에 따라 도 4(b)의 차량의 차종은 도 4(a)의 진입 차량의 제1 후보 차종으로 선택되지 않을 수 있다.
도 4(a)와 도 4(b)에서는 4륜차의 저면 영상이 예시되었지만, 진입 차량과 영상 데이터베이스부에 저장된 차량은 예컨대, 2륜차, 3륜차, 5륜차, 6륜차 등 임의의 형태를 가질 수 있음에 유의한다. 일 예시로서, 통합 관리 서버(110)는 진입 차량과 영상 데이터베이스부에 저장된 차량의 타이어 개수가 일치하는 경우에만 IoU를 측정하여, 즉, 양 저면 영상의 타이어 개수가 일치하지 않는 경우에는 추가 영상 분석을 제외함으로써, 차종 인식의 효율을 높일 수 있다.
도 5는 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반의 차종 인식을 위하여 컴퓨팅 장치에서 수행되는 예시적인 프로세스(500)를 도시하는 흐름도이다. 예컨대, 프로세스(500)는 도 1 및 도 2의 통합 관리 서버(110)와 같은 컴퓨팅 장치의 제어 하에서 수행될 수 있다. 프로세스(500)는 예컨대, 보안 검색 또는 요금 결제 등을 위해 차량 인식이 요구되는 임의의 장소에서 진입 차량의 차종 인식을 하도록 수행될 수 있다.
도 5에 도시된 프로세스(500)는 블록(501, 502, 503 및/또는 504)에 의하여 예시된 바와 같은 하나 이상의 동작, 기능 또는 작용을 포함할 수 있다. 한편, 도 5에 예시된 개략적인 동작들은 예시로서만 제공되고, 개시된 실시예의 본질에서 벗어나지 않으면서, 동작들 중 일부가 선택적일 수 있거나, 더 적은 동작으로 조합될 수 있거나, 추가적인 동작으로 확장될 수 있다.
프로세스(500)는 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 블록(501)에서 시작할 수 있다. 블록(501)에서, 컴퓨팅 장치는 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신할 수 있다. 여기에서, 하부 카메라는 컴퓨터 비전 카메라, 예컨대 라인 스캔 카메라를 포함할 수 있다.
프로세스(500)는 블록(501)에서, 저면 영상으로부터 관심 객체를 세그먼테이션하는 블록(502)으로 이어질 수 있다. 블록(502)에서, 컴퓨팅 장치는 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션할 수 있다. 관심 객체는 차량의 파이프일 수 있다. 컴퓨팅 장치는 세그먼테이션 전에, 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고, 인식된 타이어의 각각의 중점을 검출하고, 그리고 검출된 복수의 중점을 기준으로 촬영된 진입 차량의 저면 영상을 규격화할 수 있다.
프로세스(500)는 블록(502)에서, 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 블록(503)으로 이어질 수 있다. 블록(503)에서, 컴퓨팅 장치는 규격화를 통해 서로 중점이 일치하는, 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정할 수 있다.
프로세스(500)는 블록(503)에서, 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 블록(504)으로 이어질 수 있다. 블록(504)에서, 컴퓨팅 장치는 측정된 IoU에 기초하여, 제1 후보 차종을 결정할 수 있다. 컴퓨팅 장치는 측정된 IoU 중 가장 큰 것을 제1 후보 차종으로 결정할 수 있다. 대안적으로, 컴퓨팅 장치는 측정된 IoU 중 미리 정해진 임계 값 이상인 것을 제1 후보 차종으로 결정할 수 있다.
선택적으로, 제1 후보 차종이 결정된 이후, 컴퓨팅 장치는 상이한 방식으로 차량을 인식하여 제1 후보 차종이 잘 인식되었는지, 또는 차량에 올바르지 않은 식별 수단은 포함되지 않았는지(예컨대, 위변조 차량 번호판이나 불법 RFID 부착 여부) 확인할 수 있다. 제1 실시예에서, 컴퓨팅 장치는 진입 차량의 외관을 촬영하는 상부 카메라로부터 촬영된 진입 차량의 외관 영상에 기초하여 제2 후보 차종을 결정하고, 제1 후보 차종과 제2 후보 차종이 일치하는지 확인할 수 있다. 제2 실시예에서, 컴퓨팅 장치는 제원 데이터베이스부에서 LPR 장치에 의해 인식된 진입 차량의 차량 번호에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 제3 실시예에서, 컴퓨팅 장치는 제원 데이터베이에서 RFID 리더기에 의해 인식된 진입 차량의 고유 ID에 대응하는 등록 차종을 조회하고, 등록 차종과 제1 후보 차종이 일치하는지 확인할 수 있다. 또한, 컴퓨팅 장치는 제1 후보 차종과 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버 또는 단속 장치에 경고 알림을 전송할 수 있다.
다른 가능한 이점 중에서, 본 개시에 따르면, 차량의 외관보다 특징이 잘 구분되고 출고 이후 변형이 어려운 차량의 저면부를 사용하고, 저면 영상을 규격화시킴으로써, 차종 인식의 효율을 높일 수 있다. 또한, 영상 분석 시에 IoU를 활용하여 차종 인식을 위한 딥러닝 모델의 성능을 향상시킬 수 있다.
도 6은 본 개시의 적어도 일부 실시예에 따라, 컴퓨터 비전 기반으로 차종을 인식하는 데 이용될 수 있는 예시적인 컴퓨터 프로그램 제품(600)을 도시한다. 예시적인 컴퓨터 프로그램 제품의 실시예는 신호 포함 매체(602)를 이용하여 제공된다. 일부 실시예에서, 하나 이상의 컴퓨터 프로그램 제품(600)의 신호 포함 매체(602)는 명령어(604), 컴퓨터 판독가능 매체(606), 기록 가능 매체(608) 및/또는 통신 매체(610)를 포함할 수 있다.
신호 포함 매체(602)에 포함된 명령어(604)는 도 1 및 도 2의 통합 관리 서버(110)와 같은 컴퓨팅 장치에 의해 실행될 수 있다. 명령어(604)는 실행되면, 컴퓨팅 장치로 하여금 하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 것과 관련된 적어도 하나의 명령어; 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 것과 관련된 적어도 하나의 명령어; 및 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 것과 관련된 적어도 하나의 명령어를 포함할 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수도 있다.
이상, 본 개시에서 청구하고자 하는 대상에 대해 구체적으로 살펴보았다. 본 개시에서 청구된 대상은 앞서 기술한 특정 구현예로 그 범위가 제한되지 않는다. 예컨대, 어떤 구현예에서는 장치 또는 장치의 조합 상에서 동작 가능하게 사용되는 하드웨어의 형태일 수 있으며, 다른 구현예에서는 소프트웨어 및/또는 펌웨어의 형태로 구현될 수 있고, 또 다른 구현예에서는 신호 베어링 매체, 저장 매체와 같은 하나 이상의 물품을 포함할 수 있다. 여기서, CD-ROM, 컴퓨터 디스크, 플래시 메모리 등과 같은 저장 매체는, 예컨대 컴퓨팅 시스템, 컴퓨팅 플랫폼 또는 기타 시스템과 같은 컴퓨팅 장치에 의하여 실행될 때 앞서 설명한 구현예에 따라 해당 프로세서의 실행을 야기시킬 수 있는 명령을 저장할 수 있다. 이러한 컴퓨팅 장치는 하나 이상의 처리 유닛 또는 프로세서, 디스플레이, 키보드 및/또는 마우스와 같은 하나 이상의 입/출력 장치, 및 정적 랜덤 액세스 메모리, 동적 랜덤 액세스 메모리, 플래시 메모리 및/또는 하드 드라이브와 같은 하나 이상의 메모리를 포함할 수 있다.
한편, 시스템을 하드웨어로 구현할 것인지 아니면 소프트웨어로 구현할 것인지는, 일반적으로 비용 대비 효율의 트레이드오프를 나타내는 설계상 선택 문제이다. 본 개시에서는 프로세스, 시스템, 기타 다른 기술들의 영향을 받을 수 있는 다양한 수단(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 맥락(context)에 따라 변경될 것이다. 예를 들어, 구현자가 속도 및 정확성이 가장 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수 있으며, 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있으며; 또는, 다른 대안으로서, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떤 결합을 선택할 수 있다.
전술한 상세한 설명에서는 블록도, 흐름도 및/또는 기타 예시를 통해 장치 및/또는 프로세스의 다양한 실시예를 설명하였다. 그러한 블록도, 흐름도, 및/또는 기타 예시는 하나 이상의 기능 및/또는 동작을 포함하게 되며, 당업자라면 블록도, 흐름도 및/또는 기타 예시 내의 각각의 기능 및/또는 동작이 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에 의해 개별적으로 혹은 집합적으로 구현될 수 있다는 점을 이해할 수 있을 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 이와 달리, 본 개시의 실시예의 일부 양상은 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 이들의 실질적으로 임의의 조합으로써 전체적으로 또는 부분적으로 균등하게 집적 회로에서 구현될 수도 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자의 기술 범위 내에 속하는 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘들이 다양한 형태의 프로그램 제품으로 분배될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는 분배를 실제로 수행하는데 사용되는 신호 베어링 매체의 특정 유형과 무관하게 적용됨을 이해할 것이다.
특정 예시적 기법이 다양한 방법 및 시스템을 이용하여 여기에서 기술되고 도시되었으나, 당업자라면, 청구된 대상에서 벗어남이 없이, 다양한 기타의 수정 또는 등가물로의 치환 가능성을 이해할 수 있다. 추가적으로, 여기에 기술된 중심 개념으로부터 벗어남이 없이 특정 상황을 청구된 대상의 교시로 적응시키도록 많은 수정이 이루어질 수 있다. 따라서, 청구된 대상이 개시된 특정 예시로 제한되지 않으나, 그러한 청구된 대상은 또한 첨부된 청구범위 및 그 균등의 범위 내에 들어가는 모든 구현예를 포함할 수 있음이 의도된다.
본 개시 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 본 개시 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다. 나아가, 본 개시 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본 개시에서 사용되는 정도의 용어 "약," "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위, 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
Claims (12)
- 컴퓨터 비전 기반의 차종 인식을 위한 시스템으로서,
진입 차량의 저면을 촬영하는 하부 카메라; 및
상기 하부 카메라로부터 촬영된 상기 진입 차량의 저면 영상에 기초하여 상기 진입 차량의 차종을 결정하는 차종 결정부와 복수의 차량의 저면 영상을 저장하는 영상 데이터베이스부를 포함하는 통합 관리 서버;
를 포함하고,
상기 차종 결정부는,
상기 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고,
상기 인식된 타이어의 각각의 중점을 검출하고;
상기 검출된 복수의 중점을 기준으로 상기 촬영된 진입 차량의 저면 영상을 규격화하고,
상기 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션(segmentation)하고,
상기 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스(predicted bounding box)와 대응하는 상기 영상 데이터베이스부에 저장된 상기 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스(reference bounding box)로부터 각각의 IoU(Intersection over Union)를 측정하고,
상기 측정된 IoU에 기초하여, 제1 후보 차종을 결정하며,
상기 제1 후보 차종을 결정하는 것은 상기 측정된 IoU 중 값이 가장 큰 것을 상기 제1 후보 차종으로 결정하는 것을 포함하고,
상기 관심 객체는 차량의 파이프인 것인, 시스템. - 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 시스템은 상기 진입 차량의 외관을 촬영하는 상부 카메라를 더 포함하고,
상기 차종 결정부는 상기 상부 카메라로부터 촬영된 상기 진입 차량의 외관 영상에 기초하여 제2 후보 차종을 결정하고, 상기 제1 후보 차종과 상기 제2 후보 차종이 일치하는지 확인하는 것인, 시스템. - 제1항에 있어서,
상기 시스템은 상기 진입 차량의 번호판으로부터 차량 번호를 인식하는 LPR 장치를 더 포함하고,
상기 통합 관리 서버는 상기 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량 번호에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함하고,
상기 위변조 탐지부는 상기 제원 데이터베이스부로부터 상기 진입 차량의 인식된 차량 번호에 대응하는 등록 차종을 조회하고, 상기 등록 차종과 상기 제1 후보 차종이 일치하는지 확인하는 것인, 시스템. - 제1항에 있어서,
상기 시스템은 상기 진입 차량에 포함된 RFID 태그로부터 차량의 고유 ID를 인식하는 RFID 리더기를 더 포함하고,
상기 통합 관리 서버는 상기 진입 차량의 위변조 여부를 결정하는 위변조 탐지부 및 각각의 차량의 고유 ID에 대응하는 등록 차종을 저장하는 제원 데이터베이스부를 더 포함하고,
상기 위변조 탐지부는 상기 제원 데이터베이스부로부터 상기 진입 차량의 고유 ID에 대응하는 등록 차종을 조회하고, 상기 등록 차종과 상기 제1 후보 차종이 일치하는지 확인하는 것인, 시스템. - 제6항 또는 제7항에 있어서,
상기 위변조 탐지부는 상기 제1 후보 차종과 상기 등록 차종이 일치하지 않는 것으로 판단되는 경우, 차량의 위변조를 관리하는 관리 서버에 경고 알림을 전송하는 것인, 시스템. - 컴퓨터 비전 기반의 차종 인식을 위한 방법으로서,
하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 단계;
상기 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하는 단계;
상기 인식된 타이어의 각각의 중점을 검출하는 단계;
상기 검출된 복수의 중점을 기준으로 상기 촬영된 진입 차량의 저면 영상을 규격화하는 단계;
상기 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 단계;
상기 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 단계; 및
상기 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 단계
를 포함하고,
상기 제1 후보 차종을 결정하는 단계는 상기 측정된 IoU 중 값이 가장 큰 것을 상기 제1 후보 차종으로 결정하는 단계를 포함하고,
상기 관심 객체는 차량의 파이프인 것인 방법. - 삭제
- 삭제
- 컴퓨터 비전 기반의 차종 인식을 위한 통합 관리 서버의 기록 매체에 저장되어 상기 통합 관리 서버에 의해 실행되는 컴퓨터 프로그램으로서,
하부 카메라로 촬영된 진입 차량의 저면 영상을 수신하는 것과 관련된 적어도 하나의 명령어;
상기 진입 차량의 저면 영상으로부터 복수의 타이어를 인식하고, 상기 인식된 타이어의 각각의 중점을 검출하고; 그리고 상기 검출된 복수의 중점을 기준으로 상기 촬영된 진입 차량의 저면 영상을 규격화하는 것과 관련된 적어도 하나의 명령어;
상기 진입 차량의 저면 영상으로부터 관심 객체를 세그먼테이션하는 것과 관련된 적어도 하나의 명령어;
상기 진입 차량의 저면 영상 내의 관심 객체의 예측 바운딩 박스와 대응하는 영상 데이터베이스부에 저장된 복수의 차량의 저면 영상 내의 관심 객체의 레퍼런스 바운딩 박스로부터 각각의 IoU를 측정하는 것과 관련된 적어도 하나의 명령어; 및
상기 측정된 IoU에 기초하여, 제1 후보 차종을 결정하는 것과 관련된 적어도 하나의 명령어
를 포함하고
상기 제1 후보 차종을 결정하는 것은 상기 측정된 IoU 중 값이 가장 큰 것을 상기 제1 후보 차종으로 결정하는 것을 포함하고
상기 관심 객체는 차량의 파이프인 것인, 통합 관리 서버의 기록 매체에 저장된 컴퓨터 프로그램.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210057712A KR102654570B1 (ko) | 2021-05-04 | 2021-05-04 | 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 |
| PCT/KR2021/007395 WO2022234885A1 (ko) | 2021-05-04 | 2021-06-14 | 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210057712A KR102654570B1 (ko) | 2021-05-04 | 2021-05-04 | 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220150568A KR20220150568A (ko) | 2022-11-11 |
| KR102654570B1 true KR102654570B1 (ko) | 2024-04-05 |
Family
ID=83932139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210057712A KR102654570B1 (ko) | 2021-05-04 | 2021-05-04 | 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102654570B1 (ko) |
| WO (1) | WO2022234885A1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101630154B1 (ko) * | 2015-12-31 | 2016-06-15 | 주식회사 디앤에스테크놀로지 | 차량 하부 영상 검색 시스템 및 방법 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2647738T3 (es) * | 2005-02-23 | 2017-12-26 | Gatekeeper, Inc. | Dispositivo, sistema y método para punto de control de entrada |
| KR101301868B1 (ko) | 2010-06-23 | 2013-09-02 | 대한민국 | 차종분석 시스템 및 그 방법 |
| KR101450733B1 (ko) * | 2013-12-19 | 2014-10-16 | 인천국제공항공사 | 차량 하부 검색 장치 및 방법 |
| KR101812953B1 (ko) * | 2017-06-23 | 2017-12-29 | 주식회사 디앤에스 테크놀로지 | 엠블럼 영상 식별에 의한 차종인식을 통한 차량 하부영상 검색 시스템 및 방법 |
| KR102167545B1 (ko) * | 2018-11-19 | 2020-10-20 | 한국전력공사 | 배전설비 검출장치 |
-
2021
- 2021-05-04 KR KR1020210057712A patent/KR102654570B1/ko active IP Right Grant
- 2021-06-14 WO PCT/KR2021/007395 patent/WO2022234885A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101630154B1 (ko) * | 2015-12-31 | 2016-06-15 | 주식회사 디앤에스테크놀로지 | 차량 하부 영상 검색 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220150568A (ko) | 2022-11-11 |
| WO2022234885A1 (ko) | 2022-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Won | Intelligent traffic monitoring systems for vehicle classification: A survey | |
| Panahi et al. | Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications | |
| JP6527678B2 (ja) | プライバシー保護のための延滞車両特定 | |
| US6442474B1 (en) | Vision-based method and apparatus for monitoring vehicular traffic events | |
| Wali et al. | An automatic traffic sign detection and recognition system based on colour segmentation, shape matching, and svm | |
| CN101859382B (zh) | 一种基于最大稳定极值区域的车牌检测与识别的方法 | |
| Xie et al. | A robust license plate detection and character recognition algorithm based on a combined feature extraction model and BPNN | |
| CN106652468A (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
| US20180107892A1 (en) | Dual embedded optical character recognition (ocr) engines | |
| Mammeri et al. | North-American speed limit sign detection and recognition for smart cars | |
| Al Nasim et al. | An automated approach for the recognition of bengali license plates | |
| He et al. | Truck and trailer classification with deep learning based geometric features | |
| Saha et al. | Developing a framework for vehicle detection, tracking and classification in traffic video surveillance | |
| Wong et al. | Vehicle classification using convolutional neural network for electronic toll collection | |
| US20230342937A1 (en) | Vehicle image analysis | |
| KR102654570B1 (ko) | 컴퓨터 비전 기반의 차종 인식을 위한 방법, 시스템 및 컴퓨터 판독가능 저장 매체 | |
| Tippannavar et al. | Real-time vehicle identi-fication for improving the traffic management system-a review | |
| Irhebhude et al. | View invariant vehicle type recognition and counting system using multiple features | |
| Khuc | Computer vision based structural identification framework for bridge health mornitoring | |
| Al Awaimri et al. | Vehicles Number Plate Recognition Systems A Systematic Review | |
| Pu et al. | A robust and real-time approach for license plate detection | |
| Kang et al. | Verification method to improve the efficiency of traffic survey | |
| Wei et al. | Adaptive video-based vehicle classification technique for monitoring traffic. | |
| Gopikrishnan et al. | Smart Parking System with Automated Vehicle Log Using Haar Cascade Classifier ANPR | |
| Peng et al. | A system for vehicle classification from range imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |