KR101753097B1 - 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법 - Google Patents

차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법 Download PDF

Info

Publication number
KR101753097B1
KR101753097B1 KR1020140193533A KR20140193533A KR101753097B1 KR 101753097 B1 KR101753097 B1 KR 101753097B1 KR 1020140193533 A KR1020140193533 A KR 1020140193533A KR 20140193533 A KR20140193533 A KR 20140193533A KR 101753097 B1 KR101753097 B1 KR 101753097B1
Authority
KR
South Korea
Prior art keywords
vehicle
semantic
moving object
semantic area
area model
Prior art date
Application number
KR1020140193533A
Other languages
English (en)
Other versions
KR20160080717A (ko
Inventor
노승종
전문구
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020140193533A priority Critical patent/KR101753097B1/ko
Priority to US14/890,900 priority patent/US20160343144A1/en
Priority to PCT/KR2015/000798 priority patent/WO2016108327A1/ko
Publication of KR20160080717A publication Critical patent/KR20160080717A/ko
Application granted granted Critical
Publication of KR101753097B1 publication Critical patent/KR101753097B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명에 따른 차량검출을 위한 데이터베이스의 구조에는, 이미지의 화소위치와 연결되고, 운동체가 위치하는 영역으로서 의미론 영역 모델이 저장되는 제 1 데이터베이스; 및 분류기와 비교하기 위한 상기 운동체의 서브이미지를 획득하기 위한 크기탬플릿이, 상기 의미론 영역 모델에 대응하여 저장되는 제 2 데이터베이스가 포함된다. 본 발명에 따르면, 저비용으로, 적은 연산량으로 신속하게, 자동화된 방법으로, 정확도가 높은 차량검출방법을 제공할 수 있다.

Description

차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법{Vehicle detection method, data base for the vehicle detection, providing method of data base for the vehicle detection}
본 발명은 차량검출방법에 관한 것이다. 더 상세하게는, 차량검출방법, 상기 차량검출방법의 수행에 요구되는 차량검출을 위한 데이터베이스의 구조, 및 상기 차량검출을 위한 데이터베이스의 구조를 제공하기 위한 차량검출을 위한 데이터베이스 구축방법에 관한 것이다.
도로를 통행하는 차량을 검출하는 것은, 차량확인과 교통량분석과 도난차량인식 등에 사용될 수 있다. 상기 차량검출은 도로에 설치되는 폐쇄회로TV를 이용하는 방식으로 수행되는 것이 일반적이다. 물론 다양한 다른 방식으로도 수행될 수 있을 것이고, 그러한 방식도 본 발명의 사상에 포함되는 것으로 이해하여야 한다. 상기 차량검출을 위하여 수행된 종래의 방법은, 상기 폐쇄회로TV를 통하여 획득된 입력영상을 사람이 육안으로 관찰하는 것에 의해서 수행되었는데, 그러한 방법은 인적능력에 의존하기 때문에 정확도를 담보하기 어렵고, 비용이 많이 드는 문제점이 있다.
이러한 배경하에서 폐쇄회로TV에서 촬영되는 입력영상에서 캡쳐되는 이미지를 분석하여 차량을 반 자동으로 검출하는 방법이 제안된 바가 있다.
그 일 방편으로서, 고전적 슬라이딩 윈도우 방법(classical sliding-window)이 알려져 있다. 예를 들어, [C. Papageorgiou and T. Poggio, "A trainable systme for object detection", in IJCV, Vol.38, pp.15-33, 2000.], 및 [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.]에는 그에 대한 상세한 과정이 소개되어 있다. 상기 고전적 슬라이딩 윈도우 방법은, 입력영상에서 특정 순간의 이미지를 얻고, 상기 이미지에서 차량이 있는 영역의 부분이미지가 획득된다. 그리고, 획득된 상기 부분이미지 상에 슬라이딩 윈도우를 위치시켜 슬라리딩 윈도우의 영역 내부의 서브이미지를 추출한다. 마지막으로 상기 서브이미지와 분류기(classifier)를 비교하여 각 서브이미지의 매칭스코어를 산출한다. 상기 분류기에는 각 차량의 정보가 특정포맷으로 저장되어 있다. 상기 매칭스코어를 바탕으로 차량인석결과를 판정한다.
상기 고전적 슬라이딩 윈도우 방법은, 상기 부분이미지의 종횡비(aspect ratio)가 다른 경우에는, 차량검출에 실패할 우려가 크다. 즉, 슬라이딩 윈도우의 종횡비와 분류기에 학습되는 이미지의 종횡비가 다른 경우에는 다른 차량의 검출에 실패하는 것이다. 또한, 상기 부분이미지의 전체에 대하여 슬라이딩 윈도우를 이동시키며 상기 서브이미지를 추출하고, 이러한 작업은 상기 부분이미지의 스케일을 변경하며 계속하여 수행하기 때문에, 연산량이 많은 문제점이 있고, 연산량이 많을수록 동작 속도가 늦어지는 문제점이 있다.
이러한 문제점을 개선하기 위하여 씬 특화 슬라이딩 윈도우 방법(scene-specific sliding)이 알려져 있다. 예를 들어, [R. Feris, B. Siddiquie, Y. Zhai, J. Petterson, L. Brown and S. Pankanti, "Attribute-based vehicle search in crowded surveillance videos", in Proc. ICMR, 2011.], 및 [R. Feris, B. Siddiquie, J. Petterson, Y. Zhai, A. Datta, L. Brown and S. Pankanti, "Large-scale vehicle detection, indexing, and search in urban surveillance videos", in Tran. Multimedia, Vol.14, pp.28-42, 2012.]에는, 그에 대한 상세한 방법이 기술되어 있다. 상기 씬 특화 슬라이딩 윈도우 방법은, 상기 슬라이딩 윈도우를 형상 및 크기 별로 다수개 제공하여 상기 고전적 슬라이딩 윈도우 방법을 수행하는 것이 특징적으로 다르다.
그러나, 상기 씬 특화 슬라이딩 윈도우 방법은, 상기 슬라이딩 윈도우의 수가 늘어나는 개수 만큼 연산량이 커지는 문제점이 있다. 예를 들어, 슬라이딩 윈도우가 세 개 제공되는 경우에는 하나의 슬라이딩 윈도우가 제공되는 고전적 슬라이딩 윈도우 방법에 비하여 세 배의 연산량이 요구되고 동작은 그만큰 더 느려진다. 또한, 상기 씬 특화 슬라이딩 윈도우 방법은 슬라이딩 윈도우를 사람이 직접 만들기 때문에, 차량검출의 정확도가 떨어지는 문제점이 있다. 이러한 문제는 차량의 종류가 많아서, 즉, 종횡비의 종류가 많은 경우에는 더 큰 문제로 대두된다.
1. C. Papageorgiou and T. Poggio, "A trainable systme for object detection", in IJCV, Vol.38, pp.15-33, 2000. 2. N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006. 3. R. Feris, B. Siddiquie, Y. Zhai, J. Petterson, L. Brown and S. Pankanti, "Attribute-based vehicle search in crowded surveillance videos", in Proc. ICMR, 2011. 4. R. Feris, B. Siddiquie, J. Petterson, Y. Zhai, A. Datta, L. Brown and S. Pankanti, "Large-scale vehicle detection, indexing, and search in urban surveillance videos", in Tran. Multimedia, Vol.14, pp.28-42, 2012.
본 발명의 발명자는 상기되는 종래기술에 대한 문제점을 해결하는 방안을 철저히 연구하였다. 이러한 연구활동의 결과, 상기 부분이미지로부터 얻어지는 정보는, 차량의 위치, 크기, 및 형태 등에 따라지기 때문에 종래기술의 주된 문제점이 생기는 것을 알 수 있었다. 더 상세하게는, 차량의 위치 및 크기에 따라서, 부분이미지에 적합한 슬라이딩 윈도우의 크기가 달라진다. 또한, 차량의 형태에 따라서, 부분이미지에 적합한 슬라이딩 윈도우의 종횡비(aspect ratio)가 달라지는 것을 알 수 있었다. 이와 같은 문제점을 종래의 문헌에서는 전혀 고려하고 있지 않은 것을 확인할 수 있었다.
상기되는 배경하에서 발명자는, 차량의 위치, 크기, 형태를 전체적으로 고려하여, 적은 연산량으로 동작하고, 자동화된 학습과정으로 데이터 베이스를 구축할 수 있고, 차량검출의 정확도가 높은 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법을 제안한다.
상기 문제를 해결하는 제 1 발명에 따른 차량검출방법에는, 적어도 운동체가 포함되는 이미지가 입력되는 것; 상기 운동체의 위치에 대응되는 정보로서 의미론 영역 모델을 결정하고, 상기 의미론 영역 모델에 사용되도록 결정되어 있는 크기 탬플릿으로 상기 운동체가 포함되는 서브이미지를 획득하는 것; 및 상기 서브이미지와 분류기의 정보를 메칭하여 차량을 검출하는 것이 포함된다.
상기 제 1 발명에서, 상기 의미론 영역 모델은 상기 운동체의 위치에 대하여 적어도 어느 하나가 포함될 수 있다. 상기 크기 탬플릿은 적어도 하나의 상기 의미론 영역 모델에 적어도 두개가 포함될 수 있다. 상기 서브이미지는 모든 상기 크기 탬플릿에 대하여 획득될 수 있다. 상기 차량을 판정하는 것은, 리니어 서포트 벡터 머신 기법으로 상기 서브이미지와 상기 분류기의 정보를 비교하고, 그 비교결과를 비 최대값 제거법으로 최적화하여 수행될 수 있다.
상기 제 1 발명에서, 상기 의미론 영역 모델은 상기 운동체의 피처(feature)를 클러스터링하여 얻어질 수 있다. 여기서, 상기 운동체의 피처를 획득하는 운동체는, 다른 운동체와 겹치지 않는 독립 운동체로 제공될 수 있다. 또한, 상기 운동체의 피처에는, 상기 운동체의 위치정보와 이동각도정보가 포함될 수 있다. 이 경우에 상기 의미론 영역 모델은, 상기 운동체의 위치정보와 이동각도정보가 클러스터링되는 추측 클러스터에서, 상기 이동각도정보가 제거된 2차원 클러스터 정보로 제공될 수 있다. 더욱이 더 정확한 차량검출결과를 얻을 수 있도록 하기 위하여, 상기 의미론 영역 모델은, 도로영역으로 추정된 화소와 관련이 있는, 상기 2차원 클러스터 정보로 제공될 수 있다. 또한, 상기 클러스터링은 핵심밀도추정(kernel density estimation)에 의해서 수행될 수 있다.
상기 제 1 발명에서, 상기 의미론 영역 모델의 크기는 조절이 가능하도록 할 수 있다.
상기 제 1 발명에서, 상기 크기 탬플릿은 상기 의미론 영역 모델을 통과하는 상기 운동체의 위치정보와 크기정보를 클러스터링하여 획득될 수 있다.
상기 제 1 발명에서, 상기 크기 탬플릿의 개수는 조절이 가능할 수 있다.
상기 문제를 해결하는 제 2 발명에 따른 차량검출을 위한 데이터베이스의 구조에는, 이미지의 화소위치와 연결되고, 운동체가 위치하는 영역으로서 의미론 영역 모델이 저장되는 제 1 데이터베이스; 및 분류기와 비교하기 위한 상기 운동체의 서브이미지를 획득하기 위한 크기탬플릿이, 상기 의미론 영역 모델에 대응하여 저장되는 제 2 데이터베이스가 포함된다. 여기서, 상기 크기탬플릿은 어느 하나의 상기 의미론 영역 모델이 적어도 두개가 포함될 수 있다.
상기 문제를 해결하는 제 3 발명에 따른 차량검출을 위한 데이터베이스 구축방법에는, 입력영상에서 이미지를 획득하고 백그라운드를 제거하는 것; 운동체를 해석하여 상기 운동체의 피처를 획득하고 클러스터링하는 것; 충분한 양의 상기 운동체의 피처가 획득될 때까지 클러스터링을 수행하여 의미론 영역 모델을 획득하는 것; 및 각 상기 의미론 영역 모델을 통과하는 적어도 상기 운동체의 크기정보를 클러스터링하여, 대응하는 각 상기 의미론 영역 모델에 사용되는 크기 탬플릿을 획득하는 것이 포함된다.
상기 제 3 발명에서, 상기 의미론 영역 모델의 크기 및 상기 크기 탬플릿의 개수는 조절이 가능할 수 있다.
상기 제 3 발명에서, 상기 운동체의 피처가 획득되는 운동체는 독립 운동체로 제한될 수 있다.
상기 제 3 발명에서, 상기 운동체의 피처에는 운동체의 위치정보 및 이동각도정보가 포함될 수 있다.
본 발명에 따르면, 저비용으로, 적은 연산량으로 신속하게, 자동화된 방법으로, 정확도가 높은 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법을 제공할 수 있다.
도 1은 실시예에 따른 차량검출을 위한 데이터베이스 구축방법을 설명하는 흐름도.
도 2는 임의의 이미지에서 운동체와 운동체의 궤적을 나타내는 도면.
도 3은 운동체 해석을 통하여 운동체의 피처를 획득하는 과정을 설명하는 도면.
도 4는 피처 클러스터링과정을 예시적으로 설명하는 알고리즘.
도 5는 도로영역의 추정확률을 음영으로 나타낸 도면.
도 6은 의미론 영역 모델을 표시하는 도면.
도 7은 의미론 영역 모델과 크기 템플릿을 함께 나타낸 도면.
도 8은 차량검출을 위한 데이터베이스의 구조도.
도 9는 실시예에 따른 차량검출방법을 설명하는 흐름도.
도 10은 실시예에 따른 차량검출방법을 그림을 이용하여 예시적으로 설명하는 도면.
도 11은 실시예에 따른 차량검출방법을 시뮬레이션으로 수행한 환경.
도 12는 시뮬레이션의 결과를 나타내는 표.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 그러나, 본 발명의 사상은 이하에 제공되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에 포함되는 다른 실시예를 구성요소의 부가, 변경, 삭제, 및 추가 등에 의해서 용이하게 제안할 수 있을 것이나, 이 또한 본 발명 사상의 범위 내에 포함된다고 할 것이다. 또한, 본 발명의 실시예를 설명하면서 제시되는 수학식이나 수치 등은 이해의 편의를 위하여 예시로 제공되는 것으로서, 특별한 언급이 없다고 하더라도 예시되는 수학식 및 수치로 본 발명의 사상이 제한되는 것은 아님을 명확히 한다. 또한, 본 발명의 실시예에를 설명하면서 소개되는 인용문헌은 별도의 언급이 없더라도 본 발명의 이해를 위하여 필요한 범위 내에서 본 발명의 내용으로 포함되는 것으로 한다.
도 1은 실시예에 따른 차량검출을 위한 데이터베이스 구축방법을 설명하는 흐름도이다.
도 1을 참조하면, 입력영상에서 특정 시각의 이미지가 입력되고(S1), 상기 이미지에서 백그라운드가 제거된다(S2). 이미지에서 백그라운드가 제거되면 운동체가 나타나게 되는데, 상기 운동체의 움직임과 위치를 해석하여 운동체의 피쳐(feature)를 얻는다(S3). 이후에는 상기 운동체의 피쳐를 클러스터링한다(S4). 클러스터링을 통하여 충분한 양의 정보가 얻어졌는지를 판단하여(S5), 충분한 양의 정보가 얻어지지 않은 경우에는 의미론 영역 모델(scemantic region model)을 학습한 다음에(S7), 입력영상의 새로운 이미지가 입력된다. 충분한 양의 정보가 획득된 다음에는 슬라이드 윈도우를 위한 크기 템플릿을 모델링한다(S6).
상기되는 데이터베이스 구축방법이 수행됨으로써, 의미론 영역 모델과 상기 의미론 영역 모델에 포함될 수 있는 슬라이드 윈도우의 크기 템플릿이 얻어질 수 있다.
상기 차량검출을 위한 데이터베이스 구축방법을 더 상세하게 설명한다. 상세한 설명에서는 예시적인 도면과, 예시적인 수학식과, 예시적인 수치를 제시함으로써 실시예의 구성이 더 상세하게 이해할 수 있다.
먼저, 입력영상에 포함되는 특정 시각의 이미지가 입력되면(S1), 해당 이미지에서 백그라운드를 제거한다(S2). 상기 백그라운드 제거과정에 의해서 배경에 제거되면, 이미지 내에서 운동체(1)가 검출될 수 있다. 상기 운동체(1)(moving object)는 관심영역(region of interest) 또는 블랍(blob)으로 명칭될 수 있으나, 이후에는 운동체로 기술한다. 상기 운동체는, 모폴로지(morphology)처리를 통하여 배경과의 경계선이 명확하게 드러나는 형태로 제공될 수 있다. 도 2에서 자동차를 둘러싸는 음영 부분은 배경제거에 의해서 운동체가 드러나는 것을 도시하고 있다. 예시적으로서, 상기 백그라운드 제거과정(S3)은, [S. Noh and M. Jeon, " A new framework for background subbtraction using multiple cues", in Proc. ACCV, 2012.]에서 제공되는 방법으로 수행될 수 있다.
상기 운동체가 식별된 다음에는 운동체의 움직임을 해석하여 운동체의 피쳐를 구한다(S3). 상기 운동체는 차량과 대응될 수 있음을 예상할 수 있다. 상기 운동체의 피처로는 운동체의 2차원 위치와, 운동체의 이동각도가 주어질 수 있다. 이하에서는 도면을 참조하여 상기 운동체의 피처를 더 상세하게 설명한다.
도 2는 임의의 이미지에서 운동체와 운동체의 궤적을 나타내는 도면이고, 도 3은 운동체 해석을 통하여 운동체의 피처를 획득하는 과정을 설명하는 도면이다.
도 2 및 도 3을 참조하면, 먼저 도 2에 제시되는 임의의 이미지는 소정의 시간 간격으로 계속해서 획득될 수 있고, 상기 임의의 이미지에 포함되는 어느 운동체를 예시할 때, 운동체의 궤적은 도 3의 좌측그림으로 나타낼 수 있다. 이를 운동체의 원궤적(original trajectory)(2)이라고 할 수 있다. 상기 운동체의 원궤적(2)은 백그라운드 제거과정에서 발생할 수 있는 에러를 줄이기 위하여 규칙화(regularization)을 거칠 수 있다. 예를 들어, 운동체의 궤적을 획득할 때 획득되는 이미지의 전체를 대상으로 하지 않고, 선별적으로 선택하는 것이다. 더 구체적인 예로서 하기 수학식 1로 주어지는 시간간격을 랜드마크(landmark)로 선정할 수 있다.
Figure 112014127886809-pat00001
여기서, ρ는 랜드마크의 픽셀간 간격이고, W, H는 각각 이미지의 폭과 높이이다. 따라서, 이미지의 폭과 높이 중에서 작은 값의 0.06배값에 해당하는 간격을, 규칙화된(regularized) 운동체의 간격, 즉, 운동체의 원궤적의 랜드마크로서 선별할 수 있다.
운동체의 규칙화 궤적은 도 3의 가운데 그림으로 제시되어 있다.
상기 운동체의 규칙화 궤적의 어느 하나의 이동상태를 추출하면, 운동체의 위치와 운동체의 이동각도를 얻을 수 있다. 도 3의 우측 그림을 참조하여 설명한다.
먼저, 상기 운동체의 위치는, (xl-1, yl-1)에서 (xl, yl)로 이동하고, 이동각도는 θl=arctan((yl-yl-1)/(xl-xl-1)로 주어질 수 있다. 상기되는 세 정보, 즉, (xl, yl, θl)는 운동체의 피처로서 이후에 피처 클러스터링에 사용될 수 있다.
한편, 상기 운동체의 피처를 추출하기 위하여 사용되는 운동체는, 다른 인접하는 다른 운동체와 간접하지 않는 독립되는 운동체만이 사용될 수 있다. 더 상세하게 설명하면, 서로 인접하는 차선을 주행하는 적어도 두 차량은, 임의의 이미지에서 볼 때에, 이전에는 겹치지 않았는데 현재 겹쳐서 서로 병합되거나(merged), 이전에는 겹쳤는데 현재는 서로 떨어져서 분리될 수도 있다(splitted). 이때 시간 진행에 따라서 서로 병합되는 궤적을 병합궤적(merged trajectory), 서로 분리되는 궤적을 분리궤적(splitted trajectory)라고 할 수 있다.
상기 병합궤적 및 상기 분리궤적은, 운동체가 병합되거나 분리되는 현상에 따라서, 운동체의 피처의 추출이 부정확할 우려가 높다. 따라서, 상기 병합궤적 또는 상기 분리궤적을 가지는 운동체의 궤적은 피처 추출에서 배제하는 것이 바람직하다. 결국, 독립 운동체의 궤적(isolated moving object trajectory)에서만 운동체의 피처를 추출하는 것이 바람직하다. 어느 하나의 독립 운동체의 궤적에서 추출되는 피처는 적어도 두 개 이상이 제공될 수 있다.
이후에는 상기 운동체의 피처에 대한 클러스터링이 수행된다(S4).
상기 운동체의 피처에 대한 클러스터링은, 핵심밀도추정기법(KDE: Kernel Density Estimation)이 적용될 수 있다. 간단하게 설명하면, 상기 운동체의 피처 vl=(xl, yl, θl)는 삼차원좌표계의 각 축의 벡터성분으로서 메핑될 수 있다. 다시 말하면, xyz좌표계의 각 축에 (x, y, θ)가 대응되어 있을 수 있다. 상기 삼차원좌표계에서 핵심밀도추정을 이용하여 각 운동체의 피처를 추측하여 클러스터링하는 과정이 수행될 수 있다.
더 상세하게 운동체의 피처에 대한 클러스터링을 설명한다. 그러나, 클러스터링은 제시되는 방법 외에 다른 방법이 사용되는 것을 배제하지 않지만, 연산량을 줄여 신속하게 학습이 수행되고, 많은 저장용량이 요구되지 않고, 정확한 클러스터링을 위하여 바람직하게 제안될 수 있다.
먼저, 운동체의 피처들이 클러스터링되도록 추측되는 추측 클러스터(estimation cluster)(ε)는 수학식 2와 같이 정의할 수 있다.
Figure 112014127886809-pat00002
여기서, Ck는 운동체의 피처가 클러스터링되는 k번째 클러스터를 나타내고, ε은 모든 클러스터의 집합을 나타낸다. 상기 Ck는 네 가지 요소에 의해서 가변될 수 있다. 상세하게 상기 네 가지 요소 각각에서, ωk는 스칼라값으로서 중요도를 나타내고, mk는 중심벡터를 나타내고, Σk는 공분산행렬을 나타내고, Dk는 샘플스토리지를 나타낸다.
도 4는 피처 클러스터링과정을 예시적으로 설명하는 알고리즘이다.
도 4를 참조하면, 먼저 피처 클러스터링(FC:Feature Clustering)을 위하여 데이터(D), 업데이트사이클(cu: update cycle), 및 허용공차(TFC:Tolerance for Feature Clustering)가 입력된다(line 1, 2). 여기서, 데이터는 운동체로부터 제공되는 각 피처(vl)이고, 상기 업데이트사이클은 타원형의 클러스터를 업데이트하는 주기이고, 상기 허용공차는 클러스터의 메칭을 제어하는 공차를 나타낸다. 여기서 운동체는 상기 독립 운동체의 궤적이 바람직한 것을 이미 설명한 바가 있다. 상기 업데이트사이클과 허용공차는 작업자에 의해서 선택될 수 있다.
데이터가 입력된 다음에는, 어느 데이터에 대하여 가장 바람직하게 메칭되는 클러스터를 파악하는데(line3,4), 상기 어느 데이터에 대하여 메칭되는 클러스터가 없는 경우에는 새로운 클러스터를 추가한 후 새로운 클러스터로 상기 데이터를 추가하고(line 6, 7), 메칭되는 클러스터가 있는 경우에는 기존의 ??러스터(Cm)에 포함되는 데이터(Dm)로서 현재의 데이터를 추가한다(line 8,9). 상기 새로운 클러스터의 크기와 형태, 및 상기 어느 데이터가 상기 기존의 클러스터(Cm)에 포함되는 지의 여부를 판단할 때에는, 상기 허용공차(TFC)로 주어지는 값을 참조할 수 있다.
상기 과정은 미리 정하여진 데이터의 수만큼 반복하여 수행될 수 있다. 다시 말하면, 상기 업데이트사이클(cu)에서 주어진 데이터의 개수만큼 반복하여 수행될 수 있다. 주어진 데이터의 개수가 클러스터에 추가되면, 타원형으로 바람직하게 예시되는 클러스터의 형태를 업데이트한다(line 11, 12, 13). 상기 클러스터의 형태의 업데이트는, 현재의 클러스터에 포함되는 데이터를 이용하는 것에 의해서 수행될 수 있고, 다양한 방식으로 수행될 수도 있지만, 예시적인 방법으로서 하기 수학식 3이 적용될 수 있다. 여기서 클러스터는 모두 추측 클러스터로서 학습되는 과정을 통하여 변형되어 나갈 수 있다.
Figure 112014127886809-pat00003
상기 수학식 3 및 수학식 2를 참조하면, 중요도(ωk)는 샘플스토리지(Dk)에 메칭된 데이터의 수가 5d로 증가할 수록, 0에서 1로 증가하고, 항상 정규화된다. 여기서 d는 공분산행렬(Σk)의 차원을 나타낸다. 또한, 상기 추측 클러스터에 대한 업데이트가 수행된 다음에는, 샘플스토리지(Dk)는 비워지고 새로운 데이터가 저장된다.
상기 과정은 모든 데이터에 대하여 수행된다(line 2, 14, 15, 16)
상기되는 과정을 통하여 운동체의 피처에 대한 클러스터링(S4)이 완료되면, 삼차원좌표계에 모든 피처가 클러스터링된 상태로 제공될 수 있다. 다시 말하면, 클러스터링된 운동체의 피처(vl)가 (x, y, θ)축의 삼차원좌표계에 표시되어, 상기 추측 클러스터(estimation cluster)가 완성될 수 있다.
이후에는 충분한 양의 데이터가 클러스터링되었는지를 판단한다(S5). 충분한 양의 데이터가 모였는지의 여부는, 상기 독립 운동체의 궤적(isolated moving object trajectory)의 개수로서 일응 판단할 수 있다. 실험한 결과에 따르면 82개의 상기 독립 운동체의 궤적으로는 올바른 판단이 수행될 수 없고, 120개의 독립 운동체의 궤적을 이용한 경우에는 차량검출이 제대로 된 것을 확인할 수 있었다. 따라서, 상기 독립 운동체의 궤적으로 100개 이상의 운동체의 피처정보가 포함되는 경우에 충분한 양의 정보가 포함된 것으로 볼 수 있다.
충분한 양의 데이터가 클러스터링 되지 않은 것으로 판단되는 경우에는, 상기 의미론 영역 모델(scemantic region model)(3)을 학습하고(S7), 충분한 양의 데이터가 클러스터링 된 것으로 확인되면, 윈도우의 크기 템플릿을 모델링한다(S8).
먼저, 상기 의미론 영역 모델을 학습하는 과정(S7)을 설명한다. 상기 의미론 영역 모델의 학습과정을 크게 나누면, 도로영역을 추측하는 과정과, 상기 도로영역으로 추측된 곳과 상기 추측 클러스터를 비교하여, 상기 도로영역과 겹치는 추측 클러스터를 의미론 영역 모델로 결정할 수 있다. 이를 물리적으로 설명하면, 폐쇄회로TV가 설치되는 환경은 바람이 외부환경으로서 바람이 심하게 불 수 있다. 따라서, 차량이 올바른 도로를 주행하더라도 카메라가 흔들려 상기 추측 클러스터가 잘못될 수 있다. 즉, 잘못된 추측 클러스터가 발생할 수 있는 것이다. 이러한 오류를 제거하기 위하여 확률을 이용하여 일정수준 이상으로 운동체 피처가 발생한 곳을 도로로 추측하고, 그곳을 벗어나는 추측 클러스터는 상기 의미론 영역 모델에서 배제시키는 것으로 이해할 수 있다. 따라서 만약, 바람이 불지 않거나 촬영에 오류가 발생할 가능성이 작은 위치에서는, 상기 도로영역을 추측하고 이를 상기 추측 클러스터와 겹치는 가를 판단하여 의미론 영역 모델을 학습하는 과정(S7)은 시행되지 않을 수도 있다. 이 때에는 추측 클러스터에서 각도정보를 제거하고 2차원정보로 가공한 정보를 의미론 영역 모델로 사용할 수도 있다.
상기 도로영역의 추측과정을 설명한다.
상기 (x, y, θ)축의 삼차원좌표계에서 완성된 추측 클러스터를 εv라고 하고, 여기서, θ성분을 제거하여 2차원으로 표시하는 추측 클러스터는
Figure 112014127886809-pat00004
라고 하고 이를 제공할 수 있다. 상기 추측 클러스터를 2차원 정보로 가공하는 것은, 상기 도로영역이 2차원으로 표시되기 때문이다. 마찬가지로, 중심벡터도
Figure 112014127886809-pat00005
로 표기하고, 공분산행렬도
Figure 112014127886809-pat00006
로 표기할 수 있다.
그러면,
Figure 112014127886809-pat00007
를
Figure 112014127886809-pat00008
로 나타낼 수 있고, 여기서,
Figure 112014127886809-pat00009
는 중심벡터(
Figure 112014127886809-pat00010
), 공분산행렬(
Figure 112014127886809-pat00011
), 및 중요도(ωk) 정보를 포함한다. 그러면, 차량이 2차원으로 표시되는 현재의 화소(r=(x,y))에 위치할 확률을 수학식 4로 나타낼 수 있다.
Figure 112014127886809-pat00012
도 5는 상기 수학식 4로 제시되는 도로영역의 확률을 음영으로 나타낸 도면이다. 도 5를 참조하면, 밝은 곳일 수록 도로영역일 확률이 높은 것으로 이해할 수 있다.
상기 확률분포에서 하기 수학식 5를 만족하는 화소를 도로영역으로 확정할 수 있다.
여기서,
Figure 112014127886809-pat00014
는 중심벡터(
Figure 112014127886809-pat00015
)와 공분산행렬(
Figure 112014127886809-pat00016
)을 가지는 정규분포에서 피크가능성(peak probality)을 나타낸다. 상기 수학식 5에 주어지는 일 판단기준을 이용하여 도로영역이 추정될 수 있다.
상기 도로영역이 추정된 다음에는, 상기 의미론 영역 모델(SRM: Scemantic Region Model)을 구성하는 과정이 수행된다.
상기 도로영역으로 추정된 화소와 관련이 있는, 상기 2차원으로 표시하는 추측 클러스터(estimation cluster)를 의미론 영역 모델(SRM)으로 정의할 수 있다. 다시 말하면, 도로영역으로 추정된 화소에 속하는 것으로 판단되는 2차원 추측 클러스터를 의미론 영역 모델(SRM)(3)로 정의할 수 있다. 구체적으로는 수학식 6을 만족하는 2차원 추측 클러스터를 의미론 영역 모델로 정의할 수 있다.
Figure 112014127886809-pat00017
상기 N은 이변량 정규밀도함수(bivariate normal density function)이다.
도 6에서는 상기되는 과정을 거쳐서 정의가 된 의미론 영역 모델을 표시하였다.
도 6을 참조하면, 각 의미론 영역 모델(SRM)을 서로 겹치게 제공될 수 있고, 폐쇄회로TV에서 먼 곳은 두 개의 도로에 구분이 없으나 가까운 곳은 서로 분리될 수 있고, 상기 도로영역과 먼 곳은 의미론 영역 모델에 포함되지 않을 수 있고, 각 의미론 영역 모델은 다른 경계선과는 구분되는 자신만의 2차원 영역을 가질 수 있다. 상기 의미론 영역 모델은 차량이 있을 가능성과 연관되는 것으로 이해할 수 있다.
충분한 양의 정보가 모였는지를 판단하는 단계(S5)에서 충분한 양의 정보가 보인 것으로 판단하면, 크기 템플릿(4)을 모델링한다. 상기 크기 템플릿 모델은, 상기 의미론 영역 모델 마다에 적합한 것으로 제공될 수 있다. 예를 들어, 폐쇄회로TV에서 거리가 먼 곳은 차량이 작은 것에 기인하여 작은 크기 템플릿을 제공할 수 있을 것이다.
상기 크기 템플릿을 제공하는 과정을 더 상세하게 설명한다.
이해의 편의를 위하여 상기 독립 운동체의 궤적과 상기 의미론 영역 모델을 서로 겹쳐지는 도면을 고려한다. 예를 들어, 도 2에 제시되는 궤적과 도 6에 제시되는 의미론 영역 모델을 서로 겹치는 것으로 생각할 수 있다. 그러면, 독립 운동체 궤적에 제공되는 각 운동체는 적어도 어느 하나, 바람직하게는 궤적의 경로 상의 모든 의미론 영역 모델의 내부에 포함될 수 있다.
각 이미지에서 각 운동체는 배경과는 경계선으로 분리되는 것으로서, 위치정보와 크기정보를 가질 수 있다. 예를 들어, (x, y, w, h)의 정보를 가질 수 있다. 이 정보는 클러스터링 알고리즘을 통하여 학습될 수 있다. 상기 클러스터링 알고리즘으로는 기본순차알고리즘논리(BSAS:basic sequential algorithmic scheme)를 적용할 수 있고, 더 구체적으로는 [S. Theodoridis and K. Koutrombas, "Sequential clustering algorithms", pp.633-643, in Pattern recognition, 2008.]를 적용할 수 있다.
상기 클러스터링 알고리즘을 간단히 설명한다.
현재의 운동체의 크기정보와 이미 저장되어 있는 크기 템플릿의 크기정보와의 차이를 구하여 그 차이가 일정 수준이상인 경우에는 새로운 크기 템플릿을 생성하고, 그 차이가 일정 수준이하인 경우에는 기존의 크기 탬플릿을 변경하지 않고 그 탬플릿에 현재의 운동체의 크기정보를 대표할 수 있는 것으로 할 수 있다.
상기 일정수준을 TBSAS라고 할 때, 그 수치가 작아질수록 더 다양한 크기 템플릿을 구할 수 있고, 더 정확한 차량검출결과를 얻을 수 있으나, 그에 비하여 연산량과 그에 대응하여 경과시간은 증가하는 경향을 가질 수 있다. 마찬가지로 상기 허용공차(TFC)가 커질수록 의미론 영역 모델(3)의 크기가 커지고 더 많은 크기 템플릿을 구할 수 있으므로, 더 정확한 차량검출결과를 얻을 수 있으나 연산량과 그에 대응하여 경과시간은 증가하는 경향을 가질 수 있다. 따라서, 각 공차(TBSAS, TFC)는 구체적인 상황에 따라서 다르게 적용될 수 있을 것이다.
상기되는 학습과정을 거침으로서, 어느 하나의 의미론 영역 모델에 포함될 수 있는 크기 템플릿이 다수개 제공될 수 있다. 특히 주의할 것은, 어느 하나의 의미론 영역 모델에 적합한 크기 템플릿이 상기 어느 하나의 의미론 영역 모델에 메칭되어 생성될 수 있는 것이다. 따라서, 폐쇄회로TV에서 먼 의미론 영역 모델에는 차량의 크기가 작게 보이기 때문에 비교적 작은 크기 템플릿이 제공될 수 있다. 같은 종류의 차량이라도, 폐쇄회로TV와 차량간의 각도가 틀어짐에 따라서, 다시 말하면, 차량이 가까이 있고 멀리 있는 지에 따라서 서로 다른 크기 및 형상의 크기 탬플릿을 얻을 수 있다. 예를 들어 같은 차량의 경우에도 가로가 긴 직사각형, 세로가 긴 직사각형, 및 정사각형의 다양한 크기 탬플릿을 얻을 수 있다. 이와 같이 다양한 양상으로 얻은 크기 탬플릿(4)은 각각의 의미론 영역 모델(3)에 메칭되어 있으므로 그 위치와 관련되는 정보를 가장 잘 반영할 수 있다. 결국, 상기 크기 탬플릿은 어느 의미론 영역 모델의 범위에서 적합하게 사용할 수 있는 윈도우의 크기와 연관되는 것으로 이해할 수 있다.
도 7은 의미론 영역 모델과 크기 템플릿을 함께 나타낸 도면이다.
도 7을 참조하면 의미론 영역 모델에 따라서 다양한 크기 및 형상의 크기 탬플릿이 부여되어 있는 것을 확인할 수 있다.
도 8은 차량검출을 위한 데이터베이스의 구조를 나타내는 도면이다.
도 8을 참조하면, 도 1에 제시되는 차량검출을 위한 데이터베이스 구축방법이 수행된 결과, 두 개의 서로 다른 종류의 데이터베이스를 얻을 수 있다. 더 상세하게는, 상기 의미론 영역 모델이 저장되는 제 1 데이터베이스(11)와, 상기 크기 탬플릿 데이터베이스가 저장되는 제 2 데이터베이스(12)가 포함될 수 있다. 상기 제 1 데이터베이스(11)에 저장되는 상기 의미론 영역 모델은 이미지의 화소위치와 연결되는 상태로 저장되어 있을 수 있다. 다시 말하면, 상기 이미지의 화소위치를 기준으로 상기 의미론 영역 모델이 지정되어 있을 수 있다. 상기 제 2 데이터베이스에 저장되는 각 크기 탬플릿은, 어느 의미론 영역 모델에 적용되는 것인지가 식별이 가능한 상태로 저장될 수 있다. 상기 제 1 데이터베이스(11) 및 상기 제 2 데이터베이스(12)는 데이터베이스가 실제로 저장되는 위치가 구분될 수도 있지만, 그러한 요구사항보다는 서로 다른 정보가 상호간의 소정의 관계에 따라서 저장되는 것을 의미할 수 있다. 상기 소정의 관계는 어느 의미론 영역 모델에 메칭되는 크기 템플릿이 식별되어 저장되어 있는 것으로 이해할 수 있다.
도 9는 실시예에 따른 차량검출방법을 설명하는 흐름도이다.
도 9를 참조하여 실시예에 따른 차량검출방법은, 차량검출을 위한 데이터베이스의 구조를 이용하여서 수행된다. 또한, 차량검출을 위한 데이터베이스 구축방법에서 수행되었던 과정의 일부가 그대로 적용되므로, 해당하는 부분의 구체적인 설명은 차량검출방법에도 적용되는 것으로 한다.
먼저, 이미지가 입력된다(S11). 상기 이미지는 차량이 포함되는 입력영상의 특정시각의 이미지로 제공될 수 있다. 이후에는 백그라운드 제거과정에 의해서 배경이 제거되고 상기 운동체가 배경과는 구분되는 영역으로 드러날 수 있다(S12). 상기 운동체가 드러나면, 상기 운동체의 위치를 포함하는 의미론 영역 모델(3)(SRM)이 결정된다(S13). 이때 어느 하나의 운동체의 위치에 포함되는 의미론 영역 모델은 하나일 수도 있고, 두 개 이상일 수도 있다. 상기 의미론 영역 모델(3)은 상기 차량검출을 위한 데이터베이스의 구조에 저장되어 있다가 독출될 수 있다. 이는 운동체 궤적은 이동각도(θ)도 포함하는 3차원으로 클러스터링이 되어 있기 때문이다. 이후에는 결정된 상기 의미론 영역 모델(3)에 사용하는 것으로 결정되어 있는 크기 탬플릿(4)을 확인한다(S14). 상기 크기 탬플릿(4)은 상기 차량검출을 위한 데이터베이스의 구조에 저장되어 있다가 독출될 수 있다.
이후에는 상기 크기 탬플릿 결정단계(S14)에서 결정된 상기 크기 탬플릿(4)을 윈도우로 이용하여, 상기 백그라운드 제거과정(S12)에서 구분된 상기 운동체의 서브이미지를 획득한다(S15). 상기 서브이미지 획득단계(S15)에서는, 상기 크기 탬플릿 결정단계(S14)에서 결정된 적어도 하나의, 바람직하게는 모든 크기 탬플릿을 이용하여 상기 운동체의 서브이미지를 획득한다. 따라서, 적어도 하나의 서브이미지를 얻을 수 있다. 다시 말하면, 어느 하나의 상기 의미론 영역 모델에 적합화되어 있는 다양한 크기 탬플릿을 윈도우로 하여, 현재의 위치 및 차량에 적합한 적어도 하나의 서브이미지를 얻을 수 있는 것이다.
상기 서브이미지가 얻어지면, 분류기에 저장되어 있는 정보와 메칭하여 비교한다(S16). 상기 분류기에는 작업자가 특정의 크기로, 실시예에서는 48×48크기의 정사각형 이미지로 모든 이미지를 저장하고 있다. 따라서, 상기 크기 탬플릿을 이용하여 얻어진 서브이미지는 분류기에 저장되어 있는 이미지의 크기와 대응되는 크기로, 실시예에서는 48×48크기의 정사각형 이미지로 변형하여, 변형된 서브이미지와 분류기에 저장된 각 이미지의 정보를 비교할 수 있다. 상기 서브이미지와 분류기에 저장된 정보의 비교는, 예시적으로 리니어 서포트 벡터 머신(linear support vector machine)기법을 활용하여 수행될 수 있다. 상기 비교의 더 구체적인 설명은 [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.]의 내용을 더 참조할 수 있다.
이후에는 비교결과를 최적화하여 최종으로 검출된 차량을 판정한다(S17). 차량의 검출에는 비 최대값 제거법(non-maximum suppression)을 활용하여 수행할 수 있다. 상기 비 최대값 제거법은 [N. Dalal, "Finding People in Images and Videos", Phd thesis, Institute National Polytechnique de Grenoble, 2006.]에 소개되는 방법을 사용할 수 있다.
도 10은 실시예에 따른 차량검출방법을 그림을 이용하여 예시적으로 설명하는 도면이다.
도 10을 참조하면, 이미지 상에 운동체가 관찰되면, 운동체의 위치(R1)가 파악된다. 상기 운동체의 위치(R1)에 제공되는 적어도 하나의 크기 탬플릿(4)이 적용되어 적어도 하나의 서브이미지가 독출된다. 상기 적어도 하나의 서브이미지가 분류기에 저장되는 정보와 비교되어 차량이 검출될 수 있다.
도 11은 실시예에 따른 차량검출방법을 시뮬레이션으로 수행한 환경이고, 도 12는 시뮬레이션의 결과를 나타내는 테이블이다.
도 11을 참조하면, 네 개의 씬(Scene)에 대해 각각 시뮬레이션을 위한 데이터 셋을 구축하였다. 각 데이터 셋은 760×570사이즈를 갖는 10,000개의 학습 및 5,000개의 테스트 이미지 시퀀스로 구성되어 있다. 각 씬에서 사용할 분류기 학습 및 독립 운동체의 궤적 수집은 모두 상기 언급한 10,000개의 학습 영상을 통해 이루어졌다. 상기 언급된 분류기 학습은 [R. Feris, B. Siddiquie, J. Petterson, Y. Zhai, A. Datta, L. Brown and S. Pankanti, "Large-scale vehicle detection, indexing, and search in urban surveillance videos", in Tran. Multimedia, Vol.14, pp.28-42, 2012.]의 방법론을 활용하여 수행되었다. 모든 씬에 대해, 공차 TFC는 <γW, γH, π/8>로 모델링 되었으며, 시뮬레이션을 통해 γ는 0.1로 설정되었다. 한편, 공차 TBSAS는 <τS, τS>로 모델링 되었으며, τS는 실험을 통해 10으로 설정되었다.
상기 각 시뮬레이션 환경은 성능의 비교를 위하여, 고전적 슬라이딩 윈도우 방법(CSW), 씬 특화 슬라이딩 윈도우 방법(SCW), 및 실시예의 방법을 테스트한 결과가 도 12에 제시된다.
도 12를 참조하면, 평균적 성능치(Average)를 참조하면, 먼저, 상기 고전적 슬라이딩 윈도우 방법(CSW)의 경우에는 매우 빠른 동작속도를 보임을 알 수 있으나, 지나치게 낮은 차량검출 정확도를 보여 실제 응용시스템에 적용하기 힘들었다. 또한, 상기 씬 특화 슬라이딩 윈도우 방법(SCW)은 상기 고전적 슬라이딩 윈도우 방법(CSW)에 비하여 약 2.7% 높은 정확도를 제공하지만, 이 역시 실제 응용시스템에 적용하기에는 여전히 낮은 수치이다. 또한, CSW에 비해 2.16배 높은 연산량을 요구한다는 문제점 역시 확인 가능하다.
실시예의 경우에는 상기 고전적 슬라이딩 윈도우 방법(CSW)에 비하여, 오직 1.2배 증가한 연산량을 바탕으로 하면서도, 26%이상 향상된 정확도를 응용시스템에 제공해줄 수 있음을 알 수 있다.
씬 3의 경우에는 실시예에 따른 기법의 정확도가 다른 기법들에 비해 떨어지는 것이 관측된다. 그러나, 이는 시뮬레이션을 위해 학습 이미지 시퀀스를 10,000개로 제한하여 82개라는 충분하지 못한 숫자의 독립 운동체 궤적들만이 의미론 영역 모델 및 크기 탬플릿 학습을 위해 사용되었기 때문이다. 따라서, 이 문제점은 충분한 시간 동안 충분한 숫자의 독립 운동체 궤적을 수집하면 자연스럽게 해결될 수 있는 것은 당연히 예상 가능할 것이다.
본 발명에 따르면, 분류기의 정보를 작업자에 의해서 수작업을 수행되는 것을 제외하고는 모든 과정이 자동으로 진행되기 때문에 저비용으로 동작할 수 있고, 작은 연산량으로 신속하고 정확하게 차량을 검출할 수 있다. 또한, 본 발명은 화면 내에서 통행 중인 차량의 개수를 헤아려, 해당 교통 씬의 통행량을 분석하는 응용 애플리케이션의 개발에 사용할 수 있다.
3: 의미론 영역 모델
4: 크기 탬플릿

Claims (20)

  1. 차량검출 장치를 이용하여 차량을 검출하는 방법에 있어서,
    적어도 운동체가 포함되는 이미지가 입력되는 단계;
    상기 운동체가 위치하는 영역으로서 의미론 영역 모델을 결정하고, 상기 의미론 영역 모델에 사용되도록 결정되어 있는 크기 탬플릿으로 상기 운동체가 포함되는 서브이미지를 획득하는 단계; 및
    상기 서브이미지와 분류기에 저장된 차량의 외형 정보를 매칭하여 차량을 검출하는 단계가 포함되고
    상기 의미론 영역 모델은 상기 운동체의 피처(feature)를 클러스터링하여 결정되고,
    상기 운동체의 궤적이 미리 결정된 수 이상을 포함하는 경우에 상기 의미론 영역 모델결정하는 차량검출방법.
  2. 제 1 항에 있어서,
    상기 의미론 영역 모델은, 상기 운동체의 위치에 대하여 적어도 어느 하나가 포함되는 차량검출방법.
  3. 제 1 항에 있어서,
    상기 크기 탬플릿은, 적어도 하나의 상기 의미론 영역 모델에 적어도 두개가 포함되는 차량검출방법.
  4. 제 3 항에 있어서,
    상기 서브이미지는, 모든 상기 크기 탬플릿에 대하여 획득되는 차량검출방법.
  5. 제 1 항에 있어서,
    상기 차량을 검출하는 단계는,
    리니어 서포트 벡터 머신 기법으로 상기 서브이미지와 상기 분류기에 저장된 차량의 외형 정보를 비교하고,
    그 비교결과를 비 최대값 제거법으로 최적화하여 수행되는 차량검출방법.
  6. 제 1 항에 있어서,
    상기 의미론 영역 모델은, 상기 운동체의 피처(feature)를 클러스터링하여 얻어지는 차량검출방법.
  7. 제 6 항에 있어서,
    상기 운동체의 피처를 획득하는 운동체는, 다른 운동체와 겹치지 않는 독립 운동체인 차량검출방법.
  8. 제 6 항에 있어서,
    상기 운동체의 피처에는, 상기 운동체의 위치정보와 이동각도정보가 포함되는 차량검출방법.
  9. 제 8 항에 있어서,
    상기 의미론 영역 모델은, 상기 운동체의 위치정보와 이동각도정보가 클러스터링되는 추측 클러스터에서, 상기 이동각도정보가 제거된 2차원 클러스터 정보인 차량검출방법.
  10. 제 9 항에 있어서,
    상기 의미론 영역 모델은, 도로영역으로 판단된 영역에 대응하는, 상기 2차원 클러스터 정보인 차량검출방법.
  11. 제 6 항에 있어서,
    상기 클러스터링은 핵심밀도추정(kernel density estimation)에 의해서 수행되는 차량검출방법.
  12. 제 1 항에 있어서,
    상기 의미론 영역 모델의 크기는 조절이 가능한 차량검출방법.
  13. 제 1 항에 있어서,
    상기 크기 탬플릿은, 상기 의미론 영역 모델을 통과하는 상기 운동체의 위치정보와 크기정보를 클러스터링하여 획득되는 차량검출방법.
  14. 제 1 항에 있어서,
    상기 크기 탬플릿의 개수는 조절이 가능한 차량검출방법.
  15. 이미지의 화소위치와 연결되고, 운동체가 위치하는 영역으로서 의미론 영역모델이 저장되는 제 1 데이터베이스; 및
    분류기에 저장된 차량의 외형 정보와 비교하기 위한 상기 운동체의 서브이미지를 획득하기 위한 크기탬플릿이, 상기 제 1 데이터베이스의 의미론 영역 모델에 대응하여 저장되는 제 2 데이터베이스가 포함되고,
    상기 의미론 영역 모델은 상기 운동체의 피처(feature)를 클러스터링하여 결정되고,
    상기 운동체의 궤적이 미리 결정된 수 이상을 포함하는 경우에 상기 의미론 영역 모델결정하는 차량검출을 위한 데이터가 저장된 기록매체.
  16. 제 15 항에 있어서,
    상기 크기탬플릿은 어느 하나의 상기 의미론 영역 모델에 적어도 두 개가 포함되는 차량검출을 위한 데이터가 저장된 기록매체.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020140193533A 2014-12-30 2014-12-30 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법 KR101753097B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140193533A KR101753097B1 (ko) 2014-12-30 2014-12-30 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
US14/890,900 US20160343144A1 (en) 2014-12-30 2015-01-26 Method of detecting vehicle, database structure for detecting vehicle, and method of establishing database for detecting vehicle
PCT/KR2015/000798 WO2016108327A1 (ko) 2014-12-30 2015-01-26 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140193533A KR101753097B1 (ko) 2014-12-30 2014-12-30 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법

Publications (2)

Publication Number Publication Date
KR20160080717A KR20160080717A (ko) 2016-07-08
KR101753097B1 true KR101753097B1 (ko) 2017-07-19

Family

ID=56284473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140193533A KR101753097B1 (ko) 2014-12-30 2014-12-30 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법

Country Status (3)

Country Link
US (1) US20160343144A1 (ko)
KR (1) KR101753097B1 (ko)
WO (1) WO2016108327A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931642B2 (en) 2017-11-28 2021-02-23 Sogang University Research Foundation System and method for traffic volume publication applying differential privacy

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106297323B (zh) * 2016-09-30 2021-07-20 中星技术股份有限公司 车辆流量监控方法和***
JP2019008519A (ja) * 2017-06-23 2019-01-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 移動体検出方法、移動体学習方法、移動体検出装置、移動体学習装置、移動体検出システム、および、プログラム
US10311311B1 (en) * 2017-08-31 2019-06-04 Ambarella, Inc. Efficient two-stage object detection scheme for embedded device
CN107784118B (zh) * 2017-11-14 2020-08-28 北京林业大学 一种针对用户兴趣语义的视频关键信息提取***
US11170017B2 (en) 2019-02-22 2021-11-09 Robert Michael DESSAU Method of facilitating queries of a topic-based-source-specific search system using entity mention filters and search tools
CN112071076A (zh) * 2020-08-25 2020-12-11 浙江省机电设计研究院有限公司 一种高速公路车辆唯一标识特征提取方法及***
JP7185740B1 (ja) * 2021-08-30 2022-12-07 三菱電機インフォメーションシステムズ株式会社 領域特定装置、領域特定方法及び領域特定プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042140A (ja) 2000-07-28 2002-02-08 Mitsubishi Electric Corp 移動物体計測装置及び交通流計測画像処理装置
KR100790867B1 (ko) 2005-01-14 2008-01-03 삼성전자주식회사 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100485419B1 (ko) * 2004-06-09 2005-04-27 주식회사 윤익씨엔씨 차량정보 인식 시스템
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
EP2219166B1 (en) * 2007-11-01 2012-07-11 Igor Yurievich Matsur Traffic monitoring system
KR101038669B1 (ko) * 2009-06-15 2011-06-02 (주) 알티솔루션 영상기반의 비검지식 차량 인식 시스템 및 차량 인식방법
KR101407901B1 (ko) * 2010-12-06 2014-06-16 주식회사 만도 차량인식시스템
US8948454B2 (en) * 2013-01-02 2015-02-03 International Business Machines Corporation Boosting object detection performance in videos

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002042140A (ja) 2000-07-28 2002-02-08 Mitsubishi Electric Corp 移動物体計測装置及び交通流計測画像処理装置
KR100790867B1 (ko) 2005-01-14 2008-01-03 삼성전자주식회사 지역 분할 템플릿을 이용한 카테고리 기반 사진 클러스터링방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10931642B2 (en) 2017-11-28 2021-02-23 Sogang University Research Foundation System and method for traffic volume publication applying differential privacy

Also Published As

Publication number Publication date
KR20160080717A (ko) 2016-07-08
WO2016108327A1 (ko) 2016-07-07
US20160343144A1 (en) 2016-11-24

Similar Documents

Publication Publication Date Title
KR101753097B1 (ko) 차량검출방법, 차량검출을 위한 데이터베이스의 구조, 및 차량검출을 위한 데이터베이스 구축방법
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及***
JP6395481B2 (ja) 画像認識装置、方法及びプログラム
Sock et al. Multi-view 6D object pose estimation and camera motion planning using RGBD images
CN108090435B (zh) 一种可停车区域识别方法、***及介质
CN104239867B (zh) 车牌定位方法及***
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN103699905B (zh) 一种车牌定位方法及装置
CN101406390B (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN107992819B (zh) 一种车辆属性结构化特征的确定方法与装置
CN107305635A (zh) 对象识别方法、对象识别装置和分类器训练方法
CN107784291A (zh) 基于红外视频的目标检测跟踪方法和装置
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
JP5931662B2 (ja) 道路状況監視装置、及び道路状況監視方法
Krajník et al. Image features and seasons revisited
Ji et al. Integrating visual selective attention model with HOG features for traffic light detection and recognition
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
CN106447701A (zh) 用于图像相似性确定、对象检测和跟踪的方法和装置
KR20190068000A (ko) 다중 영상 환경에서의 동일인 재식별 시스템
CN103093198A (zh) 一种人群密度监测方法及装置
CN111008576A (zh) 行人检测及其模型训练、更新方法、设备及可读存储介质
WO2014205787A1 (zh) 一种基于混合图像模板的车辆检测方法
CN106446832B (zh) 一种基于视频的实时检测行人的方法
Zhu et al. DiamondNet: Ship detection in remote sensing images by extracting and clustering keypoints in a diamond
CN116912763A (zh) 一种融合步态人脸模态的多行人重识别方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right