KR101868103B1 - 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법 - Google Patents

다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법 Download PDF

Info

Publication number
KR101868103B1
KR101868103B1 KR1020170088638A KR20170088638A KR101868103B1 KR 101868103 B1 KR101868103 B1 KR 101868103B1 KR 1020170088638 A KR1020170088638 A KR 1020170088638A KR 20170088638 A KR20170088638 A KR 20170088638A KR 101868103 B1 KR101868103 B1 KR 101868103B1
Authority
KR
South Korea
Prior art keywords
moving object
moving
clustering
label
image
Prior art date
Application number
KR1020170088638A
Other languages
English (en)
Inventor
주영훈
Original Assignee
군산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 군산대학교 산학협력단 filed Critical 군산대학교 산학협력단
Priority to KR1020170088638A priority Critical patent/KR101868103B1/ko
Application granted granted Critical
Publication of KR101868103B1 publication Critical patent/KR101868103B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은, 다중 이동 물체의 식별 및 추적을 위한 영상 감시 방법에 관한 것으로, FCM 클러스터링 기반의 라벨 병합 방법을 이용하여 이동 물체를 인식 및 추적하되, 카메라로부터 획득한 영상 정보를 해석하기 위해 차영상, 이진화, 모폴로지 기법의 침식 팽창 연산을 사용하여 이동 물체 영역을 추출하고, 이동 물체가 손실로 인해 라벨이 여러 개 생성됐을 때 온전히 하나의 이동 물체로 인식하기 위해 나뉜 라벨에서 데이터를 추출하고 FCM 클러스터링을 수행하여 나뉜 라벨을 병합하고, 라벨 병합을 통해 인식된 이동 물체의 컬러 히스토그램을 지속적으로 추출하고 비교하여 추적하며, 추출된 컬러 히스토그램은 인식된 이동 물체의 정보로 누적시키고 평균을 구함으로써 이동 물체를 감시한다.

Description

다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법{A video surveillance apparatus for identification and tracking multiple moving objects and method thereof}
본 발명은 영상 감시 기술에 관한 것으로, 특히 영상을 입력받아 영상 내의 다중 이동 물체를 식별하되 이러한 다수의 물체가 이동 중에 엇갈리거나 겹쳐진 후 분리되는 경우에도 각각의 이동 물체에 대한 손실 없이 지속적으로 추적할 수 있는 영상 감시 장치 및 방법, 그 방법을 기록한 기록매체에 관한 것이다.
최근, 공공장소나 제한 구역에서의 범죄가 빈번히 발생함에 따라 잠금장치 또는 CCTV(Closed Circuit Television)등을 설치하여 정해진 영역을 감시하고 있다. 그러나, CCTV를 사용하여 운영자가 실시간 감시하는 경우에는 감시하다가 범죄 행위를 감지하지 못했을 경우가 종종 발생한다. 이런 경우, 사후에 VCR(Video Cassette Recorder)이나 DVR(Digital Video Recorder)에 녹화된 영상을 분석하여 사후에 사건을 감지하는 방법을 사용한다. 이를 보완하기 위해 최근에는 지능형 영상 감시 시스템이 주목받고 있다. 즉, IP(Internet Protocoal) 카메라를 이용한 영상분석 방법을 이용하여 실시간으로 사건을 감지하는 방법이 많이 연구되고 있다.
지능형 영상감시 시스템이란 감시 영역에 여러 대의 IP 카메라를 설치하고 실시간으로 들어오는 영상정보로부터 영상을 분석하여 해당 특이 상황을 파악하여 특정 상황 발생시 경보를 발생시키거나 관제 기관에 신고를 하는 시스템을 말한다. 이런 감시 시스템은 입력된 영상 분석, 컴퓨터 비전, 패턴 인식 등의 기술을 적용하여 여러 범죄행위의 예방이나, 테러, 방화, 거리 보안, 교통량 측정, DMZ 경계, 불법 주정차 단속 등 많은 감시 분야에 활용되고 있다. 영상 감시 기술은 보통 이동 물체의 탐지를 위한 움직임 영역 추출 즉, 이동 물체 추출 기술과 감지된 이동 물체의 특징 정보를 이용한 추적방법, 즉. 실시간 추적 기술이 핵심 기술로 많은 연구가 되고 있다.
T. W. Jang, Y. T. Shin, and J. B. Kim, "A study on the object extraction and tracking system for intelligent surveillence", Jounal of Korean Institute of Communications and Information Sciences, Vol. 38, No. 7, pp. 589-595, 2013 L. Y. Shi and Y. H. Joo, "Multiple moving objects detection and tracking algorithm for intelligent surveillance system", Journal of Korean Institute of Intelligent System, Vol. 22. No. 6. pp. 741-747. 2012 C. Y. Jeong and J. W. Han, "Technical trends of abnormal event detection in video analytics", Electronics and Telecommunications Trends, No. 136. pp. 114-122, 2012
본 발명이 해결하고자 하는 기술적 과제는, 종래의 이동 물체의 추출 방법에 있어서 이동 물체의 이동량이 적을 경우 원활하게 추출하지 못하거나 연산량에 따라 처리 속도가 저하되거나 추출하고자 하는 이동 물체가 일부 손실되고 그에 따라 오류가 발생하는 한계를 극복하고, 이동 물체의 특징 정보를 이용한 추적에 있어서 조도 변화나 잡음의 영향을 받거나 연산량 과다로 인한 실시간 처리에 어려움이 존재하는 단점을 해결하고자 한다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 다중 이동 물체의 식별 및 추적을 위한 영상 감시 방법은, FCM 클러스터링 기반의 라벨 병합 방법을 이용한 이동 물체의 인식 및 추적 방법을 제안하였다. 먼저, 카메라로부터 획득한 영상 정보를 해석하기 위해 차영상, 이진화, 모폴로지 기법의 침식 팽창연산을 사용하여 이동 물체 영역을 추출한다. 그 다음, 이동 물체가 손실로 인해 라벨이 여러 개 생성됐을 때 온전히 하나의 이동 물체로 인식하기 위해 나뉜 라벨에서 데이터를 추출하고 FCM 클러스터링을 수행하여 나뉜 라벨을 병합하는 방법을 제안하였다. 또한, 라벨 병합을 통해 인식된 이동 물체의 컬러 히스토그램을 지속적으로 추출하고 비교하여 추적을 하도록 하였으며 추출된 컬러 히스토그램은 인식된 이동 물체의 정보로 누적시키고 평균을 구해 변화에 강인한 방법을 제안하였다.
본 발명의 실시예들에 따르면, 이동 물체의 이동량이 많거나 적은 경우에 상관없이 처리 속도의 저하 없이 해당 이동 물체의 실제 영역에 가장 적합한 요소를 용이하게 추출할 수 있고, 특히 추출하고자 하는 이동 물체가 손실되는 현상 없이 정확하게 대상의 추출이 가능하며, 다중 이동 물체의 변화에 강인한 식별 및 추적 기술을 제공할 수 있다.
도 1은 본 발명의 실시예들이 제안하고 있는 영상 감시 시스템의 전체 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 감시 방법에서 입력된 영상의 차영상, 이진화 및 모폴로지 과정을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 감시 방법에서 각 이동 물체의 한 라벨에서 후보 데이터를 추출하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 감시 방법에서 이동 물체의 실제 데이터 추출 과정을 예시를 통해 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 감시 방법에서 이동 물체의 개수를 카운트하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 감시 방법에서 이동 물체의 겹쳐짐및 분리를 판단하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 감시 방법을 도시한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 도 7의 영상 감시 방법을 보다 구체적으로 도시한 세부 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상 감시 방법을 이용한 실험에서 손실된 이동 물체 인식 결과를 예시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 감시 방법을 이용한 실험에서 클러스터링의 과정 및 결과를 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 감시 방법을 이용한 실험에서 FCM 클러스터링을 이용한 이동 물체 이식 및 추적을 예시한 도면이다.
도 12는 다중 이동 물체에 대해 종래의 방법과 본 발명의 일 실시예에 따른 영상 감시 방법을 적용한 결과를 비교하여 설명하기 위한 도면이다.
본 발명의 실시예들을 설명하기에 앞서, 지능형 영상 감시 기술과 관련한 기존의 영상 처리 과정에서 발생하는 문제점들을 개괄적으로 살펴보고, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 순차적으로 소개하도록 한다.
먼저, 이동 물체 추출 방법 중 차영상 기법은 배경 영상(image)과 입력된 영상의 차이를 추출하는 방법으로 빠르게 이동 물체와 배경을 분리할 수 있지만 조명의 변화 잡음에 민감하다. GMM(Gaussian Mixture Models)을 이용한 이동 물체 추출 방법은 배경의 변화를 학습하여 적응시키는 방법으로 잡음이 많은 환경에서 강인하지만 이동 물체의 이동량이 적을 경우 원활하게 추출하지 못하는 단점을 가지고 있다. 또한 옵티컬 플로우(Optical Flow)를 이용하여 입력된 두 영상에 대해 각 영상이 갖고 있는 코너점의 픽셀에 윈도우(window)를 설정하고 다음 프레임(frame)에서 가장 매칭(matching)률이 높은 곳을 찾아 벡터(vector)를 추출하여 이동 물체를 검출하는 방법이 있다. 이 방법은 설정되는 윈도우가 많을 경우 연산량이 많아 느려지는 단점이 있다. 이러한 이동 물체 추출 방법들은 비교의 기준이 되는 영상(전경)와 입력 영상에서의 이동 물체 부분이 변화가 크지 않을 때 이동 물체가 일부 손실돼 추출되는 경우가 발생한다. 이동 물체가 손실될 경우 하나의 이동 물체가 나뉘어 여러 부분으로 추출될 수 있는데 이러한 문제를 해결하기 위해 나눠진 부분을 병합하고 하나의 이동 물체로 인식하는 기술이 필요하다. 그 방법으로 최단거리 정합법이 있는데 이 방법은 나눠진 각 객체간의 거리를 계산하여 정해진 거리 안에 다른 객체가 있으면 같은 이동 물체라고 판단하여 병합하는 방법이다. 이 방법은 구현이 간단하고 속도가 빠르지만 단순히 거리의 조건에 따른 병합 방법이기 때문에 복수의 이동 물체가 있을 때 또는 손실이 크게 일어났을 땐 오류가 나는 한계를 가지고 있다.
그리고, 이동 물체의 특징정보를 이용한 추적 방법으로는 여러 방법이 있지만 SIFT (Scale Invariant Feature Transform) 알고리즘과 MeanShift 알고리즘등이 많이 이용되고 있다. 먼저 SIFT 알고리즘은 크기와 회전에 불변하는 특징을 추출하는 알고리즘으로 크기, 조명 및 기하학적 변화에 강인하지만 연산량이 많다는 단점이 있다. MeanShift 알고리즘은 이동 물체의 히스토그램을 데이터 베이스에 저장하고 입력된 영상에서 추출한 이동 물체의 히스토그램과 가장 유사한 히스토그램을 찾아 매칭하는 방법이다. 그러나, 이 방법 역시 조도 변화나 잡음의 영향, 연산량이 많아 실시간 처리에는 문제점을 갖는다.
따라서, 본 발명의 실시예들은 상기 문제점을 보완하고 이동 물체의 식별 및 추적 기술의 향상을 위한 이동 물체 추출 및 추적 방법을 제안한다. 먼저, 이동 물체 추출과정에서 발생하는 이동 물체 손실 문제점을 해결하기 위해 FCM(Fuzzy C-Means) 클러스터링 알고리즘을 사용하여 분리된 이동 물체를 한 이동 물체로 병합하는 방법을 제안한다. 또한, FCM 클러스터링 알고리즘을 수행하기 위한 조건을 만족시키기 위해 이동 물체에서 데이터를 추출하는 방법과 이동 물체를 카운트하여 클러스터의 개수를 정해주는 방법을 제안한다. 그 다음, 병합된 이동 물체를 지속적으로 추적하는 방법을 제안한다. 제안된 방법은 먼저, 각 이동 물체의 특징정보로 컬러 히스토그램(color Histogram)을 추출하여 잡음이나 변화에 민감하게 반응하지 않도록 지속적으로 히스토그램을 누적시켜 평균을 구해 저장한다. 이후 복수의 이동 물체가 겹쳐졌다 분리됐을 때마다 저장된 컬러 히스토그램을 비교하여 각 이동 물체를 올바르게 인식하도록 하는 방법을 제시하도록 한다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 덧붙여, 명세서 전체에서, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
특별히 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
(1) 전체 시스템 블록도
도 1은 본 발명의 실시예들이 제안하는 FCM 클러스터링 알고리즘 기반의 라벨 병합 방법을 이용한 이동 물체 추출 방법과 인식된 이동 물체를 컬러 히스토그램을 이용하여 추적 방법을 제안하는 전체 시스템 블록도를 보여준다.
먼저, 입력된 RGB(Red-Green-Blue) 영상에서 배경과 이동 물체를 분리하기 위해 차영상 기법을 수행하여 입력된 영상 내에서의 움직임 영역을 추출해낸다. 또한 이진화를 통해 그 움직임 영역을 직관적으로 바꾼 다음 모폴로지 기법의 침식, 팽창연산으로 잡음을 제거하는 과정을 거치면서 이동 물체를 추출한다. 그러나, 실제 이동 물체와 배경환경이 비슷할 경우 이동 물체가 손실이 발생한 상태로 추출이 되는데 이를 해결하기 위해 먼저 추출된 이동 물체에 라벨링(Labeling)을 수행한다. 이후 인식된 라벨(Label)들에서 클러스터링을 하기 위한 데이터(좌표값)를 수식을 통해 추출하고 데이터들을 클러스터링한다. 클러스터링 된 각 클러스터의 최외곽 좌표를 이용해 라벨을 병합하는 과정을 거쳐 이동 객채를 인식한다. 그 다음, 라벨내의 컬러 히스토그램을 추출하여 이동 물체의 정보를 저장, 지속적으로 비교, 합산 평균을 계산하는 과정을 거쳐 저장한다. 이후, 저장된 정보를 이용하여 복수의 이동 물체가 겹쳐진 후 다시 분리되었을 때 각각의 이동 물체를 다시 식별하여 이동 물체를 추적하는 부분으로 구성된다.
(2) 이동 물체 인식 및 추적
2.1) 차영상과 이진화, 모폴로지 연산을 통한 이동이동 물체 추출
이동 물체를 추출하는 방법은 주로 전경(fore-ground)와 후경(back-ground)의 픽셀 값의 차이 또는 이동방향을 이용해 추출하는 방법을 사용한다. 이러한 이동 물체 추출 방법은 입력된 영상내에 이동 물체가 움직임을 보이더라도 기준 영상과 입력된 영상의 차이가 미미하면 이동 물체를 감지 못하는 경우가 생기게 되기 때문이다.
본 발명의 실시예들에서는 입력된 영상에서 이동 물체를 분리하는 방법으로 차영상(Difference Image) 기법을 사용한다. 즉, 배경 영상과 입력된 영상에 차영상 기법을 적용하여 움직임 영역을 추출해내는 방법을 사용한다. 이때, 움직임 영역은 실제 이동 물체와 광원 및 환경데이터로 인한 잡음이 포함되어 있다. 도 2는 차영상, 이진화(binarization)과 모폴로지(morphology) 연산을 이용하여 이동 물체를 추출하는 과정을 보여준다.
도 2는 입력된 이미지에서 객체를 추출하는 과정을 나타낸 그림이다. 도 2의 (a)는 배경영상이고, 도 2의 (b)는 입력된 영상이다. 도 2의 (c)는 입력 이미지와 배경이미지 간의 차영상이 수행된 그림이고, 도 2의 (d) 및 (e)는 차영상이 수행된 그림으로부터 순서대로 이진화, 모폴로지 연산결과를 보여주는 영상이다.
배경과 입력 이미지간 차영상을 수행하면 도 2의 (c)와 같은 결과가 나온다. 배경과 입력 이미지 간 대응되는 픽셀 좌표들의 차이를 저장한 값으로, 차이 값이 클수록 픽셀의 값이 커지기 때문에 보다 더 밝게 보인다. 이진화 과정은 앞서 설명한 픽셀들의 값이 0~255로 표현된 영상에서 픽셀이 일정한 값 이상일 경우 255의 픽셀 값을 갖고 그렇지 않으면 0의 값을 갖게 하여 도 2의 (d)와 같이 표현한 과정을 말한다. 또한, 이진화 과정을 거친 영상은 잡음을 포함하고 있으며 잡음을 제거하기 위해서 모폴로지의 침식과 팽창 연산을 차례대로 수행한다. 모폴로지 기법의 침식연산은 픽셀 값이 0인 부분을 확산시킴으로 픽셀 값이 255인 부분을 침식시킴으로써 작은 잡음들을 제거하는 역할을 하고, 팽창 연산은 픽셀 값이 255인 부분을 팽창시켜서 이동 물체의 영역을 확장하는 역할을 함으로서 잡음을 제거한다. 여기서는 상기와 같이 입력 영상에 대해 차영상 이진화, 모폴로지 연산을 이용하여 통한 이동 물체를 추출하는 방법을 설명하였다.
2.2) FCM 클러스터링을 이용한 이동 물체 인식
클러스터란 같은 조건을 가진 데이터들의 집합이며 클러스터링이란 동일한 조건을 갖는 여러 데이터를 하나의 클러스터로 분류하는 것을 말한다. 대표적인 클러스터링 방법은 K-means와 FCM등이 있다.
K-means 클러스터링은 임의로 설정된 클러스터에 가까운 데이터들을 클러스터링 하는 방법이다. 이는 클러스터링된 데이터들의 중심점을 계산하여 구하고 새로운 중심점에 대한 클러스터링을 반복하여 이전 중심점과 현재 중심점의 오차가 일정 수준 미만일 경우 과정을 종료한다. 이 방법은 구현이 쉽고 속도가 빠르다는 장점이 있지만, 초기 클러스터에 따라서 결과 값이 달라질 수도 있기 때문에 복잡한 환경에서는 부적합하다. FCM 클러스터링은 K-means 클러스터링과 과정은 똑같지만 각 클러스터에 대한 데이터들 각각의 가중치를 이용해 클러스터링 한다는 것이 다른 점이다. 여기서, 데이터들의 가중치란 하나의 데이터가 각 클러스터 중심점들에 어느 정도 비중을 갖고 있는지에 대한 값으로 각 클러스터에 포함될 확률을 의미한다고 할 수 있다. 또한, 클러스터의 중심점을 재계산하는 부분에서 데이터들의 평균이 아닌 데이터들의 좌표와 그에 맞는 가중치들을 고려하여 계산하므로 초기 중심점 선정에 크게 민감하지 않다는 장점을 갖는다. 그러나, K-means 클러스터링과 같이 클러스터의 개수를 지정해 줘야하기 때문에 부가적인 방법이 필요하다.
본 발명의 실시예들은 FCM 클러스터링 방법을 이용하여 손실된 이동 물체에서 추출된 데이터들을 병합하고 다른 이동 물체와 분리함으로 각각의 이동 물체를 인식하는 방법과 FCM 클러스터링을 사용하기 위해 필요한 조건인 클러스터링할 데이터를 추출하는 방법과 이동 물체의 수를 카운트하는 방법을 제안한다.
2.2.1) 클러스터링 할 데이터 추출
FCM 클러스터링을 수행하려면 클러스터링 될 데이터가 필요하므로 이동 물체를 이용하여 그 데이터를 추출한다. FCM 클러스터링 알고리즘은 데이터와 클러스터간의 가중치를 이용해 클러스터링을 하고 또 중심점을 재계산하기 때문에 데이터의 수에 따라 이동 물체의 인식 성능이 증가한다. 하지만 데이터가 실제 이동 물체와 관련이 없는데 포함하여 클러스터링 하는 것은 복수의 이동 물체가 가까워졌을 때 각 이동 물체에 맞는 데이터를 정확히 클러스터링하지 못한다. 그러므로, 본 발명의 실시예들에서는 각 이동 물체의 영역을 포함하고 필요 없는 데이터는 필터링하는 방법을 제안한다.
이를 위해, 먼저, 2.1)에서 설명한 차영상과 이진화, 모폴로지 연산을 통한 이동 물체 추출 영상을 이용해 라벨링 과정을 수행하여 여러 개로 나누어진 이동 물체에 여러 개의 라벨을 형성한다. 도 3은 후보 데이터들을 추출하는 방법을 나타내는 그림이다.
도 3에서 (Xmin,Ymin) 와 (Xmax,Ymax)은 각각 라벨의 최소 좌표와 최대 좌표를 나타내며, W와 H는 라벨의 폭과 높이를 나타낸다. 또한, 한 라벨에서 주어진 좌표를 이용하여 추출되는 후보 데이터들은 일정한 간격으로 생성되며 후보 데이터의 좌표는 라벨 최대 좌표(Xmax,Ymax)를 초과하지 못한다.
라벨의 폭 W와 높이 H는 다음 수학식 1과 같다.
Figure 112017066832311-pat00001
Figure 112017066832311-pat00002
수학식 2에서 CDnm은 후보 데이터들의 집합으로 (xn,ym)의 좌표를 가지며, n, m의 값은 0 이상의 정수의 값을 갖는다.
CDnm의 좌표를 추출하는 수학식은 다음과 같다.
Figure 112017066832311-pat00003
여기서, EG는 후보 데이터간의 간격을 의미하며, EG가 작을수록 데이터가 많이 추출되고 클수록 적게 추출된다. 따라서, EG를 높게 설정할수록 클러스터링의 정확성이 증가하지만 데이터의 증가로 인한 연산량이 많아질 수 있다.
도 4의 (a)는 추출된 후보 데이터의 그림이며, 도 4의 (b)는 인식된 이동 물체의 영역이다. 도 4에 대한 수학식은 다음과 같다.
Figure 112017066832311-pat00004
여기서, IMG(xn,ym)은 인식된 이동 물체가 있는 영상의 좌표이며, RDk(xk,yk)는 도 4의 (d)의 데이터를 의미한다. IMG의 좌표와 CD의 곱연산을 거쳐 남은 좌표를 RD의 k번째 좌표 값으로 저장한다. 모든 데이터가 위와 같은 과정을 모두 거친 후 추출된 RD의 좌표들을 실제 데이터(Real Data)라 정의한다.
이와 같이 실제 데이터를 추출해 내면 데이터 자체는 실제 이동 물체와 대응되는 가장 적합한 데이터들을 찾을 수 있으나, 인식된 이동 물체의 폭과 높이가 불명확해지는 단점이 있다. 따라서, 본 발명의 실시예에서는 그 문제를 다음 좌표를 추가함으로써 해결한다.
Figure 112017066832311-pat00005
수학식 5는 도 4의 (d)의 파란색 좌표이다. 이는 후보 데이터를 추출하기 이전에 생성된 각각의 라벨의 폭과 높이 끝 지점을 기억하기 위해 추가하며 다음 절에서 설명하는 이동 물체의 수를 카운트하는 방법에서 사용된다.
2.2.2) 이동 물체의 수를 카운트(count)하는 방법
FCM 클러스터링을 하기 위해서는 사전에 클러스터의 수가 정해져야 하는데 본 발명의 실시예들에서는 클러스터가 하나의 이동 물체이므로 이동 물체의 수를 카운트하는 방법을 다음과 같이 제안한다.
먼저 이동 물체는 항상 모서리에서 발생한다고 가정한다. 이동 물체가 발생하면 라벨이 모서리와 닿아있는 상태이며, 라벨이 모서리와 완전히 분리되면 이동 물체로 카운트한다.
도 5의 (a)는 이동 물체가 모서리로부터 발생했을 때 라벨들이 모서리와 겹친 모습을 나타낸 것이며, 도 5의 (b)는 모서리와 라벨이 분리됐을 때 이동 물체를 카운트하는 것을 의미한다. 도 5의 (c)는 이동 물체가 모서리에 접근하는 경우를 나타내며 이 경우는 이동 물체로 카운트하지 않는다.
2.2.3) FCM 클러스터링 기반 라벨 병합을 통한 이동 물체 인식
클러스터링 할 데이터와 클러스터의 개수가 정해지면 FCM 클러스터링을 수행한다. 다음 수학식을 통해 데이터들의 가중치와 클러스터의 중심점을 계산한다.
Figure 112017066832311-pat00006
wij는 RDi의 j번째 클러스터에 대한 가중치이며 C는 2.2.2)절에서 카운트된 이동 물체의 수를 의미한다. f는 2 이상의 정수이며 클러스터의 분산도를 결정하는 변수이다. f가 클수록 반복에 따른 클러스터 내부의 변화는 미미하다. c는 초기에는 임의로 설정된 클러스터의 중심점이고, 반복 단계일 때는 다음 수학식 7을 통해서 결정된다.
Figure 112017066832311-pat00007
N은 추출된 실제데이터의 총 개수이고, 위 수학식 7을 통하여 클러스터 중심점을 계산한다.
상기 클러스터링 과정은 반복적으로 수행되며 클러스터 중심점의 변화율을 이용하며 변화율이 일정 수준 미만일 때 클러스터링 과정을 종료한다. 클러스터 중심점의 변화율은 수학식 9에 의해 결정된다.
Figure 112017066832311-pat00008
Figure 112017066832311-pat00009
먼저 수학식 8은 수학식 7을 통해 계산된 클러스터 중심점의 좌표를 나타낸 것이다. Err는 반복 과정 중의 중심점 변화율이고,
Figure 112017066832311-pat00010
는
Figure 112017066832311-pat00011
의 좌표를 가지며 다음 계산된 클러스터의 중심점을 의미한다. Err가 일정 값 이하가 될 때 까지 클러스터링 과정을 종료하고 그 때의 클러스터 중심점을 출력한다. 수학식 10은 실제 데이터들을 클러스터에 담는 조건을 나타낸 수식이다.
Figure 112017066832311-pat00012
RDi의 한 데이터는 C개의 가중치를 갖는데 그중 가장 큰 값을 갖는 가중치가 wij이면, RDi는 Clusterj에 포함된다. 또, 각 Clusterj에 클러스터링된 데이터들의 최대 좌표를 찾아서 라벨링을 수행함으로 라벨 병합을 하여 이동 물체를 인식한다.
2.3) 복수 이동 물체의 겹쳐짐 상태와 분리 상태의 판단
복수의 이동 물체들이 이동중 겹쳤을 경우, 겹쳐짐 상태와 겹쳐짐 이후 분리 상태를 판단해야 한다. 이는 특정한 이동 물체를 인식하고 추적하는 방법에서 중요한 부분이다. FCM 클러스터링의 특성상 두 이동 물체가 가까운 거리에 있어도 각각의 이동 물체를 인식할 수 있는 장점을 갖고 있지만 두 이동 물체가 겹쳐졌을 때 각 이동 물체들을 인식할 수 없는 단점이 있다. 본 발명의 실시예들에서는 이를 보완하기 위해 겹쳐짐 상태와 분리 상태의 판단 방법을 제안한다.
먼저 겹쳐짐 상태 판단은 두 가지 조건에 따라서 결정된다. 첫 번째 조건은 이동 물체 라벨 영역의 중첩이고 두 번째 조건은 이동 물체 라벨 중심점 간의 거리이다. 도 6은 두 가지 조건과 겹쳐짐의 판단에 대한 그림이다.
도 6의 (a)는 두 이동 물체의 라벨이 겹쳐졌을 때이고 도 6의 (b)는 두 가지 조건을 모두 만족함으로 인해 겹쳐짐 상태로 판단하는 그림이다. 도 6의 (c)는 겹쳐짐 상태 이후 두 조건이 모두 해제됐을 때 분리 상태라고 판단하는 그림이다.
겹침 이후 분리 상태가 되었을 때 겹침 이전의 인식된 각 이동 물체들과 분리된 이후 인식된 이동 물체들의 인식은 뒤바뀔 수 있다. 다음 절에서는 겹침 발생 후 각 추적중인 이동 물체의 인식을 위한 방법이 제안된다.
2.4) 컬러 히스토그램을 이용한 이동 물체 정보 저장
본 발명의 실시예에서는 컬러 히스토그램을 사용하여 겹침 발생 후 분리된 각 이동 물체의 인식을 하는 방법이 제안된다. 컬러 히스토그램은 영상의 크기나 각도 변화 등에 강인하고 질감이나 모양, 특징에 비해 추출이 쉽고 높은 성능을 보인다. 그러므로 추적중인 이동 물체의 정보들을 컬러 히스토그램을 이용하여 저장하고 이를 비교하는 방법으로 추적중인 이동 물체를 인식하는데 사용한다.
이를 위해, 먼저 각 이동 물체 라벨 영역의 컬러 히스토그램을 추출한다. 이동 물체의 컬러 히스토그램은 HSV(Hue- Saturation?Value:색상-채도-명도) 색상 영역에서 추출하는데, HSV 색상 영역은 색상과 명도가 분리돼 있기 때문에 조도에 강인하여 조도의 변화가 큰 공간에서도 색상을 추출해 낼 수 있는 장점이 있다. 그러나, 각 이동 물체에 대한 정보를 저장한 뒤 히스토그램 매칭을 통해 각 이동 물체를 추적 및 인식하게 되는데 단일 히스토그램은 상황에 따라 크게 변할 수 있는 문제가 있다. 이를 해결하기 위해 본 발명의 실시예에서는 각 이동 물체의 조명에 의한 색상 변화에 강인하도록 추출된 히스토그램을 누적하여 평균을 구해 저장하는 방법을 제안한다.
Figure 112017066832311-pat00013
여기서, t는 시간이고 F(H)는 색상 값 H(0≤H≤180)의 현재 빈도수이며, Ft(H)는 이전 시간까지 색상 값 H의 평균값이다. 이를 이용하여 현재까지 누적된 빈도수의 평균 Ft+1(H)을 구한다.
위 수학식을 이용하면 이동 물체의 평균 컬러 히스토그램을 계산할 수 있다. 수학식 11을 이용하여 이동 물체의 컬러 히스토그램을 추출하고 이전 값과 매칭하여 이동 물체를 지속적으로 추적한다. 즉, 각 이동 물체를 추적중에 겹침이 발생할 경우 히스토그램 추출을 중단하고 분리 이전에 저장된 히스토그램과 매칭을 통하여 또 다시 추적을 하도록 하는 과정을 반복한다.
이상과 같은 구성들을 시계열적으로 종합하면 도 7 및 도 8과 같다. 도 7은 본 발명의 일 실시예가 제안하는 전체 시스템 순서도이고, 도 8은 전체 시스템 세부 순서도이다.
(3) 실험 및 결과 고찰
본 발명의 실시예들이 제안하는 FCM 클러스터링 알고리즘 기반의 라벨 병합 방법을 이용한 이동 물체 인식 및 추적 방법의 우수성을 증명하기 위해 실 환경에서 여러 실험을 하였다. 실험 환경은 i5-750 2.67GHz CPU, 4GB RAM의 IBM PC와 640x480 pixel, fps 30의 웹 카메라를 사용했다.
도 9는 이동 물체의 추출과 손실된 이동 물체의 인식에 대한 결과이다. 도 9의 (a)는 카메라로부터 입력된 원본 영상이고 도 9의 (b)는 원본 영상의 차영상과 이진화를 마친 결과를 나타내며, 도 9의 (c)는 모폴로지 연산의 침식과 팽창 연산을 차례대로 마친 결과이다. 마지막으로 도 9의 (d)는 손실된 이동 물체 영역에 라벨링을 수행한 결과이다. 이 수행 결과 도 9의 (d)와 같이 이동 물체가 손실됐을 때 라벨이 여러 개로 나뉘어 생성되는 결과를 볼 수 있다.
도 10은 한 프레임에서 클러스터링의 수행 과정 및 결과를 나타낸 그림이다. 도 10의 (a) 내지 도 10의 (c)는 차례대로 수행하여 손실된 이동 물체에 라벨링을 수행하고 도 10의 (d)와 같은 후보 데이터를 추출해냈다. 도 10의 (b)와의 곱연산을 통해서 도 10의 (e)와 같이 실제 데이터들을 추출해냈으며 추출된 실제 데이터를 이용하여 클러스터링을 수행하면 도 10의 (f)의 결과가 나오고 그 결과에 따라서 라벨을 병합한다.
도 11은 본 발명의 실시예들이 제안한 방법을 적용한 결과이다. 도 11의 (a)에서는 이동 물체의 수가 하나이기 때문에 하나만을 찾는 모습이고, 도 11의 (b)는 이동 물체가 카운트 되어 2개의 이동 물체가 인식되는 모습이다. 도 11의 (c)와 도 11의 (g)는 겹쳐짐 상태를 표현한 것이고 겹침 상태 이후 분리됐을 때 각 이동 물체의 컬러 히스토그램을 이용하여 겹침 이전과 이동 물체의 인식이 서로 뒤바뀌지 않도록 한 것을 도 11의 (d)와 그림 도 11의 (h)를 통해 볼 수 있다. 도 11에서 알 수 있듯이 본 발명의 실시예들에서 제안한 방법은 도 11의 (f)와 같이 복수의 이동 물체가 근접해 있더라도 거리에 따라서 병합되지 않기 때문에 각각의 이동 물체를 인식할 수 있는 장점이 있음을 알 수 있다.
도 12는 거리 정합 방법으로 이동 물체를 인식한 것과 본 발명의 실시예들에서 제안한 방법의 비교를 나타낸 것이다. 도 12의 (a)는 종래의 방법인 최단거리 정합법에서 두 이동 물체가 근접했을 때이며, 도 12의 (b)는 제안한 방법에서의 결과이다.
Figure 112017066832311-pat00014
표 1은 최단거리 정합법과 제안한 방법의 상태별 인식된 이동 물체 수를 나타낸 표이며, 상태는 (1)→(4) 순서로 변한다. 두 방법 모두 이동 물체가 멀리 떨어져 있다면 비슷한 결과를 도출해 내지만 제안한 방법에서는 겹침이 발생했을 경우 복수의 이동 물체를 병합하지 않고 각각의 이동 물체로 인식한다.
상기된 바와 같이, 본 발명의 실시예들에서는, FCM 클러스터링 기반의 라벨 병합 방법을 이용한 이동 물체의 인식 및 추적 방법을 제안하였다. 먼저, 카메라로부터 획득한 영상 정보를 해석하기 위해 차영상, 이진화, 모폴로지 기법의 침식 팽창연산을 사용하여 이동 물체 영역을 추출한다. 그 다음, 이동 물체가 손실로 인해 라벨이 여러 개 생성됐을 때 온전히 하나의 이동 물체로 인식하기 위해 나뉜 라벨에서 데이터를 추출하고 FCM 클러스터링을 수행하여 나뉜 라벨을 병합하는 방법을 제안하였다. 또한, 라벨 병합을 통해 인식된 이동 물체의 컬러 히스토그램을 지속적으로 추출하고 비교하여 추적을 하도록 하였으며 추출된 컬러 히스토그램은 인식된 이동 물체의 정보로 누적시키고 평균을 구해 변화에 강인한 방법을 제안하였다.
한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. (a) 이동 물체가 포함된 입력 영상으로부터 배경을 제거함으로써 상기 이동 물체에 대한 움직임 영역을 추출하는 단계;
    (b) 추출된 상기 움직임 영역에 대해 라벨(label)을 할당하는 단계; 및
    (c) 상기 라벨이 할당된 영상에 대한 클러스터링(clustering)을 통해 획득된 클러스터 각각의 좌표를 이용하여 라벨을 병합함으로써 이동 물체를 인식하는 단계를 포함하고,
    상기 (c) 단계는,
    (c1) 상기 라벨이 할당된 영역별로 각각의 영역 내에서 일정한 간격별로 후보 데이터의 좌표를 설정하고, 설정된 후보 데이터의 좌표에 대응하는 이동 물체의 화소 값이 존재하는 경우 해당 좌표의 화소 값을 클러스터링을 위한 실제 데이터로 추출하는 단계; 및
    (c2) 추출된 실제 데이터에 대하여 FCM(Fuzzy C-Means) 클러스터링을 수행함으로써 분리된 복수 개의 라벨을 하나의 이동 물체로서 병합하되, 전체 영상 내에서 모서리부터 발생한 라벨이 상기 모서리와 분리되는 경우 하나의 이동 물체로 계수(count)하는 단계를 포함하는 영상 감시 방법.
  2. 제 1 항에 있어서,
    상기 (a) 단계는,
    미리 저장된 배경만이 포함된 영상을 이용하여 이동 물체가 포함된 입력 영상과의 차영상(difference image)을 생성함으로써 이동 물체만의 움직임 영역을 획득하는 것을 특징으로 하는 영상 감시 방법.
  3. 제 2 항에 있어서,
    상기 (a) 단계는,
    획득된 상기 이동 물체만의 움직임 영역에 대해 미리 설정된 기준값과의 비교를 통한 화소(pixel) 값의 이진화(binarization)를 수행하는 단계; 및
    이진화된 영상에 대해 모폴로지(morphology) 연산을 이용하여 잡음이 제거된 이동 물체를 추출하는 단계를 더 포함하는 영상 감시 방법.
  4. 제 3 항에 있어서,
    상기 모폴로지 연산은,
    이진화된 영상 중 화소 값이 '0'인 부분을 확산시킴으로써 화소 값이 '255'인 부분을 침식시켜 잡음을 제거하는 침식 연산 및 이진화된 영상 중 화소 값이 '255'인 부분을 팽창시켜 이동 물체의 영역을 확장함으로써 잡음을 제거하는 팽창 연산 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 감시 방법.
  5. 제 1 항에 있어서,
    상기 (b) 단계는,
    추출된 상기 움직임 영역 내의 복수 개의 분리된 부분들을 직사각형 형태의 영역에 대응시켜 각각에 대해 고유의 라벨을 할당하는 것을 특징으로 하는 영상 감시 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 (c1) 단계는,
    설정된 후보 데이터의 좌표에 대응하는 이동 물체의 화소 값이 존재하는 경우의 좌표를 저장하되, 상기 라벨에 속하는 영역의 폭과 높이를 나타내는 좌표를 함께 저장하는 것을 특징으로 하는 영상 감시 방법.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 (c2) 단계는,
    추출된 상기 실제 데이터 및 계수된 클러스터의 개수에 기초하여 상기 실제 데이터들의 가중치와 클러스터의 중심점을 산출함으로써 클러스터링을 반복하되, 클러스터링된 데이터들의 최대 좌표를 찾아 상기 최대 좌표가 형성하는 영역 내의 라벨을 하나로 병합하며, 상기 중심점의 변화율이 기준치 미만일 때 클러스터링을 종료하는 것을 특징으로 하는 영상 감시 방법.
  10. 제 1 항에 있어서,
    (d) 병합된 상기 라벨별로 각 영역 내의 컬러 히스토그램(histogram)을 추출하여 이동 물체의 식별 정보로서 저장하는 단계를 더 포함하는 영상 감시 방법.
  11. (a) 이동 물체가 포함된 입력 영상으로부터 배경을 제거함으로써 상기 이동 물체에 대한 움직임 영역을 추출하는 단계;
    (b) 추출된 상기 움직임 영역에 대해 라벨(label)을 할당하는 단계;
    (c) 상기 라벨이 할당된 영상에 대한 클러스터링(clustering)을 통해 획득된 클러스터 각각의 좌표를 이용하여 라벨을 병합함으로써 이동 물체를 인식하는 단계; 및
    (d) 병합된 상기 라벨별로 각 영역 내의 컬러 히스토그램(histogram)을 추출하여 이동 물체의 식별 정보로서 저장하되, 저장된 상기 컬러 히스토그램을 이용하여 상기 이동 물체를 추적하는 단계를 포함하고,
    상기 (c) 단계는,
    (c1) 상기 라벨이 할당된 영역별로 각각의 영역 내에서 일정한 간격별로 후보 데이터의 좌표를 설정하고, 설정된 후보 데이터의 좌표에 대응하는 이동 물체의 화소 값이 존재하는 경우 해당 좌표의 화소 값을 클러스터링을 위한 실제 데이터로 추출하는 단계; 및
    (c2) 추출된 실제 데이터에 대하여 FCM(Fuzzy C-Means) 클러스터링을 수행함으로써 분리된 복수 개의 라벨을 하나의 이동 물체로서 병합하되, 전체 영상 내에서 모서리부터 발생한 라벨이 상기 모서리와 분리되는 경우 하나의 이동 물체로 계수(count)하는 단계를 포함하는 영상 감시 방법.
  12. 제 11 항에 있어서,
    상기 (b) 단계는,
    추출된 상기 움직임 영역 내의 복수 개의 분리된 부분들을 직사각형 형태의 영역에 대응시켜 각각에 대해 고유의 라벨을 할당하는 것을 특징으로 하는 영상 감시 방법.
  13. 삭제
  14. 제 11 항에 있어서,
    상기 (c1) 단계는,
    설정된 후보 데이터의 좌표에 대응하는 이동 물체의 화소 값이 존재하는 경우의 좌표를 저장하되, 상기 라벨에 속하는 영역의 폭과 높이를 나타내는 좌표를 함께 저장하는 것을 특징으로 하는 영상 감시 방법.
  15. 삭제
  16. 제 11 항에 있어서,
    상기 (c2) 단계는,
    추출된 상기 실제 데이터 및 계수된 클러스터의 개수에 기초하여 상기 실제 데이터들의 가중치와 클러스터의 중심점을 산출함으로써 클러스터링을 반복하되, 클러스터링된 데이터들의 최대 좌표를 찾아 상기 최대 좌표가 형성하는 영역 내의 라벨을 하나로 병합하며, 상기 중심점의 변화율이 기준치 미만일 때 클러스터링을 종료하는 것을 특징으로 하는 영상 감시 방법.
  17. 제 11 항에 있어서,
    상기 (d) 단계는,
    (d1) 병합된 상기 라벨별로 각 영역 내의 색상과 명도가 분리된 컬러 히스토그램을 추출하여 이동 물체의 식별 정보로서 저장하는 단계; 및
    (d2) 입력 영상 내에서 복수 개의 이동 물체가 겹쳐지는(overlap) 것이 감지된 경우, 이동 물체들이 분리된 후 미리 저장된 상기 라벨별 컬러 히스토그램을 이용하여 분리된 이동 물체들을 히스토그램 매칭(histogram matching)함으로써 각각의 이동 물체를 추적하는 단계를 포함하는 영상 감시 방법.
  18. 제 17 항에 있어서,
    상기 (d1) 단계는,
    시간의 추이에 따라 나타나는 색상 값의 빈도수를 이용하여 상기 컬러 히스토그램을 누적하여 빈도수의 평균을 산출함으로써 이동 물체의 식별 정보로 설정하는 것을 특징으로 하는 영상 감시 방법.
  19. 제 17 항에 있어서,
    상기 (d2) 단계는,
    이동 물체의 컬러 히스토그램을 실시간으로 추출하여 미리 저장된 이전 값과 매칭하여 각각의 이동 물체를 지속적으로 추적하되, 이동 물체 간의 겹침이 발생할 경우 컬러 히스토그램 추출을 중단하고 이동 물체의 분리 이전에 저장된 컬러 히스토그램과 매칭하여 이동 물체의 추적을 재개하는 것을 특징으로 하는 영상 감시 방법.
  20. 제 1 항 내지 제 5 항, 제 7 항, 제 9 항 내지 제 12 항, 제 14 항, 제 16 항 내지 제 19 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020170088638A 2017-07-12 2017-07-12 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법 KR101868103B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170088638A KR101868103B1 (ko) 2017-07-12 2017-07-12 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170088638A KR101868103B1 (ko) 2017-07-12 2017-07-12 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101868103B1 true KR101868103B1 (ko) 2018-06-18

Family

ID=62767765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170088638A KR101868103B1 (ko) 2017-07-12 2017-07-12 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101868103B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918034A (zh) * 2020-07-28 2020-11-10 上海电机学院 一种基于嵌入式的无人值守基站智能监控***
KR20210072475A (ko) * 2019-12-09 2021-06-17 재단법인대구경북과학기술원 영상의 세그먼트 처리 방법 및 세그먼트 처리 방법을 수행하는 장치
KR20210133562A (ko) * 2020-04-29 2021-11-08 군산대학교산학협력단 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법 및 그 방법에 따른 객체 추적 시스템
KR20220066245A (ko) * 2020-11-11 2022-05-24 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
CN114764897A (zh) * 2022-03-29 2022-07-19 深圳市移卡科技有限公司 行为识别方法、装置、终端设备以及存储介质
WO2024071813A1 (ko) * 2022-09-27 2024-04-04 삼성전자 주식회사 객체 영역과 배경 영역을 분류하기 위한 전자 장치 및 전자 장치의 동작 방법
US12002218B2 (en) 2020-11-26 2024-06-04 Samsung Electronics Co., Ltd. Method and apparatus with object tracking

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101508310B1 (ko) * 2014-04-10 2015-04-07 군산대학교산학협력단 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치
KR20160144149A (ko) * 2015-06-08 2016-12-16 군산대학교산학협력단 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR101731243B1 (ko) * 2015-12-15 2017-04-28 군산대학교 산학협력단 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
KR20170073963A (ko) * 2015-12-21 2017-06-29 한국과학기술연구원 그룹-기반 다중 객체 추적 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101508310B1 (ko) * 2014-04-10 2015-04-07 군산대학교산학협력단 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치
KR20160144149A (ko) * 2015-06-08 2016-12-16 군산대학교산학협력단 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
KR101731243B1 (ko) * 2015-12-15 2017-04-28 군산대학교 산학협력단 유사한 색상을 지닌 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
KR20170073963A (ko) * 2015-12-21 2017-06-29 한국과학기술연구원 그룹-기반 다중 객체 추적 장치 및 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
C. Y. Jeong and J. W. Han, "Technical trends of abnormal event detection in video analytics", Electronics and Telecommunications Trends, No. 136. pp. 114-122, 2012
L. Y. Shi and Y. H. Joo, "Multiple moving objects detection and tracking algorithm for intelligent surveillance system", Journal of Korean Institute of Intelligent System, Vol. 22. No. 6. pp. 741-747. 2012
T. W. Jang, Y. T. Shin, and J. B. Kim, "A study on the object extraction and tracking system for intelligent surveillence", Jounal of Korean Institute of Communications and Information Sciences, Vol. 38, No. 7, pp. 589-595, 2013

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210072475A (ko) * 2019-12-09 2021-06-17 재단법인대구경북과학기술원 영상의 세그먼트 처리 방법 및 세그먼트 처리 방법을 수행하는 장치
KR102382962B1 (ko) 2019-12-09 2022-04-06 재단법인대구경북과학기술원 영상의 세그먼트 처리 방법 및 세그먼트 처리 방법을 수행하는 장치
KR20210133562A (ko) * 2020-04-29 2021-11-08 군산대학교산학협력단 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법 및 그 방법에 따른 객체 추적 시스템
KR102370228B1 (ko) 2020-04-29 2022-03-04 군산대학교 산학협력단 확률분포 간의 유사도를 이용한 다중 이동 객체 추적 방법 및 그 방법에 따른 객체 추적 시스템
CN111918034A (zh) * 2020-07-28 2020-11-10 上海电机学院 一种基于嵌入式的无人值守基站智能监控***
KR20220066245A (ko) * 2020-11-11 2022-05-24 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
KR102446688B1 (ko) * 2020-11-11 2022-09-23 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 타깃 추적 방법 및 장치, 전자 기기 및 저장 매체
US12002218B2 (en) 2020-11-26 2024-06-04 Samsung Electronics Co., Ltd. Method and apparatus with object tracking
CN114764897A (zh) * 2022-03-29 2022-07-19 深圳市移卡科技有限公司 行为识别方法、装置、终端设备以及存储介质
WO2024071813A1 (ko) * 2022-09-27 2024-04-04 삼성전자 주식회사 객체 영역과 배경 영역을 분류하기 위한 전자 장치 및 전자 장치의 동작 방법

Similar Documents

Publication Publication Date Title
KR101868103B1 (ko) 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
KR101764845B1 (ko) 다중 이동 물체의 겹침 제거 및 추적을 위한 영상 감시 장치 및 방법
EP2801078B1 (en) Context aware moving object detection
Elhabian et al. Moving object detection in spatial domain using background removal techniques-state-of-art
JP4741650B2 (ja) ビデオシーケンスにおけるオブジェクト追跡の方法
Guan Spatio-temporal motion-based foreground segmentation and shadow suppression
KR101508310B1 (ko) 영상 감시 시스템에서 다중 이동 물체를 추적하는 방법 및 장치
Fradi et al. Spatial and temporal variations of feature tracks for crowd behavior analysis
Shukla et al. Moving object tracking of vehicle detection: a concise review
Patel et al. Moving object tracking techniques: A critical review
Zang et al. Object classification and tracking in video surveillance
Fradi et al. Spatio-temporal crowd density model in a human detection and tracking framework
Angelo A novel approach on object detection and tracking using adaptive background subtraction method
Hardas et al. Moving object detection using background subtraction shadow removal and post processing
KR102019301B1 (ko) 농축산 도난을 감지하는 영상 감시 장치 및 그 방법
KR101690050B1 (ko) 지능형 영상보안 시스템 및 객체 추적 방법
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Chebi et al. Dynamic detection of anomalies in crowd's behavior analysis
Fradi et al. Sparse feature tracking for crowd change detection and event recognition
Luvison et al. Automatic detection of unexpected events in dense areas for videosurveillance applications
Monteiro et al. Robust segmentation for outdoor traffic surveillance
Ali et al. A framework for human tracking using kalman filter and fast mean shift algorithms
Kavitha et al. A robust multiple moving vehicle tracking for intelligent transportation system
Malavika et al. Moving object detection and velocity estimation using MATLAB
Alavianmehr et al. Video foreground detection based on adaptive mixture gaussian model for video surveillance systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant