KR20190128500A - 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치 - Google Patents

영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치 Download PDF

Info

Publication number
KR20190128500A
KR20190128500A KR1020180052753A KR20180052753A KR20190128500A KR 20190128500 A KR20190128500 A KR 20190128500A KR 1020180052753 A KR1020180052753 A KR 1020180052753A KR 20180052753 A KR20180052753 A KR 20180052753A KR 20190128500 A KR20190128500 A KR 20190128500A
Authority
KR
South Korea
Prior art keywords
dumping
joint
distance
person
behavior
Prior art date
Application number
KR1020180052753A
Other languages
English (en)
Other versions
KR102153591B1 (ko
Inventor
윤기민
권용진
문진영
오성찬
박종열
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180052753A priority Critical patent/KR102153591B1/ko
Priority to US16/401,789 priority patent/US11048942B2/en
Publication of KR20190128500A publication Critical patent/KR20190128500A/ko
Application granted granted Critical
Publication of KR102153591B1 publication Critical patent/KR102153591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치가 제공된다. 입력되는 이미지로부터 움직임이 있는 영역인 변화 영역을 검출하고, 관절들이 있는 영역에 대응하는 관절 좌표를 포함하는 관절 정보를 생성하며, 상기 변화 영역과 상기 관절 정보를 이용하여 상기 이미지로부터 사람이 들고 가는 물체를 검출한다. 그리고 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로, 상기 물체가 투기되는 행위를 검출한다.

Description

영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치{Method and apparatus for detecting garbage dumping action in real time on video surveillance system}
본 발명은 영상 감시에 관한 것으로, 더욱 상세하게 말하자면, 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치에 관한 것이다.
카메라의 보급과 국민의 안전 그리고 보안 이슈에 따라 CCTV(closed circuit television)의 설치가 증가하고 있다. CCTV와 같은 영상 감시 시스템에서, 컴퓨터가 촬영된 영상을 이해하고 해석을 해주는 컴퓨터 비전의 기술의 초창기 어플리케이션으로서 CCTV 영상 분석에 대한 많은 연구가 있어 왔으나, 여전히 실용성은 떨어진 것이 사실이다. CCTV 영상 분석은 동시에 수십, 수백 채널의 영상을 있어야 하는 분야에 쉽게 활용될 수 있으며, 관제사의 피로도를 줄여주는 등의 장점이 있다. 그러나 영상에서 폭행이나 사고와 같은 고차원적 이벤트에 대한 이해 및 식별이 용이하지 않고, 이러한 이벤트의 탐지 어플리케이션이 오탐지를 많이 발생시키는 등의 단점이 있다.
최근에는 많은 사회적 문제를 낳고 있는 쓰레기 무단 투기에 대한 행동을 감시하기 위해, 쓰레기 투기 행위가 빈번한 영역에 감시 카메라를 설치하여 사람이 영상을 보고 방송으로 경고를 알려주는 시스템들이 갖추어지고 있다. 이러한 시스템에서 사람이 영상을 분석하고 경고를 함으로써, 영상에서 자동으로 쓰레기 투기 행위를 감지하는 것이 요구된다.
기존의 영상 분석 기술에서, 놓고 간 물체 탐지, 쓰레기 유기에 관한 연구들이 이루어지고 있다. 기존 방법들은 전경 추출 기법을 사용하여 놓고 간 물체 탐지, 쓰레기 유기 등을 감지하는데, 영상에서 한번 발생한 변화가 오랫동안 지속되면 특정 물체가 사람에 의해서 장면에 등장한 이후에 두고 갔다라는 가정을 이용하여, 놓고 간 물체, 혹은 위험 물체 등을 탐지한다.
그러나 이러한 기존 방법은 주차된 차량의 경우에도 놓고 간 물체라고 판단되는 문제가 있으며, 또한 버려진 물체가 가려짐 없이 확연히 보여야만 동작하는 한계가 있다. 또한, 사후 처리 방식으로 영상 분석이 이루어지므로, 버려진 물체를 보고 버려진 행위가 있었음을 추론할 수는 있으나, 이벤트가 발생한 즉시 탐지가 불가능하다는 단점이 있다.
기존의 많은 방법은 투기 물체를 탐지하는 방법에 대해서는 크게 고려하지 않고, 이벤트가 발생한 이후에 오랫동안 남아있는 물체를 투기물이라고 가정하는 경우가 대부분이다. 그 이유는 최근 딥러닝 기반의 객체 탐지기가 매우 발전해왔음에도 불구하고 사람이 버리려는 대상에 대한 정의가 쉽지 않고, 또한 매우 다양한 외형을 갖기 때문에 탐지가 제대로 되지 않기 때문이다.
본 발명이 해결하고자 하는 과제는 영상 감시 시스템에서 이미지로부터 실시간으로 쓰레기를 투기하는 행위를 자동으로 탐지하는 방법 및 장치를 제공하는 것이다.
본 발명의 실시 예의 특징에 따른 탐지 방법이 제공되며, 상기 탐지 방법은 탐지 장치가, 입력되는 이미지로부터 쓰레기 투기 행위를 탐지하는 방법으로서, 상기 탐지 장치가, 입력되는 이미지로부터 움직임이 있는 영역인 변화 영역을 검출하는 단계; 상기 탐지 장치가, 상기 이미지로부터 관절들이 있는 영역에 대응하는 관절 좌표를 포함하는 관절 정보를 생성하는 단계; 상기 탐지 장치가, 상기 변화 영역과 상기 관절 정보를 이용하여 상기 이미지로부터 사람이 들고 가는 물체를 검출하는 단계; 및 상기 탐지 장치가, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로, 상기 물체가 투기되는 행위를 검출하는 단계를 포함한다.
상기 물체가 투기되는 행위를 검출하는 단계는, 상기 모든 관절 좌표와 상기 물체 사이의 각각의 거리의 변화를 토대로 투기 행위의 발생 여부를 결정할 수 있다.
상기 물체가 투기되는 행위를 검출하는 단계는, 모든 관절 좌표별 투기 행위 검출 결과들 중에서 설정 개수의 투기 행위 검출 결과가 물체가 투기된 것을 나타내는 경우, 투기 행위가 발생한 것으로 결정할 수 있다.
상기 물체가 투기되는 행위를 검출하는 단계는, 각 관절 좌표별로 물체와의 거리를 측정하는 단계; 상기 관절 좌표별로 측정되는 거리를 토대로 거리 관계 변화를 획득하는 단계; 상기 획득된 거리 관계 변화와 미리 설정된 값의 비교 결과를 토대로, 각 관절 좌표별로 투기 행위 검출 결과를 획득하는 단계; 및 모든 관절 좌표의 투기 행위 검출 결과들 중에서 설정 개수의 투기 행위 검출 결과가 물체가 투기된 것을 나타내는 경우, 최종적으로 투기 행위의 발생 여부를 결정하는 단계를 포함할 수 있다.
상기 각 관절 좌표별로 투기 행위 검출 결과를 획득하는 단계는, 상기 획득된 거리 관계 변화가 상기 미리 설정된 값보다 큰 경우 투기 행위가 발생한 것으로 결정하는 단계; 및 상기 획득된 거리 관계 변화가 상기 미리 설정된 값보다 같거나 작은 경우 투기 행위가 발생하지 않은 것으로 결정하는 단계를 포함할 수 있다.
상기 거리 관계 변화는, 임의 관절 좌표에 대하여 현재 측정된 상기 물체와의 거리와 모델링한 거리 사이의 차이값을 나타내며, 상기 모델링한 거리는 상기 임의 관절 좌표와 상기 물체 사이의 거리의 평균을 나타낼 수 있다. 상기 미리 설정된 값은 상기 임의 관절 좌표와 상기 물체 사이의 거리를 모델링한 표준 편차와 설정값을 토대로 미리 설정되는 값일 수 있다.
한편, 상기 물체가 투기되는 행위를 검출하는 단계는, 상기 관절 정보를 토대로 사람의 손의 좌표를 획득하는 단계; 및 상기 손의 좌표와 상기 물체 사이의 거리가 설정값 이상으로 멀어지는 경우, 투기 행위가 발생한 것으로 결정하는 단계를 포함할 수 있다.
상기 탐지 방법은, 상기 탐지 장치가, 상기 관절 정보를 토대로 상기 이미지로부터 관절을 추정하는 단계; 및 상기 탐지 장치가, 상기 관절 추정 결과를 토대로 상기 이미지로부터 사람을 추적하는 단계를 더 포함할 수 있다. 이 경우, 상기 추적된 사람별로, 상기 물체를 검출하는 단계 및 상기 물체가 투기되는 행위를 검출하는 단계를 수행할 수 있다.
상기 이미지로부터 사람을 추적하는 단계는, 상기 관절 추정 결과를 토대로 획득되는 머리 위치를 이용하여 상기 이미지로부터 사람을 추적할 수 있다.
또한, 상기 탐지 방법은, 상기 탐지 장치가, 사람의 포즈가 미리 설정된 포즈인 경우에 투기 행위가 발생한 것으로 결정하는 제1 방법 및 투기 발생 가능 영역에 사람이 진입하는 상태를 토대로 투기 행위가 발생한 것으로 하는 제2 방법 중 적어도 하나의 방법을 이용하여, 투기 행위가 발생하는지를 최종 결정하는 단계를 더 포함할 수 있다.
상기 투기 행위가 발생하는지를 최종 결정하는 단계는, 상기 이미지로부터 사람이 들고 가는 물체가 검출되지 않거나, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로 상기 물체가 투기되는 것으로 검출되지 않은 경우에, 추정되는 사람의 포즈가 상체를 구부리는 포즈에 해당하면, 투기 행위가 발생하는 것으로 최종 결정하는 단계를 포함할 수 있다.
상기 투기 행위가 발생하는지를 최종 결정하는 단계는, 상기 물체를 검출하는 단계에서 검출된 물체를 들고 가는 사람이 상기 투기 발생 가능 영역에 진입하거나 상기 투기 발생 가능 영역에 진입하여 설정 시간 이상 머무르는 경우에, 투기 행위가 발생하는 것으로 최종 결정하는 단계를 포함할 수 있다.
한편, 상기 탐지 방법은, 상기 제2 방법이 사용되는 경우, 상기 이미지로부터 투기 발생 가능 영역을 검출하는 단계를 더 포함할 수 있으며, 미리 설정된 쓰레기 특성을 학습시킨 맵을 이용하여 상기 이미지로부터 상기 투기 발생 가능 영역을 검출할 수 있다.
본 발명의 다른 특징에 따른 탐지 장치는 입력되는 이미지로부터 쓰레기 투기 행위를 탐지하는 장치로서, 이미지를 입력받도록 구성된 입출력부; 그리고 상기 입출력부와 연결되고, 상기 이미지로부터 쓰레기 투기 행위를 검출하도록 구성된 프로세서를 포함하며, 상기 프로세서는, 상기 입출력부로부터 전달되는 이미지로부터 움직임이 있는 영역인 변화 영역을 검출하고, 관절들이 있는 영역에 대응하는 관절 좌표를 포함하는 관절 정보를 생성하며, 상기 변화 영역과 상기 관절 정보를 이용하여 상기 이미지로부터 사람이 들고 가는 물체를 검출하고, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로, 상기 물체가 투기되는 행위를 검출하도록 구성된다.
상기 프로세서는 추가로, 상기 모든 관절 좌표와 상기 물체 사이의 각각의 거리를 측정하고, 각 관절별로 측정된 거리를 이용하여 투기 행위를 검출하며, 상기 모든 관절 좌표별 투기 행위 검출 결과들 중에서 설정 개수의 투기 행위 검출 결과가 물체가 투기된 것을 나타내는 경우, 투기 행위가 발생한 것으로 결정하도록 구성될 수 있다.
상기 프로세서는, 각 관절 좌표별로 획득되는 상기 물체와의 거리를 토대로 하는 거리 관계 변화가 미리 설정된 값보다 큰 경우 투기 행위가 발생한 것으로 결정하고, 상기 획득된 거리 관계 변화가 상기 미리 설정된 값보다 같거나 작은 경우 투기 행위가 발생하지 않은 것으로 결정하도록 구성될 수 있다. 상기 거리 관계 변화는, 임의 관절 좌표에 대하여 현재 측정된 상기 물체와의 거리와 모델링한 거리 사이의 차이값을 나타내며, 상기 모델링한 거리는 상기 임의 관절 좌표와 상기 물체 사이의 거리의 평균을 나타내고, 상기 미리 설정된 값은 상기 임의 관절 좌표와 상기 물체 사이의 거리를 모델링한 표준 편차와 설정값을 토대로 미리 설정되는 값일 수 있다.
상기 프로세서는, 상기 관절 정보를 토대로 상기 이미지로부터 관절을 추정하고, 상기 관절 추정 결과를 토대로 획득되는 머리 위치를 이용하여 상기 이미지로부터 사람을 추적하도록 구성될 수 있으며, 상기 추적된 사람별로, 물체를 검출하고 검출된 물체가 투기되는 행위를 검출하는 과정이 개별적으로 수행될 수 있다.
상기 프로세서가, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로 상기 물체가 투기되는 행위를 검출하는 것 이외에, 사람의 포즈가 미리 설정된 포즈인 경우에 투기 행위가 발생한 것으로 결정하는 제1 방법 및 투기 발생 가능 영역에 사람이 진입하는 상태를 토대로 투기 행위가 발생한 것으로 하는 제2 방법 중 적어도 하나의 방법을 추가적으로 이용하여, 투기 행위가 발생하는지를 최종 결정하도록 구성될 수 있다.
상기 프로세서가, 상기 이미지로부터 사람이 들고 가는 물체가 검출되지 않거나, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로 상기 물체가 투기되는 것으로 검출되지 않은 경우에, 추정되는 사람의 포즈가 상체를 구부리는 포즈에 해당하면, 투기 행위가 발생하는 것으로 최종 결정하도록 구성되거나, 상기 검출된 물체를 들고 가는 사람이 상기 투기 발생 가능 영역에 진입하거나 상기 투기 발생 가능 영역에 진입하여 설정 시간 이상 머무르는 경우에, 투기 행위가 발생하는 것으로 최종 결정하도록 구성될 수 있다.
본 발명의 실시 예에 따르면, 사람이 들고 가는 다양한 형태와 다양한 크기의 물체를 탐지하여 쓰레기 투기 행위를 탐지할 수 있다. 또한, 다양한 형태의 투기 행위에 대해서 실시간으로 투기 행위의 탐지가 가능하다. 또한, 투기 행위 탐지에 있어서 보팅 모델(Voting model)을 기반으로 탐지를 수행함으로써, 오탐지가 감소한다.
따라서 기존 방식에 비해 오보가 감소되면서 투기 행위를 실시간으로 탐지가 가능하다. 또한, 투기 행위가 아니라도 투기 행위가 발생한 것으로 의심되는 상황에 대한 알람을 추가적으로 제시할 수 있으므로, 이에 따라 실제 시스템에서 보다 실용적으로 사용할 수 있는 탐지 방법을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 쓰레기 투기 행위 탐지 장치의 구조를 나타낸 도이다.
도 2는 본 발명의 실시 예에 따른 제1 투기 행위 검출부의 구조를 나타낸다.
도 3은 본 발명의 제1 실시 예에 따른 쓰레기 투기 행위 탐지 방법의 흐름도이다.
도 4는 본 발명의 제1 실시 예에 따른 쓰레기 투기 행위 탐지 예를 나타낸 예시도이다.
도 5는 본 발명의 실시 예에 따른 사람 추적 과정을 나타낸 흐름도이다.
도 6은 본 발명의 실시 예에 따른 물체 탐지 과정을 나타낸 예시도이다.
도 7은 본 발명의 실시 예에 따른 투기 행위 검출 결과를 나타낸 예시도이다.
도 8은 본 발명의 제2 실시 예에 따른 쓰레기 투기 행위 탐지 방법의 흐름도이다.
도 9는 본 발명의 제2 실시 예에 따른 쓰레기 투기 행위 탐지 예를 나타낸 예시도이다.
도 10은 본 발명의 다른 실시 예에 따른 쓰레기 투기 행위 탐지 장치의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
또한, 본 발명의 실시 예에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
이하, 본 발명의 실시 예에 따른 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 쓰레기 투기 행위 탐지 장치의 구조를 나타낸 도이다.
첨부한 도 1에서와 같이, 본 발명의 실시 예에 따른 쓰레기 투기 행위 탐지 장치(1)는, 이미지 입력부(10), 전경(foreground) 검출부(20), 관절 히트맵(joint heat map) 생성부(30), 관절 추정부(40), 보행자 추적(tracking)부(50), 물체 탐지 및 추적부(60), 제1 투기 행위 검출부(70)를 포함한다. 또한, 쓰레기 투기 행위 탐지 장치(1)는 제2 투기 행위 검출부(80), 제3 투기 행위 검출부(85), 및 통합 결정 처리부(90)를 더 포함할 수 있다.
이미지 입력부(10)는 촬영되는 비디오에 대응하는 다수 프레임의 이미지 시퀀스(sequence)를 입력받도록 구성된다. 촬영된 비디오 신호가 처리되어 이에 대응하는 프레임 단위의 이미지들을 생성하는 것은 공지된 기술임으로 상세한 설명을 생략한다.
전경 검출부(20)는 이미지 입력부(10)로부터 제공되는 이미지로부터 전경 즉, 움직이는 영역을 검출하도록 구성된다. 움직이는 영역을 설명의 편의상 "변환 영역"이라고 명명한다.
관절 히트맵 생성부(30)는 이미지 입력부(10)로부터 제공되는 이미지로부터 관절 히트맵을 생성하도록 구성된다. 관절 히트맵 생성부(30)는 이미지로부터 사람을 찾고, 찾아진 사람의 각 관절의 위치를 히트맵(Heatmap) 형태로 찾아내어 관절 히트맵을 생성한다. 관절 히트맵을 생성하는 것은 공지된 기술임으로 여기서는 상세한 설명을 생략한다. 관절 히트맵은 관절들이 있는 확률 영역 나타낸다. 이하에서는 설명의 편의상 관절 히트맵을 "관절 정보"라고 명명하며, 관절 정보는 관절들이 있는 확률 영역에 대응하는 위치 좌표를 포함하며, 이를 설명의 편의상 "관절 좌표"라고 명명할 수 있다.
관절 추정부(40)는 이미지로부터 관절을 추정하도록 구성된다. 관절 추정부(40)는 관절 히트맵을 토대로 관절을 추정한다. 예를 들어, 관절 좌표를 토대로 관절 위치를 추정하고, 추정된 위치 좌표를 토대로 각 위치 좌표가 연결된 관절을 추정할 수 있다.
보행자 추적부(50)는 관절 추정부(40)의 추정된 결과를 토대로 이미지로부터 사람, 즉 보행자를 추적하도록 구성된다. 보행자 추적부(50)는 추정된 관절을 토대로 머리 위치를 이용하여 사람을 추적할 수 있으며, 이에 대해서는 추후에 구체적으로 설명하기로 한다.
물체 탐지 및 추적부(60)는 이미지로부터 사람이 들고 있는 물체(object)를 탐지하고, 탐지된 물체를 추적하도록 구성된다. 물체 탐지 및 추적부(60)는 전경 검출부(20)에 의해 검출된 변환 영역과 관절 히트맵 생성부(30)에 의해 생성된 관절 히트맵을 이용하여, 이미지로부터 사람이 들고 있는 물체를 탐지한다. 일반적으로 물체의 형상이 다양하므로 이미지에서 사람이 들고 가는 물체를 찾지가 어렵다. 본 발명의 실시 예에서는 이미지로부터 획득된 변환 영역과 사람의 관절 히트맵에 대응하는 관절 정보를 이용하여 사람이 들고 있는 물체를 검출할 수 있다.
또한, 물체 탐지 및 추적부(60)는 탐지된 물체를 추적한다. 물체 탐지 및 추적부(60)는 단일 객체 추적 알고리즘을 이용하여 탐지된 물체를 시간적으로 추적할 수 있다. 단일 객체 추적 알고리즘은 처음의 추적 시작 영역이 주어지면 꽤나 강인하게 추적이 가능하지만, 그렇지 않은 경우에는 드리프트(drift) 현상이 크게 발생할 수 있다. 이에 따라, 본 발명의 실시 예에서는 단일 객체 추적 알고리즘의 신뢰도를 설정하고, 축적된 물체의 신뢰도가 설정된 신뢰도보다 작은 경우에는 다시 사람이 들고 가는 물체를 탐지할 수 있다.
한편, 물체 탐지 및 추적부(60)는 보행자 추적부(50)에 의해 탐지 및 추적된 사람들 중에서 사람별로 물체 탐지를 수행할 수 있다.
제1 투기 행위 검출부(70)는 물체 탐지 및 추적부(60)는 의해 탐지 및 추적되는 물체와 사람의 관절 사이의 거리를 토대로 쓰레기 투기 행위를 검출한다. 제1 투기 행위 검출부(70)는 사람의 관절 중 손에 대응하는 관절 좌표와 탐지 및 추적되는 물체 사이의 거리를 토대로 쓰레기 투기 행위를 검출할 수 있다. 즉, 손과 물체 사이의 거리가 멀어지면 사람이 해당 물체를 투기하는 것으로 결정할 수 있다. 그러나 이 경우, 손의 관절 좌표가 제대로 검출되지 않거나 물체의 추적이 제대로 이루어지지 않으면 정확한 판단이 이루어지지 않을 수 있다. 이를 보완하기 위해, 제1 투기 행위 검출부(70)는 손에 대응하는 관절 좌표만이 아니, 이미지로부터 검출된 모든 관절과 탐지 및 추적되는 물체 사이의 거리들을 토대로 쓰레기 투기 행위를 검출할 수 있다.
도 2는 본 발명의 실시 예에 따른 제1 투기 행위 검출부의 구조를 나타낸다.
본 발명의 실시 예에 따른 제1 투기 행위 검출부는 도 2에서와 같이, 물체 거리 측정부(71), 거리 관계 모델링부(72), 관절별 결정부(73), 및 투기 결정부(74)를 포함한다.
물체 거리 측정부(71)는 사람의 관절과 탐지 및 추적되는 물체 사이의 거리를 측정하도록 구성된다. 물체 거리 측정부(71)에 의해 측정되는 관절과 물체 사이의 거리는 사람의 손에 대응하는 관절 좌표와 탐지 및 추적되는 물체 사이만을 포함할 수 있으며, 또는 검출된 모든 관절별로 측정되는 거리 즉, 모든 관절과 물체 사이의 각각의 거리들을 포함한다.
거리 관계 모델링부(72)는 측정된 관절과 물체 사이의 거리를 토대로, 거리 관계를 모델링하도록 구성된다. 관절과 물체 사이의 거리를 토대로 관계 벡터를 학습하고 이에 대한 변화를 탐지하여 거리 관계를 모델링할 수 있다. 즉, 거리 관계 변화를 생성한다.
관절별 결정부(73)는 거리 관계 변화를 토대로 투기 행위를 검출하도록 구성된다. 관절별 결정부(73)는 거리 관계 변화를 미리 설정된 값과 비교하여, 거리 관계 변화가 미리 설정된 값보다 크면 투기 행위가 발생한 것으로 결정하고, 거리 관계 변화가 미리 설정된 값보다 같거나 작으면 투기 행위가 발생하지 않은 것으로 결정한다.
특히, 거리 관계 모델링부(72)에 의해 모든 관절과 물체 사이의 각각의 거리들의 거리 관계 변화들이 획득된 경우, 관절별 결정부(73)는 각 관절별로 획득된 거리 관계 변화와 미리 설정된 값과의 비교를 수행하여 각 관절별 투기 행위 검출 결과를 획득한다. 그리고 각 관절별 투기 행위 검출 결과를 토대로 최종적으로 투기 행위가 발생하였는지의 여부를 결정할 수 있다. 예를 들어, 관절별 결정부(73)는 각 관절별 투기 행위 검출 결과들 중에서 설정 개수 이상의 검출 결과가 투기 행위가 발생한 것으로 나타내는 경우에, 최종적으로 투기 행위가 발생한 것으로 결정한다. 이에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
한편, 본 발명의 실시 예에 따른 쓰레기 투기 행위 탐지 장치(1)는 사람의 관절과 탐지 및 추적되는 물체 사이의 거리를 토대로 투기 행위가 발생하였는지의 여부를 검출하는 것 이외에, 추가적으로 쓰레기 투기가 발생할 가능성이 많은 영역 및/또는 사람의 포즈(pose)를 이용하여 투기 행위가 발생하였는지의 여부를 검출할 수 있다.
이러한 추가적 검출을 위해, 제2 투기 행위 검출부(80)가 사람의 포즈를 이용하여 투기 행위가 발생하였는지의 여부를 검출하도록 구성된다. 제2 투기 행위 검출부(80)는 관절 추정부(40)에 의해 추정된 관절을 토대로 사람의 포즈를 추정하고, 추정된 포즈가 미리 설정된 포즈에 해당하는 경우, 투기 행위가 발생하는 것으로 결정할 수 있다. 일반적으로 사람이 쓰레기를 버리는 경우에는 허리를 숙이는 등의 특정 행위를 하게 된다. 허리를 숙이는 포즈를 미리 설정된 포즈로 하여, 추정된 사람의 포즈가 허리를 숙이는 포즈인 경우 투기 행위가 발생하는 것으로 결정한다.
이러한, 포즈를 토대로 한 투기 행위 검출은, 사람의 관절과 탐지 및 추적되는 물체 사이의 거리를 토대로 투기 행위가 발생하였는지의 여부를 검출하는 경우에, 쓰레기인 물체가 안보이는 경우를 보완할 수 있다.
또한, 추가적 검출을 위해, 제3 투기 행위 검출부(85)는 쓰레기 투기가 발생할 가능성이 많은 영역 즉, 투기 발생 가능 영역을 이용하여 투기 행위가 발생하였는지의 여부를 검출하도록 구성된다. 여기서, 투기 발생 가능 영역은 실질적으로 쓰레기 투기가 많이 발생하는 것으로 미리 설정된 영역일 수 있으며, 또는 이미지로부터 쓰레기 투기가 발생할 가능성이 많은 영역으로 검출된 영역일 수 있다.
쓰레기 투기가 발생할 가능성이 많은 영역에 위치되는 쓰레기들의 특성을 학습시켜 맵을 생성하고, 생성된 맵을 토대로 이미지로부터 쓰레기가 많은 영역을 추출할 수 있다. 예를 들어, 쓰레기는 비닐 봉투류가 많다는 것을 전제로 하여, 비닐 봉투의 특성을 학습시켜 맵을 생성하고, 생성된 맵을 토대로 이미지에 알고리즘을 적용시켜 이미지로부터 비닐 봉투가 많은 영역을 추출할 수 있다.
제3 투기 행위 검출부(85)는 이와 같이, 미리 설정되거나 또는 이미지로부터 추출된 투기 발생 가능 영역에 사람(보행자 추적부(50)에 의해 추적된 사람)이 위치하는 경우, 투기 행위가 발생하는 것으로 결정할 수 있다. 또는 투기 발생 가능 영역에 사람이 미리 설정된 시간 이상 머무르는 경우에 투기 행위가 발생하는 것으로 결정할 수 있다. 이러한 투기 발생 가능 영역을 토대로 투기 행위가 발생하는 것으로 결정되는 경우, 알람을 발생시켜 주의를 줄 수 있다. 이 경우, 카메라 위치가 바뀌거나 혹은 단순 사람이 투기 발생 가능 영역을 지나갈 때마다 알람이 발생하는 것으로 인해서 오탐지가 증가될 수 있으므로, 물체 탐지 및 추적부(60)에 의해 탐지된 물체를 들고 있는 사람이 투기 발생 가능 영역으로 진입하는 경우에 투기 행위가 발생할 것으로 결정하여 알람을 발생시킬 수 있다.
한편, 통합 결정 처리부(90)는 제1 투기 행위 검출부(70), 제2 투기 행위 검출부(80), 제3 투기 행위 검출부(85) 중 적어도 하나의 검출 결과를 이용하여 최종적으로 쓰레기 투기 행위가 발생하였는지를 결정할 수 있다.
다음에는 이러한 구조로 이루어지는 장치를 토대로 본 발명의 실시 예에 따른 쓰레기 투기 행위 탐지 방법에 대하여 설명한다.
도 3은 본 발명의 제1 실시 예에 따른 쓰레기 투기 행위 탐지 방법의 흐름도이며, 도 4는 본 발명의 제1 실시 예에 따른 쓰레기 투기 행위 탐지 예를 나타낸 예시도이다.
첨부한 도 3에서와 같이, 촬영된 비디오에 대응하는 다수 프레임의 이미지 시퀀스가 입력되고(S100), 이미지로부터 전경 즉, 움직임이 있는 영역인 변화 영역을 검출한다(S110). 예를 들어, 도 4와 같이 입력된 이미지로부터, 변화 영역을 검출한다. 이때, 이미지의 배경은 예를 들어, 검은 색으로 표시되고, 변화 영역이 하얀색으로 표시되면서 사람과 물건이 같이 나타날 수 있다.
또한, 이미지로부터 관절 히트맵을 생성한다(S120). 예를 들어, 도 4와 같이 입력된 이미지로부터 관절들이 있는 확률 영역에 대응하는 관절 좌표를 포함하는 관절 정보인 관절 히트맵을 생성한다. 관절 히트맵에서 관절들이 있는 확률 영역이 검게 표시될 수 있다.
또한, 이미지로부터 관절을 추정한다(S130). 예를 들어, 도 4와 같이 입력된 이미지로부터 생성된 관절 히트맵을 토대로 관절을 추정한다. 예를 들어, 관절 좌표를 토대로 관절 위치를 추정하고, 추정된 위치 좌표를 토대로 각 위치 좌표가 연결된 관절을 추정할 수 있다.
다음, 관절 추정 결과를 토대로 이미지로부터 사람을 추적한다(S140). 본 발명의 실시 예에서는 사람 추적시 추정된 관절을 토대로 머리 위치를 이용하여 사람을 추적할 수 있다.
감시 환경에서 사람이 사람에 의해 가려짐이 크게 발생할 수 있다. 그러나 이 경우 머리 부분은 상대적으로 덜 가려지기 때문에 추적의 입력으로 사용하기 용이하다. 본 발명의 실시 예에서는 이를 토대로 이미지로부터 사람을 추적한다. 이때, 헝가리언 매칭(Hungarian matching) 방법을 이용하여 사람을 추적할 수 있다. 궤적 정보를 만들어서 사용할 수 있으며, 궤적 정보는 현재까지 추적되고 있는 액티브 궤적(Active trajectory) 정보와 현재에는 매칭이 되지 않은 인액티브 궤적(inactive trajectory) 정보를 포함하며, 이러한 궤적 정보를 이용하여 사람을 추적할 수 있다.
도 5는 본 발명의 실시 예에 따른 사람 추적 과정을 나타낸 흐름도이다.
본 발명의 실시 예에서는 프레임간에는 임의 사람의 머리 위치가 크게 변하지 않는다는 것을 가정하여, 머리 위치를 이용하여 사람을 추적한다.
이를 위해, 현재 이미지로부터 임의 머리 위치가 입력되면(S141), 액티브 궤적 정보 즉, 현재까지 추적된 사람에 대응하는 머리 위치를 포함하는 액티브 궤적 정보와 입력된 머리 위치의 매칭 코스트(matching cost)를 산출한다(S142).
매칭 코스트에 따라 매칭이 이루어지는 것으로 결정되면(S143), 궤적 정보를 업데이트한다. 즉, 현재 입력된 머리 위치에 매칭되는 머리 위치를 가지는 사람이 있다면, 현재 입력된 머리 위치에 해당 사람을 매칭시킨다(S144).
만약 액티브 궤적 정보와 매칭되지 않으면, 인액티브 궤적 정보 즉, 현재에는 추적되지 않았으나 과거에 추적된 사람에 대응하는 머리 위치를 포함하는 인액티브 궤적 정보와 입력된 머리 위치의 매칭 코스트를 산출한다(S145). 매칭 코스트에 따라 매칭이 이루어지는 것으로 결정되면(S146), 궤적 정보를 업데이트한다. 즉, 현재에는 추적되지 않았으나 과거에 추적된 사람 중에서 현재 입력된 머리 위치에 매칭되는 머리 위치를 가지는 사람이 있다면, 현재 입력된 머리 위치에 해당 사람을 매칭시킨다(S147). 만약 인액티브 궤적 정보와도 매칭되지 않으며, 새로운 사람이 추적된 것으로 판단하여 입력된 머리 위치를 새로운 사람에 따른 정보로 추가 생성한다(S148).
이와 같이 머리 위치를 토대로 궤적 정보와의 매칭에 따라 이미지로부터 사람을 추적할 수 있으며, 시간이 지나면서 사람의 위치가 변화하여도 머리 위치를 토대로 한 추적에 따라 동일한 사람이 동일한 사람으로 추적될 수 있다.
추적된 사람이 다수인 경우, 하나의 사람을 선택한다(S150).
이후, 선택된 사람이 들고 가는 물체를 검출한다(S160). 이미지로부터 검출된 변환 영역과 관절 정보를 이용하여 사람이 들고 가는 물체를 탐지 및 추적한다.
도 6은 본 발명의 실시 예에 따른 물체 탐지 과정을 나타낸 예시도이다.
예를 들어, 도 6의 (a)와 같은 이미지에서, 도 6의 (b)와 같은 배경 모델링에 따라 도 6의 (c)와 같은 전경 이미지인 변화 영역이 검출되며, 검출된 변화 영역과 도 6의 (d)와 같은 관절 정보를 이용하여 손 주변의 변화 영역이 큰 덩어리를 찾는다.
이때, 단순히 사람 손 주변의 변화 영역을 찾게 되면 사람의 몸체에 해당하는 영역이 들고 가는 물체로 오판될 수 있으므로, 사람 영역에 대한 정보를 이용해서 물체가 사람의 몸에서 나온 영역이 아니도록 판단될 수 있도록 할 수 있다. 예를 들어, 찾아진 덩어리의 면적이 일정 이상으로 크고, 또한 사람의 몸에 속한 영역이 아니다라는 결과가 나오면 이를 들고 가는 물체로 결정할 수 있다. 여기서, 찾아진 덩어리가 사람의 몸에 속한 영역인지의 여부는 관절의 추론 알고리즘을 이용하면, 도 6의 (d)와 같이 히트맵 형태로 나타날 수 있다. 도 6의 (d)에서 검은색일수록 사람의 몸 영역에 속한 부분이 높은 것을 의미한다. 이러한 과정을 통해 도 6의 (e)와 (f)와 같이, 손 주변의 영역을 추출하고, 도 6의 (f)의 이미지에서 검은색의 손 영역으로 결정된 부분을 분리하고 남은 영역을 사람이 들고 가는 물체 영역으로 간주한다. 그리고 도 6의 (g)와 같이 검출된 물체를 단일 객체 추적 알고리즘을 이용하여 시간적으로 추적한다.
다음, 탐지 및 추적되는 물체와 사람의 관절 사이의 거리를 토대로 쓰레기 투기 행위를 검출한다. 여기서는 손과 물체 사이의 거리만 사용하는 것이 아니라, 이미지로부터 검출된 모든 관절과 탐지 및 추적되는 물체 사이의 거리들을 토대로 쓰레기 투기 행위를 검출하는 것을 예로 들어서 설명한다.
본 발명의 실시 예에서는 사람의 손과 물체의 사이의 거리가 멀어지면 투기 행위가 발생한 것으로 판단할 수 있다. 이러한 방법은 손의 좌표가 제대로 보이지 않거나 물체의 추적이 제대로 이루어지지 않으면 정확한 판단이 이루어지지 않을 수 있으므로, 손과 물체의 거리의 변화가 아닌 사람의 모든 관절과 물체 사이의 거리 변화를 토대로 투기 행위가 발생한 것으로 결정한다.
먼저, 사람의 관절과 탐지 및 추적되는 물체 사이의 거리를 측정한다(S170).
사람의 관절 좌표와 들고 가는 물체의 거리를 1D 가우시안(Gaussian) 모델 형태로 모델링하고, 모델링에 따른 각 변수를 매 프레임 마다 아래와 같은 수식으로 업데이트를 수행한다.
Figure pat00001
여기서, mi은 관절과 물체 사이의 거리의 평균를 나타내며, si 2는 관절과 물체 사이의 거리의 분산을 나타낸다. di는 관절과 물체의 거리를 나타낸다. xobj 및 yobj는 물체의 좌표를 나타내고, xi 및 yi는 관절의 좌표를 나타낸다.
그리고 물체의 투기 행위가 발생했는지를 판단하기 위해, 각 관절에 대해서 아래의 수식과 같이 모델링한 거리에 따른 거리 관계 변화를 획득하고(S170), 거리 관계 변화와 미리 설정된 값을 비교한다(S180).
Figure pat00002
여기서, 거리 관계 변화는 현재 측정된 거리(di (t))와 모델링한 거리(mi (t-1)) 사이의 차이값을 나타낸다.
Figure pat00003
는 설정값을 나타내며, si 2(t-1)는 모델링한 값인 분산을 나타내고,
Figure pat00004
는 표준 편차를 나타낸다.
Figure pat00005
는 설명의 편의상, "미리 설정된 값"이라고 명명한다.
본 발명의 실시 예에서는 거리 사이의 차이값인 거리 관계 변화가 표준 편차의 설정 배수만큼 차이가 나는지의 여부를 토대로 투기 행위 발생 여부를 판단할 수 있다.
거리 관계 변화가 표준 편차의 설정 배수만큼 차이가 나는 경우 즉, 거리 관계 변화가 미리 설정된 값보다 크면, 해당 관절과 물체와의 거리가 멀어져서 투기 행위가 발생한 것으로 결정하며, 투기 행위 검출 결과(li (t))의 값이 예를 들어, "1"이다(S190). 거리 관계 변화가 표준 편차의 설정 배수만큼 차이가 나지 않는 경우 즉, 거리 관계 변화가 미리 설정된 값보다 같거나 작으면, 해당 관절과 물체 사이의 거리의 변화가 없어서 투기 행위가 발생하지 않은 것으로 결정하며, 투기 행위 검출 결과(li (t))의 값이 예를 들어, "0"이다(S200).
각 관절별로 물체 사이의 거리 관계 변화에 따른 투기 행위 검출 결과가 획득되며, 본 발명의 실시 예에서는 관찰된 관절들 중에서 설정 개수의 이상의 관절이 물체와 멀어진 것으로 판단되면, 최종적으로 물체가 버려진 것으로 결정한다(S210). 즉, 찾아진 모든 관절 중 설정 개수 이상의 관절에 대한 투기 행위 검출 결과가 "1"인 경우에, 최종적으로 투기 행위가 발생한 것으로 결정한다.
이를 수식으로 나타내면 다음과 같다.
Figure pat00006
예를 들어, i=1~18인 경우, 총 18개의 관절 좌료별로 물체와의 거리의 평균 m, 분산 s2 등이 모델링되고, 현재 측정된 거리와 모델링한 거리 사이의 차이값인 거리 관계 변화가 표준 편차의 설정 배수만큼 차이가 나는지의 여부에 따라, 총 18개의 관절에 대해서, 0 또는 1의 검출 결과가 획득된다. 이러한 검출 결과에서, 총 18개 중 예를 들어 9개 이상이 1이면 쓰레기 투기 행위로 결정한다.
이와 같은 보팅 모델을 이용하여 투기 행위를 수행한 결과, 오탐지를 감소시킬 수 있었다.
표 1은 오탐지 결과를 나타낸 표이다.
실현 예 Precision Recall F-measure
단순 거리 방식 0.4805 0.4224 0.4154
보팅을 이용한 방식 0.8018 0.6244 0.6600
여기서, Precision은 (정확하게 잡은 이벤트)/(알고리즘이 잡은 전체 이벤트) 로서 오보가 많으면 성능이 떨어지는 지표를 나타낸다. Recall은 (정확하게 잡은 이벤트)/(전체 정답 이벤트)로서 잡아야 하는 이벤트 중에 놓치는 경우를 증가하는 값을 나타낸다. F-measure는 오탐지를 나타내는 지표이다.
위의 표 1과 같이, 보팅 모델을 이용하여 투기 행위를 검출한 경우, 단순히 손과 물체의 거리를 비교하는 단순 거리 방식보다 오탐지를 크게 줄여서, precision을 증가시키고, Recall 또한 높아지는 것도 확인할 수 있다.
도 7은 본 발명의 실시 예에 따른 투기 행위 검출 결과를 나타낸 예시도이다.
첨부한 도 7의 (a) 및 (b)와 같이, 손과 물체 사이는 거리를 토대로 투기 행위를 검출한 경우, 물체가 버려져서 완전히 떨어지기 전까지는 투기 행위 탐지가 이루어지지 않을 수 있다. 도 7의 (c) 및 (d)와 같이, 모든 관절과 물체 사이의 각각의 거리들을 토대로 투기 행위를 검출하면, 사람이 물체를 던져서 버리거나 숙여서 버리는 과정에서 발생되는 물체와 사람 간의 상대적인 위치 관계 변화를 토대로, 더욱 정확하게 투기 행위를 탐지할 수 있다. 그리고 사람의 모든 관절과의 상대 위치 변화를 위에 기술된 바와 같이, 보팅 방식을 이용하여 최종적으로 투기 행위를 결정함으로써, 임의 관절의 탐지나 투기되는 물체의 추적 과정에서 정확한 탐지나 추적이 이루어지지 않은 경우에도, 투기 행위를 정확하게 판단할 수 있다.
위에 기술된 바와 같은 관절과 물체 사이의 각각의 거리들을 토대로 한 투기 행위 검출 과정은 추적된 사람별로 수행될 수 있다.
이러한 실시 예에 따르면, 사람이 들고 가는 물체의 형상이나 크기에 구애 받지 않고 사람이 들고 가는 물체를 용이하게 검출할 수 있으며, 검출된 물체와 사람의 관절 사이의 거리 변화를 토대로 투기 행위를 정확하게 검출할 수 있다.
도 8은 본 발명의 제2 실시 예에 따른 쓰레기 투기 행위 탐지 방법의 흐름도이며, 도 9는 본 발명의 제2 실시 예에 따른 쓰레기 투기 행위 탐지 예를 나타낸 예시도이다.
본 발명의 제2 실시 예에서, 제1 실시 예와 동일하게 수행되는 부분에 대해서는 상세한 설명을 생략한다. 본 발명의 제2 실시 예에서는 위의 제1 실시 예에 따른 관절과 물체 사이의 거리를 토대로 한 투기 행위 검출 방법 이외에, 포즈 변화를 토대로 투기 행위를 검출하는 방법을 추가적으로 수행하며, 또한, 투기 가능 발생 영역을 토대로 투기 행위를 검출하는 방법을 추가적으로 수행할 수 있다.
첨부한 도 8에서와 같이, 촬영된 비디오에 대응하는 다수 프레임의 이미지로부터 변환 영역을 검출하고, 관절 히트맵을 생성하며, 관절을 추정한다. 다음, 관절 추정 결과를 토대로 이미지로부터 사람을 추적하고, 추적된 사람에 대해 관절과 물체 사이의 거리를 토대로 한 투기 행위 검출이 수행한다(S300~S350). 이러한 투기 행위 검출은 위의 제1 실시 예에 기술된 부분을 참조할 수 있으므로, 여기서는 상세한 설명을 생략한다.
이러한 관절과 물체 사이의 거리를 토대로 한 투기 행위 검출 과정과 별도로, 단계(S330)에서 이루어진 관절 추정 결과를 토대로 해당 사람의 포즈를 추정한다(S360).
추정된 사람의 포즈가 도 9에 예시된 바와 같이, 상체 예를 들어, 허리를 숙이는 포즈에 해당하는 경우, 투기 행위가 발생한 것으로 결정한다(S370). 예를 들어, 추적된 사람의 관절 좌표를 설정 개수 프레임(예를 들어, 10 프레임) 동안 누적한 다음에, 이를 SVM(support vector machine) 분류기(classifier)를 이용하여 포즈를 추정한다. 이 경우, 사람이 나타난 위치 및 크기에 상관없이 판단이 가능해야 하므로, 각 관절 좌표는 예를 들어, 목 좌표를 이용하여 상대적인 좌표로 변경하고, 목과 어깨의 거리가 1이 되도록 변환하여 SVM 분류기를 이용하여 포즈를 추정할 수 있다. 이와 같이 관절 좌표의 학습을 통해서 상체를 구부리는 행동 탐지를 이용하여 투기 행위에 대한 탐지를 진행할 수 있다.
또한, 관절과 물체 사이의 거리를 토대로 한 투기 행위 검출 과정과 사람의 포즈를 토대로 한 투기 행위 검출 이외에, 투기 발생 가능 영역을 토대로 한 투기 행위 검출이 수행될 수 있다.
일반적으로 이전에 쓰레기 버리는 장소로 있던 곳이거나 이미 많은 쓰레기가 버려진 장소에 쓰레기를 버리는 경우가 대부분이다. 즉, 통념상 특정 장소가 버리는 장소로 인식되어 지속적으로 쓰레기를 버리는 경우가 많다. 이를 토대로 투기 발생 가능 영역을 설정한다.
투기 발생 가능 영역은 사용자에 의해 관심 영역(region of origin)으로 미리 설정되거나 또는 이미지로부터 검출될 수 있다(S380). 이미지로부터 검출되는 경우, 도 9에서와 같이, 쓰레기들의 특성 예를 들어, 비닐 봉투류의 특성을 토대로 생성된 맵을 이용하여 이미지로부터 쓰레기인 비닐 봉투류가 많은 영역을 투기 발생 가능 영역으로 추출한다. 투기 발생 가능 영역 추출시, 딥러닝 기반의 이미지 인식 방식을 이용할 수 있다. 예를 들어, 1000여개의 종류로 학습된 이미지 인식 네트워크에서 특정 종류의 물체가 어디에서 나오는지를 찾아내는 CAM(Class Activation map) 방식을 이용하여 비닐 봉투가 많은 투기 발생 가능 영역을 찾을 수 있다.
이러한 투기 발생 가능 영역에 사람이 검출되거나 또는 사람이 미리 설정된 시간 동안 머무르는 경우, 쓰레기 투기 행위가 발생할 가능성이 있는 것으로 결정한다(S390).
위에 기술된 바와 같은 관절과 물체 사이의 거리를 토대로 한 투기 행위 검출 결과, 사람의 포즈를 토대로 한 투기 행위 검출 결과 그리고 투기 발생 가능 영역을 토대로 한 투기 행위 검출 결과 중 적어도 하나를 조합하여 최종적으로 투기 행위가 발생한 것으로 결정한다(S400).
예를 들어, 쓰레기를 버리는 행위 전에는 투기물이 보이는 경우가 많으나 카메라 각도라든지, 버리는 장소에 따라서 투기물이 보이지 않게 버려지는 경우가 있다. 이러한 경우와 같이, 관절과 물체 사이의 거리를 토대로 한 투기 행위 검출시 물체가 검출되지 않은 경우, 사람의 포즈를 토대로 한 투기 행위 검출 결과를 토대로 투기 행위 발생 여부를 결정할 수 있다. 물론 이 경우에도 투기 발생 가능 영역을 토대로 한 투기 행위 검출 결과를 선택적으로 추가 이용할 수 있다.
또한, 예를 들어, 관절과 물체 사이의 거리를 토대로 한 투기 행위 검출시 물체를 들고 있는 사람이 투기 발생 가능 영역으로 진입하는 경우 투기 행위가 발생할 가능성이 많은 것으로 결정할 수 있다.
이러한 실시 예들에 따르면 투기 행위가 아니라도 투기 행위가 발생한 것으로 의심되는 상황에 대해서 알람을 추가적으로 수행하여, 투기 행위를 미연에 방지할 수 있다.
위에 기술된 바와 같은 투기 행위 탐지 방법에서, 시간 누적맵을 이용하여 투기 행위를 검출하는 방법을 사용할 수 있다. 일반적으로 쓰레기 투기 행위 과정에서 쓰레기를 던지고 가는 행위가 아니면 그 장소에 오래 머무르게 된다는 특성을 이용하여, 사람이 머무른 곳에 대한 정보를 누적맵을 통해서 생성하고, 해당 정보를 통해 이미지의 어떤 장소에서 사람이 오래 머물렀는지를 알 수 있다. 또한, 사람이 머무르는 곳에 대한 정보는 투기뿐만 아니라 어떤 영역에 사람이 오래 머무르는가를 알아낼 수 있다. 사람이 머무르는 영역의 계산을 위해서, 가장 처음 구해낸 사람의 영역과 변화 영역을 곱하기를 취한 이후에, 각 픽셀 별로 머물러 있는 시간을 누적한다. 그리고 각 위치별로 가장 오래 머물러 있는 시간만을 저장하여 시간 누적맵을 만든다. 이러한 시간 누적맵을 위에 기술된 투기 행위 탐지 방법에 적용하여 오탐지를 감소시킬 수 있다.
예를 들어, 위의 실시 예에서 관절과 물체 사이의 거리를 토대로 투기 행위가 발생한 것으로 결정된 경우에 시간 누적맵을 토대로 사람이 해당 장소에서 설정 시간 이상 오래 머무른 것으로 확인되면, 쓰레기 투기 행위가 발생하지 않은 것으로 결정할 수 있다.
도 10은 본 발명의 다른 실시 예에 따른 쓰레기 투기 행위 탐지 장치의 구조도이다.
첨부한 도 10에 도시되어 있듯이, 본 발명의 실시 예에 따른 쓰레기 투기 행위 탐지 장치(100)는, 프로세서(110), 메모리(120) 및 입출력부(130)를 포함한다. 프로세서(110)는 위의 도 1 내지 도 9를 토대로 설명한 방법들을 구현하도록 구성될 수 있다. 예를 들어, 프로세서(110)는 전경 검출부, 관절 히트맵 생성부, 관절 추정부, 보행자 추적부, 물체 탐지 및 추적부, 제1 투기 행위 검출부, 제2 투기 행위 검출부, 제3 투기 행위 검출부 및 통합 결정 처리부의 기능을 수행하도록 구성될 수 있다.
메모리(120)는 프로세서(110)와 연결되고 프로세서(110)의 동작과 관련한 다양한 정보를 저장한다. 메모리(120)는 프로세서(110)에서 수행하기 위한 동작을 위한 명령어(instructions)를 저장하고 있거나 저장 장치(도시하지 않음)로부터 명령어를 로드하여 일시 저장할 수 있다.
프로세서(110)는 메모리(120)에 저장되어 있거나 로드된 명령어를 실행할 수 있다. 프로세서(110)와 메모리(120)는 버스(도시하지 않음)를 통해 서로 연결되어 있으며, 버스에는 입출력 인터페이스(도시하지 않음)도 연결되어 있을 수 있다.
입출력부(130)는 프로세서(110)의 처리 결과를 출력하거나, 이미지를 프로세서(110)로 제공하도록 구성된다. 예를 들어, 입출력부(130)는 프로세서(110)의 처리 결과에 따라 알람을 발생시키도록 구성될 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (20)

  1. 탐지 장치가, 입력되는 이미지로부터 쓰레기 투기 행위를 탐지하는 방법으로서,
    상기 탐지 장치가, 입력되는 이미지로부터 움직임이 있는 영역인 변화 영역을 검출하는 단계;
    상기 탐지 장치가, 상기 이미지로부터 관절들이 있는 영역에 대응하는 관절 좌표를 포함하는 관절 정보를 생성하는 단계;
    상기 탐지 장치가, 상기 변화 영역과 상기 관절 정보를 이용하여 상기 이미지로부터 사람이 들고 가는 물체를 검출하는 단계; 및
    상기 탐지 장치가, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로, 상기 물체가 투기되는 행위를 검출하는 단계
    를 포함하는 탐지 방법.
  2. 제1항에 있어서,
    상기 물체가 투기되는 행위를 검출하는 단계는, 상기 모든 관절 좌표와 상기 물체 사이의 각각의 거리의 변화를 토대로 투기 행위의 발생 여부를 결정하는, 탐지 방법.
  3. 제1항에 있어서,
    상기 물체가 투기되는 행위를 검출하는 단계는, 모든 관절 좌표별 투기 행위 검출 결과들 중에서 설정 개수의 투기 행위 검출 결과가 물체가 투기된 것을 나타내는 경우, 투기 행위가 발생한 것으로 결정하는, 탐지 방법.
  4. 제3항에 있어서,
    상기 물체가 투기되는 행위를 검출하는 단계는,
    각 관절 좌표별로 물체와의 거리를 측정하는 단계;
    상기 관절 좌표별로 측정되는 거리를 토대로 거리 관계 변화를 획득하는 단계;
    상기 획득된 거리 관계 변화와 미리 설정된 값의 비교 결과를 토대로, 각 관절 좌표별로 투기 행위 검출 결과를 획득하는 단계; 및
    모든 관절 좌표의 투기 행위 검출 결과들 중에서 설정 개수의 투기 행위 검출 결과가 물체가 투기된 것을 나타내는 경우, 최종적으로 투기 행위의 발생 여부를 결정하는 단계
    를 포함하는, 탐지 방법.
  5. 제3항에 있어서,
    상기 각 관절 좌표별로 투기 행위 검출 결과를 획득하는 단계는,
    상기 획득된 거리 관계 변화가 상기 미리 설정된 값보다 큰 경우 투기 행위가 발생한 것으로 결정하는 단계; 및
    상기 획득된 거리 관계 변화가 상기 미리 설정된 값보다 같거나 작은 경우 투기 행위가 발생하지 않은 것으로 결정하는 단계
    를 포함하는, 탐지 방법.
  6. 제3항에 있어서,
    상기 거리 관계 변화는, 임의 관절 좌표에 대하여 현재 측정된 상기 물체와의 거리와 모델링한 거리 사이의 차이값을 나타내며, 상기 모델링한 거리는 상기 임의 관절 좌표와 상기 물체 사이의 거리의 평균을 나타내고, 상기 미리 설정된 값은 상기 임의 관절 좌표와 상기 물체 사이의 거리를 모델링한 표준 편차와 설정값을 토대로 미리 설정되는 값인, 탐지 방법.
  7. 제1항에 있어서,
    상기 물체가 투기되는 행위를 검출하는 단계는,
    상기 관절 정보를 토대로 사람의 손의 좌표를 획득하는 단계; 및
    상기 손의 좌표와 상기 물체 사이의 거리가 설정값 이상으로 멀어지는 경우, 투기 행위가 발생한 것으로 결정하는 단계
    를 포함하는, 탐지 방법.
  8. 제1항에 있어서,
    상기 탐지 장치가, 상기 관절 정보를 토대로 상기 이미지로부터 관절을 추정하는 단계; 및
    상기 탐지 장치가, 상기 관절 추정 결과를 토대로 상기 이미지로부터 사람을 추적하는 단계
    를 더 포함하는 탐지 방법.
  9. 제8항에 있어서,
    상기 추적된 사람별로, 상기 물체를 검출하는 단계 및 상기 물체가 투기되는 행위를 검출하는 단계를 수행하는, 탐지 방법.
  10. 제8항에 있어서,
    상기 이미지로부터 사람을 추적하는 단계는, 상기 관절 추정 결과를 토대로 획득되는 머리 위치를 이용하여 상기 이미지로부터 사람을 추적하는, 탐지 방법.
  11. 제1항에 있어서,
    상기 탐지 장치가, 사람의 포즈가 미리 설정된 포즈인 경우에 투기 행위가 발생한 것으로 결정하는 제1 방법 및 투기 발생 가능 영역에 사람이 진입하는 상태를 토대로 투기 행위가 발생한 것으로 하는 제2 방법 중 적어도 하나의 방법을 이용하여, 투기 행위가 발생하는지를 최종 결정하는 단계
    를 더 포함하는 탐지 방법.
  12. 제11항에 있어서,
    상기 투기 행위가 발생하는지를 최종 결정하는 단계는,
    상기 이미지로부터 사람이 들고 가는 물체가 검출되지 않거나, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로 상기 물체가 투기되는 것으로 검출되지 않은 경우에, 추정되는 사람의 포즈가 상체를 구부리는 포즈에 해당하면, 투기 행위가 발생하는 것으로 최종 결정하는 단계
    를 포함하는, 탐지 방법.
  13. 제11항에 있어서,
    상기 투기 행위가 발생하는지를 최종 결정하는 단계는,
    상기 물체를 검출하는 단계에서 검출된 물체를 들고 가는 사람이 상기 투기 발생 가능 영역에 진입하거나 상기 투기 발생 가능 영역에 진입하여 설정 시간 이상 머무르는 경우에, 투기 행위가 발생하는 것으로 최종 결정하는 단계
    를 포함하는, 탐지 방법.
  14. 제11항에 있어서,
    상기 제2 방법이 사용되는 경우,
    상기 이미지로부터 투기 발생 가능 영역을 검출하는 단계
    를 더 포함하고,
    미리 설정된 쓰레기 특성을 학습시킨 맵을 이용하여 상기 이미지로부터 상기 투기 발생 가능 영역을 검출하는, 탐지 방법.
  15. 입력되는 이미지로부터 쓰레기 투기 행위를 탐지하는 장치로서,
    이미지를 입력받도록 구성된 입출력부; 그리고
    상기 입출력부와 연결되고, 상기 이미지로부터 쓰레기 투기 행위를 검출하도록 구성된 프로세서를 포함하며,
    상기 프로세서는,
    상기 입출력부로부터 전달되는 이미지로부터 움직임이 있는 영역인 변화 영역을 검출하고, 관절들이 있는 영역에 대응하는 관절 좌표를 포함하는 관절 정보를 생성하며, 상기 변화 영역과 상기 관절 정보를 이용하여 상기 이미지로부터 사람이 들고 가는 물체를 검출하고, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로, 상기 물체가 투기되는 행위를 검출하도록 구성되는, 탐지 장치.
  16. 제15항에 있어서,
    상기 프로세서는 추가로, 상기 모든 관절 좌표와 상기 물체 사이의 각각의 거리를 측정하고, 각 관절별로 측정된 거리를 이용하여 투기 행위를 검출하며, 상기 모든 관절 좌표별 투기 행위 검출 결과들 중에서 설정 개수의 투기 행위 검출 결과가 물체가 투기된 것을 나타내는 경우, 투기 행위가 발생한 것으로 결정하도록 구성되는, 탐지 장치.
  17. 제15항에 있어서,
    상기 프로세서는, 각 관절 좌표별로 획득되는 상기 물체와의 거리를 토대로 하는 거리 관계 변화가 미리 설정된 값보다 큰 경우 투기 행위가 발생한 것으로 결정하고, 상기 획득된 거리 관계 변화가 상기 미리 설정된 값보다 같거나 작은 경우 투기 행위가 발생하지 않은 것으로 결정하도록 구성되며,
    상기 거리 관계 변화는, 임의 관절 좌표에 대하여 현재 측정된 상기 물체와의 거리와 모델링한 거리 사이의 차이값을 나타내며, 상기 모델링한 거리는 상기 임의 관절 좌표와 상기 물체 사이의 거리의 평균을 나타내고, 상기 미리 설정된 값은 상기 임의 관절 좌표와 상기 물체 사이의 거리를 모델링한 표준 편차와 설정값을 토대로 미리 설정되는 값인, 탐지 장치.
  18. 제15항에 있어서,
    상기 프로세서는, 상기 관절 정보를 토대로 상기 이미지로부터 관절을 추정하고, 상기 관절 추정 결과를 토대로 획득되는 머리 위치를 이용하여 상기 이미지로부터 사람을 추적하도록 구성되며,
    상기 추적된 사람별로, 물체를 검출하고 검출된 물체가 투기되는 행위를 검출하는 과정이 개별적으로 수행되는, 탐지 장치.
  19. 제15항에 있어서,
    상기 프로세서가, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로 상기 물체가 투기되는 행위를 검출하는 것 이외에, 사람의 포즈가 미리 설정된 포즈인 경우에 투기 행위가 발생한 것으로 결정하는 제1 방법 및 투기 발생 가능 영역에 사람이 진입하는 상태를 토대로 투기 행위가 발생한 것으로 하는 제2 방법 중 적어도 하나의 방법을 추가적으로 이용하여, 투기 행위가 발생하는지를 최종 결정하도록 구성되는, 탐지 장치.
  20. 제19항에 있어서,
    상기 프로세서가,
    상기 이미지로부터 사람이 들고 가는 물체가 검출되지 않거나, 상기 검출된 물체와 상기 관절 좌표 사이의 거리를 토대로 상기 물체가 투기되는 것으로 검출되지 않은 경우에, 추정되는 사람의 포즈가 상체를 구부리는 포즈에 해당하면, 투기 행위가 발생하는 것으로 최종 결정하도록 구성되거나,
    상기 검출된 물체를 들고 가는 사람이 상기 투기 발생 가능 영역에 진입하거나 상기 투기 발생 가능 영역에 진입하여 설정 시간 이상 머무르는 경우에, 투기 행위가 발생하는 것으로 최종 결정하도록 구성되는, 탐지 장치.
KR1020180052753A 2018-05-08 2018-05-08 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치 KR102153591B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180052753A KR102153591B1 (ko) 2018-05-08 2018-05-08 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
US16/401,789 US11048942B2 (en) 2018-05-08 2019-05-02 Method and apparatus for detecting a garbage dumping action in real time on video surveillance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180052753A KR102153591B1 (ko) 2018-05-08 2018-05-08 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190128500A true KR20190128500A (ko) 2019-11-18
KR102153591B1 KR102153591B1 (ko) 2020-09-09

Family

ID=68464011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180052753A KR102153591B1 (ko) 2018-05-08 2018-05-08 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치

Country Status (2)

Country Link
US (1) US11048942B2 (ko)
KR (1) KR102153591B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111567331A (zh) * 2020-05-11 2020-08-25 西南科技大学 一种基于深度卷积神经网络的草地垃圾自动清理机及方法
CN113255804A (zh) * 2021-06-03 2021-08-13 图灵人工智能研究院（南京）有限公司 基于图像变化检测的垃圾溯源方法、装置
CN113435419A (zh) * 2021-08-26 2021-09-24 城云科技（中国）有限公司 违规丢弃垃圾行为检测方法、装置及应用
KR20210123682A (ko) * 2020-04-03 2021-10-14 한국전자통신연구원 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법
KR102370106B1 (ko) 2020-11-17 2022-03-03 창원대학교 산학협력단 폐기물 무단 투기 방지용 스마트 빔 시스템 및 그 동작 방법
KR102648016B1 (ko) * 2023-07-25 2024-03-18 주식회사 유클리드소프트 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020033345A1 (en) * 2018-08-06 2020-02-13 Google Llc Action localization using relational features
US11429842B2 (en) * 2019-02-24 2022-08-30 Microsoft Technology Licensing, Llc Neural network for skeletons from input images
JP2021077039A (ja) * 2019-11-07 2021-05-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム。
WO2021152727A1 (ja) * 2020-01-29 2021-08-05 楽天グループ株式会社 物体認識システム、位置情報取得方法、及びプログラム
CN112488021A (zh) * 2020-12-10 2021-03-12 中国计量大学 一种基于监控视频的垃圾投递违规行为检测方法及***
CN113591814B (zh) * 2021-09-29 2022-02-22 深圳市图元科技有限公司 一种基于动态视觉的道路干净度检测方法及检测***
CN115240094A (zh) * 2021-09-30 2022-10-25 上海仙途智能科技有限公司 一种垃圾检测方法和装置
CN117392465B (zh) * 2023-12-08 2024-03-22 聚真宝(山东)技术有限公司 一种基于视觉的垃圾分类数字化管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080900A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 移動体検出装置および移動体検出方法
JP2014522035A (ja) * 2011-07-27 2014-08-28 サムスン エレクトロニクス カンパニー リミテッド オブジェクト姿勢検索装置及び方法
KR101554677B1 (ko) * 2014-04-11 2015-10-01 주식회사 제론헬스케어 신체 행동 인지 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5040258B2 (ja) 2006-10-23 2012-10-03 株式会社日立製作所 映像監視装置、映像監視システムおよび画像処理方法
KR101180887B1 (ko) 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR101237970B1 (ko) 2011-01-17 2013-02-28 포항공과대학교 산학협력단 영상 감시 시스템, 및 이의 방치 및 도난 검출 방법
KR101407394B1 (ko) 2012-09-17 2014-06-24 주식회사 제론헬스케어 방치물 및 도난물 탐지 시스템
KR20140108789A (ko) 2013-02-28 2014-09-15 경북대학교 산학협력단 영상 감시 장치 및 영상 감시 방법
KR101700817B1 (ko) 2014-01-10 2017-02-13 한국전자통신연구원 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법
KR102026382B1 (ko) 2014-03-31 2019-09-30 한국전자통신연구원 모션 추정 시스템 및 방법
KR101981648B1 (ko) 2015-01-08 2019-05-24 한화테크윈 주식회사 전력절감기능을 갖는 야간 감시 시스템 및 방법
KR101846074B1 (ko) 2015-11-19 2018-04-05 (주)오션네트웍스 인체의 형상 내지 동태 분석을 이용한 보안 감시장치, 보안 감시방법 및 쓰레기 투기 감시장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011080900A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 移動体検出装置および移動体検出方法
JP2014522035A (ja) * 2011-07-27 2014-08-28 サムスン エレクトロニクス カンパニー リミテッド オブジェクト姿勢検索装置及び方法
KR101554677B1 (ko) * 2014-04-11 2015-10-01 주식회사 제론헬스케어 신체 행동 인지 시스템

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210123682A (ko) * 2020-04-03 2021-10-14 한국전자통신연구원 감시카메라 환경에서 다중 특징 정보를 이용한 쓰레기 투기 행위자 탐지 시스템 및 방법
CN111567331A (zh) * 2020-05-11 2020-08-25 西南科技大学 一种基于深度卷积神经网络的草地垃圾自动清理机及方法
KR102370106B1 (ko) 2020-11-17 2022-03-03 창원대학교 산학협력단 폐기물 무단 투기 방지용 스마트 빔 시스템 및 그 동작 방법
CN113255804A (zh) * 2021-06-03 2021-08-13 图灵人工智能研究院（南京）有限公司 基于图像变化检测的垃圾溯源方法、装置
CN113435419A (zh) * 2021-08-26 2021-09-24 城云科技（中国）有限公司 违规丢弃垃圾行为检测方法、装置及应用
KR102648016B1 (ko) * 2023-07-25 2024-03-18 주식회사 유클리드소프트 태양 전지 기반 저전력 지능형 쓰레기 무단투기 탐지 시스템 및 방법

Also Published As

Publication number Publication date
US11048942B2 (en) 2021-06-29
US20190347486A1 (en) 2019-11-14
KR102153591B1 (ko) 2020-09-09

Similar Documents

Publication Publication Date Title
KR20190128500A (ko) 영상 감시 시스템에서의 실시간 쓰레기 투기 행위 탐지 방법 및 장치
US10417503B2 (en) Image processing apparatus and image processing method
US8320613B2 (en) Detecting and tracking targets in images based on estimated target geometry
US8243987B2 (en) Object tracking using color histogram and object size
US20150009323A1 (en) Multi-target tracking method for video surveillance
CN105144705B (zh) 对象监视***、对象监视方法和用于提取待监视对象的程序
JP4884096B2 (ja) 物体識別システム
JP2008542922A (ja) 保安用途向けの人間の検出及び追跡
US9292939B2 (en) Information processing system, information processing method and program
JP2021048617A (ja) 情報処理システム、情報処理方法及びプログラム
CN113396423A (zh) 处理来自基于事件的传感器的信息的方法
JP6789421B2 (ja) 情報処理装置、追跡方法、及び追跡プログラム
Zaidi et al. Video anomaly detection and classification for human activity recognition
Nam Real-time abandoned and stolen object detection based on spatio-temporal features in crowded scenes
KR101492059B1 (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
Rahim et al. An adapted point based tracking for vehicle speed estimation in linear spacing
Nam Loitering detection using an associating pedestrian tracker in crowded scenes
Patel et al. Human tracking in video surveillance
Takai Detection of suspicious activity and estimate of risk from human behavior shot by surveillance camera
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP4381472A1 (en) System and method for audio tagging of an object of interest
Foggia et al. A Method for Detecting Long Term Left Baggage based on Heat Map.
Rohilla et al. FPGA accelerated abandoned object detection
Landge Object Detection and Object Tracking Using Background Subtraction for Surveillance Application
Cuzzolin et al. Belief modeling regression for pose estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant