KR20190028016A - 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램 - Google Patents

댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20190028016A
KR20190028016A KR1020170114888A KR20170114888A KR20190028016A KR 20190028016 A KR20190028016 A KR 20190028016A KR 1020170114888 A KR1020170114888 A KR 1020170114888A KR 20170114888 A KR20170114888 A KR 20170114888A KR 20190028016 A KR20190028016 A KR 20190028016A
Authority
KR
South Korea
Prior art keywords
abnormal
abnormal situation
image
unit
summary information
Prior art date
Application number
KR1020170114888A
Other languages
English (en)
Inventor
김종성
권재철
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020170114888A priority Critical patent/KR20190028016A/ko
Publication of KR20190028016A publication Critical patent/KR20190028016A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

댁내 모니터링을 위한 이상 상황 감지 장치는 댁내의 모니터링 디바이스로부터 댁내의 영상을 획득하는 영상 획득부, 영상에 대한 질감 정보를 추출하는 질감 정보 추출부, 질감 정보에 기초하여 영상에 대한 배경을 학습하는 배경 학습부, 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 동안 발생한 이상 영상을 감지하는 이상 영상 감지부를 포함하는 이상 상황 감지부 및 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성하는 이상 상황 요약 정보 생성부를 포함하고, 이상 상황 요약 정보는 움직임 객체의 이동 경로에 대한 정보를 포함할 수 있다.

Description

댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램{APPARATUS FOR MONITORING HOME, METHOD AND COMPUTER PROGRAM}
본 발명은 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
종래의 이상 상황 감지 시스템은 댁내에 이상 상황이 감지되면, 한 장의 대표 이미지(예를 들면, 이상 상황이 발생한 시점의 첫 화면 또는 움직임이 가장 많은 한 장의 사진)를 사용자 단말로 전송하거나 이상 상황의 발생 시점을 전후로 일정 시간 동안 녹화된 동영상을 사용자 단말로 전송하고 있다.
이와 같이, 한 장의 대표 이미지를 제공하는 경우, 대표 이미지만으로는 댁내 발생한 이상 상황을 정확하게 파악하기에는 어려움이 있었다.
또한, 동영상을 제공하는 경우, 사용자가 이상 상황을 분석하기 위해서 동영상의 전 구간을 브라우징해야 하는 문제점이 있었다.
한편, 종래의 영상 기반의 관심 객체 검출 방법에는 피라미드 스캐닝을 반복하면서 학습된 검출기를 통해 원하는 객체를 검출하는 방법이 있다. 이러한 관심 객체 검출 방법은 실시간 처리 능력이 떨어지고, 객체의 포즈(정면, 측면, 후면, 기울임 등)의 변화에 따른 검출 성능의 저하 문제가 있었다.
선행 기술인 한국등록특허 제 2006-0111889 호에는 사용자가 설정한 관심영역 또는 영상 전체에 대해서 픽셀 단위로 배경을 학습(GMM-가우시안 혼합 모델)하고 학습된 배경 모델과 입력 영상을 비교하여 픽셀 변화가 생긴 영역을 기반으로 사용자가 설정한 객체를 학습기반 검출기를 통해 검출하여 관심 객체들의 정보를 사용자에게 전송하는 구성이 개시되어 있다.
모니터링 디바이스에 의해 촬영된 댁내의 영상에서 움직임 객체 및 이상 소리가 검출되면, 움직임 객체가 검출된 특정 시간 동안의 움직임 객체의 이동 경로 및 감지된 이상 소리에 대한 정보를 포함하는 이상 상황 요약 정보를 생성하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 댁내 모니터링을 위한 이상 상황 감지 장치는 댁내의 모니터링 디바이스로부터 상기 댁내의 영상을 획득하는 영상 획득부; 상기 영상에 대한 질감 정보를 추출하는 질감 정보 추출부; 상기 질감 정보에 기초하여 상기 영상에 대한 배경을 학습하는 배경 학습부; 상기 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 동안 발생한 이상 영상을 감지하는 이상 영상 감지부를 포함하는 이상 상황 감지부; 및 상기 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성하는 이상 상황 요약 정보 생성부를 포함하고, 상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 경로에 대한 정보를 포함할 수 있다.
본 발명의 제 2 측면에 따른 댁내 모니터링을 위한 이상 상황 감지 방법은 댁내의 모니터링 디바이스로부터 상기 댁내의 영상을 획득하는 단계; 상기 영상에 대한 질감 정보를 추출하는 단계; 상기 질감 정보에 기초하여 상기 영상에 대한 배경을 학습하는 단계; 상기 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 동안 발생한 이상 영상을 감지하는 단계; 및 상기 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성하는 단계를 포함하고, 상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 경로에 대한 정보를 포함할 수 있다.
본 발명의 제 3 측면에 따른 컴퓨터에서 댁내의 모니터링 디바이스로부터 상기 댁내의 영상을 획득하고, 상기 영상에 대한 질감 정보를 추출하고, 상기 질감 정보에 기초하여 상기 영상에 대한 배경을 학습하고, 상기 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 동안 발생한 이상 영상을 감지하고, 상기 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성하고, 상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 경로에 대한 정보를 포함하는 방법을 실행하는 매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 모니터링 디바이스에 의해 촬영된 댁내의 영상에서 움직임 객체 및 이상 소리가 검출되면, 움직임 객체가 검출된 특정 시간 동안의 움직임 객체의 이동 경로 및 감지된 이상 소리에 대한 정보를 포함하는 이상 상황 요약 정보를 생성할 수 있다.
이상 상황 요약 정보에는 움직임 객체의 이동 경로 및 이상 소리의 정보가 포함되어 있기 때문에 사용자는 이상 상황 요약 정보만으로 댁내에 발생한 이상 상황을 빠르게 판단할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 댁내 이상 상황 감지 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 이상 상황 감지 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 영상에 대한 질감 정보를 추출하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른, 막대 경계선을 이용한 이상 상황 감지 방법을 설명하기 위한 도면이다.
도 5a 내지 5c는 본 발명의 일 실시예에 따른, 반사경을 통해 이상 상황을 감지하는 방법을 설명하기 위한 도면이다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른, 이상 영상에 대한 이상 상황 요약 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 7a 내지 7b는 본 발명의 다른 실시예에 따른, 이상 영상에 대한 이상 상황 요약 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 8a 내지 8b는 본 발명의 일 실시예에 따른, 이상 소리에 대한 이상 상황 요약 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른, 댁내 모니터링을 위한 이상 상황 감지 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, 댁내 이상 상황 감지 시스템의 구성도이다.
도 1을 참조하면, 댁내 이상 상황 감지 시스템은 모니터링 디바이스(100), 이상 상황 감지 장치(110) 및 사용자 단말(120)을 포함할 수 있다. 다만, 이러한 도 1의 댁내 이상 상황 감지 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 1과 다르게 구성될 수도 있다.
일반적으로, 도 1의 댁내 이상 상황 감지 시스템의 각 구성요소들은 네트워크(130)를 통해 연결된다. 네트워크(130)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
모니터링 디바이스(100)는 댁내에서 일정한 범위의 제한된 공간 또는 위치를 상시로 모니터링하는 디바이스로서, 예컨대, RGB 카메라, IR 카메라, 열화상 카메라, 소리를 획득하기 위한 마이크 등을 포함할 수 있다.
모니터링 디바이스(100)는 댁내의 감시 영역에 대한 영상을 촬영하고, 촬영된 댁내의 영상을 이상 상황 감지 장치(110)에게 실시간으로 전송할 수 있다.
이상 상황 감지 장치(110)는 모니터링 디바이스(100)로부터 획득된 댁내의 영상을 이용하여 댁내에서 발생한 이상 상황(예컨대, 댁내로 외부 침입자가 침입하거나 사고 등의 이벤트가 발생하는 상황)을 감지할 수 있다.
구체적으로, 이상 상황 감지 장치(110)는 모니터링 디바이스(100)로부터 획득된 댁내의 영상에 대한 질감 정보를 추출하고, 질감 정보에 기초하여 영상에 대한 배경을 학습할 수 있다. 여기서, 질감 정보는 예를 들면, SGLD 매트릭스 또는 LBP(Local Binary Pattern)를 이용하여 추출될 수 있다.
이상 상황 감지 장치(110)는 학습된 배경과 입력된 영상을 비교하여 움직임 객체(예컨대, 외부 침임자)를 검출함으로써 특정 시간 동안 발생한 이상 영상을 감지할 수 있다.
이상 상황 감지 장치(110)는 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성하여 이를 사용자 단말(120)에게 전송할 수 있다. 여기서, 이상 상황 요약 정보는 움직임 객체의 이동 경로에 대한 정보 및 움직임 객체의 이동 속도에 대한 정보를 포함할 수 있다.
사용자 단말(120)은 이상 상황 감지 장치(110)로부터 이상 상황 요약 정보를 수신하여 화면에 출력할 수 있다. 예를 들면, 사용자 단말(120)은 노트북, 데스크탑 PC뿐만 아니라 유무선 통신이 가능한 모바일 단말을 포함할 수 있다. 모바일 단말은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 스마트폰(smartphone), 태블릿 PC, 웨어러블 디바이스뿐만 아니라, 블루투스(BLE, Bluetooth Low Energy), NFC, RFID, 초음파(Ultrasonic), 적외선, 와이파이(WiFi), 라이파이(LiFi) 등의 통신 모듈을 탑재한 각종 디바이스를 포함할 수 있다. 다만, 사용자 단말(120)은 앞서 예시된 것들로 한정 해석되는 것은 아니다.
이하에서는 도 1의 댁내 이상 상황 감지 시스템의 각 구성요소의 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 이상 상황 감지 장치(110)의 블록도이다.
도 2를 참조하면, 이상 상황 감지 장치(110)는 영상 획득부(200), 질감 정보 추출부(210), 배경 학습부(220), 이상 상황 감지부(230), 이상 상황 요약 정보 생성부(240), 소리 획득부(250), 음량 학습부(260) 및 이상 상황 요약 정보 전송부(270)를 포함할 수 있다. 여기서, 이상 상황 감지부(230)는 이상 영상 감지부(232) 및 이상 소리 감지부(234)를 포함하고, 이상 상황 요약 정보 생성부(240)는 프레임 추출부(242) 및 움직임 객체 위치 추출부(244)를 포함할 수 있다. 다만, 도 2에 도시된 이상 상황 감지 장치(110)는 본 발명의 하나의 구현 예에 불과하며, 도 2에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
영상 획득부(200)는 댁내의 감시 장소에 배치된 모니터링 디바이스(100)로부터 촬영된 댁내의 영상을 획득할 수 있다.
질감 정보 추출부(210)는 댁내의 영상에 대한 질감 정보를 추출할 수 있다. 예를 들면, 질감 정보 추출부(210)는 획득된 영상에서 설정된 관심 영역에 대한 질감 정보를 SGLD 매트릭스, LBP 등을 이용하여 그레이 레벨에서 추출할 수 있다.
잠시 SGLD 매트릭스를 이용한 질감 정보를 추출하는 방법을 살펴보기로 한다. SGLD 매트릭스는 질감 정보 분석에 이용되며, 댁내 영상의 픽셀 (i, j) 위치에서의 [0, L-1]의 범위를 갖는 픽셀 값을 I(i, j)로 했을 경우, 벡터 (m, n) (단, m=1,2,...,M, n=1,2,...,N)에 대해 이웃하는 픽셀 값들의 발생 빈도 Pab(m, n)를 [수학식 1]로부터 구할 수 있다.
Figure pat00001
여기서, #은 집합 {a, b}에 대한 발생 빈도를 의미하고, W, H는 각각 영상의 폭, 높이를 의미한다.
정규화된 매트릭스는 [수학식 2]로부터 근사적으로 구할 수 있으며, 질감 정보를 Nab(m, n)로부터 유도될 수 있다.
Figure pat00002
정규화된 SGLD로부터 계산되는 질감 정보로는 에너지, 엔트로피, 관성(inertia), 역차분(inverse difference), 상관도(correlation)등이 있고, [수학식 3] 내지 [수학식 5]를 통해 질감 정보(관성, 역차분, 상관도)를 추출할 수 있다.
Figure pat00003
여기서, Inertial BI (m, n)은 (M, N)내의 픽셀 값 a, b의 변화량을 의미한다.
Figure pat00004
여기서, Inverse difference BD (m, n)은 (M, N)내의 국부 영역의 동질성을 의미한다.
Figure pat00005
여기서, BC (m, n)는 (M, N)내의 국부 영역과 전체 영상의 상관도를 의미하고,
Figure pat00006
는 전체 영상의 평균이고,
Figure pat00007
는 전체 영상의 표준편차를 의미한다.
잠시 도 3을 참조하여, LBP(Local Binary Patterns)을 이용한 질감 정보를 추출하는 방법을 살펴보기로 한다. 도 3을 참조하면, [수학식 6]을 이용하여 그레이 레벨의 댁내 영상에서 각 픽셀의 주변 3x3 영역(30)의 밝기 변화를 바이너리 인코딩한 인덱스 값(32)으로 인코딩하여 LBP 코드(34)를 구할 수 있다.
Figure pat00008
Figure pat00009
여기서, 2P는 가중치 값이며 사용자의 선택에 의해 가중치의 적용 유무가 결정된다.
배경 학습부(220)는 추출된 질감 정보에 기초하여 영상에 대한 배경을 학습할 수 있다. 배경 학습부(220)는 댁내의 초기 촬영 시작 시점 또는 배경 학습 명령에 따라 일정 시간 동안 촬영된 댁내의 영상 프레임의 일부를 이용하여 배경에 대한 질감 정보를 학습할 수 있다. 예를 들면, 배경 학습부(220)는 SGLD 매트릭스 또는 LBP를 통해 추출된 질감 정보 및 가우시안 혼합 모델 또는 블록 단위의 통계 정보(평균, 분산)를 이용하여 영상에 대한 배경을 학습할 수 있다.
배경 학습부(220)는 댁내의 영상에서 그림자를 검출할 수 있다. 구체적으로, 배경 학습부(220)는 색상 정보 또는 질감 정보를 이용하여 그림자를 추출할 수 있다. 여기서, 색상 정보를 이용한 그림자 추출 방법은 RGB 색상 도메인이 아닌 HSV, YUV, 정규화 RGB 등의 색상 도메인을 이용하여 색상 정보를 추출하고, 그림자의 전 후의 색상 정보를 비교하여 그림자를 추출할 수 있다. 이 때, 광원의 조명 색상에 따라 그림자의 영역이 오탐될 수 있으므로 색상 정보 학습 시 광원의 주 성분을 분석하여 제거할 수 있다.
질감 정보를 이용한 그림자 추출 방법은 학습된 배경의 질감 정보를 이용하여 배경과 입력된 영상 간에 일정 값 이하의 차이가 발생하는 영역을 그림자 영역으로 판단하여 그림자를 검출할 수 있다.
이상 상황 감지부(230)는 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출하여 이상 상황을 감지할 수 있다. 잠시, 도 4 내지 5c를 참조하여 이상 상황을 감지하는 방법을 설명하기로 한다.
도 4를 참조하면, 댁내의 전체 영상에 대해서 질감 정보를 추출하고 배경을 학습하는 과정이 이상 상황 감지 장치(110)의 처리 능력에 부하가 될 경우, 추후 입력된 영상에서 움직임 객체 검출을 누락할 수 있는 문제가 발생할 수 있다. 이를 방지하기 위해, 댁내의 영상(400)에 가로 및 세로에 해당하는 MxN개의 막대 경계선(40, 42, 44, 46, 48, 50)을 설정하고 설정된 막대 경계선에 대한 질감 정보 및 학습된 배경을 이용하여 막대 경계선에서의 이상 상황 발생 여부를 감지할 수 있다.
도 5a 내지 5c를 참조하면, 야간의 경우, 입력된 영상(500)에서 움직임 객체를 검출하는 것은 어렵기 때문에 댁내의 감시 장소에 반사경(502)을 설치하게 되면, LED 표시등(102)이 장착되어 있는 모니터링 디바이스(100)를 통해 빛이 없는 어두운 환경에서도 움직임 객체(50)를 감시할 수 있다.
도 5b와 같이, 어두운 환경에서는 반사경(502)의 반점만이 모니터링 디바이스(100)의 화면에 표시된다. 움직임 객체(50)가 이동할 경우 반사경(502)의 반점을 가리게 되기 때문에, 반사경(502)의 총 반점 개수보다 작을 경우 이상 상황으로 판단할 수 있다.
도 5c는 반사경(502)의 반점을 찾는 예를 보여 주는 도면이다. 먼저 입력된 영상(500)을 이진화 영상(504)으로 변환하고 이진화 영상(504)에 대해서 잡음 제거를 위해 3 x 3 마스크를 이용한 팽창(dilation) 연산을 수행한다. 팽창을 수행한 영상(506)에서 윤곽선을 형성하고 있는 형상(508)을 찾으면 반점의 개수를 파악할 수 있다.
다시 도 2로 돌아오면, 이상 영상 감지부(232)는 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 동안 발생한 이상 영상을 감지할 수 있다. 예를 들면, 이상 영상 감지부(232)는 입력된 영상에서 학습된 배경의 픽셀과 다른 움직임이 있는 픽셀이 감지되면, 움직임이 있는 픽셀에 해당하는 영상을 이상 영상으로 판단할 수 있다.
소리 획득부(250)는 댁내의 모니터링 디바이스(100)로부터 댁내에서 발생한 소리를 획득할 수 있다.
음량 학습부(260)는 획득된 소리의 데시벨(dB; decibel) 값 또는 라우드니스(LKFS; Loudness, K-weighted relative to Full Scale) 값에 기초하여 댁내의 음량을 학습할 수 있다. 음량 학습부(260)는 기설정된 시간 동안 획득된 소리의 데시벨 값 또는 라우드니스 값에 대한 평균값으로 음량을 학습할 수 있다.
이상 소리 감지부(234)는 학습된 음량과 입력된 소리의 음량을 비교하여 특정 시간 동안 발생한 이상 소리를 감지할 수 있다. 예를 들면, 이상 소리 감지부(234)는 이상 소리가 감지된 경우, 애완 동물의 음향 학습에 기초하여 해당 이상 소리가 애완 동물에 대한 소리인지 여부를 판단할 수 있다. 이상 소리 감지부(234)는 이상 소리를 기설정된 범주(예컨대, 아기 울음 소리, 강아지 울음 소리, 싸이렌 소리, 유리창 깨지는 소리 등)의 소리 중 어느 소리에 포함되는지 분류할 수 있다.
이상 상황 요약 정보 생성부(240)는 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성할 수 있다. 이상 상황 요약 정보 생성부(240)는 움직임 객체가 검출된 특정 시간 동안의 움직임 객체의 이동 경로에 대한 정보를 포함하는 이상 상황 요약 정보를 생성할 수 있다. 이상 상황 요약 정보 생성부(240)는 움직임 객체의 이동 속도에 대한 정보를 포함하는 이상 상황 요약 정보를 생성할 수 있다. 잠시, 도 6a 내지 7b를 함께 참조하여 이상 영상에 대한 이상 상황 요약 정보를 생성하는 방법을 설명하기로 한다.
도 6a는 특정 시간 동안 발생한 이상 영상의 복수의 프레임을 나타낸 도면이다. 도 6a를 참조하면, 프레임 추출부(242)는 입력된 영상으로부터 움직임 객체(600)가 검출된 특정 시간(예컨대, t~t+6) 동안 기설정된 단위 시간마다의 복수의 프레임(602 내지 614)을 추출할 수 있다.
도 6b는 움직임 객체의 이동 경로를 나타낸 이상 상황 요약 정보를 나타낸 도면이다. 도 6a 및 6b를 참조하면, 움직임 객체 위치 추출부(244)는 복수의 프레임(602 내지 614) 각각에서 검출된 움직임 객체(600)의 위치 정보를 추출할 수 있다.
이상 상황 요약 정보 생성부(240)는 움직임 객체(600)의 위치 정보에 기초하여 움직임 객체(600)가 검출된 프레임 중 초기 프레임(602)에, 움직임 객체(600)의 이동 경로(616)에 대한 방향을 나타낸 이상 상황 요약 정보를 생성할 수 있다. 이 때, 이상 상황 요약 정보는 움직임 객체(600) 및 움직임 객체(600)의 이동 경로(616)가 표시된 이미지일 수 있다.
도 7a 내지 7b는 움직임 객체의 이동 속도에 따라 이상 상황 요약 정보를 차별적으로 생성하는 방법을 나타낸 도면이다.
도 7a 및 7b를 참조하면, 이상 상황 요약 정보 생성부(240)는 특정 시간(t~t+3) 동안, 움직임 객체(700)가 제 1 지점(p)으로부터 제 7 지점(p+7)까지 이동한 이동 경로 또는 이동 속도를 표현할 수 있다. 예를 들어, 이상 상황 요약 정보 생성부(240)는 특정 시간 동안의 복수의 프레임(702 내지 708) 각각에서의 움직임 객체(700)의 위치를 나타내는 복수의 제 1 표식(712)을 이상 상황 요약 정보(710)에 표시하고, 표시된 복수의 제 1 표식(712)을 연결하는 제 2 표식(714)을 표시함으로써 움직임 객체(700)의 이동 속도를 나타낼 수 있다.
다시 도 2로 돌아오면, 이상 상황 요약 정보 생성부(240)는 이상 소리의 검출 시점 및 이상 소리의 음량에 대한 정보를 이상 상황 요약 정보에 포함시킬 수 있다. 여기서, 이상 소리의 음량에 대한 정보는 움직임 객체가 검출된 특정 시간 동안에 검출된 이상 소리의 음량의 크기 및 검출 횟수 정보를 포함할 수 있다.
예를 들면, 도 8a 내지 8b와 같이, 이상 상황 요약 정보 생성부(240)는 움직임 객체(800)의 이동 경로(810)가 표시된 이미지(820)에 움직임 객체가 검출된 특정 시간 동안 이상 소리를 나타내기 위한 플레이바(830) 및 플레이바(830) 상에 이상 소리의 검출 시점에 대응하는 위치에 이상 소리를 나타내는 제 3 표식(840)이 표시된 이상 상황 요약 정보를 생성할 수 있다.
플레이바(830)의 위치는 움직임 객체의 이동 경로에 대응하여 결정될 수 있다. 예를 들어, 플레이바(830)의 시간 흐름(t부터 t+6까지의 시간 흐름)의 방향은 움직임 객체(800)가 검출된 위치에서 움직임 객체(800)가 사라지는 위치로의 방향에 대응할 수 있다.
여기서, 제 3 표식(840)의 크기는 이상 소리의 음량에 기초하여 결정될 수 있고, 플레이바(830) 상에 제 3 표식(840)의 크기가 표시될 수 있다. 제 3 표식(840)의 종류는 이상 소리의 종류에 기초하여 결정될 수 있다. 예를 들어, 이상 소리의 종류에 대응하는 이상 감지 이모티콘(예컨대, 강아지 이모티콘, 우는 아기 이모티콘, 싸이렌 이모티콘)이 제 3 표식(840)으로 플레이바(830) 상에 표시될 수 있다.
이상 상황 요약 정보 전송부(270)는 이상 상황 요약 정보를 사용자 단말(120)에게 전송할 수 있다.
한편, 당업자라면, 영상 획득부(200), 질감 정보 추출부(210), 배경 학습부(220), 이상 상황 감지부(230), 이상 영상 감지부(232), 이상 소리 감지부(234), 이상 상황 요약 정보 생성부(240), 프레임 추출부(242), 움직임 객체 위치 추출부(244), 소리 획득부(250), 음량 학습부(260) 및 이상 상황 요약 정보 전송부(270) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 9는 본 발명의 일 실시예에 따른, 댁내 모니터링을 위한 이상 상황 감지 방법을 나타낸 흐름도이다.
도 9에 도시된 실시예에 따른 이상 상황 감지 방법은 도 1 내지 도 8b에 도시된 실시예에 따른 모니터링 디바이스(100), 이상 상황 감지 장치(110) 및 사용자 단말(120)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 8b의 모니터링 디바이스(100), 이상 상황 감지 장치(110) 및 사용자 단말(120)에 관하여 기술된 내용은 도 9에 도시된 실시예에 따른 이상 상황 감지 방법에도 적용될 수 있다.
도 9를 참조하면, 단계 S901에서 이상 상황 감지 장치(110)는 댁내의 모니터링 디바이스(100)로부터 댁내의 영상을 획득할 수 있다.
단계 S903에서 이상 상황 감지 장치(110)는 획득된 댁내의 영상에 대한 질감 정보를 추출할 수 있다.
단계 S905에서 이상 상황 감지 장치(110)는 질감 정보에 기초하여 영상에 대한 배경을 학습할 수 있다.
단계 S907에서 이상 상황 감지 장치(110)는 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 동안 발생한 이상 영상을 감지할 수 있다.
단계 S909에서 이상 상황 감지 장치(110)는 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성할 수 있다. 여기서, 이상 상황 요약 정보는 움직임 객체의 이동 경로에 대한 정보를 포함할 수 있다.
상술한 설명에서, 단계 S901 내지 S909는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 모니터링 디바이스
110: 이상 상황 감지 장치
120: 사용자 단말
200: 영상 획득부
210: 질감 정보 추출부
220: 배경 학습부
230: 이상 상황 감지부
232: 이상 영상 감지부
234: 이상 소리 감지부
240: 이상 상황 요약 정보 생성부
242: 프레임 추출부
244: 움직임 객체 위치 추출부
250: 소리 획득부
260: 음량 학습부
270: 이상 상황 요약 정보 전송부

Claims (19)

  1. 댁내 모니터링을 위한 이상 상황 감지 장치에 있어서,
    댁내의 모니터링 디바이스로부터 상기 댁내의 영상을 획득하는 영상 획득부;
    상기 영상에 대한 질감 정보를 추출하는 질감 정보 추출부;
    상기 질감 정보에 기초하여 상기 영상에 대한 배경을 학습하는 배경 학습부;
    상기 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 구간 동안 발생한 이상 영상을 감지하는 이상 영상 감지부를 포함하는 이상 상황 감지부; 및
    상기 특정 시간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성하는 이상 상황 요약 정보 생성부
    를 포함하고,
    상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 경로에 대한 정보를 포함하는 것인, 이상 상황 감지 장치.
  2. 제 1 항에 있어서,
    상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 속도에 대한 정보를 더 포함하는 것인, 이상 상황 감지 장치.
  3. 제 1 항에 있어서,
    상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 경로가 표시된 이미지인 것인, 이상 상황 감지 장치.
  4. 제 1 항에 있어서,
    상기 이상 상황 요약 정보 생성부는 상기 움직임 객체가 검출된 시간 구간 동안, 상기 영상에서 기설정된 단위 시간마다의 복수의 프레임을 추출하는 프레임 추출부
    를 포함하는 것인, 이상 상황 감지 장치.
  5. 제 4 항에 있어서,
    상기 이상 상황 요약 정보 생성부는 상기 복수의 프레임 각각에서 검출된 상기 움직임 객체의 위치 정보를 추출하는 움직임 객체 위치 추출부
    를 더 포함하는 것인, 이상 상황 감지 장치.
  6. 제 5 항에 있어서,
    상기 이상 상황 요약 정보 생성부는 상기 움직임 객체의 위치 정보에 기초하여 상기 움직임 객체가 검출된 프레임 중 초기 프레임에 상기 움직임 객체의 이동 경로를 나타내는 것인, 이상 상황 감지 장치.
  7. 제 4 항에 있어서,
    상기 이상 상황 감지부는 상기 특정 시간 구간 동안 발생한 이상 소리를 감지하는 이상 소리 감지부
    를 더 포함하는 것인, 이상 상황 감지 장치.
  8. 제 7 항에 있어서,
    상기 이상 상황 요약 정보는 상기 이상 소리의 검출 시점 및 상기 이상 소리의 음량에 대한 정보를 더 포함하는 것인, 이상 상황 감지 장치.
  9. 제 6 항에 있어서,
    상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 경로를 표현하기 위하여 상기 복수의 프레임 각각에서의 상기 움직임 객체의 위치를 나타내는 제 1 표식 및 상기 제 1 표식을 연결하는 제 2 표식을 포함하는 것인, 이상 상황 감지 장치.
  10. 제 8 항에 있어서,
    상기 이상 상황 요약 정보는 상기 이상 소리를 나타내기 위한 플레이바, 상기 플레이바 상에 상기 이상 소리의 검출 시점에 대응하는 위치에 상기 이상 소리를 나타내는 제 3 표식을 포함하는 것인, 이상 상황 감지 장치.
  11. 제 10 항에 있어서,
    상기 제 3 표식의 크기는 상기 이상 소리의 음량에 기초하여 결정되는 것인, 이상 상황 감지 장치.
  12. 제 10 항에 있어서,
    상기 제 3 표식의 종류는 상기 이상 소리의 종류에 기초하여 결정되는 것인, 이상 상황 감지 장치.
  13. 제 10 항에 있어서,
    상기 플레이바의 위치는 상기 움직임 객체의 이동 경로에 대응하여 결정되는 것인, 이상 상황 감지 장치.
  14. 제 1 항에 있어서,
    상기 댁내의 모니터링 디바이스로부터 상기 댁내에서 발생한 소리를 획득하는 소리 획득부
    를 더 포함하는 것인, 이상 상황 감지 장치.
  15. 제 14 항에 있어서,
    상기 소리의 데시벨(dB; decibel) 값 또는 라우드니스(LKFS; Loudness, K-weighted relative to Full Scale) 값에 기초하여 상기 댁내의 음량을 학습하는 음량 학습부
    를 더 포함하는 것인, 이상 상황 감지 장치.
  16. 제 15 항에 있어서,
    상기 이상 상황 감지부는 상기 학습된 음량과 입력된 소리의 음량을 비교하여 특정 시간 구간 동안 발생한 이상 소리를 감지하는 이상 소리 감지부
    를 더 포함하는 것인, 이상 상황 감지 장치.
  17. 제 1 항에 있어서,
    상기 이상 상황 요약 정보를 사용자 단말로 전송하는 이상 상황 요약 정보 전송부
    를 더 포함하는 것인, 이상 상황 감지 장치.
  18. 댁내 모니터링을 위한 이상 상황 감지 방법에 있어서,
    댁내의 모니터링 디바이스로부터 상기 댁내의 영상을 획득하는 단계;
    상기 영상에 대한 질감 정보를 추출하는 단계;
    상기 질감 정보에 기초하여 상기 영상에 대한 배경을 학습하는 단계;
    상기 학습된 배경과 입력된 영상을 비교하여 움직임 객체를 검출함으로써 특정 시간 구간 동안 발생한 이상 영상을 감지하는 단계; 및
    상기 특정 시간 구간 동안 발생한 이상 영상에 대한 이상 상황 요약 정보를 생성하는 단계
    를 포함하고,
    상기 이상 상황 요약 정보는 상기 움직임 객체의 이동 경로에 대한 정보를 포함하는 것인, 이상 상황 감지 방법.
  19. 컴퓨터에서 제 18 항의 방법을 실행시키기 위한 매체에 저장된 컴퓨터 프로그램.
KR1020170114888A 2017-09-08 2017-09-08 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램 KR20190028016A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170114888A KR20190028016A (ko) 2017-09-08 2017-09-08 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170114888A KR20190028016A (ko) 2017-09-08 2017-09-08 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20190028016A true KR20190028016A (ko) 2019-03-18

Family

ID=65949125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170114888A KR20190028016A (ko) 2017-09-08 2017-09-08 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램

Country Status (1)

Country Link
KR (1) KR20190028016A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489076A (zh) * 2019-08-22 2019-11-22 百度在线网络技术（北京）有限公司 环境声音监控方法、装置以及电子设备
CN113627330A (zh) * 2021-08-10 2021-11-09 北京百度网讯科技有限公司 识别目标类型动态图像的方法、装置及电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489076A (zh) * 2019-08-22 2019-11-22 百度在线网络技术（北京）有限公司 环境声音监控方法、装置以及电子设备
CN110489076B (zh) * 2019-08-22 2024-03-01 百度在线网络技术（北京）有限公司 环境声音监控方法、装置以及电子设备
CN113627330A (zh) * 2021-08-10 2021-11-09 北京百度网讯科技有限公司 识别目标类型动态图像的方法、装置及电子设备
CN113627330B (zh) * 2021-08-10 2024-05-14 北京百度网讯科技有限公司 识别目标类型动态图像的方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN109167997B (zh) 一种视频质量诊断***及方法
US10872434B2 (en) Image processing apparatus and method
KR100922784B1 (ko) 영상 기반 화재 감지 방법 및 이를 적용한 방범 및 방재 시스템
KR100837406B1 (ko) 영상 감시 장치를 포함한 휴대 단말기 및 이를 이용한 영상감시 방법, 및 영상 감시 시스템
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
CN103283225A (zh) 多分辨率图像显示
US10373015B2 (en) System and method of detecting moving objects
CN104704816A (zh) 从多个拍摄图像检测事件的设备和方法
JP2016110578A (ja) 画像認識システム、サーバ装置及び画像認識方法
US11935378B2 (en) Intrusion detection methods and devices
CN105577983A (zh) 检测运动遮罩的设备和方法
CN111489342A (zh) 一种基于视频的火焰检测方法、***及可读存储介质
CN109543650A (zh) 仓库智能监控方法和***
JP2018205900A (ja) 監視システム及び監視方法
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
US20190073813A1 (en) Image processing apparatus, image providing apparatus,control methods thereof, and medium
JP5955170B2 (ja) 表示制御装置、表示制御方法、及びプログラム
KR20190028016A (ko) 댁내를 모니터링하는 장치, 방법 및 컴퓨터 프로그램
KR102128319B1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
CN108765466A (zh) 一种基于网络摄像头的智能视频监控***及方法
KR20160093253A (ko) 영상 기반 이상 흐름 감지 방법 및 그 시스템
CN104202533B (zh) 移动检测装置及移动检测方法
JP2021007055A (ja) 識別器学習装置、識別器学習方法およびコンピュータプログラム
KR20230145296A (ko) 히트맵을 생성하는 장치 및 방법
KR102527771B1 (ko) Tof 카메라와 디지털 트윈기술을 이용한 독거노인 행동관찰 및 이상행위 모니터링 시스템 및 방법