KR102630227B1 - 감시 데이터 제공 시스템 및 방법 - Google Patents
감시 데이터 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR102630227B1 KR102630227B1 KR1020160092889A KR20160092889A KR102630227B1 KR 102630227 B1 KR102630227 B1 KR 102630227B1 KR 1020160092889 A KR1020160092889 A KR 1020160092889A KR 20160092889 A KR20160092889 A KR 20160092889A KR 102630227 B1 KR102630227 B1 KR 102630227B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- event
- pattern
- detected
- surveillance
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000010586 diagram Methods 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/431—Frequency domain transformation; Autocorrelation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Acoustics & Sound (AREA)
- Emergency Management (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
감시 데이터 제공 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 판단하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부 및 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 포함한다.
Description
본 발명은 감시 데이터 제공 시스템 및 방법에 관한 것으로, 보다 구체적으로는 감시지역에서 획득되는 영상 데이터와 음성 데이터의 시간대별 패턴을 분석, 학습하고, 학습된 결과를 고려하여 사용자에게 제공될 이벤트 목록의 우선순위를 결정하는 감시 데이터 제공 시스템 및 방법에 관한 것이다.
감시 시스템은 특정 감시 지역을 촬영하는 장치로부터 영상과 음성을 수신하고, 수신된 영상과 음성을 분석하여 이상 상황이 발생하였는지 여부를 판단한다. 그리고, 이상 상황이 발생한 경우, 사용자에게 다양한 형태의 컨텐츠를 통해 제공할 수 있다.
이때, 이상 상황이 발생한 것으로 판단하기 위한 기준은 사용자로 하여금 결정하게 하는 시스템이 대다수이며, 사용자가 설정하지 않은 기준은 이상 상황 발생 여부를 판단하는데 적용되지 못한다.
사용자의 요구에 적합한 결과를 제공한다는 측면에서는 종래의 감시 시스템의 유용함을 인정하지 않을 수 없으나, 사용자가 미처 인식하지 못하는 이상 상황이 발생하는 경우에는 종래의 감시 시스템에 제 기능을 기대하지 못하는 문제가 발생할 수 있다.
본 발명은 감시 시스템 스스로 주변의 상황을 학습하고, 학습 결과에 대응하는 이상 상황 발생의 기준을 설정할 수 있는 감시 데이터 제공 시스템 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 감시 데이터 제공 시스템은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 판단하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부 및 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 포함한다.
또한, 상기 패턴 학습부는, 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 모듈 및 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 모듈을 포함하고, 상기 제1 및 제2 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단할 수 있다.
또한, 상기 패턴 학습부는 상기 제1 학습 모듈 및 상기 제2 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며, 상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.
또한, 상기 이벤트 검출부는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출할 수 있으며, 상기 이벤트 검출부는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단할 수 있다.
또한, 상기 패턴 학습부는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고, 상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성할 수 있다.
한편, 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부 및 상기 제1 영상 데이터 및 상기 제1 음성 데이터를 저장하는 데이터베이스를 포함하고, 상기 패턴 학습부는 사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트한다.
또한, 상기 이벤트 검출부에서 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 더 포함하고, 상기 이벤트 출력부는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가할 수 있다.
또한, 상기 패턴 학습부는 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 영상 학습 모듈 및 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 음성 학습 모듈을 포함하고, 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단할 수 있다.
또한, 상기 패턴 학습부는 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며, 상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.
또한, 상기 이벤트 검출부는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출할 수 있으며, 상기 이벤트 검출부는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단할 수 있다.
또한, 상기 패턴 학습부는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고, 상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성할 수 있다.
본 발명의 일 실시예에 따른 감시 데이터 제공 방법은, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 판단하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습 단계, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출 단계 및 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력 단계를 포함한다.
또한, 상기 패턴 학습 단계는, 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 단계 및 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 단계를 포함하고, 상기 제1 및 제2 학습 단계에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단할 수 있다.
또한, 상기 패턴 학습 단계에서는 상기 제1 학습 단계 및 상기 제2 학습 단계에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며, 상기 이벤트 검출 단계에서는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단할 수 있다.
또한, 상기 이벤트 검출 단계에서는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하되, 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단할 수 있다.
또한, 상기 패턴 학습 단계에서는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고, 상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성할 수 있다.
또한, 사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 하는 단계를 더 포함할 수 있으며, 상기 제1 영상 데이터 및 상기 제1 음성 데이터는 데이터베이스에 저장되고, 상기 이벤트 출력 단계에서는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가할 수 있다.
본 발명은 감시 시스템 스스로 주변의 상황을 학습하고, 학습 결과에 대응하는 이상 상황 발생의 기준을 설정할 수 있는 감시 데이터 제공 시스템 및 방법을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 패턴 학습부의 구성을 개략적으로 나타내는 도면이다.
도 3은 데이터 패턴 변화에 따른 이벤트 모델을 예시적으로 나타내는 도면이다.
도 4는 복수 개의 카메라를 이용하여 영상 데이터 패턴을 분석하는 구성을 개략적으로 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 패턴 학습부의 구성을 개략적으로 나타내는 도면이다.
도 3은 데이터 패턴 변화에 따른 이벤트 모델을 예시적으로 나타내는 도면이다.
도 4는 복수 개의 카메라를 이용하여 영상 데이터 패턴을 분석하는 구성을 개략적으로 나타내는 도면이다.
도 5는 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 8은 본 발명의 또 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템(100)은 패턴 학습부(110), 이벤트 검출부(120) 및 이벤트 출력부(130)를 포함한다. 패턴 학습부(110) 및 이벤트 검출부(120)는 감시 지역에 설치되어 있는 감시 카메라로부터 상기 감시 지역에 대한 영상과 음성을 획득할 수 있다.
도 1에는 하나의 감시 카메라가 도시되어 있으나, 본 발명이 반드시 하나의 감시 카메라로 제한되는 것은 아니며, 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템(100)은 복수의 카메라에서 영상과 음성을 획득할 수 있으며, 획득된 영상과 음성에 대하여 개별적으로 동시에 처리할 수도 있다.
패턴 학습부(110)는 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성한다.
상기 시간대별 데이터 패턴은 해당 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 시간대에 따른 특징을 의미한다. 상기 영상 데이터의 경우 시간대에 따라 검출되는 객체의 수 및/또는 상기 영상 데이터의 평균 색상이 상기 시간대별 데이터 패턴이 될 수 있다. 그리고, 상기 음성 데이터의 경우, 시간대에 따른 소리의 크기가 데이터 패턴이 될 수 있다.
패턴 학습부(110)는 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 지속적으로 수신하고, 상기 데이터 패턴을 분석하고 학습하는 과정을 통하여 상기 감시 지역에서 발생하는 상황의 일반적인 패턴을 판단할 수 있다.
예를 들어, 상기 감시 지역에서 획득되는 한 달 동안의 영상 데이터를 통해 상기 감시 지역의 오전 10시부터 오전 11시까지 검출되는 객체 수에 대한 통계 값을 분석할 수 있으며, 상기 감시 지역에서 획득되는 한 달 동안의 음성 데이터를 통해 상기 감시 지역의 오전 10시부터 오전 11시까지 발생하는 소음의 크기에 대한 통계 값을 분석할 수 있다.
패턴 학습부(110)는 상기 통계 값을 통하여 상기 감시 지역의 시간대별 객체 검출 동향 및 상기 감시 지역의 시간대별 소음 발생 동향을 판단할 수 있으며, 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 상기 감시 지역에 대한 시간대별 이벤트 모델을 생성할 수 있다.
상기 이벤트 모델은 상기 감시 지역에서 획득되는 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 생성될 수 있으며, 예를 들어, 상기 이벤트 모델은 오전 10시부터 한 시간 동안 상기 감시 지역에서 검출되는 객체의 수, 상기 영상 데이터의 평균 생상 및/또는 검출되는 객체의 움직임 정도에 관한 평균 값으로 이루어질 수 있다. 마찬가지로, 상기 이벤트 모델은 상기 감시 지역에서 오전 10시부터 한 시간 동안 발생한 소음 크기의 평균 값을 포함할 수 있다.
따라서, 상기 이벤트 모델은 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 시간대별 평균 데이터 값으로 이루어지는 것으로 이해할 수 있다.
이벤트 검출부(120)는 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음석 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여한다.
상기 우선순위가 높을수록 이에 해당하는 이벤트는 상기 이벤트 모델에 대응하는 영상 데이터 및/또는 음성 데이터의 평균적인 통계 값을 많이 벗어나는 제1 영상 데이터 및/또는 제1 음성 데이터를 포함하는 것으로 이해할 수 있다.
상기 이벤트 모델은 시간대별로 생성될 수 있으므로 복수 개가 생성될 수 있으며, 각각의 시간대에 대응하는 상기 제1 영상 데이터와 상기 제1 음성 데이터는 상기 이벤트 모델을 구성하는 영상 데이터 패턴 및 음성 데이터 패턴과 비교된다.
비교 결과, 상기 제1 영상 데이터의 패턴이 상기 이벤트 모델을 구성하는 영상 데이터의 패턴에서 일정 기준 이상 벗어나게 되면, 상기 제1 영상 데이터는 사용자에게 제공될 이벤트를 포함하는 것으로 판단될 수 있다. 그리고, 상기 기준에서 더 많이 벗어날수록 상기 우선순위는 높아지게 된다.
이와 마찬가지로, 상기 제1 음성 데이터의 패턴이 상기 이벤트 모델을 구성하는 음성 데이터의 패턴에서 일정 기준 이상 벗어나게 되면, 상기 제1 음성 데이터는 사용자에게 제공될 이벤트를 포함하는 것으로 판단될 수 있으며, 상기 기준에서 더 많이 벗어날수록 상기 우선순위는 높아지게 된다.
이벤트 출력부(130)는 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력한다. 우선순위가 가장 높은 이벤트는 상기 목록에서 가장 첫 번째에 표시될 수 있으며, 상기 목록을 제공받는 사용자는 상기 목록에 표시되는 순서에 따라 우선적으로 확인해야 하는 이벤트를 판단할 수 있다.
한편, 상기 목록에 포함되는 이벤트는 상기 우선순위에 대응하는 순서에 따라 표시되거나, 또는 상기 우선순위에 대응하는 크기를 갖는 아이콘 또는 썸네일로 표시될 수 있다.
도 2는 본 발명의 일 실시예에 따른 패턴 학습부의 구성을 개략적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 패턴 학습부(110)는 제1 학습 모듈(111)과 제2 학습 모듈(112)을 포함한다. 제1 학습 모듈(111)은 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출한다.
도 1을 참조로 하여 설명한 바와 같이, 패턴 학습부(110)는 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습한다.
제1 학습 모듈(111)은 상기 영상 데이터의 시간대별 데이터 패턴을 학습하는 모듈에 해당하며, 상기 영상 데이터의 평균 색상의 시간대별 변화 패턴, 시간대별 검출되는 객체 수, 검출되는 객체 수의 시간대별 변화 패턴 및/또는 검출되는 객체의 움직임 정도에 대한 시간대별 변화 패턴에 관한 통계 값을 산출한다.
예를 들어, 제1 학습 모듈(111)은 감시 지역에서 오전 3시부터 10분 동안 획득된 영상 데이터의 평균 색상을 산출하거나, 상기 10분 상기 영상 데이터에서 검출되는 객체의 수를 산출할 수 있다.
또한, 오전 3시부터 획득된 상기 영상 데이터를 10분 간격으로 구분하여, 각 10분 동안의 평균 색상, 검출 객체의 수, 객체의 움직임 정도에 대한 통계 값을 산출할 수 있다.
이때, 상기 오전 3시 및 상기 10분의 시간 간격은 발명의 설명을 위한 예시에 불과할 뿐, 이로써 본 발명이 제한되는 것은 아니다. 즉, 상기 영상 데이터는 24시간 동작하는 카메라로부터 획득될 수 있으며, 제1 학습 모듈(111)은 미리 설정된 시간 간격으로 상기 영상 데이터를 구분함으로써 시간대별 영상 데이터의 패턴을 분석하고, 분석된 결과를 학습할 수 있다.
한편, 제1 학습 모듈(111)은 앞서 설명한 상기 영상 데이터의 시간대별 평균 색상 및 검출되는 객체의 수를 비롯하여 상기 영상 데이터에서 추출 가능한 다양한 종류의 데이터 특성을 학습할 수 있다.
예를 들어, 제1 학습 모듈(111)은 상기 영상 데이터에서 검출되는 객체에 각각 고유한 ID를 부여할 수 있으며, 상기 ID를 이용하여 상기 객체의 이동 경로를 검출하는 것도 가능하다.
또한, 시간대별 또는 요일별로 검출되는 객체의 ID를 분석하고, 상시로 검출되는 객체 ID의 집합을 이벤트 모델로 생성할 수 있을 것이다.
제2 학습 모듈(112)은 상기 음성 데이터의 시간대별 데이터 패턴을 학습하는 모듈에 해당하며, 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출한다. 그리고, 이때 상기 소리의 크기는 데시벨(dB) 단위로 산출될 수 있다.
예를 들어, 제2 학습 모듈(112)은 상기 감시 지역에서 오전 3시부터 10분 동안 획득된 음성 데이터에서 소리의 크기를 판단하고, 판단한 결과를 바탕으로 상기 10분 동안 상기 감시 지역에서 발생하는 소리의 크기의 통계 값을 산출할 수 있다. 또한, 오전 3시부터 획득된 상기 영상 데이터를 10분 간격으로 구분하여, 각 10분 동안 발생한 소리의 크기를 판단할 수 있다.
이때, 상기 오전 3시 및 상기 10분의 시간 간격은 발명의 설명을 위한 예시에 불과할 뿐, 이로써 본 발명이 제한되는 것은 아니다. 즉, 상기 음성 데이터는 24시간 동작하는 카메라로부터 획득될 수 있으며, 제2 학습 모듈(112)은 미리 설정된 시간 간격으로 상기 음성 데이터를 구분함으로써 시간대별 음성 데이터의 패턴을 분석하고, 분석된 결과를 학습할 수 있다.
한편, 제2 학습 모듈(112)은 앞서 설명한 소리의 크기를 비롯하여 상기 음성 데이터로부터 검출되는 다양한 소리의 특성을 학습할 수 있다. 예를 들어, 제2 학습 모듈(112)은 상기 음성 데이터에서 검출되는 소리의 주파수 특성 및 시간대별로 검출되는 소리의 종류를 학습할 수 있다.
그리고, 학습한 정보를 이용하여 이벤트 모델을 생성할 수 있을 것이다.
한편, 패턴 학습부(110)는 제1 학습 모듈(111) 및 제2 학습 모듈(112)에서 산출되는 평균 값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 이벤트 모델을 생성할 수 있다.
상기 이벤트 모델은 상기 감시 지역에서 획득되는 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 생성될 수 있으며, 예를 들어, 상기 이벤트 모델은 상기 오전 3시부터 10분 동안 상기 감시 지역에서 검출되는 객체의 수, 상기 영상 데이터의 평균 생상 및/또는 검출되는 객체의 움직임 정도에 관한 평균 값으로 이루어질 수 있다. 마찬가지로, 상기 이벤트 모델은 상기 감시 지역에서 상기 오전 3시부터 한 시간 동안 발생한 소음 크기의 평균 값을 포함할 수 있다.
따라서, 상기 이벤트 모델은 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 시간대별 평균 데이터 값으로 이루어지는 것으로 이해할 수 있다.
예컨대, 상기 감시 지역에서 오전 3시부터 한 시간 동안 획득되는 영상 데이터에서 검출되는 객체의 수가 평균 2개이고, 상기 감시 지역에서 상기 시간대에 획득되는 음성 데이터에서 검출되는 소리의 크기가 평균 40dB인 경우, 상기 감시 지역에 대한 오전 3시부터 한 시간 동안의 이벤트 모델은 2개의 객체와 40dB로 이루어지는 것으로 이해할 수 있다. 따라서, 상기 이벤트 모델은 시간대별로 복수 개가 생성될 수 있다.
한편, 도 1을 참조로 하여 설명한 바와 같이, 이벤트 검출부(120)는 상기 이벤트 모델과, 제1 영상 데이터 및 제1 음성 데이터를 비교한다. 상기 제1 영상 데이터 및 상기 제1 음성 데이터는 상기 이벤트 모델이 생성된 이후에 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 의미한다.
상기 이벤트 모델이 생성된 후에도 상기 감시 지역에 설치된 카메라로부터 지속적으로 영상 데이터와 음성 데이터가 획득되며, 상기 이벤트 모델이 생성된 이후에 발생하는 상황에 대한 이상 여부를 판단하기 위하여, 이벤트 검출부(120)는 상기 이벤트 모델과 상기 제1 영상 데이터를 비교하고, 상기 이벤트 모델과 상기 제1 음성 데이터를 비교한다.
한편, 앞서 설명한 바와 같이, 상기 이벤트 모델은 시간대별로 복수 개가 생성될 수 있으므로, 이벤트 검출부(120)는 하나의 이벤트 모델과 상기 이벤트 모델에 대응하는 시간대에 획득된 상기 제1 영상 데이터 및 상기 제1 음성 데이터를 비교함으로써 이벤트 발생 여부를 판단할 수 있다.
예를 들어, 오전 3시부터 10분 동안의 영상 데이터와 음성 데이터를 기초로 하여 생성된 이벤트 모델은 상기 이벤트 모델이 생성된 이후 시점의 오전 3시부터 10분 동안 획득된 제1 영상 데이터와 제1 음성 데이터와 비교될 수 있다.
보다 구체적으로, 이벤트 검출부(120)는 상기 이벤트 모델의 기초가 되는 영상 데이터의 데이터 패턴과 상기 제1 영상 데이터의 데이터 패턴을 비교할 수 있으며, 상기 제1 영상 데이터의 데이터 패턴이 상기 영상 데이터의 데이터 패턴을 벗어나는 경우, 이벤트가 발생한 것으로 판단할 수 있다.
예를 들어, 상기 이벤트 모델의 기초가 되는 영상 데이터의 평균 색상이 120 gray level이고, 상기 제1 영상 데이터의 gray level이 150인 경우, 이벤트 검출부(120)는 상기 감시 지역에 이벤트가 발생한 것으로 판단할 수 있다. 이때, 이벤트 검출부(120)는 실시간으로 획득되는 상기 제1 영상 데이터를 상기 이벤트 모델과 비교함으로써 상기 감시 지역에서의 이벤트 발생 여부를 실시간으로 판단할 수 있다.
또한, 상기 이벤트 모델의 기초가 되는 음성 데이터의 평균 소리의 크기가 40dB이고, 상기 제1 음성 데이터의 평균 소리의 크기가 60dB인 경우, 이벤트 검출부(120)는 상기 감시 지역에 이벤트가 발생한 것으로 판단할 수 있다. 이때, 이벤트 검출부(120)는 실시간으로 획득되는 상기 제1 음성 데이터를 상기 이벤트 모델과 비교함으로써, 상기 감시 지역에서의 이벤트 발생 여부를 실시간으로 판단할 수 있다.
앞선 예시에서는 상기 제1 영상 데이터와 상기 제1 음성 데이터에서 검출되는 데이터 패턴이 상기 이벤트 모델 생성의 기초가 되는 영상 데이터와 음성 데이터의 통계 값을 초과하는 경우를 설명하였으나, 본 발명이 반드시 이러한 경우로 제한되는 것은 아니며, 상기 제1 영상 데이터와 상기 제1 음성 데이터에서 검출되는 데이터 패턴이 상기 이벤트 모델 생성의 기초가 되는 영상 데이터와 음성 데이터의 통계 값 미만인 경우에도 해당 감시 지역에 이벤트가 발생한 것으로 판단할 수 있다.
도 3은 데이터 패턴 변화에 따른 이벤트 모델을 예시적으로 나타내는 도면이다.
도 3(a)는 감시 지역에서 획득되는 영상 데이터에서 검출되는 객체의 수를 나타내며, 도 3(b)는 상기 감시 지역에서 획득되는 음성 데이터의 크기를 나타낸다. 도 3에 도시되는 그래프는 발명의 설명을 위한 예에 불과하므로, 상기 그래프에 의하여 본 발명이 제한되는 것은 아니다.
도 3(a) 및 도 3(b)의 그래프에서 가로축은 시간을 의미하며 자정부터 24시간 동안의 데이터 변화를 나타낸다. 또한, 상기 그래프들은 특정한 요일 또는 날짜에 대응하지 않으며, 도 3(a)의 그래프와 도 3(b)의 그래프는 서로 다른 날에 획득된 데이터를 의미할 수 있다.
한편, 상기 그래프들은 상기 감시 지역에서 일주일 동안 획득된 영상 데이터와 음성 데이터의 평균적인 데이터 변화 패턴을 의미할 수 있다. 따라서, 상기 감시 지역에서 상기 데이터 변화 패턴에 상응하지 않는 영상 데이터 또는 음성 데이터가 검출되는 경우, 상응하지 않는 시점에서 이벤트가 발생한 것으로 판단될 수 있다.
상기 데이터 변화 패턴을 획득하기 위한 시간은 이벤트 발생을 판단하기 위하여 충분한 시간이 되어야 하며, 앞서 설명한 바와 같이 일주일이 될 수 있으며, 1개월 또는 3개월이 될 수도 있다.
먼저 도 3(a)를 참조하면, 상기 감시 지역에서 검출되는 객체의 수는 자정부터 점차 증가하다가 오후 3시경에 가장 큰 값을 갖는다. 그리고, 도 3(b)를 참조하면, 상기 감시 지역에서의 발생하는 소리의 크기 변화 패턴을 확인할 수 있다.
도 3(a)와 도 3(b)의 그래프는 각각 독립적으로 이벤트 모델이 될 수 있다. 도 1 및 도 2를 참조로 하여 설명한 이벤트 검출부(120)는 도 3(a) 및 도 3(b)에 도시되는 그래프를 이벤트 모델로 하여, 상기 제1 영상 데이터 및 상기 제1 음성 데이터를 상기 이벤트 모델과 비교하고, 이벤트 발생 여부를 판단할 수 있다.
본 발명에 따른 감시 데이터 제공 시스템(100)은 시간대별 데이터 패턴을 고려하여 이벤트 발생 여부를 판단하고, 그 우선순위에 대응하여 이벤트 목록을 제공하는 것을 목적으로 한다.
시간대별 데이터 패턴을 분석함에 있어서, 시간을 최대한 작은 단위로 분할하여 각각의 단위 시간에 대한 이벤트 모델을 생성할 수 있지만, 개별 시간대에 대응하는 각각의 이벤트 모델은 인접하는 시간대에 대응하는 이벤트 모델과 연속성을 갖지 않을 수 있다.
반면, 상기 제1 영상 데이터와 상기 제1 음성 데이터는 연속적인 시간의 흐름에 따라 데이터 패턴이 변화할 수 있으며, 이러한 점을 고려하기 위해서는 상기 이벤트 모델 또한 연속적인 흐름을 갖는 데이터 패턴을 포함하도록 생성되는 것이 바람직하다.
상기 이벤트 모델을 도 3에 도시되는 바와 같은 그래프의 형태로 생성하고, 상기 제1 영상 데이터 및 상기 제1 음성 데이터의 데이터 변화 패턴 또한 상기 그래프의 형태로 생성함으로써, 전체적인 데이터의 변화 패턴을 비교하고, 상기 이벤트 모델의 데이터 변화 패턴에 상응하지 않는 지점이 검출되면, 해당 지점에서 이벤트가 발생한 것으로 판단할 수 있다.
이때, 상기 데이터 변화 패턴에 상응하는 여부는, 상기 이벤트 모델의 그래프와 상기 제1 영상 데이터 또는 상기 제1 음성 데이터가 정확히 일치하는 것을 의미하지 않는다.
따라서, 미리 정해진 오차 범위를 기준으로 하여, 상기 오차 범위를 벗어나는 데이터가 검출되는 지점에서 이벤트가 발생한 것으로 판단할 수 있다. 또한, 상기 오차 범위를 벗어나는 정도를 기준으로 해당 이벤트에 우선 순위를 부여할 수 있을 것이다.
도 4는 복수 개의 카메라를 이용하여 영상 데이터 패턴을 분석하는 구성을 개략적으로 나타내는 도면이다.
도 1을 참조로 하여 설명한 바와 같이, 본 발명의 일 실시예에 따른 감시 데이터 제공 시스템(100)은 복수의 카메라에서 영상과 음성을 획득할 수 있으며, 획득된 영상과 음성에 대하여 개별적으로 동시에 처리할 수도 있다.
이때, 패턴 학습부(110)는 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별할 수 있으며, 상기 이동 경로의 시간대별 데이터 패턴을 고려하여 이벤트 모델을 생성할 수 있다.
도 4에 도시되는 복수 개의 카메라는 상기 감시 지역 중 각각 다른 지점을 촬영하며, 각각의 카메라가 촬영하는 영상은 서로 중첩(overlap)되지 않는 것으로 이해할 수 있다.
패턴 학습부(110)는 상기 각각의 카메라로부터 영상 데이터를 획득하고, 각각의 영상 데이터에서 객체를 검출할 수 있다. 이때, 동일한 객체가 복수의 영상 데이터에서 검출되는 경우, 패턴 학습부(110)는 상기 객체의 이동 경로를 추적할 수 있다.
예를 들어, 제1 객체가 제1 영상 데이터 내지 제3 영상 데이터에서 모두 검출되는 경우, 상기 제1 객체는 시간 간격을 두고 상기 제1 내지 제3 영상 데이터에서 검출될 수 있다.
예를 들어, 패턴 학습부(110)는 상기 제1 객체의 이동 경로를 분석하여, 상기 제1 객체가 상기 제1 영상 데이터를 획득하는 제1 카메라의 촬영 지점에서, 상기 제2 영상 데이터를 획득하는 제2 카메라의 촬영 지점으로 이동하고, 상기 제3 영상 데이터를 획득하는 제3 카메라의 촬영 지점으로 순차적으로 이동하는 것을 판단할 수 있다.
이때, 상기 이동 경로는 상기 감시 지역에서의 상기 제1 객체의 평균적인(일반적인) 이동 경로로 이해할 수 있다. 패턴 학습부(110)는 상기 이동 경로를 상기 제1 객체에 대한 이벤트 모델로 생성할 수 있다.
이벤트 검출부(120)는 상기 감시 지역에서 상기 제1 객체가 다시 검출되고, 상기 이동 경로에 대응하는 상기 이벤트 모델과 상기 제1 객체의 이동 경로를 비교하여 이벤트 발생 여부를 판단할 수 있다.
도 5는 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템의 구성을 개략적으로 나타내는 도면이다.
도 5를 참조하면, 본 발명의 다른 실시예에 따른 감시 데이터 제공 시스템(200)은, 패턴 학습부(210), 이벤트 검출부(220), 이벤트 출력부(230) 및 데이터베이스(240)를 포함한다.
패턴 학습부(210), 이벤트 검출부(220) 및 이벤트 출력부(230)는 도 1 및 도 2를 참조로 하여 설명한 패턴 학습부(110), 이벤트 검출부(120) 및 이벤트 출력부(130)와 실질적으로 동일한 기능을 수행하므로, 중복되는 내용에 한하여 구체적인 설명은 생략하기로 한다.
데이터베이스(240)는 제1 영상 데이터 및 제1 음성 데이터를 저장한다. 도 2를 참조로 하여 설명한 바와 같이, 상기 제1 영상 데이터와 제1 음성 데이터는 패턴 학습부(210)에서 이벤트 모델이 생성된 이후에 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 의미한다.
패턴 학습부(210)는 사용자로부터 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 한다. 패턴 학습부(210)는 상기 검색 요청에 포함된 시간과 데이터의 특징에 대응하여, 해당 시간대에 상기 데이터 특징을 갖는 이벤트 모델을 생성할 수 있다. 그리고, 새롭게 생성된 상기 이벤트 모델은 기존의 이벤트 모델과 함께 새로운 이벤트 모델에 포함될 수 있다.
도 1 및 도 2를 참조로 하여 설명한 바와 같이, 상기 이벤트 모델은 이벤트 발생 여부를 판단하는 기준이 된다. 도 1을 참조로 하여 설명한 감시 데이터 제공 시스템(100)은 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 패턴을 기준으로 이벤트 발생 여부를 판단하는 것을 특징으로 한다.
도 5에 도시되는 감시 데이터 제공 시스템(200)은 사용자의 검색 요청을 반영하여, 상기 영상 데이터와 음성 데이터를 바탕으로 하여 생성된 이벤트 모델을 업데이트 하는 것을 특징으로 한다.
충분한 시간 동안 획득한 데이터를 분석하여 이벤트 모델을 생성하는 경우에도, 사용자가 원하는 상황이 이벤트로 검출되지 않을 수 있다. 그리고, 사용자는 확인하고자 하는 상황에 대한 데이터 특성 등을 입력하는 방법을 통해 특정 시간에 발생한 상황 또는 특정한 상황을 확인할 수 있다.
이때, 사용자의 검색 요청은 시간 또는 데이터 특성 등이 될 수 있으며, 패턴 학습부(210)는 상기 검색 요청을 고려하여 상기 이벤트 모델을 업데이트 할 수 있다.
예를 들어, 사용자가 오후 10시를 전후로 하여 10분 동안의 상황을 확인하고자 검색 요청을 입력하는 경우, 패턴 학습부(210)는 오후 10시를 기준으로 앞 뒤 10분 동안의 시간을 이벤트 모델에 추가할 수 있다.
다만, 상기 검색 요청을 반영하여 상기 이벤트 모델을 업데이트 하는 것은, 동일 또는 유사한 검색 요청이 일정 횟수 이상 입력된 경우에 한하여 이루어지는 것이 바람직할 것이다.
일회성 검색 요청에 대해 이벤트 모델 업데이트가 수행되면 중요도가 떨어지는 상황도 이벤트 상황으로 판단되고, 상대적으로 중요한 상황에 대한 데이터 제공이 원활하게 이루어지지 않을 수 있기 때문이다.
한편, 이벤트 출력부(230)는 상기 검색 요청에 대응하는 데이터를 데이터베이스(240)에서 검색한다. 데이터베이스(240)에 저장되는 데이터는 상기 제1 영상 데이터 및 상기 제1 음성 데이터이므로, 이벤트 출력부(230)는 데이터베이스(240)에 저장된 상기 제1 영상 데이터 및 상기 제1 음성 데이터 중 상기 검색 요청에 대응하는 데이터를 검색한다. 그리고, 이벤트 출력부(230)는 상기 검색 요청에 대응하여 검색된 데이터를 이벤트 목록에 추가한다.
상기 이벤트 목록은 패턴 학습부(210)에서 생성된 이벤트 모델에 대응하여 검출된 이벤트를 포함하는 목록으로, 도 1 및 도 2를 참조로 하여 설명한 바와 같이, 상기 이벤트 모델의 데이터 패턴과 상기 제1 영상 데이터를 비교한 결과, 그리고 상기 이벤트 모델의 데이터 패턴과 상기 제1 음성 데이터를 비교한 결과에 따라 검출되는 이벤트들의 목록일 수 있다.
또한, 도 5에 도시되는 감시 데이터 제공 시스템(200)에서는 상기 이벤트 모델과의 비교 결과 및 상기 검색 요청에 대응하는 데이터 검색 결과를 모두 포함하는 이벤트 목록이 제공될 수 있다.
즉, 감시 데이터 제공 시스템(200)을 사용하는 사용자는 확인하고자 하는 특정 상황에 대응하는 검색 요??을 입력할 수 있으며, 상기 검색 요청은 예를 들어, 검출된 객체의 수에 대응하거나, 소리의 크기에 대응할 수 있다.
따라서, 새벽 시간대에 큰 소리가 발생한 상황을 검색하고자 하는 경우, 검색하고자 하는 시간과 소리의 크기를 상기 검색 요청 신호로서 입력하면, 이벤트 출력부(230)는 상기 검색 요청에 대응하는 제1 영상 데이터와 제1 음성 데이터를 데이터베이스(240)에서 검색할 수 있다.
한편, 패턴 학습부(210)는 영상 학습 모듈(미도시) 및 음성 학습 모듈(미도시)을 포함할 수 있다. 상기 영상 학습 모듈은 상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하며, 상기 음성 학습 모듈은 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출한다. 그리고, 패턴 학습부(210)는 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 데이터 패턴을 판단할 수 있다.
도 6은 본 발명의 일 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 감시 데이터 제공 방법은, 패턴 학습 단계(S110), 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)를 포함한다.
패턴 학습 단계(S110)에서는, 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성한다.
상기 시간대별 데이터 패턴은 해당 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 시간대에 따른 특징을 의미한다. 상기 영상 데이터의 경우 시간대에 따라 검출되는 객체의 수 및/또는 상기 영상 데이터의 평균 색상이 상기 시간대별 데이터 패턴이 될 수 있다. 그리고, 상기 음성 데이터의 경우, 시간대에 따른 소리의 크기가 데이터 패턴이 될 수 있다.
패턴 학습 단계(S110)에서는 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 지속적으로 수신하고, 상기 데이터 패턴을 분석하고 학습하는 과정을 통하여 상기 감시 지역에서 발생하는 상황의 일반적인 패턴을 판단할 수 있다.
예를 들어, 상기 감시 지역에서 획득되는 한 달 동안의 영상 데이터를 통해 상기 감시 지역의 오전 10시부터 오전 11시까지 검출되는 객체 수에 대한 통계 값을 분석할 수 있으며, 상기 감시 지역에서 획득되는 한 달 동안의 음성 데이터를 통해 상기 감시 지역의 오전 10시부터 오전 11시까지 발생하는 소음의 크기에 대한 통계 값을 분석할 수 있다.
또한, 패턴 학습 단계(S110)에서는, 상기 통계 값을 통하여 상기 감시 지역의 시간대별 객체 검출 동향 및 상기 감시 지역의 시간대별 소음 발생 동향을 판단할 수 있으며, 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 상기 감시 지역에 대한 시간대별 이벤트 모델을 생성할 수 있다.
상기 이벤트 모델은 상기 감시 지역에서 획득되는 상기 영상 데이터와 상기 음성 데이터의 평균 값을 이용하여 생성될 수 있으며, 예를 들어, 상기 이벤트 모델은 오전 10시부터 한 시간 동안 상기 감시 지역에서 검출되는 객체의 수, 상기 영상 데이터의 평균 생상 및/또는 검출되는 객체의 움직임 정도에 관한 평균 값으로 이루어질 수 있다. 마찬가지로, 상기 이벤트 모델은 상기 감시 지역에서 오전 10시부터 한 시간 동안 발생한 소음 크기의 평균 값을 포함할 수 있다.
따라서, 상기 이벤트 모델은 상기 감시 지역에서 획득되는 영상 데이터와 음성 데이터의 시간대별 평균 데이터 값으로 이루어지는 것으로 이해할 수 있다.
이벤트 검출 단계(S120)에서는, 상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여한다.
상기 우선순위가 높을수록 이에 해당하는 이벤트는 상기 이벤트 모델에 대응하는 영상 데이터 및/또는 음성 데이터의 평균적인 통계 값을 많이 벗어나는 제1 영상 데이터 및/또는 제1 음성 데이터를 포함하는 것으로 이해할 수 있다.
상기 이벤트 모델은 시간대별로 생성될 수 있으므로 복수 개가 생성될 수 있으며, 각각의 시간대에 대응하는 상기 제1 영상 데이터와 상기 제1 음성 데이터는 상기 이벤트 모델을 구성하는 영상 데이터 패턴 및 음성 데이터 패턴과 비교된다.
비교 결과, 상기 제1 영상 데이터의 패턴이 상기 이벤트 모델을 구성하는 영상 데이터의 패턴에서 일정 기준 이상 벗어나게 되면, 상기 제1 영상 데이터는 사용자에게 제공될 이벤트를 포함하는 것으로 판단될 수 있다. 그리고, 상기 기준에서 더 많이 벗어날수록 상기 우선순위는 높아지게 된다.
이와 마찬가지로, 상기 제1 음성 데이터의 패턴이 상기 이벤트 모델을 구성하는 음성 데이터의 패턴에서 일정 기준 이상 벗어나게 되면, 상기 제1 음성 데이터는 사용자에게 제공될 이벤트를 포함하는 것으로 판단될 수 있으며, 상기 기준에서 더 많이 벗어날수록 상기 우선순위는 높아지게 된다.
이벤트 출력 단계(S130)에서는, 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력한다. 우선순위가 가장 높은 이벤트는 상기 목록에서 가장 첫 번째에 표시될 수 있으며, 상기 목록을 제공받는 사용자는 상기 목록에 표시되는 순서에 따라 우선적으로 확인해야 하는 이벤트를 판단할 수 있다.
한편, 상기 목록에 포함되는 이벤트는 상기 우선순위에 대응하는 순서에 따라 표시되거나, 또는 상기 우선순위에 대응하는 크기를 갖는 아이콘 또는 썸네일로 표시될 수 있다.
한편, 이벤트 검출 단계(S120)에서는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여, 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출할 수 있다.
패턴 학습 단계(S110)에서는 도 3을 참조로 하여 설명한 바와 같은 그래프의 형태로 영상 데이터와 음성 데이터의 변화 패턴을 검출할 수 있다. 상기 변화 패턴은 이벤트 모델이 될 수 있으며, 이벤트 검출 단계(S120)에서는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 이벤트 모델, 즉 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단할 수 있다.
시간대별 데이터 패턴을 분석함에 있어서, 시간을 최대한 작은 단위로 분할하여 각각의 단위 시간에 대한 이벤트 모델을 생성할 수 있지만, 개별 시간대에 대응하는 각각의 이벤트 모델은 인접하는 시간대에 대응하는 이벤트 모델과 연속성을 갖지 않을 수 있다.
반면, 상기 제1 영상 데이터와 상기 제1 음성 데이터는 연속적인 시간의 흐름에 따라 데이터 패턴이 변화할 수 있으며, 이러한 점을 고려하기 위해서는 상기 이벤트 모델 또한 연속적인 흐름을 갖는 데이터 패턴을 포함하도록 생성되는 것이 바람직하다.
도 3의 그래프로 표현되는 데이터 변화 패턴은 데이터의 연속적인 변화 양상을 고려하여 이벤트를 검출하기 위한 목적으로 사용될 수 있다.
또한, 패턴 학습 단계(S110)에서는 도 4에 도시되는 바와 같은, 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고, 상기 이동 경로의 시간대별 데이터 패턴을 고려하여 이벤트 모델을 생성할 수 있다.
예를 들어, 제1 객체가 제1 영상 데이터 내지 제3 영상 데이터에서 모두 검출되는 경우, 상기 제1 객체는 시간 간격을 두고 상기 제1 내지 제3 영상 데이터에서 검출될 수 있다.
예를 들어, 패턴 학습 단계(S110)에서는 상기 제1 객체의 이동 경로를 분석하여, 상기 제1 객체가 상기 제1 영상 데이터를 획득하는 제1 카메라의 촬영 지점에서, 상기 제2 영상 데이터를 획득하는 제2 카메라의 촬영 지점으로 이동하고, 상기 제3 영상 데이터를 획득하는 제3 카메라의 촬영 지점으로 순차적으로 이동하는 것을 판단할 수 있다.
이때, 상기 이동 경로는 상기 감시 지역에서의 상기 제1 객체의 평균적인(일반적인) 이동 경로로 이해할 수 있다. 패턴 학습 단계(S110)에서는 상기 이동 경로를 상기 제1 객체에 대한 이벤트 모델로 생성할 수 있다.
이벤트 검출 단계(S120)에서는 상기 감시 지역에서 상기 제1 객체가 다시 검출되고, 상기 이동 경로에 대응하는 상기 이벤트 모델과 상기 제1 객체의 이동 경로를 비교하여 이벤트 발생 여부를 판단할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 감시 데이터 제공 방법은, 제1 학습 단계(S111), 제2 학습 단계(S112), 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)를 포함한다.
이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)에서는 도 4를 참조로 하여 설명한 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)에서와 실질적으로 동일한 동작이 수행되므로, 중복되는 내용에 한하여 구체적인 설명은 생략하도록 한다.
제1 학습 단계(S111)에서는, 영상 데이터의 시간대별 데이터 패턴을 학습하며, 상기 영상 데이터의 평균 색상의 시간대별 변화 패턴, 시간대별 검출되는 객체 수, 검출되는 객체 수의 시간대별 변화 패턴 및/또는 검출되는 객체의 움직임 정도에 대한 시간대별 변화 패턴에 관한 통계 값을 산출한다.
예를 들어, 제1 학습 단계(S111)에서는, 감시 지역에서 오전 3시부터 10분 동안 획득된 영상 데이터의 평균 색상을 산출하거나, 상기 10분 상기 영상 데이터에서 검출되는 객체의 수를 산출할 수 있다.
또한, 오전 3시부터 획득된 상기 영상 데이터를 10분 간격으로 구분하여, 각 10분 동안의 평균 색상, 검출 객체의 수, 객체의 움직임 정도에 대한 통계 값을 산출할 수 있다.
이때, 상기 오전 3시 및 상기 10분의 시간 간격은 발명의 설명을 위한 예시에 불과할 뿐, 이로써 본 발명이 제한되는 것은 아니다. 즉, 상기 영상 데이터는 24시간 동작하는 카메라로부터 획득될 수 있으며, 제1 학습 모듈(111)은 미리 설정된 시간 간격으로 상기 영상 데이터를 구분함으로써 시간대별 영상 데이터의 패턴을 분석하고, 분석된 결과를 학습할 수 있다.
제2 학습 단계(S112)에서는, 음성 데이터의 시간대별 데이터 패턴을 학습하며, 상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출한다. 그리고, 이때 상기 소리의 크기는 데시벨(dB) 단위로 산출될 수 있다.
예를 들어, 제2 학습 단계(S112)에서는, 상기 감시 지역에서 오전 3시부터 10분 동안 획득된 음성 데이터에서 소리의 크기를 판단하고, 판단한 결과를 바탕으로 상기 10분 동안 상기 감시 지역에서 발생하는 소리의 크기의 통계 값을 산출할 수 있다. 또한, 오전 3시부터 획득된 상기 영상 데이터를 10분 간격으로 구분하여, 각 10분 동안 발생한 소리의 크기를 판단할 수 있다.
이때, 상기 오전 3시 및 상기 10분의 시간 간격은 발명의 설명을 위한 예시에 불과할 뿐, 이로써 본 발명이 제한되는 것은 아니다. 즉, 상기 음성 데이터는 24시간 동작하는 카메라로부터 획득될 수 있으며, 제2 학습 단계(S112)에서는 미리 설정된 시간 간격으로 상기 음성 데이터를 구분함으로써 시간대별 음성 데이터의 패턴을 분석하고, 분석된 결과를 학습할 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 감시 데이터 제공 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 8을 참조하면, 본 발명의 또 다른 실시예에 따른 감시 데이터 제공 방법은, 패턴 학습 단계(S310), 이벤트 모델 업데이트 단계(S320), 이벤트 검출 단계(S330) 및 이벤트 출력 단계(S340)를 포함한다. 패턴 학습 단계(S310), 이벤트 검출 단계(S330) 및 이벤트 출력 단계(S340)에서는 도 6을 참조로 하여 설명한, 패턴 학습 단계(S110), 이벤트 검출 단계(S120) 및 이벤트 출력 단계(S130)에서와 실질적으로 동일한 동작이 수행되므로, 중복되는 내용에 한하여 구체적인 설명은 생략하도록 한다.
이벤트 모델 업데이트 단계(S320)에서는 사용자의 검색 요청 수신에 대응하여 패턴 학습 단계(S310)에서 생성된 이벤트 모델을 업데이트 한다. 이벤트 모델 업데이트 단계(S320)에서는 상기 검색 요청에 포함된 시간과 데이터의 특징에 대응하여 해당 시간대에 상기 데이터 특징을 갖는 이벤트 모델을 생성할 수 있으며, 새롭게 생성된 상기 이벤트 모델은 기존의 이벤트 모델과 함께 새로운 이벤트 모델에 포함될 수 있다.
앞선 도면들을 참조로 하여 설명한 바와 같이, 상기 이벤트 모델은 이벤트 발생 여부를 판단하는 기분이 된다. 충분한 시간 동안 획득한 데이터를 분석하여 이벤트 모델을 생성하는 경우에도, 사용자가 원하는 상황이 이벤트로 검출되지 않을 수 있다. 그리고, 사용자는 확인하고자 하는 상황에 대한 데이터 특성 등을 입력하는 방법을 통해 특정 시간에 발생한 상황 또는 특정한 상황을 확인할 수 있다.
이때, 사용자의 검색 요청은 시간 또는 데이터 특성 등이 될 수 있으며, 이벤트 모델 업데이트 단계(S320)에서는 상기 검색 요청을 고려하여 상기 이벤트 모델을 업데이트 할 수 있다.
한편, 상기 제1 영상 데이터 및 상기 제1 음성 데이터는 데이터베이스 등의 저장장치에 저장될 수 있으며, 이벤트 출력 단계(S340)에서는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가할 수 있다.
지금까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100, 200: 감시 데이터 제공 시스템
110, 210: 패턴 학습부
120, 220: 이벤트 검출부
130, 230: 이벤트 출력부
240: 데이터베이스
110, 210: 패턴 학습부
120, 220: 이벤트 검출부
130, 230: 이벤트 출력부
240: 데이터베이스
Claims (20)
- 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부;
상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부; 및
검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부;
를 포함하며,
상기 패턴 학습부는,
상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 모듈; 및
상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 모듈을 포함하고,
상기 제1 및 제2 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단하는 감시 데이터 제공 시스템. - 삭제
- ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈제1항에 있어서,
상기 패턴 학습부는 상기 제1 학습 모듈 및 상기 제2 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며,
상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템. - ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈제1항에 있어서,
상기 이벤트 검출부는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하는 감시 데이터 제공 시스템. - ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈제4항에 있어서,
상기 이벤트 검출부는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템. - ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈제1항에 있어서,
상기 패턴 학습부는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고,
상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성하는 감시 데이터 제공 시스템. - 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습부;
상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출부; 및
상기 제1 영상 데이터 및 상기 제1 음성 데이터를 저장하는 데이터베이스;
를 포함하고,
상기 패턴 학습부는 사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 하는 감시 데이터 제공 시스템. - 제7항에 있어서,
상기 이벤트 검출부에서 검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력부를 더 포함하고,
상기 이벤트 출력부는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가하는 감시 데이터 제공 시스템. - 제7항에 있어서,
상기 패턴 학습부는,
상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 영상 학습 모듈; 및
상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 음성 학습 모듈을 포함하고,
상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단하는 감시 데이터 제공 시스템. - ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈제9항에 있어서,
상기 패턴 학습부는 상기 영상 학습 모듈 및 상기 음성 학습 모듈에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며,
상기 이벤트 검출부는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템. - ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈제7항에 있어서,
상기 이벤트 검출부는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하는 감시 데이터 제공 시스템. - ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈제11항에 있어서,
상기 이벤트 검출부는 상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 시스템. - ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈제7항에 있어서,
상기 패턴 학습부는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고,
상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성하는 감시 데이터 제공 시스템. - 감시 지역에서 획득되는 영상 데이터와 음성 데이터를 분석하여 시간대별 데이터 패턴을 학습하고, 상기 데이터 패턴을 고려하여 이벤트 모델을 생성하는 패턴 학습 단계;
상기 감시 지역에서 획득되는 제1 영상 데이터 및 제1 음성 데이터의 시간대별 데이터 패턴과 상기 이벤트 모델을 비교하여 이벤트를 검출하고, 검출된 상기 이벤트에 우선순위를 부여하는 이벤트 검출 단계; 및
검출된 상기 이벤트의 목록을 상기 우선순위에 대응하여 출력하는 이벤트 출력 단계;
를 포함하며,
상기 패턴 학습 단계는,
상기 영상 데이터로부터 평균 색상, 검출되는 객체의 수 및 검출되는 객체의 움직임 정도에 관한 통계 값을 산출하는 제1 학습 단계; 및
상기 음성 데이터로부터 소리의 크기에 관한 통계 값을 산출하는 제2 학습 단계;
를 포함하고,
상기 제1 및 제2 학습 단계에서 산출되는 통계 값의 시간대별 변화에 대응하는 상기 데이터 패턴을 판단하는 감시 데이터 제공 방법. - 삭제
- ◈청구항 16은(는) 설정등록료 납부시 포기되었습니다.◈제14항에 있어서,
상기 패턴 학습 단계에서는 상기 제1 학습 단계 및 상기 제2 학습 단계에서 산출되는 평균값에 대응하는 영상 데이터 및 음성 데이터를 기초로 하여 상기 이벤트 모델을 생성하며,
상기 이벤트 검출 단계에서는 상기 제1 영상 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되거나, 상기 제1 음성 데이터에서 상기 이벤트 모델에 대응하는 평균값 이상의 데이터 패턴이 검출되는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 방법. - ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈제14항에 있어서,
상기 이벤트 검출 단계에서는 상기 영상 데이터와 상기 음성 데이터의 하루 동안의 데이터 변화 패턴을 고려하여 상기 제1 영상 데이터 및 상기 제1 음성 데이터로부터 이벤트를 검출하되,
상기 제1 영상 데이터 및 상기 제1 음성 데이터가 상기 데이터 변화 패턴에 상응하지 않는 경우 이벤트가 발생한 것으로 판단하는 감시 데이터 제공 방법. - ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈제14항에 있어서,
상기 패턴 학습 단계에서는 상기 감시 지역을 촬영하는 복수 개의 카메라로부터 획득되는 영상 데이터로부터 객체의 이동 경로를 판별하고,
상기 이동 경로의 시간대별 데이터 패턴을 더 고려하여 상기 이벤트 모델을 생성하는 감시 데이터 제공 방법. - ◈청구항 19은(는) 설정등록료 납부시 포기되었습니다.◈제14항에 있어서,
사용자의 검색 요청을 수신하여 상기 이벤트 모델을 업데이트 하는 단계를 더 포함하는 감시 데이터 제공 방법. - ◈청구항 20은(는) 설정등록료 납부시 포기되었습니다.◈제19항에 있어서,
상기 제1 영상 데이터 및 상기 제1 음성 데이터는 데이터베이스에 저장되고,
상기 이벤트 출력 단계에서는 상기 사용자의 검색 요청에 대응하는 데이터를 상기 데이터베이스에서 검색하여 이벤트 목록에 추가하는 감시 데이터 제공 방법.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160092889A KR102630227B1 (ko) | 2016-07-21 | 2016-07-21 | 감시 데이터 제공 시스템 및 방법 |
US15/398,843 US10282620B2 (en) | 2016-07-21 | 2017-01-05 | System and method for providing surveillance data |
CN201710253579.6A CN107644194B (zh) | 2016-07-21 | 2017-04-18 | 提供监控数据的***和方法 |
KR1020240010396A KR20240014569A (ko) | 2016-07-21 | 2024-01-23 | 감시 데이터 제공 시스템 및 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160092889A KR102630227B1 (ko) | 2016-07-21 | 2016-07-21 | 감시 데이터 제공 시스템 및 방법 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020240010396A Division KR20240014569A (ko) | 2016-07-21 | 2024-01-23 | 감시 데이터 제공 시스템 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180010581A KR20180010581A (ko) | 2018-01-31 |
KR102630227B1 true KR102630227B1 (ko) | 2024-01-29 |
Family
ID=60988072
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160092889A KR102630227B1 (ko) | 2016-07-21 | 2016-07-21 | 감시 데이터 제공 시스템 및 방법 |
KR1020240010396A KR20240014569A (ko) | 2016-07-21 | 2024-01-23 | 감시 데이터 제공 시스템 및 방법 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020240010396A KR20240014569A (ko) | 2016-07-21 | 2024-01-23 | 감시 데이터 제공 시스템 및 방법 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10282620B2 (ko) |
KR (2) | KR102630227B1 (ko) |
CN (1) | CN107644194B (ko) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6728699B2 (ja) * | 2016-01-15 | 2020-07-22 | 富士通株式会社 | 生体認証装置、生体認証方法および生体認証プログラム |
US9928403B2 (en) * | 2016-02-09 | 2018-03-27 | Molecular Devices, Llc | System and method for image analysis of multi-dimensional data |
KR102630227B1 (ko) * | 2016-07-21 | 2024-01-29 | 한화비전 주식회사 | 감시 데이터 제공 시스템 및 방법 |
KR102249498B1 (ko) * | 2016-08-17 | 2021-05-11 | 한화테크윈 주식회사 | 이벤트 검색 장치 및 시스템 |
US10546195B2 (en) * | 2016-12-02 | 2020-01-28 | Geostat Aerospace & Technology Inc. | Methods and systems for automatic object detection from aerial imagery |
US10699119B2 (en) * | 2016-12-02 | 2020-06-30 | GEOSAT Aerospace & Technology | Methods and systems for automatic object detection from aerial imagery |
US11565365B2 (en) * | 2017-11-13 | 2023-01-31 | Taiwan Semiconductor Manufacturing Co., Ltd. | System and method for monitoring chemical mechanical polishing |
US11321568B1 (en) * | 2018-10-16 | 2022-05-03 | EVES Technology, Inc. | Method for real-time integrated t+2D DWT video compression and low-level video analysis within an intelligent camera optionally embedded in an end-to-end AAL system |
CA3117239A1 (en) | 2018-11-06 | 2020-05-14 | Avigilon Coporation | Method and system for displaying video streams |
CN109934172B (zh) * | 2019-03-14 | 2021-10-15 | 中南大学 | 高速列车受电弓免gps全运行线故障视觉检测定位方法 |
CN112689125B (zh) * | 2020-12-18 | 2021-10-08 | 中标慧安信息技术股份有限公司 | 基于物联网的多终端安全监控方法和*** |
CN113259213B (zh) * | 2021-06-28 | 2021-09-14 | 广州市威士丹利智能科技有限公司 | 一种基于边缘计算智能网关的智能家居信息监控方法 |
CN116908644A (zh) * | 2023-06-09 | 2023-10-20 | 国网山东省电力公司金乡县供电公司 | 一种变电站直流电路测试装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100922784B1 (ko) * | 2009-02-23 | 2009-10-21 | 주식회사 이미지넥스트 | 영상 기반 화재 감지 방법 및 이를 적용한 방범 및 방재 시스템 |
KR101367196B1 (ko) * | 2013-11-29 | 2014-02-26 | 주식회사 에보시스 | 상황인지 기반 무선충전형 스마트 cctv 장치 |
KR101485022B1 (ko) * | 2014-10-20 | 2015-01-21 | 에코아이넷 주식회사 | 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법 |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6178141B1 (en) * | 1996-11-20 | 2001-01-23 | Gte Internetworking Incorporated | Acoustic counter-sniper system |
US8711217B2 (en) * | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
JP2002314987A (ja) * | 2001-04-16 | 2002-10-25 | Hitachi Ltd | 監視システム |
KR20040025149A (ko) * | 2002-09-18 | 2004-03-24 | 에스엘투(주) | 영상/환경음향을 이용한 보안장치 |
KR100737740B1 (ko) | 2004-12-24 | 2007-07-10 | 전자부품연구원 | Ieee 1394 인터페이스를 이용한 영상 감시 시스템 및이를 이용한 대역폭 확보 방법 |
WO2007124539A1 (en) * | 2006-04-28 | 2007-11-08 | Orica Explosives Technology Pty Ltd | Wireless electronic booster, and methods of blasting |
WO2007132671A1 (ja) * | 2006-05-12 | 2007-11-22 | Panasonic Electric Works Co., Ltd. | 音波式煙感知器 |
US20150363673A1 (en) * | 2010-04-05 | 2015-12-17 | Sirius-Beta Corp. | System and method for scalable semantic stream processing |
US20100222774A1 (en) * | 2007-12-11 | 2010-09-02 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Systems, devices, and methods for inducing ultraviolet energy generation via hemozoin nanoparticles in a biological tissue |
EP2238758A4 (en) * | 2008-01-24 | 2013-12-18 | Micropower Technologies Inc | VIDEO DISTRIBUTION SYSTEMS USING WIRELESS CAMERAS |
US8537219B2 (en) * | 2009-03-19 | 2013-09-17 | International Business Machines Corporation | Identifying spatial locations of events within video image data |
US8213725B2 (en) * | 2009-03-20 | 2012-07-03 | Eastman Kodak Company | Semantic event detection using cross-domain knowledge |
KR101033922B1 (ko) | 2009-03-23 | 2011-05-11 | 주식회사 리퓨터 | 음성인식 지능형 폐쇄형 감시시스템 |
US9044141B2 (en) * | 2010-02-10 | 2015-06-02 | Tokitae Llc | Systems, devices, and methods including a dark-field reflected-illumination apparatus |
US8594482B2 (en) * | 2010-05-13 | 2013-11-26 | International Business Machines Corporation | Auditing video analytics through essence generation |
US8659663B2 (en) * | 2010-12-22 | 2014-02-25 | Sportvision, Inc. | Video tracking of baseball players to determine the start and end of a half-inning |
US9202115B2 (en) * | 2012-03-12 | 2015-12-01 | Hanwha Techwin Co., Ltd. | Event detection system and method using image analysis |
US9004353B1 (en) * | 2012-03-12 | 2015-04-14 | Diebold Self-Service Systems Division Of Diebold, Incorporated | Check cashing automated banking machine |
EP2831842A4 (en) * | 2012-03-26 | 2016-03-23 | Tata Consultancy Services Ltd | PARTICIPATORY SURVEILLANCE BASED ON LOCALIZATION TRIGGERED BY EVENTS |
AU2014214545B2 (en) * | 2013-02-07 | 2018-06-28 | Iomniscient Pty Ltd | A surveillance system |
WO2014172322A1 (en) * | 2013-04-15 | 2014-10-23 | Flextronics Ap, Llc | Vehicle intruder alert detection and indication |
US9594163B2 (en) * | 2013-04-15 | 2017-03-14 | Electronics And Telecommunications Research Institute | Security and surveillance system and method |
ITTO20130371A1 (it) * | 2013-05-09 | 2014-11-10 | A M General Contractor S P A | Metodo di rilevazione di dati di energia termica radiata in un ambiente mediante elaborazione di immagini in radiazione infrarossa |
US20150005951A1 (en) * | 2013-06-30 | 2015-01-01 | Enlighted, Inc. | Flooring sensors for occupant detection |
FR3017480B1 (fr) * | 2014-02-07 | 2017-09-08 | Thales Sa | Procede de detection et de classification d'evenements d'une scene |
IL231111A (en) * | 2014-02-24 | 2016-06-30 | Ori Afek | Flash detection |
US20160232399A1 (en) * | 2014-04-08 | 2016-08-11 | Umoove Services Ltd. | System and method of detecting a gaze of a viewer |
KR101600860B1 (ko) | 2014-05-12 | 2016-03-09 | 대동산전주식회사 | 이벤트 기반의 영상 비교 관리시스템 |
US9633547B2 (en) * | 2014-05-20 | 2017-04-25 | Ooma, Inc. | Security monitoring and control |
KR20160016022A (ko) | 2014-08-01 | 2016-02-15 | 송상혁 | 이벤트 저장 기능을 가진 cctv 시스템 |
US9405967B2 (en) * | 2014-09-03 | 2016-08-02 | Samet Privacy Llc | Image processing apparatus for facial recognition |
US10301018B2 (en) * | 2014-10-17 | 2019-05-28 | Tyco Fire & Security Gmbh | Fixed drone visualization in security systems |
US9626569B2 (en) * | 2014-11-06 | 2017-04-18 | Bae Systems Information And Electronics Systems Integration Inc. | Filtered image data recovery using lookback |
KR102630227B1 (ko) * | 2016-07-21 | 2024-01-29 | 한화비전 주식회사 | 감시 데이터 제공 시스템 및 방법 |
-
2016
- 2016-07-21 KR KR1020160092889A patent/KR102630227B1/ko active IP Right Grant
-
2017
- 2017-01-05 US US15/398,843 patent/US10282620B2/en active Active
- 2017-04-18 CN CN201710253579.6A patent/CN107644194B/zh active Active
-
2024
- 2024-01-23 KR KR1020240010396A patent/KR20240014569A/ko active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100922784B1 (ko) * | 2009-02-23 | 2009-10-21 | 주식회사 이미지넥스트 | 영상 기반 화재 감지 방법 및 이를 적용한 방범 및 방재 시스템 |
KR101367196B1 (ko) * | 2013-11-29 | 2014-02-26 | 주식회사 에보시스 | 상황인지 기반 무선충전형 스마트 cctv 장치 |
KR101485022B1 (ko) * | 2014-10-20 | 2015-01-21 | 에코아이넷 주식회사 | 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법 |
Also Published As
Publication number | Publication date |
---|---|
KR20240014569A (ko) | 2024-02-01 |
US20180025231A1 (en) | 2018-01-25 |
CN107644194B (zh) | 2022-12-16 |
US10282620B2 (en) | 2019-05-07 |
CN107644194A (zh) | 2018-01-30 |
KR20180010581A (ko) | 2018-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102630227B1 (ko) | 감시 데이터 제공 시스템 및 방법 | |
US10950119B2 (en) | Community security system using intelligent information sharing | |
US10424175B2 (en) | Motion detection system based on user feedback | |
EP3767553A1 (en) | Method and device for detecting anomalies, corresponding computer program product and non-transitory computer-readable carrier medium | |
CN108009477B (zh) | 图像的人流数量检测方法、装置、存储介质及电子设备 | |
KR101990803B1 (ko) | IoT를 이용한 취약계층 보호관리 시스템 | |
CN109815787B (zh) | 目标识别方法、装置、存储介质及电子设备 | |
CN110659397A (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
US20200004232A1 (en) | People flow estimation system and the failure processing method thereof | |
KR20180098181A (ko) | 복합 이벤트 처리 및 상황 인지 기반 지능형 관제 플랫폼 및 지능형 관제 방법 | |
US20220230519A1 (en) | Method and device for detecting smoke | |
WO2021202274A1 (en) | System and method for smart monitoring of human behavior and anomaly detection | |
CN107705233B (zh) | 体验感知的异常处理***及其方法 | |
CN112699755A (zh) | 一种行为检测方法、装置、计算机设备和存储介质 | |
US9538146B2 (en) | Apparatus and method for automatically detecting an event in sensor data | |
KR20220061071A (ko) | 화재 감시 방법 및 화재 감시를 위한 신경망 모델의 블록체인 기반 학습 방법 | |
US11676439B2 (en) | Face authentication system and face authentication method | |
Saito et al. | Towards a framework for collaborative video surveillance system using crowdsourcing | |
US9843795B1 (en) | Photo booth with integrated self-diagnostic systems | |
US20230162580A1 (en) | Systems and methods for building surveillance re-identification based on a building graph | |
KR20200031020A (ko) | 수사지원정보 제공 방법 및 장치 | |
KR20200071839A (ko) | 영상 분석 장치 및 그 방법 | |
CN116452924B (zh) | 模型阈值调整方法、装置、电子设备及存储介质 | |
CN113095110B (zh) | 人脸数据动态入库的方法、装置、介质及电子设备 | |
EP4390892A1 (en) | Automatic parameterset selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
A107 | Divisional application of patent | ||
GRNT | Written decision to grant |