KR20150069923A - 데이터 처리 시스템 - Google Patents
데이터 처리 시스템 Download PDFInfo
- Publication number
- KR20150069923A KR20150069923A KR1020130156647A KR20130156647A KR20150069923A KR 20150069923 A KR20150069923 A KR 20150069923A KR 1020130156647 A KR1020130156647 A KR 1020130156647A KR 20130156647 A KR20130156647 A KR 20130156647A KR 20150069923 A KR20150069923 A KR 20150069923A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- analysis
- analysis result
- unit
- metadata
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 293
- 238000000034 method Methods 0.000 claims abstract description 12
- 238000007405 data analysis Methods 0.000 claims description 12
- 238000012882 sequential analysis Methods 0.000 claims description 10
- 238000013500 data storage Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000010365 information processing Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 데이터의 생성, 분석, 저장 및 소비가 다양한 위치에서 발생한다는 전제하에, 다양한 경로에서 수집한 데이터를 병렬 및 분산 방식으로 분석 및 처리하여 사용자에게 다양한 사용자 인터페이스를 제공할 수 있는 데이터 처리 시스템에 관한 것이다.
Description
본 발명은 다양한 경로에서 수집한 데이터를 병렬 및 분산 방식으로 분석 및 처리하여 사용자에게 다양한 사용자 인터페이스를 제공하는 데이터 처리 시스템에 관한 것이다.
네트워크 성능이 향상됨에 따라 아날로그 카메라들이 디지털 카메라로 전환되고 있다. 디지털 카메라는 아날로그 카메라에 비해 설치나 관리가 용이하고, 여러 가지 기기들과 호환이 가능하다는 장점을 구비하고 있어서 시장의 점유율이 급속도로 증가하고 있다. 이러한 시장의 변화는 감시 시스템에도 많은 영향을 주었으며, 컴퓨터를 통한 영상 분석을 위해 아날로그 신호를 디지털 신호로 변환하는 추가적인 장치 없이, 네트워크 장비만으로 다수의 카메라를 관리하고 영상을 수신하는 CMS(central monitoring server) 시스템에도 많은 변화를 주었다.
네트워크의 발전은 영상 데이터뿐만 아니라, 추가적인 다양한 센서의 채택으로 더욱 방대한 양의 데이터 분석 및 관리 필요성이 증대되고 있다. 다양한 센서 데이터는 다양하고 풍부한 분석을 가능하게 하여 사용자 시나리오를 제공하게 한다. 예를 들어, 영상 데이터와 함께 온도와 전기 센서 데이터를 사용할 경우, 특정지역의 온도증가와 함께 전기센서의 이상을 포착하여 화재위험을 감지하는 등의 시나리오가 가능하다.
이러한 다양한 데이터의 융합은 매우 포괄적이며, 다양한 시나리오의 제공이 가능하기 때문에 매력적인 관리체계이다. 그러나 기술적으로 진입장벽이 높고 구현이 어려운 단점이 있다. 예를 들어 데이터 사이즈 증가 및 분석 필요성의 증가가 이에 해당한다. 기존의 병렬/분산 시스템은 이러한 문제를 해결하고자 데이터의 입력과 저장 및 처리에 국한되어 있다. 즉, 입력되는 데이터가 병렬/분산 처리에 적합한 이유와 함께 어떻게 이러한 처리를 가능하게 하는가에 초점이 맞춰져 있고, 그러나 사용자의 사용성을 고려한 디자인이 제안되지 않고 있다.
본 발명이 해결하고자 하는 기술적인 과제는 데이터의 생성, 분석, 저장 및 소비가 다양한 위치에서 발생한다는 전제하에, 다양한 경로에서 수집한 데이터를 병렬 및 분산 방식으로 분석 및 처리하여 사용자에게 다양한 사용자 인터페이스를 제공할 수 있는 데이터 처리 시스템을 제공하는데 있다.
본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 데이터 처리 시스템은 적어도 하나 이상의 네트워크 카메라에 의해 촬영된 영상 및 오디오 데이터를 기정의된 메타데이터 중 제1 메타데이터에 의해 분석한 제1 데이터, 적어도 하나 이상의 센서가 감지한 제2 데이터, 외부로부터 제공되는 제3 데이터를 수집하는 데이터 생성수단; 네트워크를 통하여 수신한 상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 저장하는 데이터 분석수단; 상기 네트워크를 통하여 수신한 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하고, 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터에 대해, 상기 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 저장하는 데이터 저장수단; 및 상기 데이터 분석 수단 및 상기 데이터 저장수단에 포함되고, 상기 사용자 단말기의 요청에 의해, 상기 제1 내지 제3 데이터 또는 상기 제2 또는 제3 분석결과 데이터를 사용자 인터페이스 형식으로 제공하는 데이터 소비수단;을 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 네트워크 카메라는, 영상 데이터 및 오디오 데이터를 생성하는 생성부; 및 상기 영상 데이터 및 오디오 데이터에 대해, 상기 기정의된 메타데이터 중 제1 메타데이터에 의해 분석한 제1 분석결과 데이터를 상기 제1 데이터로 생성하는 분석부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분석수단은, 상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성하는 분석부; 및 상기 제2 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제1 분석부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분석수단은, 상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성하는 분석부; 및 상기 제2 분석결과 데이터를 저장하는 저장부;를 구비한 제2 분석부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분석수단은, 상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성하는 분석부; 상기 제2 분석결과 데이터를 저장하는 저장부; 및 상기 저장부에 저장된 상기 제2 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제3 분석부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분석수단은, 상기 제1 분석부 내지 제3 분석부 중 적어도 하나 이상의 분석부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 저장수단은, 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부;를 구비한 제1 저장부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 저장수단은, 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부; 및 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제2 저장부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 저장수단은, 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부; 및 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 상기 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 생성하여 상기 저장부에 저장하는 분석부;를 구비한 제3 저장부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 저장수단은, 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부; 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 상기 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 생성하여 상기 저장부에 저장하는 분석부; 및 상기 제3 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제4 저장부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 저장수단은, 상기 제1 저장부 내지 제3 저장부 중 적어도 하나 이상의 저장부를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분석부는, 상기 데이터를 분배하는 분배모듈; 및 서로 다른 복수개의 분석모듈을 포함하고, 상기 분석모듈 각각이 상기 분배모듈이 분배한 데이터를 수신하여 상기 분석모듈 각각에 기정의된 메타데이터에 의해 분석을 수행하는 동시 분석부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분석부는, 상기 데이터를 분배하는 분배모듈; 및 서로 다른 복수개의 분석모듈을 포함하고, 상기 분배모듈이 분배한 데이터를 수신한 분석모듈이 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 다음 분석모듈이 수신하여 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 그 다음 분석모듈로 출력하는 순차 분석부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분석부는, 상기 데이터를 분배하는 분배모듈; 서로 다른 복수개의 분석모듈을 포함하고, 상기 분석모듈 각각이 상기 분배모듈이 분배한 데이터를 수신하여 상기 분석모듈 각각에 기정의된 메타데이터에 의해 분석을 수행하는 동시 분석부; 및 서로 다른 복수개의 분석모듈을 포함하고, 상기 분배모듈이 분배한 데이터를 수신한 분석모듈이 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 다음 분석모듈이 수신하여 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 그 다음 분석모듈로 출력하는 순차 분석부;를 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 분배부는, 상기 분석모듈과 주기적으로 통신하면서 상기 분석모듈의 상태를 파악하고, 상기 분석모듈이 비정상적으로 동작하는 경우 분배할 데이터를 백업 가능한 것을 특징으로 한다.
본 발명에 있어서, 상기 저장수단은, 저장된 데이터들 및 분석결과를 구조화 및 정리하여 검색하기 용이하도록 처리하는 인덱싱부;를 더 포함하는 것을 특징으로 한다.
본 발명에 있어서, 상기 소비수단은, 복수개의 사용자 인터페이스 모델을 구비하고, 상기 제1 내지 제3 데이터 또는 상기 제2 및 제3 분석결과에 따라 서로 다른 상기 사용자 인터페이스 형식을 제공하는 것을 특징으로 한다.
본 발명에 있어서, 상기 사용자 단말기는, 상기 데이터 처리 시스템에 접근할 수 있는 어플리케이션을 다운로드 하여 실행하는 것을 특징으로 한다.
본 발명에 있어서, 상기 사용자 단말기는, 상기 소비수단으로부터 상기 사용자 인터페이스를 제공받기 위해 소정의 시간 정보를 포함한 검색 조건을 설정하는 것을 특징으로 한다.
본 발명에 있어서, 상기 검색조건은, 상기 네트워크를 통하여 상기 분석수단 또는 저장수단으로 전송되거나, 상기 분석수단 또는 저장수단으로 직접 전송되는 것을 특징으로 한다.
상술한 바와 같이 본 발명에 따르면, 데이터의 생성, 분석, 저장 및 소비가 다양한 위치에서 발생한다는 전제하에, 다양한 경로에서 수집한 데이터를 병렬 및 분산 방식으로 분석 및 처리하여 사용자에게 다양한 사용자 인터페이스를 제공할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 데이터 처리 시스템의 구성을 보이는 도면이다.
도 2는 도 1의 각 장치들에 기정의된 메타데이터의 일 예를 보이는 도면이다.
도 3a 내지 도 3c는 도 1 중 분석부의 상세도를 보이는 도면이다.
도 4a 내지 도 4c는 사용자 단말기에서 요청한 정보에 대한 결과를 수신하는 사용자 인터페이스의 예를 보이는 도면이다.
도 2는 도 1의 각 장치들에 기정의된 메타데이터의 일 예를 보이는 도면이다.
도 3a 내지 도 3c는 도 1 중 분석부의 상세도를 보이는 도면이다.
도 4a 내지 도 4c는 사용자 단말기에서 요청한 정보에 대한 결과를 수신하는 사용자 인터페이스의 예를 보이는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 데이터 처리 시스템의 구성을 보이는 도면이다.
도 1을 참조하면, 데이터 처리 시스템(10)은 네트워크(100), 네트워크 카메라(200), 센서(300), 외부 데이터 소스(400), 분석수단(500), 저장수단(600) 및 사용자 단말기(700)를 포함할 수 있다. 데이터 처리 시스템(10)은 데이터의 생성, 분석, 저장 및 소비가 다양한 위치에서 발생한다는 전제로 동작하는데, 데이터의 생성은 네트워크 카메라(200), 센서(300) 및 외부 데이터 소스(400)에서 수행되고, 데이터의 분석은 네트워크 카메라(200), 분석수단(500) 및 저장수단(600)에서 수행되며, 데이터 저장 및 사용자 단말기로(700)로 다양한 사용자 인터페이스를 제공하는 데이터 소비는 분석수단(500) 및 저장수단(600)에서 수행된다.
데이터 생성을 수행하는 네트워크 카메라(200)는 임의의 영역에 적어도 하나 이상 설치되고, 촬영한 영상(동영상 및 정지영상) 및 오디오 데이터를 디지털 영상 및 오디오 데이터로 변환하여 출력하고 네트워크(100)를 통하여 분석수단(500) 또는/및 저장수단(600)으로 전송한다. 네트워크 카메라(200)는 특정 장소의 고정된 위치에 배치되는 스피드 돔 카메라일 수 있다. 또한 네트워크 카메라(200)는 고정렌즈가 구비되어 촬영 범위가 고정된 단일 고정식 카메라로 구성될 수 있고, 또는 촬영 범위가 가변적인 PTZ(pan-tilt-zoom) 카메라로 구성될 수 있다. 여기서 PTZ 카메라는 수평 방향으로 회전되는 팬(pan) 동작과 수직 방향으로 회전되는 틸트(tilt) 동작 및 줌인/줌아웃(zoom in/zoom out) 동작에 의해 한 대의 카메라로 다양한 감시 영역을 용이하게 변경시킬 수 있다.
여기서, 네트워크 카메라(200)는 적어도 하나 이상 설치될 수 있는데, 본 실시 예에서는 설명의 편의상 제1 네트워크 카메라(210) 및 제2 네트워크 카메라(220)로 한정하여 설명하기로 한다. 제1 및 제2 네트워크 카메라(210, 220)는 각각, 생성부(211,221) 및 분석부(212, 222)를 포함할 수 있다. 생성부(211,221)는 임의의 영역을 촬영한 영상 및 오디오 데이터를 디지털 영상 및 오디오 데이터로 변환한다. 분석부(212, 222)는 디지털 영상 및 오디오 데이터를, 기정의된 메타데이터 중 제1 및 제2 네트워크 카메라(210, 220)가 분석가능한 제1 메타데이터 의해 분석한 제1 데이터(제1 분석결과 데이터)를 생성하고, 네트워크(100)를 통하여 분석수단(500) 또는/및 저장수단(600)으로 전송한다.
데이터 생성을 수행하는 센서(300)는 온도, 전기 사용량 또는 방사능 측정 등을 수행하는 각종 기계 선서가 감지한 센서 데이터를 생성하여 네트워크(100)를 통하여 분석수단(500) 또는/및 저장수단(600)으로 전송한다. 여기서, 센서(300)는 적어도 하나 이상 설치될 수 있으며, 본 실시 예에서는 설명의 편의상 두 개의 센서로 한정하여 설명하기로 한다. 센서(300)는 센서 데이터로써 제2 데이터를 생성하는 생성부(211,221)를 포함할 수 있다.
데이터 생성을 수행하는 외부 데이터 소스(400)는 외부로부터 각종 센서(300)와 사람에 의해 작성된 예를 들어, 범죄 기록, 비상전화 기록, 입/출입 기록, 카드 사용기록 등과 같은 정형화된 데이터 또는 비정형화된 데이터를 수집하고, 네트워크(100)를 통하여 분석수단(500) 또는/및 저장수단(600)으로 전송한다. 또한 외부 데이터 소스(400)는 외부로부터 다른 네트워크 카메라가 촬영한 영상 및 오디오 데이터를 수집하고 네트워크(100)를 통하여 분석수단(500) 또는/및 저장수단(600)으로 전송한다. 여기서, 외부 데이터 소스(400)는 다양한 외부 데이터를 수집할 수 있으며, 설명의 편의상 각종 외부 데이터로써 제3 데이터를 수집하는 생성부(411,421)를 포함할 수 있다.
데이터 분석, 저장 및 소비를 수행하는 분석수단(500)은 네트워크(100)를 통하여 수신한 제1 내지 제3 데이터에 대해, 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성하고 저장하며, 사용자 단말기(700)의 요청에 의해 제2 분석결과 데이터를 사용자 인터페이스 형식으로 사용자 단말기(700)에 제공한다. 또한 분석수단(500)에서 생성된 제2 분석결과 데이터는 네트워크(100)를 통하여 저장수단(600)에 저장될 수 있다.
이러한 분석수단(500)은 제1 분석부(510), 제2 분석부(520) 및 제3 분석부(530) 중 적어도 하나 이상을 포함할 수 있다.
제1 분석부(510)는 분석부(512) 및 소비부(514)를 포함할 수 있다. 분석부(512)는 제1 내지 제3 데이터에 대해, 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성한다. 또한 분석부(512)에서 생성된 제2 분석결과 데이터는 네트워크(100)를 통하여 저장수단(600)에 저장될 수 있다. 소비부(514)는 사용자 단말기(700)의 요청에 의해 제2 분석결과 데이터를 사용자 인터페이스 형식으로 사용자 단말기(700)에 제공한다.
제2 분석부(520)는 분석부(522) 및 저장부(523)를 포함할 수 있다. 분석부(522)는 제1 내지 제3 데이터에 대해, 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성한다. 여기서 분석부(522)는 제1 분석부(510)에 포함된 분석부(512)의 분석결과를 기정의된 메타데이터 중 제2 메타데이터에 의해 분석하여 다른 제2 분석결과 데이터를 생성할 수 있다. 저장부(523)는 제2 분석결과 데이터를 저장한다. 여기서, 분석부(522)에서 생성된 제2 분석결과 데이터는 네트워크(100)를 통하여 저장수단(600)에 저장될 수 있다.
제3 분석부(530)는 분석부(532), 저장부(533) 및 소비부(534)를 포함할 수 있다. 분석부(532)는 제1 내지 제3 데이터에 대해, 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성한다. 여기서 분석부(522)는 제1 분석부(510)에 포함된 분석부(512)의 분석결과 또는/및 제2 분석부(520)에 포함된 분석부(522)의 분석결과를 기정의된 메타데이터 중 제2 메타데이터에 의해 분석하여 또 다른 제2 분석결과 데이터를 생성할 수 있다. 저장부(533)는 제2 분석결과 데이터를 저장한다. 여기서, 분석부(532)에서 생성된 제2 분석결과 데이터는 네트워크(100)를 통하여 저장수단(600)에 저장될 수 있다. 소비부(534)는 사용자 단말기(700)의 요청에 의해 제2 분석결과 데이터를 사용자 인터페이스 형식으로 사용자 단말기(700)에 제공한다.
데이터 분석, 저장 및 소비를 수행하는 저장수단(600)은 네트워크(100)를 통하여 수신한 제1 내지 제3 데이터 및 제2 분석결과를 저장하거나 사용자 단말기(700)의 요청에 의해 제1 내지 제3 데이터 및 제2 분석결과를 사용자 인터페이스 형식으로 사용자 단말기(700)에 제공한다. 또한 저장수단(600)은 제1 내지 제3 데이터 및 제2 분석결과를 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 생성하고 저장하며, 사용자 단말기(700)의 요청에 의해 제3 분석결과 데이터를 사용자 인터페이스 형식으로 사용자 단말기(700)에 제공한다.
이러한 저장수단(600)은 제1 저장부(610), 제2 저장부(620), 제3 저장부(630) 및 제4 저장부(640) 중 적어도 하나 이상을 포함할 수 있다.
제1 저장부(610)는 제1 내지 제3 데이터 및 제2 분석결과 데이터를 저장하는 저장부(613)를 포함할 수 있다.
제2 저장부(620)는 저장부(623) 및 소비부(624)를 포함할 수 있다. 저장부(623)는 제1 내지 제3 데이터 및 제2 분석결과 데이터를 저장한다. 소비부(624)는 사용자 단말기(700)의 요청에 의해 제1 내지 제3 데이터 및 제2 분석결과 데이터를 사용자 인터페이스 형식으로 사용자 단말기(700)에 제공한다.
제3 저장부(630)는 분석부(632) 및 저장부(633)를 포함할 수 있다. 분석부(632)는 제1 내지 제3 데이터 및 제2 분석결과 데이터에 대해, 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 생성한다. 저장부(633)는 제3 분석결과를 저장한다.
제4 저장부(640)는 분석부(642), 저장부(643) 및 소비부(644)를 포함할 수 있다. 분석부(642)는 제1 내지 제3 데이터 및 제2 분석결과 데이터에 대해, 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 생성한다. 여기서 분석부(642)는 제3 저장부(630)에 포함된 분석부(632)의 분석결과를 기정의된 메타데이터 중 제3 메타데이터에 의해 분석하여 다른 제3 분석결과 데이터를 생성할 수 있다. 저장부(643)는 제3 분석결과를 저장한다. 소비부(644)는 사용자 단말기(700)의 요청에 의해 제3 분석결과 데이터를 사용자 인터페이스 형식으로 사용자 단말기(700)에 제공한다.
여기서 저장수단(600)에는 도시되지는 않았으나, 제1 저장부(610) 내지 제4 저장부(640)에 저장된 제1 내지 제3 데이터, 제2 분석결과 데이터 및 제3 분석결과 데이터를 구조화 및 정리하여 검색하기 용이하도록 처리하는 인덱싱부를 더 포함할 수 있다.
사용자 단말기(700)는 요청에 의해 제1 내지 제3 데이터, 제2 분석결과 데이터 또는 제3 분석결과 데이터를 사용자 인터페이스 형식으로 수신할 수 있다. 이를 위해 사용자 단말기(100)는 데이터 처리 시스템(10)에 접근할 수 있는 어플리케이션을 다운로드 받아 실행시킬 수 있다. 사용자 단말기(700)는 결과 데이터 수신을 위해 검색조건을 설정하게 되는데, 검색조건 설정이 완료되면, 사용자 단말기(700)는 네트워크(100)를 통하여 분석수단(500) 또는 저장수단(600)으로부터 제1 내지 제3 데이터, 제2 분석결과 데이터 또는 제3 분석결과 데이터를 사용자 인터페이스 형식으로 수신할 수 있거나, 사용자 단말기(700)는 분석수단(500) 또는 저장수단(600)에 직접 연결되어 제1 내지 제3 데이터, 제2 분석결과 데이터 또는 제3 분석결과 데이터를 사용자 인터페이스 형식으로 수신할 수 있다. 여기서 사용자 단말기(700)는 노트북, 핸드헬드 장치, 스마트폰, 탭, 태블릿 PC 등의 모바일 단말, 데스크 탑 컴퓨터, 또는 이러한 장치를 이용하거나 직접적으로 또는 간접적으로 이와 연결된 임의의 적절한 장치일 수 있다. 본 실시 예에서 설명의 편의상 사용자 단말기(700)를 데스크 탑 컴퓨터(710) 및 스마트폰(720)으로 한정하였으나, 이에 국한되지 않는다.
도 2는 데이터 처리 시스템(10)의 각 장치에 기정의된 메타데이터의 일 예를 보이는 도면이다. 도 2를 참조하면, 도 2a는 네트워크 카메라(200), 분석수단(500) 및 저장수단(600)에 기정의된 메타데이터를 도시하고 있고, 도 2b는 도 2a 중 분석 메타데이터에서 수행해야 할 분석 및 추정 레벨들을 도시하고 있다.
도 2a를 참조하면, 데이터 분석을 수행하기 위해 기정의된 메타데이터는 이벤트 메타데이터, 룰(rule) 메타데이터, 분석 메타데이터, 미디어 메타데이터 및 센서 메타데이터를 포함할 수 있으며, 이에 국한되지 않고 다양하게 확장 가능하다.
이벤트 메타데이터는 데이터가 이벤트 발생조건을 만족하면 이벤트 발생을 알리는 분석을 수행하기 위해 정의된다. 여기서 이벤트라 함은, 네트워크 에러가 발생한 경우, 새로운 카메라(미도시)가 설정된 경우 등과 같이 시스템 내부에 설정된 이벤트를 포함할 수 있다. 또한 입력 영상의 경우에 이벤트라 함을, 영상의 설정 영역에서 물체의 출현, 화면 색깔이 바뀌는 경우, 설정된 영역에서 움직임 발생한 경우 등을 포함할 수 있다. 또한 오디오의 경우에 이벤트라 함은, 비정상적인 오디오(자동차 타이어 마찰음(스키드), 유리 깨지는 소리, 경보음, 충돌음 등) 발생, 임계값 이상의 오디오가 발생한 경우 등을 포함할 수 있다. 예를 들어 이벤트 메타 데이터는, 입력 영상의 일정영역에 움직임 발생하면 알람을 생성하도록 하는 것을 포함할 수 있다.
룰(rule) 메타데이터는 사용자가 설정한 이벤트 발생조건을 만족하면 사용자가 설정한 이벤트 발생 알림 분석을 수행하기 위해 정의된다. 여기서 사용자가 설정한 이벤트 발생조건이라 함은, 영상에 대해서 사용자가 설정한 이미지(예를 들어 얼굴 인식이 불가능한 얼굴 등장)가 발생하는 경우 또는 사용자가 설정한 영역에 움직임 발생하는 경우 등을 포함할 수 있다. 오디오에 대해서 사용자가 설정한 오디오(예를 들어 남자 고함, 여자 비명, 아이 울음 소리 등) 발생한 경우 등을 포함할 수 있다. 이와 같이 사용자가 설정한 이벤트 발생조건을 만족하면, 이벤트 발생 알림을 경고음 또는 경광등과 같은 형식으로 출력하도록 하는 것을 포함할 수 있다. 예를 들어 룰 메타 데이터는, 입력 영상에서 사용자가 설정한 영역에 움직임 발생하면 경고음을 생성하도록 하는 것을 포함할 수 있다.
분석 메타데이터는 데이터에 대한 다양한 분석 및 추정을 수행하기 위해 정의된다. 도 2b에는 분석 메타데이터에서 수행해야 할 분석 및 추정 레벨들을 도시하고 있는데, 센서가 감지한 데이터의 분석 결과를 텍스트 형식으로 출력하는 센서(sensor) 레벨, 영상 분석 결과를 텍스트가 아닌 영상으로 출력(예를 들어, 영상에 대한 얼굴 인식 결과를 얼굴 영상으로 출력)하는 미디어(media) 레벨, 영상 분석 결과를 텍스트 형식의 특징(예를 들어, 얼굴 특징, 컬러 특징, 오디오 특징 등)으로 출력하는 특징(feature) 레벨, 오디오 분석 결과를 텍스트 형식으로 출력하는 오디오(audio) 레벨, 장면 분석 결과를 텍스 형식으로 출력(예를 들어, 분석한 장면이 하늘, 산, 빌딩 등으로 출력)하는 장면(scene) 레벨, 영상 내에서 또는 영상 내의 특정 영역에서 움직임 발생 유/무를 텍스트 형식으로 출력하는 움직임(motion) 레벨, 영상 내에서 객체 분석 결과를 텍스트 형식으로 출력(예를 들어, 트래킹, 얼굴 등)하는 객체(object) 레벨, 분석한 데이터에 대해 텍스트 형식으로 의미를 부여(예를 들어, 데이터 분석결과로 생성된 동선에 대한 호부호를 부여)하는 시멘틱(semantic) 레벨 및 분석한 데이터에 대해 텍스트 형식으로 예측을 수행(예를 들어, 임의의 장소에 사람이 많이 입장하는 시간대에 추가적인 관리인원 배치)하는 작업(task) 레벨 등을 포함할 수 있다.
미디어 메타데이터는 데이터로부터 카메라 관련 정보(예를 들어 채널번호, IP 번호, 해상도, 코덱 등) 및 시스템 관련 정보 분석을 수행하기 위해 정의된다. 센서 메타데이터는 데이터로부터 센서에 대한 정보 분석을 수행하기 위해 정의된다.
네트워크 카메라(200), 분석수단(500) 및 저장수단(600)은 도 2에 도시된 바와 같이 기정의된 메타데이터에 의해 입력되는 제1 내지 제3 데이터 또는 제2 분석결과 데이터에 대한 분석을 수행한다.
여기서, 카메라(200), 분석수단(500) 및 저장수단(600)은 성능에 따라 분석가능한 메타데이터가 제한될 수 있는데, 카메라(200)는 기설정된 메타데이터 중 제1 메타데이터(예를 들어, 분석 메타데이터 중 미디어 레벨, 특징 레벨, 움직임 레벨 및 객체 레벨)에 의해 데이터를 분석할 수 있다. 분석수단(500)은 기설정된 메타데이터 중 제1 메타데이터를 포함할 수 있는 제2 메타데이터(예를 들어, 분석 메타데이터 중 센서 레벨, 미디어 레벨, 특징 레벨, 오디오 레벨, 장면 레벨, 움직임 레벨 및 객체 레벨)에 의해 데이터를 분석할 수 있다. 저장수단(600)은 기설정된 메타데이터 중 제2 메타데이터와 동일하거나 또는 제2 메타데이터를 포함할 수 있는 제3 메타데이터(예를 들어, 분석 메타데이터 중 센서 레벨, 미디어 레벨, 특징 레벨, 오디오 레벨, 장면 레벨, 움직임 레벨, 객체 레벨, 시멘틱 레벨, 작업 레벨)에 의해 데이터 분석을 수행할 수 있다.
도 3a 내지 도 3c는 도 1 중 분석부(212,222,512,522,532,632,642)의 상세도를 보이는 도면이다. 여기서 분석부(212,222)는 기정의된 메타데이터 중 제1 메타데이터에 의해 데이터 분석을 수행하고, 분석부(512,522,532)는 기정의된 메타데이터 중 제2 메타데이터에 의해 데이터 분석을 수행하고, 분석부(632,642)는 기정의된 메타데이터 중 제3 메타데이터에 의해 데이터 분석을 수행한다.
도 3a는 제1 실시 예에 따른 분석부(212,222,512,522,532,632,642)의 상세도를 보이는 도면으로, 동시 분석 모델을 나타낸다. 여기서 동시 분석 모델이라 함은, 서로 다른 복수개의 분석모듈 각각이 분배된 데이터를 각각 수신하여 분석을 수행하는 것을 나타낸다. 설명의 편의 상 분석모듈의 개수를 세 개로 한정하고 있으나, 이에 국한되지 않고 확장이 가능하다. 동시 분석 모델로 표현되는 분석부(212,222,512,522,532,632,642)는 데이터 분배모듈(810a), 제1 내지 제3 분석모듈(820a,830a,840a)를 포함할 수 있다. 데이터 분배모듈(810a)은 생성부(211,221,311,321,411,421)에서 수집되어 네트워크(100)를 통하여 전송되거나 또는 저장부(523, 533,613,623,633,642)에 저장되어 네트워크(100)를 통하여 전송되는 제1 내지 제3 데이터 또는 제2 분석결과 데이터를 제1 내지 제3 분석모듈(820a,830a,840a)로 각각 분배한다. 데이터 분배모듈(810a)은 제1 내지 제3 분석모듈(820a,830a,840a)과 주기적으로 통신하면서 제1 내지 제3 분석모듈(820a,830a,840a)의 상태를 파악하고, 임의의 분석 모듈에게 데이터를 전달한다. 이 때, 데이터 분배모듈(810a)은 제1 내지 제3 분석모듈(820a,830a,840a)이 비정상적으로 동작하는 경우, 예를 들어, 소정의 이유로 분석 수행 시에 시간이 많이 소모되거나 제1 내지 제3 분석모듈(820a,830a,840a)이 분석 기능을 수행하지 못하는 경우에 대비하여 분배할 데이터를 백업할 수 있다. 제1 분석모듈(820a)은 기정의된 메타데이터(제1 또는 제2 또는 제3 메타데이터)에 의해 데이터 분배모듈(810a)이 분배한 데이터에 대해 분석을 수행한다. 제2 분석모듈(830a)은 기정의된 메타데이터(제1 또는 제2 또는 제3 메타데이터)에 의해 데이터 분배모듈(810a)이 분배한 데이터에 대해 분석을 수행한다. 제3 분석모듈(840a)은 기정의된 메타데이터(제1 또는 제2 또는 제3 메타데이터)에 의해 데이터 분배모듈(810a)이 분배한 데이터에 대해 분석을 수행한다. 제1 내지 제3 분석모듈(820a,830a,840a)의 데이터 분석결과는 각각 저장부(523,533,613,623,633,643) 또는 소비부(514,534,624,644)로 출력된다.
도 3b는 제2 실시 예에 따른 분석부(212,222,512,522,532,632,642)의 상세도를 보이는 도면으로, 순차 분석 모델을 나타낸다. 여기서 순차 분석 모델이라 함은, 서로 다른 복수개의 분석모듈이 전단계의 분석결과를 이용하여 현단계의 분석을 수행하는 것을 나타낸다. 설명의 편의 상 분석모듈의 개수를 세 개로 한정하고 있으나, 이에 국한되지 않고 확장이 가능하다. 순차 분석 모델로 표현되는 분석부(212,222,512,522,532,632,642)는 데이터 분배모듈(810b), 제1 내지 제3 분석모듈(820b,830b,840b)를 포함할 수 있다. 데이터 분배모듈(810b)은 생성부(211,221,311,321,411,421)에서 수집되어 네트워크(100)를 통하여 전송되거나 또는 저장부(523, 533,613,623,633,642)에 저장되어 네트워크(100)를 통하여 전송되는 제1 내지 제3 데이터 또는 제2 분석결과 데이터를 제1 분석모듈(820a)로 분배한다. 제1 분석모듈(820b)은 기정의된 메타데이터(제1 또는 제2 또는 제3 메타데이터)에 의해 데이터 분배모듈(810b)이 분배한 데이터에 대해 분석을 수행한다. 제2 분석모듈(830b)은 기정의된 메타데이터(제1 또는 제2 또는 제3 메타데이터)에 의해 제1 분석모듈(820b)의 분석결과 데이터에 대해 분석을 수행한다. 제3 분석모듈(840b)은 기정의된 메타데이터(제1 또는 제2 또는 제3 메타데이터)에 의해 제2 분석모듈(830b)의 분석결과 데이터에 대해 분석을 수행한다. 제3 분석모듈(840a)에서 출력되는 분석결과 데이터는 각각 저장부(523,533,613,623,633,643) 또는 소비부(514,534,624,644)로 출력된다.
도 3c는 제3 실시 예에 따른 분석부(212,222,512,522,532,632,642)의 상세도를 보이는 도면으로, 동시 분석 모델 및 순차 분석 모델이 하나의 분석부로 통합된 예를 보이고 있다. 생성부(211,221,311,321,411,421)에서 수집되어 네트워크(100)를 통하여 전송되거나 또는 저장부(523, 533,613,623,633,642)에 저장되어 네트워크(100)를 통하여 전송되는 제1 내지 제3 데이터 또는 제2 분석결과 데이터가 동시 분석 모델 및 순차 분석 모델로 입력되고, 동시분석 모델 및 순차 분석 모델에서 출력되는 분석결과 데이터는 각각 저장부(523,533,613,623,633,643) 또는 소비부(514,534,624,644)로 출력된다. 동시 분석 모델은 도 3a에서 상세히 설명하였고, 순차 분석 모델은 도 3c에서 설명하였으므로, 도 3c에 대한 상세한 설명은 생략하기로 한다.
카메라(200), 분석수단(500) 및 저장수단(600)은 성능에 따라 분석가능한 메타데이터가 제한되어 있기 때문에, 도 3a 내지 도 3c에 개시된 분석결과는 서로 다르다. 따라서 소비부(514,534,624,644)에서 사용자 단말기(700)로 제공하는 사용자 인터페이스 또한 서로 다르다. 소비부(514,534,624,644)는 다양한 사용자 인터페이스 모델을 보유하고 있으며, 분석결과에 따라 다른 사용자 인터페이스 모델을 선택 및 구성하여 사용자 단말기(700)에 제공할 수 있다. 사용자 단말기(700)로부터 검색이 요청되면, 소비부(514,534,624,644)는 분석결과에 해당하는 사용자 인터페이스를 구성하여 사용자 단말기(700)로 제공할 수 있다.
도 4a 내지 도 4c는 사용자 단말기에서 요청한 정보에 대한 결과를 수신하는 사용자 인터페이스의 예를 보이는 도면이다.
도 4a는 제1 실시 예에 따른 사용자 단말기(700)의 사용자 인터페이스를 보이는 도면이다. 도 4a를 참조하면, 910은 사용자 단말기(700)가 임의의 정보 요청을 위해 검색 조건으로 검색 시간 및 관심영역에 대한 움직임 검출/추적을 설정한 예를 보이고 있다. 검색 조건 설정이 완료된 후 검색을 선택하면, 검색조건에 해당하는 메타데이터는 네트워크(100)를 통하여 분석수단(500) 또는 저장수단(600)으로 전송되거나, 네트워크(100)를 통하지 않고 직접 분석수단(500) 또는 저장수단(600)으로 전송될 수 있다. 분석수단(500) 또는 저장수단(600)은 검색조건 메타데이터에 해당된 분석결과 데이터 또는 저장 데이터를 소비부(514,534,624,644 중 어느 하나)로 전송한다. 소비부(514,534,624,644 중 어느 하나)는 분석결과 데이터를 수신하고, 여러 사용자 인터페이스 모델 중 분석결과 데이터에 해당하는 사용자 인터페이스를 구성하여 사용자 단말기(700)로 전송한다. 920은 사용자 단말기(700)에 제공되는 검색결과 사용자 인터페이스를 보이는 도면으로, 사용자가 설정한 검색 시간에 관심영역에 대한 움직임 검출/추적 결과를 도시하고 있다.
도 4b는 제2 실시 예에 따른 사용자 단말기(700)의 사용자 인터페이스를 보이는 도면이다. 도 4b를 참조하면, 930은 사용자 단말기(700)가 임의의 정보 요청을 위해 검색 조건으로 검색 시간, 관심영역에 대한 움직임 검출/추적 및 자동차 카테고리를 설정한 예를 보이고 있다. 검색 조건 설정이 완료된 후 검색을 선택하면, 검색조건에 해당하는 메타데이터는 네트워크(100)를 통하여 분석수단(500) 또는 저장수단(600)으로 전송되거나, 네트워크(100)를 통하지 않고 직접 분석수단(500) 또는 저장수단(600)으로 전송될 수 있다. 분석수단(500) 또는 저장수단(600)은 검색조건 메타데이터에 해당된 분석결과 데이터 또는 저장 데이터를 소비부(514,534,624,644 중 어느 하나)로 전송한다. 소비부(514,534,624,644 중 어느 하나)는 분석결과 데이터를 수신하고, 여러 사용자 인터페이스 모델 중 분석결과 데이터에 해당하는 사용자 인터페이스를 구성하여 사용자 단말기(700)로 전송한다. 940은 사용자 단말기(700)에 제공되는 검색결과 사용자 인터페이스를 보이는 도면으로, 사용자가 설정한 검색 시간에 자동차에 대한 움직임 검출/추적 결과를 도시하고 있다.
도 4c는 제3 실시 예에 따른 사용자 단말기(700)의 사용자 인터페이스를 보이는 도면이다. 도 4c를 참조하면, 950은 사용자 단말기(700)가 임의의 정보 요청을 위해 검색 조건으로 검색 시간, 관심영역에 대한 움직임 검출/추적, 자동차 카테고리 및 하얀색 색상을 설정한 예를 보이고 있다. 검색 조건 설정이 완료된 후 검색을 선택하면, 검색조건에 해당하는 메타데이터는 네트워크(100)를 통하여 분석수단(500) 또는 저장수단(600)으로 전송되거나, 네트워크(100)를 통하지 않고 직접 분석수단(500) 또는 저장수단(600)으로 전송될 수 있다. 분석수단(500) 또는 저장수단(600)은 검색조건 메타데이터에 해당된 분석결과 데이터 또는 저장 데이터를 소비부(514,534,624,644 중 어느 하나)로 전송한다. 소비부(514,534,624,644 중 어느 하나)는 분석결과 데이터를 수신하고, 여러 사용자 인터페이스 모델 중 분석결과 데이터에 해당하는 사용자 인터페이스를 구성하여 사용자 단말기(700)로 전송한다. 940은 사용자 단말기(700)에 제공되는 검색결과 사용자 인터페이스를 보이는 도면으로, 사용자가 설정한 검색 시간에 하얀색 자동차에 대한 움직임 검출/추적 결과를 도시하고 있다.
이상과 같은 데이터 처리 시스템(10)의 구성으로, 데이터의 생성, 분석, 저장 및 소비가 다양한 위치에서 발생한다는 전제하에, 다양한 경로에서 수집한 데이터를 병렬 및 분산 방식으로 분석 및 처리하여 사용자에게 다양한 사용자 인터페이스를 제공할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.
10: 데이터 처리 시스템
100: 네트워크
200: 네트워크 카메라
300: 센서
400: 외부 데이터 소스
500: 분석수단
600: 저장수단
700: 사용자 단말기
100: 네트워크
200: 네트워크 카메라
300: 센서
400: 외부 데이터 소스
500: 분석수단
600: 저장수단
700: 사용자 단말기
Claims (20)
- 적어도 하나 이상의 네트워크 카메라에 의해 촬영된 영상 및 오디오 데이터를 기정의된 메타데이터 중 제1 메타데이터에 의해 분석한 제1 데이터, 적어도 하나 이상의 센서가 감지한 제2 데이터, 외부로부터 제공되는 제3 데이터를 수집하는 데이터 생성수단;
네트워크를 통하여 수신한 상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 저장하는 데이터 분석수단;
상기 네트워크를 통하여 수신한 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하고, 상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터에 대해, 상기 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 저장하는 데이터 저장수단; 및
상기 데이터 분석 수단 및 상기 데이터 저장수단에 포함되고, 상기 사용자 단말기의 요청에 의해, 상기 제1 내지 제3 데이터 또는 상기 제2 또는 제3 분석결과 데이터를 사용자 인터페이스 형식으로 제공하는 데이터 소비수단;을 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 네트워크 카메라는
영상 데이터 및 오디오 데이터를 생성하는 생성부; 및
상기 영상 데이터 및 오디오 데이터에 대해, 상기 기정의된 메타데이터 중 제1 메타데이터에 의해 분석한 제1 분석결과 데이터를 상기 제1 데이터로 생성하는 분석부;를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 분석수단은,
상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성하는 분석부; 및
상기 제2 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제1 분석부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 분석수단은,
상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성하는 분석부; 및
상기 제2 분석결과 데이터를 저장하는 저장부;를 구비한 제2 분석부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 분석수단은,
상기 제1 내지 제3 데이터에 대해, 상기 기정의된 메타데이터 중 제2 메타데이터에 의해 분석한 제2 분석결과 데이터를 생성하는 분석부;
상기 제2 분석결과 데이터를 저장하는 저장부; 및
상기 저장부에 저장된 상기 제2 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제3 분석부;를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 3항 내지 제 5항 중 어느 한 항에 있어서, 상기 분석수단은,
상기 제1 분석부 내지 제3 분석부 중 적어도 하나 이상의 분석부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 저장수단은,
상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부;를 구비한 제1 저장부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 저장수단은,
상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부; 및
상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제2 저장부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 저장수단은,
상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부; 및
상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 상기 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 생성하여 상기 저장부에 저장하는 분석부;를 구비한 제3 저장부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 저장수단은,
상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 저장하는 저장부;
상기 제1 내지 제3 데이터 및 상기 제2 분석결과 데이터를 상기 기정의된 메타데이터 중 제3 메타데이터에 의해 분석한 제3 분석결과 데이터를 생성하여 상기 저장부에 저장하는 분석부; 및
상기 제3 분석결과 데이터를 상기 사용자 단말기의 요청에 의해 상기 사용자 인터페이스 형식으로 제공하는 소비부;를 구비한 제4 저장부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 7항 내지 제 10항 중 어느 한 항에 있어서, 상기 저장수단은,
상기 제1 저장부 내지 제3 저장부 중 적어도 하나 이상의 저장부를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 2항 내지 제 5항 및 제 7항 내지 제 10항 중 어느 한 항에 있어서,
상기 분석부는,
상기 데이터를 분배하는 분배모듈; 및
서로 다른 복수개의 분석모듈을 포함하고, 상기 분석모듈 각각이 상기 분배모듈이 분배한 데이터를 수신하여 상기 분석모듈 각각에 기정의된 메타데이터에 의해 분석을 수행하는 동시 분석부;를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 2항 내지 제 5항 및 제 7항 내지 제 10항 중 어느 한 항에 있어서,
상기 분석부는,
상기 데이터를 분배하는 분배모듈; 및
서로 다른 복수개의 분석모듈을 포함하고, 상기 분배모듈이 분배한 데이터를 수신한 분석모듈이 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 다음 분석모듈이 수신하여 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 그 다음 분석모듈로 출력하는 순차 분석부;를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 2항 내지 제 5항 및 제 7항 내지 제 10항 중 어느 한 항에 있어서,
상기 분석부는,
상기 데이터를 분배하는 분배모듈;
서로 다른 복수개의 분석모듈을 포함하고, 상기 분석모듈 각각이 상기 분배모듈이 분배한 데이터를 수신하여 상기 분석모듈 각각에 기정의된 메타데이터에 의해 분석을 수행하는 동시 분석부; 및
서로 다른 복수개의 분석모듈을 포함하고, 상기 분배모듈이 분배한 데이터를 수신한 분석모듈이 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 다음 분석모듈이 수신하여 기정의된 메타데이터에 의해 분석을 수행하고, 분석 수행 결과를 그 다음 분석모듈로 출력하는 순차 분석부;를 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 12항 내지 제 14항 중 어느 한 항에 있어서, 상기 분배부는,
상기 분석모듈과 주기적으로 통신하면서 상기 분석모듈의 상태를 파악하고, 상기 분석모듈이 비정상적으로 동작하는 경우 분배할 데이터를 백업 가능한 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 저장수단은,
저장된 데이터들 및 분석결과를 구조화 및 정리하여 검색하기 용이하도록 처리하는 인덱싱부;를 더 포함하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 소비수단은,
복수개의 사용자 인터페이스 모델을 구비하고, 상기 제1 내지 제3 데이터 또는 상기 제2 및 제3 분석결과에 따라 서로 다른 상기 사용자 인터페이스 형식을 제공하는 것을 특징으로 하는 데이터 처리 시스템. - 제 1항에 있어서, 상기 사용자 단말기는,
상기 데이터 처리 시스템에 접근할 수 있는 어플리케이션을 다운로드 하여 실행하는 것을 특징으로 하는 데이터 처리 시스템. - 제 18항에 있어서, 상기 사용자 단말기는,
상기 소비수단으로부터 상기 사용자 인터페이스를 제공받기 위해 소정의 시간 정보를 포함한 검색 조건을 설정하는 것을 특징으로 하는 데이터 처리 시스템. - 제 19항에 있어서, 상기 검색조건은,
상기 네트워크를 통하여 상기 분석수단 또는 저장수단으로 전송되거나, 상기 분석수단 또는 저장수단으로 직접 전송되는 것을 특징으로 하는 데이터 처리 시스템.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130156647A KR101964230B1 (ko) | 2013-12-16 | 2013-12-16 | 데이터 처리 시스템 |
US15/024,188 US9870518B2 (en) | 2013-12-16 | 2014-03-25 | Data processing system |
PCT/KR2014/002483 WO2015093687A1 (ko) | 2013-12-16 | 2014-03-25 | 데이터 처리 시스템 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130156647A KR101964230B1 (ko) | 2013-12-16 | 2013-12-16 | 데이터 처리 시스템 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150069923A true KR20150069923A (ko) | 2015-06-24 |
KR101964230B1 KR101964230B1 (ko) | 2019-04-02 |
Family
ID=53403014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130156647A KR101964230B1 (ko) | 2013-12-16 | 2013-12-16 | 데이터 처리 시스템 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9870518B2 (ko) |
KR (1) | KR101964230B1 (ko) |
WO (1) | WO2015093687A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102529547B1 (ko) * | 2022-08-18 | 2023-05-10 | 주식회사 에이데이타 | 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11665009B2 (en) | 2016-07-13 | 2023-05-30 | Vocal Power-House Systems, LLC | Responsive communication system |
US10666448B2 (en) | 2016-07-13 | 2020-05-26 | Vocal Power-House Systems, LLC | Responsive communication system |
CN112686223B (zh) * | 2021-03-12 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 一种表格识别方法、装置和计算机可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006057A (ja) * | 1999-06-18 | 2001-01-12 | Fujitsu General Ltd | 異常検出監視システム |
KR20090002604A (ko) * | 2007-07-02 | 2009-01-09 | 주식회사 세스코 | 데이터 통신 제어 시스템 및 이를 이용한 데이터 처리 방법 |
KR20120003834A (ko) | 2011-11-24 | 2012-01-11 | 주식회사 버즈니 | 인터넷을 활용한 개체 검색과 이를 위한 하이브리드 기반의 의견분석 시스템 및 그 방법 |
KR20130059093A (ko) | 2011-11-28 | 2013-06-05 | 주식회사 솔트룩스 | 군집 기반 미디어 융합 퍼블리싱 시스템 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4253154A (en) * | 1979-01-11 | 1981-02-24 | North American Philips Corporation | Line scan and X-ray map enhancement of SEM X-ray data |
JP2865682B2 (ja) * | 1988-12-23 | 1999-03-08 | 株式会社日立製作所 | 情報処理システム及び情報処理方法 |
US6864779B2 (en) * | 2001-05-30 | 2005-03-08 | E-Netpic.Com, Inc. | Method and apparatus for transmitting data from a remote location to a desired device |
JP2005094587A (ja) | 2003-09-19 | 2005-04-07 | Yokogawa Electric Corp | 監視システム |
ATE421739T1 (de) * | 2003-11-18 | 2009-02-15 | Intergraph Software Tech Co | Digitale video-üebrwachung |
US7555148B1 (en) * | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US20060159367A1 (en) * | 2005-01-18 | 2006-07-20 | Trestle Corporation | System and method for creating variable quality images of a slide |
JP4887893B2 (ja) * | 2006-04-26 | 2012-02-29 | 株式会社日立製作所 | 計算機システム及び計算機システムの制御方法 |
US7958104B2 (en) * | 2007-03-08 | 2011-06-07 | O'donnell Shawn C | Context based data searching |
US8117185B2 (en) * | 2007-06-26 | 2012-02-14 | Intertrust Technologies Corporation | Media discovery and playlist generation |
US8719288B2 (en) * | 2008-04-15 | 2014-05-06 | Alexander Bronstein | Universal lookup of video-related data |
KR101033995B1 (ko) | 2008-07-21 | 2011-05-11 | 삼우에레코 주식회사 | 자가 진단 기능을 가지는 보안시스템 |
US7882143B2 (en) * | 2008-08-15 | 2011-02-01 | Athena Ann Smyros | Systems and methods for indexing information for a search engine |
US8370293B2 (en) * | 2008-08-21 | 2013-02-05 | Terarecon Inc. | Workflow template management for medical image data processing |
JP4747213B2 (ja) | 2009-08-14 | 2011-08-17 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 文書を収集するためのシステムおよびプログラム |
US8949913B1 (en) * | 2010-09-16 | 2015-02-03 | Pixia Corp. | Method of making a video stream from a plurality of viewports within large format imagery |
TWI519167B (zh) * | 2012-04-23 | 2016-01-21 | 廣達電腦股份有限公司 | 運用後設資料來進行目標辨識與事件重現之系統 |
US9436875B2 (en) * | 2012-12-06 | 2016-09-06 | Nokia Technologies Oy | Method and apparatus for semantic extraction and video remix creation |
US9152642B2 (en) * | 2012-12-21 | 2015-10-06 | Zetta, Inc. | Systems and methods for on-demand data storage |
WO2014121086A2 (en) * | 2013-01-31 | 2014-08-07 | Matt O'malley | System and method for dynamic criteria, request-lists, event-lists, and playlists |
US8583631B1 (en) * | 2013-01-31 | 2013-11-12 | Splunk Inc. | Metadata tracking for a pipelined search language (data modeling for fields) |
US20140365505A1 (en) * | 2013-06-08 | 2014-12-11 | Apple Inc. | Harvesting Addresses |
US8977600B2 (en) * | 2013-05-24 | 2015-03-10 | Software AG USA Inc. | System and method for continuous analytics run against a combination of static and real-time data |
US10387794B2 (en) * | 2015-01-22 | 2019-08-20 | Preferred Networks, Inc. | Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment |
-
2013
- 2013-12-16 KR KR1020130156647A patent/KR101964230B1/ko active IP Right Grant
-
2014
- 2014-03-25 US US15/024,188 patent/US9870518B2/en active Active
- 2014-03-25 WO PCT/KR2014/002483 patent/WO2015093687A1/ko active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006057A (ja) * | 1999-06-18 | 2001-01-12 | Fujitsu General Ltd | 異常検出監視システム |
KR20090002604A (ko) * | 2007-07-02 | 2009-01-09 | 주식회사 세스코 | 데이터 통신 제어 시스템 및 이를 이용한 데이터 처리 방법 |
KR20120003834A (ko) | 2011-11-24 | 2012-01-11 | 주식회사 버즈니 | 인터넷을 활용한 개체 검색과 이를 위한 하이브리드 기반의 의견분석 시스템 및 그 방법 |
KR20130059093A (ko) | 2011-11-28 | 2013-06-05 | 주식회사 솔트룩스 | 군집 기반 미디어 융합 퍼블리싱 시스템 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102529547B1 (ko) * | 2022-08-18 | 2023-05-10 | 주식회사 에이데이타 | 빅데이터 연계 자동화를 위한 데이터 수집 장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
US20160232429A1 (en) | 2016-08-11 |
WO2015093687A1 (ko) | 2015-06-25 |
KR101964230B1 (ko) | 2019-04-02 |
US9870518B2 (en) | 2018-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11972036B2 (en) | Scene-based sensor networks | |
EP2688296B1 (en) | Video monitoring system and method | |
US8063936B2 (en) | Modular immersive surveillance processing system and method | |
WO2019022935A1 (en) | SENSORS AND OBJECT DETECTION SYSTEMS | |
US11044206B2 (en) | Live video anomaly detection | |
US20190035104A1 (en) | Object detection and tracking | |
US20170337425A1 (en) | Scene marking | |
CA2569527A1 (en) | Video flashlight/vision alert | |
WO2013059255A1 (en) | Situational awareness | |
CN104994335A (zh) | 一种报警的方法及终端 | |
KR101964230B1 (ko) | 데이터 처리 시스템 | |
CN112969049A (zh) | 一种船舶违章行为智能侦测*** | |
CN101448146A (zh) | 视频监控***中的前端设备及前端设备中的信号处理方法 | |
CN115103157A (zh) | 基于边云协同的视频分析方法、装置、电子设备及介质 | |
CN105338293A (zh) | 报警事件的输出显示方法及装置 | |
KR101068145B1 (ko) | 스마트폰을 이용한 댁내 디바이스 제어시스템 | |
CN114553725B (zh) | 一种机房监控告警方法、装置、电子设备及存储介质 | |
KR20150043147A (ko) | 모니터링 방법 | |
GB2570498A (en) | A method and user device for displaying video data, a method and apparatus for streaming video data and a video surveillance system | |
Pratl et al. | Smart nodes for semantic analysis of visual and aural data | |
CN115361517B (zh) | 警前录像方法、装置、电子设备及可读存储介质 | |
KR20200061109A (ko) | 영상처리 일체형 cctv | |
CN115437872A (zh) | 应用性能监测方法、装置、设备及存储介质 | |
KR20180067224A (ko) | 사용자 장치 및 그의 로그 관리 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |