KR102058452B1 - IoT 융합 지능형 영상분석 플랫폼 시스템 - Google Patents

IoT 융합 지능형 영상분석 플랫폼 시스템 Download PDF

Info

Publication number
KR102058452B1
KR102058452B1 KR1020190077928A KR20190077928A KR102058452B1 KR 102058452 B1 KR102058452 B1 KR 102058452B1 KR 1020190077928 A KR1020190077928 A KR 1020190077928A KR 20190077928 A KR20190077928 A KR 20190077928A KR 102058452 B1 KR102058452 B1 KR 102058452B1
Authority
KR
South Korea
Prior art keywords
data
image
alarm
sensing
unit
Prior art date
Application number
KR1020190077928A
Other languages
English (en)
Inventor
조만영
Original Assignee
가온플랫폼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온플랫폼 주식회사 filed Critical 가온플랫폼 주식회사
Priority to KR1020190077928A priority Critical patent/KR102058452B1/ko
Application granted granted Critical
Publication of KR102058452B1 publication Critical patent/KR102058452B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25232—DCS, distributed control system, decentralised control unit
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32328—Dynamic scheduling, resource allocation, multi agent negotiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 IoT 융합 지능형 영상분석 플랫폼 시스템에 관한 것으로서 더욱 상세하게는 CCTV 영상데이터와 IoT 계측 센서데이터와의 상호 비교조건에 따라 경보 발생 진위여부를 확인 후 최종 검증된 경보를 클라이언트 단말기로 제공하여 일부 지능형 영상 시스템의 오경보로 인한 업무 효율성 저하를 방지할 수 있으며 경보 상황에 대한 판단 신뢰도를 보다 향상시킬 수 있는 IoT 융합 지능형 영상분석 통합감시 플랫폼 시스템에 관한 것이다.
이를 위해 본 발명은 특정 객체의 이상 유무를 감지하도록 객체의 센싱데이터를 수집하는 복수의 IoT 계측센서들과; 특정 객체의 이상 유무를 감지하도록 객체의 영상데이터를 수집하는 CCTV 카메라와; 상기 CCTV 카메라와 데이터 통신가능하도록 연결되어 상기 영상데이터를 전송받아 저장하는 NVR(Network Video Recorder) 서버와; 상기 IoT 계측센서들 및 NVR 서버와 데이터 통신가능하도록 연결되어 각각 상기 센싱데이터와 상기 영상데이터를 제공받아 통합데이터로 처리하는 데이터 통합연계부와; 상기 데이터 통합연계부와 데이터 통신가능하도록 연결되어 통합데이터를 전달받으며 통합데이터 내 센싱데이터 및 영상데이터를 분석하여 해당 객체의 이상 유무에 대한 상황데이터 및 경보데이터를 생성하는 플랫폼 서버; 및 상기 플랫폼 서버와 데이터 통신가능하도록 연결되어 상기 플랫폼 서버로부터 상황데이터 및 경보데이터를 전달받아 디스플레이하는 클라이언트 단말기;를 포함한다.

Description

IoT 융합 지능형 영상분석 플랫폼 시스템{IoT Convergence Intelligent Video Analysis Platform System}
본 발명은 IoT 융합 지능형 영상분석 플랫폼 시스템에 관한 것으로서 더욱 상세하게는 CCTV 영상데이터와 IoT 계측 센서데이터와의 상호 비교조건에 따라 경보 발생 진위여부를 확인 후 최종 검증된 경보를 클라이언트 단말기로 제공하여 일부 지능형 영상 시스템의 오경보로 인한 업무 효율성 저하를 방지할 수 있으며 경보 상황에 대한 판단 신뢰도를 보다 향상시킬 수 있는 IoT 융합 지능형 영상분석 통합감시 플랫폼 시스템에 관한 것이다.
일반적으로 지능형 영상분석 시스템은 취득되는 이미지 및 영상만을 통해 객체 및 행동을 식별함으로써 기존에 다수의 화면을 종합 상황실 관제사의 경험 및 지속적 운영을 통해서만 관리가 되었던 사전 예방 목적 보다는 사후 원인 분석 블랙박스형 형태의 영상분석 시스템이었다.
이후 신기술이 보급화되면서 지능형 영상분석을 자동화하여 이상행위를 자동 탐지하여, 한정된 인원으로 수많은 화면을 관제하는 영상운영 시스템으로 도입되었다.
하지만, 사용자가 사전에 설정한 규칙을 지속적으로 관리 및 학습이 병행 되지 않거나, 영상의 화질, 조도, 날씨, 진동 등 외부 환경 요인으로 인해 탐지가 안 되거나 오류가 발생하여 시스템 신뢰성의 저하되고 있는 실정이다.
도 1은 종래의 설비 모니터링 시스템 및 지능형 영상분석 시스템의 내부구성을 나타내는 블럭도이다.
도 1을 참조하면, 종래의 계측센서 감시 시스템의 구성은 IoT 계측센서 (10), 통신연계부(20), DB 서버(Data Base Server, 30), 클라이언트 단말기(40)로 구성되며, 영상 감시 시스템의 구성은 CCTV 카메라(50), NVR 서버(Network Video Recorder Server, 60) 구성되어 있다.
IoT 계측센서(10)는 각 설비별 운전제어 및 상태 값 데이터를 한 곳으로 수집된 분산제어시스템 DCS(Distribution Control System)이나 프로그램 로직컨트롤 PLC(Programmable Logic Controller)에 집약된 장치이다. 이 장치에는 통신연계를 위한 표준 통신 프로토콜을 사용하여 데이터를 다른 시스템에서 가져갈 수 있도록 구성되어 있는 센싱데이터 전송부(11)를 포함한다. 대표적인 설비 장치 프로토콜은 OPC(Object Linking and Embedding for Process Control)이다.
통신연계부(20)는 표준 통신 프로토콜 통신을 통해 각 디바이스 특성에 맞는 센싱데이터의 품질(Quality) 및 Dead Band 조건에 맞춰 필터링하는 데이터 처리부(21)와 취득한 데이터를 Data Base 구조에 맞게 서버로 보내주는 데이터 전송부(22)로 구성되어 있다.
DB 서버(30)는 수집된 센싱데이터를 시계열 순으로 저장하는 데이터 저장부(31)와, DB 필드명에 정의된 데이터를 실시간 업데이트 하는 센싱데이터 처리부(32)와, 각 센서로부터 실시간으로 취득 되는 데이터 값과 설정된 경보치를 실시간 분석하는 센싱데이터 분석부(33)와, 경보 치에 도달한 데이터를 저장하고 경보를 처리하는 센싱데이터 경보처리부(33)로 구성된다.
또한, 최종 사용자가 계측센서로부터 수집된 데이터와 경보데이터를 실시간으로 조회 및 비교를 통해 설비의 운전상태 건전성을 판단할 수 있도록 표시해 주는 데이터 및 경보표시부(41)로 구성된 클라이언트 단말기(40)가 있으며, 이는 Dashbord, Web, Mobile, C/S(Client & Server)등 여러 환경으로 구성 될 수 있다.
종래의 영상 감시 시스템은 각 주요 설비 구역에 설치된 CCTV 카메라(50)에는 촬영된 아날로그 영상데이터를 디지털로 변환하여 실시간 영상데이터 저장 서버로 전송하는 영상데이터 전송부(51)가 포함되며, NVR 서버(60)는 수집된 영상데이터를 디지털형식으로 압축저장하는 영상데이터 저장부(61)와, CCTV 제어 및 촬영된 영상 프레임 편집을 수행하는 영상제어부(62)와, 실시간 영상화면을 디스플레이 하거나 녹화재생을 표시하는 영상화면 표시부(63)로 구성된다.
상기와 같은 종래의 시스템은 계측센서를 통해 감시하는 운전상태 감시시스템과 영상 감시시스템이 별도의 구조로 설계되어 있기 때문에 두 시스템 간의 데이터 연동 및 설비별 정형화된 DB 구조화가 구축되지 않았으며, 이에 의해 영상분석 시스템에서의 경보가 발생하여도, 수동으로 해당 설비의 계측센서의 경보를 확인해야 하는 어려움이 발생한다.
설비 이상 및 안전사고의 사전 예방을 위해서는 신속하고 정확한 정보를 확인하여 빠른 대처가 필요한 사항이지만 실시간으로 수십만 개의 계측센서데이터와 수백 개의 영상데이터를 한정적인 인력으로 실시간 감시하고 문제발생시 대처하기에는 거의 불가능에 가까운 실정이다.
일부 구역에 적용된 알고리즘 내장형 CCTV를 활용한 지능형 영상 분석 시스템이 도입되었지만 지능형 영상 분석시스템의 잦은 오류 및 불필요한 경보발생으로 신뢰성을 보장받을 수 없으며, 알고리즘 내장형 CCTV H/W교체 업무가 필수조건이어서 구축비용 및 설치 기간의 제약이 따른다.
한국등록특허 10-1513215호
본 발명은 상기의 문제점을 해결하기 위해 안출된 것으로서 CCTV 영상데이터와 IoT 계측 센서데이터와의 상호 비교조건에 따라 경보 발생 진위여부를 확인 후 최종 검증된 경보를 관리자에게 제공하여 기존 영상분석 시스템에서 발생되는 부정확한 경보와 불필요한 객체 인식을 최소화할 수 있으며, IoT 계측센서 데이터의 비정상적인 상황 발생시에도 사용자에게 해당 설비의 영상데이터를 제공함에 따라 경보 발생 진위여부를 확인가능하도록 하며 수 만개의 센싱데이터와 영상데이터의 처리, 저장을 하나의 서버로 구현하여 향후 설비 고장에 대한 원인 분석시 해당 설비의 과거 영상과 해당 데이터를 동시에 사용자에게 제공하여 분석에 소요되는 시간의 현격한 감소 및 분석 신뢰도의 증대를 유도할 수 있는 IoT 융합 지능형 영상분석 플랫폼 시스템을 제공함에 그 목적이 있다.
본 발명은 상기의 목적을 달성하기 위해 아래와 같은 특징을 갖는다.
본 발명은 특정 객체의 이상 유무를 감지하도록 객체의 센싱데이터를 수집하는 복수의 IoT 계측센서들과; 특정 객체의 이상 유무를 감지하도록 객체의 영상데이터를 수집하는 CCTV 카메라와; 상기 CCTV 카메라와 데이터 통신가능하도록 연결되어 상기 영상데이터를 전송받아 저장하는 NVR(Network Video Recorder) 서버와; 상기 IoT 계측센서들 및 NVR 서버와 데이터 통신가능하도록 연결되어 각각 상기 센싱데이터와 상기 영상데이터를 제공받아 통합데이터로 처리하는 데이터 통합연계부와; 상기 데이터 통합연계부와 데이터 통신가능하도록 연결되어 통합데이터를 전달받으며 통합데이터 내 센싱데이터 및 영상데이터를 분석하여 해당 객체의 이상 유무에 대한 상황데이터 및 경보데이터를 생성하는 플랫폼 서버; 및 상기 플랫폼 서버와 데이터 통신가능하도록 연결되어 상기 플랫폼 서버로부터 상황데이터 및 경보데이터를 전달받아 디스플레이하는 클라이언트 단말기;를 포함한다.
여기서 상기 IoT 계측센서는 생성된 상기 센싱데이터를 데이터 통합연계부로 전송하는 센싱데이터 전송부가 포함되며, 상기 CCTV 카메라는 생성된 상기 영상데이터를 상기 NVR 서버로 전송하는 영상데이터 전송부가 포함된다.
또한 상기 NVR 서버는 상기 CCTV 카메라로부터 영상데이터를 전달받아 디지털 형태의 데이터로 압축, 저장하는 영상데이터 저장부와, 상기 CCTV 카메라의 모니터링, 이벤트 관리 및 제어를 수행하며 상기 영상데이터를 상기 영상데이터 저장부로부터 전달받아 영상 프레임 편집을 수행하는 영상제어부와, 상기 CCTV 카메라로부터 전달받는 영상데이터를 실시간 출력하는 영상화면 표시부와, 상기 영상화면 표시부로부터 실시간 출력하는 영상데이터를 전달받아 이를 데이터 통합연계부로 제공하는 영상데이터 제공부를 포함한다.
아울러 상기 데이터 통합연계부는 상기 IoT 계측센서들의 센싱데이터 전송부로부터 상기 센싱데이터를 전달받는 센싱데이터 수신부와, 상기 NVR 서버의 영상데이터 제공부로부터 상기 영상데이터를 제공받는 영상데이터 수신부와, 상기 센싱데이터 수신부 및 상기 영상데이터 수신부로부터 전달받은 센싱데이터와 영상데이터를 객체 장치별로 분류하고, 채널별 프레임 형태로 분리하여 통합 처리하는 통합데이터 처리부와, 상기 통합데이터 처리부로부터 통합데이터를 플랫폼 서버의 데이터 베이스 구조에 맞게 처리하여 플랫폼 서버로 전송하는 통합데이터 전송부를 포함한다.
또한 상기 플랫폼 서버는 상기 통합데이터 전송부로부터 상기 통합데이터를 전송받아 이를 저장하는 데이터 저장부와, 상기 데이터 저장부로부터 실시간 또는 저장된 통합데이터를 요청하여 센싱데이터를 추출하는 센싱데이터 처리부와, 상기 센싱데이터 처리부로부터 추출된 센싱데이터를 전달받아 해당 객체의 운전정보 데이터의 상태값과 기 설정된 경보데이터를 비교, 분석하여 경보 상황인지 여부를 판단하고 경보 상황이면 센싱경보데이터를 생성하는 운전경보 분석부와, 상기 데이터 저장부로부터 실시간 또는 저장된 통합데이터를 요청하여 영상데이터를 추출하되 해당 영상데이터에서 씬을 분리하고, 대표샷, 객체, 행위 동사, 키프레임 및 시각지식을 생성하며 기 설정된 경보데이터와 비교, 분석하여 경보 상황인지 여부를 판단하고 경보 상황이면 영상경보데이터를 생성하는 영상분석부와, 상기 운전경보 분석부로부터 운전정보 데이터 또는 센싱경보데이터를 전달받으며 상기 영상분석부로부터 시각지식을 전달받아 센싱데이터와 영상데이터를 통합하여 현재 상황이 경보 상황인지 가중치에 따라 경보데이터를 분류하여 생성하는 통합경보 처리부를 포함한다.
또한 상기 영상분석부는 데이터 저장부로부터 전달받은 통합데이터에서 영상데이터를 추출하여 씬(Scene)을 분리하는 단계와, 상기 분리된 각 씬에서 대표샷(shot)을 추출하는 단계와, 상기 대표샷을 구성하는 프레임에서 객체를 추출하는 단계와, 상기 추출된 객체 간 상호 관계를 기반으로 행위 동사를 추출하는 단계와, 상기 행위 동사를 추출한 근거가 되는 객체와 상호 관계가 가장 잘 표현된 것으로 판단되는 프레임을 키프레임으로 선정하는 단계와, 상기 선정된 키프레임을 기반으로 시각지식을 생성하는 단계를 포함하여 분석이 이루어진다.
아울러 상기 통합경보 처리부는 영상분석부로부터 시각지식을 전송받아 이를 저장하며 클라이언트 단말기로 시각지식을 전송시 클라이언트 단말기의 인터페이스에 따라 시각화하여 전송하는 것이 바람직하다.
본 발명에 따르면 계측센서 데이터의 이상이 감지되는 경우 해당 설비의 영상을 사전에 사용자에게 제공하여 중점관리 대상이라는 인식을 상기시켜 사전 예방을 가능하게 하며, 지능형 영상분석 시스템에서 발생된 객체 및 행동 인식에 대한 경보의 진위 여부를 센서 데이터와 비교하여 진위를 파악하고 조건을 비교분석하여 사용자에게 제공함에 따라 정확한 영상분석 결과를 제공할 수 있는 효과가 있다.
도 1은 종래의 설비 모니터링 시스템 및 지능형 영상분석 시스템의 내부구성을 나타내는 블럭도이다.
도 2는 본 발명의 일실시예에 따른 IoT 융합 지능형 영상분석 플랫폼 시스템의 내부 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일실시예에 따른 영상분석부의 분석과정을 나타내는 순서도이다.
도 4는 씬(scene)의 구조를 나타낸 개념도이다.
도 5는 본 발명의 일실시예에 따른 경보데이터 생성과정과 데이터 및 경보표시과정을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따라 설비의 화재발생과정에서 클라이언트의 인지시점을 나타내는 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.
먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 2는 본 발명의 일실시예에 따른 IoT 융합 지능형 영상분석 플랫폼 시스템의 내부 구성을 나타내는 블럭도이다.
도면을 참조하면 본 발명의 일실시예에 따른 IoT 융합 지능형 영상분석 플랫폼 시스템(100)은 크게 특정 객체의 이상 유무를 감지하도록 객체의 센싱데이터를 수집하는 복수의 IoT 계측센서(110)들과, 특정 객체의 이상 유무를 감지하도록 객체의 영상데이터를 수집하는 CCTV 카메라(120)와, 상기 CCTV 카메라(120)와 데이터 통신가능하도록 연결되어 상기 영상데이터를 전송받아 저장하는 NVR(Network Video Recorder) 서버(130)와, 상기 IoT 계측센서(110)들 및 NVR 서버(130)와 데이터 통신가능하도록 연결되어 각각 상기 센싱데이터와 상기 영상데이터를 제공받아 통합데이터로 처리하는 데이터 통합연계부(140)와, 상기 데이터 통합연계부(140)와 데이터 통신가능하도록 연결되어 센싱데이터 및 영상데이터를 분석하여 처리데이터를 생성하는 플랫폼 서버(150) 및 상기 플랫폼 서버(150)와 데이터 통신가능하도록 연결되어 상기 플랫폼 서버(150)로부터 분석된 상기 처리데이터를 전달받아 디스플레이하는 클라이언트 단말기(160)를 포함하여 구성된다.
여기서 상기 IoT 계측센서(110)는 분산제어시스템(DCS; Distribution Control System)이나 프로그램 로직 컨트롤(PLC; Programmable Logic Controller)에 집약된 장치설비로써 통신 연계를 위한 표준 통신 프로토콜을 사용하여 데이터를 후술할 데이터 통신연계부(140)로 전송하도록 하는 센싱데이터 전송부(111)를 포함한다.
이러한 IoT 계측센서(110)는 사물인터넷 기반의 센서유닛으로 모니터링이 요구되는 산업 플랜트 내 시설물 또는 설비에 유지관리 및 안전사고예방을 위해 복수개가 설치되어 해당 시설물 또는 설비의 이상 유무를 계측한다.
예를 들면, 상기 IoT 계측센서(110)는 세부적으로 계측센서유닛, 전원공급장치 및 센싱데이터 전송부(111) 등을 포함하여 구성되며, 각각의 IoT 계측센서(110)는 고유식별번호가 부여되어 센싱데이터 전송부(111)를 통해 센싱데이터가 전송될 시에 해당 고유식별번호가 함께 전송되도록 한다.
또한, 상기 IoT 계측센서(110)는 계측 목적에 따라 독립적으로 변형률계, 변위계, 가속도계, 온도 센서, 습도 센서, 부식 측정계 등의 형태로 다양하게 구성될 수 있고, 다수의 계측센서 조합으로 구비될 수도 있다.
또한, 상기 IoT 계측센서(110)는 목적하는 시설물 또는 설비 등의 객체에 직접 부착 또는 결합되는 형태로 설치되거나 객체에서 이격 설치되어 해당 객체의 타겟 센싱을 담당하게 되며, 상기 복수개로 구비되는 IoT 계측센서(110)들은 최소 전력만으로도 운영될 수 있도록 상시 전원이 인가되어 지속적으로 계측을 실시하는 계측센서의 수는 최소화하고, 나머지 센서는 최소 대기전력 상태에 있도록 하거나, 또는 상기 IoT 계측센서(110)에 각각 구비된 태양전지패널과 축전지(도시되지 않음)를 사용하여 필요한 전원을 스스로 생산 및 저장하도록 구성할 수 있다.
이와 같은 상기 IoT 계측센서(110)는 실시간으로 설정에 따른 주기에 따라 객체의 이상 유무를 계속적으로 감지하여 이에 대한 센싱데이터를 생성하여 센싱데이터 전송부(111)를 통해 데이터 통합연계부(140)로 전송하게 된다.
한편 상기 CCTV 카메라(120)는 전술한 상기 IoT 계측센서(110)와 마찬가지로 특정 시설물이나 설비의 일측에 설치되어 실시간 또는 일정 주기별이나 설정 이벤트 발생시에 해당 시설물이나 설비를 촬영하고 이에 따라 생성된 영상데이터를 디지털 형태로 변환하여 NVR 서버(130)로 전송한다.
이러한 영상데이터의 전송은 CCTV 카메라(120) 내에 포함되는 영상데이터 전송부(121)를 통해 이루어지며, NVR 서버(130)는 실시간으로 전송되는 영상데이터를 제공받아 압축, 저장하고 영상데이터의 영상 프레임을 편집 수행하며 실시간 영상 디스플레이 및 녹화를 수행한다.
이와 같은 NVR((Network Video Recorder) 서버(130)는 상기 CCTV 카메라(120)로부터 영상데이터를 전달받아 디지털 형태의 데이터로 압축, 저장하는 영상데이터 저장부(131)와, 상기 CCTV 카메라(120)의 모니터링, 이벤트 관리 및 제어를 수행하며 상기 영상데이터를 상기 영상데이터 저장부(131)로부터 전달받아 영상 프레임 편집을 수행하는 영상제어부(132)와, 상기 CCTV 카메라(120)로부터 전달받는 영상데이터를 실시간 출력하는 영상화면 표시부(133)와, 상기 영상화면 표시부(133)로부터 실시간 출력하는 영상데이터를 전달받아 이를 데이터 통합연계부(140)로 제공하는 영상데이터 제공부(134)로 이루어진다.
여기서 상기 영상제어부(132)는 CCTV 카메라(120)의 구동 이상 유무 등을 모니터링하고, 다양한 설정 상황에 발생에 따른 이벤트 관리를 설정, 제어하며 영상데이터 저장부(131)의 저장 환경 설정 및 설정 주기에 따른 데이터 삭제 또는 외부로부터 저장된 영상데이터의 요청이 있는 경우 이를 검색하여 해당 데이터의 추출 및 전송 제어를 수행할 수 있다.
한편 상기 영상데이터 제공부(134)를 통해 실시간 출력되는 영상데이터는 데이터 통합연계부(140)로 전달되는데, 여기서 상기 데이터 통합연계부(140)는 전술한 IoT 계측센서(110)들의 센싱데이터와 CCTV 카메라(120)의 영상데이터를 함께 전송받아 타임별, 객체별로 분류하여 통합데이터를 생성하게 된다.
이러한 상기 데이터 통합연계부(140)는 상기 IoT 계측센서(110)들의 센싱데이터 전송부(111)로부터 상기 센싱데이터를 전달받는 센싱데이터 수신부(141)와, 상기 NVR 서버(130)의 영상데이터 제공부(134)로부터 상기 영상데이터를 제공받는 영상데이터 수신부(142)와, 상기 센싱데이터 수신부(141) 및 상기 영상데이터 수신부(142)로부터 전달받은 센싱데이터와 영상데이터를 객체 장치별 및 타임별로 채널별 프레임 형태로 분리하여 통합 처리하는 통합데이터 처리부(143)와, 상기 통합데이터 처리부(143)로부터 통합데이터를 전달받아 플랫폼 서버(150)의 데이터 베이스 구조에 맞게 처리하여 플랫폼 서버(150)로 전송하는 통합데이터 전송부(144)를 포함한다.
여기서 상기 센싱데이터 수신부(141)는 데이터 통합연계부(140)를 통해 전달되는 센싱데이터의 퀄러티 및 데드 밴드 조건에 따라 필터링을 수행하며, 영상데이터 수신부(142)는 요청된 채널별 실시간 영상 표준 프로토콜로 스트리밍된 데이터를 기설정된 필터링 조건에 맞게 필터링을 수행한다.
아울러 상기 통합데이터 처리부(143)는 상기 센싱데이터 수신부(141) 및 상기 영상데이터 수신부(142)로부터 전달받은 센싱데이터와 영상데이터를 객체 장치별, 타임별로 분류하고 채널별 프레임으로 분리되는 통합데이터를 생성한다.
이에 따라 생성된 통합데이터는 상기 통합데이터 전송부(144)에 의해 플랫폼 서버(150)로 전달된다.
상기 플랫폼 서버(150)는 상기 데이터 통합연계부(140)와 데이터 통신가능하도록 연결되어 통합데이터를 전달받으며, 이를 통해 센싱데이터 및 영상데이터를 분석하여 상황데이터 및 경보데이터를 생성하도록 구비되는데, 이러한 플랫폼 서버(150)는 상기 통합데이터 전송부(144)로부터 상기 통합데이터를 전송받아 이를 저장하는 데이터 저장부(151)와, 상기 데이터 저장부(151)로부터 실시간 또는 저장된 통합데이터를 요청하여 센싱데이터를 추출하는 센싱데이터 처리부(152)와, 상기 센싱데이터 처리부(152)로부터 추출된 센싱데이터를 전달받아 해당 객체의 운전정보 데이터의 상태값과 기 설정된 경보데이터를 비교, 분석하여 경보 상황인지 여부를 판단하고 경보 상황이면 센싱경보데이터를 생성하는 운전경보 분석부(153)와, 상기 데이터 저장부(151)로부터 실시간 또는 저장된 통합데이터를 요청하여 영상데이터를 추출하되 해당 영상데이터에서 씬을 분리하고, 대표샷, 객체, 행위 동사, 키프레임 및 시각지식을 생성하며 기 설정된 경보데이터와 비교, 분석하여 경보 상황인지 여부를 판단하고 경보 상황이면 영상경보데이터를 생성하는 영상분석부(154)와, 상기 운전경보 분석부(153)로부터 운전정보 데이터 또는 센싱경보데이터를 전달받으며 상기 영상분석부(154)로부터 시각지식를 전달받아 센싱데이터와 영상데이터를 통합하여 현재 상황이 경보 상황인지 가중치에 따라 경보데이터를 분류하여 생성하는 통합경보 처리부(155)로 이루어진다.
여기서 상기 데이터 저장부(151)는 실시간 사전 정의된 RTDB(Real Time Data Base)구조에 맞게 통합데이터 전송부(144)를 통해 수신된 센싱데이터 및 영상데이터를 저장하며, 센싱데이터 처리부(152) 또는 영상분석부(154)의 요청이 있는 경우 해당 저장데이터를 전달하도록 구성된다.
아울러 상기 운전경보 분석부(153)는 상기 센싱데이터 처리부(152)로부터 전달받은 실시간 또는 기 저장된 센싱데이터를 기 설정된 경보데이터와 비교하여 설정 임계치를 초과하는 경우 경보데이터와 상황데이터를 생성시키고 설정 임계치를 초과하지 않는 경우 현재 상황에 따른 센싱데이터인 상황데이터만을 생성시킨다.
또한 상기 영상분석부(154)는 상기 데이터 저장부(151)로부터 실시간 또는 저장된 통합데이터를 요청하여 영상데이터를 추출하되 해당 영상데이터에서 씬을 분리하고, 대표샷, 객체, 행위 동사, 키프레임 및 시각지식을 생성하도록 구비되는데, 이때 영상분석부(154)는 시각지식을 생성하기 위해 데이터 저장부(151)로부터 전달받은 통합데이터에서 영상데이터를 추출하여 씬(Scene)을 분리하는 단계(S100)와, 상기 분리된 각 씬에서 대표샷(shot)을 추출하는 단계(S110)와, 상기 대표샷을 구성하는 프레임에서 객체를 추출하는 단계(S120)와, 상기 추출된 객체 간 상호 관계를 기반으로 행위 동사를 추출하는 단계(S130)와, 상기 행위 동사를 추출한 근거가 되는 객체와 상호 관계가 가장 잘 표현된 것으로 판단되는 프레임을 키프레임으로 선정하는 단계(S140)와, 상기 선정된 키프레임을 기반으로 시각지식을 생성하는 단계(S150)를 수행한다.
도 3은 본 발명의 일실시예에 따른 영상분석부의 분석과정을 나타내는 순서도이며, 도 4는 씬의 구조를 나타낸 개념도이다.
우선 도 4를 참조하여 씬(Scene), 샷(Shot), 대표샷, 키 프레임(Key Frame), 시각지식(Primitive Visual Knowledge)의 용어에 대하여 간단히 설명하기로 한다.
시각지식을 구축하기 위한 시각지식 제공 장치의 입력은 디지털 이미지 시퀀스(예를 들어, 동영상, 디지털 모션 픽쳐 등)을 대상으로 한다. 디지털 이미지 시퀀스는 디지털 이미지가 단위 시간에 대해 연속적으로 존재하는 것으로, 통상적으로, 초당 몇 프레임(예를 들어, 초당 10프레임, 초당 20프레임)이라는 측도로 디지털 이미지 시퀀스의 밀도가 표현된다.
이해와 설명의 편의를 위하여, 대표적인 디지털 이미지 시퀀스인 영화로 예를 들어 설명한다. 씬(scene)은 영화 시나리오에서의 최소 장면 단위로, 영화에서의 씬은 하나의 장소에서 동일한 시간대에 일어난 연속된 사건을 말하며, 장소나 시간 중 하나라도 바뀌면, 이는 다른 씬이 된다. 씬은 하나 이상의 샷(shot)으로 구성되고, 하나의 샷이 씬이 될 수도 있다. 샷은 장면을 컷으로 나눌 때의 최하의 단위이며, 일반적으로, 샷은 연출가가 "액션"이라고 말할 때 시작해서 "컷"이라고 말할 때 끝나는, 중단되지 않은 촬영 또는 녹화를 뜻한다.
이러한 샷이 모여 씬을 이루고, 일련의 씬이 모여 시퀀스(sequence)를 만든다. 달리 말하면, 일반적인 디지털 이미지 시퀀스는 씬 단위로 특정한 이벤트가 나타나고, 특정한 이벤트는 하나 이상의 샷으로 구성된다. 씬을 구성하는 하나 이상의 샷에서 씬을 대표하는 이벤트를 포함하는 샷을 대표 샷이라고 정의하면, 대표샷은 씬을 대표하는 이벤트를 포함하고 있는 프레임으로 구성된다. 좀 더 세분화하여, 이러한 대표샷에서 씬을 대표하는 이벤트를 포함하는 하나의 프레임이 선정되면, 이 프레임이 키 프레임(key frame)이 될 수 있다.
디지털 이미지 시퀀스의 특별한 예로 본 발명에서와 같은 CCTV 영상이 있다. CCTV 영상은 연속적으로 계속 저장되는 영상이라 씬, 샷 등의 구분이 모호하다. 따라서, CCTV 영상과 같이 연속적으로 기록된 디지털 이미지 시퀀스의 경우는 관리자가 설정하는 특정 임계치 정보를 기준으로 정상 상황(특이한 이벤트가 발생하지 않는 상황) 또는 비정상 상황(특이한 이벤트가 예상되는 상황)으로 구분되고, 각각의 비정상 상황이 하나의 씬으로 취급된다. CCTV 영상의 경우, 분리된 하나의 씬이 하나의 샷(대표샷)이 되고, 이 샷에서 비정상 이벤트를 대표하는 하나의 프레임이 추출되어 키프레임으로 이용된다.
시각지식은 씬에 내재된 정보를 정형화된 메타데이터 형식으로 표현한 것으로, CCTV 영상과 같은 디지털 이미지 시퀀스를 이벤트 기반으로 분할한 씬으로부터 대표샷을 추출하고, 전통적인 비젼 기술을 이용하여 대표샷으로부터 객체를 추출(씬의 syntactic 정보)하고, 추출된 객체간의 상관 관계를 기반으로 이벤트 정보(씬의 semantic 정보)를 추론하고, 이 두 정보를 정형화된 메타데이터 형식으로 표현한 것이다.
이에 따라 본 발명에 따른 영상분석부(154)는 데이터 저장부(151)로부터 전달받은 통합데이터에서 영상데이터를 추출하여 씬(Scene)을 분리한다(S100).
이때 영상분석부(154)는 영상데이터의 이미지 변화량을 모니터링하여 변화량이 임계치를 초과하는 시점을 씬의 시작으로 태깅하고 변화량이 임계치 이하로 떨어지는 시점을 씬의 종료점으로 태깅하여 씬의 시작점과 종료점의 구간 영상을 분리하고 분리한 영상을 분석용 씬으로 저장한다.
이러한 임계치는 관리자에 의해 설정될 수 있으며 객체에 따라 변화량이 많은 경우 임계치를 높게 설정하고 변화량이 적은 경우 임계치를 낮게 설정함이 바람직하다.
그런 다음 영상분석부(154)는 분리된 각 씬에서 대표샷(shot)을 추출하는데(S110), 예를 들어, 슬라이딩 윈도우 기법을 이용하여 분리된 씬을 따라 구간 영역을 이동하면서 구간 영역 내의 엔트로피를 계산하고, 엔트로피가 가장 높은 구간을 대표샷으로 추출할 수 있다.
대표샷이 추출되면, 영상분석부(154)는 대표샷을 구성하는 프레임에서 객체를 추출하는데(S120), 예를 들어, 추출된 대표샷을 구성하는 이미지 프레임에 대하여 전통적인 비전 기술을 이용하여 객체를 추출 및 인식하고, 객체의 이미지 상에서의 좌표를 계산한다.
이에 따라 객체 추출이 완료되면 상기 추출된 객체 간 상호 관계를 기반으로 행위 동사를 추출한다(S130).
예를 들어, 온톨로지와 같은 정형화된 형식으로 관심 이벤트에 대한 행위가 정의되고 정의된 행위를 구성하는 단위 행동들의 합성 규칙이 사전에 구축될 수 있다. 영상분석부(154)는 추출된 객체의 시간적 및/또는 공간적 변화 관계(예를 들어, 이동속도, 이동방향, 상호 관계를 형성하는 객체들간의 조합 등)를 기반으로 사전 구축된 합성 규칙을 만족시키는 다수의 행위 동사를 추론할 수 있다. 통상적으로, 객체들 간의 다양한 관계정보에서 다수의 행위 동사가 추론될 수 있고, 추론된 행위 동사에 랭킹이 부여될 수 있다. 행위 정의 및 합성 규칙은 행동을 모델링한 것으로, 신체 일부의 움직임, 한 사람의 다양한 액션, 두 객체 사이에서 발생하는 행동, 다수 객체로 구성된 그룹에서 발생되는 그룹 행동들의 특성을 조사하고 조사된 특성을 기반으로 정형화된 온톨로지로 구축될 수 있다.
이에 따라 영상분석부(154)는 행위 동사를 추출한 근거가 되는 객체와 상호 관계가 가장 잘 표현된것으로 판단되는 프레임을 키프레임으로 선정하게 되는데(S140), 예를 들면 대표샷을 구성하는 복수의 이미지 프레임에서 가장 높은 랭킹의 행위 동사를 가지고 있는 이미지 프레임을 키프레임으로 선정할 수 있다.
이를 통해 상기 선정된 키프레임을 기반으로 시각지식을 생성한다(S150). 예를 들어, 선정된 키프레임의 이미지, 키프레임에 포함된 객체들의 MBR(Minimum Bounding Rectangle) 영역에 대한 시각 단어(Visual Word), 객체 속성 및 객체들의 화면상 위치, 추론된 행위 동사 및 행위 동사의 추출에 사용된 합성 규칙을 구성적 항목(syntactic element)과 의미적 항목(semantic element)으로 구분하여, XML과 같은 정형화된 형식으로 시각지식을 생성할 수 있다. 부가적으로, 시각지식은 키프레임 선정 과정에서 사용된 영상 소스의 기본 정보, 예를 들어, 카메라의 종류, 카메라의 위치, 카메라의 관리 아이디, 원시영상이 저장된 경로, 원시영상의 이름, 씬의 시작 및 종료 프레임 넘버, 대표샷의 시작 및 종료 프레임 넘버, 키 프레임의 프레임 넘버 등을 포함할 수 있다.
이에 따라 생성된 시각지식은 통합경보 처리부(155)로 전송되며 통합경보 처리부(155)는 운전경보 분석부(153)로부터 전달받은 운전정보 데이터 또는 센싱경보데이터와 함께 현재 상황이 경보 상황인지 가중치에 따라 경보데이터를 분류하여 생성하게 된다. 아울러 시각지식은 별도로 마련되는 통합경보 처리부(155)의 데이타베이스에 저장하거나 경보데이터 저장부(156)에 저장하도록 한다(S160). 이때 저장시 예를 들어, 생성된 시각지식의 검색의 편의성을 위하여, 시간 단위, 공간 단위, 객체 단위, 이벤트 단위, 시각단어(visual word) 단위 등으로 인덱싱하여 씬을 대표하는 키프레임 정보로 저장할 수 있다.
아울러 통합경보 처리부(155) 또는 경보데이터 저장부(156)는 저장된 시각지식을 클라이언트에게 제공하기 위하여 시각화한다(S170). 즉, 통합경보 처리부(155)의 데이타베이스 또는 경보데이터 저장부(156)에 저장된 시각지식을 클라이언트 단말기(160)의 데이터 및 경보표시부(161) 입력 제약사항에 따라 시각지식 시각화 인터페이스에 적재하고, 적재된 시각지식을 시각지식 시각화 인터페이스를 통해 디스플레이하고 네비게이션할 수 있다.
도 5는 본 발명의 일실시예에 따른 경보데이터 생성과정과 데이터 및 경보표시과정을 나타내는 도면이다.
도면을 참조하면 통합경보 처리부(155)는 운전경보 분석부(153)로부터 운전데이터 추이와 임계치 분석 등에 따른 운전정보 데이터와 센싱경보 데이터를 전달받고 영상분석부(154)로부터 생성된 시각지식으로부터 영상경보 이미지를 전달받아 이들 간의 선행관계를 비교 분석하여 상황을 인지하고, 전달받은 경보데이터를 AND, OR 조건을 통한 비교, 분석, 가중치에 따른 우선순위 분류 과정을 등을 우선순위가 설정 순위보다 높은 경보에 대해 클라이언트 단말기(160)로 전송한다.
아울러 경보데이터 저장부(156)는 통합경보 처리부(155)로부터 영상 또는 센싱데이터를 전달받아 저장하며 필요에 따라 클라이언트 단말기(160)의 요청이 있는 경우 요청 조건에 따라 검색하여 이를 전송하도록 구성된다.
도 5에서는 통합경보 처리부(155)의 경보데이터 생성 조건을 센싱경보데이터 발생된 후 영상경보데이터의 발생 여부를 추가적으로 확인하여 생성시키는 것으로 하였으나, 이는 설정에 따라 영상경보데이터 발생을 선행 조건으로 하고, 센싱경보데이터의 발생을 후행 조건으로 할 수도 있다.
아울러 센싱경보데이터가 발생되었으나 영상경보데이터는 발생하지 않는 경우라도 안전사고 예방을 위해 현재 발생된 센싱경보데이터와 해당 객체의 현재부터 이전 일정 시간까지의 영상데이터를 클라이언트 단말기(160)로 전송하여 관리자가 경보 상황인지 여부를 판단하도록 하거나 현재 경보 상황은 아니더라도 위험상황이 발생할 가능성이 높은 상황으로 판단하여 예의 주시할 수 있도록 구성될 수 있다.
아울러 IoT 계측센서(110)의 고장 발생에 따라 센싱경보데이터는 발생하지 않고 영상경보데이터만 발생할 수 있으므로 다양한 상황에 맞게 경보데이터를 가중치 및 우선순위를 두어 분류한 후 이를 클라이언트 단말기(160)로 전송하여 해당 상황에 가장 적절한 대응이 수행될 수 있도록 구성됨이 바람직할 것이다.
한편 상기 클라이언트 단말기(160)는 상기 플랫폼 서버(150)와 데이터 통신가능하도록 연결되어 상기 플랫폼 서버(150)로부터 상황데이터 및 경보데이터를 전달받아 디스플레이하도록 구비된다.
이를 위해 상기 클라이언트 단말기(160)에는 데이터 및 경보표시부(161)가 포함되어 통합경보 처리부(155)로부터 전달받는 통합 경보를 가중치, 우선순위에 따라 표시한다.
여기서 선정된 통합 경보는 동일한 설비의 계측센서 실시간 데이터 및 비정상적으로 감지된 추출된 영상화면과 동시에 실시간 데이터, 경보데이터, Trend, 통계표, 과거 데이터를 비교, 분석, 판단을 할 수 있도록 표시됨이 바람직하다.
도 6은 본 발명의 일실시예에 따라 설비의 화재발생과정에서 클라이언트의 인지시점을 나타내는 도면이다.
도 6에 도시된 바와 같이 본 발명에 따른 IoT 융합 지능형 영상분석 플랫폼 시스템(100)은 화재발생과정을 예로 들면 기존 영상분석 시스템이 화재발생 직전 시점에서 관리자가 화재발생상황을 인지하게 되나, 본 발명의 경우 IoT 계측센서(110)와 CCTV 카메라(120)의 영상분석을 동시에 비교하여 화재발생상황을 관리자에게 제공함에 따라 인지시점이 훨씬 빨라짐과 동시에 정확도 또한 대폭 증대될 수 있게 된다.
화재의 경우 영상에서는 나타나지 않지만 화재가 발생되었거나, 현재 시설물 또는 설비가 임계치를 넘는 과열 양상을 보이는 경우가 흔히 있으므로 이와 같은 경우에는 기존 영상분석 시스템만으로 사전예방의 효과가 극히 미비할 수 밖에 없을 것이다.
이와 같이 본 발명은 도면에 도시된 일실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110 : 복수의 IoT 계측센서 120 : CCTV 카메라
130 : NVR 서버 140 : 데이터 통합연계부
150 : 플랫폼 서버 160 : 클라이언트 단말기

Claims (7)

  1. 특정 객체의 이상 유무를 감지하도록 객체의 센싱데이터를 수집하는 복수의 IoT 계측센서(110)들과;
    특정 객체의 이상 유무를 감지하도록 객체의 영상데이터를 수집하는 CCTV 카메라(120)와;
    상기 CCTV 카메라(120)와 데이터 통신가능하도록 연결되어 상기 영상데이터를 전송받아 저장하는 NVR(Network Video Recorder) 서버(130)와;
    상기 IoT 계측센서(110)들 및 NVR 서버(130)와 데이터 통신가능하도록 연결되어 각각 상기 센싱데이터와 상기 영상데이터를 제공받아 통합데이터로 처리하는 데이터 통합연계부(140)와;
    상기 데이터 통합연계부(140)와 데이터 통신가능하도록 연결되어 통합데이터를 전달받으며 통합데이터 내 센싱데이터 및 영상데이터를 분석하여 해당 객체의 이상 유무에 대한 상황데이터 및 경보데이터를 생성하는 플랫폼 서버(150); 및
    상기 플랫폼 서버(150)와 데이터 통신가능하도록 연결되어 상기 플랫폼 서버(150)로부터 상황데이터 및 경보데이터를 전달받아 디스플레이하는 클라이언트 단말기(160);를 포함하되,
    상기 플랫폼 서버(150)는
    상기 데이터 통합연계부(140)로부터 상기 통합데이터를 전송받아 이를 저장하는 데이터 저장부(151)와,
    상기 데이터 저장부(151)로부터 실시간 또는 저장된 통합데이터를 요청하여 센싱데이터를 추출하는 센싱데이터 처리부(152)와,
    상기 센싱데이터 처리부(152)로부터 추출된 센싱데이터를 전달받아 해당 객체의 운전정보 데이터의 상태값과 기 설정된 경보데이터를 비교, 분석하여 경보 상황인지 여부를 판단하고 경보 상황이면 센싱경보데이터를 생성하는 운전경보 분석부(153)와,
    상기 데이터 저장부(151)로부터 실시간 또는 저장된 통합데이터를 요청하여 영상데이터를 추출하되 해당 영상데이터에서 씬을 분리하고, 대표샷, 객체, 행위 동사, 키프레임 및 시각지식을 생성하는 영상분석부(154)와,
    상기 운전경보 분석부(153)로부터 운전정보 데이터 또는 센싱경보데이터를 전달받으며 상기 영상분석부(154)로부터 시각지식을 전달받아 센싱데이터와 영상데이터를 통합하여 현재 상황이 경보 상황인지 가중치에 따라 경보데이터를 분류하여 생성하는 통합경보 처리부(155)를 포함하는 것을 특징으로 하는 IoT 융합 지능형 영상분석 플랫폼 시스템.
  2. 제1항에 있어서,
    상기 IoT 계측센서(110)는 생성된 상기 센싱데이터를 데이터 통합연계부(140)로 전송하는 센싱데이터 전송부(111)가 포함되며, 상기 CCTV 카메라(120)는 생성된 상기 영상데이터를 상기 NVR 서버(130)로 전송하는 영상데이터 전송부(121)가 포함되는 것을 특징으로 하는 IoT 융합 지능형 영상분석 플랫폼 시스템.
  3. 제2항에 있어서,
    상기 NVR 서버(130)는
    상기 CCTV 카메라(120)로부터 영상데이터를 전달받아 디지털 형태의 데이터로 압축, 저장하는 영상데이터 저장부(131)와,
    상기 CCTV 카메라(120)의 모니터링, 이벤트 관리 및 제어를 수행하며 상기 영상데이터를 상기 영상데이터 저장부(131)로부터 전달받아 영상 프레임 편집을 수행하는 영상제어부(132)와,
    상기 CCTV 카메라(120)로부터 전달받는 영상데이터를 실시간 출력하는 영상화면 표시부(133)와,
    상기 영상화면 표시부(133)로부터 실시간 출력하는 영상데이터를 전달받아 이를 데이터 통합연계부(140)로 제공하는 영상데이터 제공부(134)를 포함하는 것을 특징으로 하는 IoT 융합 지능형 영상분석 플랫폼 시스템.
  4. 제3항에 있어서,
    상기 데이터 통합연계부(140)는
    상기 IoT 계측센서(110)들의 센싱데이터 전송부(111)로부터 상기 센싱데이터를 전달받는 센싱데이터 수신부(141)와,
    상기 NVR 서버(130)의 영상데이터 제공부(134)로부터 상기 영상데이터를 제공받는 영상데이터 수신부(142)와,
    상기 센싱데이터 수신부(141) 및 상기 영상데이터 수신부(142)로부터 전달받은 센싱데이터와 영상데이터를 객체 장치별로 분류하고, 채널별 프레임 형태로 분리하여 통합 처리하는 통합데이터 처리부(143)와,
    상기 통합데이터 처리부(143)로부터 통합데이터를 전달받아 플랫폼 서버(150)의 데이터 베이스 구조에 맞게 처리하여 플랫폼 서버(150)로 전송하는 통합데이터 전송부(144)를 포함하는 것을 특징으로 하는 IoT 융합 지능형 영상분석 플랫폼 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 영상분석부(154)는
    데이터 저장부(151)로부터 전달받은 통합데이터에서 영상데이터를 추출하여 씬(Scene)을 분리하는 단계(S100)와,
    상기 분리된 각 씬에서 대표샷(shot)을 추출하는 단계(S110)와,
    상기 대표샷을 구성하는 프레임에서 객체를 추출하는 단계(S120)와,
    상기 추출된 객체 간 상호 관계를 기반으로 행위 동사를 추출하는 단계(S130)와,
    상기 행위 동사를 추출한 근거가 되는 객체와 상호 관계가 가장 잘 표현된 것으로 판단되는 프레임을 키프레임으로 선정하는 단계(S140)와,
    상기 선정된 키프레임을 기반으로 시각지식을 생성하는 단계(S150)를 포함하여 분석이 이루어지는 것을 특징으로 하는 IoT 융합 지능형 영상분석 플랫폼 시스템.
  7. 제6항에 있어서,
    상기 통합경보 처리부(155)는 영상분석부(154)로부터 시각지식을 전송받아 이를 저장하며 클라이언트 단말기(160)로 시각지식을 전송시 클라이언트 단말기(160)의 인터페이스에 따라 시각화하여 전송하는 것을 특징으로 하는 IoT 융합 지능형 영상분석 플랫폼 시스템.
KR1020190077928A 2019-06-28 2019-06-28 IoT 융합 지능형 영상분석 플랫폼 시스템 KR102058452B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190077928A KR102058452B1 (ko) 2019-06-28 2019-06-28 IoT 융합 지능형 영상분석 플랫폼 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190077928A KR102058452B1 (ko) 2019-06-28 2019-06-28 IoT 융합 지능형 영상분석 플랫폼 시스템

Publications (1)

Publication Number Publication Date
KR102058452B1 true KR102058452B1 (ko) 2019-12-23

Family

ID=69051890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190077928A KR102058452B1 (ko) 2019-06-28 2019-06-28 IoT 융합 지능형 영상분석 플랫폼 시스템

Country Status (1)

Country Link
KR (1) KR102058452B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111208725A (zh) * 2020-02-26 2020-05-29 无锡职业技术学院 一种教室用多功能闹钟***
KR102263512B1 (ko) * 2020-09-14 2021-06-10 가온플랫폼 주식회사 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
KR20210084887A (ko) * 2019-12-30 2021-07-08 주식회사 에이디티캡스 융복합 산업 안전 모니터링 시스템 및 방법
CN113183987A (zh) * 2021-05-11 2021-07-30 南京信易达计算技术有限公司 新能源汽车无人驾驶应用智能存储***及方法
KR102291259B1 (ko) * 2020-02-28 2021-08-20 주식회사 그릿테크 산업현장 내 안전관리 강화를 위한 엣지컴퓨팅기반 인공지능시스템
KR20220036672A (ko) * 2020-09-16 2022-03-23 엔씨엔스페이스(주) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
WO2022092328A1 (ko) * 2020-10-26 2022-05-05 (주)글루시스 미디어 데이터와 센싱 데이터의 관리 방법
CN115004270A (zh) * 2020-02-26 2022-09-02 云特科株式会社 一种工业设备和装置的监控报警***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101075550B1 (ko) * 2010-01-04 2011-10-20 구자효 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
KR101789690B1 (ko) * 2017-07-11 2017-10-25 (주)블루비스 딥 러닝 기반 보안 서비스 제공 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101075550B1 (ko) * 2010-01-04 2011-10-20 구자효 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
KR101789690B1 (ko) * 2017-07-11 2017-10-25 (주)블루비스 딥 러닝 기반 보안 서비스 제공 시스템 및 방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210084887A (ko) * 2019-12-30 2021-07-08 주식회사 에이디티캡스 융복합 산업 안전 모니터링 시스템 및 방법
KR102389521B1 (ko) * 2019-12-30 2022-04-21 에스케이쉴더스 주식회사 융복합 산업 안전 모니터링 시스템 및 방법
CN111208725A (zh) * 2020-02-26 2020-05-29 无锡职业技术学院 一种教室用多功能闹钟***
CN115004270B (zh) * 2020-02-26 2023-06-13 云特科株式会社 一种工业设备和装置的监控报警***及方法
CN115004270A (zh) * 2020-02-26 2022-09-02 云特科株式会社 一种工业设备和装置的监控报警***及方法
KR102291259B1 (ko) * 2020-02-28 2021-08-20 주식회사 그릿테크 산업현장 내 안전관리 강화를 위한 엣지컴퓨팅기반 인공지능시스템
KR102263512B1 (ko) * 2020-09-14 2021-06-10 가온플랫폼 주식회사 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
WO2022055023A1 (ko) * 2020-09-14 2022-03-17 가온플랫폼 주식회사 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
KR102438433B1 (ko) * 2020-09-16 2022-09-01 엔씨엔스페이스(주) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
KR20220036672A (ko) * 2020-09-16 2022-03-23 엔씨엔스페이스(주) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
WO2022092328A1 (ko) * 2020-10-26 2022-05-05 (주)글루시스 미디어 데이터와 센싱 데이터의 관리 방법
CN113183987A (zh) * 2021-05-11 2021-07-30 南京信易达计算技术有限公司 新能源汽车无人驾驶应用智能存储***及方法
CN113183987B (zh) * 2021-05-11 2024-02-23 南京信易达计算技术有限公司 新能源汽车无人驾驶应用智能存储***及方法

Similar Documents

Publication Publication Date Title
KR102058452B1 (ko) IoT 융합 지능형 영상분석 플랫폼 시스템
EP2009604B1 (en) A security device and system
US6928228B2 (en) System and method for detection and analysis of video recordings
JP5560397B2 (ja) 自律型防犯警戒システム及び自律型防犯警戒方法
KR100905504B1 (ko) 비디오 트립와이어
KR101133924B1 (ko) 행동패턴 데이터베이스를 이용한 능동형 영상감시 시스템 및 그 방법
US20080136934A1 (en) Flame Detecting Method And Device
KR101980551B1 (ko) 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
JP2018101317A (ja) 異常監視システム
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
KR20180072561A (ko) 비디오 감시 시스템에서 경보들을 발생시키는 방법
US20060238616A1 (en) Video image processing appliance manager
CN107122743A (zh) 安防监控方法、装置和电子设备
US20050225637A1 (en) Area monitoring
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
EP3469434B1 (en) Automatic visual and acoustic analytics for event detection
CN114973567B (zh) 一种基于人脸识别的自动告警方法及终端
KR102438433B1 (ko) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
KR102299704B1 (ko) 재난환경 메타데이터 연계를 통한 스마트 딥러닝 영상감시 시스템
CN106781167A (zh) 监测物体运动状态的方法及设备
KR20230039468A (ko) 영상의 객체 간 상호작용행위 검출 장치 및 방법
CN111908288A (zh) 一种基于TensorFlow的电梯安全***及方法
KR102081577B1 (ko) Cctv를 활용한 지능형 화재 감지 시스템
US20240233385A1 (en) Multi modal video captioning based image security system and method
CN112804492A (zh) 一种电子猫眼的通信提示方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant