KR102263512B1 - 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 - Google Patents

스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 Download PDF

Info

Publication number
KR102263512B1
KR102263512B1 KR1020200117503A KR20200117503A KR102263512B1 KR 102263512 B1 KR102263512 B1 KR 102263512B1 KR 1020200117503 A KR1020200117503 A KR 1020200117503A KR 20200117503 A KR20200117503 A KR 20200117503A KR 102263512 B1 KR102263512 B1 KR 102263512B1
Authority
KR
South Korea
Prior art keywords
image data
image
processing unit
unit
data processing
Prior art date
Application number
KR1020200117503A
Other languages
English (en)
Inventor
조만영
Original Assignee
가온플랫폼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가온플랫폼 주식회사 filed Critical 가온플랫폼 주식회사
Priority to KR1020200117503A priority Critical patent/KR102263512B1/ko
Priority to PCT/KR2020/016228 priority patent/WO2022055023A1/ko
Application granted granted Critical
Publication of KR102263512B1 publication Critical patent/KR102263512B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/4652—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템은, 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서, 적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부; 적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부; 상기 영상 데이터를 분석하는 영상 데이터 처리부; 상기 비영상 데이터를 분석하는 비영상 데이터 처리부; 상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되, 상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하는 것을 특징으로 한다.

Description

스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템{IoT integrated intelligent video analysis platform system capable of smart object recognition}
본 발명은 객체의 스마트 인식이 가능한 IoT 통합 지능형 영상분석 시스템에 관한 것으로, 보다 구체적으로는 IoT 기능이 구현된 비영상 데이터와 영상 데이터를 모두 고려하여, 고장이나 사고와 같은 비정상적인 상황을 스마트하게 예측하고 예방할 수 있도록 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템에 관한 것이다.
일반적으로 감시 수단을 통해 특정 장소를 감시하여 이상이 발견되는 경우 그에 대응하는 조치나 사후 확인이 가능하도록 하는 감시 시스템은 보안이 중요한 장소의 출입구, 주차장, 빌딩, 산업 현장 및 주택가 등 다양한 곳에 도입되어 왔다. 이를 통해 보안성이 향상되고 출입 관리가 쉬워지며 범죄율이 하락하는 효과가 입증됨에 따라 점차 다양하고 일반화되어 확산되고 있다.
특히, 각종 감시 기능과 통신 기능을 구비하며 감시되는 영상을 저장하여 원하는 경우 쉽게 확인해 볼 수 있는 디지털 영상 저장장치인 소위 디브이알(Digital Video Recorder, DVR)의 도입도 활발해 짐에 따라 감시 카메라와 저장 수단을 이용한 감시 시스템의 구축은 일상화되고 있다.
한편, 사람은 사진 또는 비디오를 볼 때 인물, 물체, 장면 및 시각적 세부 사항을 쉽게 알아챌 수 있다. 객체 인식 기술의 목표는 이미지에 포함된 사항을 이해하는 수준의 능력과 같이 사람이라면 당연히 할 수 있는 일을 컴퓨터도 할 수 있도록 학습시키는 것이다.
즉, 사람이 가장 많은 정보를 받아들이는 시각 정보를 컴퓨터가 대신하여 분석하고 해석할 수 있도록 하는 객체 인식은 이미지 또는 비디오 상의 객체를 식별하는 컴퓨터 비전 기술로서, 딥러닝과 머신 러닝 알고리즘을 통해 산출되는 핵심 기술이다.
특히 최근 머신러닝 알고리즘을 활용한 객체 인식은 영상감시, 얼굴인식, 로봇제어, IoT, 자율주행, 제조업, 보안 등 다양한 분야에 활용되고 있는 기술이다.
그러나, 현재의 감시 시스템들은 단순히 촬영된 영상 데이터에 대해 의존하고 있고, 객체를 제대로 인식할 수 없으며, 학습을 통하여 객체 인식을 향상시키는 기술들이 있으나, 인식율 향상 등에 주안점이 있고, 객체 인식뿐만 아니라, 다양한 형태로 분석 활용할 수 있는 기능을 제시하고 있지 않다. 나아가 비영상 데이터인 센싱 데이터에 대해서도 비정상 여부를 판단할 수 있도록 통합하여 관리할 수 있는 시스템이 필요한 실정이다.
한국등록특허 제10-0980586호(2010년08월31일 등록)
본 발명의 목적은 IoT 기능이 구현된 비영상 데이터와 영상 데이터를 모두 고려하여, 고장이나 사고와 같은 비정상적인 상황을 스마트하게 예측하고 예방할 수 있는 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템을 제공하는 것이다.
본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템은, 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서, 적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부; 적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부; 상기 영상 데이터를 분석하는 영상 데이터 처리부; 상기 비영상 데이터를 분석하는 비영상 데이터 처리부; 상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되, 상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하는 것을 특징으로 한다.
상기 비영상 데이터 처리부는 상기 비영상 데이터를 분석함에 있어서, 상기 비영상 데이터의 측정값이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단하는 것을 특징으로 한다.
상기 통합 데이터 판단부는 상기 비영상 데이터 처리부에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부에서 취득된 위치 및/또는 시간과 동일하거나 가장 근접한 위치 및 또는 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단하는 것을 특징으로 한다.
상기 영상 데이터 처리부는 상기 취득된 영상 데이터로부터 객체를 인식하는 기능을 처리하는 객체 처리부; 사용자로 하여금 영상 데이터의 머신러닝에 관련된 기능을 제공하는 사용자학습설정부(302)를 더 포함하는 것을 특징으로 한다.
상기 객체 처리부는 상기 영상 데이터로부터 객체를 추출하되, 위조 여부를 판단하는 객체 진위 식별부; 상기 영상 데이터로부터 객체의 상태를 추정하는 객체 상태 인식부; 상기 영상 데이터로부터 객체의 행위 이벤트를 추정하는 객체 행위 인식부를 더 포함하는 것을 특징으로 한다.
상기 객체 진위 식별부는 상기 영상 데이터로부터 이미지를 추출하고, 상기 추출된 이미지를 구성하는 픽셀들의 색상을 분석하고, 상기 분석된 색상들로부터 원하는 색상을 추출한 뒤, 진품 판단 알고리즘을 통해, 상기 객체가 진품일 확률을 도출하는 것을 특징으로 한다.
상기 객체 상태 인식부는 상기 영상 데이터로부터 이미지를 추출하고, 상기 이미지를 필터 처리하고, 상기 필터 처리된 이미지가 가지고 있는 픽셀들의 색상을 분석하고, 상기 이미지에서 색상별 비율을 도출하여 열화정도를 추정하고, 상기 이미지의 전처리를 통해 표면조도를 추정하여, 상기 객체의 상태가 손상된 것인지 여부를 추정하는 것을 특징으로 한다.
상기 객체 행위 인식부는 상기 영상 데이터로부터 객체를 검출하고, 상기 검출된 객체의 종류를 미리 머신러닝된 라벨로 분류하는 것을 신경망을 통해 학습함으로써, 객체의 행동 이벤트를 추정하는 것을 특징으로 한다.
본 발명의 IoT 통합 지능형 영상분석 플랫폼 시스템은 딥러닝 알고리즘을 이용하여 객체를 검출하고, 분류하는 기능을 통해 영상에서 특정한 이벤트(배회, 침입, 화재, 유기, 쓰러짐, 싸움 등)가 발생하였을 때, 알람을 주고 분석 정보를 DB에 저장하여, 지속적인 모니터링 및 사고 예방할 수 있는 장점이 있다.
또한, 딥러닝시 필요한 학습 데이터를 생성하는 것으로, 라벨링 시 사용자 편의성을 제공하는 트레킹 기능, 영상 자르기 등의 기능을 포함하여 사용자 친화적인 장점이 있다.
또한, 딥러닝 기반 영상처리로 상품의 진/가품을 구별하는 것으로, 색상, 색상 비율, 텍스트, 표면질감 등을 분석하여 결과를 도출할 수 있는 장점이 있다.
또한, 터빈 블레이드 등과 같은 기계 부품에서 열화된 부분을 영상 분석을 통해 추출하고 비율 정도를 나타냄으로써, 사고 방지 및 불필요한 교환을 예방할 수 있는 장점이 있다.
또한, 일시적인 환경 노이즈, 센서의 오류 등 센서 데이터의 부정합으로 인해 발생하는 거짓 오류(false alarm)를 판단할 수 있으며, 거짓 오류로 인한 사회적 비용 감소 및 전체 시스템의 오동작을 방지하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 전체 구성을 보인 블록도이다.
도 2는 도 1의 영상데이터처리부의 내부 구성을 세부적으로 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 표면 손상 분석 기능을 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 손상 검출 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 진/가품 분석 기능을 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 진/가품 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
도 7은 손상부위 정도를 검출하기 위한 전처리(마스킹) 과정에서 마스킹된 부위의 부피를 구하는 과정을 설명하기 위한 도면이다.
도 8은 도 7의 마스킹된 부분의 좌표를 이용해 삼각분할을 하는 예를 설명하기 위한 도면이다.
도 9는 본 발명에 적용되는 영상분석을 위한 CNN(Convolutional Neural Network) 알고리즘을 설명하기 위한 도면이다.
도 10은 본 발명에 적용되는 고유 라벨을 판독하는 문자 식별을 위한 RNN(Recurrent Neural Network) 알고리즘을 설명하기 위한 도면이다.
도 11은 본 발명에 적용되는 표면 재질 판독하는 GAN(Generative Adversarial Network) 알고리즘을 설명하기 위한 도면이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 시스템의 전체 구성을 보인 블록도이며, 도 2는 도 1의 영상데이터처리부의 내부 구성을 세부적으로 보인 블록도이다.
본 발명의 IoT 통합 지능형 영상분석 플랫폼 시스템은, 도 1에 도시된 바와 같이, 관리자 모바일 단말(700), 관리자 클라이언트(750), IoT촬상장치(800) 및 IoT비영상센서(900)와 연결되는 분석서버(1000)를 포함할 수 있다.
IoT촬상장치(800)는 영상 데이터를 수집하기 위한 카메라에 해당하며, 각종 카메라 뿐만 아니라 카메라 기능을 포함하는 모바일 단말이 될 수도 있다.
IoT비영상센서(900)는 비영상 데이터를 수집하기 위하여 마련되며, 예컨대 온도센서, 습도센서, 조도센서 등 각종 센서들이 될 수 있다.
관리자 모바일 단말(700)은 수집된 영상 데이터 및 비영상 데이터에 대하여 분석서버(1000)에서 객체 인식 및 객체 상태 등을 분석한 결과를 제공받을 수 있으며, IoT촬상장치(800)를 대신하여 사진 촬영 기능을 통하여, 영상 데이터를 수집하고, 분석서버(1000)에 전소하여 객체 인식 및 분석을 요청할 수도 있다.
관리자 클라이언트(750)는 도 3을 참조하면, 수집된 영상 데이터 및 비영상 데이터에 대하여 분석서버(1000)에서 객체 인식 및 표면 조도나 손상과 같은 객체 상태 등을 분석한 결과를 제공받고, 분석 결과를 재해석한 통계 자료, 보고서를 생성할 수 있으며, 객체 분석 전 전처리 과정으로 필요한 입력변수나, 분석 범위 지정 등을 분석서버(1000)에 제공하여 객체 분석에 활용하도록 할 수도 있다.
또한 도 5를 참조하면, 분석서버(1000)는 관리자모바일 단말(700)을 통하여 사진을 전송받고, 미리 진품 품목별 특징정보 및 진품 판별을 위한 비교 분석 데이터를 데이터베이스에 저장하며, 객체진위식별부(3011)를 통하여 품목의 표면 분석 및 진품/가품 비교 분석을 수행할 수 있는데, 데이터베이스로부터 진품 품목별 특징정보를 전송받은 관리자 클라이언트(750)는 진품 품목별 관리 리스트를 생성하거나 품목별 통계 분석을 수행할 수 있으며, 전송받은 진품 판단 결과 확인을 하거나, 이를 종합한 보고서를 작성할 수도 있다.
분석서버(1000)는 영상 데이터 및 비영상 데이터를 전송받아 객체 분석 수행하기 위해 세부적으로 도 1을 참조하면, 영상 데이터 취득부(100), 비영상 데이터 취득부(200), 영상 데이터 처리부(300), 비영상 데이터 처리부(400), 통합 데이터 판단부(500)를 더 포함할 수 있다.
영상 데이터 취득부(100)는 IoT촬상장치(800)로부터 적어도 하나의 영상 데이터를 취득하며, 비영상 데이터 취득부(200)는 IoT비영상센서(900)로부터 적어도 하나의 비영상 데이터를 취득할 수 있다. 영상 데이터는 카메라로부터 취득된 객체 영상이 될 수 있고, 하나의 프레임의 객체 이미지(사진)도 영상 데이터에 포함되는 것으로 간주한다.
영상 데이터 처리부(300)는 습득된 영상 데이터로부터 객체 등을 인식하고, 객체의 상태를 파악하거나, 객체의 진위여부를 파악하는 기능을 수행할 수도 있다.
비영상 데이터 처리부(400)는 센싱 데이터와 같은 비영상 데이터를 분석함에 있어서, 비영상 데이터의 측정값(센싱값)이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단할 수 있다.
통합 데이터 판단부(500)는 영상 데이터 처리부(300) 또는 비영상 데이터 처리부(400)에서 영상 데이터 또는 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 역할을 수행할 수 있다.
특히, 통합 데이터 판단부(500)는 상기 비영상 데이터 처리부(400)에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부(100)에서 취득된 위치 및/또는 시간과 동일하거나 가장 근접한 위치 및 또는 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부(300)에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부(300)에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단할 수 있다.
또한 영상 데이터 처리부(300)는 도 2에 도시된 바와 같이, 영상 데이터로부터 객체와 관련된 기능을 수행하는 객체 처리부(301), 영상/학습을 위한 데이터를 레이블링하여 저장하는 영상/학습 데이터베이스(303), 사용자/관리자가 학습될 영상의 데이터 등을 설정하거나 레이블링할 수 있는 머신러닝 관련 기능을 제공하는 사용자학습설정부(302)를 포함하도록 구성될 수 있다.
객체 처리부(301)는 영상 데이터로부터 객체와 관련된 여러가지 인식/식별/패턴 등의 확인을 할 수 있는 기능을 수행하게 된다.
또한, 객체 처리부(301)는 도 2를 참조하면, 영상 데이터로부터 객체를 추출하고, 객체의 진위(예를 들어, 인식된 객체가 합성된 가짜 이미지인지 판별하는)에 따라 위조 여부를 판단하는 객체 진위 식별부(3011), 객체의 상태를 인식하고 추정할 수 있는 객체 상태 인식부(3012), 객체의 행위(예를 들어, 객체 간의 폭력적인 행위로 인해 싸움이라는 행위가 발생하였는지)이벤트를 인식하고 추정할 수 있는 객체 행위 인식부(3013)를 포함하도록 구성될 수 있다.
또한, 객체 진위 식별부(3011)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)의 진(real)/가품(fake)을 구별하는 것으로, 그러한 구별을 위해, 영상 데이터의 색상, 색상의 비율, 이미지에 포함된 텍스트, 표면 질감 등을 분석하여 결과를 도출할 수 있다.
이때, 상기 이미지가 가지고 있는 픽셀들의 각 색상(color) 정보를 분석하여 분류하고, 분석한 색상 정보들 중 원하는 색상을 추출한다. 이 때 픽셀의 색상을 분석하는 경우에는 K-mean Clustering 알고리즘 등을 이용할 수 있고, OpenCV 등의 프로그램을 활용할 수 있다.
구체적으로는 K-mean Clustering 알고리즘을 통한 색상 비율을 추출하기 위해 데이터간 유사도 기반 군집화(clustering) 알고리즘으로 군집(cluster)간 분산을 최소화하고, 군집화된 색상에서 품목 내 색상 비율을 식별하고, OpenCV를 통해 색상 비율을 추출할 수 있다. 진품에 대한 색상 배율을 학습시키고, 그 결과로 추출된 색상 비율에 따라 진품과 가품 이미지의 차이를 구분할 수 있는 것이다.
또한, 진/가품의 확률을 도출하기 위해서는 딥러닝 알고리즘인 DCGAN(Deep Convolution Generative Adversarial Network) 알고리즘 중 discriminator D 모델 등과 같은 진품 판단 알고리즘을 이용하여, 객체가 진품일 확률을 도출하는 기능을 제공한다. 구체적으로 도 11을 참조하면, GAN 알고리즘은 생성 알고리즘(Generator)과 판별 알고리즘(discriminator)의 경쟁을 통한 학습 방법을 통해 품목 표면 재질 특성을 추출할 수 있다.
또한, GAN 알고리즘은 복제품 이미지를 생성하고, 표면 재질 차이를 이용하여 진품모델과 가품 모델의 상호간 피드백 및 학습을 통해 진품 판독을 위한 학습 모델에 해당하는 불법 복제품 판독 알고리즘의 정확성을 증가시킬 수 있으며, 정확성이 증가된 모델을 활용하여 가품 이미지 입력시 판독이 가능하도록 한다.
또한, 객체 진위 식별부(3011)는 상품(객체) 등에 정품을 보증하기 위해 붙여지는 라벨을 인식하여, 객체의 진/가품을 판단할 수 있도록 하기 위해서는 객체에 붙여진 라벨지의 텍스트 정보를 별도로 인식하여야 한다.
그러므로, 이미지에 포함된 객체와 관련된 텍스트를 검출하고, 검출된 텍스트들을 RNN 알고리즘 등의 딥러닝 알고리즘을 통해 학습시켜, 텍스트의 의미나 진품과의 차이를 도출하는 데 활용할 수 있다.
구체적으로 도 10을 참조하면, 고유 라벨링 이미지 정보를 취득하고, RNN 알고리즘 기반의 문자 식별 알고리즘을 통해 이전 입력 연산 결과와 현재 입력 데이터 연산 결과 차이를 식별하여 텍스트 데이터 추출함으로써, 가품의 라벨과 진품의 라벨의 텍스트(TEXT) 비교를 통해 유사도를 판독할 수 있다.
객체 진위 식별부(3011)는 도 9를 참조하면, CNN 알고리즘을 활용하여 품목을 식별하고, CNN 알고리즘은 식별된 품목을 이용하여 정품에 대한 고유 특성이나 특징을 추출할 수 있으며, 불법 복제품을 판독하기 위한 학습모델로 활용될 수도 있다.
객체 상태 인식부(3012)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)의 상태(예를 들어 객체의 노후된 상태)를 추정하는 것으로, 그러한 추정을 위해 영상 데이터의 색상, 표면 조도 등을 분석하여 결과를 도출할 수 있다.
예를 들어, 객체 상태 인식부(3012)는 영상 데이터로 추출된 터빈 블레이드에서 열화된 부분을 분석하여 추출하고 비율 정도를 나타냄으로써, 터빈 블레이드의 노후화 정도를 추정하여 교체 주기 등을 예측함으로써, 교체 시기를 놓침으로써 발생할 수 있는 사고 예방 및 잘못된 추정으로 인한 정상 상태의 터빈 블레이드의 불필요한 교환을 예방할 수 있다.
구체적으로, 객체(예를 들어 터빈 블레이드)를 포함한 전체 이미지에 대해서 OpenCV 등을 활용해서 조도나 대비 등을 필터링 처리하고, 특정 색을 추출하여 이진화 시킨후 비율을 계산할 수 있다.
즉, 필터링 처리된 전체 이미지에 대해서 전체 이미지가 가지고 있는 픽셀들의 각 색상 정보를 K-mean 알고리즘 등을 통해 분석하고(색상 분류), 이후 상기 전체 이미지에서 특정한 색상의 비율을 도출한다(색상 추출). 이러한 색상 추출 단계를 통해서, 상기 객체의 열화(손상) 정도를 효율적으로 추정할 수 있다.
또한, 전체 이미지를 전처리하고, 객체를 이루고 있는 표면의 윤곽선을 canny edge 알고리즘 등을 통해 파악하여 객체의 표면조도 등을 분석하는 데 활용할 수 있다. 예를 들어, 객체인 터빈 블레이드의 표면에 크랙(Crack)이 생기거나 거친 정도가 증가하게 되면 그에 따른 모서리가 생성되며, 이를 검출해 부피나 면적을 계산함으로, 객체의 표면조도를 추정할 수 있다.
이후에는 영상 데이터에 포함된 이미지에서 객체의 표면 조도와 열화 정도가 차지하는 비율을 연산하고, 연산된 결과물(표면 조도, 열화 정도) 등을 사용자에게 시각적인 형태를 통해 제공한다. 그럼으로써 사용자/관리자가 육안으로만 추정하던 객체의 상태 추정을 수치적인 정보 데이터(조도, 열화 등의 색상 정보)와 같이 제공하여, 객체 상태(교체가 필요한지 여부)를 좀 더 명확하게 추정할 수 있다.
객체의 표면 열화 또는 손상 정도를 파악하기 위해 구체적인 예로 도 7 및 도 8을 참조하면, R-CNN을 이용한 손상 부위(도 7의 청색 표시 부분)의 마스킹 작업, 마스킹된 부위의 부피 산출 과정을 통해 손상 정도를 파악할 수 있는데, 부피 산출시 도 8의 돌로네 삼각 분할을 이용할 수 있으며, 좌표를 4면체로 나누어 부피가 산출될 수 있다. 또한, 객체의 손상 정도에 따라 표면 까짐 정도인 경우에는 부피 대신 면적을 산출하여 손상 정도를 파악할 수 있다.
객체 행위 인식부(3013)는 획득된 영상 데이터로부터 이미지를 추출하고, 상기 이미지에 대해 딥러닝 기반의 영상 처리로 객체(혹은 상품)를 검출하고, 상기 객체를 분류하는 기능을 통해 상기 영상에서 상기 객체의 특정한 행위(예를 들어 객체의 배회, 침입, 화재, 유기, 쓰러짐, 싸움) 등을 추정하는 것으로, 그러한 추정을 위해, 영상 데이터의 구간 자르기, 영상 처리, 객체 검출, 이미지 분류 등을 분석하여 결과를 도출할 수 있다.
객체 행위 인식부(3013)를 활용하는 예시로, 감시 카메라 등을 통해 획득된 영상 데이터에서 Yolo 604 등을 활용하여 사람이라는 객체를 검출하고, 검출된 사람의 행위(이벤트)를 머신러닝 학습에 의한 이미지 라벨 분류(ex: CNN(Convolutional Neural Networks) 알고리즘을 통해 추정하여, 검출된 사람이 예컨대 특정 행위(배회, 침입, 화재, 유기, 쓰러짐, 싸움 등)를 하고 있는지 여부를 추정할 수 있다.
이러한 행위 추정을 통해, 본 발명에서는 특정 공간에서의 폭력이나 방화, 학대, 납치 등과 같은 범죄를 예방하거나 보안을 확보하는데 효과적으로 활용할 수 있다.
구체적으로, 영상 데이터로부터 이미지를 추출하고, 상기 이미지로부터 딥러닝 알고리즘을 통해 객체를 검출할 수 있다. 이 때 Yolo v3와 같은 프로그램을 활용할 수 있다. 또한 상기 검출된 객체들을 CNN 알고리즘과 같은 신경망을 통해 학습시켜 분류함으로써, 예를 들어, 상기 객체의 연속적인 이미지들이 객체의 배회 행위로 분류될 수 있는지, 화재 행위로 분류될 수 있는지 등을 알 수 있다.
또한, 이러한 행위(혹은 이벤트)의 조건 처리를 위해 영상의 검출구간 설정, 객체간의 거리 추정 등 여러 영상 처리 방법들이 활용될 수 있으며, 전체 영상 중에서 이벤트(혹은 행위)라고 분류/검출된 부분만 전체 영상으로부터 추출하고 저장하는 기능을 제공할 수 있고, 상기 검출(식별)된 객체에 대해서 트래킹 기능을 제공하여, 시계열적인 움직임을 하나의 화면 등에 보여줌으로써 사용자나 관리자가 효과적으로 해당 객체의 행위를 추정하여 적합한 판단(예를 들어 싸움이 일어난 경우, 이를 적극적으로 신고하거나 출동하여 저지하는 행위)을 할 수 있도록 한다.
구체적으로 사용자학습설정부(302)는 획득된 영상 데이터로부터 추출되거나, 트레이닝을 위한 학습 데이터 등을 저장한 상기 영상/학습 데이터베이스(303)와 연동하여, 딥러닝시 필요한 학습 데이터를 생성하는 기능을 제공하고, 트레이닝 모델의 평가(evaluation)를 위해, 레이블링을 할 때, 여러가지 사용자의 관리 편리함을 제공하는 트레킹 기능이나, 원하는 객체 등의 영역이나 프레임을 위한 영상 편집(예를 들어 영상 자르기) 기능 등을 제공하며, 관리자 클라이언트(750)나 관리자 모바일 단말(700)에 이러한 기능들을 제공하기 위해 연동되는 프로그램(앱)을 제공할 수도 있다.
예를 들어, 사용자학습설정부(302)는 감시 카메라 등을 통해 획득된 영상 데이터에서 사람이라는 객체를 검출하고, 검출된 사람의 행위(이벤트)를 이미지 분류를 통해 추정하여, 검출된 사람이 싸움이라는 행위를 하고 있는 여부를 추정하여야 하는데, 이러한 상기 이벤트의 이미지 분류시에, 객체 등을 효율적으로 추적(트래킹)하기 위해, 영상을 편집하는 여러가지 기능 등을 제공함으로써, 객체의 검출, 객체 행위의 추정 등의 머신러닝 결과물의 정확도 등을 효과적으로 높일 수 있다.
구체적으로, 사용자학습설정부(302)는 OpenCV와 같은 이미지 프로세싱 프로그램을 활용하여, 레이블링이 된 객체의 트래킹(추적)이 가능하도록 객체 트래킹 기능을 제공하거나, 예를 들어 CCTV와 같은 IoT촬상장치(800)로부터 촬상된 동영상을 객체나 객체의 행위의 정확한 추정을 위해, 프레임 단위로 나누고, 이미지의 형태로 상기 영상/학습 데이터베이스(303)에 저장하는 영상 프레임 단위 나누기 기능을 제공할 수 있다.
또한, 사용자학습설정부(302)는 원하는 구간만을 설정하여 영상을 자르고 저장하는 영상 구간 편집(자르기 및 저장) 기능을 제공하고, 마지막으로, 편집하거나 수정, 혹은 완성된 영상을 화면에 표시하여 사용자/관리자가 쉽게 상기 사용자학습설정부(302)를 통하여, 머신러닝 학습이나 분석 구간을 설정하여 사용할 수 있도록 할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 손상 검출 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
먼저 관리자 모바일 단말(700)에서 사진 촬영 기능을 이용하여 객체 이미지를 취득하고, 취득된 객체 이미지를 포함하는 영상 데이터를 인터넷, 인트라넷, LTE망 등의 유무선통신망을 통하여 분석서버(1000)로 전송한다(S10, S12).
이때, 분석서버(1000)는 전송된 영상 데이터(사진)를 데이터베이스(303)에 저장하고, 관리자 클라이언트(750)에서는 분석 범위 지정을 위해 해당 영상 데이터를 분석서버(1000)에 요청하여 조회할 수 있다(S14, S16).
이후 관리자 클라이언트(750)에서 복수의 영상 데이터인 경우, 데이터별 분석 범위를 지정할 수 있고, 분석 범위 지정 이후 분석서버(1000)에 전송하여 예를 들어 검출 알고리즘에 의한 분석을 요청할 수 있다(S18, S20). 여기서, 손상 검출 알고리즘은 객체의 손상 정도를 검출할 수 있는 알고리즘이 될 수 있으며, 상술한 K-mean 알고리즘, canny edge 알고리즘 등이 활용될 수 있다.
분석서버(1000)에서는 손상 검출 알고리즘에 의해 분석 결과를 도출하고, 딥러닝에 의한 조도 및 손상 분석 결과를 생성하여 데이터베이스(303)에 저장한다(S22, S24).
이후, 관리자 모바일 단말(700)에서는 연동되는 관리자 앱 등을 통하여 조도 및 손상 분석 결과를 분석서버(1000)에 요청하고, 분석서버(1000)로부터 제공받아 확인할 수 있다(S26, S28, S30).
나아가, 분석 결과는 관리자 클라이언트(750)에서도 제공받을 수 있는데, 연동되는 관리 프로그램을 통하여, 조도 변화 이미지 리스트(각 이미지 레이블링, 열화 정보 등 포함)를 제공하거나, 측정 이미지 포인트 별 검색 기능을 제공할 수 있다.
또한, 관리 프로그램에서는 분석 차트를 통하여 영상분석 결과를 검출 알고리즘에 비교한 결과 분석이나, 측정 이미지 포인트 별 결과 제공 기능이 포함될 수 있다.
나아가 객체 손상정도를 분석한 분석 결과에서 수치화된 표면 조도의 비율에 따라 정상 기준값을 설정하여 정상, 교체 추천, 교체 필요로 구분하고, 교체 추천이나 교체 필요에 해당하는 경우 관리자 모바일 단말(700)이나, 관리자 클라이언트(750)에 알람을 제공할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 IoT 통합 지능형 영상분석 플랫폼 방법의 진/가품 알고리즘 분석 및 결과 확인 과정을 나타낸 데이터 흐름도이다.
먼저 관리자 모바일 단말(700)에서 사진 촬영 기능을 이용하여 진/가품 확인 이 필요한 객체 이미지를 취득하고, 취득된 객체 이미지를 포함하는 영상 데이터를 인터넷, 인트라넷, LTE망 등의 유무선통신망을 통하여 분석서버(1000)로 전송한다(S50, S52).
이때, 분석서버(1000)는 전송된 영상 데이터(사진)를 데이터베이스(303)에 저장하고, 관리자 클라이언트(750)에서는 분석 범위 지정을 위해 해당 영상 데이터를 분석서버(1000)에 요청하여 조회할 수 있다(S54, S56).
이후, 관리자 클라이언트(750)는 복수의 영상 데이터(또는 사진 이미지)를 수신한 경우, 데이터별 분석 범위를 지정할 수 있고, 분석 범위 지정 이후 분석서버(1000)에 전송하여 예를 들어 진/가품 판독 알고리즘에 의한 분석을 요청할 수 있으며(S58, S60), 여기서 진/가품 판독 알고리즘은 상술한 CNN, RNN, GAN과 같은 신경망 알고리즘이 될 수 있다.
분석서버(1000)에서는 진/가품 판독 알고리즘에 의해 데이터 분석 범위에 대한 분석 결과를 도출하는데, 이때 딥러닝에 의한 표면 질감/상표 패턴에 대한 분석을 통한 진/가품 판독 결과를 생성하여 데이터베이스(303)에 저장한다(S62, S64).
이후, 관리자 모바일 단말(700)에서는 연동되는 관리자 앱 등을 통하여 진/가품 판독 분석 결과를 분석서버(1000)에 요청하고, 분석서버(1000)로부터 제공받아 확인할 수 있다(S66, S68, S70).
100 ; 영상 데이터 취득부 200 ; 비영상 데이터 취득부
300 ; 영상 데이터 처리부 301 ; 객체 처리부
302 ; 사용자학습설정부 303 ; 영상/학습데이터베이스
400 ; 비영상 데이터 처리부 500 ; 통합 데이터 판단부
700 ; 관리자 모바일 단말 750 ; 관리자 클라이언트
800 ; IoT촬상장치 900 ; IoT비영상센서
1000 ; 분석서버 3011 ; 객체 진위 식별부
3012 ; 객체 상태 인식부 3013 ; 객체 행위 인식부

Claims (8)

  1. 영상 데이터와 비영상 데이터를 통합하여 분석하는 IoT 통합 지능형 영상분석 플랫폼 시스템에 있어서,
    적어도 하나의 영상 데이터를 취득하는 영상 데이터 취득부;
    적어도 하나의 비영상 데이터를 취득하는 비영상 데이터 취득부;
    상기 영상 데이터를 분석하는 영상 데이터 처리부;
    상기 비영상 데이터를 분석하는 비영상 데이터 처리부;
    상기 영상 데이터 처리부 또는 상기 비영상 데이터 처리부에서 상기 영상 데이터 또는 상기 비영상 데이터로부터 비정상 상황이라고 판단하는 경우, 상기 비정상 상황을 최종적으로 판단하는 통합 데이터 판단부를 포함하되,
    상기 영상 데이터 처리부는 취득된 상기 영상 데이터로부터 객체를 인식하여, 객체의 상태를 추정하거나, 객체의 진위 여부를 추정하거나, 객체의 행위 이벤트를 추정하며,
    상기 비영상 데이터 처리부는
    상기 비영상 데이터를 분석함에 있어서, 상기 비영상 데이터의 측정값이 정상상황의 데이터 범위를 벗어나는 경우를 비정상 이벤트로 정의하고, 상기 비정상 이벤트의 발생여부, 발생시간, 기정의된 단위 시간당 발생카운트수를 고려하여, 비정상 상황을 판단하고,
    상기 영상 데이터 처리부는
    상기 취득된 영상 데이터로부터 객체를 인식하는 기능을 처리하는 객체 처리부;
    사용자로 하여금 영상 데이터의 머신러닝에 관련된 기능을 제공하는 사용자 학습설정부를 더 포함하고,
    상기 객체 처리부는
    상기 영상 데이터로부터 객체를 추출하되, 위조 여부를 판단하는 객체 진위 식별부;
    상기 영상 데이터로부터 객체의 상태를 추정하는 객체 상태 인식부;
    상기 영상 데이터로부터 객체의 행위 이벤트를 추정하는 객체 행위 인식부를 더 포함하며,
    상기 객체 진위 식별부는
    상기 영상 데이터로부터 이미지를 추출하고, 상기 추출된 이미지를 구성하는 픽셀들의 색상을 분석하고, 상기 분석된 색상들로부터 원하는 색상을 추출한 뒤, 진품 판단 알고리즘을 통해, 상기 객체가 진품일 확률을 도출하되,
    K-mean Clustering 알고리즘을 통한 색상 비율을 추출하기 위해 데이터간 유사도 기반 군집화(clustering) 알고리즘으로 군집(cluster)간 분산을 최소화하고, 군집화된 색상에서 품목 내 색상 비율을 식별하고, OpenCV를 통해 색상 비율을 추출할 수 있다. 진품에 대한 색상 배율을 학습시키고, 그 결과로 추출된 색상 비율에 따라 진품과 가품 이미지의 차이를 구분할 수 있으며,
    DCGAN(Deep Convolution Generative Adversarial Network) 알고리즘을 이용하여 복제품 이미지를 생성하고, 표면 재질 차이를 이용하여 진품모델과 가품 모델의 상호간 피드백 및 학습을 통해 진품 판독을 위한 학습 모델에 해당하는 불법 복제품 판독 알고리즘을 적용함으로써, 객체가 진품일 확률을 도출하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 통합 데이터 판단부는
    상기 비영상 데이터 처리부에서 비정상 상황이라고 판단하는 경우, 상기 영상 데이터 취득부에서 취득된 위치 및 시간과 동일하거나 가장 근접한 위치 및 시간의 영상 데이터를 기반으로, 상기 영상 데이터 처리부에 비정상 여부를 판단하도록 제어하고, 영상 데이터 처리부에서 비정상 상황이라고 판단하면, 최종적으로 비정상 상황으로 판단하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 객체 상태 인식부는
    상기 영상 데이터로부터 이미지를 추출하고, 상기 이미지를 필터 처리하고, 상기 필터 처리된 이미지가 가지고 있는 픽셀들의 색상을 분석하고, 상기 이미지에서 색상별 비율을 도출하여 열화정도를 추정하고, 상기 이미지의 전처리를 통해 표면조도를 추정하여, 상기 객체의 상태가 손상된 것인지 여부를 추정하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
  8. 제1항에 있어서,
    상기 객체 행위 인식부는
    상기 영상 데이터로부터 객체를 검출하고, 상기 검출된 객체의 종류를 미리 머신러닝된 라벨로 분류하는 것을 신경망을 통해 학습함으로써, 객체의 행동 이벤트를 추정하는 것을 특징으로 하는 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템.
KR1020200117503A 2020-09-14 2020-09-14 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템 KR102263512B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200117503A KR102263512B1 (ko) 2020-09-14 2020-09-14 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
PCT/KR2020/016228 WO2022055023A1 (ko) 2020-09-14 2020-11-18 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200117503A KR102263512B1 (ko) 2020-09-14 2020-09-14 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템

Publications (1)

Publication Number Publication Date
KR102263512B1 true KR102263512B1 (ko) 2021-06-10

Family

ID=76377968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200117503A KR102263512B1 (ko) 2020-09-14 2020-09-14 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템

Country Status (2)

Country Link
KR (1) KR102263512B1 (ko)
WO (1) WO2022055023A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168521A (ko) * 2021-06-16 2022-12-23 동의대학교 산학협력단 주거지용 주차 관리 방법
KR102541212B1 (ko) 2022-11-08 2023-06-13 주식회사 영신 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
KR102541221B1 (ko) 2022-11-08 2023-06-13 주식회사 경우시스테크 인공지능 기반 영상인식플랫폼을 포함하는 이동식 지능형 cctv 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881230B1 (ko) * 2008-08-27 2009-02-09 주식회사 상상돔 스테레오 영상을 이용한 고 정밀 위폐 감별 시스템
KR100980586B1 (ko) 2010-05-07 2010-09-06 주식회사 에스엘티 단일 또는 다중 카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템
JP2011021951A (ja) * 2009-07-14 2011-02-03 Mitsubishi Heavy Ind Ltd 腐食環境監視装置及び方法
KR20190098105A (ko) * 2019-08-02 2019-08-21 엘지전자 주식회사 스마트 홈 감시 장치 및 방법
KR102058452B1 (ko) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT 융합 지능형 영상분석 플랫폼 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101772916B1 (ko) * 2016-12-30 2017-08-31 한양대학교 에리카산학협력단 촬영영상과 인공지능 알고리즘 기반의 균열검출 자동화 프로그램을 이용한 터널 라이닝 표면의 균열 검출 방법 및 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100881230B1 (ko) * 2008-08-27 2009-02-09 주식회사 상상돔 스테레오 영상을 이용한 고 정밀 위폐 감별 시스템
JP2011021951A (ja) * 2009-07-14 2011-02-03 Mitsubishi Heavy Ind Ltd 腐食環境監視装置及び方法
KR100980586B1 (ko) 2010-05-07 2010-09-06 주식회사 에스엘티 단일 또는 다중 카메라를 이용한 지능형 영상보안방범 방법 및 그 시스템
KR102058452B1 (ko) * 2019-06-28 2019-12-23 가온플랫폼 주식회사 IoT 융합 지능형 영상분석 플랫폼 시스템
KR20190098105A (ko) * 2019-08-02 2019-08-21 엘지전자 주식회사 스마트 홈 감시 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220168521A (ko) * 2021-06-16 2022-12-23 동의대학교 산학협력단 주거지용 주차 관리 방법
KR102667443B1 (ko) 2021-06-16 2024-05-22 동의대학교 산학협력단 주거지용 주차 관리 방법
KR102541212B1 (ko) 2022-11-08 2023-06-13 주식회사 영신 인공지능 기반 영상인식 시스템을 포함하는 임베디드 영상인식 안전통합관제 플랫폼
KR102541221B1 (ko) 2022-11-08 2023-06-13 주식회사 경우시스테크 인공지능 기반 영상인식플랫폼을 포함하는 이동식 지능형 cctv 시스템

Also Published As

Publication number Publication date
WO2022055023A1 (ko) 2022-03-17

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、***及装置
KR102263512B1 (ko) 스마트 객체인식이 가능한 IoT 통합 지능형 영상분석 플랫폼 시스템
CN108062349B (zh) 基于视频结构化数据及深度学习的视频监控方法和***
CN108009473B (zh) 基于目标行为属性视频结构化处理方法、***及存储装置
KR101808587B1 (ko) 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템
US10346688B2 (en) Congestion-state-monitoring system
CN108052859B (zh) 一种基于聚类光流特征的异常行为检测方法、***及装置
JP6905850B2 (ja) 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
JP5121258B2 (ja) 不審行動検知システム及び方法
US8266174B2 (en) Behavior history retrieval apparatus and behavior history retrieval method
CN109766779B (zh) 徘徊人员识别方法及相关产品
US20130170696A1 (en) Clustering-based object classification
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR102174784B1 (ko) 딥 러닝과 멀티 에이전트를 활용한 대규모 개체 식별 및 추적 방법
KR101372860B1 (ko) 영상 검색 시스템 및 영상 분석 서버
CN112132048A (zh) 一种基于计算机视觉的社区巡更分析方法及***
KR101979375B1 (ko) 감시 영상의 객체 행동 예측 방법
KR20210039050A (ko) 지역내 이벤트감지장치 및 그 장치의 구동방법
KR101394270B1 (ko) 영상 감지 시스템 및 방법
CN115311735A (zh) 一种异常行为智能识别预警方法
KR20210043960A (ko) IoT와 인공지능 기술을 이용한 행동인식 기반의 안전 감시 시스템 및 방법
KR102423934B1 (ko) 안면인식 및 유사한 옷 색상의 다수 객체 추적기술을 통한 스마트 휴먼검색 통합 솔루션
Mukto et al. Design of a real-time crime monitoring system using deep learning techniques
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법
KR101340287B1 (ko) 스마트 홈에서 마이닝 기반의 패턴 분석을 이용한 침입탐지 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant