KR20200108525A - 인공 지능 카메라를 이용한 감시 시스템 - Google Patents

인공 지능 카메라를 이용한 감시 시스템 Download PDF

Info

Publication number
KR20200108525A
KR20200108525A KR1020190025151A KR20190025151A KR20200108525A KR 20200108525 A KR20200108525 A KR 20200108525A KR 1020190025151 A KR1020190025151 A KR 1020190025151A KR 20190025151 A KR20190025151 A KR 20190025151A KR 20200108525 A KR20200108525 A KR 20200108525A
Authority
KR
South Korea
Prior art keywords
camera
image
management server
central management
metadata
Prior art date
Application number
KR1020190025151A
Other languages
English (en)
Inventor
김대봉
최진혁
김현호
변재운
이상욱
김준식
정경전
김은영
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020190025151A priority Critical patent/KR20200108525A/ko
Publication of KR20200108525A publication Critical patent/KR20200108525A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26208—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints
    • H04N21/26233—Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists the scheduling operation being performed under constraints involving content or additional data duration or size, e.g. length of a movie, size of an executable file

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 감시 시스템에 관한 것으로, 복수의 카메라 및 촬영된 영상을 관리하는 중앙 관리 서버로 구성되는 감시 시스템에 있어서, 영상을 촬영하여 상기 중앙 관리 서버에 송신하는 제1 카메라, 영상을 촬영하여 상기 중앙 관리 서버에 송신하고, 딥러닝을 이용하여 영상을 분석하는 제2 카메라, 및 상기 제1 카메라 및 상기 제2 카메라로부터 영상을 수신하는 상기 중앙 관리 서버를 포함하고, 상기 제2 카메라는, 상기 제1 카메라로부터 영상을 수신하여 영상 분석을 통해 메타 데이터를 생성하거나 자신이 촬영한 영상을 분석하여 메타 데이터를 생성하여 상기 중앙 관리 서버에 송신하는 것을 특징으로 함으로써 소수의 인공 지능 카메라를 이용하여 인공 지능 감시 시스템을 구축할 수 있다.

Description

인공 지능 카메라를 이용한 감시 시스템 {Surveillance system for using artificial intelligence camera}
본 발명은 감시 시스템에 관한 것으로서, 보다 상세하게는 소수의 인공 지능 카메라를 이용하여 인공 지능 감시 시스템을 구축하는 감시 시스템에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 시스템들이 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
딥러닝은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 다양한 기술 분야에 이용되고 있다.
감시 시스템은 단순히 영상을 통한 감시뿐만 아니라, 영상분석을 통해 촬영되는 객체의 구체적인 정보를 이용하고 있으며, 영상분성을 위해 인공 지능이 이용되고 있으며, 최근에는 자체적으로 영상분석이 가능한 인공지능 카메라가 개발되어 이용되고 있다.
하지만, 넓은 감시 영역에 대한 감시 시스템의 경우, 많은 수의 카메라가 이용되며, 인공지능 카메라의 비용이 인공지능이 적용되지 않은 카메라보다 많기 때문에, 감시 시스템의 모든 카메라를 인공지능 카메라로 이용하기 어려운 문제가 있다.
한국공개특허공보 제10-2019-0016367호
본 발명이 해결하고자 하는 과제는, 소수의 인공 지능 카메라를 이용하여 인공 지능 감시 시스템을 구축하는 감시 시스템을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위하여, 본 발명의 실시예에 따른 감시 시스템은, 복수의 카메라 및 촬영된 영상을 관리하는 중앙 관리 서버로 구성되는 감시 시스템에 있어서, 영상을 촬영하여 상기 중앙 관리 서버에 송신하는 제1 카메라; 영상을 촬영하여 상기 중앙 관리 서버에 송신하고, 딥러닝을 이용하여 영상을 분석하는 제2 카메라; 및 상기 제1 카메라 및 상기 제2 카메라로부터 영상을 수신하는 상기 중앙 관리 서버를 포함하고, 상기 제2 카메라는, 상기 제1 카메라로부터 영상을 수신하여 영상 분석을 통해 메타 데이터를 생성하거나 자신이 촬영한 영상을 분석하여 메타 데이터를 생성하여 상기 중앙 관리 서버에 송신하는 것을 특징으로 한다.
또한, 상기 제2 카메라는, 상기 제1 카메라가 이벤트 발생을 감지한 경우, 상기 제1 카메라로부터 영상을 수신할 수 있다.
또한, 상기 제1 카메라는, 이벤트 발생을 감지한 경우, 미리 설정된 설정값에 따라 설정값을 변경할 수 있다.
또한, 상기 제2 카메라는, 상기 제1 카메라로부터 영상을 수신할 때 시간정보도 함께 수신하고, 상기 수신한 시간정보를 상기 제1 카메라의 영상을 분석하여 생성되는 메타 데이터에 포함시켜 상기 중앙 관리 서버에 송신할 수 있다.
또한, 상기 제2 카메라는, 상기 제1 카메라의 영상을 분석할 때, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 상기 제1 카메라로 수신하는 영상의 길이를 가변적으로 제어할 수 있다.
또한, 상기 제1 카메라는 복수의 카메라를 포함하고, 상기 중앙 관리 서버는, 상기 제1 카메라로부터 수신하는 영상을 분석하여 메타 데이터를 생성하되, 영상 분석 처리량이 임계치 이상인 경우, 상기 제1 카메라에 포함된 복수의 카메라 중 적어도 어느 하나의 카메라의 영상 분석을 상기 제2 카메라가 처리하도록 제어할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따르면 소수의 인공 지능 카메라를 이용하여 인공 지능 감시 시스템을 구축할 수 있다. 또한, 인공지능 엔진에서 나오는 확률정보를 기반으로 메타 데이터를 전달함으로 메타데이터 정확성을 증가시킬 수 있고, 카메라의 설정 제어를 통해 인공지능 엔진에 들어가는 적합한 영상을 생성함으로써 영상 정보의 효용성을 증가시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 감시 시스템의 블록도이다.
도 2는 딥러닝을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 감시 시스템의 개략도이다.
도 4는 본 발명의 실시예에 따른 감시 시스템에서의 정보전달 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 감시 시스템의 블록도이다.
도 6은 본 발명의 일 실시예에 따른 감시 방법의 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 감시 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 감시 시스템의 블록도이다.
본 발명의 일 실시예에 따른 감시 시스템(100)은 복수의 카메라 및 촬영된 영상을 관리하는 중앙 관리 서버로 구성되는 감시 시스템으로, 제1 카메라(110), 제2 카메라(120), 및 중앙 관리 서버(130)로 구성된다.
제1 카메라(110)는 영상을 촬영하여 중앙 관리 서버(130)에 송신한다.
보다 구체적으로, 제1 카메라(110)는 설정된 감시 영역에 대한 영상을 촬영하여 중앙 관리 서버(130)에 송신하는 카메라이다. 제1 카메라(110)는 일반 카메라이거나, 인공 지능 카메라일 수 있다. 제1 카메라(110)는 인공 지능 카메라인 경우, 인공 지능을 자체적으로 수행하지 않는 상태이거나 수행하기 어려운 상태일 수 있다. 또는, 제2 카메라가 지원하는 인공 지능 기능이 포함되지 않은 카메라일 수 있다.
제2 카메라(120)는 영상을 촬영하여 상기 중앙 관리 서버에 송신하고, 딥러닝을 이용하여 영상을 분석한다.
보다 구체적으로, 제2 카메라(120)는 딥러닝을 이용하여 영상을 분석할 수 있는 인공 지능 카메라이다. 제2 카메라(120)는 제1 카메라(110)와 마찬가지로 설정된 감시 영역에 대한 영상을 촬영하여 중앙 관리 서버(130)에 송신한다.
제2 카메라(120)는 제1 카메라(110)로부터 영상을 수신하여 영상 분석을 통해 메타 데이터를 생성하거나 자신이 촬영한 영상을 분석하여 메타 데이터를 생성하여 중앙 관리 서버(130)에 송신한다. 제2 카메라(120)는 딥러닝을 이용하여 영상을 분석할 수 있는 기능을 갖춘 카메라로 영상을 분석하여 메타 데이터를 생성할 수 있다. 이러한 딥러닝 기능을 이용하여 자신이 촬영한 영상을 분석하여 생성된 메타 데이터를 중앙 관리 서버(130)에 송신한다. 또한, 제1 카메라(110)의 영상 분석을 제2 카메라(120)가 수행하는 경우, 제2 카메라(120)는 제1 카메라(110)로부터 영상을 수신하여 딥러닝을 이용하여 영상을 분석한 후, 메타 데이터를 생성하여 제2 카메라(120)에 대한 메타 데이터를 중앙 관리 서버(130)에 송신한다.
중앙 관리 서버(130)는 제1 카메라(110) 및 제2 카메라(120)로부터 영상을 수신한다.
보다 구체적으로, 중앙 관리 서버(130)는 감시 시스템(100)에 포함된 카메라들로부터 영상을 수신한다. 수신된 영상은 디스플레이를 통해 사용자에게 실시간으로 제공될 수 있다. 수신된 영상을 실시간으로 사용자에게 제공하는 것과 별도로, 수신된 영상을 분석하여 메타 데이터를 생성할 수 있다. 이때, 중앙 관리 서버(130)는 딥러닝을 이용하여 영상을 분석하여 메타 데이터를 생성할 수 있다. 제1 카메라(110)의 영상에 대한 메타 데이터를 제2 카메라(120)가 딥러닝을 이용하여 영상을 분석하여 생성하고, 제2 카메라(120)가 제1 카메라(110)의 메타 데이터를 중앙 관리 서버(130)에 송신하는 경우, 중앙 관리 서버(130)는 중복된 영상 분석을 통한 메타 데이터 생성을 수행하지 않고, 수신한 메타 데이터를 제1 카메라(110)의 영상과 함께 저장할 수 있다.
즉, 감시 시스템(100)에 포함된 카메라가 촬영한 영상과 메타 데이터를 중앙 관리 서버(130)가 저장하고 관리하는데, 딥러닝을 이용하여 영상을 분석하여 메타 데이터를 생성하는 주체는 중앙 관리 서버(130) 또는 인공 지능 카메라인 제2 카메라(120)에서 수행될 수 있다.
제1 카메라(110)가 복수의 카메라인 경우, 중앙 관리 서버(130)는 제1 카메라(110)로부터 수신하는 영상을 분석하여 메타 데이터를 생성하되, 영상 분석 처리량이 임계치 이상인 경우, 제1 카메라에 포함된 복수의 카메라 중 적어도 어느 하나의 카메라의 영상 분석을 제2 카메라(120)가 처리하도록 제어할 수 있다.
중앙 관리 서버(130)가 모든 영상에 대한 분석을 통해 메타 데이터를 생성할 수 있으나, 카메라가 많아 질수록 중앙 관리 서버(130)에 과부하가 발생할 수 있는 바, 메타 데이터 생성의 역할을 제2 카메라(120)가 분담할 수 있다. 제2 카메라(120)는 자신이 촬영한 영상 분석만을 통해 메타 데이터를 생성하는 것 뿐만 아니라, 자체적으로 딥러닝을 통해 영상을 분석하여 메타 데이터를 생성하지 않는 제1 카메라(110)의 영상을 분석하여 제1 카메라(110)의 메타 데이터를 생성할 수 있다. 즉, 제2 카메라(120)는 자신이 촬영한 영상, 제1 카메라(110)의 전체 영상, 또는 중앙 관리 서버(130)의 과부하가 있는 경우에 제1 카메라(110)의 일부 영상에 대해 딥러닝을 통해 메타 데이터를 생성할 수 있다.
중앙 관리 서버(130)에 과부하가 발생하지 않더라도 제2 카메라(120)가 자신이 촬영한 영상을 분석할 필요가 없거나 영상을 분석하지 않는 딥러닝 영상 분석 유휴시간때, 제1 카메라(110)의 영상을 수신하여 딥러닝을 통해 영상을 분석할 수 있다. 즉, 중앙 관리 서버(130)와 제2 카메라(120)의 영상 분석을 상황에 따라 조절하여 영상 분석을 효율성을 높일 수 있다.
여기서, 인공지능 카메라인 제2 카메라(120) 또는 중앙 관리 서버(130)에서 영상 분석에 이용하는 딥러닝(Deep Learning)은 인공 지능의 기능으로, 이하, 딥러닝에대해 구체적으로 설명하되, 인공 지능과 딥러닝을 동일한 의미로 설명하도록 한다.
딥러닝은 도 2와 같이, 신경망에서 입력층(210), 은닉층(220), 출력층(230)으로 구성되어 있으며 은닉층(220)이 여러 개 층으로 깊게 구성되어 있어 딥러닝이라고 불린다. 은닉층(220)의 노드는 비선형적인 활성화 함수를 사용하며 이때 사용되는 대표적인 함수로 ReLU(Rectified Linear Unit), 시그모이드(Sigmoid Function) 등이 있다.
함수 h(x)는 다음과 같이 나타낼 수 있다.
Figure pat00001
Figure pat00002
여기서, h(x)는 활성화 함수, w1, w2는 가중치, b는 편향이다.
ReLU 함수는 다음과 같이 나타낼 수 있고, 딥러닝에 최근 많이 사용하는 함수로, CNN 기법에 자주 이용 되고 있다.
Figure pat00003
시그모이드 함수는 다음과 같이 나타낼 수 있다.
Figure pat00004
신경망은 분류와 회귀 모두 이용할 수 있으며 둘 중 어떤 문제냐에 따라 출력층에서 사용하는 활성화 함수가 달라 질 수 있다. 일반적으로 회귀에는 항등 함수를, 분류에는 소프트맥스 함수를 사용한다.
여기서, 분류는 데이터가 어떤 class에 속하는냐는 문제로, 예를 들어 사진 속 인물의 성별을 분류하는 것이고, 회귀는 입력 데이터에서 (연속적인) 수치를 예측하는 문제로, 예를 들어 사진 속 인물의 키(170cm) 를 예측하는 것이다.
소프트맥스 함수(softmax function)의 출력 총합은 1이 되며, 이 성질 덕분에 소프트맥스 함수의 출력은 확률로 해석 가능하며, 따라서 소프트맥스 함수를 이용하여 문제를 확률적으로 대응 가능하다.
상기와 같은 딥러닝을 이용하여 영상을 분석하여 감시에 필요한 정보들을 메타 데이터로 생성한다.
제2 카메라(120)는 제1 카메라(110)가 이벤트 발생을 감지한 경우, 제1 카메라(110)로부터 영상을 수신할 수 있다. 영상 분석을 통한 메타 데이터 생성은 항상 수행될 수도 있으나, 평소에는 영상 분석없이 영상만 중앙 관리 서버(130)에 송신하여 일반 감시만을 수행하다, 특정 이벤트가 발생한 경우에만 영상 분석을 통한 메타 데이터를 생성할 수 있다. 즉, 제1 카메라(110)는 평소에는 중앙 관리 서버(130)에만 영상을 송신하다, 이벤트 발생을 감지한 경우, 제2 카메라(120)가 영상을 분석할 수 있도록 제2 카메라(120)로 영상을 송신한다. 제1 카메라(110)가 이벤트 발생 정보를 제2 카메라(120)에 송신하면, 제2 카메라(120)가 영상 송신 요청을 제1 카메라(110)에 송신하여, 제1 카메라(110)로부터 영상을 제2 카메라(120)가 수신할 수 있다. 여기서, 발생을 감지하는 이벤트는 감시 영역에 사람이 나타나거나 화재 발생정보 등일 수 있다. 이벤트는 감시 시스템의 목적에 따라 달라질 수 있고, 제1 카메라의 센서 등을 통해 감지될 수 있다. 이벤트 발생시 제2 카메라(120)는 제1 카메라로부터 정지 영상인 이미지를 수신하거나, 동적 영상인 스트리밍 영상 정보를 수신할 수 있다. 영상을 분석하는데 정지 영상으로 충분한 경우, 정지 영상만을 수신할 수 있고, 동적 영상이 필요한 경우, 동적 영상을 수신할 수 있다.
제1 카메라(110)는 이벤트 발생을 감지한 경우, 미리 설정된 설정값에 따라 설정값을 변경할 수 있다. 이벤트 발생은 딥러닝을 통한 영상 분석이 필요한 것을 의미하는 바, 딥러닝을 통한 영상 분석에 적합하도록 미리 설정된 설정값에 따라 설정값을 변경할 수 있다. 중앙 관리 서버(130)로 송신되어 디스플레이를 통해 사용자에게 제공되기에 적합한 영상과 딥러닝을 통한 영상 분석에 적합한 영상은 상이할 수 있다. 딥러닝을 통한 영상 분석에 적합한 영상을 촬영하도록 제1 카메라(110)가 설정되어 있는 경우, 중앙 관리 서버(130)의 디스플레이를 통해 영상을 확인하는 사용자가 영상 시청에 불편할 수 있는 바, 평소에는 중앙 관리 서버(130)로 송신되어 디스플레이를 통해 사용자에게 제공되기에 적합한 영상을 촬영하도록 제1 카메라(110)가 설정되어 있을 수 있다. 중앙 관리 서버(130)로 송신되어 디스플레이를 통해 사용자에게 제공되기에 적합한 영상을 촬영하도록 설정된 제1 카메라(110)가 촬영한 영상을 제2 카메라(120)가 수신하여 영상 분석을 수행하는 경우, 영상 분석에 적합하도록 영상에 대해 전처리를 수행할 수 있다. 전처리 과정에서 노이즈가 많이 발생할 수 있고, 시간이 많이 소요될 수 있는 바, 제1 카메라(110)의 설정은 딥러닝을 통한 영상 분석에 적합한 영상을 촬영하도록 설정값을 변경하고, 해당 설정에서 촬영된 영상을 제2 카메라(120)가 영상에 대한 전처리을 하지 않거나 줄어든 전처리 과정을 통해 빠르고 정확하게 영상 분석을 수행할 수 있다. 즉, 딥러닝을 수행하는 AI 엔진에 맞게 Sharpness 또는 Exposure 등 제어하여, 제1 카메라(110)의 영상 품질(Image Quality)을 딥러닝에 적합하도록 제어하는 것이다. 제1 카메라(110)는 제2 카메라(120)의 설정값 제어 또는 설정값 제어요청에 따라 설정값을 변경할 수 있고, 이벤트 발생에 따라 설정값을 변경할 수도 있다. 또는 중앙 관리 서버(130)의 제어를 통해 설정값을 변경할 수도 있다.
제1 카메라(110)는 설정값을 변경하는 경우, 딥러닝을 통한 영상 분석에 필요한 프레임 수만큼 영상을 촬영하는 동안에만 설정값을 변경하고, 이후 다시 설정값을 이전 설정값으로 복원할 수 있다. 또는 제2 카메라(120)의 영상 분석 결과에 따라 제2 카메라(120)의 영상 분석이 종료되면 설정값을 복원할 수 있다.
제2 카메라(120)는 제1 카메라(110)로부터 영상을 수신할 때 시간정보도 함께 수신하고, 상기 수신한 시간정보를 제1 카메라(110)의 영상을 분석하여 생성되는 메타 데이터에 포함시켜 중앙 관리 서버(130)에 송신할 수 있다. 제1 카메라(110)의 영상은 중앙 관리 서버(130)로 바로 송신되고, 해당 영상에 대한 메타 데이터는 제2 카메라(120)의 영상 분석을 통해 생성되어 중앙 관리 서버(130)로 송신되는 경우, 중앙 관리 서버(130)가 영상을 수신하는 시간과 메타 데이터를 수신하는 시간에 차이가 발생할 수 있다. 메타 데이터는 해당 영상과 동기화되어야 하는 바, 시간동기를 위하여, 제2 카메라(120)는 제1 카메라(110)로부터 영상을 수신할 때 시간정보도 함께 수신하고, 상기 수신한 시간정보를 제1 카메라(110)의 영상을 분석하여 생성되는 메타 데이터에 포함시켜 중앙 관리 서버(130)에 송신한다. 중앙 관리 서버(130)는 제1 카메라(110)로부터 수신한 영상과 제2 카메라(120)로부터 수신한 메타 데이터의 식별 정보 및 시간 정보를 비교하여 시간동기화하여 저장할 수 있다.
제2 카메라(120)는 제1 카메라(110)의 영상을 분석할 때, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 제1 카메라(110)로 수신하는 영상의 길이를 가변적으로 제어할 수 있다. 앞서 설명한 바와 같이, 딥러닝은 확률을 출력하는데, 딥러닝에 따른 확률이 임계치 이상이 되는 경우, 분석이 완료된 것으로 판단할 수 있다. 따라서, 딥러닝에 따른 확률이 임계치 이상이 되는 경우, 추가적인 영상 분석이 필요하지 않은 바, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 제1 카메라(110)로부터 수신하는 영상의 길이 또는 이미지를 가변적으로 제어할 수 있다. 그 결과에 따라 다른 영상 분석보다 적은 영상만을 수신하거나 더 많은 영상을 수신할 수 있다. 추가적인 영상이 필요한 경우, 영상을 추가로 요청하여 수신할 수도 있다.
제2 카메라(120)가 제1 카메라(110)로부터 정지 영상을 수신하는 경우, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 추가적인 정지 영상을 요청할 지를 결정할 수 있고, 제2 카메라(120)가 제1 카메라(110)로부터 동적 영상을 수신하는 경우, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 동적 영상을 송신 중단을 요청할 지를 결정할 수 있다.
제2 카메라(120)가 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 제1 카메라(110)로 수신하는 영상의 길이를 가변적으로 제어함에 따라 제1 카메라(110)의 설정값을 변경하고 복원하는 시간도 그에 따라 달라질 수 있다.
도 3은 본 발명의 실시예에 따른 감시 시스템의 개략도이다. 인공 지능 카메라(120)는 인공 지능 카메라가 아닌 일반 카메라(111, 112)의 영상을 분석하여 메타 데이터를 생성하여, 중앙 관리 서버(130)에 송신한다. 하나의 인공 지능 카메라(120)를 이용하여 자신을 포함한 다른 일반 카메라(111, 112)의 딥러닝을 통해 영상을 분석함으로써 인공 지능 감시 시스템을 구축할 수 있다.
도 4는 본 발명의 실시예에 따른 감시 시스템에서의 정보전달 과정을 나타낸 것으로, 제2 카메라(120)가 제1 카메라(110)의 영상을 딥러닝을 통한 영상 분석하여 메타 데이터를 생성하는 경우, 먼저, 제2 카메라(120)가 제1 카메라(110)에 이벤트 알람 요청(410)을 하고, 제1 카메라(110)가 이벤트 발생을 감지하는 경우, 제2 카메라(120)로 이벤트 정보 전달(420)한다. 제2 카메라(120)는 제1 카메라(110)로부터 이벤트 정보를 전달받으며, 제1 카메라(110)로 카메라 제어 및 영상 정보 전달 요청(430)하고, 제1 카메라(110)는 제2 카메라(120)로 영상정보 및 시간정보 전달(440)한다. 제2 카메라(120)는 수신한 영상정보를 기반으로 메타데이터 형성, 확률 정보 분석(450)한다. 이때, 확률 정보 분석 결과, 영상 정보가 더 필요한 경우, 제2 카메라(120)는 제1 카메라(110)에 확률 정보 기반으로 영상 정보 추가 요청(460)하고, 제1 카메라(110)는 제2 카메라(120)에 영상정보 추가전달(470)하여 영상 분석을 수행한다. 추가적인 영상이 필요하지 않은 경우, 제2 카메라(120)가 제1 카메라(110)에 카메라 설정 원복(480)을 전달하고, 제2 카메라(120)가 중앙관리 서버(130)에 생성된 메타데이터 및 시간정보 전달(490)한다.
제1 카메라(110)가 복수인 경우, 제2 카메라(120)가 중앙 관리 서버(130)의 영상 분석을 분담하기 위하여, 도 5와 같이, 제1 카메라 중 일부의 카메라(112)의 영상을 딥러닝을 이용하여 분석하여 메타 데이터를 생성하여 중앙 관리 서버(130)에 송신한다. 제2 카메라를 거치지 않은 다른 제1 카메라(111)는 중앙 관리 서버(130)에서 딥러닝을 통한 영상분석을 통해 메타 데이터가 생성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 감시 방법의 흐름도이고, 도 7은 본 발명의 다른 실시예에 따른 감시 방법의 흐름도이다.
본 발명의 실시예에 따른 감시 방법에 대한 상세한 설명은 도 1 내지 도 5의 감시 시스템에 대한 상세한 설명에 대응되는 바, 이하 중복되는 설명은 생략하도록 한다.
S11 단계에서 제1 카메라가 영상을 촬영하여 중앙 관리 서버에 송신하고, S12 단계에서 제1 카메라가 영상을 제2 카메라로 송신한다. 제1 카메라의 영상을 수신한 제2 카메라는 S13 단계에서 딥러닝을 이용하여 제1 카메라로부터 수신한 영상을 분석하여 메타 데이터를 생성하고, 생성된 메타 데이터를 S14 단계에서 중앙 관리 서버에 송신한다.
제1 카메라는 모든 영상을 제2 카메라로 송신하지 않고, S21 단계에서 제1 카메라가 이벤트 발생을 감지하면, S22 단계에서 제1 카메라의 설정을 미리 설정된 설정값에 따라 설정값을 변경한 이후, 촬영된 영상을 S12 단계에서 제2 카메라로 송신한다.
제2 카메라는 자신이 촬영한 영상을 분석하여 메타 데이터를 생성하여 상기 중앙 관리 서버에 송신할 수 있고, 상기 제1 카메라로부터 영상을 수신할 때 시간정보도 함께 수신하고, 상기 수신한 시간정보를 상기 제1 카메라의 영상을 분석하여 생성되는 메타 데이터에 포함시켜 상기 중앙 관리 서버에 송신할 수 있으며, 상기 제1 카메라의 영상을 분석할 때, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 상기 제1 카메라로 수신하는 영상의 길이를 가변적으로 제어할 수 있다.
또한, 상기 제1 카메라는 복수의 카메라를 포함할 수 있고, 이때 중앙 관리 서버는, 상기 제1 카메라로부터 수신하는 영상을 분석하여 메타 데이터를 생성하되, 영상 분석 처리량이 임계치 이상인 경우, 상기 제1 카메라에 포함된 복수의 카메라 중 적어도 어느 하나의 카메라의 영상 분석을 상기 제2 카메라가 처리하도록 제어할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 캐리어 웨이브(예를 들어 인터넷을 통한 송신)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 감시 시스템
110, 111, 112: 제1 카메라
120: 제2 카메라
130: 중앙 관리 서버

Claims (6)

  1. 복수의 카메라 및 촬영된 영상을 관리하는 중앙 관리 서버로 구성되는 감시 시스템에 있어서,
    영상을 촬영하여 상기 중앙 관리 서버에 송신하는 제1 카메라;
    영상을 촬영하여 상기 중앙 관리 서버에 송신하고, 딥러닝을 이용하여 영상을 분석하는 제2 카메라; 및
    상기 제1 카메라 및 상기 제2 카메라로부터 영상을 수신하는 상기 중앙 관리 서버를 포함하고,
    상기 제2 카메라는,
    상기 제1 카메라로부터 영상을 수신하여 영상 분석을 통해 메타 데이터를 생성하거나 자신이 촬영한 영상을 분석하여 메타 데이터를 생성하여 상기 중앙 관리 서버에 송신하는 것을 특징으로 하는 감시 시스템.
  2. 제1항에 있어서,
    상기 제2 카메라는,
    상기 제1 카메라가 이벤트 발생을 감지한 경우, 상기 제1 카메라로부터 영상을 수신하는 것을 특징으로 하는 감시 시스템.
  3. 제2항에 있어서,
    상기 제1 카메라는,
    이벤트 발생을 감지한 경우, 미리 설정된 설정값에 따라 설정값을 변경하는 것을 특징으로 하는 감시 시스템.
  4. 제1항에 있어서,
    상기 제2 카메라는,
    상기 제1 카메라로부터 영상을 수신할 때 시간정보도 함께 수신하고, 상기 수신한 시간정보를 상기 제1 카메라의 영상을 분석하여 생성되는 메타 데이터에 포함시켜 상기 중앙 관리 서버에 송신하는 것을 특징으로 하는 감시 시스템.
  5. 제1항에 있어서,
    상기 제2 카메라는,
    상기 제1 카메라의 영상을 분석할 때, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 상기 제1 카메라로 수신하는 영상의 길이를 가변적으로 제어하는 것을 특징으로 하는 감시 시스템.
  6. 제1항에 있어서,
    상기 제1 카메라는 복수의 카메라를 포함하고,
    상기 중앙 관리 서버는,
    상기 제1 카메라로부터 수신하는 영상을 분석하여 메타 데이터를 생성하되, 영상 분석 처리량이 임계치 이상인 경우, 상기 제1 카메라에 포함된 복수의 카메라 중 적어도 어느 하나의 카메라의 영상 분석을 상기 제2 카메라가 처리하도록 제어하는 것을 특징으로 하는 감시 시스템.
KR1020190025151A 2019-03-05 2019-03-05 인공 지능 카메라를 이용한 감시 시스템 KR20200108525A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190025151A KR20200108525A (ko) 2019-03-05 2019-03-05 인공 지능 카메라를 이용한 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190025151A KR20200108525A (ko) 2019-03-05 2019-03-05 인공 지능 카메라를 이용한 감시 시스템

Publications (1)

Publication Number Publication Date
KR20200108525A true KR20200108525A (ko) 2020-09-21

Family

ID=72707810

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190025151A KR20200108525A (ko) 2019-03-05 2019-03-05 인공 지능 카메라를 이용한 감시 시스템

Country Status (1)

Country Link
KR (1) KR20200108525A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230099328A (ko) * 2021-12-27 2023-07-04 주식회사 현대케피코 재해 대응 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190016367A (ko) 2017-08-08 2019-02-18 삼성전자주식회사 객체를 인식하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190016367A (ko) 2017-08-08 2019-02-18 삼성전자주식회사 객체를 인식하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230099328A (ko) * 2021-12-27 2023-07-04 주식회사 현대케피코 재해 대응 방법 및 시스템

Similar Documents

Publication Publication Date Title
CN111698470B (zh) 一种基于云边协同计算的安防视频监控***及其实现方法
Anjum et al. Video stream analysis in clouds: An object detection and classification framework for high performance video analytics
WO2022031835A1 (en) Networked system for real-time computer-aided augmentation of live input video stream
WO2019050508A1 (en) EMOTION DETECTION ACTIVATED VIDEO CUSHIONING
KR101458136B1 (ko) 영상 처리 방법, 이를 실행하는 영상 처리 서버, 감시 서버, 영상 처리 시스템 및 이를 저장한 기록 매체
US10990840B2 (en) Configuring data pipelines with image understanding
KR20190054702A (ko) 영상에서 객체의 행동을 인식하는 방법 및 그 장치
TWI698121B (zh) 網路裝置、影像處理方法及電腦可讀媒體
US11776271B2 (en) Systems and methods for creating a story board with forensic video analysis on a video repository
WO2020052062A1 (zh) 检测方法和装置
US11979660B2 (en) Camera analyzing images on basis of artificial intelligence, and operating method therefor
KR102077632B1 (ko) 로컬 영상분석과 클라우드 서비스를 활용하는 하이브리드 지능형 침입감시 시스템
KR20200108525A (ko) 인공 지능 카메라를 이용한 감시 시스템
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
KR20200111104A (ko) 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법
JP5072880B2 (ja) メタデータ抽出サーバ、メタデータ抽出方法およびプログラム
KR102456189B1 (ko) 클라우드 엣지 기반의 영상 분석 시스템
TWI733420B (zh) 動作辨識系統
US20220391686A1 (en) Dynamic obstacle avoidance during media capture
CN116186635A (zh) 基于跨模态注意力机制的事件检测方法、装置及相关介质
KR20230173667A (ko) Ai 기반 객체인식을 통한 감시 카메라의 셔터값 조절
CN111797273B (zh) 用于调整参数的方法和装置
CN113158842A (zh) 一种识别方法、***、设备及介质
Paul et al. Integrated Intelligent Surveillance System Using Deep Learning
WO2024062971A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal