KR20190046351A - Method and Apparatus for Detecting Intruder - Google Patents

Method and Apparatus for Detecting Intruder Download PDF

Info

Publication number
KR20190046351A
KR20190046351A KR1020170140049A KR20170140049A KR20190046351A KR 20190046351 A KR20190046351 A KR 20190046351A KR 1020170140049 A KR1020170140049 A KR 1020170140049A KR 20170140049 A KR20170140049 A KR 20170140049A KR 20190046351 A KR20190046351 A KR 20190046351A
Authority
KR
South Korea
Prior art keywords
image frame
intrusion detection
motion
target image
unit
Prior art date
Application number
KR1020170140049A
Other languages
Korean (ko)
Other versions
KR102195706B1 (en
Inventor
김태완
이희열
양승지
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020170140049A priority Critical patent/KR102195706B1/en
Publication of KR20190046351A publication Critical patent/KR20190046351A/en
Application granted granted Critical
Publication of KR102195706B1 publication Critical patent/KR102195706B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19604—Image analysis to detect motion of the intruder, e.g. by frame subtraction involving reference image or background adaptation with time to compensate for changing conditions, e.g. reference image update on detection of light level change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

An embodiment of the present invention relates to a method for detecting an intrusion and an apparatus thereof. The method for detecting an invasion can minimize the occurrence rate of error alarms while greatly reducing the amount of expensive GPU usage by using a motion-based intrusion detection function and a deep learning-based intrusion detection function together to operate a deep learning processor only when a motion in a region of interest is sensed.

Description

침입 탐지방법 및 그 장치{Method and Apparatus for Detecting Intruder}[0001] The present invention relates to a method and an apparatus for detecting an intruder,

본 실시예는 침입 탐지방법 및 그 장치에 관한 것이다. 더욱 상세하게는, CCTV 환경에서의 하이브리드 딥러닝 기반 침입 탐지방법 및 그 장치에 관한 것이다.The present embodiment relates to an intrusion detection method and apparatus thereof. More particularly, the present invention relates to a method and apparatus for intrusion detection based on hybrid deep learning in a CCTV environment.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

기존 CCTV 및 다양한 B2C 카메라의 침입 탐지 기능은 움직임의 정도가 일정량 이상일 경우를 탐지하여 침입 여부를 판단한다. 움직임 검출 기능의 경우 많은 기술의 발달로 매우 적은 CPU Resource만을 갖고도 서비스할 수 있어, 거의 모든 업체에서 이를 사용하고 있다.The intrusion detection function of existing CCTV and various B2C cameras detects when the degree of motion is more than a certain amount and judges whether or not it is intruded. In the case of the motion detection function, many technologies are developed, so that only a very small amount of CPU resources can be serviced.

현재 움직임 기반의 침입탐지 기술은 움직이는 모든 물체를 거의 99% 이상의 정확도로 검출할 수 있으나, 바람에 움직이는 나뭇가지, 애완동물, 야간에 차량의 라이트 등을 침입으로 간주하는 에러를 많이 보이고 있다. 실제로 침입 알람으로 인한 보안 업체의 출동 건수는 2.4만건/월 수준이며, 이 중 실제 침입은 30건/월에 불과(오알람 비율 99.8%)한 것을 알려지고 있다.Currently, motion-based intrusion detection technology can detect all moving objects with an accuracy of almost 99%, but there are a lot of errors that are considered to be invasions of wind, moving trees, pets, and vehicle lights at night. In fact, the number of security vendors due to intrusion alarms has reached the level of 24,000 units / month, and the actual penetration rate is only 30 cases / month (alarm ratio 99.8%).

최근 들어 딥러닝 기반의 다양한 Computer Vision 또는 Image Processing 기술들이 발표되고 있다. 현재 사람을 검출하는 딥러닝 기반의 네트워크는 CNN, R-CNN, faster R-CNN, mask R-CNN, SSD, DSSD, Yolo 등 매우 많은 기술들이 있다. 이 중 CCTV 처럼 실시간으로 서비스를 할 수 있는 기술들은 Single CNN 네트워크를 사용하는 SSD와 YOLO 두 개가 가장 대표적이며, 사람 검출 정확도는 약 70~80% 정도이다.Recently, a variety of computer vision or image processing technologies based on deep running have been announced. There are many technologies such as CNN, R-CNN, faster R-CNN, mask R-CNN, SSD, DSSD and Yolo. Among these technologies, SSD and YOLO using single CNN network are the most representative technologies for real-time service like CCTV, and human detection accuracy is about 70 ~ 80%.

하지만, 딥러닝 기반의 영상인식 기술은 Graphic Processing unit(GPU)라는 매우 고가의 하드웨어 장비를 반드시 사용해야 하며, 사용한다고 하더라도 1개의 장비로 동시에 처리할 수 있는 영상의 개수는 1~2개로 제한된다는 점에서 그 상용화가 사실상 불가능하다는 문제점이 존재한다.However, Deep Learning based image recognition technology requires a very expensive hardware device called Graphic Processing unit (GPU), and even if it is used, the number of images that can be processed simultaneously by one device is limited to one or two There is a problem that commercialization thereof is virtually impossible.

이에, CCTV 환경에서 고성능의 딥러닝 기반의 침입탐지 기능을 상용화하기 위해 다양한 오검출을 줄이고 효과적으로 GPU 자원을 사용할 수 있도록 하는 새로운 기술을 필요로 한다.Therefore, in order to commercialize the high-performance deep-running-based intrusion detection function in the CCTV environment, a new technique is required to reduce various false positives and effectively use the GPU resources.

본 실시예는 침입 탐지장치가 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용하여, 관심 영역 내 움직임이 감지되는 경우에만 딥러닝 프로세서를 동작하게 함으로써 고가의 GPU 사용량을 대폭 줄이면서도 오알람의 발생률이 최소화될 수 있도록 하는 데 그 목적이 있다.This embodiment uses the motion-based intrusion detection function and the deep-running-based intrusion detection function together to operate the deep learning processor only when motion in the area of interest is detected, thereby significantly reducing the amount of expensive GPU usage So that the occurrence rate of alarms can be minimized.

본 실시예는, 입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 움직임 검출부; 상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 프로세스 수행부; 및 상기 움직임 검출부의 검출결과 및 상기 프로세스 수행부의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 제어부를 포함하는 것을 특징으로 하는 침입 탐지장치를 제공한다.The present exemplary embodiment includes a motion detection unit for analyzing an input image frame and detecting motion information of the object in the image frame; A process execution unit for receiving a target image frame in which motion information of the object is detected as an input signal among the image frames and determining whether a specific object exists in the target image frame based on the learned neural network model; And a controller for determining whether or not an intruder intrudes into the surveillance area based on the detection result of the motion detection unit and the determination result of the process execution unit.

또한, 본 실시예의 다른 측면에 의하면, 침입 탐지장치의 침입자 침입 탐지방법에 있어서, 입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 과정; 상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 과정; 및 상기 검출하는 과정의 검출결과 및 상기 판별하는 과정의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 과정을 포함하는 것을 특징으로 하는 침입 탐지방법을 제공한다.According to another aspect of the present invention, there is provided an intruder intrusion detection method of an intrusion detection apparatus, comprising: analyzing an input image frame to detect motion information of the object in the image frame; Receiving a target image frame in which motion information of the object is detected as an input signal among the image frames and determining whether a specific object exists in the target image frame based on the learned neural network model; And determining whether an intruder intrudes into the surveillance area based on the detection result of the detection process and the discrimination result of the discriminating process.

본 실시예에 따르면, 침입 탐지장치가 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용하여, 관심 영역 내 움직임이 감지되는 경우에만 딥러닝 프로세서를 동작하게 함으로써 고가의 GPU 사용량을 대폭 줄이면서도 침입 탐지의 정확도는 향상시킬 수 있는 효과가 있다.According to the present embodiment, the intrusion detection device uses the motion-based intrusion detection function and the deep-learning-based intrusion detection function to operate the deep learning processor only when motion in the area of interest is detected, The accuracy of the intrusion detection can be improved while greatly reducing the effect.

또한, 본 실시예에 따르면 카메라가 거의 움직이지 않는 고정형 CCTV 환경에서 AI 기술을 기반으로 한 침입탐지 서비스의 실제 상용화가 가능하다는 효과가 있다.In addition, according to the present embodiment, there is an effect that an intrusion detection service based on AI technology can be commercialized in a fixed CCTV environment in which the camera hardly moves.

도 1은 본 실시예에 따른 침입탐지 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 침입 탐지장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 실시예에 따른 침입 탐지방법을 설명하기 위한 순서도이다.
도 4 및 도 5는 본 실시예에 따른 침입 탐지방법에 의한 효과를 설명하기 위한 예시도이다.1 is a block diagram schematically showing an intrusion detection system according to the present embodiment.
2 is a block diagram schematically showing an intrusion detection apparatus according to the present embodiment.
3 is a flowchart for explaining an intrusion detection method according to the present embodiment.
4 and 5 are exemplary diagrams for explaining the effect of the intrusion detection method according to the present embodiment.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings.

도 1은 본 실시예에 따른 침입탐지 시스템을 개략적으로 나타낸 블록 구성도이다.1 is a block diagram schematically showing an intrusion detection system according to the present embodiment.

도 1에 도시하듯이, 본 실시예에 따른 침입탐지 시스템은 영상 촬영장치(100), 침입 탐지장치(110) 및 모니터링 장치(120)를 포함하는 형태로 구현된다. 이때, 본 실시예에 따른 침입탐지 시스템에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 도 1에서는 영상 촬영장치(100)가 침입 탐지장치(110)와 별도의 장치로 구현되는 것으로 예시하였으나, 이러한, 영상 촬영장치(100)는 침입 탐지장치(110)와 하나의 장치로 구현될 수도 있다.As shown in FIG. 1, the intrusion detection system according to the present embodiment is implemented in a form including the image capturing apparatus 100, the intrusion detection apparatus 110, and the monitoring apparatus 120. At this time, the components included in the intrusion detection system according to the present embodiment are not limited thereto. 1, the image capturing apparatus 100 is implemented as a separate apparatus from the intrusion detection apparatus 110. However, the image capturing apparatus 100 may be implemented as an apparatus with the intrusion detection apparatus 110 .

영상 촬영장치(100)는 감시 영역 내 침입자의 침입 여부를 감시하기 위해 영상을 촬영할 수 있는 장치를 의미한다. 영상 촬영장치(110)는 CCTV용 카메라와 같이 고정형 카메라로 구현될 수 있으나, 반드시 이에 한정되는 것은 아니고 침입 탐지장치(110)의 입력영상을 생성할 수 있는 모든 장치를 포함할 수 있다The image capturing apparatus 100 refers to a device capable of capturing an image in order to monitor intruders intruding into the surveillance area. The image capturing apparatus 110 may be implemented as a fixed camera such as a CCTV camera, but it is not limited thereto and may include any apparatus capable of generating an input image of the intrusion detection apparatus 110

영상 촬영장치(100)는 침입탐지 시스템 내 하나 이상 포함될 수 있으며, 서로 다른 위치에 설치되어 여러 장소를 촬영한 영상을 생성할 수 있다.The image capturing apparatus 100 may include at least one of the intrusion detection systems, and may be installed at different locations to generate images taken at various locations.

영상 촬영장치(100)는 촬영된 영상에 대한 영상 프레임을 침입 탐지장치(110)로 전송한다.The image capturing apparatus 100 transmits an image frame for the photographed image to the intrusion detection apparatus 110.

침입 탐지장치(110)는 영상 촬영장치(100)로부터 수신한 영상 프레임을 실시간으로 분석하여 객체를 탐지 및 인식하고, 분석결과를 기초로 감시 영역 내 침입자의 침입 여부를 판단한다. 침입 탐지장치(110)는 판단결과에 따라 감시 영역 내 침입자의 침입이 확인되는 경우, 이에 대한 정보를 모니터링 장치(120)로 전송한다. 다른 실시예에서, 침입 탐지장치(110)는 감시 영역 내 침입자의 침입과 관련한 알람 정보를 직접 출력할 수도 있다.The intrusion detection device 110 detects and recognizes an object by analyzing an image frame received from the image capturing apparatus 100 in real time, and determines whether an intruder intrudes into the surveillance area based on the analysis result. If intrusion of an intruder in the surveillance area is confirmed according to the determination result, the intrusion detection device 110 transmits the information to the monitoring device 120. In another embodiment, intrusion detection device 110 may output alarm information directly related to an intruder's intrusion in the surveillance area.

본 실시예에 따른 침입 탐지장치(110)는 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용하여 감시 영역 내 침입자의 침입 여부를 판단한다. 즉, 본 실시예에 따른 침입 탐지장치(110)는 딥러닝 기반으로 영상 프레임 내 등장하는 특정 대상을 검출하되, 영상 프레임 내 움직임이 감지되는 경우에만 선택적으로 딥러닝 프로세스를 동작시킨다. 이때, 특정 대상은 사전에 관리자가 기 설정해둔 대상으로서, 사람, 동물 등과 같은 다양한 대상이될 수 있다.The intrusion detection apparatus 110 according to the present embodiment uses a motion-based intrusion detection function and a deep-running-based intrusion detection function together to determine whether intruders intrude into the surveillance area. That is, the intrusion detection apparatus 110 according to the present embodiment detects a specific object appearing in an image frame based on a deep learning basis, and selectively operates a deep learning process only when motion in an image frame is detected. At this time, the specific object is an object previously set by the manager in advance, and can be various objects such as a person, an animal, and the like.

이를 위해, 침입 탐지장치(110)는 영상 프레임 내 객체의 특징을 검출하고, 검출된 객체의 특징에 기초하여 객체의 움직임을 감지할 수 있다.For this purpose, the intrusion detection device 110 may detect a feature of an object in an image frame and sense an object motion based on the detected feature of the object.

또한, 침입 탐지장치(110)는 특정 대상을 탐지하고 인식하도록 미리 설계된 인공 신경망 모델을 기 학습(Training)하고, 학습된 인공 신경망 모델을 기반으로 딥러닝 프로세서를 수행하여 영상 프레임 내 특정 대상을 탐지 및 인식할 수 있다. 예를 들어, 인공 신경망 모델로는 컨볼루션 신경망(CNN)이 이용될 수 있다. 컨볼루션 신경망(CNN)은 입력영상에 대해 컨볼루션 연산을 수행하는 하나 이상의 컨볼루션 층(Convolution Layer) 및 컨볼루션 층의 출력을 샘플링하는 하나 이상의 풀링 층(Pooling Layer)을 포함한다. 다만, 컨볼루션 신경망(CNN)은 예시일 뿐 반드시 이에 한정되는 것은 아니며, SSD(Single Shot MultiBox Detector), YOLO 등과 같은 다양한 인공 신경망 모델이 이용될 수 있다. 본 실시예에서는 딥러닝 프로세서의 수행을 위해 기 학습된 인공 신경망 모델에 대해서 특정 모델로 한정하지는 않는다.In addition, the intrusion detection device 110 performs training of an artificial neural network model designed to detect and recognize a specific object, performs a deep learning process based on the learned artificial neural network model, And recognizable. For example, a convolutional neural network (CNN) can be used as an artificial neural network model. The convolutional neural network (CNN) includes at least one convolution layer for performing a convolution operation on the input image and at least one pooling layer for sampling the output of the convolution layer. However, the convolutional neural network (CNN) is merely an example, and various artificial neural network models such as SSD (Single Shot MultiBox Detector) and YOLO can be used. In the present embodiment, the artificial neural network model learned for the execution of the deep learning processor is not limited to a specific model.

한편, 본 실시예에 따른 침입 탐지장치(110)가 감시 영역 내 침입자의 침입 여부를 판단하는 구체적인 동작에 대해서는 도 2의 침입 탐지장치(110)의 구성요소를 설명하는 과정에서 보다 자세하게 설명하도록 한다.The detailed operation of the intrusion detection device 110 according to the present embodiment for determining whether an intruder intrudes into the surveillance area will be described in detail in the process of describing the components of the intrusion detection device 110 of FIG. 2 .

모니터링 장치(120)는 침입 탐지장치(110)로부터 수신한 정보에 따라 경보 발생 등과 같은 적절한 이벤트를 발생시킬 수 있다. 또한, 모니터링 장치(120)는 침입자가 탐지된 영상을 영상 촬영장치(100) 및 침입 탐지장치(110)로부터 수신하여 실시간으로 디스플레이할 수 있다.The monitoring device 120 may generate an appropriate event, such as an alarm, in accordance with the information received from the intrusion detection device 110. In addition, the monitoring apparatus 120 can receive an intruder-detected image from the image capturing apparatus 100 and the intrusion detection apparatus 110 and display it in real time.

도 2는 본 실시예에 따른 침입 탐지장치를 개략적으로 나타낸 블록 구성도이다.2 is a block diagram schematically showing an intrusion detection apparatus according to the present embodiment.

본 실시예에 따른 침입 탐지장치(110)는 입력부(200), 관심영역 설정부(210), 움직임 검출부(220), 조절부(230), 프로세스 수행부(240), 제어부(250), 저장부(260) 및 알람부(270)를 포함한다. 이때, 본 실시예에 따른 침입 탐지장치(110)에 포함되는 구성요소는 반드시 이에 한정되는 것은 아니다. 예컨대, 본 실시예에 따른 침입 탐지장치(110)는 도 1에 도시된 영상 촬영장치(100)를 구성요소로서 추가 포함하는 형태로 구현될 수 있다.The intrusion detection apparatus 110 according to the present embodiment includes an input unit 200, a region of interest setting unit 210, a motion detection unit 220, a control unit 230, a process execution unit 240, a control unit 250, (260) and an alarm unit (270). At this time, the components included in the intrusion detection device 110 according to the present embodiment are not limited thereto. For example, the intrusion detection apparatus 110 according to the present embodiment may be implemented in a form including the image capturing apparatus 100 shown in FIG. 1 as a component.

입력부(200)는 침입 탐지장치(110)와 연동된 영상 촬영장치(100)로부터 영상 프레임을 획득한다. 즉, 입력부(200)는 특정 지점에 설치되어 있는 영상 촬영장치(100)로부터 기 설정된 영역이 촬영된 영상 프레임을 획득한다. 여기서, 영상 프레임은 영상 촬영장치(100)에서 촬영된 촬영영상에 대한 프레임을 의미한다.The input unit 200 acquires an image frame from the image capturing apparatus 100 interlocked with the intrusion detection apparatus 110. That is, the input unit 200 acquires an image frame photographed in a preset area from the image capturing apparatus 100 installed at a specific point. Here, the image frame refers to a frame for the photographed image photographed by the image photographing apparatus 100. [

입력부(200)는 영상 촬영장치(100)로부터 영상 프레임을 실시간으로 수신할 수 있다. 예컨대, 입력부(200)는 일정 크기(640 × 480)의 영상을 초당 15 프레임 단위로 수신할 수 있다. 다른 실시예에서, 입력부(200)는 영상 촬영장치(100)에서 기 촬영되어 저장된 영상에 대한 영상 프레임을 획득할 수도 있다.The input unit 200 can receive an image frame from the image capturing apparatus 100 in real time. For example, the input unit 200 can receive an image of a predetermined size (640 x 480) in increments of 15 frames per second. In another embodiment, the input unit 200 may acquire an image frame of an image captured and stored in the image capturing apparatus 100. [

또한, 본 실시예에서는 입력부(200)가 영상 촬영장치(100)로부터 촬영된 영상에 대한 영상 프레임을 획득한다고 명시하였지만 반드시 이에 한정되지는 않고, 침입 탐지장치(110)가 영상을 촬영하기 위한 모듈을 구비하고, 해당 모듈을 이용하여 촬영된 영상에 대한 영상 프레임을 직접 획득할 수도 있다.Although the input unit 200 specifies that the input unit 200 acquires an image frame for an image photographed by the image capturing apparatus 100, the present invention is not limited thereto. For example, the intrusion detection apparatus 110 may include a module And directly acquire an image frame for the photographed image using the module.

관심영역 설정부(210)는 영상 프레임 내 특정 영역을 선택한 선택신호를 수신하고, 수신한 선택신호에 근거하여 특정 영역을 관심 영역으로 설정한다. 즉, 관심영역 설정부(210)는 사용자 인터페이스부(미도시)를 이용하여 사용자로부터 영상 프레임 내 특정 영역을 선택한 선택신호를 수신하고, 특정 영역을 관심 영역으로 설정한다.The region-of-interest setting unit 210 receives a selection signal that selects a specific region in an image frame, and sets a specific region as a region of interest based on the received selection signal. That is, the region-of-interest setting unit 210 receives a selection signal that selects a specific region in an image frame from a user using a user interface unit (not shown), and sets a specific region as a region of interest.

관심영역 설정부(210)는 특정 영상 프레임 내 관심 영역이 설정되는 경우, 특정 영상 프레임과 대응되는 다른 영상 프레임에서도 동일한 영역이 관심 영역으로 설정되도록 제어한다. 한편, 관심영역 설정부(210)는 관심 영역에 대한 설정값을 저장부(260)에 제공함으로써 저장부(260)가 관심 영역이 설정된 영상 프레임을 제공하도록 동작시킬 수 있다.When the ROI is set in the specific image frame, the ROI setting unit 210 controls the same region to be set as the ROI in another image frame corresponding to the specific image frame. Meanwhile, the ROI setting unit 210 may provide the storage unit 260 with a set value for the ROI, thereby allowing the storage unit 260 to provide the set image frame of the ROI.

움직임 검출부(220)는 입력부(200)를 통해 입력되는 영상 프레임을 분석하여 영상 프레임 내 객체의 움직임 정보를 검출하는 기능을 수행한다. 한편, 움직임 검출부(220)는 관심영역 설정부(210)를 통해 관심 영역이 설정되어 있는 경우, 설정된 관심 영역 내 객체의 움직임 정보를 검출한다.The motion detector 220 analyzes an image frame input through the input unit 200 and detects motion information of an object in an image frame. Meanwhile, when the region of interest is set through the region of interest setting unit 210, the motion detection unit 220 detects motion information of the object in the set region of interest.

움직임 검출부(220)는 다양한 방법을 이용하여 영상 프레임 내 객체의 움직임 정보를 검출할 수 있다. 예컨대, 움직임 검출부(220)는 연속된 두 개의 영상 프레임의 차이를 이용하거나, 가우시안 혼합 모델(GMM: Gaussian Mixture Model), VIBE 등을 기반으로 모델링한 배경영상의 차분을 이용하는 등의 방법을 이용하여 영상 프레임 내 객체의 움직임 정보를 검출할 수 있다.The motion detection unit 220 may detect motion information of an object in an image frame using various methods. For example, the motion detection unit 220 may use a difference between two consecutive image frames, or use a difference of a background image modeled based on a Gaussian Mixture Model (GMM), VIBE, or the like The motion information of the object in the image frame can be detected.

움직임 검출부(200)는 상기의 검출 기능 수행에 따라, 입력부(200)를 통해 입력된 영상 프레임 중 객체의 움직임이 검출된 영상 프레임(이하, 대상 영상 프레임으로 예시하여 설명하도록 한다.) 및 이에 대응되는 움직임 정보를 산출한다.The motion detection unit 200 detects a motion of an object among the image frames inputted through the input unit 200 according to the detection function (hereinafter, referred to as a target image frame) Based on the motion information.

이때, 움직임 정보로는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역(또는 Box)에 대한 정보(예: X 좌표, Y 좌표, 영역의 가로 및 세로 길이, 움직임 양)가 포함될 수 있다.At this time, the motion information may include information (e.g., X coordinate, Y coordinate, horizontal and vertical length of the area, amount of motion) of the area (or Box) in which motion information of the object in the target image frame is detected.

움직임 검출부(200)는 검출 결과에 대한 신뢰성 확보를 위해, 객체의 움직임이 검출된 영상 프레임에 대해 필터링 절차를 수행할 수 있다. 예컨대, 움직임 검출부(200)는 객체의 움직임에 대한 측정 값이 기 설정된 임계치를 초과하는 영상 프레임을 대상 영상 프레임으로서 최종 선별할 수 있다. 이때, 객체의 움직임에 대한 측정 값은 상기의 움직임 정보 보다 자세하게는 객체의 움직임 정보가 검출된 영역의 면적을 통해 측정될 수 있다.The motion detection unit 200 may perform a filtering procedure on an image frame in which motion of the object is detected, in order to secure reliability of the detection result. For example, the motion detector 200 may finally select an image frame whose measured value of motion of the object exceeds a predetermined threshold as a target image frame. At this time, the measured value of the motion of the object may be measured through the area of the area where the motion information of the object is detected in more detail than the motion information.

움직임 검출부(200)는 산출한 대상 영상 프레임 및 이에 대응되는 움직임 정보를 프로세스 수행부(240) 및 제어부(250)로 전달한다.The motion detection unit 200 transmits the calculated target image frame and corresponding motion information to the process execution unit 240 and the control unit 250.

조절부(230)는 프로세스 수행부(240)로 입력되는 대상 영상 프레임의 개수를 조절하는 기능을 수행한다. 이러한, 조절부(230)의 조절 기능은 바람직하게는 이후, 제어부(250)로부터 수행되는 침입 여부 판별결과에 대한 신뢰성을 확보하기 위해 수행될 수 있다.The control unit 230 controls the number of target image frames input to the process execution unit 240. The control function of the control unit 230 may be performed to secure the reliability of the result of the intrusion detection performed by the control unit 250.

이러한, 조절부(230)의 조절 결과에 따라 움직임 검출부(200)는 N(N=자연수)개의 대상 영상 프레임을 프로세스 수행부(240)로 출력한다. 이때, N개의 대상 영상 프레임은 최초 객체의 움직임 정보가 검출된 영상 프레임을 기준으로 연속된 N개의 영상 프레임일 수 있다. 한편, 본 실시예에 있어서, 조절부(230)는 그 효율성 등을 이유로 5개의 대상 영상 프레임이 프로세스 수행부(240)로 출력되도록 조절(TH3=5)하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.The motion detection unit 200 outputs N (N = natural number) target image frames to the process execution unit 240 according to the adjustment result of the adjustment unit 230. In this case, the N target image frames may be consecutive N image frames based on the image frame in which the motion information of the first object is detected. Meanwhile, in the present embodiment, the controller 230 preferably adjusts (TH 3 = 5) so that five object image frames are output to the process execution unit 240 for reasons of efficiency and the like, no.

프로세스 수행부(240)는 딥러닝 기반의 침입탐지 기능을 수행하는 장치를 의미한다.The process execution unit 240 refers to a device that performs a deep learning-based intrusion detection function.

본 실시예에 따른 프로세스 수행부(240)는 움직임 검출부(200)로부터 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 대상 영상 프레임 내 특정 대상의 존재 여부를 판별한다. 한편, 이하에서는 특정 대상이 사람인 것으로 예시하여 설명하나 반드시 이에 한정되는 것은 아니다.The process execution unit 240 according to the present embodiment receives a target image frame as an input signal from the motion detection unit 200 and determines whether a specific object exists in the target image frame based on the learned neural network model. In the following description, the specific object is a person, but the present invention is not limited thereto.

앞서 도 1에서 설명하였듯이, 본 실시예에 따른 프로세스 수행부(240)는 컨볼루션 신경망(CNN) 등과 같은 다양한 인공 신경망 모델을 기반으로 대상 영상 프레임 내 사람의 존재 여부를 판별할 수 있다. 이러한, 프로세스 수행부(240)가 딥러닝 기반으로 대상 영상 프레임 내 사람을 검출하는 구체적인 방법은 해당 분야에서 일반적인 내용인 바 자세한 설명은 생략하도록 한다.As described above with reference to FIG. 1, the process execution unit 240 according to the present embodiment can determine whether a person exists in a target image frame based on various artificial neural network models such as a convolutional neural network (CNN). A specific method for the process execution unit 240 to detect a person in a target image frame based on a deep learning is a general matter in a corresponding field, and a detailed description thereof will be omitted.

한편, 본 실시예에 따른 프로세스 수행부(240)는 움직임 검출부(200)로부터 움직임 정보가 검출된 영상 프레임만을 입력 신호로서 제공받고, 해당 영상 프레임에 대해서만 딥러닝 프로세서를 선택적으로 수행함에 따라 종래 대비 GPU 사용량을 대폭 감소시킬 수 있는 효과가 있다.Meanwhile, the process execution unit 240 according to the present embodiment receives only the image frame in which the motion information is detected from the motion detection unit 200 as the input signal, selectively performs the deep learning processor only on the image frame, GPU usage can be greatly reduced.

프로세스 수행부(240)는 판별 결과에 따라, 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값(Conf)과 더불어, 사람의 위치정보를 산출한다. 여기서, 사람의 위치정보는 대상 영상 프레임 내 사람이 검출된 영역(또는 Box)에 대한 정보(예: X 좌표, Y 좌표, 영역의 가로 및 세로 길이)가 포함될 수 있다.The process execution unit 240 calculates the position information of a person in addition to the confidence value Conf when a person in the target image frame is detected according to the determination result. Here, the position information of the person may include information (e.g., X coordinate, Y coordinate, horizontal and vertical length of the area) of the area (or Box) in which the person is detected in the target image frame.

본 실시예에 따른 프로세스 수행부(240)는 판별 결과에 대한 신뢰성 확보를 위해 신뢰도 값에 기반한 추가적인 판별 절차를 수행할 수 있다. 즉, 프로세스 수행부(240)는 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값이 일정 임계치(TH1) 이상인 지 여부를 확인하고, 확인 결과에 따라 대상 영상 프레임 내 사람의 존재 여부를 최종 판별할 수 있다. 예컨대, 프로세스 수행부(240)는 TH1의 값을 0.4로 정하여 신뢰도 40% 이상으로 사람이 검출되는 경우에 한해서 대상 영상 프레임 내 사람이 검출된 것으로 최종 판별할 수 있다. 한편, 임계치 TH1의 값은 침입탐지 시스템의 설치 환경에 따라 다양한 값이 설정될 수 있다.The process execution unit 240 according to the present embodiment may perform an additional determination procedure based on the reliability value to secure the reliability of the determination result. That is, when a person in the target image frame is detected, the process execution unit 240 determines whether the reliability value is equal to or greater than a predetermined threshold value TH 1 , can do. For example, the process performing unit 240 may determine to end the mine is detected image frame only if that person is detected in more than 40% the value of the appointed reliability TH 1 to 0.4. On the other hand, the value of the threshold value TH 1 may be set to various values according to the installation environment of the intrusion detection system.

제어부(250)는 움직임 검출부(220)의 검출결과 및 프로세스 수행부(240)의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별한다.The control unit 250 determines whether or not an intruder intrudes into the monitoring area based on the detection result of the motion detection unit 220 and the determination result of the process execution unit 240.

제어부(250)는 프로세스 수행부(240)의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되지 않을 경우 움직임이 발생한 객체가 바람에 날리는 사물이거나, 지나가는 동물 또는 야간에 자동차의 이동으로 생기는 조명의 영향인 것으로 판단하여 침입자가 존재하지 않는 것으로 판별한다.The control unit 250 determines whether the object in which the motion is generated is an object blown by the wind or the influence of illumination caused by the movement of the automobile in the passing animal or at night when the person in the target image frame is not detected according to the determination result of the process execution unit 240 It is determined that there is no intruder.

제어부(250)는 프로세스 수행부(240)의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되는 경우 침입자가 존재하는 것으로 판별한다. 한편, 본 실시예에 따른 제어부(250)는 침입자의 침입 여부 결과에 대한 정확도 향상을 위해 추가적인 판별 절차를 수행할 수 있다.The control unit 250 determines that an intruder exists if a person in the target image frame is detected according to the determination result of the process execution unit 240. [ Meanwhile, the control unit 250 according to the present embodiment may perform an additional determination procedure to improve the accuracy of the intruder intrusion result.

즉, 제어부(250)는 프로세스 수행부(240)의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되는 경우 그와 관련하여 산출된 위치 정보(ex: 대상 영상 프레임 내 사람이 검출된 영역의 위치 정보) 및 앞서, 해당 대상 영상 프레임에 대하여 움직임 검출부(220)로부터 산출된 움직임 정보(ex: 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역의 위치 정보)를 비교하고, 비교 결과에 따라 침입자의 침입 여부를 판별한다.That is, when a person in the target image frame is detected according to the determination result of the process execution unit 240, the control unit 250 determines the position information (e.g., position information of the region in which the person in the target image frame is detected (E.g., position information of an area in which motion information of an object in a target image frame is detected) calculated from the motion detector 220 with respect to the target image frame, and then, based on the comparison result, .

예컨대, 제어부(250)는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역과 사람이 존재하는 영역 사이의 겹침 공간에 대한 비율 값(IOU: Intersection Over Union)이 기 설정된 임계치(TH2)를 초과하는 경우 감시 영역 내 침입자가 침입한 것으로 판별할 수 있다. 이때, IOU는 두 영역 사이의 겹침을 비교하는 수치로서, 이를 이용한, 제어부(250)의 판별 절차는 실제 움직임이 있는 영역에서 사람이 검출되었는지를 확인하는 절차에 해당될 수 있다.For example, the controller 250 ratio values for the overlapping area between the area in which the motion information on the detected area and the person of the objects in the target image frames exist: exceed (IOU Intersection Over Union) is a predetermined threshold value (TH 2), The intruder in the surveillance area can be determined to have entered. At this time, the IOU is a numerical value for comparing overlaps between the two areas, and the discrimination procedure of the controller 250 using the numerical values may correspond to a procedure for confirming whether a person is detected in an actual motion area.

또한, 제어부(250)는 앞서 조절부(230)의 조절에 따라 프로세서 수행부(240)로 입력된 N개의 대상 영상 프레임 각각에 대하여 프로세서 수행부(240)로부터 산출된 판별결과를 모두 고려하여 감시 영역 내 침입자의 침입 여부를 최종 판별할 수 있다. 예컨대, 제어부(250)는 N개의 대상 영상 프레임에 대하여 앞서 명시한 모든 판별 조건을 만족하는 경우 감시 영역 내 침입자가 침입한 것으로 최종 판별할 수 있다.The control unit 250 controls the control unit 250 to monitor each of the N target image frames inputted to the processor performing unit 240 according to the adjustment of the adjusting unit 230, It is possible to finally determine whether or not an intruder intrudes into the area. For example, the control unit 250 can finally determine that an intruder in the surveillance area has intruded when all the discrimination conditions specified above for the N target image frames are satisfied.

저장부(260)는 감시 영역 내 침입자의 침입 여부를 판별하는 과정에서 수집되는 모든 정보들을 저장하고, 이를 필요에 따라 제공한다.The storage unit 260 stores all information collected in the process of determining whether an intruder intrudes into the surveillance area and provides the information to the surveillance area if necessary.

알람부(270)는 제어부(250)의 판별 결과에 따라 감시 영역 내 침입자의 침입이 인지되는 경우 이에 대한 알람 정보를 출력하는 기능을 수행한다. 예컨대, 알람부(270)는 감시 영역 내 침입자의 침입과 관련된 정보들을 모니터링 장치(120)로 출력하고, 이를 통해, 모니터링 장치(120)로 하여금 경보 발생 등과 같은 적절한 이벤트가 발생될 수 있도록 할 수 있다. 다른 실시예에서, 알람부(270)는 자체적으로 상기의 이벤트를 발생시킬 수도 있다.The alarm unit 270 outputs the alarm information when the intrusion of the intruder in the surveillance area is recognized according to the determination result of the controller 250. For example, the alarm unit 270 may output information related to an intruder's intrusion into the monitoring area to the monitoring device 120, thereby allowing the monitoring device 120 to generate an appropriate event such as an alarm occurrence have. In another embodiment, the alarm unit 270 may itself generate the above event.

도 3은 본 실시예에 따른 침입 탐지방법을 설명하기 위한 순서도이다.3 is a flowchart for explaining an intrusion detection method according to the present embodiment.

침입 탐지장치(110)는 영상 촬영장치(100)로부터 입력되는 영상 프레임을 분석하여 영상 프레임 내 객체의 움직임 정보를 검출하고(S302), 검출결과에 따라 대상 영상 프레임을 산출한다(S304). 단계 S302 및 단계 S304에서 침입 탐지장치(110)는 객체의 움직임에 대한 측정 값이 기 설정된 임계치를 초과하는 영상 프레임을 대상 영상 프레임으로서 선별하고, 이에 대응되는 움직임 정보를 산출한다. 이때, 움직임 정보로는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역(또는 Box)에 대한 정보가 포함될 수 있다.The intrusion detection device 110 detects the motion information of the object in the image frame by analyzing the image frame input from the image sensing device 100 (S302), and calculates the target image frame according to the detection result (S304). In step S302 and step S304, the intrusion detection apparatus 110 selects an image frame whose measured value for motion of the object exceeds a preset threshold value as a target image frame, and calculates motion information corresponding thereto. At this time, the motion information may include information about a region (or Box) in which motion information of an object in the target image frame is detected.

침입 탐지장치(110)는 기 학습된 인공 신경망 모델을 기반으로 대상 영상 프레임 내 특정 대상 예컨대, 사람의 존재 여부를 판별한다(S306). 단계 S306에서 침입 탐지장치(110)는 컨볼루션 신경망(CNN) 등과 같은 다양한 인공 신경망 모델을 기반으로 대상 영상 프레임 내 사람의 존재 여부를 판별할 수 있다.The intrusion detection apparatus 110 determines whether a specific object such as a person exists in the target image frame based on the learned neural network model (S306). In step S306, the intrusion detection device 110 may determine whether a person exists in the target image frame based on various artificial neural network models such as a convolutional neural network (CNN).

침입 탐지장치(110)는 단계 S306의 판별 결과에 따라 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값(Conf)과 더불어, 사람의 위치정보를 산출한다. 여기서, 사람의 위치정보는 대상 영상 프레임 내 사람이 검출된 영역(또는 Box)에 대한 정보가 포함될 수 있다.When the person in the target image frame is detected according to the determination result of step S306, the intrusion detection device 110 calculates the position information of the person together with the confidence value Conf. Here, the location information of a person may include information on a region (or Box) in which a person is detected in the target image frame.

침입 탐지장치(110)는 단계 306의 판별결과에 대한 신뢰성 확보를 위해 신뢰도 값에 기반한 추가적인 판별 절차를 수행한다(S308). 단계 S308에서 침입 탐지장치(110)는 대상 영상 프레임 내 사람이 검출되는 경우 그 신뢰도 값이 일정 임계치(TH1) 이상인 지 여부를 확인하고, 확인 결과에 따라 대상 영상 프레임 내 사람의 존재 여부를 최종 판별할 수 있다The intrusion detection device 110 performs an additional determination procedure based on the reliability value to secure the reliability of the determination result of step 306 (S308). Intrusion detection apparatus 110 in step S308 is the target video frame if my if a person is detected that the reliability value is a certain threshold value (TH 1) than the presence of human target image frame in accordance with a check result, and determine whether the final Be able to distinguish

침입 탐지장치(110)는 단계 S308의 판별 절차에 따라 대상 영상 프레임 내 사람이 검출되는 경우 해당 대상 영상 프레임에 대하여 단계 S302에서 산출된 움직임 정보 및 단계 S306에서 산출된 위치 정보를 비교하고, 비교 결과에 따라 침입자의 침입 여부를 판별한다(S310). 단계 S310에서 침입 탐지장치(110)는 대상 영상 프레임 내 객체의 움직임 정보가 검출된 영역과 사람이 존재하는 영역 사이의 겹침 공간에 대한 비율 값(IOU: Intersection Over Union)이 기 설정된 임계치(TH2)를 초과하는 경우 감시 영역 내 침입자가 침입한 것으로 판별한다.When a person in the target image frame is detected according to the determination procedure of step S308, the intrusion detection device 110 compares the motion information calculated in step S302 with the position information calculated in step S306 with respect to the target image frame, , It is determined whether the intruder intrudes (S310). In step S310 intrusion detection device 110 is the ratio value for the overlapping area between the area in which the motion information on the detected area and the person of the objects in the destination image frame exists (IOU: Intersection Over Union) is a predetermined threshold value (TH 2 ), It is determined that an intruder in the surveillance area has intruded.

침입 탐지장치(110)는 기 설정된 복수 개의 대상 영상 프레임 각각에 대해 단계 S302 내지 단계 S310를 통해 산출된 판별결과를 모두 고려하여 감시 영역 내 침입자의 침입 여부를 최종 판별한다(S312).The intrusion detection device 110 finally determines whether the intruder intrudes into the surveillance area by considering all the determination results calculated through the steps S302 through S310 for each of the predetermined plurality of target image frames (S312).

침입 탐지장치(110)는 단계 S312의 판별결과에 따라 감시 영역 내 침입자의 침입이 인지되는 경우 이에 대한 알람 정보를 출력한다(S314)The intruder detection device 110 outputs alarm information for intruders intruding into the surveillance area in accordance with the determination result of step S312 (S314)

여기서, 단계 S302 내지 S314는 앞서 설명된 침입 탐지장치(110)의 각 구성요소의 동작에 대응되므로 더 이상의 상세한 설명은 생략한다.Here, steps S302 to S314 correspond to the operations of the respective components of the intrusion detection device 110 described above, and thus detailed description will be omitted.

도 3에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.In FIG. 3, it is described that each process is sequentially executed, but it is not limited thereto. In other words, the present invention can be applied to changing the procedure shown in FIG. 3 or executing one or more processes in parallel. Therefore, FIG. 3 is not limited to the time series.

전술한 바와 같이 도 3에 기재된 침입 탐지방법은 프로그램으로 구현되고 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 기록될 수 있다.As described above, the intrusion detection method described in FIG. 3 can be applied to a recording medium (a CD-ROM, a RAM, a ROM, a memory card, a hard disk, a magneto-optical disk, a storage device, etc.), which is implemented by a program, Lt; / RTI >

도 4 및 도 5는 본 실시예에 따른 침입 탐지방법에 의한 효과를 설명하기 위한 예시도이다. 한편, 도 4의 (a) 내지 (c)는 종래의 침입 탐지방법에 따른 침입 탐지결과를 예시하였으며, 도 5의 (a) 내지 (a) 내지 (c)는 본 실시예에 따른 침입 탐지방법에 따른 침입 탐지결과를 예시하였다.4 and 5 are exemplary diagrams for explaining the effect of the intrusion detection method according to the present embodiment. 4 (a) through 4 (c) illustrate intrusion detection results according to a conventional intrusion detection method, and FIGS. 5 (a) through 5 (a) The results are shown in Fig.

도 4의 (a) 내지 (c)를 참조하면, 종래의 움직임 기반의 침입 탐지방법 또는 딥러인 기반의 침입 탐지방법에 의하는 경우 자칫 바람에 움직이는 나뭇가지, 애완동물, 야간에 차량의 라이트 등이 침입자로 간주되어 오알람이 발생할 수 있음을 확인할 수 있다.4 (a) to 4 (c), according to the conventional motion-based intrusion detection method or the deep-penetrant-based intrusion detection method, a twig, a pet, It is considered to be an intruder and it can be confirmed that an alarm may occur.

반면, 도 5의 (a) 내지 (c)를 참조하면, 본 실시예에 따른 침입 탐지방법에 의하는 경우 움직임 기반의 침입탐지 기능과 딥러닝 기반의 침입탐지 기능을 함께 사용함에 따라 높은 신뢰도로 침입자를 검출할 수 있음을 확인할 수 있다. 5 (a) to 5 (c), according to the intrusion detection method according to the present embodiment, since a motion-based intrusion detection function and a deep learning-based intrusion detection function are used together, It can be confirmed that an intruder can be detected.

이러한, 본 실시예에 따른 침입 탐지방법에 의하는 경우 관심 영역 내 움직임이 감지되는 경우에만 딥러닝 프로세서를 동작하게 함으로써 기존의 딥러닝을 사용하지 않은 움직임 기반의 침입 탐지방법과 비교해서는 성능 측면에서 월등이 좋으면서도, 딥러닝 기반의 침입 탐지방법과 비교해서는 오검출을 최소화할 수 있는 효과가 있다.According to the intrusion detection method according to the present embodiment, the deep-learning processor is operated only when the motion in the region of interest is detected. Therefore, compared with the motion-based intrusion detection method that does not use the existing deep- It is possible to minimize the false detection compared with the intrusion detection method based on the deep learning.

더욱이, 매 프레임마다 GPU를 사용하지 않아도 된다는 점에서 24시간 동안 끊임없이 동작하는 CCTV 환경에 매우 효율적으로 적용될 수 있다.Moreover, since it is not necessary to use the GPU every frame, it can be applied very efficiently to the CCTV environment which operates continuously for 24 hours.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100: 영상 촬영장치 110: 침입 탐지장치
120: 모니터링 장치 200: 입력부
210: 관심영역 설정부 220: 움직임 검출부
230: 조절부 240: 프로세스 수행부
250: 제어부 260: 저장부
270: 알람부100: image capturing device 110: intrusion detection device
120: Monitoring device 200: Input unit
210: ROI setting unit 220: Motion detection unit
230: control unit 240: process execution unit
250: control unit 260:
270:

Claims (10)

입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 움직임 검출부;
상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 프로세스 수행부; 및
상기 움직임 검출부의 검출결과 및 상기 프로세스 수행부의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 제어부
를 포함하는 것을 특징으로 하는 침입 탐지장치.A motion detector for analyzing an input image frame and detecting motion information of the object in the image frame;
A process execution unit for receiving a target image frame in which motion information of the object is detected as an input signal among the image frames and determining whether a specific object exists in the target image frame based on the learned neural network model; And
Based on the detection result of the motion detection unit and the determination result of the process execution unit,
And an intrusion detection device for detecting intrusion. 제 1항에 있어서,
상기 영상 프레임 내 관심 영역(ROI: Region Of Interest)을 설정하는 관심영역 설정부를 더 포함하며,
상기 움직임 검출부 및 상기 프로세스 수행부는 각각 상기 관심 영역 내 상기 객체의 움직임 정보 및 상기 특정 대상의 존재 여부를 판별하는 것을 특징으로 하는 침입 탐지장치.The method according to claim 1,
Further comprising a region of interest setting unit for setting a region of interest (ROI) in the image frame,
Wherein the motion detection unit and the process execution unit respectively determine motion information of the object in the ROI and existence of the specific object. 제 1항에 있어서,
상기 제어부는,
상기 대상 영상 프레임 내 상기 객체의 움직임 정보가 검출된 영역의 위치정보 및 상기 대상 영상 프레임 내 상기 특정 대상이 존재하는 영역의 위치정보를 비교하고, 비교결과에 따라 상기 침입자의 침입 여부를 판별하는 것을 특징으로 하는 침입 탐지장치.The method according to claim 1,
Wherein,
Comparing the position information of the area in which the motion information of the object is detected in the target image frame and the position information of the area in which the specific object exists in the target image frame and determining whether the intruder is intruded according to the comparison result Characterized by an intrusion detection device. 제 3항에 있어서,
상기 제어부는,
상기 객체의 움직임 정보가 검출된 영역과 상기 특정 대상이 존재하는 영역 사이의 겹침 공간에 대한 비율 값(IOU: Intersection Over Union)이 기 설정된 임계치를 초과하는 경우 상기 감시 영역 내 상기 침입자가 침입한 것으로 판별하는 것을 특징으로 하는 침입 탐지장치.The method of claim 3,
Wherein,
When the ratio value (IOU) for the overlapping space between the area where the motion information of the object is detected and the area where the specific object exists is greater than a preset threshold value, the intruder in the monitoring area The intrusion detection apparatus comprising: 제 1항에 있어서,
상기 프로세스 수행부로 입력되는 상기 대응 영상 프레임의 개수를 조절하는 조절부를 더 포함하며,
상기 제어부는, 연속된 N(N=자연수)개의 대응 영상 프레임 각각에 대하여 산출된 상기 침입 여부에 대한 판별결과를 모두 고려하여 상기 침입 여부를 최종 결정하는 것을 특징으로 하는 침입 탐지장치.The method according to claim 1,
And an adjusting unit adjusting the number of the corresponding video frames input to the process performing unit,
Wherein the control unit finally determines whether the intrusion is to be performed by taking into consideration all of the discrimination results of the invasion on each of consecutive N (N = natural number) corresponding image frames. 제 1항에 있어서,
상기 움직임 검출부는,
상기 객체의 움직임에 대한 측정 값이 기 설정된 임계치를 초과하는 영상 프레임을 상기 대상 영상 프레임으로서 선별하는 것을 특징으로 하는 침입 탐지장치.The method according to claim 1,
Wherein the motion detection unit comprises:
And selects an image frame whose measurement value for motion of the object exceeds a preset threshold value as the target image frame. 제 1항에 있어서,
상기 프로세스 수행부는,
상기 판별결과에 대한 신뢰도 수치를 추가 고려하여 상기 대상 영상 프레임 내 상기 특정 대상의 존재 여부를 최종 판별하는 것을 특징으로 하는 침입 탐지장치.The method according to claim 1,
The process execution unit may include:
And determines the existence of the specific object in the target image frame by further considering the reliability value of the determination result. 침입 탐지장치의 침입자 침입 탐지방법에 있어서,
입력되는 영상 프레임을 분석하여 상기 영상 프레임 내 객체의 움직임 정보를 검출하는 과정;
상기 영상 프레임 중 상기 객체의 움직임 정보가 검출된 대상 영상 프레임을 입력 신호로서 제공받고, 기 학습된 인공 신경망 모델을 기반으로 상기 대상 영상 프레임 내 특정 대상의 존재 여부를 판별하는 과정; 및
상기 검출하는 과정의 검출결과 및 상기 판별하는 과정의 판별결과에 기반하여 감시 영역 내 침입자의 침입 여부를 판별하는 과정
을 포함하는 것을 특징으로 하는 침입 탐지방법.A method for intruder intrusion detection of an intrusion detection device,
Analyzing an input image frame to detect motion information of the object in the image frame;
Receiving a target image frame in which motion information of the object is detected as an input signal among the image frames and determining whether a specific object exists in the target image frame based on the learned neural network model; And
Determining whether an intruder intrudes into the surveillance area based on the detection result of the detection process and the determination result of the determining process;
Wherein the intrusion detection method comprises the steps of: 제 8항에 있어서,
상기 침입 여부를 판별하는 과정은,
상기 대상 영상 프레임 내 상기 객체의 움직임 정보가 검출된 영역의 위치 정보 및 상기 대상 영상 프레임 내 상기 특정 대상이 존재하는 영역의 위치 정보를 비교하고, 비교결과에 따라 상기 침입 여부를 판별하는 것을 특징으로 하는 침입 탐지방법.9. The method of claim 8,
The method of claim 1,
Comparing the position information of the region in which the motion information of the object is detected in the target image frame and the position information of the region in which the specific target exists in the target image frame and determining whether the intrusion is based on the comparison result; Intrusion detection method. 제 8항에 있어서,
상기 입력신호로서 제공되는 상기 대응 영상 프레임의 개수를 조절하는 과정을 더 포함하며,
상기 침입 여부를 판별하는 과정은, 연속된 N개의 대응 영상 프레임 각각에 대하여 산출된 상기 침입 여부에 대한 판별결과를 모두 고려하여 상기 침입 여부를 최종 결정하는 것을 특징으로 하는 침입 탐지방법.9. The method of claim 8,
Further comprising the step of adjusting the number of the corresponding video frames provided as the input signal,
Wherein the step of determining whether or not the intruder is intruded is determined by considering all the discrimination results of the intruding operation calculated for each of the N consecutive corresponding image frames.
KR1020170140049A 2017-10-26 2017-10-26 Method and Apparatus for Detecting Intruder KR102195706B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170140049A KR102195706B1 (en) 2017-10-26 2017-10-26 Method and Apparatus for Detecting Intruder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170140049A KR102195706B1 (en) 2017-10-26 2017-10-26 Method and Apparatus for Detecting Intruder

Publications (2)

Publication Number Publication Date
KR20190046351A true KR20190046351A (en) 2019-05-07
KR102195706B1 KR102195706B1 (en) 2020-12-28

Family

ID=66656086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170140049A KR102195706B1 (en) 2017-10-26 2017-10-26 Method and Apparatus for Detecting Intruder

Country Status (1)

Country Link
KR (1) KR102195706B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021441B1 (en) * 2019-05-17 2019-11-04 정태웅 Method and monitoring camera for detecting intrusion in real time based image using artificial intelligence
KR102107957B1 (en) * 2020-01-06 2020-05-07 주식회사 투윈스컴 Cctv monitoring system for detecting the invasion in the exterior wall of building and method thereof
KR20210007541A (en) 2019-07-12 2021-01-20 에스케이텔레콤 주식회사 Method to prevent intrusion object false detection using object motion and size information, apparatus therefor and recording medium therefor
KR20210010092A (en) * 2019-07-19 2021-01-27 한국과학기술연구원 Method for selecting image of interest to construct retrieval database and image control system performing the same
KR102342352B1 (en) * 2020-08-26 2021-12-22 (주) 시티캅 CCTV-based artificial intelligent detection system using dual analysis mode
KR102391853B1 (en) * 2021-11-19 2022-05-09 주식회사 케이비전 System and Method for Processing Image Informaion
KR102531238B1 (en) * 2023-01-11 2023-05-11 (주)인포스텍 Ai-based multi-purpose safety surveillance integrated camera system
KR102608625B1 (en) * 2023-08-28 2023-12-04 주식회사 에이아이프로 Efficiently operable video monitoring apparatus using deep learning model and method thereof
KR102615768B1 (en) * 2023-05-18 2023-12-20 주식회사 크랜베리 System and method for detecting event using video and audio source
CN117333995A (en) * 2023-09-20 2024-01-02 华能核能技术研究院有限公司 Yolo-v 3-based high-temperature gas cooled reactor perimeter intrusion detection alarm method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873445B1 (en) * 2007-08-14 2008-12-11 주식회사 미디어프론트 System for recognizing difference of image and method for recognizing difference of image using image system
KR20140081254A (en) * 2012-12-21 2014-07-01 한국전자통신연구원 Human detecting apparatus and method
KR20160037480A (en) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 Method for establishing region of interest in intelligent video analytics and video analysis apparatus using the same
KR20160081472A (en) * 2014-12-31 2016-07-08 삼성에스디에스 주식회사 Image Photograping Apparatus, Image Analyzing Apparatus and Method, Image Analysing System Using the Same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873445B1 (en) * 2007-08-14 2008-12-11 주식회사 미디어프론트 System for recognizing difference of image and method for recognizing difference of image using image system
KR20140081254A (en) * 2012-12-21 2014-07-01 한국전자통신연구원 Human detecting apparatus and method
KR20160037480A (en) * 2014-09-29 2016-04-06 에스케이텔레콤 주식회사 Method for establishing region of interest in intelligent video analytics and video analysis apparatus using the same
KR20160081472A (en) * 2014-12-31 2016-07-08 삼성에스디에스 주식회사 Image Photograping Apparatus, Image Analyzing Apparatus and Method, Image Analysing System Using the Same

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020235819A1 (en) * 2019-05-17 2020-11-26 Jeong Tae Woong Image-based real-time intrusion detection method and surveillance camera using artificial intelligence
KR102021441B1 (en) * 2019-05-17 2019-11-04 정태웅 Method and monitoring camera for detecting intrusion in real time based image using artificial intelligence
JP2022532111A (en) * 2019-05-17 2022-07-13 イーエスシーエイ（エレクトロニック セキュリティー オブ ザ クリエイティブ アソシエイション） カンパニー リミテッド Real-time intrusion detection method and surveillance camera for video infrastructure using artificial intelligence
KR20210007541A (en) 2019-07-12 2021-01-20 에스케이텔레콤 주식회사 Method to prevent intrusion object false detection using object motion and size information, apparatus therefor and recording medium therefor
US11921774B2 (en) 2019-07-19 2024-03-05 Korea Institute Of Science And Technology Method for selecting image of interest to construct retrieval database and image control system performing the same
KR20210010092A (en) * 2019-07-19 2021-01-27 한국과학기술연구원 Method for selecting image of interest to construct retrieval database and image control system performing the same
KR102107957B1 (en) * 2020-01-06 2020-05-07 주식회사 투윈스컴 Cctv monitoring system for detecting the invasion in the exterior wall of building and method thereof
KR102342352B1 (en) * 2020-08-26 2021-12-22 (주) 시티캅 CCTV-based artificial intelligent detection system using dual analysis mode
KR102391853B1 (en) * 2021-11-19 2022-05-09 주식회사 케이비전 System and Method for Processing Image Informaion
KR102531238B1 (en) * 2023-01-11 2023-05-11 (주)인포스텍 Ai-based multi-purpose safety surveillance integrated camera system
KR102615768B1 (en) * 2023-05-18 2023-12-20 주식회사 크랜베리 System and method for detecting event using video and audio source
KR102608625B1 (en) * 2023-08-28 2023-12-04 주식회사 에이아이프로 Efficiently operable video monitoring apparatus using deep learning model and method thereof
CN117333995A (en) * 2023-09-20 2024-01-02 华能核能技术研究院有限公司 Yolo-v 3-based high-temperature gas cooled reactor perimeter intrusion detection alarm method and system

Also Published As

Publication number Publication date
KR102195706B1 (en) 2020-12-28

Similar Documents

Publication Publication Date Title
KR20190046351A (en) Method and Apparatus for Detecting Intruder
US5554983A (en) Object recognition system and abnormality detection system using image processing
US7639840B2 (en) Method and apparatus for improved video surveillance through classification of detected objects
KR101910542B1 (en) Image Analysis Method and Server Apparatus for Detecting Object
US20070035622A1 (en) Method and apparatus for video surveillance
CN107122743B (en) Security monitoring method and device and electronic equipment
US10719717B2 (en) Scan face of video feed
US20190304272A1 (en) Video detection and alarm method and apparatus
WO2018179202A1 (en) Information processing device, control method, and program
CN113033521B (en) Perimeter dynamic early warning method and system based on target analysis
KR101454644B1 (en) Loitering Detection Using a Pedestrian Tracker
CN114140745A (en) Method, system, device and medium for detecting personnel attributes of construction site
KR101840042B1 (en) Multi-Imaginary Fence Line Setting Method and Trespassing Sensing System
JP4610005B2 (en) Intruding object detection apparatus, method and program by image processing
JP7125843B2 (en) Fault detection system
KR102580434B1 (en) Dangerous situation detection device and dangerous situation detection method
JP7214437B2 (en) Information processing device, information processing method and program
KR102544492B1 (en) Apparatus and method of managing safety of swimming pool
JPH05300516A (en) Animation processor
KR101669885B1 (en) method of detecting pedestrian collision and IoT apparatus thereof
KR102434154B1 (en) Method for tracking multi target in traffic image-monitoring-system
JP2005284652A (en) Video monitoring method and apparatus using moving vector
CN114663479A (en) Intelligent monitoring and early warning method and system based on computer vision
KR20220154473A (en) System of peventing external intrusion using virtulal detection line in image
WO2020139071A1 (en) System and method for detecting aggressive behaviour activity

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant