KR102392822B1 - Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object - Google Patents
Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object Download PDFInfo
- Publication number
- KR102392822B1 KR102392822B1 KR1020210147857A KR20210147857A KR102392822B1 KR 102392822 B1 KR102392822 B1 KR 102392822B1 KR 1020210147857 A KR1020210147857 A KR 1020210147857A KR 20210147857 A KR20210147857 A KR 20210147857A KR 102392822 B1 KR102392822 B1 KR 102392822B1
- Authority
- KR
- South Korea
- Prior art keywords
- type camera
- tracking
- processing unit
- neural network
- night
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting and tracking an object using a day-type camera and a night-type camera.
지상의 물체나 사람을 탐지하거나 추적하기 위해 최근 드론을 이용하는 경우가 증가하고 있다. Recently, the use of drones to detect or track objects or people on the ground is increasing.
드론은 지상에서 일정거리 이상 떨어져 비행하면서 카메라 장치를 이용하여 지상을 촬영한다. 촬영 과정에서 드론은 물체나 사람을 탐지할 수 있다. A drone takes pictures of the ground using a camera device while flying over a certain distance from the ground. During the filming process, the drone can detect objects or people.
그런데, 카메라 장치를 이용하여 객체를 탐지할 경우, 외부의 환경에 변화받지않고 정밀하게 객체를 탐지하는 것이 필요하다. However, when detecting an object using a camera device, it is necessary to precisely detect the object without being changed by the external environment.
예를 들어, 외부 환경이 바뀔 경우 다시 새로운 드론을 투입한다면 그때까지 드론을 이용하여 객체를 탐지하며 누적한 데이터를 이용할 수 없으며 비용 역시 증가한다. 따라서, 다양하게 변화하는 외부 환경에서도 드론이 객체를 탐지할 수 있는 기술이 필요하다. For example, if a new drone is put in again when the external environment changes, the data accumulated while detecting objects using the drone until then cannot be used, and the cost increases. Therefore, there is a need for a technology that allows the drone to detect objects even in variously changing external environments.
본 발명은 두 종류의 카메라를 기반으로 지상의 침입자, 실종자 및 특정 물체를 자동으로 탐지하고 동시에 자동으로 다중추적을 실시하며 탐지 성능을 높이고자 한다. An object of the present invention is to automatically detect an intruder, a missing person, and a specific object on the ground based on two types of cameras, and automatically perform multi-tracking at the same time to improve the detection performance.
본 발명은 딥러닝 기반으로 자동으로 물체를 탐지하고, 사전에 정의된 물체이거나 사람이 수동으로 선택한 물체에 대하여 지속적인 비디오 추적을 수행할 수 있도록 한다. The present invention automatically detects an object based on deep learning and enables continuous video tracking of a predefined object or an object manually selected by a person.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 여기서 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the problems mentioned above, and other problems not mentioned here will be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 의한 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치는 드론에 결합된 에지 장치(Edge device)에 있어서, 영상 내에서 객체를 탐지하고 다중 객체를 추적하는 신경망 처리장치와 주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하여 신경망 처리장치에게 제공하며, 신경망 처리장치가 탐지한 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 드론과 주간 타입 카메라와 야간 타입 카메라를 제어하는 중앙처리장치를 포함한다. An apparatus for detecting and tracking an object using a day type camera and a night type camera according to an embodiment of the present invention is an edge device coupled to a drone, and detects an object in an image and tracks multiple objects Preprocessing the image captured by one or more of the neural network processing device and the day-type camera or the night-type camera to provide it to the neural network processing device, target setting and video tracking for one or more objects detected by the neural network processing device It includes a central processing unit that controls the drone, day-type camera, and night-type camera to perform the operation.
본 발명의 일 실시예에 의한 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법은 드론에 결합된 에지 장치(Edge device)가 객체를 탐지 및 추적하는 방법에 있어서, 에지 장치의 중앙처리장치가 주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하는 단계와 에지 장치의 신경망 처리장치가 전처리한 영상에서 하나 이상의 객체를 탐지하는 단계와 중앙처리장치가 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 드론과 주간 타입 카메라와 야간 타입 카메라를 제어하는 단계를 포함한다. A method of detecting and tracking an object using a day type camera and a night type camera according to an embodiment of the present invention is a method of detecting and tracking an object by an edge device coupled to a drone, the edge device A step of preprocessing, by the central processing unit, an image captured by at least one of a day-type camera or a night-type camera, and a step of detecting one or more objects in the image pre-processed by the neural network processing unit of the edge device, and the central processing unit and controlling the drone and the day-type camera and the night-type camera to perform target setting and video tracking for one or more objects.
본 발명을 구현할 경우, 드론의 자율비행과 동시에 침입자 및 실종자를 탐지 및 추적할 수 있다. If the present invention is implemented, it is possible to detect and track intruders and missing persons at the same time as the autonomous flight of the drone.
본 발명을 구현할 경우, 가시성능이 방해받는 환경에서도 두 타입의 카메라들이 객체를 탐지하여 사전의 정의되거나 학습된 물체를 자동으로 탐지하여 지속적으로 추적할 수 있다. When the present invention is implemented, even in an environment where visibility performance is disturbed, both types of cameras can detect an object, automatically detect a predefined or learned object, and continuously track it.
본 발명이 제공하는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 여기서 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects provided by the present invention are not limited to the above-mentioned effects, and other effects not mentioned herein will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들 사이의 정보의 처리 과정을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 드론에 결합되는 카메라의 외관을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 하드웨어 구성을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 에지 장치가 객체를 추적하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 에지 장치가 카메라를 제어하는 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 객체추적 과정에서 카메라의 촬영 조건을 변경하거나 드론의 위치를 변경하는 과정을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 객체의 이동 방향이나 움직임 패턴에 따라 드론을 제어하는 과정을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 에지 장치가 영상을 전처리하는 과정을 보여주는 도면이다. 1 is a diagram showing the configuration of an edge device and other related devices according to an embodiment of the present invention.
2 is a diagram illustrating a process of processing information between an edge device and other related devices according to an embodiment of the present invention.
3 is a view showing the appearance of a camera coupled to a drone according to an embodiment of the present invention.
4 is a diagram showing a hardware configuration according to an embodiment of the present invention.
5 is a diagram illustrating a process in which an edge device tracks an object according to an embodiment of the present invention.
6 is a diagram illustrating a process in which an edge device controls a camera according to an embodiment of the present invention.
7 is a diagram illustrating a process of changing a shooting condition of a camera or changing a location of a drone in an object tracking process according to an embodiment of the present invention.
8 is a diagram illustrating a process of controlling a drone according to a movement direction or movement pattern of an object according to an embodiment of the present invention.
9 is a diagram illustrating a process of pre-processing an image by an edge device according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be embodied in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.In order to clearly explain the present invention, parts irrelevant to the description are omitted, and the same reference numerals are assigned to the same or similar components throughout the specification. Further, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to components of each drawing, the same components may have the same reference numerals as much as possible even though they are indicated in different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description may be omitted.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, order, or number of the elements are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but other components may be interposed between each component. It should be understood that each component may be “interposed” or “connected”, “coupled” or “connected” through another component.
본 명세서에서 객체는 드론이 촬영하거나 탐지하는 대상으로 물체(사물, 차량 등), 사람 등을 지칭한다. In the present specification, an object refers to an object (object, vehicle, etc.), a person, etc. as a target to be photographed or detected by the drone.
또한, 본 발명의 실시예에서 드론은 상이한 종류의 카메라들을 탑재한다. 이들 카메라는 특정한 외부 조건에서 더 정확도가 높은 카메라이다. 일 실시예로, 드론에 탑재되는 야간 타입 카메라는 야간에 객체 촬영의 정확도가 높다. In addition, in an embodiment of the present invention, the drone is equipped with different types of cameras. These cameras are more accurate cameras under certain external conditions. In an embodiment, a night-type camera mounted on a drone has high accuracy of object capturing at night.
또한 드론에 탑재되는 주간 타입 카메라는 주간에 객체 촬영의 정확도가 높다. 그러나 반드시 이에 한정되는 것은 아니며, 주변의 밝기, 객체가 위치한 공간의 밝기, 또는 객체가 가지는 물질적 속성 등에 따라 주간 타입 카메라와 야간 타입 카메라는 그 촬영의 정확도가 달라질 수 있다. In addition, the daytime type camera mounted on the drone has high accuracy of object shooting during the daytime. However, the present invention is not necessarily limited thereto, and the photographing accuracy of the day-type camera and the night-type camera may vary depending on the surrounding brightness, the brightness of the space where the object is located, or material properties of the object.
주간 타입 카메라의 일 실시예는 CCD(charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor )와 같은 이미지 센서를 이용한 카메라를 포함한다. 본 명세서에서는 주간 타입 카메라의 일 실시예로 CCD 카메라를 중심으로 설명하지만 본 발명이 이에 한정되는 것은 아니다. One embodiment of the daytime type camera includes a camera using an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). In the present specification, a CCD camera is mainly described as an embodiment of a daytime type camera, but the present invention is not limited thereto.
야간 타입 카메라의 일 실시예는 적외선(InfraRed) 카메라를 포함한다. 적외선 카메라는 파장에 따라 단파적외선(Short Wave IR, SWIR) 카메라, 중파적외선(Mid Wave IR), 장파적외선(Long Wave IR)으로 세분화할 수 있다. 본 명세서에서는 야간 타입 카메라의 일 실시예로 SWIR 카메라를 중심으로 설명하지만 본 발명이 이에 한정되는 것은 아니다.One embodiment of the night type camera includes an InfraRed camera. Infrared cameras can be subdivided into Short Wave IR (SWIR) cameras, Mid Wave IR, and Long Wave IR according to the wavelength. In the present specification, a SWIR camera is mainly described as an embodiment of a night type camera, but the present invention is not limited thereto.
도 1은 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들의 구성을 보여주는 도면이다. 1 is a diagram showing the configuration of an edge device and other related devices according to an embodiment of the present invention.
에지 장치(edge device)(500)는 에지 컴퓨팅(edge computing)을 수행하는 장치이다. 에지 장치(500)는 드론에 결합될 수 있다. 예를 들어 드론에 탑재되거나 또는 드론 내부에 배치될 수 있는 장치이다. 에지 장치(500)는 주간 타입 카메라(110)와 야간 타입 카메라(120)를 융합하여 지상의 물체 및 인원을 자동으로 탐지할 수 있다. The
또한, 에지 장치(500)는 외부의 드론 컨트롤러(drone controller)(20)와 통신하여 촬영한 영상을 송출하거나, 드론 컨트롤러(20)로부터 드론 및 영상촬영에 대한 제어 명령을 수신할 수 있다. Also, the
에지 장치(500)는 드론(10)과 드론 컨트롤러(20)와 하나의 시스템을 구성할 수 있다. 비행제어컴퓨터인 FCC(Flight control computer)(30)는 에지 장치(500)에 포함되도록 구성될 수도 있고, 또는 드론(10)에 포함되도록 구성될 수 있다.The
에지 장치(500)는 중앙처리장치(200) 및 신경망처리장치(300)를 포함한다. 신경망처리장치(300)는 영상 내에서 객체를 탐지(감지)하고 다중 객체를 추적한다. 중앙처리장치(200)는 주간 타입 카메라(110) 또는 야간 타입 카메라(120) 중 어느 하나 이상이 촬영한 영상을 프리프로세싱(preprocessing)하여 신경망처리장치(300)에게 제공하며, 신경망처리장치(300)가 탐지한 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 드론(10)과 주간 타입 카메라(110)와 야간 타입 카메라(120)를 제어한다. The
중앙처리장치(200)는 카메라들(110, 120)이 촬영한 영상을 처리하고 영상의 크기를 조절(resize)하는 전처리 작업을 수행한다. 또한 중앙처리장치(200)는 신경망처리장치(300)가 제공하는 객체 정보를 처리하고 비디오 트래킹(Video Tracking, 비디오 추적)을 수행하며 객체에 대한 DB를 이용하여 타겟 자동 선택(Target Automatic Selection)을 수행한다. The
일 실시예로, 중앙처리장치(200)는 신경망 처리장치(300)가 탐지한 객체 정보 및 다중 객체 트래킹 정보와 객체 데이터베이스에 저장된 정보를 비교하여 표적물의 후보 객체를 선택할 수 있다. 또한, 중앙처리장치(200)는 FCC(30)와 통신하여 드론의 비행을 제어하는 명령어를 제공할 수 있다.In one embodiment, the
신경망처리장치(300)는 중앙처리장치(200)가 전처리 작업을 수행하여 산출한 영상을 이용하여 객체 탐지(Object Detection, 또는 객체 감지) 및 다중 객체 트래킹(Multi Object Tracking)을 수행할 수 있다. The neural
또한, 신경망처리장치(300)는 탐지한 객체 정보와 트래킹한 객체 정보를 중앙처리장치(200)로 전송하여 중앙처리장치(200)가 타겟 자동 선택(Target Automatic Selection)을 수행할 수 있도록 한다. In addition, the neural
중앙처리장치(200), 신경망 처리장치(300)는 각각 모듈로 구현될 수 있다. 또는 이들 세 장치들 중 둘 이상이 하나의 모듈로 구현될 수 있다. 예를 들어, SOM(System On Module), SOC(System On Chip)과 같이 시스템을 하나의 모듈 또는 하나의 칩으로 구현할 수 있다.The
도 2는 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들 사이의 정보의 처리 과정을 보여주는 도면이다. 도 1의 구성에서 정보처리의 과정이 명확하게 드러날 수 있도록 구성요소들의 논리적인 블록의 크기나 배치, 형태가 일부 조절되었다. 논리적인 블록의 크기나 배치, 형태에서 다양해질 수 있으며 이를 구현하는 물리적인 모듈이나 칩 등은 원칩/원모듈 등으로 구성될 수 있다. 2 is a diagram illustrating a process of processing information between an edge device and other related devices according to an embodiment of the present invention. In the configuration of FIG. 1, the size, arrangement, and shape of logical blocks of the elements were partially adjusted so that the process of information processing could be clearly revealed. The size, arrangement, and shape of logical blocks may vary, and a physical module or chip implementing this may consist of one chip/one module, etc.
에지 장치(500)의 중앙처리장치(200)는 주간 및 야간 타입 카메라들(110, 120)이 촬영한 영상을 이들 카메라들(110, 120)들로부터 입력받아서(S1a, S1b), 영상을 처리하고 영상의 크기를 조절(resize)하는 전처리 태스크(Preprocessing Task)를 수행한다(S2a, S2b). 영상의 빠른 처리를 위해 두 개의 입력된 영상들은 영상처리장치(200)에 분산 입력되어 각각 처리될 수 있다.The
전처리 과정, 즉 프리프로세싱 과정에서 중앙처리장치는 영상의 사이즈를 조절하거나 또는 영상에서 객체 미탐지 부분을 제거할 수 있다. 객체 미탐지 부분은 이전 촬영된 영상에서 객체가 식별된 부분과 객체가 식별되지 않은 부분 중에서 객체가 식별되지 않은 부분을 의미한다. In the pre-processing process, that is, in the pre-processing process, the central processing unit may adjust the size of the image or remove an undetected object portion from the image. The object undetected portion refers to a portion in which an object is not identified among a portion in which an object is identified and a portion in which an object is not identified in a previously captured image.
그리고, 전처리된 영상은 각각 신경망 처리장치(Neural Processing Unit)(300)로 입력되고(S3a, S3b), 신경망 처리장치(300)는 객체를 탐지하는 객체 탐지 태스크(Object Detection Task)(S4a, S4b) 및 다중 객체 트래킹 태스크(Multiple Object Tracking Task)(S7a, S7b)를 수행한다. Then, the preprocessed images are respectively input to a neural processing unit 300 (S3a, S3b), and the neural
일 실시예로, 신경망 처리장치(300)는 주간타입 카메라(110)에서 생성된 영상에 대한 객체 탐지 태스크(S4a)와 다중 객체 트래킹 태스크(S7a)를 수행하는 제1NPU(NPU #1, 제1신경망 처리장치)(300a)와 야간타입 카메라(120)에서 생성된 영상에 대한 객체 탐지 태스크(S4b)와 다중 객체 트래킹 태스크(S7b)를 수행하는 제2NPU(NPU #2, 제2신경망 처리장치)(300b)를 포함할 수 있다. In one embodiment, the neural
즉, 도 2의 에지 장치(500)는 주간 타입 카메라(110)가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제1신경망 처리장치(300a)와 야간 타입 카메라(120)가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제2신경망 처리장치(300b)를 포함한다.That is, the
각각의 전처리된 영상들이 제1NPU(300a) 및 제2NPU(300b)에 입력되면(S3a, S3b), 이들 제1NPU(300a) 및 제2NPU(300b)는 객체를 탐지한 결과(크기, 위치, 신뢰도 및 종류)를 다시 중앙처리장치(200)에게 돌려준다(S6a, S6b, S8a, S8b). When each of the preprocessed images is input to the first NPU (300a) and the second NPU (300b) (S3a, S3b), these first NPU (300a) and the second NPU (300b) are the results of detecting the object (size, location, reliability) and type) is returned to the
중앙처리장치(200)는 S6a/S6b 과정에서 객체를 탐지한 정보, 그리고 S8a/S8b 과정에서 다중 객체 트래킹 정보를 이용하여 타겟 자동 선택(Target Automatic Selection)을 수행한다(S11). 이때, 타겟을 선택하기 위해 중앙처리장치(200)는 미리 정의된 객체 데이터베이스(Predefined Object DB)를 검색할 수 있다. The
타겟 자동 선택(Target Automatic Selection)은 드론 컨트롤러(20)를 통해서 운용자가 선택한 물체나 혹은 DB(Predefined Object)에 사전 정의된 물체를 자동으로 선택하는 기능을 수행하는 것을 일 실시예로 한다. In the target automatic selection, an object selected by an operator through the
특히 2개의 영상(일 실시예로 CCD 혹은 SWIR)을 기반으로 컨피던스(Confidence, 신뢰성)가 높은 객체를 선택하여 다시 비디오 트래킹(Video Tracking)(S17) 태스크를 적용하면 객체가 영상의 중심에 있도록 객체를 지속적으로 추적하게 된다.In particular, if an object with high confidence is selected based on two images (CCD or SWIR in an embodiment) and the video tracking (S17) task is applied again, the object is placed in the center of the image. will be continuously tracked.
타겟 자동 선택 태스크(S11) 수행 과정에서는 1회의 탐지에 따른 컨피던스가 낮을 경우 계속 축적하여 신뢰도가 충분히 달성된 경우에 다시 이의 객체 인식을 기반으로 비디오 트래킹 태스크(S17)를 수행한다.In the process of performing the target automatic selection task (S11), if the confidence according to one detection is low, the video tracking task (S17) is performed again based on the object recognition when the reliability is sufficiently achieved by continuously accumulating it.
일 실시예로, 타겟이 선택되면 중앙처리장치(200)는 높이 조정 명령어를 생성(Height Command Generator)하여(S12), 명령어를 FCC(30)에게 제공하여 드론의 비행 높이를 제어(Height Control)한다(S13). FCC(30)의 제어(Flight Control)에 따라 드론은 높이를 조절하여 비행하여(S14) 객체 탐지 정확도를 높일 수 있다. In one embodiment, when a target is selected, the
또한, 중앙처리장치(200)는 주간 타입 카메라(110) 또는 야간 타입 카메라(120)를 제어하여 자동으로 선택된 타겟에 대해 비디오 트래킹(Video Tracking)을 수행할 수 있다(S17). 또한, 드론 컨트롤러(20)가 수동으로 특정 타겟을 선택(Manual Selection)하고 타겟에 대한 정보를 중앙처리장치(200)에 제공하여 비디오 트래킹이 진행될 수 있다(S18).In addition, the
또한, 드론 컨트롤러(20)와 중앙처리장치(200)는 높이에 대한 제약 조건(Height Constraints)을 서로에게 제공할 수 있으며, 이에 기초하여 높이 조절 명령어가 생성될 수 있다(S12). 제약 조건이란 드론의 최대 비행 높이 또는 최소 비행 높이 등에 대한 정보를 포함한다.In addition, the
중앙처리장치(200)는 또한 컨피던스 매니저(Confidence Manager)를 이용하여 탐지 능력을 증대시킬 수 있다. 컨피던스 매니저는 객체의 컨피던스가 낮고 표적의 크기가 일정 크기(예를 들어 32*32) 보다 적을 경우는 드론(10)의 높이를 낮추어서 물체의 점유영상 크기를 미리 설정된 크기(예를 들어 64*64)까지 올릴 수 있다. The
또한, 컨피던스 매니저는 은폐된 부분을 확대하여 탐지성능을 증대시킬 수 있다. 이를 위하여 드론 컨트롤러(20)는 절대높이와 같은 높이의 제약 조건들(Height Constraints)을 반영하여 점유 면적이 충분하거나 혹은 평균 컨피던스 비율(Confidence Rate)이 높은 수준(Pth)에 도달할 때까지 픽셀의 크기가 증대하도록 높이를 낮추는 명령을 발생시키고 이를 비행 제어의 입력정보로 전달한다(S12, S13, S14). In addition, the confidence manager can increase the detection performance by enlarging the hidden part. To this end, the
본 발명의 일 실시예에 의한 에지 장치(500)는 CCD와 같은 주간 타입 카메라(110)가 촬영한 이미지와 SWIR과 같은 야간 타입 카메라(120)가 촬영한 이미지를 비교하여 객체를 탐지한다. The
지상의 물체를 확인하기 위한 정확도를 높이기 위해, 드론(10)이 촬영한 이미지의 특징을 반영할 수 있는데, 신경망 처리 장치(300)는 드론(10)이 수평 방향으로 움직이며 촬영한 연속된 이미지에서 특정 객체를 식별할 수 있다. In order to increase the accuracy for identifying an object on the ground, characteristics of the image photographed by the
해당 객체가 다른 사물들에 의해 일부 가려진 경우에 드론(10)은 수평 방향으로 움직이며 객체 식별의 정확도를 높일 수 있다. 수평 방향으로 움직이는 과정은 식별하고자 하는 객체가 이동 중인 경우 해당 객체의 이동 방향에 맞추어 드론(10)이 수평 이동하며 객체를 촬영하는 과정이 진행될 수 있다. When the corresponding object is partially obscured by other objects, the
또한, 신경망 처리 장치(300)는 드론(10)이 상하 방향으로 움직이면서 촬영한 연속된 이미지에서 특정 물체를 식별할 수 있다. 해당 객체가 다른 사물들에 의해 일부 가려진 경우에 드론(10)은 상하 방향으로 움직이며 객체 식별의 정확도를 높일 수 있다. Also, the neural
또한 해당 객체가 비탈길에서 이동하며 내려가거나 올라가는 위치 이동의 상태인 경우에도 드론(10)은 이동 중인 경우 해당 객체의 상하 이동 방향에 맞추어 상하 이동하며 객체를 촬영하는 과정이 진행될 수 있다.In addition, even when the object is in a state of moving down or up while moving on the slope, the
이는 S11 또는 S17 과정에서 산출된 정보를 이용하여 S12와 같이 비행을 제어하는 것을 일 실시예로 한다. This is to control the flight as in S12 using the information calculated in the process S11 or S17 as an embodiment.
미리 정의된 객체 데이터베이스는 동일한 지형을 이전에 드론(10)으로 촬영을 한 정보, 또는 지상에서 특정한 유형의 객체들을 촬영한 정보를 저장하며, 타겟 자동 선택(S11) 과정에서 이들 저장된 정보들과 실시간 드론 촬영된 영상을 비교하여 객체를 탐지할 수 있다. The predefined object database stores information on previously photographing the same terrain with the
한편, 중앙처리장치(200) 및 신경망처리장치(300)는 이전에 드론으로 촬영한 이미지들을 딥러닝하는 과정에서 이미지 외에 다양한 정보들을 입력할 수 있다. Meanwhile, the
예를 들어, 딥러닝 과정에서 산지역, 바다(해양)지역 및 건물이 많은 도심지역 등의 키워드를 입력하는 방식을 통하여 제한적이나 성능이 향상되는 학습이 가능한 모델을 탑재하여 탐지하는 기능이 포함될 수도 있다. For example, in the deep learning process, it may include a function to mount and detect a model that can learn limited but improved performance through the method of inputting keywords such as mountain area, sea (marine) area, and urban area with many buildings. there is.
또한 딥러닝 과정에서 추가정보(날씨, 시각 등)을 입력하여 특정 날씨 변화에 강인하거나 조명 등의 조건에 강인한 학습을 수행한 결과를 기반으로 추론에서 활용할 있는 키워드를 입력하여 활용할 수도 있다. In addition, you can input additional information (weather, time, etc.) in the deep learning process to input keywords that can be used in inference based on the results of performing learning that is robust to specific weather changes or robust to conditions such as lighting.
특히, 딥러닝 과정에서 사람/동물 등 야간 타입 카메라의 촬영 시 딥러닝과 학습된 결과를 제한하여 활용하는 측면에서 사전에 정의된 특징이 되는 정보를 입력할 수 있다. 예를 들어 실종자가 오래된 경우와 오래되지 않는 경우를 분리하여 사전학습을 수행하고 추론과제에서 이를 고려하여 탐지성능을 증대하는 기능을 포함할 수 있다.In particular, in the deep learning process, when shooting a night-type camera such as a person/animal, it is possible to input information that is a predefined characteristic in terms of limiting and using the deep learning and the learned results. For example, it may include a function to perform pre-learning by separating the case where the missing person is old and the case where it is not old, and to increase the detection performance by considering this in the inference task.
에지 장치의 신경망 처리장치의 일 실시예인 딥러닝 모듈을 탑재하는 경우, 한정된 지역에 활용할 경우 모델의 경량화나 탐지성능의 증대를 위한 해당 지역의 특성을 한정하여 사전에 학습하고 이를 기반으로 추론할 수 있도록 셋팅할 수 있다. When the deep learning module, which is an embodiment of the neural network processing device of the edge device, is loaded, when it is used in a limited area, it is possible to learn in advance by limiting the characteristics of the area for lightening the model or increase the detection performance and infer based on this. It can be set to
예를 들어, 지상 탐지를 수행하기 전에 에지 장치의 기능을 설정함에 있어서 탐지 지역(산/바다/건물 등) 및 탐지 대상(사람/사물/실종시간 반영 등), 외부 상황에 관련된 정보(날씨, 시각 등)가 에지 장치(500)에 입력될 수 있다. 에지 장치(500)는 입력된 정보에 기반하여 필요한 딥러닝 모듈인 신경망 처리장치(300)를 선택적으로 탑재 또는 적용할 수 있다. 또한 에지 장치(500)는 추론 과정에서 앞서 입력된 탐지 지역, 탐지 대상, 외부 상황에 관련된 정보를 적용하여 신경망 처리장치(300)가 추론을 수행함에 있어서 불필요한 결과물을 미리 필터링할 수 있다. 즉, 신경망 처리장치(300)는 에지 장치(500)가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나 이상에 한정하여 딥러닝을 수행할 수 있다. For example, in setting the function of the edge device before performing ground detection, the detection area (mountain/sea/building, etc.), the detection target (person/object/time of disappearance, etc.), information related to the external situation (weather, time, etc.) may be input to the
그리고, 신경망 처리장치(300)는 에지 장치(500)가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 객체 탐지 및 다중 객체를 추적하여 결과물을 미리 필터링하고 객체 탐지 및 다중 객체 추적의 정확도를 높일 수 있다. Then, the neural
전술한 에지 장치 및 이를 포함한 시스템은 드론에 탑재된 야간 타입 카메라 및 주간 타입 카메라를 융합하여 지상의 물체 및 인원을 자동으로 탐지 및 추적할 수 있다. 특히, 주간/야간 타입 카메라들의 영상을 융합하여 객체를 자동으로 탐지할 수 있으며, 딥러닝 기반의 다중물체의 자동탐지와 이의 결과를 기반으로 다중물체에 대하여 자동추적을 수행할 수 있다.The above-described edge device and a system including the same can automatically detect and track objects and personnel on the ground by fusing a night-type camera and a day-type camera mounted on a drone. In particular, it is possible to automatically detect an object by fusing the images of day/night type cameras, and to perform automatic tracking of multiple objects based on the deep learning-based automatic detection of multi-objects and the results.
특히, 다중 추적 중인 객체를 사람이 수동으로 선택하여 자동 추적하는 기능(S18)와 사전에 정의한 물체가 탐지될 때 자동으로 추적하는 기능(S11) 모두를 적용할 수 있다. In particular, both the function (S18) of manually selecting and automatically tracking an object under multi-tracking and the function (S11) of automatically tracking when a predefined object is detected can be applied.
신경망 처리장치(300)는 각각의 카메라들이 촬영한 영상 정보를 기반으로 독립적으로 딥러닝 기반의 자동 탐지를 수행하고 그 결과를 확률적으로 융합하는 앙상블(Ensemble) 융합탐지를 수행할 수 있다. The neural
일 실시예로 신경망 처리장치(300)는 각각의 카메라들이 촬영한 영상 정보에 대해 각각 딥러닝을 통해 추론한 결과를 확률적으로 융합할 수 있다. In an embodiment, the neural
여기서 신경망 처리장치(300)는 앞서 에지 장치(500)에 입력된 탐지 지역(산/바다/건물 등) 및 탐지 대상(사람/사물/실종시간 반영 등), 외부 상황에 관련된 정보(날씨, 시각 등)에 대한 키워드를 이용하여 주간 타입 카메라의 추론 결과의 가중치와 야간 타입 카메라의 추론 결과의 가중치를 달리 적용할 수 있다. Here, the neural
일 실시예로, 겨울이라는 계절적 상황에서 오후 시간에, 비가 오는 날씨에 추적을 수행할 경우, 신경망 처리장치(300)는 주간 타입 카메라의 가중치를 60%로 설정하고 야간 타입 카메라의 추론 결과의 가중치를 40%로 설정할 수 있다. As an embodiment, when tracking is performed in rainy weather in the afternoon in a seasonal situation such as winter, the neural
다른 실시예로, 여름이라는 계절적 상황에서 정오에 맑은 날씨에 추적을 수행할 경우 신경망 처리장치(300)는 주간 타입 카메라의 가중치를 85%로 설정하고 야간 타입 카메라의 추론 결과의 가중치를 15%로 설정할 수 있다.In another embodiment, when tracking is performed in sunny weather at noon in a seasonal situation such as summer, the neural
또다른 실시예로 야간이지만 빛이 많은 지역에 추적을 수행할 경우, 신경망 처리장치(300)는 주간 타입 카메라의 가중치를 25%로 설정하고 야간 타입 카메라의 추론 결과의 가중치를 75%로 설정할 수 있다.In another embodiment, when tracking is performed in an area at night but with a lot of light, the neural
이러한 가중치 설정은 다양하게 설정할 수 있으며, 과거 유사한 환경(계절/날씨/시각/지역 등)에서 추적 성능이 높았던 가중치 비율을 신경망 처리장치(300)가 저장할 수 있다. 그리고 동일 또는 유사한 환경에서 신경망 처리장치(300)는 과거의 가중치 비율을 이용하여 추론 결과의 정확도를 높일 수 있다. These weight settings can be set in various ways, and the neural
정리하면, 제1신경망 처리장치(300a)는 딥러닝에 의해 객체를 탐지한 제1예비 결과에 제1확률을 적용한 제1결과를 산출한다. 그리고 제2신경망 처리장치(300b)는 딥러닝에 의해 객체를 탐지한 제2예비 결과에 제2확률을 적용한 제2결과를 산출한다. In summary, the first neural
그리고, 중앙처리장치(200)는 제1결과 및 제2결과를 앙상블 융합한다. 여기서 중앙처리장치(200)는 전술한 바와 같이, 계절, 시간, 날씨, 탐지 지역, 탐지 대상 중 어느 하나 이상을 이용하여 제1확률 및 제2확률을 설정한다. 또한, 중앙처리장치(200)는 과거의 가중치 비율을 이용하여 제1확률 및 제2확률을 설정하는데 있어 정확도를 높일 수 있다.Then, the
또한, 객체 추적은 2개의 카메라들 중에서 특정 카메라의 영상을 선택하여 추적을 수행할 수 있는데, 이 과정에서 딥러닝을 기반으로 수행하는 자동 탐지와 지속적인 N frame 추적을 수행하여 확률이 높은 인식 및 결과를 산출할 수 있다. In addition, object tracking can be performed by selecting the image of a specific camera from among two cameras. can be calculated.
드론에 탑재되는 에지 장치(500)는 딥러닝을 기반으로 자동탐지를 수행하고 그 결과를 통신으로 드론 컨트롤러(20)에게 전달할 수 있다. The
도 3은 본 발명의 일 실시예에 의한 드론에 결합되는 카메라의 외관을 보여주는 도면이다. 주간 타입 카메라(110) 및 야간 타입 카메라(120)가 배치되어 있으며, 105는 드론(10)과 체결하는 구성요소이다. 3 is a view showing the appearance of a camera coupled to a drone according to an embodiment of the present invention. A
야간 타입 카메라(120)는 야간 타입 카메라 디텍터(121)에 의해 영상 촬영을 활성화할 수 있다. 예를 들어, 야간 타입 카메라 디텍터(121)는 현재 빛이 충분하지 못한 상황을 탐지하여 야간타입 카메라(120)를 활성화시킬 수 있다. The night-
에지 장치(500)는 온보드 형태로 구현될 수 있으므로 도 3 내에 칩이나 모듈 형태로 구현될 수 있다.Since the
도 4는 본 발명의 일 실시예에 의한 하드웨어 구성을 보여주는 도면이다. 500a는 에지 장치의 일 실시예로 에지 인공지능 프로세서 보드(Edge AI Processor Board)이다. 4 is a diagram showing a hardware configuration according to an embodiment of the present invention. 500a is an edge AI processor board as an embodiment of the edge device.
중앙처리장치는 시스템 온 모듈(SOM, System On Module)(200a)로 구현될 수 있으며, CPU, 메모리, 버스(Bus) 등을 포함한다. 두 개의 NPU(300a, 300b)가 배치된다. The central processing unit may be implemented as a system on module (SOM) 200a, and includes a CPU, a memory, a bus, and the like. Two NPUs (300a, 300b) are arranged.
2개의 입력된 영상 중 CCD는 Mifi-CSI 인터페이스를 통하여 직접 SOM(200a)에 인터페이스될 수 있다. SOM(200a)은 직접 인터페이스가 가능하도록 구성된다. SWIR(120a)는 캠링크(Camlink)를 통하여 촬영한 영상을 FGPA가 PCIe로 변환하여 SOM(200a)에 입력할 수 있다.Among the two input images, the CCD may be directly interfaced to the
SOM(200a)은 4 Core CPU와 1개의 엠베딩용 인터페이스를 관장하는 저속의 CPU 1개, 그리고 비디오, 코덱 등을 처리하는 CPU를 포함할 수 있다. The
SOM(200a) 하부의 캐리어(Carrier)보드는 UART, USB, SPI, I2C 및 RJ45(Lan) 인터페이스 및 Driver 칩들로 구성된다. The SOM (200a) lower carrier (Carrier) board is composed of UART, USB, SPI, I2C and RJ45 (Lan) interfaces and driver chips.
NPU(Neural Processing Unit)(300a, 300b)는 모듈의 칩으로 SOM(200a)과 PCIe로 인터페이스되어 캐리어(Carrier) 보드에 장착될 수 있다. The NPU (Neural Processing Unit) 300a, 300b is a chip of the module and is interfaced with the
외부의 LED는 GPIO 인터페이스를 통하여 제어되고, Core의 마이크로 HDMI 출력을 통하여 영상출력을 디스플레이에 전시할 수 있다. The external LED is controlled through the GPIO interface, and the image output can be displayed on the display through the micro HDMI output of the Core.
전원은 외부에서 12VDC 입력을 받아서 다시 DC-DC 컨버터를 통하여 5.0, 3.3, 1.8V를 제공할 수 있다. The power can receive a 12VDC input from the outside and provide 5.0, 3.3, and 1.8V again through a DC-DC converter.
도 4와 같이 구성할 경우, 외부 카메라의 경우 Mifi-CSI를 통하여 직접 코어에 입력되거나 기타 입력은 FPGA를 통하여 PCIe로 변환하여 SOM(200a) 코어(core)로 입력된다.4, in the case of an external camera, it is directly input to the core through Mifi-CSI, or other inputs are converted to PCIe through the FPGA and input to the
SOM(200a)의 메모리는 프로그램 작동과 딥러닝 하이퍼 파라미터가 충분한 수준으로 3G RAM이 제공될 수 있다. The memory of the
도 5는 본 발명의 일 실시예에 의한 에지 장치가 객체를 추적하는 과정을 보여주는 도면이다. 드론에 탑재된 야간 타입 카메라(예를 들어 SWIR) 및 주간 타입 카메라(예를 들어 저조도 CCD 카메라)를 기반으로 지상의 침입자, 실종자 및 특정 물체를 자동으로 탐지하고 동시에 자동으로 다중추적을 실시하고 추적 과정에서 확인된 물체를 목표물로 자동 추적하는 과정을 보여준다. 5 is a diagram illustrating a process in which an edge device tracks an object according to an embodiment of the present invention. Automatically detects intruders, missing persons and specific objects on the ground based on the night-type camera (e.g. SWIR) and daytime-type camera (e.g. low-light CCD camera) mounted on the drone, and automatically multi-tracks and tracks at the same time It shows the process of automatically tracking the object identified in the process to the target.
에지 장치(500)의 중앙처리장치(200)는 외부 조도 또는 현재 시각 또는 현재 날씨, 태양의 고도 등 외부 조건을 확인한다(S21). 그리고 에지 장치(500)는 주간타입 카메라(110) 또는 야간 타입 카메라(120) 중 촬영에 적용할 하나 이상의 카메라를 선택한다(S22). The
이는 에지 장치(500)가 주변의 빛의 크기나 환경에 따라 카메라를 선택하거나 혹은 이들을 조합하는 방식을 의미한다. 비교적 시설이나 도시 부근의 환경은 자체조명이 존재하므로 주간 타입 카메라(110) 및 야간 타입 카메라(120)를 모두 객체 탐지에 적용할 수 있다. This means a method in which the
반면, 이와 달리 산 속인 경우, 또는 별빛과 달빛이 존재하지 않는 칠흑 같은 상황에서는 야간 타입 카메라(120)를 객체 탐지에 적용할 수 있다. 또한 한낮과 같이 밝은 빛이 있는 경우 주간 타입 카메라(110)를 객체 탐지에 적용할 수 있다. On the other hand, in a case in a mountain or in a jet-black situation in which starlight and moonlight do not exist, the night-
에지 장치(500)는 촬영한 영상을 이용하여 객체 탐지 및 자중 객체 추적을 수행한다(S23). 촬영한 영상들을 입력받은 신경망 처리장치(300)는 인공지능을 기반으로 자동으로 침입자, 실종자 및 특정물체를 주야간 자동탐지할 수 있다.The
에지 장치(500)는 주간 및 야간의 상황에 따라 2개의 카메라들(110, 120)를 제어하여 딥러닝기반의 자동탐지를 수행하고 동시에 다중물체의 추적을 구현한다.The
한편, 에지 장치(500)는 사전에 정의된 객체가 탐지될 경우 컨피던스 계산 및 추적을 수행한다(S24). 예를 들어, 에지 장치(500)의 중앙처리장치(200)는 두 개의 카메라(110, 120)가 촬영한 영상에서 사전에 정의된 물체가 탐지될 경우 탐지된 결과물에 대해 각 카메라의 결과물에 대해 컨피던스 값이 높은 카메라에 대하여 단일영상의 비디오추적을 실시한다.Meanwhile, the
그 결과 에지 장치(500)는 누적된 신뢰도를 기반으로 사전에 정의된 물체의 탐지확률(Confidence)을 누적시키며, 그 결과 신뢰도를 올리면서 지속 추적을 실시할 수 있다. As a result, the
또한, 에지 장치(500)는 컨피던스를 높이기 위해 드론의 비행을 조절할 수 있다(S25). 예를 들어 컨피던스가 낮은 값으로 정의된 물체가 탐지될 경우 에지 장치(500)는 약 N개(30개 프레임 이상)의 탐지를 통하여 불확실성이 제거되고 높은 신뢰성을 획득한 경우 자동추적모드로 바꿀 수 있다. Also, the
반면, 불확실성이 제거되지 않을 에지 장치(500)는 다시 드론의 고도를 낮추는 자율비행을 통하여 물체를 지속적을 탐지-추적하여 컨피던스 레벨을 최종확인 한다. On the other hand, the
최종 목표대상일 경우 에지 장치(500)는 객체 위치를 특정한다(S26). 예를 들어, 에지 장치(500)는 통제소에 경고와 함께 지도상에 마킹이 가능하도록 카메라의 각도와 고도만을 기반으로 개략의 위치를 마킹하고 지속적으로 대상물체를 추적한다. In the case of the final target, the
전술한 실시예를 적용할 경우, 에지 장치(500)는 드론에 탑재되기에 적합하도록 저전력(예를 들어, 5W 이내) 자체 에지 AI 처리기에 포함된 CPU와 NPU를 포함하도록 구성된다. 또한, 에지 장치(500)의 NPU는 딥러닝에 기반하여 자동으로 물체를 탐지하고 자동으로 다중 객체를 추적할 수 있다. When the above-described embodiment is applied, the
이는 지상의 드론 컨트롤러(20)가 수행하는 방식 보다 더 빨리 정보 처리가 가능해지고 드론(10)의 제어 용이성을 높일 수 있다. This enables faster information processing than the method performed by the
도 6은 본 발명의 일 실시예에 의한 에지 장치가 카메라를 제어하는 과정을 보여주는 도면이다. 6 is a diagram illustrating a process in which an edge device controls a camera according to an embodiment of the present invention.
도 6은 중앙처리장치(200)가 외부의 조도 상황과 현재 시각, 날씨, 상기 드론의 위치, 추적대상의 특징 정보 중 어느 하나 이상을 적용하여 촬영 조건을 확인하고 촬영 조건에 따라 주간 타입 카메라(110) 또는 야간 타입 카메라(120) 중 어느 하나 이상을 제어하여 영상을 촬영하는 과정을 보여주는 도면이다. 6 is a case in which the
에지 장치(500)는 외부의 조도 상황 및 현재 시각, 날씨, 드론의 위치 등 촬영 조건을 확인한다(S31). 촬영 조건은 Case_A, Case_B, Case_C로 구분된다(S32). 또한 에지 장치(500)는 지금까지 촬영한 영상에서 컨피던스가 높은 영상이 어떤 카메라로 촬영된 것인지를 확인하여 촬영 조건을 설정할 수 있다. The
Case_A는 외부의 빛이 강하거나 낮시간, 또는 날씨가 맑은 상황인 경우의 조건이 된다. 또한 추적 대상(표적체, 추적 대상이 사물인지 사람인지 여부, 사물인 경우 재질과 크기, 움직임 여부 등)이 주간 타입 카메라에 적합한 경우도 Case_A에 해당한다. 이외에도 야간 타입 카메라를 사용할 수 없는 조건 역시 Case_A에 해당한다. Case_A is a condition when the outside light is strong, daytime, or the weather is clear. In addition, Case_A also corresponds to a case where the tracking target (target, whether the tracking target is an object or a person, if the object is a material, size, movement, etc.) is suitable for a daytime type camera. In addition, the condition in which a night-type camera cannot be used also corresponds to Case_A.
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_A의 조건에서 주간 타입 카메라(110)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S33). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다. The
한편, Case_B는 외부의 빛이 강하지 않거나 오후 시간, 또는 날씨가 흐린 상황인 경우의 조건이 된다. 또한 추적 대상이 주간 타임 카메라(110) 및 야간 타입 카메라(120)의 촬영을 필요로 하는 경우도 Case_B에 해당한다. On the other hand, Case_B is a condition when the external light is not strong, the afternoon time, or the weather is cloudy. Also, Case_B corresponds to a case in which the tracking target requires photographing of the
또는 특정 카메라의 촬영 영상이 모두 현재 외부 상황에서 식별 가능한 경우에도 Case_B에 해당한다. 즉, 어느 한쪽의 카메라도 최저 수준 이상의 영상 품질을 제공할 때에도 Case_B에 해당한다. Alternatively, it corresponds to Case_B even if all the captured images of a specific camera are identifiable in the current external situation. That is, even when either camera provides image quality above the lowest level, it corresponds to Case_B.
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_B의 조건에서 주간 타입 카메라(110) 및 야간 타입 카메라(120)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S34). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다. The
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_B의 조건에서 주간 타입 카메라(110) 및 야간 타입 카메라(120)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S34). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다. The
Case_C는 외부의 빛이 약하거나 밤시간, 또는 우천 상황인 경우의 조건이 된다. 또한 추적 대상이 야간 타입 카메라(120)의 촬영을 필요로 하는 경우도 Case_C에 해당한다.Case_C is a condition when external light is weak, at night, or in rainy weather. Also, Case_C corresponds to a case in which the tracking target needs to be photographed by the
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_C의 조건에서 야간 타입 카메라(120)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S35). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다. The
중앙처리장치(200)는 분석결과들을 이용하여 현재 상황에서 S31 및 S32에서 설정한 촬영 조건이 적합한지를 판단한다. 즉, 중앙처리장치(200)는 Case_A/Case_B/Case_C가 탐지 가능성을 높이는지를 여부를 판단하여 촬영 조건을 변경하거나 또는 유지한다(S36).The
이후 S31~S36을 반복하며 객체 탐지 가능성을 높인다. 에지 장치(500)는 처음에 설정한 촬영 조건에 대해 촬영한 영상의 객체 탐지 성능을 분석하여 촬영 조건을 계속 변경하여 객체 탐지 성능의 정밀도를 높일 수 있다. After that, repeat S31 to S36 to increase the probability of object detection. The
전술한 실시예들을 적용할 경우, 에지 장치(500)는 주간 타입 카메라(110), 예를 들어 초저조도 CCD와 야간 타입 카메라(120), 예를 들어 SWIR의 장점을 결합하여 주야간 별빛, 달빛 및 도시의 최소 조명이 있는 환경에서 인공지능기술인 딥러닝기반으로 자동으로 물체를 탐지할 수 있다. When the above-described embodiments are applied, the
아울러, 에지 장치(500)는 사전에 정의된 물체이거나 사람이 수동으로 선택한 물체에 대하여 지속적인 비디오 추적을 실시하여 이동을 관찰하거나(침입자), 드론의 위치, 자세, 카메라의 방향과 드론 컨트롤러(20)에 포함된 지도상의 고도를 고려하여 대략의 위치를 찾거나(특히 실종자 탐지), 혹은 군사용으로 사전에 정의된 표적을 자동으로 탐지하고 추적하여 이후의 태스크(Task)를 위한 사전 작업으로 활용할 수 있다. In addition, the
도 7은 본 발명의 일 실시예에 의한 객체추적 과정에서 카메라의 촬영 조건을 변경하거나 드론의 위치를 변경하는 과정을 보여주는 도면이다. 7 is a diagram illustrating a process of changing a shooting condition of a camera or changing a location of a drone in an object tracking process according to an embodiment of the present invention.
에지 장치(500)의 중앙처리장치(200)는 촬영된 영상에서 상기 신경망 처리장치가 탐지한 하나 이상의 객체의 정확도를 분석하여 도 6의 S33/S34/S35 및 S36 과정을 통해 촬영 조건을 변경하거나 유지할 수 있다. 상세히 살펴보면, 중앙처리장치(200)는 영상에서 현재 촬영 중인 카메라들의 조합(Case_A, Case_B, Case_C)을 유지할 것인지 또는 변경할 것인지를 결정한다(S41). 이 과정에서 중앙처리장치(200)는 카메라의 촬영 배율을 조정할 수 있다.The
그리고 중앙처리장치(200)는 결정된 카메라 조합에 적합한 드론의 이동 속도, 이동 방향, 고도를 결정한다(S42). 예를 들어, 특정 객체가 추적 대상일 가능성이 높거나, 특정 객체의 컨피던스를 높이는 것이 필요할 경우, 중앙처리장치(200)는 드론의 이동 속도를 줄이거나, 이동 방향을 해당 객체의 이동 방향에 일치시키거나 또는 드론의 비행 고도를 낮추도록 결정할 수 있다. 그리고 중앙처리장치(200)는 비행 제어 명령을 생성하여(S12) 드론 컨트롤러(20)에게 제공한다(S43). And the
그 결과 드론 컨트롤러(20)는 비행 제어 명령에 따라 드론(10)의 비행을 제어하고 중앙처리장치(200)는 새롭게 촬영된 영상에서 객체를 추적하며 도 6 및 도 7의 과정을 반복할 수 있다. As a result, the
에지 장치(500)는 주간 타입 카메라(110), 예를 들어 초저조도 CCD와 야간 타입 카메라(120), 예를 들어 SWIR를 사용하여 주야간에 객체 탐지가 가능하다. 또한, 탐지된 물체의 다중추적을 통하여 이동현상을 관찰하고 동시에 사전에 정의된 물체에 대해서 컨피던스를 높이기 위해 탐지 추적간 고도를 낮추어서 영상이 충분히 큰 영상으로 입력되어 딥러닝의 성능을 보장하는 고도제어 기능을 포함한다. The
특히, 에지 장치(500)는 2개의 센서, 즉 카메라의 장점을 이용하고 최종 추적단계에서는 컨피던스가 높은 하나의 영상을 기반으로 추적을 실시하여 지속적으로 관찰하고 탐지와 다중추적을 FOV(Field of View)내의 영상에 대해서 지속적인 수행하고 컨피던스를 축적하여 신뢰도를 증대할 수 있다.In particular, the
도 8은 본 발명의 일 실시예에 의한 객체의 이동 방향이나 움직임 패턴에 따라 드론을 제어하는 과정을 보여주는 도면이다. 8 is a diagram illustrating a process of controlling a drone according to a movement direction or movement pattern of an object according to an embodiment of the present invention.
중앙처리장치(200)는 영상에 촬영된 객체(신경망 처리장치가 탐지한 하나 이상의 객체)들 중에서 지속적으로 추적이 필요한 객체, 즉 추적할 객체를 영상에서 식별한다(S45). 그리고 중앙처리장치(200)는 식별된 객체의 이동 방향이나 움직임 패턴(이동 패턴을 포함)을 이용하여 식별된 객체에 대한 영상 정밀도를 높일 수 있는 드론의 비행 방향과 고도, 속도를 결정한다(S46). The
예를 들어 식별된 객체가 특정 방향으로 이동하는 것이 확인된 경우, 드론을 해당 방향으로 이동시키거나 이동 속도에 맞추어 드론의 속도를 제어할 수 있다. 이러한 과정에서 촬영된 영상의 컨피던스는 향상되고 추적 정확도가 높아진다. For example, when it is confirmed that the identified object is moving in a specific direction, the drone can be moved in the corresponding direction or the speed of the drone can be controlled according to the moving speed. In this process, the confidence of the captured image is improved and the tracking accuracy is increased.
그리고, 중앙처리장치(200)는 앞서 결정된 방향과 고도, 속도에 따라 비행 제어 명령을 생성하여 드론 컨트롤러(20)에게 제공한다(S47). Then, the
정리하면, 중앙처리장치(200) 또는 중앙처리장치(200)를 구성하거나 중앙처리장치에 포함된 컨피던스 매니저는 식별된 객체에 대한 영상 정밀도를 높이기 위해 드론을 수평 또는 하향 이동시키는 비행 제어 명령을 생성한다. In summary, the
그리고 중앙처리장치(200)는 수평 또는 하향 이동한 드론이 촬영한 영상에서 식별된 객체에 대한 영상 정밀도를 다시 계산하여 비행 제어 명령을 생성할 수 있다. In addition, the
즉, 영상에 포함된 객체의 크기가 작거나 혹은 컨피던스(확률)이 적을 경우에 중앙처리장치(200) 또는 중앙처리장치(200)를 구성하거나 중앙처리장치에 포함된 컨피던스 매니저는 드론이 고도를 낮추어 영상을 촬영하도록 비행 제어 명령을 생성한다. 지면의 경사도 또는 비행 방향에 따라 드론은 수평 또는 하향 이동을 수행하여 지면에 가까이 비행함으로써 영상의 정확도를 높일 수 있다. 객체가 다른 사물들로 인해 가려질 경우 촬영된 객체의 크기가 작을 수 있다. That is, when the size of the object included in the image is small or the confidence (probability) is low, the
전술한 다양한 상황에 대응하여 중앙처리장치(200) 또는 중앙처리장치(200)를 구성하거나 중앙처리장치에 포함된 컨피던스 매니저는 해당 객체에 대응하여 하향이동 및 수평 추적을 수행하여 컨피던스(확률)를 높일 수 있다. In response to the various situations described above, the
전술한 실시예들을 적용할 경우, 드론은 자동으로 자율비행과 동시에 실종자/침입자/사물을 탐지 및 추적하는 기능을 주간/야간/날씨조건 등에 상관없이 수행할 수 있다. When the above-described embodiments are applied, the drone can automatically fly autonomously and simultaneously detect and track missing persons/intruders/objects regardless of day/night/weather conditions, etc.
특히 악천후 상황이나 가시성이 좋지 않는 상황에서 에지 장치(500)는 주간타입 카메라(110) 외에도 야간 타입 카메라(120)를 적용하여 상대적으로 높은 탐지성능을 발휘할 수 있다. In particular, in bad weather or poor visibility, the
전술한 실시예들을 적용할 경우, 군사용 감시, 해안감시, 시설감시, 범죄자 탐지 및 추적 등을 수행하는 드론을 구현할 수 있으며, 가시성능이 저해받는 환경에서 카메라를 기반으로 사전에 정의되고 학습된 물체를 자동으로 탐지하거나 지속적으로 추적하여 탐지 및 추적 성능을 높일 수 있다. When the above-described embodiments are applied, drones that perform military surveillance, coastal surveillance, facility surveillance, criminal detection and tracking, etc. can be implemented, and objects defined and learned in advance based on a camera in an environment where visibility performance is impaired can be automatically detected or continuously tracked to improve detection and tracking performance.
특히 사람이 드론을 매번 조정하지 않고, 자동으로 침입자와 실종자를 탐지 및 추적할 수 있도록 영상에서 판독된 결과에 따라 에지 장치(500)가 드론(10)의 비행을 제어할 수 있다. In particular, the
또한, 본 발명의 실시예들을 적용할 경우, 가시 거리가 충분히 확보되는 상황에서는 에지 장치(500)는 주간 타입 카메라(110)를 기반으로 촬영된 영상에서 인공지능(딥러닝)기반의 물체를 실외에서 자동탐지한다. In addition, in the case of applying the embodiments of the present invention, in a situation in which the visible distance is sufficiently secured, the
또한, 실외의 다변하는 환경에 대응하기 위해, 에지 장치(500)는 안개, 연무 혹은 구름이나 미세먼지 등으로 주간 타입 카메라(110)의 가시거리가 제한되거나, 강우 및 강설 등의 환경으로 인해 주간 타입 카메라(110)의 인식 성능이 제한될 경우, 야간 타입 카메라(120)를 이용하여 물체를 자동탐지한다. In addition, in order to respond to the diversified outdoor environment, the
한편, 야간 타입 카메라(120)는 IR(적외선)을 이용할 수 있으며, 배경과의 온도차가 있을 경우 사람을 쉽게 탐지할 수 있지만 야간 타입 카메라(120)만으로 객체를 탐지하는 것에는 한계가 있다. On the other hand, the night-
예를 들어, 최근 인공지능의 핵심인 딥러닝 기반의 물체탐지 과정에서 야간 타입 카메라(120)가 온도 차이만을 기반으로 객체를 탐지하는 것은 내부의 특징 등이 잘 표현되지 않아서 딥러닝 기반의 자동탐지 또한 제한을 받는다. For example, in the recent deep learning-based object detection process, which is the core of artificial intelligence, when the night-
특히 실종자를 자동탐지하는 경찰 드론의 경우 실종자가 3-4시간이 경과되면 주변과 온도차가 없어 야간 타입 카메라(120)로는 탐지가 잘 되지 않는 상황이 된다. In particular, in the case of a police drone that automatically detects a missing person, when the missing person has elapsed for 3-4 hours, there is no temperature difference with the surroundings, so detection is difficult with the night-
따라서 본 발명의 에지 장치(500)는 주야간 그리고 악천후 환경에서도 딥러닝 기반의 자동탐지를 수행하기 위하여 상호보완적인 2개의 카메라, 즉, SWIR을 일 실시예로 하는 야간 타입 카메라(120)와 CCD를 일 실시예로 하는 주간 타입 카메라(110)를 융합하고 통합으로 자동인식하여 객체 탐지 및 추적의 정확도를 높일 수 있다. Therefore, the
특히, 본 발명의 에지 장치(500)는 영상 촬영 후 지속적으로 객체 탐지 성능을 분석하여 보다 정밀하게 영상을 촬영하기 위해 카메라 촬영 조건과 드론의 비행 조건을 변경할 수 있다. 변경 후에도 에지 장치(500)는 객체 탐지 성능을 지속적으로 확인하여 시간이 지속될수록 에지 장치(500)의 객체 탐지 성능이 향상된다. In particular, the
도 9는 본 발명의 일 실시예에 의한 에지 장치가 영상을 전처리하는 과정을 보여주는 도면이다. 9 is a diagram illustrating a process of pre-processing an image by an edge device according to an embodiment of the present invention.
앞서 중앙처리장치(200)는 카메라들(110, 120)이 촬영한 영상의 사이즈를 조절하거나 또는 영상에서 객체 미탐지 부분을 제거하여 전처리함을 살펴보았다. 객체 미탐지 부분이란, 영상에서 추적체가 없는 것으로 확인된 부분(예를 들어 건물 옥상 등)을 의미한다. Previously, it has been seen that the
도 9의 (A)는 촬영된 영상을 의미한다. 51a 및 52a에 대해 중앙처리장치(200)가 이전에 촬영했던 영상의 객체 정보나 객체 데이터베이스에 저장된 객체 정보를 이용하여 52a는 추적할 객체가 없는 영역으로 확인할 수 있다. 9(A) indicates a photographed image. With respect to 51a and 52a, using object information of an image previously captured by the
이 경우, 중앙처리장치(200)는 52a에 대해 신경망처리장치(300)가 불필요한 객체 탐지를 수행하지 않도록 (B)와 같이 해당 영역을 삭제한다. 52b는 영상 내에서 52a를 삭제 처리한 결과이다. In this case, the
본 발명의 실시예를 적용할 경우, 자동탐지 성능을 주간 타입 카메라에만 적용하지 않고 주간 및 야간 타입 카메라 모두에 적용하므로 외부의 조도나 추적체의 특징이 다양한 상황에도 딥러닝 기반 물체의 자동 탐지 기술을 확보할 수 있다. When the embodiment of the present invention is applied, the automatic detection performance is applied not only to the daytime type camera, but to both the daytime and night type cameras, so even in situations where the external illuminance or the characteristics of the tracker are various, deep learning-based automatic detection technology can be obtained
특히, 본 발명의 일 실시예에 의한 SWIR을 야간 타입 카메라(120)에 적용할 경우, 야간이나 악환경에서도 딥러닝 기반의 자동탐지에 대한 성능을 확보할 수 있다. In particular, when SWIR according to an embodiment of the present invention is applied to the night-
SWIR 카메라가 객체의 특징을 획득할 수 있으므로, 딥러닝 기반의 객체탐지 성능을 향상시킬 수 있다. 또한 악천후 환경에서 주간 타입 카메라가 객체 탐지 성능이 저하될 경우 야간 타입 카메라가 촬영한 영상에 기반하여 객체 탐지 성능을 향상시킬 수 있다. Since the SWIR camera can acquire the characteristics of the object, the deep learning-based object detection performance can be improved. In addition, when the object detection performance of the daytime type camera deteriorates in a bad weather environment, the object detection performance may be improved based on the image captured by the night type camera.
또한, 에지 장치는 주간 및 야간 타입 카메라들의 영상을 조합하여 융합적으로 탐지할 수 있으므로 자동 탐지 성능을 증대시킬 수 있다.In addition, since the edge device can convergence detection by combining images of day and night type cameras, automatic detection performance can be improved.
전술한 실시예들을 적용할 경우, 에지 장치(500)는 드론에 탑재된 SWIR 및 주간 카메라를 융합하여 지상의 물체 및 인원을 자동으로 탐지 및 추적할 수 있다. 본 발명의 시스템은 에지 장치(500)와 드론(10), 그리고 드론 컨트롤러(20)를 포함할 수 있다.When the above-described embodiments are applied, the
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다. Even if all the components constituting the embodiment of the present invention are described as being combined or operated as one, the present invention is not necessarily limited to this embodiment, and all components within the scope of the present invention are one or more may be selectively combined to operate. In addition, although all of the components may be implemented as one independent hardware, some or all of the components are selectively combined to perform some or all of the functions of one or a plurality of hardware programs module It may be implemented as a computer program having Codes and code segments constituting the computer program can be easily inferred by those skilled in the art of the present invention. Such a computer program is stored in a computer readable storage medium (Computer Readable Media), read and executed by the computer, thereby implementing the embodiment of the present invention. The storage medium of the computer program includes a magnetic recording medium, an optical recording medium, and a storage medium including a semiconductor recording device. In addition, the computer program implementing the embodiment of the present invention includes a program module that is transmitted in real time through an external device.
전술된 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해되어야 하며, 본 발명의 범위는 전술된 상세한 설명보다는 후술될 특허청구범위에 의해 나타내어질 것이다. 그리고 이 특허청구범위의 의미 및 범위는 물론, 그 등가개념으로부터 도출되는 모든 변환 및 변형 가능한 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is to be understood that the foregoing embodiments are illustrative in all respects and not restrictive, and the scope of the present invention will be indicated by the appended claims rather than the foregoing detailed description. And it should be construed as being included in the scope of the present invention, as well as the meaning and scope of the claims, as well as all transformations and deformable forms derived from the equivalent concept.
10: 드론 20: 드론 컨트롤러
110: 주간 타입 카메라 120: 야간 타입 카메라
200: 중앙처리장치 300: 신경망처리장치
500: 에지 장치10: drone 20: drone controller
110: day type camera 120: night type camera
200: central processing unit 300: neural network processing unit
500: edge device
Claims (25)
영상 내에서 객체를 탐지하고 다중 객체를 추적하는 신경망 처리장치; 및
주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하여 상기 신경망 처리장치에게 제공하며, 상기 신경망 처리장치가 탐지한 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 상기 드론과 상기 주간 타입 카메라와 상기 야간 타입 카메라를 제어하는 중앙처리장치를 포함하며,
상기 에지 장치는
상기 주간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제1신경망 처리장치와,
상기 야간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제2신경망 처리장치를 포함하며,
상기 제1신경망 처리 장치 및 상기 제2신경망 처리 장치는 상기 주간 타입 카메라 및 상기 야간 타입 카메라 각각이 촬영한 영상 정보를 기반으로 독립적으로 딥러닝 기반의 자동 탐지를 수행하며,
상기 제1신경망 처리장치는 딥러닝에 의해 객체를 탐지한 제1예비 결과에 제1확률을 적용한 제1결과를 산출하며,
상기 제2신경망 처리장치는 딥러닝에 의해 객체를 탐지한 제2예비 결과에 제2확률을 적용한 제2결과를 산출하며,
상기 중앙처리장치는 과거 추적 성능 및 과거 가중치 비율을 이용하여 상기 제1확률 및 상기 제2확률을 설정하며,
상기 중앙처리장치는 상기 각각의 딥러닝을 통해 추론한 상기 제1결과 및 상기 제2결과를 앙상블 융합하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
In the edge device coupled to the drone (Edge device),
a neural network processing device that detects an object in an image and tracks multiple objects; and
Preprocessing an image captured by at least one of a daytime type camera or a nighttime type camera and providing it to the neural network processing device, and performing target setting and video tracking for one or more objects detected by the neural network processing device It includes a central processing unit for controlling the drone, the daytime type camera, and the night type camera,
The edge device is
A first neural network processing device for detecting an object in the image generated by the daytime type camera and performing multi-object tracking;
and a second neural network processing device that detects an object in the image generated by the night-type camera and performs multi-object tracking,
The first neural network processing device and the second neural network processing device independently perform deep learning-based automatic detection based on image information captured by each of the day-type camera and the night-type camera,
The first neural network processing device calculates a first result of applying a first probability to a first preliminary result of detecting an object by deep learning,
The second neural network processing device calculates a second result by applying a second probability to a second preliminary result of detecting an object by deep learning,
The central processing unit sets the first probability and the second probability by using the past tracking performance and the past weight ratio,
The central processing unit ensembles fusion of the first result and the second result inferred through the respective deep learning, a device for detecting and tracking objects using a daytime type camera and a nighttime type camera.
상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 추적한 결과물을 미리 필터링하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
According to claim 1,
The neural network processing device pre-filters the tracked result using any one of target information to be tracked by the edge device, area information included in the tracking range, and tracking time information, a daytime type camera and a nighttime type camera A device that detects and tracks objects using
상기 중앙처리장치는 계절, 시간, 날씨, 탐지 지역, 탐지 대상 중 어느 하나 이상을 이용하여 상기 제1확률 및 상기 제2확률을 설정하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
3. The method of claim 2,
The central processing unit detects an object using a day type camera and a night type camera, which sets the first probability and the second probability using any one or more of season, time, weather, detection area, and detection target; tracking device.
상기 신경망 처리장치는 탐지 지역 및 탐지 대상 및 외부 상황 정보에 대한 키워드를 이용하여 상기 주간 타입 카메라의 추론 결과의 가중치와 상기 야간 타입 카메라의 추론 결과의 가중치를 상이하게 적용하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
According to claim 1,
The neural network processing apparatus applies the weight of the inference result of the daytime type camera and the weight of the inference result of the nighttime type camera differently by using a keyword for a detection area, a detection target, and external context information, a daytime type camera and a nighttime type camera A device that detects and tracks objects using a type camera.
상기 중앙처리장치는 상기 영상의 사이즈를 조절하거나 또는 상기 영상에서 객체 미탐지 부분을 제거하여 전처리하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
According to claim 1,
The central processing unit adjusts the size of the image or pre-processes by removing an object undetected portion from the image, an apparatus for detecting and tracking an object using a day-type camera and a night-type camera.
상기 중앙처리장치는 상기 신경망 처리장치가 탐지한 객체 정보 및 다중 객체 트래킹 정보와 객체 데이터베이스에 저장된 정보를 비교하여 표적물의 후보 객체를 선택하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
According to claim 1,
The central processing unit compares the object information and multi-object tracking information detected by the neural network processing unit with information stored in an object database to select a candidate object of the target, using a daytime type camera and a nighttime type camera to detect and tracking device.
상기 중앙처리장치는 외부의 조도 상황과 현재 시각, 날씨, 상기 드론의 위치, 추적대상의 특징 정보 중 어느 하나 이상을 적용하여 촬영 조건을 확인하고 상기 촬영 조건에 따라 상기 주간 타입 카메라 또는 상기 야간 타입 카메라 중 어느 하나 이상을 제어하여 영상을 촬영하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
According to claim 1,
The central processing unit applies any one or more of external illuminance situation, current time, weather, location of the drone, and characteristic information of a tracking target to confirm a shooting condition, and according to the shooting condition, the daytime type camera or the night type camera A device for detecting and tracking an object using a day-type camera and a night-type camera that controls one or more of the cameras to capture an image.
상기 중앙처리장치는 상기 신경망 처리장치가 탐지한 하나 이상의 객체의 정확도를 분석하여 상기 촬영 조건의 변경 여부를 결정하고 상기 드론의 이동 속도와 방향, 고도를 결정하여 비행 제어 명령을 생성하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
8. The method of claim 7,
The central processing unit analyzes the accuracy of one or more objects detected by the neural network processing unit to determine whether to change the shooting conditions, and determines the moving speed, direction, and altitude of the drone to generate a flight control command, day type A device for detecting and tracking objects using cameras and night-type cameras.
상기 중앙처리장치는 상기 신경망 처리장치가 탐지한 하나 이상의 객체 중에서 추적할 객체를 상기 영상에서 식별하여 상기 식별된 객체의 이동 방향이나 움직임 패턴을 이용하여 상기 식별된 객체에 대한 영상 정밀도를 높일 수 있는 드론의 비행 방향과 고도, 속도를 결정하여 비행 제어 명령을 생성하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
8. The method of claim 7,
The central processing unit identifies an object to be tracked from the one or more objects detected by the neural network processing unit in the image, and uses the movement direction or movement pattern of the identified object to increase image precision for the identified object. A device for detecting and tracking objects using a day-type camera and a night-type camera that generates flight control commands by determining the flight direction, altitude, and speed of the drone.
상기 중앙처리장치 또는 상기 중앙처리장치가 포함하는 컨피던스 매니저는 상기 식별된 객체에 대한 영상 정밀도를 높이기 위해 상기 드론을 수평 또는 하향 이동시키는 비행 제어 명령을 생성하며,
상기 중앙처리장치는 상기 수평 또는 하향 이동한 드론이 촬영한 영상에서 상기 식별된 객체에 대한 영상 정밀도를 다시 계산하여 비행 제어 명령을 생성하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
10. The method of claim 9,
The central processing unit or the confidence manager included in the central processing unit generates a flight control command for horizontally or downward moving the drone in order to increase the image precision of the identified object,
The central processing unit generates a flight control command by recalculating the image precision for the identified object from the image taken by the horizontally or downwardly moving drone, detecting an object using a daytime type camera and a nighttime type camera and tracking device.
상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나 이상에 한정하여 딥러닝을 수행하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
According to claim 1,
The neural network processing device performs deep learning by limiting any one or more of target information to be tracked by the edge device, area information included in the tracking range, and time information during which tracking is performed, a day type camera and a night type camera A device that detects and tracks objects using
상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 상기 객체 탐지 및 다중 객체를 추적하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
12. The method of claim 11,
The neural network processing device detects the object and tracks multiple objects using any one of target information to be tracked by the edge device, area information included in the tracking range, and time information during which tracking is performed. A device that detects and tracks objects using a type camera.
상기 드론은 상기 에지 장치의 비행 제어에 따라 비행하는 드론인 것을 특징으로 하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 에지 장치가 탑재된 드론.
13. The method according to any one of claims 1 to 12,
The drone is equipped with an edge device for detecting and tracking objects using a day-type camera and a night-type camera, characterized in that the drone is a drone that flies according to the flight control of the edge device.
상기 에지 장치의 중앙처리장치가 주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하는 단계;
상기 에지 장치의 신경망 처리장치가 상기 전처리한 영상에서 하나 이상의 객체를 탐지하는 단계; 및
상기 중앙처리장치가 상기 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 상기 드론과 상기 주간 타입 카메라와 상기 야간 타입 카메라를 제어하는 단계를 포함하며,
상기 신경망 처리장치는 제1신경망 처리장치 및 제2신경망 처리장치를 포함하며,
상기 객체를 탐지하는 단계는,
상기 제1신경망 처리장치가 상기 주간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 단계;
상기 제2신경망 처리장치가 상기 야간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 단계;
상기 제1신경망 처리 장치 및 상기 제2신경망 처리 장치는 상기 주간 타입 카메라 및 상기 야간 타입 카메라 각각이 촬영한 영상 정보를 기반으로 독립적으로 딥러닝 기반의 자동 탐지를 수행하는 단계;
상기 제1신경망 처리장치가 딥러닝에 의해 객체를 탐지한 제1예비 결과에 제1확률을 적용한 제1결과를 산출하는 단계;
상기 제2신경망 처리장치가 딥러닝에 의해 객체를 탐지한 제2예비 결과에 제2확률을 적용한 제2결과를 산출하는 단계;
상기 중앙처리장치는 과거 추적 성능 및 과거 가중치 비율을 이용하여 상기 제1확률 및 상기 제2확률을 설정하는 단계; 및
상기 중앙처리장치가 상기 각각의 딥러닝을 통해 추론한 상기 제1결과 및 상기 제2결과를 앙상블 융합하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
In a method for detecting and tracking an object by an edge device coupled to a drone,
preprocessing, by the central processing unit of the edge device, an image captured by at least one of a day-type camera and a night-type camera;
detecting, by the neural network processing device of the edge device, one or more objects in the pre-processed image; and
Controlling the drone, the day-type camera, and the night-type camera so that the central processing unit performs target setting and video tracking for the one or more objects,
The neural network processing device includes a first neural network processing device and a second neural network processing device,
Detecting the object comprises:
detecting, by the first neural network processing device, an object in the image generated by the daytime type camera and performing multi-object tracking;
detecting, by the second neural network processing device, an object in the image generated by the night-type camera and performing multi-object tracking;
performing, by the first neural network processing apparatus and the second neural network processing apparatus, independently deep learning-based automatic detection based on image information captured by each of the daytime type camera and the nighttime type camera;
calculating, by the first neural network processing device, a first result of applying a first probability to a first preliminary result of detecting an object by deep learning;
calculating, by the second neural network processing device, a second result of applying a second probability to a second preliminary result of detecting an object by deep learning;
setting, by the central processing unit, the first probability and the second probability using a past tracking performance and a past weight ratio; and
Method of detecting and tracking an object using a day-type camera and a night-type camera, further comprising the step of ensemble fusion of the first result and the second result inferred through the respective deep learning by the central processing unit .
상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 추적한 결과물을 미리 필터링하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
15. The method of claim 14,
The neural network processing device further comprises the step of pre-filtering the tracked result using any one of target information to be tracked by the edge device, local information included in the tracking range, and time information during which tracking is performed, weekly type How to detect and track objects using cameras and night-type cameras.
상기 중앙처리장치가 계절, 날씨, 탐지 지역, 탐지 대상 중 어느 하나 이상을 이용하여 상기 제1확률 및 상기 제2확률을 설정하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
16. The method of claim 15,
Using, by the central processing unit, the step of setting the first probability and the second probability using any one or more of season, weather, detection area, and detection target, the object using a day type camera and a night type camera further comprising How to detect and track them.
상기 신경망 처리장치는 탐지 지역 및 탐지 대상 및 외부 상황 정보에 대한 키워드를 이용하여 상기 주간 타입 카메라의 추론 결과의 가중치와 상기 야간 타입 카메라의 추론 결과의 가중치를 상이하게 적용하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
15. The method of claim 14,
The neural network processing apparatus applies the weight of the inference result of the daytime type camera and the weight of the inference result of the nighttime type camera differently by using a keyword for a detection area, a detection target, and external context information, a daytime type camera and a nighttime type camera How to detect and track objects using type cameras.
상기 전처리하는 단계는
상기 중앙처리장치가 상기 영상의 사이즈를 조절하거나 또는 상기 영상에서 객체 미탐지 부분을 제거하여 전처리하는 단계를 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
15. The method of claim 14,
The pre-processing step is
The method of detecting and tracking an object using a day-type camera and a night-type camera, comprising the step of the central processing unit pre-processing by adjusting the size of the image or removing an object undetected portion from the image.
상기 제어하는 단계는
상기 중앙처리장치가 상기 신경망 처리장치가 탐지한 객체 정보 및 다중 객체 트래킹 정보와 객체 데이터베이스에 저장된 정보를 비교하여 표적물의 후보 객체를 선택하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
15. The method of claim 14,
The controlling step is
The central processing unit compares the object information and multi-object tracking information detected by the neural network processing unit with information stored in an object database to select a candidate object of the target, using a daytime type camera and a nighttime type camera to detect and track objects.
상기 중앙처리장치가 외부의 조도 상황과 현재 시각, 날씨, 상기 드론의 위치, 추적대상의 특징 정보 중 어느 하나 이상을 적용하여 촬영 조건을 확인하고 상기 촬영 조건에 따라 상기 주간 타입 카메라 또는 상기 야간 타입 카메라 중 어느 하나 이상을 제어하여 영상을 촬영하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
15. The method of claim 14,
The central processing unit applies any one or more of the external illuminance situation, the current time, the weather, the location of the drone, and the characteristic information of the tracking target to check the shooting conditions, and according to the shooting conditions, the daytime type camera or the night type camera The method of detecting and tracking an object using a day-type camera and a night-type camera, further comprising the step of controlling one or more of the cameras to take an image.
상기 중앙처리장치가 상기 신경망 처리장치가 탐지한 하나 이상의 객체의 정확도를 분석하여 상기 촬영 조건의 변경 여부를 결정하고 상기 드론의 이동 속도와 방향, 고도를 결정하여 비행 제어 명령을 생성하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
21. The method of claim 20,
The central processing unit analyzes the accuracy of one or more objects detected by the neural network processing unit, determines whether to change the shooting conditions, and determines the moving speed, direction, and altitude of the drone to generate a flight control command. A method of detecting and tracking an object using a day-type camera and a night-type camera, comprising:
상기 중앙처리장치가 상기 신경망 처리장치가 탐지한 하나 이상의 객체 중에서 추적할 객체를 상기 영상에서 식별하여 상기 식별된 객체의 이동 방향이나 움직임 패턴을 이용하여 상기 식별된 객체에 대한 영상 정밀도를 높일 수 있는 드론의 비행 방향과 고도, 속도를 결정하여 비행 제어 명령을 생성하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
21. The method of claim 20,
The central processing unit identifies an object to be tracked from among the one or more objects detected by the neural network processing unit, and increases the image precision of the identified object by using the movement direction or movement pattern of the identified object The method of detecting and tracking an object using a day-type camera and a night-type camera, further comprising the step of determining the flight direction, altitude, and speed of the drone to generate a flight control command.
상기 중앙처리장치 또는 상기 중앙처리장치가 포함하는 컨피던스 매니저가 상기 식별된 객체에 대한 영상 정밀도를 높이기 위해 상기 드론을 수평 또는 하향 이동시키는 비행 제어 명령을 생성하는 단계; 및
상기 중앙처리장치가 상기 수평 또는 하향 이동한 드론이 촬영한 영상에서 상기 식별된 객체에 대한 영상 정밀도를 다시 계산하여 비행 제어 명령을 생성하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
23. The method of claim 22,
generating, by the central processing unit or a confidence manager included in the central processing unit, a flight control command for horizontally or downward moving the drone in order to increase image precision of the identified object; and
Using a day type camera and a night type camera, further comprising the step of the central processing unit recalculating the image precision for the identified object from the image taken by the horizontal or downward moving drone to generate a flight control command to detect and track objects.
상기 신경망 처리장치가 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나 이상에 한정하여 딥러닝을 수행하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
15. The method of claim 14,
Daytime type camera, further comprising the step of performing, by the neural network processing device, deep learning limited to any one or more of target information to be tracked by the edge device, area information included in the tracking range, and time information during which tracking is performed and a method of detecting and tracking an object using a night-type camera.
상기 신경망 처리장치가 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 상기 객체 탐지 및 다중 객체를 추적하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
25. The method of claim 24,
The method further comprising the step of the neural network processing device detecting the object and tracking the multiple objects using any one of target information to be tracked by the edge device, local information included in a tracking range, and tracking time information, A method for detecting and tracking objects using a day-type camera and a night-type camera.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210075263 | 2021-06-10 | ||
| KR20210075263 | 2021-06-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102392822B1 true KR102392822B1 (en) | 2022-05-02 |
Family
ID=81593410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210147857A KR102392822B1 (en) | 2021-06-10 | 2021-11-01 | Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102392822B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116259110A (en) * | 2023-05-09 | 2023-06-13 | 杭州木兰科技有限公司 | Security detection method, device, equipment and storage medium for ATM protection cabin |
| KR102609467B1 (en) * | 2023-06-29 | 2023-12-04 | 주식회사 네스앤텍 | Automatic flight method using image based navigation in GNSS abnormal situations |
| KR102646894B1 (en) * | 2022-12-19 | 2024-03-14 | 주식회사 딥엑스 | Electronic apparatus mounted in moving or fixed device and installed with artificial intelligence semiconductor |
| KR20240064392A (en) | 2022-11-04 | 2024-05-13 | 경북대학교 산학협력단 | Method and apparatus for tracking a ground target using a drone equipped with a camera |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101523740B1 (en) * | 2014-01-03 | 2015-05-28 | (주)유디피 | Apparatus and method for tracking object using space mapping |
| KR20190104016A (en) * | 2019-08-16 | 2019-09-05 | 엘지전자 주식회사 | Shooting method controlling movement of unmanned aerial robot in unmanned aerial system and apparatus for supporting same |
| JP2020162438A (en) * | 2019-03-28 | 2020-10-08 | セコム株式会社 | Monitoring system and flying robot |
| KR102254491B1 (en) * | 2019-11-22 | 2021-05-21 | (주)가시 | Automatic fly drone embedded with intelligent image analysis function |
-
2021
- 2021-11-01 KR KR1020210147857A patent/KR102392822B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101523740B1 (en) * | 2014-01-03 | 2015-05-28 | (주)유디피 | Apparatus and method for tracking object using space mapping |
| JP2020162438A (en) * | 2019-03-28 | 2020-10-08 | セコム株式会社 | Monitoring system and flying robot |
| KR20190104016A (en) * | 2019-08-16 | 2019-09-05 | 엘지전자 주식회사 | Shooting method controlling movement of unmanned aerial robot in unmanned aerial system and apparatus for supporting same |
| KR102254491B1 (en) * | 2019-11-22 | 2021-05-21 | (주)가시 | Automatic fly drone embedded with intelligent image analysis function |
Non-Patent Citations (2)
| Title |
|---|
| most main street" the color image and dip running base between day and night pedestrian detection using the thermal IR image" and the Yonsei University master's degree paper. (2017. 02) * |
| 최한길, 컬러 영상과 열적외선 영상을 이용한 딥러닝 기반 주야간 보행자 검출, 연세대학교 석사학위논문.(2017.02.)* |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240064392A (en) | 2022-11-04 | 2024-05-13 | 경북대학교 산학협력단 | Method and apparatus for tracking a ground target using a drone equipped with a camera |
| KR102646894B1 (en) * | 2022-12-19 | 2024-03-14 | 주식회사 딥엑스 | Electronic apparatus mounted in moving or fixed device and installed with artificial intelligence semiconductor |
| CN116259110A (en) * | 2023-05-09 | 2023-06-13 | 杭州木兰科技有限公司 | Security detection method, device, equipment and storage medium for ATM protection cabin |
| CN116259110B (en) * | 2023-05-09 | 2023-08-08 | 杭州木兰科技有限公司 | Security detection method, device, equipment and storage medium for ATM protection cabin |
| KR102609467B1 (en) * | 2023-06-29 | 2023-12-04 | 주식회사 네스앤텍 | Automatic flight method using image based navigation in GNSS abnormal situations |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102392822B1 (en) | Device of object detecting and tracking using day type camera and night type camera and method of detecting and tracking object | |
| US20210217212A1 (en) | Method and system for automatically colorizing night-vision images | |
| US11398018B2 (en) | Video shadow and motion removal system | |
| US11263751B2 (en) | Method and apparatus for image segmentation using an event sensor | |
| Wheeler et al. | Face recognition at a distance system for surveillance applications | |
| US9412025B2 (en) | Systems and methods to classify moving airplanes in airports | |
| KR101625538B1 (en) | Car Number Recognition system | |
| CN110619276B (en) | Anomaly and violence detection system and method based on unmanned aerial vehicle mobile monitoring | |
| CN111103891B (en) | Unmanned aerial vehicle rapid posture control system and method based on skeleton point detection | |
| KR102514301B1 (en) | Device for identifying the situaton of object's conduct using sensor fusion | |
| KR101375186B1 (en) | Method for detecting disturbance of monitoring camera | |
| KR102171384B1 (en) | Object recognition system and method using image correction filter | |
| CN113378782A (en) | Vehicle-mounted fire identification and automatic tracking method | |
| CN110121055B (en) | Method and apparatus for object recognition | |
| KR102491684B1 (en) | Control method of a surveillance camera with a sunshield and control method thereof | |
| KR101154350B1 (en) | Multiple Images Processing system using Detection of Objects and segmenting - recognizing of High- resolution Image and there of. | |
| CN115578664A (en) | Video monitoring-based emergency event judgment method and device | |
| Tyagi et al. | A review paper on real-time video analysis in dense environment for surveillance system | |
| US11126852B2 (en) | Method for training a person recognition model using images from a camera, and method for recognizing persons from a trained person recognition model by means of a second camera in a camera network | |
| CN113920354A (en) | Action recognition method based on event camera | |
| Bhusal | Object detection and tracking in wide area surveillance using thermal imagery | |
| CN114332777B (en) | High-altitude parabolic detection method and device | |
| US20230409033A1 (en) | Live drone aegis and autonomous drone response | |
| KR20030051557A (en) | Advanced License Plate Recognition System | |
| KR102296135B1 (en) | System for providing traffic information using PTZ optimizing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |