KR102392822B1 - 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법 - Google Patents

주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법 Download PDF

Info

Publication number
KR102392822B1
KR102392822B1 KR1020210147857A KR20210147857A KR102392822B1 KR 102392822 B1 KR102392822 B1 KR 102392822B1 KR 1020210147857 A KR1020210147857 A KR 1020210147857A KR 20210147857 A KR20210147857 A KR 20210147857A KR 102392822 B1 KR102392822 B1 KR 102392822B1
Authority
KR
South Korea
Prior art keywords
type camera
tracking
processing unit
neural network
night
Prior art date
Application number
KR1020210147857A
Other languages
English (en)
Inventor
박용운
Original Assignee
주식회사 에이투마인드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에이투마인드 filed Critical 주식회사 에이투마인드
Application granted granted Critical
Publication of KR102392822B1 publication Critical patent/KR102392822B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H04N5/2257—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법에 관한 것으로서, 본 발명의 일 실시예에 의한 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치는 영상 내에서 객체를 탐지하고 다중 객체를 추적하는 신경망 처리장치와 주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하여 상기 신경망 처리장치에게 제공하며, 상기 신경망 처리장치가 탐지한 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 상기 드론과 상기 주간 타입 카메라와 상기 야간 타입 카메라를 제어하는 중앙처리장치를 포함한다.

Description

주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법{DEVICE OF OBJECT DETECTING AND TRACKING USING DAY TYPE CAMERA AND NIGHT TYPE CAMERA AND METHOD OF DETECTING AND TRACKING OBJECT}
본 발명은 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법에 관한 것이다.
지상의 물체나 사람을 탐지하거나 추적하기 위해 최근 드론을 이용하는 경우가 증가하고 있다.
드론은 지상에서 일정거리 이상 떨어져 비행하면서 카메라 장치를 이용하여 지상을 촬영한다. 촬영 과정에서 드론은 물체나 사람을 탐지할 수 있다.
그런데, 카메라 장치를 이용하여 객체를 탐지할 경우, 외부의 환경에 변화받지않고 정밀하게 객체를 탐지하는 것이 필요하다.
예를 들어, 외부 환경이 바뀔 경우 다시 새로운 드론을 투입한다면 그때까지 드론을 이용하여 객체를 탐지하며 누적한 데이터를 이용할 수 없으며 비용 역시 증가한다. 따라서, 다양하게 변화하는 외부 환경에서도 드론이 객체를 탐지할 수 있는 기술이 필요하다.
본 발명은 두 종류의 카메라를 기반으로 지상의 침입자, 실종자 및 특정 물체를 자동으로 탐지하고 동시에 자동으로 다중추적을 실시하며 탐지 성능을 높이고자 한다.
본 발명은 딥러닝 기반으로 자동으로 물체를 탐지하고, 사전에 정의된 물체이거나 사람이 수동으로 선택한 물체에 대하여 지속적인 비디오 추적을 수행할 수 있도록 한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 여기서 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 의한 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치는 드론에 결합된 에지 장치(Edge device)에 있어서, 영상 내에서 객체를 탐지하고 다중 객체를 추적하는 신경망 처리장치와 주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하여 신경망 처리장치에게 제공하며, 신경망 처리장치가 탐지한 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 드론과 주간 타입 카메라와 야간 타입 카메라를 제어하는 중앙처리장치를 포함한다.
본 발명의 일 실시예에 의한 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법은 드론에 결합된 에지 장치(Edge device)가 객체를 탐지 및 추적하는 방법에 있어서, 에지 장치의 중앙처리장치가 주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하는 단계와 에지 장치의 신경망 처리장치가 전처리한 영상에서 하나 이상의 객체를 탐지하는 단계와 중앙처리장치가 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 드론과 주간 타입 카메라와 야간 타입 카메라를 제어하는 단계를 포함한다.
본 발명을 구현할 경우, 드론의 자율비행과 동시에 침입자 및 실종자를 탐지 및 추적할 수 있다.
본 발명을 구현할 경우, 가시성능이 방해받는 환경에서도 두 타입의 카메라들이 객체를 탐지하여 사전의 정의되거나 학습된 물체를 자동으로 탐지하여 지속적으로 추적할 수 있다.
본 발명이 제공하는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 여기서 언급되지 않은 또 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들의 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들 사이의 정보의 처리 과정을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 의한 드론에 결합되는 카메라의 외관을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 의한 하드웨어 구성을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 의한 에지 장치가 객체를 추적하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 의한 에지 장치가 카메라를 제어하는 과정을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 의한 객체추적 과정에서 카메라의 촬영 조건을 변경하거나 드론의 위치를 변경하는 과정을 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 의한 객체의 이동 방향이나 움직임 패턴에 따라 드론을 제어하는 과정을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 의한 에지 장치가 영상을 전처리하는 과정을 보여주는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 또한, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
본 명세서에서 객체는 드론이 촬영하거나 탐지하는 대상으로 물체(사물, 차량 등), 사람 등을 지칭한다.
또한, 본 발명의 실시예에서 드론은 상이한 종류의 카메라들을 탑재한다. 이들 카메라는 특정한 외부 조건에서 더 정확도가 높은 카메라이다. 일 실시예로, 드론에 탑재되는 야간 타입 카메라는 야간에 객체 촬영의 정확도가 높다.
또한 드론에 탑재되는 주간 타입 카메라는 주간에 객체 촬영의 정확도가 높다. 그러나 반드시 이에 한정되는 것은 아니며, 주변의 밝기, 객체가 위치한 공간의 밝기, 또는 객체가 가지는 물질적 속성 등에 따라 주간 타입 카메라와 야간 타입 카메라는 그 촬영의 정확도가 달라질 수 있다.
주간 타입 카메라의 일 실시예는 CCD(charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor )와 같은 이미지 센서를 이용한 카메라를 포함한다. 본 명세서에서는 주간 타입 카메라의 일 실시예로 CCD 카메라를 중심으로 설명하지만 본 발명이 이에 한정되는 것은 아니다.
야간 타입 카메라의 일 실시예는 적외선(InfraRed) 카메라를 포함한다. 적외선 카메라는 파장에 따라 단파적외선(Short Wave IR, SWIR) 카메라, 중파적외선(Mid Wave IR), 장파적외선(Long Wave IR)으로 세분화할 수 있다. 본 명세서에서는 야간 타입 카메라의 일 실시예로 SWIR 카메라를 중심으로 설명하지만 본 발명이 이에 한정되는 것은 아니다.
도 1은 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들의 구성을 보여주는 도면이다.
에지 장치(edge device)(500)는 에지 컴퓨팅(edge computing)을 수행하는 장치이다. 에지 장치(500)는 드론에 결합될 수 있다. 예를 들어 드론에 탑재되거나 또는 드론 내부에 배치될 수 있는 장치이다. 에지 장치(500)는 주간 타입 카메라(110)와 야간 타입 카메라(120)를 융합하여 지상의 물체 및 인원을 자동으로 탐지할 수 있다.
또한, 에지 장치(500)는 외부의 드론 컨트롤러(drone controller)(20)와 통신하여 촬영한 영상을 송출하거나, 드론 컨트롤러(20)로부터 드론 및 영상촬영에 대한 제어 명령을 수신할 수 있다.
에지 장치(500)는 드론(10)과 드론 컨트롤러(20)와 하나의 시스템을 구성할 수 있다. 비행제어컴퓨터인 FCC(Flight control computer)(30)는 에지 장치(500)에 포함되도록 구성될 수도 있고, 또는 드론(10)에 포함되도록 구성될 수 있다.
에지 장치(500)는 중앙처리장치(200) 및 신경망처리장치(300)를 포함한다. 신경망처리장치(300)는 영상 내에서 객체를 탐지(감지)하고 다중 객체를 추적한다. 중앙처리장치(200)는 주간 타입 카메라(110) 또는 야간 타입 카메라(120) 중 어느 하나 이상이 촬영한 영상을 프리프로세싱(preprocessing)하여 신경망처리장치(300)에게 제공하며, 신경망처리장치(300)가 탐지한 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 드론(10)과 주간 타입 카메라(110)와 야간 타입 카메라(120)를 제어한다.
중앙처리장치(200)는 카메라들(110, 120)이 촬영한 영상을 처리하고 영상의 크기를 조절(resize)하는 전처리 작업을 수행한다. 또한 중앙처리장치(200)는 신경망처리장치(300)가 제공하는 객체 정보를 처리하고 비디오 트래킹(Video Tracking, 비디오 추적)을 수행하며 객체에 대한 DB를 이용하여 타겟 자동 선택(Target Automatic Selection)을 수행한다.
일 실시예로, 중앙처리장치(200)는 신경망 처리장치(300)가 탐지한 객체 정보 및 다중 객체 트래킹 정보와 객체 데이터베이스에 저장된 정보를 비교하여 표적물의 후보 객체를 선택할 수 있다. 또한, 중앙처리장치(200)는 FCC(30)와 통신하여 드론의 비행을 제어하는 명령어를 제공할 수 있다.
신경망처리장치(300)는 중앙처리장치(200)가 전처리 작업을 수행하여 산출한 영상을 이용하여 객체 탐지(Object Detection, 또는 객체 감지) 및 다중 객체 트래킹(Multi Object Tracking)을 수행할 수 있다.
또한, 신경망처리장치(300)는 탐지한 객체 정보와 트래킹한 객체 정보를 중앙처리장치(200)로 전송하여 중앙처리장치(200)가 타겟 자동 선택(Target Automatic Selection)을 수행할 수 있도록 한다.
중앙처리장치(200), 신경망 처리장치(300)는 각각 모듈로 구현될 수 있다. 또는 이들 세 장치들 중 둘 이상이 하나의 모듈로 구현될 수 있다. 예를 들어, SOM(System On Module), SOC(System On Chip)과 같이 시스템을 하나의 모듈 또는 하나의 칩으로 구현할 수 있다.
도 2는 본 발명의 일 실시예에 의한 에지 장치 및 관련된 다른 장치들 사이의 정보의 처리 과정을 보여주는 도면이다. 도 1의 구성에서 정보처리의 과정이 명확하게 드러날 수 있도록 구성요소들의 논리적인 블록의 크기나 배치, 형태가 일부 조절되었다. 논리적인 블록의 크기나 배치, 형태에서 다양해질 수 있으며 이를 구현하는 물리적인 모듈이나 칩 등은 원칩/원모듈 등으로 구성될 수 있다.
에지 장치(500)의 중앙처리장치(200)는 주간 및 야간 타입 카메라들(110, 120)이 촬영한 영상을 이들 카메라들(110, 120)들로부터 입력받아서(S1a, S1b), 영상을 처리하고 영상의 크기를 조절(resize)하는 전처리 태스크(Preprocessing Task)를 수행한다(S2a, S2b). 영상의 빠른 처리를 위해 두 개의 입력된 영상들은 영상처리장치(200)에 분산 입력되어 각각 처리될 수 있다.
전처리 과정, 즉 프리프로세싱 과정에서 중앙처리장치는 영상의 사이즈를 조절하거나 또는 영상에서 객체 미탐지 부분을 제거할 수 있다. 객체 미탐지 부분은 이전 촬영된 영상에서 객체가 식별된 부분과 객체가 식별되지 않은 부분 중에서 객체가 식별되지 않은 부분을 의미한다.
그리고, 전처리된 영상은 각각 신경망 처리장치(Neural Processing Unit)(300)로 입력되고(S3a, S3b), 신경망 처리장치(300)는 객체를 탐지하는 객체 탐지 태스크(Object Detection Task)(S4a, S4b) 및 다중 객체 트래킹 태스크(Multiple Object Tracking Task)(S7a, S7b)를 수행한다.
일 실시예로, 신경망 처리장치(300)는 주간타입 카메라(110)에서 생성된 영상에 대한 객체 탐지 태스크(S4a)와 다중 객체 트래킹 태스크(S7a)를 수행하는 제1NPU(NPU #1, 제1신경망 처리장치)(300a)와 야간타입 카메라(120)에서 생성된 영상에 대한 객체 탐지 태스크(S4b)와 다중 객체 트래킹 태스크(S7b)를 수행하는 제2NPU(NPU #2, 제2신경망 처리장치)(300b)를 포함할 수 있다.
즉, 도 2의 에지 장치(500)는 주간 타입 카메라(110)가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제1신경망 처리장치(300a)와 야간 타입 카메라(120)가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제2신경망 처리장치(300b)를 포함한다.
각각의 전처리된 영상들이 제1NPU(300a) 및 제2NPU(300b)에 입력되면(S3a, S3b), 이들 제1NPU(300a) 및 제2NPU(300b)는 객체를 탐지한 결과(크기, 위치, 신뢰도 및 종류)를 다시 중앙처리장치(200)에게 돌려준다(S6a, S6b, S8a, S8b).
중앙처리장치(200)는 S6a/S6b 과정에서 객체를 탐지한 정보, 그리고 S8a/S8b 과정에서 다중 객체 트래킹 정보를 이용하여 타겟 자동 선택(Target Automatic Selection)을 수행한다(S11). 이때, 타겟을 선택하기 위해 중앙처리장치(200)는 미리 정의된 객체 데이터베이스(Predefined Object DB)를 검색할 수 있다.
타겟 자동 선택(Target Automatic Selection)은 드론 컨트롤러(20)를 통해서 운용자가 선택한 물체나 혹은 DB(Predefined Object)에 사전 정의된 물체를 자동으로 선택하는 기능을 수행하는 것을 일 실시예로 한다.
특히 2개의 영상(일 실시예로 CCD 혹은 SWIR)을 기반으로 컨피던스(Confidence, 신뢰성)가 높은 객체를 선택하여 다시 비디오 트래킹(Video Tracking)(S17) 태스크를 적용하면 객체가 영상의 중심에 있도록 객체를 지속적으로 추적하게 된다.
타겟 자동 선택 태스크(S11) 수행 과정에서는 1회의 탐지에 따른 컨피던스가 낮을 경우 계속 축적하여 신뢰도가 충분히 달성된 경우에 다시 이의 객체 인식을 기반으로 비디오 트래킹 태스크(S17)를 수행한다.
일 실시예로, 타겟이 선택되면 중앙처리장치(200)는 높이 조정 명령어를 생성(Height Command Generator)하여(S12), 명령어를 FCC(30)에게 제공하여 드론의 비행 높이를 제어(Height Control)한다(S13). FCC(30)의 제어(Flight Control)에 따라 드론은 높이를 조절하여 비행하여(S14) 객체 탐지 정확도를 높일 수 있다.
또한, 중앙처리장치(200)는 주간 타입 카메라(110) 또는 야간 타입 카메라(120)를 제어하여 자동으로 선택된 타겟에 대해 비디오 트래킹(Video Tracking)을 수행할 수 있다(S17). 또한, 드론 컨트롤러(20)가 수동으로 특정 타겟을 선택(Manual Selection)하고 타겟에 대한 정보를 중앙처리장치(200)에 제공하여 비디오 트래킹이 진행될 수 있다(S18).
또한, 드론 컨트롤러(20)와 중앙처리장치(200)는 높이에 대한 제약 조건(Height Constraints)을 서로에게 제공할 수 있으며, 이에 기초하여 높이 조절 명령어가 생성될 수 있다(S12). 제약 조건이란 드론의 최대 비행 높이 또는 최소 비행 높이 등에 대한 정보를 포함한다.
중앙처리장치(200)는 또한 컨피던스 매니저(Confidence Manager)를 이용하여 탐지 능력을 증대시킬 수 있다. 컨피던스 매니저는 객체의 컨피던스가 낮고 표적의 크기가 일정 크기(예를 들어 32*32) 보다 적을 경우는 드론(10)의 높이를 낮추어서 물체의 점유영상 크기를 미리 설정된 크기(예를 들어 64*64)까지 올릴 수 있다.
또한, 컨피던스 매니저는 은폐된 부분을 확대하여 탐지성능을 증대시킬 수 있다. 이를 위하여 드론 컨트롤러(20)는 절대높이와 같은 높이의 제약 조건들(Height Constraints)을 반영하여 점유 면적이 충분하거나 혹은 평균 컨피던스 비율(Confidence Rate)이 높은 수준(Pth)에 도달할 때까지 픽셀의 크기가 증대하도록 높이를 낮추는 명령을 발생시키고 이를 비행 제어의 입력정보로 전달한다(S12, S13, S14).
본 발명의 일 실시예에 의한 에지 장치(500)는 CCD와 같은 주간 타입 카메라(110)가 촬영한 이미지와 SWIR과 같은 야간 타입 카메라(120)가 촬영한 이미지를 비교하여 객체를 탐지한다.
지상의 물체를 확인하기 위한 정확도를 높이기 위해, 드론(10)이 촬영한 이미지의 특징을 반영할 수 있는데, 신경망 처리 장치(300)는 드론(10)이 수평 방향으로 움직이며 촬영한 연속된 이미지에서 특정 객체를 식별할 수 있다.
해당 객체가 다른 사물들에 의해 일부 가려진 경우에 드론(10)은 수평 방향으로 움직이며 객체 식별의 정확도를 높일 수 있다. 수평 방향으로 움직이는 과정은 식별하고자 하는 객체가 이동 중인 경우 해당 객체의 이동 방향에 맞추어 드론(10)이 수평 이동하며 객체를 촬영하는 과정이 진행될 수 있다.
또한, 신경망 처리 장치(300)는 드론(10)이 상하 방향으로 움직이면서 촬영한 연속된 이미지에서 특정 물체를 식별할 수 있다. 해당 객체가 다른 사물들에 의해 일부 가려진 경우에 드론(10)은 상하 방향으로 움직이며 객체 식별의 정확도를 높일 수 있다.
또한 해당 객체가 비탈길에서 이동하며 내려가거나 올라가는 위치 이동의 상태인 경우에도 드론(10)은 이동 중인 경우 해당 객체의 상하 이동 방향에 맞추어 상하 이동하며 객체를 촬영하는 과정이 진행될 수 있다.
이는 S11 또는 S17 과정에서 산출된 정보를 이용하여 S12와 같이 비행을 제어하는 것을 일 실시예로 한다.
미리 정의된 객체 데이터베이스는 동일한 지형을 이전에 드론(10)으로 촬영을 한 정보, 또는 지상에서 특정한 유형의 객체들을 촬영한 정보를 저장하며, 타겟 자동 선택(S11) 과정에서 이들 저장된 정보들과 실시간 드론 촬영된 영상을 비교하여 객체를 탐지할 수 있다.
한편, 중앙처리장치(200) 및 신경망처리장치(300)는 이전에 드론으로 촬영한 이미지들을 딥러닝하는 과정에서 이미지 외에 다양한 정보들을 입력할 수 있다.
예를 들어, 딥러닝 과정에서 산지역, 바다(해양)지역 및 건물이 많은 도심지역 등의 키워드를 입력하는 방식을 통하여 제한적이나 성능이 향상되는 학습이 가능한 모델을 탑재하여 탐지하는 기능이 포함될 수도 있다.
또한 딥러닝 과정에서 추가정보(날씨, 시각 등)을 입력하여 특정 날씨 변화에 강인하거나 조명 등의 조건에 강인한 학습을 수행한 결과를 기반으로 추론에서 활용할 있는 키워드를 입력하여 활용할 수도 있다.
특히, 딥러닝 과정에서 사람/동물 등 야간 타입 카메라의 촬영 시 딥러닝과 학습된 결과를 제한하여 활용하는 측면에서 사전에 정의된 특징이 되는 정보를 입력할 수 있다. 예를 들어 실종자가 오래된 경우와 오래되지 않는 경우를 분리하여 사전학습을 수행하고 추론과제에서 이를 고려하여 탐지성능을 증대하는 기능을 포함할 수 있다.
에지 장치의 신경망 처리장치의 일 실시예인 딥러닝 모듈을 탑재하는 경우, 한정된 지역에 활용할 경우 모델의 경량화나 탐지성능의 증대를 위한 해당 지역의 특성을 한정하여 사전에 학습하고 이를 기반으로 추론할 수 있도록 셋팅할 수 있다.
예를 들어, 지상 탐지를 수행하기 전에 에지 장치의 기능을 설정함에 있어서 탐지 지역(산/바다/건물 등) 및 탐지 대상(사람/사물/실종시간 반영 등), 외부 상황에 관련된 정보(날씨, 시각 등)가 에지 장치(500)에 입력될 수 있다. 에지 장치(500)는 입력된 정보에 기반하여 필요한 딥러닝 모듈인 신경망 처리장치(300)를 선택적으로 탑재 또는 적용할 수 있다. 또한 에지 장치(500)는 추론 과정에서 앞서 입력된 탐지 지역, 탐지 대상, 외부 상황에 관련된 정보를 적용하여 신경망 처리장치(300)가 추론을 수행함에 있어서 불필요한 결과물을 미리 필터링할 수 있다. 즉, 신경망 처리장치(300)는 에지 장치(500)가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나 이상에 한정하여 딥러닝을 수행할 수 있다.
그리고, 신경망 처리장치(300)는 에지 장치(500)가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 객체 탐지 및 다중 객체를 추적하여 결과물을 미리 필터링하고 객체 탐지 및 다중 객체 추적의 정확도를 높일 수 있다.
전술한 에지 장치 및 이를 포함한 시스템은 드론에 탑재된 야간 타입 카메라 및 주간 타입 카메라를 융합하여 지상의 물체 및 인원을 자동으로 탐지 및 추적할 수 있다. 특히, 주간/야간 타입 카메라들의 영상을 융합하여 객체를 자동으로 탐지할 수 있으며, 딥러닝 기반의 다중물체의 자동탐지와 이의 결과를 기반으로 다중물체에 대하여 자동추적을 수행할 수 있다.
특히, 다중 추적 중인 객체를 사람이 수동으로 선택하여 자동 추적하는 기능(S18)와 사전에 정의한 물체가 탐지될 때 자동으로 추적하는 기능(S11) 모두를 적용할 수 있다.
신경망 처리장치(300)는 각각의 카메라들이 촬영한 영상 정보를 기반으로 독립적으로 딥러닝 기반의 자동 탐지를 수행하고 그 결과를 확률적으로 융합하는 앙상블(Ensemble) 융합탐지를 수행할 수 있다.
일 실시예로 신경망 처리장치(300)는 각각의 카메라들이 촬영한 영상 정보에 대해 각각 딥러닝을 통해 추론한 결과를 확률적으로 융합할 수 있다.
여기서 신경망 처리장치(300)는 앞서 에지 장치(500)에 입력된 탐지 지역(산/바다/건물 등) 및 탐지 대상(사람/사물/실종시간 반영 등), 외부 상황에 관련된 정보(날씨, 시각 등)에 대한 키워드를 이용하여 주간 타입 카메라의 추론 결과의 가중치와 야간 타입 카메라의 추론 결과의 가중치를 달리 적용할 수 있다.
일 실시예로, 겨울이라는 계절적 상황에서 오후 시간에, 비가 오는 날씨에 추적을 수행할 경우, 신경망 처리장치(300)는 주간 타입 카메라의 가중치를 60%로 설정하고 야간 타입 카메라의 추론 결과의 가중치를 40%로 설정할 수 있다.
다른 실시예로, 여름이라는 계절적 상황에서 정오에 맑은 날씨에 추적을 수행할 경우 신경망 처리장치(300)는 주간 타입 카메라의 가중치를 85%로 설정하고 야간 타입 카메라의 추론 결과의 가중치를 15%로 설정할 수 있다.
또다른 실시예로 야간이지만 빛이 많은 지역에 추적을 수행할 경우, 신경망 처리장치(300)는 주간 타입 카메라의 가중치를 25%로 설정하고 야간 타입 카메라의 추론 결과의 가중치를 75%로 설정할 수 있다.
이러한 가중치 설정은 다양하게 설정할 수 있으며, 과거 유사한 환경(계절/날씨/시각/지역 등)에서 추적 성능이 높았던 가중치 비율을 신경망 처리장치(300)가 저장할 수 있다. 그리고 동일 또는 유사한 환경에서 신경망 처리장치(300)는 과거의 가중치 비율을 이용하여 추론 결과의 정확도를 높일 수 있다.
정리하면, 제1신경망 처리장치(300a)는 딥러닝에 의해 객체를 탐지한 제1예비 결과에 제1확률을 적용한 제1결과를 산출한다. 그리고 제2신경망 처리장치(300b)는 딥러닝에 의해 객체를 탐지한 제2예비 결과에 제2확률을 적용한 제2결과를 산출한다.
그리고, 중앙처리장치(200)는 제1결과 및 제2결과를 앙상블 융합한다. 여기서 중앙처리장치(200)는 전술한 바와 같이, 계절, 시간, 날씨, 탐지 지역, 탐지 대상 중 어느 하나 이상을 이용하여 제1확률 및 제2확률을 설정한다. 또한, 중앙처리장치(200)는 과거의 가중치 비율을 이용하여 제1확률 및 제2확률을 설정하는데 있어 정확도를 높일 수 있다.
또한, 객체 추적은 2개의 카메라들 중에서 특정 카메라의 영상을 선택하여 추적을 수행할 수 있는데, 이 과정에서 딥러닝을 기반으로 수행하는 자동 탐지와 지속적인 N frame 추적을 수행하여 확률이 높은 인식 및 결과를 산출할 수 있다.
드론에 탑재되는 에지 장치(500)는 딥러닝을 기반으로 자동탐지를 수행하고 그 결과를 통신으로 드론 컨트롤러(20)에게 전달할 수 있다.
도 3은 본 발명의 일 실시예에 의한 드론에 결합되는 카메라의 외관을 보여주는 도면이다. 주간 타입 카메라(110) 및 야간 타입 카메라(120)가 배치되어 있으며, 105는 드론(10)과 체결하는 구성요소이다.
야간 타입 카메라(120)는 야간 타입 카메라 디텍터(121)에 의해 영상 촬영을 활성화할 수 있다. 예를 들어, 야간 타입 카메라 디텍터(121)는 현재 빛이 충분하지 못한 상황을 탐지하여 야간타입 카메라(120)를 활성화시킬 수 있다.
에지 장치(500)는 온보드 형태로 구현될 수 있으므로 도 3 내에 칩이나 모듈 형태로 구현될 수 있다.
도 4는 본 발명의 일 실시예에 의한 하드웨어 구성을 보여주는 도면이다. 500a는 에지 장치의 일 실시예로 에지 인공지능 프로세서 보드(Edge AI Processor Board)이다.
중앙처리장치는 시스템 온 모듈(SOM, System On Module)(200a)로 구현될 수 있으며, CPU, 메모리, 버스(Bus) 등을 포함한다. 두 개의 NPU(300a, 300b)가 배치된다.
2개의 입력된 영상 중 CCD는 Mifi-CSI 인터페이스를 통하여 직접 SOM(200a)에 인터페이스될 수 있다. SOM(200a)은 직접 인터페이스가 가능하도록 구성된다. SWIR(120a)는 캠링크(Camlink)를 통하여 촬영한 영상을 FGPA가 PCIe로 변환하여 SOM(200a)에 입력할 수 있다.
SOM(200a)은 4 Core CPU와 1개의 엠베딩용 인터페이스를 관장하는 저속의 CPU 1개, 그리고 비디오, 코덱 등을 처리하는 CPU를 포함할 수 있다.
SOM(200a) 하부의 캐리어(Carrier)보드는 UART, USB, SPI, I2C 및 RJ45(Lan) 인터페이스 및 Driver 칩들로 구성된다.
NPU(Neural Processing Unit)(300a, 300b)는 모듈의 칩으로 SOM(200a)과 PCIe로 인터페이스되어 캐리어(Carrier) 보드에 장착될 수 있다.
외부의 LED는 GPIO 인터페이스를 통하여 제어되고, Core의 마이크로 HDMI 출력을 통하여 영상출력을 디스플레이에 전시할 수 있다.
전원은 외부에서 12VDC 입력을 받아서 다시 DC-DC 컨버터를 통하여 5.0, 3.3, 1.8V를 제공할 수 있다.
도 4와 같이 구성할 경우, 외부 카메라의 경우 Mifi-CSI를 통하여 직접 코어에 입력되거나 기타 입력은 FPGA를 통하여 PCIe로 변환하여 SOM(200a) 코어(core)로 입력된다.
SOM(200a)의 메모리는 프로그램 작동과 딥러닝 하이퍼 파라미터가 충분한 수준으로 3G RAM이 제공될 수 있다.
도 5는 본 발명의 일 실시예에 의한 에지 장치가 객체를 추적하는 과정을 보여주는 도면이다. 드론에 탑재된 야간 타입 카메라(예를 들어 SWIR) 및 주간 타입 카메라(예를 들어 저조도 CCD 카메라)를 기반으로 지상의 침입자, 실종자 및 특정 물체를 자동으로 탐지하고 동시에 자동으로 다중추적을 실시하고 추적 과정에서 확인된 물체를 목표물로 자동 추적하는 과정을 보여준다.
에지 장치(500)의 중앙처리장치(200)는 외부 조도 또는 현재 시각 또는 현재 날씨, 태양의 고도 등 외부 조건을 확인한다(S21). 그리고 에지 장치(500)는 주간타입 카메라(110) 또는 야간 타입 카메라(120) 중 촬영에 적용할 하나 이상의 카메라를 선택한다(S22).
이는 에지 장치(500)가 주변의 빛의 크기나 환경에 따라 카메라를 선택하거나 혹은 이들을 조합하는 방식을 의미한다. 비교적 시설이나 도시 부근의 환경은 자체조명이 존재하므로 주간 타입 카메라(110) 및 야간 타입 카메라(120)를 모두 객체 탐지에 적용할 수 있다.
반면, 이와 달리 산 속인 경우, 또는 별빛과 달빛이 존재하지 않는 칠흑 같은 상황에서는 야간 타입 카메라(120)를 객체 탐지에 적용할 수 있다. 또한 한낮과 같이 밝은 빛이 있는 경우 주간 타입 카메라(110)를 객체 탐지에 적용할 수 있다.
에지 장치(500)는 촬영한 영상을 이용하여 객체 탐지 및 자중 객체 추적을 수행한다(S23). 촬영한 영상들을 입력받은 신경망 처리장치(300)는 인공지능을 기반으로 자동으로 침입자, 실종자 및 특정물체를 주야간 자동탐지할 수 있다.
에지 장치(500)는 주간 및 야간의 상황에 따라 2개의 카메라들(110, 120)를 제어하여 딥러닝기반의 자동탐지를 수행하고 동시에 다중물체의 추적을 구현한다.
한편, 에지 장치(500)는 사전에 정의된 객체가 탐지될 경우 컨피던스 계산 및 추적을 수행한다(S24). 예를 들어, 에지 장치(500)의 중앙처리장치(200)는 두 개의 카메라(110, 120)가 촬영한 영상에서 사전에 정의된 물체가 탐지될 경우 탐지된 결과물에 대해 각 카메라의 결과물에 대해 컨피던스 값이 높은 카메라에 대하여 단일영상의 비디오추적을 실시한다.
그 결과 에지 장치(500)는 누적된 신뢰도를 기반으로 사전에 정의된 물체의 탐지확률(Confidence)을 누적시키며, 그 결과 신뢰도를 올리면서 지속 추적을 실시할 수 있다.
또한, 에지 장치(500)는 컨피던스를 높이기 위해 드론의 비행을 조절할 수 있다(S25). 예를 들어 컨피던스가 낮은 값으로 정의된 물체가 탐지될 경우 에지 장치(500)는 약 N개(30개 프레임 이상)의 탐지를 통하여 불확실성이 제거되고 높은 신뢰성을 획득한 경우 자동추적모드로 바꿀 수 있다.
반면, 불확실성이 제거되지 않을 에지 장치(500)는 다시 드론의 고도를 낮추는 자율비행을 통하여 물체를 지속적을 탐지-추적하여 컨피던스 레벨을 최종확인 한다.
최종 목표대상일 경우 에지 장치(500)는 객체 위치를 특정한다(S26). 예를 들어, 에지 장치(500)는 통제소에 경고와 함께 지도상에 마킹이 가능하도록 카메라의 각도와 고도만을 기반으로 개략의 위치를 마킹하고 지속적으로 대상물체를 추적한다.
전술한 실시예를 적용할 경우, 에지 장치(500)는 드론에 탑재되기에 적합하도록 저전력(예를 들어, 5W 이내) 자체 에지 AI 처리기에 포함된 CPU와 NPU를 포함하도록 구성된다. 또한, 에지 장치(500)의 NPU는 딥러닝에 기반하여 자동으로 물체를 탐지하고 자동으로 다중 객체를 추적할 수 있다.
이는 지상의 드론 컨트롤러(20)가 수행하는 방식 보다 더 빨리 정보 처리가 가능해지고 드론(10)의 제어 용이성을 높일 수 있다.
도 6은 본 발명의 일 실시예에 의한 에지 장치가 카메라를 제어하는 과정을 보여주는 도면이다.
도 6은 중앙처리장치(200)가 외부의 조도 상황과 현재 시각, 날씨, 상기 드론의 위치, 추적대상의 특징 정보 중 어느 하나 이상을 적용하여 촬영 조건을 확인하고 촬영 조건에 따라 주간 타입 카메라(110) 또는 야간 타입 카메라(120) 중 어느 하나 이상을 제어하여 영상을 촬영하는 과정을 보여주는 도면이다.
에지 장치(500)는 외부의 조도 상황 및 현재 시각, 날씨, 드론의 위치 등 촬영 조건을 확인한다(S31). 촬영 조건은 Case_A, Case_B, Case_C로 구분된다(S32). 또한 에지 장치(500)는 지금까지 촬영한 영상에서 컨피던스가 높은 영상이 어떤 카메라로 촬영된 것인지를 확인하여 촬영 조건을 설정할 수 있다.
Case_A는 외부의 빛이 강하거나 낮시간, 또는 날씨가 맑은 상황인 경우의 조건이 된다. 또한 추적 대상(표적체, 추적 대상이 사물인지 사람인지 여부, 사물인 경우 재질과 크기, 움직임 여부 등)이 주간 타입 카메라에 적합한 경우도 Case_A에 해당한다. 이외에도 야간 타입 카메라를 사용할 수 없는 조건 역시 Case_A에 해당한다.
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_A의 조건에서 주간 타입 카메라(110)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S33). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다.
한편, Case_B는 외부의 빛이 강하지 않거나 오후 시간, 또는 날씨가 흐린 상황인 경우의 조건이 된다. 또한 추적 대상이 주간 타임 카메라(110) 및 야간 타입 카메라(120)의 촬영을 필요로 하는 경우도 Case_B에 해당한다.
또는 특정 카메라의 촬영 영상이 모두 현재 외부 상황에서 식별 가능한 경우에도 Case_B에 해당한다. 즉, 어느 한쪽의 카메라도 최저 수준 이상의 영상 품질을 제공할 때에도 Case_B에 해당한다.
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_B의 조건에서 주간 타입 카메라(110) 및 야간 타입 카메라(120)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S34). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다.
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_B의 조건에서 주간 타입 카메라(110) 및 야간 타입 카메라(120)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S34). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다.
Case_C는 외부의 빛이 약하거나 밤시간, 또는 우천 상황인 경우의 조건이 된다. 또한 추적 대상이 야간 타입 카메라(120)의 촬영을 필요로 하는 경우도 Case_C에 해당한다.
에지 장치(500), 예를 들어 중앙처리장치(200)는 Case_C의 조건에서 야간 타입 카메라(120)로 촬영하여 영상의 정확도를 분석한 후 분석결과를 생성한다(S35). 분석 결과는 영상 내에서의 객체의 식별 가능성, 정확도, 컨피던스 등을 포함한다.
중앙처리장치(200)는 분석결과들을 이용하여 현재 상황에서 S31 및 S32에서 설정한 촬영 조건이 적합한지를 판단한다. 즉, 중앙처리장치(200)는 Case_A/Case_B/Case_C가 탐지 가능성을 높이는지를 여부를 판단하여 촬영 조건을 변경하거나 또는 유지한다(S36).
이후 S31~S36을 반복하며 객체 탐지 가능성을 높인다. 에지 장치(500)는 처음에 설정한 촬영 조건에 대해 촬영한 영상의 객체 탐지 성능을 분석하여 촬영 조건을 계속 변경하여 객체 탐지 성능의 정밀도를 높일 수 있다.
전술한 실시예들을 적용할 경우, 에지 장치(500)는 주간 타입 카메라(110), 예를 들어 초저조도 CCD와 야간 타입 카메라(120), 예를 들어 SWIR의 장점을 결합하여 주야간 별빛, 달빛 및 도시의 최소 조명이 있는 환경에서 인공지능기술인 딥러닝기반으로 자동으로 물체를 탐지할 수 있다.
아울러, 에지 장치(500)는 사전에 정의된 물체이거나 사람이 수동으로 선택한 물체에 대하여 지속적인 비디오 추적을 실시하여 이동을 관찰하거나(침입자), 드론의 위치, 자세, 카메라의 방향과 드론 컨트롤러(20)에 포함된 지도상의 고도를 고려하여 대략의 위치를 찾거나(특히 실종자 탐지), 혹은 군사용으로 사전에 정의된 표적을 자동으로 탐지하고 추적하여 이후의 태스크(Task)를 위한 사전 작업으로 활용할 수 있다.
도 7은 본 발명의 일 실시예에 의한 객체추적 과정에서 카메라의 촬영 조건을 변경하거나 드론의 위치를 변경하는 과정을 보여주는 도면이다.
에지 장치(500)의 중앙처리장치(200)는 촬영된 영상에서 상기 신경망 처리장치가 탐지한 하나 이상의 객체의 정확도를 분석하여 도 6의 S33/S34/S35 및 S36 과정을 통해 촬영 조건을 변경하거나 유지할 수 있다. 상세히 살펴보면, 중앙처리장치(200)는 영상에서 현재 촬영 중인 카메라들의 조합(Case_A, Case_B, Case_C)을 유지할 것인지 또는 변경할 것인지를 결정한다(S41). 이 과정에서 중앙처리장치(200)는 카메라의 촬영 배율을 조정할 수 있다.
그리고 중앙처리장치(200)는 결정된 카메라 조합에 적합한 드론의 이동 속도, 이동 방향, 고도를 결정한다(S42). 예를 들어, 특정 객체가 추적 대상일 가능성이 높거나, 특정 객체의 컨피던스를 높이는 것이 필요할 경우, 중앙처리장치(200)는 드론의 이동 속도를 줄이거나, 이동 방향을 해당 객체의 이동 방향에 일치시키거나 또는 드론의 비행 고도를 낮추도록 결정할 수 있다. 그리고 중앙처리장치(200)는 비행 제어 명령을 생성하여(S12) 드론 컨트롤러(20)에게 제공한다(S43).
그 결과 드론 컨트롤러(20)는 비행 제어 명령에 따라 드론(10)의 비행을 제어하고 중앙처리장치(200)는 새롭게 촬영된 영상에서 객체를 추적하며 도 6 및 도 7의 과정을 반복할 수 있다.
에지 장치(500)는 주간 타입 카메라(110), 예를 들어 초저조도 CCD와 야간 타입 카메라(120), 예를 들어 SWIR를 사용하여 주야간에 객체 탐지가 가능하다. 또한, 탐지된 물체의 다중추적을 통하여 이동현상을 관찰하고 동시에 사전에 정의된 물체에 대해서 컨피던스를 높이기 위해 탐지 추적간 고도를 낮추어서 영상이 충분히 큰 영상으로 입력되어 딥러닝의 성능을 보장하는 고도제어 기능을 포함한다.
특히, 에지 장치(500)는 2개의 센서, 즉 카메라의 장점을 이용하고 최종 추적단계에서는 컨피던스가 높은 하나의 영상을 기반으로 추적을 실시하여 지속적으로 관찰하고 탐지와 다중추적을 FOV(Field of View)내의 영상에 대해서 지속적인 수행하고 컨피던스를 축적하여 신뢰도를 증대할 수 있다.
도 8은 본 발명의 일 실시예에 의한 객체의 이동 방향이나 움직임 패턴에 따라 드론을 제어하는 과정을 보여주는 도면이다.
중앙처리장치(200)는 영상에 촬영된 객체(신경망 처리장치가 탐지한 하나 이상의 객체)들 중에서 지속적으로 추적이 필요한 객체, 즉 추적할 객체를 영상에서 식별한다(S45). 그리고 중앙처리장치(200)는 식별된 객체의 이동 방향이나 움직임 패턴(이동 패턴을 포함)을 이용하여 식별된 객체에 대한 영상 정밀도를 높일 수 있는 드론의 비행 방향과 고도, 속도를 결정한다(S46).
예를 들어 식별된 객체가 특정 방향으로 이동하는 것이 확인된 경우, 드론을 해당 방향으로 이동시키거나 이동 속도에 맞추어 드론의 속도를 제어할 수 있다. 이러한 과정에서 촬영된 영상의 컨피던스는 향상되고 추적 정확도가 높아진다.
그리고, 중앙처리장치(200)는 앞서 결정된 방향과 고도, 속도에 따라 비행 제어 명령을 생성하여 드론 컨트롤러(20)에게 제공한다(S47).
정리하면, 중앙처리장치(200) 또는 중앙처리장치(200)를 구성하거나 중앙처리장치에 포함된 컨피던스 매니저는 식별된 객체에 대한 영상 정밀도를 높이기 위해 드론을 수평 또는 하향 이동시키는 비행 제어 명령을 생성한다.
그리고 중앙처리장치(200)는 수평 또는 하향 이동한 드론이 촬영한 영상에서 식별된 객체에 대한 영상 정밀도를 다시 계산하여 비행 제어 명령을 생성할 수 있다.
즉, 영상에 포함된 객체의 크기가 작거나 혹은 컨피던스(확률)이 적을 경우에 중앙처리장치(200) 또는 중앙처리장치(200)를 구성하거나 중앙처리장치에 포함된 컨피던스 매니저는 드론이 고도를 낮추어 영상을 촬영하도록 비행 제어 명령을 생성한다. 지면의 경사도 또는 비행 방향에 따라 드론은 수평 또는 하향 이동을 수행하여 지면에 가까이 비행함으로써 영상의 정확도를 높일 수 있다. 객체가 다른 사물들로 인해 가려질 경우 촬영된 객체의 크기가 작을 수 있다.
전술한 다양한 상황에 대응하여 중앙처리장치(200) 또는 중앙처리장치(200)를 구성하거나 중앙처리장치에 포함된 컨피던스 매니저는 해당 객체에 대응하여 하향이동 및 수평 추적을 수행하여 컨피던스(확률)를 높일 수 있다.
전술한 실시예들을 적용할 경우, 드론은 자동으로 자율비행과 동시에 실종자/침입자/사물을 탐지 및 추적하는 기능을 주간/야간/날씨조건 등에 상관없이 수행할 수 있다.
특히 악천후 상황이나 가시성이 좋지 않는 상황에서 에지 장치(500)는 주간타입 카메라(110) 외에도 야간 타입 카메라(120)를 적용하여 상대적으로 높은 탐지성능을 발휘할 수 있다.
전술한 실시예들을 적용할 경우, 군사용 감시, 해안감시, 시설감시, 범죄자 탐지 및 추적 등을 수행하는 드론을 구현할 수 있으며, 가시성능이 저해받는 환경에서 카메라를 기반으로 사전에 정의되고 학습된 물체를 자동으로 탐지하거나 지속적으로 추적하여 탐지 및 추적 성능을 높일 수 있다.
특히 사람이 드론을 매번 조정하지 않고, 자동으로 침입자와 실종자를 탐지 및 추적할 수 있도록 영상에서 판독된 결과에 따라 에지 장치(500)가 드론(10)의 비행을 제어할 수 있다.
또한, 본 발명의 실시예들을 적용할 경우, 가시 거리가 충분히 확보되는 상황에서는 에지 장치(500)는 주간 타입 카메라(110)를 기반으로 촬영된 영상에서 인공지능(딥러닝)기반의 물체를 실외에서 자동탐지한다.
또한, 실외의 다변하는 환경에 대응하기 위해, 에지 장치(500)는 안개, 연무 혹은 구름이나 미세먼지 등으로 주간 타입 카메라(110)의 가시거리가 제한되거나, 강우 및 강설 등의 환경으로 인해 주간 타입 카메라(110)의 인식 성능이 제한될 경우, 야간 타입 카메라(120)를 이용하여 물체를 자동탐지한다.
한편, 야간 타입 카메라(120)는 IR(적외선)을 이용할 수 있으며, 배경과의 온도차가 있을 경우 사람을 쉽게 탐지할 수 있지만 야간 타입 카메라(120)만으로 객체를 탐지하는 것에는 한계가 있다.
예를 들어, 최근 인공지능의 핵심인 딥러닝 기반의 물체탐지 과정에서 야간 타입 카메라(120)가 온도 차이만을 기반으로 객체를 탐지하는 것은 내부의 특징 등이 잘 표현되지 않아서 딥러닝 기반의 자동탐지 또한 제한을 받는다.
특히 실종자를 자동탐지하는 경찰 드론의 경우 실종자가 3-4시간이 경과되면 주변과 온도차가 없어 야간 타입 카메라(120)로는 탐지가 잘 되지 않는 상황이 된다.
따라서 본 발명의 에지 장치(500)는 주야간 그리고 악천후 환경에서도 딥러닝 기반의 자동탐지를 수행하기 위하여 상호보완적인 2개의 카메라, 즉, SWIR을 일 실시예로 하는 야간 타입 카메라(120)와 CCD를 일 실시예로 하는 주간 타입 카메라(110)를 융합하고 통합으로 자동인식하여 객체 탐지 및 추적의 정확도를 높일 수 있다.
특히, 본 발명의 에지 장치(500)는 영상 촬영 후 지속적으로 객체 탐지 성능을 분석하여 보다 정밀하게 영상을 촬영하기 위해 카메라 촬영 조건과 드론의 비행 조건을 변경할 수 있다. 변경 후에도 에지 장치(500)는 객체 탐지 성능을 지속적으로 확인하여 시간이 지속될수록 에지 장치(500)의 객체 탐지 성능이 향상된다.
도 9는 본 발명의 일 실시예에 의한 에지 장치가 영상을 전처리하는 과정을 보여주는 도면이다.
앞서 중앙처리장치(200)는 카메라들(110, 120)이 촬영한 영상의 사이즈를 조절하거나 또는 영상에서 객체 미탐지 부분을 제거하여 전처리함을 살펴보았다. 객체 미탐지 부분이란, 영상에서 추적체가 없는 것으로 확인된 부분(예를 들어 건물 옥상 등)을 의미한다.
도 9의 (A)는 촬영된 영상을 의미한다. 51a 및 52a에 대해 중앙처리장치(200)가 이전에 촬영했던 영상의 객체 정보나 객체 데이터베이스에 저장된 객체 정보를 이용하여 52a는 추적할 객체가 없는 영역으로 확인할 수 있다.
이 경우, 중앙처리장치(200)는 52a에 대해 신경망처리장치(300)가 불필요한 객체 탐지를 수행하지 않도록 (B)와 같이 해당 영역을 삭제한다. 52b는 영상 내에서 52a를 삭제 처리한 결과이다.
본 발명의 실시예를 적용할 경우, 자동탐지 성능을 주간 타입 카메라에만 적용하지 않고 주간 및 야간 타입 카메라 모두에 적용하므로 외부의 조도나 추적체의 특징이 다양한 상황에도 딥러닝 기반 물체의 자동 탐지 기술을 확보할 수 있다.
특히, 본 발명의 일 실시예에 의한 SWIR을 야간 타입 카메라(120)에 적용할 경우, 야간이나 악환경에서도 딥러닝 기반의 자동탐지에 대한 성능을 확보할 수 있다.
SWIR 카메라가 객체의 특징을 획득할 수 있으므로, 딥러닝 기반의 객체탐지 성능을 향상시킬 수 있다. 또한 악천후 환경에서 주간 타입 카메라가 객체 탐지 성능이 저하될 경우 야간 타입 카메라가 촬영한 영상에 기반하여 객체 탐지 성능을 향상시킬 수 있다.
또한, 에지 장치는 주간 및 야간 타입 카메라들의 영상을 조합하여 융합적으로 탐지할 수 있으므로 자동 탐지 성능을 증대시킬 수 있다.
전술한 실시예들을 적용할 경우, 에지 장치(500)는 드론에 탑재된 SWIR 및 주간 카메라를 융합하여 지상의 물체 및 인원을 자동으로 탐지 및 추적할 수 있다. 본 발명의 시스템은 에지 장치(500)와 드론(10), 그리고 드론 컨트롤러(20)를 포함할 수 있다.
본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니며, 본 발명의 목적 범위 내에서 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 반도체 기록소자를 포함하는 저장매체를 포함한다. 또한 본 발명의 실시예를 구현하는 컴퓨터 프로그램은 외부의 장치를 통하여 실시간으로 전송되는 프로그램 모듈을 포함한다.
전술된 실시예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해되어야 하며, 본 발명의 범위는 전술된 상세한 설명보다는 후술될 특허청구범위에 의해 나타내어질 것이다. 그리고 이 특허청구범위의 의미 및 범위는 물론, 그 등가개념으로부터 도출되는 모든 변환 및 변형 가능한 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 드론 20: 드론 컨트롤러
110: 주간 타입 카메라 120: 야간 타입 카메라
200: 중앙처리장치 300: 신경망처리장치
500: 에지 장치

Claims (25)

  1. 드론에 결합된 에지 장치(Edge device)에 있어서,
    영상 내에서 객체를 탐지하고 다중 객체를 추적하는 신경망 처리장치; 및
    주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하여 상기 신경망 처리장치에게 제공하며, 상기 신경망 처리장치가 탐지한 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 상기 드론과 상기 주간 타입 카메라와 상기 야간 타입 카메라를 제어하는 중앙처리장치를 포함하며,
    상기 에지 장치는
    상기 주간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제1신경망 처리장치와,
    상기 야간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 제2신경망 처리장치를 포함하며,
    상기 제1신경망 처리 장치 및 상기 제2신경망 처리 장치는 상기 주간 타입 카메라 및 상기 야간 타입 카메라 각각이 촬영한 영상 정보를 기반으로 독립적으로 딥러닝 기반의 자동 탐지를 수행하며,
    상기 제1신경망 처리장치는 딥러닝에 의해 객체를 탐지한 제1예비 결과에 제1확률을 적용한 제1결과를 산출하며,
    상기 제2신경망 처리장치는 딥러닝에 의해 객체를 탐지한 제2예비 결과에 제2확률을 적용한 제2결과를 산출하며,
    상기 중앙처리장치는 과거 추적 성능 및 과거 가중치 비율을 이용하여 상기 제1확률 및 상기 제2확률을 설정하며,
    상기 중앙처리장치는 상기 각각의 딥러닝을 통해 추론한 상기 제1결과 및 상기 제2결과를 앙상블 융합하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  2. 제1항에 있어서,
    상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 추적한 결과물을 미리 필터링하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  3. 제2항에 있어서,
    상기 중앙처리장치는 계절, 시간, 날씨, 탐지 지역, 탐지 대상 중 어느 하나 이상을 이용하여 상기 제1확률 및 상기 제2확률을 설정하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  4. 제1항에 있어서,
    상기 신경망 처리장치는 탐지 지역 및 탐지 대상 및 외부 상황 정보에 대한 키워드를 이용하여 상기 주간 타입 카메라의 추론 결과의 가중치와 상기 야간 타입 카메라의 추론 결과의 가중치를 상이하게 적용하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  5. 제1항에 있어서,
    상기 중앙처리장치는 상기 영상의 사이즈를 조절하거나 또는 상기 영상에서 객체 미탐지 부분을 제거하여 전처리하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  6. 제1항에 있어서,
    상기 중앙처리장치는 상기 신경망 처리장치가 탐지한 객체 정보 및 다중 객체 트래킹 정보와 객체 데이터베이스에 저장된 정보를 비교하여 표적물의 후보 객체를 선택하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  7. 제1항에 있어서,
    상기 중앙처리장치는 외부의 조도 상황과 현재 시각, 날씨, 상기 드론의 위치, 추적대상의 특징 정보 중 어느 하나 이상을 적용하여 촬영 조건을 확인하고 상기 촬영 조건에 따라 상기 주간 타입 카메라 또는 상기 야간 타입 카메라 중 어느 하나 이상을 제어하여 영상을 촬영하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  8. 제7항에 있어서,
    상기 중앙처리장치는 상기 신경망 처리장치가 탐지한 하나 이상의 객체의 정확도를 분석하여 상기 촬영 조건의 변경 여부를 결정하고 상기 드론의 이동 속도와 방향, 고도를 결정하여 비행 제어 명령을 생성하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  9. 제7항에 있어서,
    상기 중앙처리장치는 상기 신경망 처리장치가 탐지한 하나 이상의 객체 중에서 추적할 객체를 상기 영상에서 식별하여 상기 식별된 객체의 이동 방향이나 움직임 패턴을 이용하여 상기 식별된 객체에 대한 영상 정밀도를 높일 수 있는 드론의 비행 방향과 고도, 속도를 결정하여 비행 제어 명령을 생성하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  10. 제9항에 있어서,
    상기 중앙처리장치 또는 상기 중앙처리장치가 포함하는 컨피던스 매니저는 상기 식별된 객체에 대한 영상 정밀도를 높이기 위해 상기 드론을 수평 또는 하향 이동시키는 비행 제어 명령을 생성하며,
    상기 중앙처리장치는 상기 수평 또는 하향 이동한 드론이 촬영한 영상에서 상기 식별된 객체에 대한 영상 정밀도를 다시 계산하여 비행 제어 명령을 생성하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  11. 제1항에 있어서,
    상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나 이상에 한정하여 딥러닝을 수행하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  12. 제11항에 있어서,
    상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 상기 객체 탐지 및 다중 객체를 추적하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 드론은 상기 에지 장치의 비행 제어에 따라 비행하는 드론인 것을 특징으로 하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 에지 장치가 탑재된 드론.
  14. 드론에 결합된 에지 장치(Edge device)가 객체를 탐지 및 추적하는 방법에 있어서,
    상기 에지 장치의 중앙처리장치가 주간 타입 카메라 또는 야간 타입 카메라 중 어느 하나 이상이 촬영한 영상을 전처리(preprocessing)하는 단계;
    상기 에지 장치의 신경망 처리장치가 상기 전처리한 영상에서 하나 이상의 객체를 탐지하는 단계; 및
    상기 중앙처리장치가 상기 하나 이상의 객체에 대해 타겟 설정 및 비디오 트래킹을 수행하도록 상기 드론과 상기 주간 타입 카메라와 상기 야간 타입 카메라를 제어하는 단계를 포함하며,
    상기 신경망 처리장치는 제1신경망 처리장치 및 제2신경망 처리장치를 포함하며,
    상기 객체를 탐지하는 단계는,
    상기 제1신경망 처리장치가 상기 주간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 단계;
    상기 제2신경망 처리장치가 상기 야간 타입 카메라가 생성한 영상에서 객체를 탐지하고 다중 객체 트래킹을 수행하는 단계;
    상기 제1신경망 처리 장치 및 상기 제2신경망 처리 장치는 상기 주간 타입 카메라 및 상기 야간 타입 카메라 각각이 촬영한 영상 정보를 기반으로 독립적으로 딥러닝 기반의 자동 탐지를 수행하는 단계;
    상기 제1신경망 처리장치가 딥러닝에 의해 객체를 탐지한 제1예비 결과에 제1확률을 적용한 제1결과를 산출하는 단계;
    상기 제2신경망 처리장치가 딥러닝에 의해 객체를 탐지한 제2예비 결과에 제2확률을 적용한 제2결과를 산출하는 단계;
    상기 중앙처리장치는 과거 추적 성능 및 과거 가중치 비율을 이용하여 상기 제1확률 및 상기 제2확률을 설정하는 단계; 및
    상기 중앙처리장치가 상기 각각의 딥러닝을 통해 추론한 상기 제1결과 및 상기 제2결과를 앙상블 융합하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  15. 제14항에 있어서,
    상기 신경망 처리장치는 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 추적한 결과물을 미리 필터링하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  16. 제15항에 있어서,
    상기 중앙처리장치가 계절, 날씨, 탐지 지역, 탐지 대상 중 어느 하나 이상을 이용하여 상기 제1확률 및 상기 제2확률을 설정하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  17. 제14항에 있어서,
    상기 신경망 처리장치는 탐지 지역 및 탐지 대상 및 외부 상황 정보에 대한 키워드를 이용하여 상기 주간 타입 카메라의 추론 결과의 가중치와 상기 야간 타입 카메라의 추론 결과의 가중치를 상이하게 적용하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  18. 제14항에 있어서,
    상기 전처리하는 단계는
    상기 중앙처리장치가 상기 영상의 사이즈를 조절하거나 또는 상기 영상에서 객체 미탐지 부분을 제거하여 전처리하는 단계를 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  19. 제14항에 있어서,
    상기 제어하는 단계는
    상기 중앙처리장치가 상기 신경망 처리장치가 탐지한 객체 정보 및 다중 객체 트래킹 정보와 객체 데이터베이스에 저장된 정보를 비교하여 표적물의 후보 객체를 선택하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  20. 제14항에 있어서,
    상기 중앙처리장치가 외부의 조도 상황과 현재 시각, 날씨, 상기 드론의 위치, 추적대상의 특징 정보 중 어느 하나 이상을 적용하여 촬영 조건을 확인하고 상기 촬영 조건에 따라 상기 주간 타입 카메라 또는 상기 야간 타입 카메라 중 어느 하나 이상을 제어하여 영상을 촬영하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  21. 제20항에 있어서,
    상기 중앙처리장치가 상기 신경망 처리장치가 탐지한 하나 이상의 객체의 정확도를 분석하여 상기 촬영 조건의 변경 여부를 결정하고 상기 드론의 이동 속도와 방향, 고도를 결정하여 비행 제어 명령을 생성하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  22. 제20항에 있어서,
    상기 중앙처리장치가 상기 신경망 처리장치가 탐지한 하나 이상의 객체 중에서 추적할 객체를 상기 영상에서 식별하여 상기 식별된 객체의 이동 방향이나 움직임 패턴을 이용하여 상기 식별된 객체에 대한 영상 정밀도를 높일 수 있는 드론의 비행 방향과 고도, 속도를 결정하여 비행 제어 명령을 생성하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  23. 제22항에 있어서,
    상기 중앙처리장치 또는 상기 중앙처리장치가 포함하는 컨피던스 매니저가 상기 식별된 객체에 대한 영상 정밀도를 높이기 위해 상기 드론을 수평 또는 하향 이동시키는 비행 제어 명령을 생성하는 단계; 및
    상기 중앙처리장치가 상기 수평 또는 하향 이동한 드론이 촬영한 영상에서 상기 식별된 객체에 대한 영상 정밀도를 다시 계산하여 비행 제어 명령을 생성하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  24. 제14항에 있어서,
    상기 신경망 처리장치가 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나 이상에 한정하여 딥러닝을 수행하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.
  25. 제24항에 있어서,
    상기 신경망 처리장치가 상기 에지 장치가 추적할 대상 정보, 추적 범위에 포함된 지역 정보, 및 추적이 진행되는 시간 정보 중 어느 하나를 이용하여 상기 객체 탐지 및 다중 객체를 추적하는 단계를 더 포함하는, 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 방법.

KR1020210147857A 2021-06-10 2021-11-01 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법 KR102392822B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210075263 2021-06-10
KR20210075263 2021-06-10

Publications (1)

Publication Number Publication Date
KR102392822B1 true KR102392822B1 (ko) 2022-05-02

Family

ID=81593410

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210147857A KR102392822B1 (ko) 2021-06-10 2021-11-01 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102392822B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259110A (zh) * 2023-05-09 2023-06-13 杭州木兰科技有限公司 Atm防护舱的安全检测方法、装置、设备及存储介质
KR102609467B1 (ko) * 2023-06-29 2023-12-04 주식회사 네스앤텍 Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법
KR102646894B1 (ko) * 2022-12-19 2024-03-14 주식회사 딥엑스 고정된 기기 또는 이동가능한 기기에 장착되고, 인공지능 반도체를 탑재한 전자 장치
KR20240064392A (ko) 2022-11-04 2024-05-13 경북대학교 산학협력단 카메라가 탑재된 드론을 이용한 지상 표적 추적 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523740B1 (ko) * 2014-01-03 2015-05-28 (주)유디피 공간 매핑을 이용한 객체 추적 장치 및 방법
KR20190104016A (ko) * 2019-08-16 2019-09-05 엘지전자 주식회사 무인 항공 시스템에서 무인 항공 로봇의 움직임을 제어한 촬영 방법 및 이를 지원하기 위한 장치
JP2020162438A (ja) * 2019-03-28 2020-10-08 セコム株式会社 監視システム及び飛行ロボット
KR102254491B1 (ko) * 2019-11-22 2021-05-21 (주)가시 지능형 영상 분석 모듈을 탑재한 자율비행 드론

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101523740B1 (ko) * 2014-01-03 2015-05-28 (주)유디피 공간 매핑을 이용한 객체 추적 장치 및 방법
JP2020162438A (ja) * 2019-03-28 2020-10-08 セコム株式会社 監視システム及び飛行ロボット
KR20190104016A (ko) * 2019-08-16 2019-09-05 엘지전자 주식회사 무인 항공 시스템에서 무인 항공 로봇의 움직임을 제어한 촬영 방법 및 이를 지원하기 위한 장치
KR102254491B1 (ko) * 2019-11-22 2021-05-21 (주)가시 지능형 영상 분석 모듈을 탑재한 자율비행 드론

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
most main street" the color image and dip running base between day and night pedestrian detection using the thermal IR image" and the Yonsei University master's degree paper. (2017. 02) *
최한길, 컬러 영상과 열적외선 영상을 이용한 딥러닝 기반 주야간 보행자 검출, 연세대학교 석사학위논문.(2017.02.)*

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240064392A (ko) 2022-11-04 2024-05-13 경북대학교 산학협력단 카메라가 탑재된 드론을 이용한 지상 표적 추적 방법 및 장치
KR102646894B1 (ko) * 2022-12-19 2024-03-14 주식회사 딥엑스 고정된 기기 또는 이동가능한 기기에 장착되고, 인공지능 반도체를 탑재한 전자 장치
CN116259110A (zh) * 2023-05-09 2023-06-13 杭州木兰科技有限公司 Atm防护舱的安全检测方法、装置、设备及存储介质
CN116259110B (zh) * 2023-05-09 2023-08-08 杭州木兰科技有限公司 Atm防护舱的安全检测方法、装置、设备及存储介质
KR102609467B1 (ko) * 2023-06-29 2023-12-04 주식회사 네스앤텍 Gnss 이상 상황에서의 영상 항법을 사용하는 자동 비행방법

Similar Documents

Publication Publication Date Title
KR102392822B1 (ko) 주간 타입 카메라 및 야간 타입 카메라를 이용하여 객체를 탐지 및 추적하는 장치 및 방법
US20210217212A1 (en) Method and system for automatically colorizing night-vision images
US11398018B2 (en) Video shadow and motion removal system
US11263751B2 (en) Method and apparatus for image segmentation using an event sensor
Wheeler et al. Face recognition at a distance system for surveillance applications
US9412025B2 (en) Systems and methods to classify moving airplanes in airports
KR101625538B1 (ko) 도시방범이 가능한 다차선 자동차 번호판 인식시스템
CN111103891B (zh) 一种基于骨骼点检测的无人机快速姿势控制***与方法
KR102514301B1 (ko) 이종 센서 융합을 이용한 행동 분석 장치
EP3400405B1 (en) Automatic lighting and security device
KR101375186B1 (ko) 감시 카메라 교란 검출 방법
KR102171384B1 (ko) 영상 보정 필터를 이용한 객체 인식 시스템 및 방법
CN113920354A (zh) 一种基于事件相机的动作识别方法
CN113378782A (zh) 一种车载火灾识别与自动追踪方法
CN110121055B (zh) 用于对象识别的方法和设备
KR102491684B1 (ko) 선실드가 형성된 감시카메라 장치 및 이의 제어방법
KR101154350B1 (ko) 고해상도 영상의 객체 검지 및 분할 인식을 이용한 다중 영상처리시스템 및 방법
CN115578664A (zh) 一种基于视频监控的应急事件判定方法及装置
Tyagi et al. A review paper on real-time video analysis in dense environment for surveillance system
US11126852B2 (en) Method for training a person recognition model using images from a camera, and method for recognizing persons from a trained person recognition model by means of a second camera in a camera network
Bhusal Object detection and tracking in wide area surveillance using thermal imagery
CN114332777B (zh) 高空抛物检测方法及装置
US20230409033A1 (en) Live drone aegis and autonomous drone response
KR20030051557A (ko) 지능형 차량번호인식 시스템
KR102296135B1 (ko) Ptz 카메라의 ptz 최적화 방법에 따른 교통정보 시스템

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant