KR20200056068A - System for tracking an object in unmanned aerial vehicle based on mvs - Google Patents

System for tracking an object in unmanned aerial vehicle based on mvs Download PDF

Info

Publication number
KR20200056068A
KR20200056068A KR1020180139946A KR20180139946A KR20200056068A KR 20200056068 A KR20200056068 A KR 20200056068A KR 1020180139946 A KR1020180139946 A KR 1020180139946A KR 20180139946 A KR20180139946 A KR 20180139946A KR 20200056068 A KR20200056068 A KR 20200056068A
Authority
KR
South Korea
Prior art keywords
image
aerial vehicle
graphic
unmanned aerial
graphics
Prior art date
Application number
KR1020180139946A
Other languages
Korean (ko)
Other versions
KR102177655B1 (en
Inventor
이병섭
Original Assignee
이병섭
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이병섭 filed Critical 이병섭
Priority to KR1020180139946A priority Critical patent/KR102177655B1/en
Publication of KR20200056068A publication Critical patent/KR20200056068A/en
Application granted granted Critical
Publication of KR102177655B1 publication Critical patent/KR102177655B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B64C2201/127—
    • B64C2201/146—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a machine vision system (MVS) based object tracking system equipped with an uncrewed aerial vehicle, which correctly identifies a tracking target object through an image analysis technology of the MVS to make the uncrewed aerial vehicle continue to take pictures and collect information while following the object on the move. The object tracking system includes the uncrewed aerial vehicle and an object recognition apparatus, wherein the uncrewed aerial vehicle includes: a camera equipped with a multivision digital sensor for processing the MVS; a processor sending photographed image data of the camera and position data of the uncrewed aerial vehicle and sending a flight control command value corresponding to a received control signal; and a flight controller receiving the flight control command value and sending a manipulation value such that a flight apparatus of the uncrewed aerial vehicle can be controlled, and the object recognition apparatus includes: a multivision module analyzing the position data and the image data according to an MVS algorithm to detect object graphics within the image and to set an object code; a learning module, based on deep learning, generating criteria for determining the sameness among the object graphics detected by the multivision module; a reading module classifying the object graphics according to the determining criteria generated by the learning module to link an object attribute to a corresponding object code; and an integrated controller generating and sending a control signal for manipulating the flight of the uncrewed aerial vehicle to positions of the object graphics classified by the reading module.

Description

MVS 기반의 무인항공기를 갖춘 객체 추적 시스템{SYSTEM FOR TRACKING AN OBJECT IN UNMANNED AERIAL VEHICLE BASED ON MVS}Object tracking system with MVS-based unmanned aerial vehicle {SYSTEM FOR TRACKING AN OBJECT IN UNMANNED AERIAL VEHICLE BASED ON MVS}

본 발명은 MVS(Machine Vision System; 머신 비전 시스템)의 영상 분석 기술을 통해 추적 대상 객체를 정확히 식별해서 이동 중인 상기 객체를 따라 무인항공기가 촬영을 지속하며 정보를 수집하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템에 관한 것이다.The present invention is equipped with an MVS-based unmanned aerial vehicle that collects information while continuously recording an unmanned aerial vehicle along the moving object by accurately identifying an object to be tracked through image analysis technology of a machine vision system (MVS). Object tracking system.

최근 카메라가 탑재된 드론, 쿼드콥터, 및 헬리캠등의 무인항공기(UAV; Unmanned aerial vehicle)가 상용화되면서 카메라 촬영 등 다양한 분야에서 활용되고 있다.Recently, unmanned aerial vehicles (UAVs) such as drones, quadcopters, and helicams equipped with cameras have been commercialized, and are used in various fields such as camera shooting.

이러한 무인항공기는 기존에 주로 사용되던 방송 및 군사분야를 넘어 엔터테인먼트용으로서, 일반 사용자들이 촬영용 무인항공기를 이용해 카메라 촬영을 목적으로 사용하는 시대로 접어들고 있다.These unmanned aerial vehicles are used for entertainment beyond the conventional broadcasting and military fields, and are entering the era of general users using cameras for shooting purposes.

한편, 카메라를 탑재한 무인항공기는 지상을 촬영하면서 인간, 동물, 차량 등의 활동성을 갖는 객체를 추적하면서 해당 동선을 실시간으로 확인하며, 추적 정보를 기초로 무인항공기의 항로를 자동으로 조정할 수도 있다. On the other hand, the unmanned aerial vehicle equipped with a camera tracks objects having activity such as humans, animals, and vehicles while photographing the ground, checks the corresponding movement line in real time, and can automatically adjust the course of the unmanned aerial vehicle based on the tracking information. .

이를 위해 종래에는 무인항공기의 카메라가 촬영한 영상에서 경계진 윤곽선을 따라 해당 객체를 특정하고, 특정된 상기 윤곽선의 이동을 추적해서 해당 객체의 동선을 확인하며 위치를 추적할 수 있었다.To this end, in the related art, it was possible to identify a corresponding object along a bordered outline from an image photographed by the camera of the unmanned aerial vehicle, track the movement of the specified outline, and check the movement of the object to track the location.

이러한 능동 윤곽선 방식은 데이터 처리를 위한 연산처리가 상대적으로 복잡하지 않으므로 고사양의 하드웨어 프로세스가 불필요했다. 따라서 비전문 분야에서는 상대적으로 저렴한 비용으로도 객체를 추적할 수 있는 종래 기술이 널리 활용되었다.In such an active contour method, a high-spec hardware process was unnecessary because the calculation processing for data processing is relatively uncomplicated. Therefore, in the non-specialized field, a conventional technique capable of tracking an object at a relatively low cost has been widely used.

그런데, 종래 기술은 객체의 윤곽선을 특정해서 객체를 확정하므로, 객체의 윤곽선이 부분적으로 가려지거나 미세한 주변 환경의 변화로 인해 윤관석 파악에 혼란이 발생되어서 추적하는 객체에 대한 정확한 트래킹이 곤란했다. 더욱이 무인항공기는 공중에서 객체를 촬영하므로, 원거리에서 촬영된 영상이미지로부터 객체의 윤곽선을 파악해 분석하는 것은 사실상 한계가 있었다. However, since the prior art determines the object by specifying the contour of the object, it is difficult to accurately track the object to be tracked because the contour of the object is partially obscured or a confusion arises in grasping the Yun Kwan Seok due to a small change in the surrounding environment. Moreover, since unmanned aerial vehicles photograph objects in the air, it is practically limited to understand and analyze the contours of objects from a video image captured from a distance.

결국, 종래 기술은 활용 빈도가 낮았고, 특히 객체를 정확히 추적해서 촬영해야 하는 군사 분야와 생태계 관리 분야와 재난안전 및 감시 분야 등의 전문 분야에서는 종래 능동 윤곽선 방식의 객체 추적 기술을 전혀 활용할 수 없었다.As a result, the prior art has a low frequency of utilization, and in particular, the field of military and ecosystem management and disaster safety and surveillance, which require accurate tracking of objects, have not been able to utilize the conventional active contour method of object tracking at all.

선행기술문헌 1. 특허등록번호 제10-1645722호(2016.08.05 공고)Prior Art Literature 1. Patent Registration No. 10-1645722 (announced on August 5, 2016)

이에 본 발명은 상기의 문제를 해소하기 위해 발명된 것으로, 객체의 패턴을 인식하고 원시 입력 클러스터링을 통해 감각 데이터를 해석하는 신경망 및 기계 학습을 이용하는 방식을 접목해서, 다양한 환경에서도 객체를 탐색해서 추적할 수 있는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템의 제공을 해결하고자 하는 과제로 한다.Accordingly, the present invention was invented to solve the above problems, and by integrating a method using neural networks and machine learning to recognize patterns of objects and interpret sensory data through raw input clustering, search for and track objects in various environments. An object of the present invention is to solve the provision of an object tracking system equipped with an unmanned aerial vehicle based on MVS.

상기의 과제를 달성하기 위하여 본 발명은,In order to achieve the above object, the present invention,

MVS(Machine Vision System) 처리를 위한 머신비전 디지털 센서를 갖춘 카메라; 상기 카메라의 촬영 영상이미지 데이터와 무인항공기의 위치데이터를 발신하고, 수신된 제어신호에 대응한 비행제어 명령값을 발신하는 프로세서; 상기 비행제어 명령값을 수신해서 무인항공기의 비행장치가 조정되도록 조작값을 발신하는 비행컨트롤러;를 구비한 무인항공기,A camera equipped with a machine vision digital sensor for processing the Machine Vision System (MVS); A processor that transmits photographed image image data of the camera and location data of an unmanned aerial vehicle, and transmits a flight control command value corresponding to the received control signal; A flight controller that receives the flight control command value and transmits an operation value so that the flight device of the unmanned aerial vehicle is adjusted.

상기 위치데이터와 영상이미지 데이터를 MVS 알고리즘에 따라 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정하는 머신비전모듈; 상기 머신비전모듈이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하는 러닝모듈; 상기 러닝모듈이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크하는 판독모듈; 상기 판독모듈이 분류한 객체그래픽의 위치로 무인항공기의 비행을 조작하기 위한 제어신호를 생성해 발신하는 통합컨트롤러;를 구비한 객체인식장치A machine vision module that analyzes the location data and image image data according to an MVS algorithm to detect object graphics in the image image and set object codes; A learning module that generates an equality determination criterion between object graphics detected by the machine vision module based on deep learning; A reading module that classifies object graphics according to the determination criteria generated by the learning module and links object attributes to the corresponding object codes; Object recognition device with; an integrated controller that generates and transmits a control signal for manipulating the flight of the unmanned aerial vehicle to the position of the object graphic classified by the reading module

를 포함하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템이다.It is an object tracking system equipped with an MVS-based unmanned aerial vehicle.

상기의 본 발명은, Computer Vision System이 결합된 객체 인식이나 특정 객체추적 시스템을 접목시켜서, 해상에서의 불법조업 선박 감시와 산악에서의 특정 개체 수색 등과 같이 수색을 위해 많은 인원이 필요하고 추적 면적이 넓은 환경에서 신속하고 효율적으로 객체를 추적하고 확인할 수 있는 효과가 있다.According to the present invention, a computer vision system is combined with object recognition or a specific object tracking system, so that a large number of personnel are required and the tracking area is required for searching, such as monitoring illegal fishing vessels at sea and searching for specific objects in the mountains. It has the effect of tracking and checking objects quickly and efficiently in a wide environment.

또한 본 발명은, 객체의 패턴을 인식하고 원시 입력 클러스터링을 통해 감각 데이터를 해석하는 신경망 및 기계 학습을 이용하는 방식을 접목해서, 다양한 환경에서도 높은 신뢰도로 객체를 탐지하고 추적할 수 있는 효과가 있다.In addition, the present invention has an effect of detecting and tracking an object with high reliability even in various environments by grafting a method using neural networks and machine learning to recognize patterns of objects and interpret sensory data through raw input clustering.

도 1은 본 발명에 따른 객체 추적 시스템의 구성을 도시한 블록도이고,
도 2는 본 발명에 따른 객체 추적 시스템의 구동 과정을 도시한 플로차트이고,
도 3은 본 발명에 따른 객체 추적 시스템에서 무인항공기가 객체를 촬영해 추적하는 모습을 개략적으로 도시한 도면이고,
도 4는 본 발명에 따른 객체 추적 시스템이 영상이미지 내에 객체그래픽을 검출하는 모습을 픽셀별로 분류해 개략적으로 도시한 도면이고,
도 5는 본 발명에 따른 객체 추적 시스템이 이전 영상이미지와 후속 영상이미지를 촬영해서 다수의 객체그래픽을 검출한 모습을 개략적으로 도시한 도면이고,
도 6은 본 발명에 따른 객체 추적 시스템이 무인항공기의 위치를 기준으로 객체의 위치를 확인하는 모습을 개략적으로 도시한 측면도이고,
도 7은 본 발명에 따른 객체 추적 시스템을 분할한 모습을 개략적으로 도시한 도면이고,
도 8은 도 7과 같이 객체그래픽의 분할그래픽을 도시한 도면이고,
도 9는 본 발명에 따른 객체그래픽의 이동가능 범위의 후속 객체그래픽을 개략적으로 도시한 도면이다.1 is a block diagram showing the configuration of an object tracking system according to the present invention,
2 is a flowchart showing a driving process of the object tracking system according to the present invention,
3 is a view schematically showing an unmanned aerial vehicle photographing and tracking an object in the object tracking system according to the present invention,
4 is a diagram schematically illustrating a state in which an object tracking system according to the present invention detects object graphics in an image image by pixel,
5 is a diagram schematically showing a state in which an object tracking system according to the present invention detects a plurality of object graphics by photographing a previous image image and a subsequent image image,
6 is a side view schematically showing a state in which the object tracking system according to the present invention confirms the position of an object based on the position of the unmanned aerial vehicle,
7 is a view schematically showing a state in which the object tracking system according to the present invention is divided,
8 is a diagram illustrating a segmented graphic of object graphics as shown in FIG. 7,
9 is a diagram schematically showing a subsequent object graphic of the movable range of the object graphic according to the present invention.

상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.The above-described features and effects of the present invention will become apparent through the following detailed description in connection with the accompanying drawings, and accordingly, those skilled in the art to which the present invention pertains can easily implement the technical spirit of the present invention. There will be. The present invention can be applied to various changes and may have various forms, and specific embodiments will be illustrated in the drawings and described in detail in the text. However, it is not intended to limit the present invention to a specific disclosure form, it should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the present invention. Terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.Hereinafter, the present invention will be described in detail based on the accompanying drawings.

도 1은 본 발명에 따른 객체 추적 시스템의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an object tracking system according to the present invention.

본 실시의 객체 추적 시스템의 무인항공기(10)는, 카메라(12); 카메라(12)의 촬영 영상이미지 데이터와 무인항공기(10)의 위치데이터를 발신하고, 수신된 제어신호에 대응한 비행제어 명령값을 발신하는 프로세서(11); 상기 비행제어 명령값을 수신해서 무인항공기(10)의 비행장치(30)가 조정되도록 조작값을 발신하는 비행컨트롤러(14);를 구비한다.The unmanned aerial vehicle 10 of the object tracking system of the present embodiment includes: a camera 12; A processor 11 that transmits photographed image image data of the camera 12 and position data of the unmanned aerial vehicle 10, and transmits a flight control command value corresponding to the received control signal; And a flight controller 14 that receives the flight control command value and transmits an operation value so that the flight device 30 of the unmanned aerial vehicle 10 is adjusted.

또한 객체인식장치(20)는, 상기 위치데이터와 영상이미지 데이터를 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정하는 머신비전모듈(23); 머신비전모듈(23)이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하는 러닝모듈(21); 러닝모듈(21)이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크하는 판독모듈(22); 상기 객체그래픽의 확인된 위치로 무인항공기(10)의 비행을 조작하기 위한 제어신호를 생성해 발신하는 통합컨트롤러(25);를 구비한다.In addition, the object recognition apparatus 20 includes: a machine vision module 23 that analyzes the location data and image image data, detects object graphics in the image image, and sets object codes; A learning module 21 for generating a criterion for determining equality between object graphics detected by the machine vision module 23 based on deep learning; A reading module 22 that classifies object graphics according to the determination criteria generated by the learning module 21 and links object attributes to the corresponding object codes; And an integrated controller 25 that generates and transmits a control signal for manipulating the flight of the unmanned aerial vehicle 10 to the identified position of the object graphic.

이를 좀 더 구체적으로 설명하면, 카메라(12)는 항공촬영용 고해상 디지털 방식이며, 촬영한 영상이미지를 영상이미지 데이터로 생성해 발신한다. 또한 카메라(12)는 MVS(Machine Vision System) 기반 머신비전모듈(23)과의 연동을 위해 특수 광학 처리된 머신비전 디지털 센서로 구성되어서, 상기 머신비전 디지털 센서에 의해 촬영 및 생성된 영상이미지 데이터를 정밀하게 분석할 수 있게 하고, 이를 통해 객체그래픽을 높은 신뢰도로 검출할 수 있다. 참고로, MVS(Machine Vision System)는 높은 변화속도와 반속성을 가지며 정확성이 요구되는 영상이미지 내에 구조화된 장면을 정량적으로 측정할 수 있다. 카메라(12)의 기타 기술은 공지된 것이므로 그 구조와 구성요소 등에 대해서는 그 설명을 생략한다.In more detail, the camera 12 is a high resolution digital method for aerial photography, and generates and transmits a captured image image as image image data. In addition, the camera 12 is composed of a machine vision digital sensor specially processed for interworking with a machine vision module (MVS) -based machine vision module 23, and image image data captured and generated by the machine vision digital sensor. It can be analyzed accurately, and through this, object graphics can be detected with high reliability. For reference, the MVS (Machine Vision System) can quantitatively measure a structured scene in an image image that has high change speed and semi-attribute and requires accuracy. Other techniques of the camera 12 are well-known, and thus the description of the structure, components, and the like will be omitted.

프로세서(11)는 GPS장치(미도시함)를 제어해서 무인항공기(10)의 GPS값인 위치데이터를 확인하고, 상기 위치데이터와 카메라(12)의 영상이미지 데이터를 객체인식장치(200)에 발신한다. 또한 객체인식장치(20)로부터 수신한 제어신호에 대응하는 비행제어 명령값을 비행컨트롤러(14)에 발신한다. 상기 제어신호는 객체인식장치(20)가 분석한 정보에 따라 자체적으로 무인항공기(10)를 동작시키기 위한 제어신호로서, 작업자가 수동으로 조작하는 리모컨트롤러의 무선 발신 제어신호와 그 형식과 제어 알고리즘이 사실상 유사하다.The processor 11 controls a GPS device (not shown) to check the location data, which is the GPS value of the unmanned aerial vehicle 10, and transmits the location data and the image data of the camera 12 to the object recognition device 200 do. In addition, a flight control command value corresponding to the control signal received from the object recognition device 20 is transmitted to the flight controller 14. The control signal is a control signal for operating the unmanned aerial vehicle 10 itself according to the information analyzed by the object recognition device 20, the radio transmission control signal of the remote controller that the operator manually controls, and the format and control algorithm This is virtually similar.

비행컨트롤러(14)는 무인항공기(10)의 구동모터와 비행 조향장치 등의 비행장치(30)를 조작하기 위한 조작값을 생성한다. 무인항공기(10)가 객체인식장치(20)로부터 제어신호 수신, 상기 제어신호에 대응한 비행제어 명령값 생성, 상기 비행제어 명령값에 대응해서 조작값 생성, 상기 조작값에 따라 비행장치(30) 제어 순으로 이루어지는 본 발명의 비행제어 프로세스는, 전술한 바와 수동 리모컨트롤러로부터 수신한 제어신호에 대응따라 무인항공기(10)가 제어되는 프로세스가 사실상 유사하다.The flight controller 14 generates operation values for manipulating the flight device 30, such as the driving motor and flight steering device of the unmanned aerial vehicle 10. The unmanned aerial vehicle 10 receives a control signal from the object recognition device 20, generates a flight control command value corresponding to the control signal, generates an operation value corresponding to the flight control command value, and a flight device 30 according to the operation value ) The flight control process of the present invention in the order of control is substantially similar to the process in which the unmanned aerial vehicle 10 is controlled according to the control signal received from the manual remote controller as described above.

한편, 객체인식장치(20)의 머신비전모듈(23)은 상기 위치데이터와 영상이미지 데이터를 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정한다. 머신비전모듈(23)은 MVS(Machine Vision System) 기술을 기반으로 구동하며, 카메라(12)의 머신비전 디지털 센서를 통해 촬영된 영상이미지를 데이터로 생성해서, 영상이미지에서 객체그래픽을 신속하고 빠르게 검출한다.On the other hand, the machine vision module 23 of the object recognition device 20 analyzes the location data and image image data to detect object graphics in the image image and set the object code. The machine vision module 23 is driven based on MVS (Machine Vision System) technology, and generates image data captured through the machine vision digital sensor of the camera 12 as data, so that object graphics can be quickly and quickly generated from the image images. To detect.

러닝모듈(21)은 머신비전모듈(23)이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성한다. 검출된 상기 객체그래픽의 형상이 영상이미지별로 동일한 경우에는 해당 객체그래픽이 동일한 것으로 간주해서 분류할 수 있으나, 이동 중에 자세가 변하는 객체의 경우에는 영상이미지의 객체그래픽 형상에 변화가 있을 수밖에 없다. 따라서 이전 영상이미지의 객체그래픽과 후속 영상이미지의 객체그래픽이 서로 다르더라도 두 객체그래픽의 객체가 동일한 것인지 여부를 AI(Artificial Intelligence) 기반의 딥러닝 학습을 통해 동일성 판단기준을 생성한다.The learning module 21 generates equality determination criteria between object graphics detected by the machine vision module 23 based on deep learning. When the detected shape of the object graphic is the same for each image image, the corresponding object graphic can be regarded as the same and classified, but in the case of an object whose posture changes during movement, there is no choice but to change the shape of the object graphic of the image image. Therefore, even if the object graphic of the previous image image and the object graphic of the subsequent image image are different from each other, whether the objects of the two object graphics are the same or not is generated through the AI (Artificial Intelligence) based deep learning learning to determine the sameness.

판독모듈(22)은 러닝모듈(21)이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크한다. 전술한 바와 같이 러닝모듈(21)은 판단기준을 생성하므로, 판독모듈(22)은 영상이미지별 객체그래픽을 판단기준에 따라 동일성 여부를 판독해서 동일한 것으로 확인된 해당 객체그래픽별 객체코드를 동일 객체로 분류하고, 해당 객체코드에 객체의 이름과 종류 등의 객체속성을 링크한다. 따라서 작업자는 영상이미지에서 검출된 객체그래픽의 객체속성을 바로 확인해서 인지할 수 있고, 무인항공기(10)의 추적 여부 등을 결정할 수 있다.The reading module 22 classifies the object graphic according to the judgment criteria generated by the learning module 21 and links the object properties to the corresponding object code. As described above, since the learning module 21 generates a judgment criterion, the reading module 22 reads the object graphic for each image image according to the judgment criterion and determines whether the object code for each object graphic identified as the same is the same object. Classify as and link object properties such as object name and type to the object code. Therefore, the operator can immediately recognize and recognize the object attribute of the object graphic detected from the image image, and determine whether the unmanned aerial vehicle 10 is tracked or the like.

통합컨트롤러(25)는 판독모듈(22)이 분류한 객체그래픽의 위치로 무인항공기(10)의 비행을 조작하기 위한 제어신호를 생성해 발신한다. 좀 더 구체적으로 설명하면, 전술한 프로세스에 따라 머신비전모듈(23)과 판독모듈(22)과 러닝모듈(21)이 후속 영상이미지에서 객체그래픽을 실시간으로 판독 및 분류하고, 통합컨트롤러(25)는 판독 및 분류된 객체그래픽의 대상 객체의 위치 변화를 확인해서 실시간으로 제어신호를 생성 및 발신하고, 이를 통해서 무인항공기(10)는 이동 중인 객체를 추적하며 비행할 수 있다.The integrated controller 25 generates and transmits a control signal for manipulating the flight of the unmanned aerial vehicle 10 to the position of the object graphic classified by the reading module 22. More specifically, the machine vision module 23, the reading module 22, and the learning module 21 read and classify object graphics from the subsequent image images in real time according to the above-described process, and the integrated controller 25 Checks the position change of the target object of the read and classified object graphic, generates and transmits a control signal in real time, through which the unmanned aerial vehicle 10 can track and move the moving object.

한편, 본 실시의 객체 추적 시스템의 무인항공기(10)는 객체와의 거리를 측정해서 벡터거리 데이터를 생성하는 라이다(15)를 더 구비하고; 프로세서(11)는 무인항공기(10)의 고도데이터를 생성해서 벡터거리 데이터와 함께 발신한다.On the other hand, the unmanned aerial vehicle 10 of the object tracking system of the present embodiment further includes a liner 15 that measures distance to the object to generate vector distance data; The processor 11 generates altitude data of the unmanned aerial vehicle 10 and transmits it together with vector distance data.

라이다(15)는 레이저를 이용해서 객체와의 직선 거리와 각도를 측량하기 위해서 무인항공기(10)와 객체 간의 벡터거리 데이터를 생성하는 것으로서, 무인항공기(10)에서 카메라(12)와 나란히 설치된다.The lidar 15 generates vector distance data between the unmanned aerial vehicle 10 and the object in order to measure a straight line distance and angle with the object using a laser, and is installed side by side with the camera 12 in the unmanned aerial vehicle 10. do.

한편, 무인항공기(10)는 고도측량계(미도시함)가 측정한 고도값을 데이터로 생성하고, 전술한 벡터거리 데이터와 함께 객체인식장치(20)로 발신한다.On the other hand, the unmanned aerial vehicle 10 generates altitude values measured by an altitude gauge (not shown) as data, and transmits them to the object recognition device 20 together with the above-described vector distance data.

객체인식장치(20)는, 위치분석모듈(24)을 더 포함한다. 위치분석모듈(24)은 상기 위치데이터와 벡터거리 데이터를 기초로 해당 객체의 실측위치를 확인하고, 상기 영상이미지 데이터의 영상이미지에서 위치데이터를 기준으로 해당 객체의 영상위치를 확인하며, 상기 실측위치와 영상위치를 비교하여 해당 실측위치를 검증한다.The object recognition device 20 further includes a location analysis module 24. The location analysis module 24 checks the actual location of the object based on the location data and the vector distance data, and confirms the image location of the object based on the location data from the image image of the image data. Compare the location with the image location to verify the actual location.

객체인식장치(20)에 대한 보다 구체적인 설명은 아래에서 다시 한다.A more detailed description of the object recognition device 20 will be made again below.

미 설명한 통신모듈(16, 26)은 무인항공기(10)와 객체인식장치(20) 간에 무선 통신을 위한 구성요소로서, 일반적인 무선 통신기기가 모두 적용될 수 있다.The unexplained communication modules 16 and 26 are components for wireless communication between the unmanned aerial vehicle 10 and the object recognition device 20, and all general wireless communication devices can be applied.

도 2는 본 발명에 따른 객체 추적 시스템의 구동 과정을 도시한 플로차트이고, 도 3은 본 발명에 따른 객체 추적 시스템에서 무인항공기가 객체를 촬영해 추적하는 모습을 개략적으로 도시한 도면이고, 도 4는 본 발명에 따른 객체 추적 시스템이 영상이미지 내에 객체그래픽을 검출하는 모습을 픽셀별로 분류해 개략적으로 도시한 도면이고, 도 5는 본 발명에 따른 객체 추적 시스템이 이전 영상이미지와 후속 영상이미지를 촬영해서 다수의 객체그래픽을 검출한 모습을 개략적으로 도시한 도면이고, 도 6은 본 발명에 따른 객체 추적 시스템이 무인항공기의 위치를 기준으로 객체의 위치를 확인하는 모습을 개략적으로 도시한 측면도이다.FIG. 2 is a flowchart showing a driving process of an object tracking system according to the present invention, and FIG. 3 is a schematic view showing an unmanned aerial vehicle photographing and tracking an object in the object tracking system according to the present invention, and FIG. 4 Is a diagram schematically classifying a state in which the object tracking system according to the present invention detects an object graphic within a video image by pixel, and FIG. 5 shows an object tracking system according to the present invention capturing a previous video image and a subsequent video image Thus, a diagram schematically showing a state in which a plurality of object graphics are detected, and FIG. 6 is a side view schematically showing a state in which the object tracking system according to the present invention confirms the position of an object based on the position of the unmanned aerial vehicle.

S10; 영상이미지 수집 단계S10; Video image collection stage

도 3과 같이 비행 중인 무인항공기(10)의 카메라(12)는 머신비전 디지털 센서가 촬영한 영상이미지를 데이터로 생성해 수집한다. As shown in FIG. 3, the camera 12 of the unmanned aerial vehicle 10 in flight generates and collects image images captured by the machine vision digital sensor as data.

카메라(12)는 MVS 처리를 위해 특수 광학 처리된 머신비전 디지털 센서가 지상을 촬영해서 해당하는 영상이미지 데이터를 생성하고, 각 영상이미지 데이터별로 순차 처리한다. The camera 12 generates a corresponding image image data by photographing the ground by a machine vision digital sensor specially processed for MVS processing, and sequentially processes each image image data.

계속해서 프로세서(11)는 카메라(12)의 촬영 영상이미지 데이터와 무인항공기의 위치데이터를 발신한다. 상기 위치데이터는 무인항공기(10)에 설치된 GPS장치(미도시함)로부터 확인한 GPS값이며, 영상이미지 데이터의 생성 위치별로 링크한다. 결국, 영상이미지 데이터에 링크된 위치데이터를 통해서, 해당 영상이미지 데이터의 영상이 무인항공기(10)가 어느 위치에 있을 때 촬영된 것인지를 확인할 수 있다.Subsequently, the processor 11 transmits the captured image image data of the camera 12 and the location data of the unmanned aerial vehicle. The location data is a GPS value confirmed from a GPS device (not shown) installed in the unmanned aerial vehicle 10, and links to each location where image image data is generated. As a result, through the location data linked to the image image data, it is possible to check which location the image of the image image data was captured when the unmanned aerial vehicle 10 is in.

카메라(12)의 촬영 프로세스는 일반적인 디지털 카메라의 프로세스와 유사하므로, 카메라(12)의 동작 방식에 대해서는 구체적인 설명을 생략한다.Since the shooting process of the camera 12 is similar to that of a general digital camera, a detailed description of the operation method of the camera 12 is omitted.

S20; MVS분석 단계S20; MVS analysis phase

무인항공기(10)로부터 영상이미지 데이터와 위치데이터를 수신하면, 머신비전모듈(23)은 상기 위치데이터와 영상이미지 데이터를 MVS 알고리즘에 따라 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정한다.Upon receiving the image image data and the location data from the unmanned aerial vehicle 10, the machine vision module 23 analyzes the location data and the image image data according to the MVS algorithm to detect the object graphic in the image image and set the object code.

디지털 카메라(12)가 촬영한 영상이미지는 도 4와 같이 픽셀 단위로 '온' 또는 '오프'가 설정되어서, '온'으로 설정된 픽셀들의 조합에 의해 다양한 그래픽이 생성된다. 머신비전모듈(23)은 이렇게 생성된 그래픽들을 설정규약에 따라 각각 분석해서, 특정 객체에 대한 객체그래픽(T1, T2)을 검출한다. The video image taken by the digital camera 12 is set to 'on' or 'off' in units of pixels as shown in FIG. 4, and various graphics are generated by a combination of pixels set to 'on'. The machine vision module 23 analyzes each of the generated graphics according to a set rule, and detects object graphics T1 and T2 for a specific object.

상기 설정규약은 '온'로 설정된 픽셀이 끊김 없이 이어져서 폐쇄 구간을 이루면, 해당 폐쇄 구간을 객체그래픽(T1, T2)으로 확정해 검출하도록 이루어진다. 또한 상기 설정규약은 도 4와 같이 둘 이상의 폐쇄 구간이 서로 이어지면, 해당 폐쇄 구간들의 조합으로 된 그래픽을 객체그래픽으로 확정해 검출하도록 이루어진다.In the setting rule, when the pixels set to 'on' continue to form a closed section without interruption, the closed section is determined by object graphics T1 and T2 and detected. In addition, the setting protocol is configured to detect a graphic composed of a combination of the closed sections as an object graphic when two or more closed sections are connected to each other as shown in FIG. 4.

그런데, 도 3과 같이 나무 또는 건물 등의 배리어(B)에 의해 발생한 사각지대에 객체(AT1, AT2)가 위치하고 카메라(12)가 객체(AT1, AT2)를 촬영하면, 도 5와 같이 객체(AT1, AT2)의 객체그래픽(T2, T3) 일부가 배리어의 객체그래픽(B1, B2)에 의해 가려지게 된다. 더욱이, 상기 설정규약에 따라 확인된 배리어(B)의 객체그래픽(B1, B2)과 보행자 등의 객체그래픽(T2, T3)이 각각 폐쇄 구간을 이루며 이어지므로, 배리어(B)의 객체그래픽(B1, B2)과 보행자 등의 객체그래픽(T2, T3)은 하나의 객체이미지로 확정될 수 있다.However, when the objects AT1 and AT2 are located in a blind spot caused by a barrier B such as a tree or a building as shown in FIG. 3, and the camera 12 photographs the objects AT1 and AT2, as shown in FIG. A part of the object graphics (T2, T3) of AT1, AT2) is obscured by the object graphics (B1, B2) of the barrier. Moreover, the object graphics (B1, B2) of the barrier (B) and the object graphics (T2, T3) of pedestrians, etc., identified according to the above setting rules, respectively, form a closed section, and thus the object graphics (B1) of the barrier (B) , B2) and object graphics (T2, T3) such as pedestrians may be determined as one object image.

그러므로 머신비전모듈(23)은, 도 5의 (a)도면의 이전 영상이미지와 도 5의 (b)도면의 후속 영상이미지에서 각각 위치데이터를 기준으로 지정범위 내에 위치에 있는 객체그래픽을 확인하고, 서로 이어지는 다수의 폐쇄 구간들 중 이동성 여부와 이동방향의 차이 등을 비교해서, 서로 차이가 확인된 폐쇄 구간을 각각 독립된 객체그래픽을 확정한다. 따라서 도 5와 같이 배리어(B)의 객체그래픽(B1, B2)과 이어진 보행자 등의 객체그래픽(T2, T3)은 서로 독립된 객체그래픽으로 확정해 검출한다. 이렇게 검출된 객체그래픽은 영상이미지에서 다른 객체그래픽과의 식별을 위해 객체코드가 설정된다.Therefore, the machine vision module 23 checks the object graphic located within the designated range based on the position data from the previous image image in FIG. 5 (a) and the subsequent image image in FIG. 5 (b). , Compares the mobility and the difference in the moving direction among the plurality of closed sections connected to each other, and determines an independent object graphic for each closed section in which the difference is confirmed. Therefore, as shown in FIG. 5, the object graphics (B1, B2) of the barrier B and the object graphics (T2, T3) of a pedestrian or the like are determined and detected as independent object graphics. The detected object graphic is set with an object code for identification with other object graphics in the video image.

S30; 추적 대상 객체 검출 단계S30; Object detection step

러닝모듈(21)은 머신비전모듈(23)이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하고, 판독모듈(22)은 러닝모듈(21)이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크한다.The learning module 21 generates equality determination criteria between object graphics detected by the machine vision module 23 based on deep learning, and the reading module 22 determines the determination criteria generated by the learning module 21 Classify the object graphic according to the link and link the object properties to the object code.

전술한 판단기준은 러닝모듈(21)이 학습한 객체그래픽 간에 동일성 여부를 확인할 수 있는 기준으로서, 이동 중에 형상의 변화가 있는 객체그래픽들 간에 동일성 여부와, 배리어의 객체이미지(B1, B2)에 의해 일부가 가려진 객체그래픽과 완전한 형상의 객체그래픽 간에 동일성 여부를 각각, 상기 판단기준에 의해서 판독모듈(22)이 확인할 수 있다.The above-described determination criteria are criteria for confirming whether or not the learning module 21 is identical between the learned object graphics, and whether the object graphics having a shape change during movement are identical and the barrier object images B1 and B2. The readout module 22 may check whether the object graphic partially covered by the object graphic and the object graphic of the complete shape are identical, respectively, according to the determination criteria.

상기 판단기준에 의한 객체그래픽의 동일성 판단 프로세스는 실시 예를 참조하여 아래에서 좀 더 구체적으로 설명하겠다.The process of determining the identity of object graphics based on the determination criteria will be described in more detail below with reference to embodiments.

이전 영상이미지 내에 객체그래픽(T1, T2, T3)과 후속 영상이미지 내에 객체그래픽(T1', T2', T3')의 동일성이 확인되면, 영상이미지별 객체그래픽이 동일한 객체에 대한 것임을 확정할 수 있다. 이렇게 확정된 객체그래픽별 객체코드에 객체의 이름과 종류 등의 객체속성을 링크해서, 작업자는 객체속성으로 이전 영상이미지 또는 후속 영상이미지에서 해당하는 객체그래픽을 검색할 수 있다.If the identity of the object graphic (T1, T2, T3) in the previous image image and the object graphic (T1 ', T2', T3 ') in the subsequent image image are confirmed, it can be determined that the object graphic for each image image is for the same object. have. By linking the object properties, such as the name and type of the object, to the determined object code for each object graphic, the operator can search for the corresponding object graphic from the previous video image or the subsequent video image as the object property.

S40; 객체 추적 단계S40; Object tracking steps

한편, 판독모듈(22)은 이전 영상이미지의 객체그래픽과 후속 영상이미지의 객체그래픽 중 동일한 것으로 확인된 객체그래픽의 위치를 확인해서, 해당 객체그래픽의 이동성과 이동경로를 확인하고, 이동성이 확인되면 해당 객체그래픽의 대상 객체가 어떤 방향으로 이동하는지를 추적해서 무인항공기(10)의 비행을 조정할 수 있다.On the other hand, the reading module 22 checks the position of the object graphic identified as the same among the object graphic of the previous image image and the object graphic of the subsequent image image, checks the mobility and the movement path of the corresponding object graphic, and when the mobility is confirmed It is possible to adjust the flight of the unmanned aerial vehicle 10 by tracking in which direction the target object of the corresponding object graphic moves.

객체 추적에 대해 좀 더 구체적으로 설명하면, 객체인식장치(20)의 통합컨트롤러(25)는 무인항공기(10)의 비행을 조정하기 위해 객체의 위치를 확인해야 하고, 확인된 위치로 무인항공기(10)를 조정할 수 있어야 한다. 이를 위해서 객체인식장치(20)는 위치분석모듈(24)을 더 포함하고, 아울러 무인항공기(10)를 라이다(15)를 더 포함한다.In more detail about object tracking, the integrated controller 25 of the object recognition device 20 needs to check the position of the object to adjust the flight of the unmanned aerial vehicle 10, and the unmanned aerial vehicle ( 10) should be able to adjust. To this end, the object recognition device 20 further includes a location analysis module 24, and further includes an unmanned aerial vehicle 10 and a lidar 15.

라이다(15)는 도 6과 같이 객체와의 벡터거리(D)를 측정해서 벡터거리 데이터를 생성한다.The lidar 15 generates vector distance data by measuring the vector distance D with the object as shown in FIG. 6.

위치분석모듈(24)은 무인항공기(10)로부터 수신한 위치데이터(POS1)와 벡터거리 데이터를 기초로 해당 객체의 실측위치(POS2)를 확인하고, 상기 영상이미지 데이터의 영상이미지에서 위치데이터(POS1)를 기준으로 해당 객체의 영상위치를 확인하며, 상기 실측위치(POS2)와 영상위치를 비교하여 해당 실측위치(POS2)를 검증한다.The location analysis module 24 checks the actual location (POS2) of the corresponding object based on the location data (POS1) and vector distance data received from the unmanned aerial vehicle 10, and the location data ( Check the video position of the object based on POS1), and compare the actual position (POS2) with the video position to verify the actual position (POS2).

도 6과 같이 무인항공기(10)는 자체적으로 위치데이터(POS1)와 고도데이터(H)를 측정하므로, 위치분석모듈(24)은 벡터거리 데이터를 위치데이터(POS1)를 기준으로 연산해서 무인항공기(10)와 해당 객체(AT)와의 수평거리(D')를 확인한다(객체와의 거리 확인 단계; S41).6, the unmanned aerial vehicle 10 measures location data (POS1) and altitude data (H) by itself, so the location analysis module (24) calculates vector distance data based on the location data (POS1) and unmanned aerial vehicle. (10) Check the horizontal distance (D ') between the object (AT) and the object (step of checking the distance to the object; S41).

또한 벡터거리 데이터는 무인항공기(10)를 기준으로 방향 정보도 포함하므로, 위치분석모듈(24)은 상기 방향 정보를 통해 객체(AT)의 실측위치(POS2)를 확인한다(객체 위치 확인 단계; S42).In addition, since the vector distance data also includes direction information based on the unmanned aerial vehicle 10, the position analysis module 24 checks the actual position POS2 of the object AT through the direction information (object position confirmation step; S42).

한편, 도 5와 같이 무인항공기(10)의 카메라(12)가 촬영한 영상이미지에는 무인항공기(10)와 객체그래픽(T1 내지 T3)이 구성되므로, 위치분석모듈(24)은 픽셀 단위를 좌표값으로 해서 무인항공기(10)의 위치 대비 객체그래픽(T1 내지 T3)의 상대적 위치를 확인할 수 있다. 따라서 위치분석모듈(24)은 무인항공기(10)를 기준으로 객체그래픽(T1 내지 T3)의 방향성을 확인할 수 있고, 무인항공기(10)와 다른 객체그래픽들 간에 상대적 거리를 확인한다. 그리고 위치분석모듈(24)은 영상이미지에서 확인된 객체그래픽의 방향성과 상대적 거리를 실측위치(POS2)와 비교해서, 실측위치(POS2)가 정당한지 여부를 검증한다(영상이미지와 비교 검수 단계; S43).On the other hand, since the unmanned aerial vehicle 10 and object graphics (T1 to T3) are configured in the image image taken by the camera 12 of the unmanned aerial vehicle 10 as shown in FIG. 5, the position analysis module 24 coordinates pixel units. As a value, the relative position of the object graphics T1 to T3 relative to the position of the unmanned aerial vehicle 10 can be confirmed. Therefore, the position analysis module 24 can check the directionality of the object graphics T1 to T3 based on the unmanned aerial vehicle 10, and check the relative distance between the unmanned aerial vehicle 10 and other object graphics. Then, the location analysis module 24 compares the directionality and relative distance of the object graphic identified in the image image with the actual location (POS2), and verifies whether the actual location (POS2) is legitimate (compared with the image image; S43).

전술한 과정을 통해 위치분석모듈(24)이 객체의 실측위치(POS2)를 확인하면, 통합컨트롤러(25)는 실측위치(POS2)로 무인항공기(10)를 비행시키기 위한 제어신호를 생성해 발신하고, 상기 제어신호를 수신한 프로세서(11)는 비행제어 명령값을 생성해서 비행컨트롤러(14)에 전달한다. 물론 비행컨트롤러(14)는 상기 비행제어 명령값에 대응한 조작값을 생성해서 비행장치(30)에 전달한다.When the position analysis module 24 confirms the actual position (POS2) of the object through the above-described process, the integrated controller 25 generates and transmits a control signal for flying the unmanned aerial vehicle 10 to the actual position (POS2). Then, the processor 11 receiving the control signal generates a flight control command value and transmits it to the flight controller 14. Of course, the flight controller 14 generates an operation value corresponding to the flight control command value and transmits it to the flight device 30.

도 7은 본 발명에 따른 객체 추적 시스템을 분할한 모습을 개략적으로 도시한 도면이고, 도 8은 도 7과 같이 객체그래픽의 분할그래픽을 도시한 도면이고, 도 9는 본 발명에 따른 객체그래픽의 이동가능 범위의 후속 객체그래픽을 개략적으로 도시한 도면이다.7 is a view schematically showing a state in which the object tracking system is divided according to the present invention, FIG. 8 is a view showing a segmented graphic of object graphics as in FIG. 7, and FIG. 9 is an object graphic according to the present invention. It is a diagram schematically showing a subsequent object graphic in a movable range.

도 7의 (a)도면과 같이, 러닝모듈(21)은 머신비전모듈(23)이 검출한 객체그래픽(T)의 점유면적 내에 지정비율의 간격으로 지정 개수의 기준점(C1 내지 C7)을 설정하고, 기준점(C1 내지 C7)을 중심으로 이웃하는 다른 기준점이 적어도 하나 이상 범위 내에 있도록 지정비율의 반경을 갖는 분할범위(P1)를 설정해서 분할범위별 그래픽인 분할그래픽을 판단기준으로 생성한다.As shown in FIG. 7 (a), the learning module 21 sets a reference number of reference points C1 to C7 at a specified ratio within an area occupied by the object graphics T detected by the machine vision module 23. Then, by setting the division range P1 having a radius of a specified ratio so that other reference points neighboring around the reference points C1 to C7 are within at least one range, a divisional graphic, which is a graphic for each division range, is generated as a judgment criterion.

기준점(C1 내지 C7)은 점유면적에 따라 그 개수가 달라질 수 있고, 분할범위(P1) 또한 점유면적에 따라 달라질 수 있으며, 기준점(C1 내지 C7)의 간격 또한 달라질 수 있다.The number of reference points C1 to C7 may vary depending on the occupied area, the division range P1 may also vary according to the occupied area, and the intervals of the reference points C1 to C7 may also vary.

한편, 분할범위(P1)는 이웃하는 다른 기준점이 범위 내에 있도록 충분한 면적을 이루며, 이를 통해 이웃하는 기준점의 분할범위(P2)와 서로 동일한 구간의 그래픽이 포함된다. 따라서 도 8과 같이 1개의 객체이미지(T)는 다수의 분할범위(P1 내지 P7)로 분할되고, 이렇게 분할된 분할범위(P1 내지 P7)의 분할그래픽이 동일성 판단기준이 된다.On the other hand, the divided range (P1) forms a sufficient area so that other neighboring reference points are within the range, and through this, a graphic of the same section as the divided range (P2) of the neighboring reference points is included. Therefore, as shown in FIG. 8, one object image T is divided into a plurality of divided ranges P1 to P7, and the divided graphic of the divided divided ranges P1 to P7 serves as a criterion for determining identity.

판독모듈(22)은, 도 9와 같이 실측위치(POS2)에 변화가 있는 객체그래픽(Ta)의 이동가능 범위를 지정해서, 이전 영상이미지 내에 이전 객체그래픽(Ta)의 이동가능 범위에 있는 후속 객체그래픽(Tb 내지 Th)을 후속 영상이미지에서 검출하고, 이전 객체그래픽(Ta)의 분할그래픽과 후속 객체그래픽(Tb 내지 Th)의 해당 분할그래픽 간에 동일성 여부를 판단하며, 동일한 이전 객체그래픽과 후속 객체그래픽을 상기 이전 및 이후 영상이미지 내에 다른 객체그래픽과 분류한다.The reading module 22 designates a movable range of the object graphic Ta having a change in the actual position POS2, as shown in FIG. 9, so that the reading module 22 follows the movable range of the previous object graphic Ta in the previous image image. Object graphics (Tb to Th) are detected in the subsequent image image, and it is determined whether there is the same between the segmented graphic of the previous object graphic (Ta) and the corresponding segmented graphic of the subsequent object graphic (Tb to Th), and the same previous object graphic and subsequent Object graphics are classified with other object graphics in the before and after image images.

이를 좀 더 구체적으로 설명하면, 이전 영상이미지와 후속 영상이미지 내에 동일한 위치에 있는 객체그래픽은 사실상 동일한 객체로 판단하나, 이동성이 있는 객체의 객체그래픽(Ta, Ta')은 이전 영상이미지와 후속 영상이미지 각각에서 서로 다른 위치에 형성되므로, 해당 객체의 동일성 여부를 러닝모듈(21)의 판단기준을 통해 확인해야 한다. 그런데 영상이미지에는 해당 객체 외에도 수많은 객체가 촬영되고, 이를 통해 수많은 객체그래픽이 형성된다. 그러므로, 판독모듈(22)은 동일성 판단 대상이 되는 객체그래픽들 중 일부의 객체그래픽(Tb 내지 Th)만을 검출해서 이전 객체그래픽(Ta)와 동일한 후속 객체그래픽을 확인한다.In more detail, the object graphic at the same position in the previous video image and the subsequent video image is determined to be the same object, but the object graphic (Ta, Ta ') of the movable object is the previous video image and the subsequent video. Since the images are formed at different locations in each of the images, it is necessary to check whether the corresponding objects are identical through the judgment criteria of the learning module 21. However, in the image image, numerous objects are photographed in addition to the corresponding objects, and through this, numerous object graphics are formed. Therefore, the reading module 22 detects only the object graphics Tb to Th of some of the object graphics that are the object of the identity determination, and checks the subsequent object graphics identical to the previous object graphics Ta.

이를 위해 이전 객체그래픽(Ta)의 이동방향을 이전 영상이미지에서 확인한 객체그래픽(Ta')을 참고해서 이동가능 범위를 지정해서 상기 이동가능 범위 내에 있는 후속 객체그래픽(Tb 내지 Th)을 확인하고, 이전 객체그래픽(Ta)과 후속 객체그래픽(Tb 내지 Th) 각각의 분할범위(P1 내지 P7)의 분할그래픽을 서로 비교해서 동일성이 높은 후속 객체그래픽을 검출한다.To this end, the moving direction of the previous object graphic (Ta) is specified by referring to the object graphic (Ta ') identified in the previous image image, and a subsequent object graphic (Tb to Th) within the movable range is identified, The previous object graphic (Ta) and the subsequent object graphic (Tb to Th) of each of the divided graphics of the divided ranges (P1 to P7) are compared with each other to detect a subsequent object graphic with high identity.

분할범위(P1 내지 P7)의 분할그래픽 비교를 통한 객체그래픽의 동일성 여부는 다음의 규약에 따라 이루어질 수 있다.Whether the object graphics are identical through the divided graphic comparison of the divided ranges P1 to P7 may be performed according to the following rules.

첫째, 객체그래픽의 점유면적의 유사성 여부, 이때, 상기 객체그래픽이 형성된 영상이미지의 배율은 동일하게 조정한다.First, whether the occupied area of the object graphic is similar, the magnification of the image image on which the object graphic is formed is adjusted equally.

둘째, 분할범위(P1 내지 P7)의 분할그래픽 개수의 유사성 여부, 분할그래픽의 개수에 차이가 있을 경우 그 차이가 제한개수 이내인 경우에 유사성이 있는 것으로 판단한다.Second, if there is a similarity in the number of divided graphics in the divided ranges P1 to P7, and if there is a difference in the number of divided graphics, it is determined that there is similarity when the difference is within a limited number.

셋째, 분할범위(P1 내지 P7)의 분할그래픽을 구성하는 '온' 픽셀의 개수와 배치 형태의 유사성 여부, 이때, 객체그래픽은 객체의 이동경로에 따라 방향이 달라질 수 있으므로, '온' 픽셀들의 배치 방향의 유사성 여부는 무시한다.Third, the number of 'on' pixels constituting the divided graphics of the divided ranges P1 to P7 and the arrangement type are similar. At this time, since the direction of the object graphics may vary depending on the movement path of the object, the 'on' pixels The similarity of the placement direction is ignored.

넷째, 해당 객체그래픽의 폐쇄구간의 개수와, 분할범위(P1 내지 P7)의 분할그래픽에 구성된 폐쇄구간의 개수의 유사성 여부.Fourth, whether the number of closed sections of the corresponding object graphic and the number of closed sections configured in the divided graphics of the divided ranges P1 to P7 are similar.

다섯째, 분할범위(P1 내지 P7)의 분할그래픽의 배열 유사성 여부.Fifth, the arrangement similarity of the divided graphics of the divided ranges P1 to P7.

전술한 규약을 모두 만족하면, 비교 중인 이전 객체그래픽(Ta)과 후속 객체그래픽(Tb 내지 Th)는 동일한 객체그래픽으로 판단하고, 해당 객체그래픽을 영상이미지 내에 다른 객체그래픽과 분류한다.If all of the above-mentioned conventions are satisfied, the previous object graphic Ta and the subsequent object graphics Tb to Th being compared are judged to be the same object graphic, and the object graphic is classified with other object graphics in the image image.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In the detailed description of the present invention described above, the preferred embodiments of the present invention have been described, but those skilled in the art or those skilled in the art will appreciate the spirit of the present invention as set forth in the claims below. And it will be understood that the present invention can be variously modified and changed within a range not departing from the technical field.

AT, AT1, AT2; 객체 B; 배리어 B1, B2; 배리어 객체그래픽
C1 내지 V7; 기준점 P1 내지 P7; 분할범위
D; 벡터거리 D'; 수평거리 H; 고도데이터
POS1; 위치데이터 POS2; 실측위치
T, T1, T2; 보행자 객체그래픽 Ta, Ta'; 이전 객체그래픽
Tb 내지 Th; 후속 객체그래픽AT, AT1, AT2; Object B; Barriers B1, B2; Barrier Object Graphics
C1 to V7; Reference points P1 to P7; Split range
D; Vector distance D '; Horizontal distance H; Advanced data
POS1; Location data POS2; Actual location
T, T1, T2; Pedestrian object graphics Ta, Ta '; Object Graphics
Tb to Th; Subsequent object graphics

Claims (3)

MVS(Machine Vision System) 처리를 위한 머신비전 디지털 센서를 갖춘 카메라; 상기 카메라의 촬영 영상이미지 데이터와 무인항공기의 위치데이터를 발신하고, 수신된 제어신호에 대응한 비행제어 명령값을 발신하는 프로세서; 상기 비행제어 명령값을 수신해서 무인항공기의 비행장치가 조정되도록 조작값을 발신하는 비행컨트롤러;를 구비한 무인항공기,
상기 위치데이터와 영상이미지 데이터를 MVS 알고리즘에 따라 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정하는 머신비전모듈; 상기 머신비전모듈이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하는 러닝모듈; 상기 러닝모듈이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크하는 판독모듈; 상기 판독모듈이 분류한 객체그래픽의 위치로 무인항공기의 비행을 조작하기 위한 제어신호를 생성해 발신하는 통합컨트롤러;를 구비한 객체인식장치
를 포함하는 것을 특징으로 하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템.A camera equipped with a machine vision digital sensor for processing the Machine Vision System (MVS); A processor that transmits photographed image image data of the camera and location data of an unmanned aerial vehicle, and transmits a flight control command value corresponding to the received control signal; A flight controller that receives the flight control command value and transmits an operation value so that the flight device of the unmanned aerial vehicle is adjusted.
A machine vision module that analyzes the location data and image image data according to an MVS algorithm to detect object graphics in the image image and set object codes; A learning module that generates an equality determination criterion between object graphics detected by the machine vision module based on deep learning; A reading module that classifies object graphics according to the determination criteria generated by the learning module and links object attributes to the corresponding object codes; Object recognition device with; an integrated controller that generates and transmits a control signal for manipulating the flight of the unmanned aerial vehicle to the position of the object graphic classified by the reading module
Object tracking system with an MVS-based unmanned aerial vehicle, characterized in that it comprises a. 제 1 항에 있어서,
상기 무인항공기는 객체와의 거리를 측정해서 벡터거리 데이터를 생성하는 라이다를 더 구비하고;
상기 프로세서는 무인항공기의 고도데이터를 생성해서 벡터거리 데이터와 함께 발신하며;
상기 객체인식장치는,
상기 위치데이터와 벡터거리 데이터를 기초로 해당 객체의 실측위치를 확인하고, 상기 영상이미지 데이터의 영상이미지에서 위치데이터를 기준으로 해당 객체의 영상위치를 확인하며, 상기 실측위치와 영상위치를 비교하여 해당 실측위치를 검증하는 위치분석모듈을 더 구비하는 것;
을 특징으로 하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템.According to claim 1,
The unmanned aerial vehicle further comprises a lidar that measures distance to an object to generate vector distance data;
The processor generates altitude data of the unmanned aerial vehicle and transmits it together with vector distance data;
The object recognition device,
Check the actual location of the object based on the location data and the vector distance data, check the image location of the object based on the location data from the image image of the image data, compare the actual location with the image location Further comprising a location analysis module for verifying the actual location;
Object tracking system with MVS-based unmanned aerial vehicle, characterized by. 제 2 항에 있어서,
상기 러닝모듈은, 상기 머신비전모듈이 검출한 객체그래픽의 점유면적 내에 지정비율의 간격으로 지정 개수의 기준점을 설정하고, 상기 기준점을 중심으로 이웃하는 다른 기준점이 적어도 하나 이상 범위 내에 있도록 지정비율의 반경을 갖는 분할범위를 설정해서 분할범위별 그래픽인 분할그래픽을 판단기준으로 생성하며;
상기 판독모듈은, 상기 실측위치에 변화가 있는 객체그래픽의 이동가능 범위를 지정해서, 이전 영상이미지 내에 이전 객체그래픽의 이동가능 범위에 있는 후속 객체그래픽을 후속 영상이미지에서 검출하고, 상기 이전 객체그래픽의 분할그래픽과 후속 객체그래픽의 해당 분할그래픽 간에 동일성 여부를 판단하며, 동일한 이전 객체그래픽과 후속 객체그래픽을 상기 이전 및 이후 영상이미지 내에 다른 객체그래픽과 분류하는 것;
을 특징으로 하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템.According to claim 2,
The learning module sets a specified number of reference points at intervals of a specified rate within the occupied area of the object graphics detected by the machine vision module, and the specified ratio is set so that other reference points neighboring around the reference point are within at least one range. Setting a divided range having a radius to generate a divided graphic, which is a graphic for each divided range, as a criterion;
The reading module designates a movable range of the object graphic having a change in the actual position, detects a subsequent object graphic in the movable range of the previous object graphic in the previous image image, in the subsequent image image, and detects the previous object graphic Determining whether there is the sameness between the segmented graphic of and the corresponding segmented graphic of the subsequent object graphic, and classifying the same previous object graphic and subsequent object graphic with other object graphics in the before and after image images;
Object tracking system with MVS-based unmanned aerial vehicle, characterized by.
KR1020180139946A 2018-11-14 2018-11-14 System for tracking an object in unmanned aerial vehicle based on mvs KR102177655B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180139946A KR102177655B1 (en) 2018-11-14 2018-11-14 System for tracking an object in unmanned aerial vehicle based on mvs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180139946A KR102177655B1 (en) 2018-11-14 2018-11-14 System for tracking an object in unmanned aerial vehicle based on mvs

Publications (2)

Publication Number Publication Date
KR20200056068A true KR20200056068A (en) 2020-05-22
KR102177655B1 KR102177655B1 (en) 2020-11-11

Family

ID=70914117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180139946A KR102177655B1 (en) 2018-11-14 2018-11-14 System for tracking an object in unmanned aerial vehicle based on mvs

Country Status (1)

Country Link
KR (1) KR102177655B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860626A (en) * 2020-07-04 2020-10-30 广东粤源工程咨询有限公司 Water and soil conservation monitoring method and system based on unmanned aerial vehicle remote sensing and object-oriented classification
KR102300348B1 (en) * 2021-04-13 2021-09-09 주식회사 프로펠 Drone for sharing field situation based on real-time image analysis, and control method thereof
CN113467500A (en) * 2021-07-19 2021-10-01 天津大学 Unmanned aerial vehicle non-cooperative target tracking system based on binocular vision
KR20210153989A (en) * 2020-06-11 2021-12-20 주식회사 에이아이프로 Object recognition apparatus with customized object detection model
KR102441103B1 (en) * 2021-03-18 2022-09-07 순천향대학교 산학협력단 Unmanned aearial vehicle for identifying objects and method for identifying objects of unmanned aearial vehicle
WO2023003100A1 (en) * 2021-07-20 2023-01-26 주식회사 아르고스다인 Control apparatus for tracking and photographing subject, drone, and method for operating control apparatus

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188150A (en) * 2014-03-26 2015-10-29 株式会社衛星ネットワーク Aerial imaging video distribution system and aerial imaging video distribution method
KR101645722B1 (en) 2015-08-19 2016-08-05 아이디어주식회사 Unmanned aerial vehicle having Automatic Tracking and Method of the same
KR20170022872A (en) * 2016-07-13 2017-03-02 아이디어주식회사 Unmanned aerial vehicle having Automatic Tracking
KR20170139087A (en) * 2015-04-20 2017-12-18 코넬 유니버시티 Machine Vision Using Dimensional Data Reduction
KR101854181B1 (en) * 2017-10-20 2018-05-04 이병섭 Target search system using an unmanned aerial vehicle
KR20180107930A (en) * 2017-03-23 2018-10-04 한국과학기술원 Method and system for artificial intelligence based video surveillance using deep learning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015188150A (en) * 2014-03-26 2015-10-29 株式会社衛星ネットワーク Aerial imaging video distribution system and aerial imaging video distribution method
KR20170139087A (en) * 2015-04-20 2017-12-18 코넬 유니버시티 Machine Vision Using Dimensional Data Reduction
KR101645722B1 (en) 2015-08-19 2016-08-05 아이디어주식회사 Unmanned aerial vehicle having Automatic Tracking and Method of the same
KR20170022872A (en) * 2016-07-13 2017-03-02 아이디어주식회사 Unmanned aerial vehicle having Automatic Tracking
KR20180107930A (en) * 2017-03-23 2018-10-04 한국과학기술원 Method and system for artificial intelligence based video surveillance using deep learning
KR101854181B1 (en) * 2017-10-20 2018-05-04 이병섭 Target search system using an unmanned aerial vehicle

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI ZHAO ET AL., Sensors Vol. 18, no. 3 *
고광은, 심귀보, 제어로봇시스템학회지, 제어로봇시스템학회지 제23권 제3호, pp17-24 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210153989A (en) * 2020-06-11 2021-12-20 주식회사 에이아이프로 Object recognition apparatus with customized object detection model
CN111860626A (en) * 2020-07-04 2020-10-30 广东粤源工程咨询有限公司 Water and soil conservation monitoring method and system based on unmanned aerial vehicle remote sensing and object-oriented classification
CN111860626B (en) * 2020-07-04 2023-08-29 广东粤源工程咨询有限公司 Water and soil conservation monitoring method and system based on unmanned aerial vehicle remote sensing and object-oriented classification
KR102441103B1 (en) * 2021-03-18 2022-09-07 순천향대학교 산학협력단 Unmanned aearial vehicle for identifying objects and method for identifying objects of unmanned aearial vehicle
KR102300348B1 (en) * 2021-04-13 2021-09-09 주식회사 프로펠 Drone for sharing field situation based on real-time image analysis, and control method thereof
CN113467500A (en) * 2021-07-19 2021-10-01 天津大学 Unmanned aerial vehicle non-cooperative target tracking system based on binocular vision
WO2023003100A1 (en) * 2021-07-20 2023-01-26 주식회사 아르고스다인 Control apparatus for tracking and photographing subject, drone, and method for operating control apparatus

Also Published As

Publication number Publication date
KR102177655B1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
KR102177655B1 (en) System for tracking an object in unmanned aerial vehicle based on mvs
Piciarelli et al. A vision-based system for internal pipeline inspection
US10664706B2 (en) System and method for detecting, tracking, and classifying objects
US9936169B1 (en) System and method for autonomous PTZ tracking of aerial targets
JP3279479B2 (en) Video monitoring method and device
Shim et al. An autonomous driving system for unknown environments using a unified map
KR101769601B1 (en) Unmanned aerial vehicle having Automatic Tracking
CN104935879A (en) Multi-View Human Detection Using Semi-Exhaustive Search
KR20160062880A (en) road traffic information management system for g using camera and radar
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
KR20200064873A (en) Method for detecting a speed employing difference of distance between an object and a monitoring camera
GB2305567A (en) Tracking
US8929603B1 (en) Autonomous lock-on target tracking with geospatial-aware PTZ cameras
WO2017208601A1 (en) Image processing device and external recognition device
CN117197695B (en) Unmanned aerial vehicle holder camera target identification tracking method and system based on artificial intelligence
CN113994381A (en) Method for detecting moving object
JP6934386B2 (en) Moving object tracking device and its program
EP4354853A1 (en) Thermal-image-monitoring system using plurality of cameras
US20230334675A1 (en) Object tracking integration method and integrating apparatus
KR101656519B1 (en) Unmanned aerial vehicle having Automatic Tracking
KR100844640B1 (en) Method for object recognizing and distance measuring
KR102210571B1 (en) Bridge and tunnel safety diagnosis remote monitoring alarm method using GPS coordinates and mobile communication system
KR20230020184A (en) Video analysis device using fixed camera and moving camera
CN112802058A (en) Method and device for tracking illegal moving target
US20230196588A1 (en) Device, method, and computer program for tracking

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant