KR20200056068A - System for tracking an object in unmanned aerial vehicle based on mvs - Google Patents
System for tracking an object in unmanned aerial vehicle based on mvs Download PDFInfo
- Publication number
- KR20200056068A KR20200056068A KR1020180139946A KR20180139946A KR20200056068A KR 20200056068 A KR20200056068 A KR 20200056068A KR 1020180139946 A KR1020180139946 A KR 1020180139946A KR 20180139946 A KR20180139946 A KR 20180139946A KR 20200056068 A KR20200056068 A KR 20200056068A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- aerial vehicle
- graphic
- unmanned aerial
- graphics
- Prior art date
Links
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 230000004888 barrier function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D3/00—Control of position or direction
- G05D3/12—Control of position or direction using feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B64C2201/127—
-
- B64C2201/146—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 MVS(Machine Vision System; 머신 비전 시스템)의 영상 분석 기술을 통해 추적 대상 객체를 정확히 식별해서 이동 중인 상기 객체를 따라 무인항공기가 촬영을 지속하며 정보를 수집하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템에 관한 것이다.The present invention is equipped with an MVS-based unmanned aerial vehicle that collects information while continuously recording an unmanned aerial vehicle along the moving object by accurately identifying an object to be tracked through image analysis technology of a machine vision system (MVS). Object tracking system.
최근 카메라가 탑재된 드론, 쿼드콥터, 및 헬리캠등의 무인항공기(UAV; Unmanned aerial vehicle)가 상용화되면서 카메라 촬영 등 다양한 분야에서 활용되고 있다.Recently, unmanned aerial vehicles (UAVs) such as drones, quadcopters, and helicams equipped with cameras have been commercialized, and are used in various fields such as camera shooting.
이러한 무인항공기는 기존에 주로 사용되던 방송 및 군사분야를 넘어 엔터테인먼트용으로서, 일반 사용자들이 촬영용 무인항공기를 이용해 카메라 촬영을 목적으로 사용하는 시대로 접어들고 있다.These unmanned aerial vehicles are used for entertainment beyond the conventional broadcasting and military fields, and are entering the era of general users using cameras for shooting purposes.
한편, 카메라를 탑재한 무인항공기는 지상을 촬영하면서 인간, 동물, 차량 등의 활동성을 갖는 객체를 추적하면서 해당 동선을 실시간으로 확인하며, 추적 정보를 기초로 무인항공기의 항로를 자동으로 조정할 수도 있다. On the other hand, the unmanned aerial vehicle equipped with a camera tracks objects having activity such as humans, animals, and vehicles while photographing the ground, checks the corresponding movement line in real time, and can automatically adjust the course of the unmanned aerial vehicle based on the tracking information. .
이를 위해 종래에는 무인항공기의 카메라가 촬영한 영상에서 경계진 윤곽선을 따라 해당 객체를 특정하고, 특정된 상기 윤곽선의 이동을 추적해서 해당 객체의 동선을 확인하며 위치를 추적할 수 있었다.To this end, in the related art, it was possible to identify a corresponding object along a bordered outline from an image photographed by the camera of the unmanned aerial vehicle, track the movement of the specified outline, and check the movement of the object to track the location.
이러한 능동 윤곽선 방식은 데이터 처리를 위한 연산처리가 상대적으로 복잡하지 않으므로 고사양의 하드웨어 프로세스가 불필요했다. 따라서 비전문 분야에서는 상대적으로 저렴한 비용으로도 객체를 추적할 수 있는 종래 기술이 널리 활용되었다.In such an active contour method, a high-spec hardware process was unnecessary because the calculation processing for data processing is relatively uncomplicated. Therefore, in the non-specialized field, a conventional technique capable of tracking an object at a relatively low cost has been widely used.
그런데, 종래 기술은 객체의 윤곽선을 특정해서 객체를 확정하므로, 객체의 윤곽선이 부분적으로 가려지거나 미세한 주변 환경의 변화로 인해 윤관석 파악에 혼란이 발생되어서 추적하는 객체에 대한 정확한 트래킹이 곤란했다. 더욱이 무인항공기는 공중에서 객체를 촬영하므로, 원거리에서 촬영된 영상이미지로부터 객체의 윤곽선을 파악해 분석하는 것은 사실상 한계가 있었다. However, since the prior art determines the object by specifying the contour of the object, it is difficult to accurately track the object to be tracked because the contour of the object is partially obscured or a confusion arises in grasping the Yun Kwan Seok due to a small change in the surrounding environment. Moreover, since unmanned aerial vehicles photograph objects in the air, it is practically limited to understand and analyze the contours of objects from a video image captured from a distance.
결국, 종래 기술은 활용 빈도가 낮았고, 특히 객체를 정확히 추적해서 촬영해야 하는 군사 분야와 생태계 관리 분야와 재난안전 및 감시 분야 등의 전문 분야에서는 종래 능동 윤곽선 방식의 객체 추적 기술을 전혀 활용할 수 없었다.As a result, the prior art has a low frequency of utilization, and in particular, the field of military and ecosystem management and disaster safety and surveillance, which require accurate tracking of objects, have not been able to utilize the conventional active contour method of object tracking at all.
선행기술문헌 1. 특허등록번호 제10-1645722호(2016.08.05 공고)Prior Art Literature 1. Patent Registration No. 10-1645722 (announced on August 5, 2016)
이에 본 발명은 상기의 문제를 해소하기 위해 발명된 것으로, 객체의 패턴을 인식하고 원시 입력 클러스터링을 통해 감각 데이터를 해석하는 신경망 및 기계 학습을 이용하는 방식을 접목해서, 다양한 환경에서도 객체를 탐색해서 추적할 수 있는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템의 제공을 해결하고자 하는 과제로 한다.Accordingly, the present invention was invented to solve the above problems, and by integrating a method using neural networks and machine learning to recognize patterns of objects and interpret sensory data through raw input clustering, search for and track objects in various environments. An object of the present invention is to solve the provision of an object tracking system equipped with an unmanned aerial vehicle based on MVS.
상기의 과제를 달성하기 위하여 본 발명은,In order to achieve the above object, the present invention,
MVS(Machine Vision System) 처리를 위한 머신비전 디지털 센서를 갖춘 카메라; 상기 카메라의 촬영 영상이미지 데이터와 무인항공기의 위치데이터를 발신하고, 수신된 제어신호에 대응한 비행제어 명령값을 발신하는 프로세서; 상기 비행제어 명령값을 수신해서 무인항공기의 비행장치가 조정되도록 조작값을 발신하는 비행컨트롤러;를 구비한 무인항공기,A camera equipped with a machine vision digital sensor for processing the Machine Vision System (MVS); A processor that transmits photographed image image data of the camera and location data of an unmanned aerial vehicle, and transmits a flight control command value corresponding to the received control signal; A flight controller that receives the flight control command value and transmits an operation value so that the flight device of the unmanned aerial vehicle is adjusted.
상기 위치데이터와 영상이미지 데이터를 MVS 알고리즘에 따라 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정하는 머신비전모듈; 상기 머신비전모듈이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하는 러닝모듈; 상기 러닝모듈이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크하는 판독모듈; 상기 판독모듈이 분류한 객체그래픽의 위치로 무인항공기의 비행을 조작하기 위한 제어신호를 생성해 발신하는 통합컨트롤러;를 구비한 객체인식장치A machine vision module that analyzes the location data and image image data according to an MVS algorithm to detect object graphics in the image image and set object codes; A learning module that generates an equality determination criterion between object graphics detected by the machine vision module based on deep learning; A reading module that classifies object graphics according to the determination criteria generated by the learning module and links object attributes to the corresponding object codes; Object recognition device with; an integrated controller that generates and transmits a control signal for manipulating the flight of the unmanned aerial vehicle to the position of the object graphic classified by the reading module
를 포함하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템이다.It is an object tracking system equipped with an MVS-based unmanned aerial vehicle.
상기의 본 발명은, Computer Vision System이 결합된 객체 인식이나 특정 객체추적 시스템을 접목시켜서, 해상에서의 불법조업 선박 감시와 산악에서의 특정 개체 수색 등과 같이 수색을 위해 많은 인원이 필요하고 추적 면적이 넓은 환경에서 신속하고 효율적으로 객체를 추적하고 확인할 수 있는 효과가 있다.According to the present invention, a computer vision system is combined with object recognition or a specific object tracking system, so that a large number of personnel are required and the tracking area is required for searching, such as monitoring illegal fishing vessels at sea and searching for specific objects in the mountains. It has the effect of tracking and checking objects quickly and efficiently in a wide environment.
또한 본 발명은, 객체의 패턴을 인식하고 원시 입력 클러스터링을 통해 감각 데이터를 해석하는 신경망 및 기계 학습을 이용하는 방식을 접목해서, 다양한 환경에서도 높은 신뢰도로 객체를 탐지하고 추적할 수 있는 효과가 있다.In addition, the present invention has an effect of detecting and tracking an object with high reliability even in various environments by grafting a method using neural networks and machine learning to recognize patterns of objects and interpret sensory data through raw input clustering.
도 1은 본 발명에 따른 객체 추적 시스템의 구성을 도시한 블록도이고,
도 2는 본 발명에 따른 객체 추적 시스템의 구동 과정을 도시한 플로차트이고,
도 3은 본 발명에 따른 객체 추적 시스템에서 무인항공기가 객체를 촬영해 추적하는 모습을 개략적으로 도시한 도면이고,
도 4는 본 발명에 따른 객체 추적 시스템이 영상이미지 내에 객체그래픽을 검출하는 모습을 픽셀별로 분류해 개략적으로 도시한 도면이고,
도 5는 본 발명에 따른 객체 추적 시스템이 이전 영상이미지와 후속 영상이미지를 촬영해서 다수의 객체그래픽을 검출한 모습을 개략적으로 도시한 도면이고,
도 6은 본 발명에 따른 객체 추적 시스템이 무인항공기의 위치를 기준으로 객체의 위치를 확인하는 모습을 개략적으로 도시한 측면도이고,
도 7은 본 발명에 따른 객체 추적 시스템을 분할한 모습을 개략적으로 도시한 도면이고,
도 8은 도 7과 같이 객체그래픽의 분할그래픽을 도시한 도면이고,
도 9는 본 발명에 따른 객체그래픽의 이동가능 범위의 후속 객체그래픽을 개략적으로 도시한 도면이다.1 is a block diagram showing the configuration of an object tracking system according to the present invention,
2 is a flowchart showing a driving process of the object tracking system according to the present invention,
3 is a view schematically showing an unmanned aerial vehicle photographing and tracking an object in the object tracking system according to the present invention,
4 is a diagram schematically illustrating a state in which an object tracking system according to the present invention detects object graphics in an image image by pixel,
5 is a diagram schematically showing a state in which an object tracking system according to the present invention detects a plurality of object graphics by photographing a previous image image and a subsequent image image,
6 is a side view schematically showing a state in which the object tracking system according to the present invention confirms the position of an object based on the position of the unmanned aerial vehicle,
7 is a view schematically showing a state in which the object tracking system according to the present invention is divided,
8 is a diagram illustrating a segmented graphic of object graphics as shown in FIG. 7,
9 is a diagram schematically showing a subsequent object graphic of the movable range of the object graphic according to the present invention.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.The above-described features and effects of the present invention will become apparent through the following detailed description in connection with the accompanying drawings, and accordingly, those skilled in the art to which the present invention pertains can easily implement the technical spirit of the present invention. There will be. The present invention can be applied to various changes and may have various forms, and specific embodiments will be illustrated in the drawings and described in detail in the text. However, it is not intended to limit the present invention to a specific disclosure form, it should be understood to include all modifications, equivalents, or substitutes included in the spirit and scope of the present invention. Terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention.
이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.Hereinafter, the present invention will be described in detail based on the accompanying drawings.
도 1은 본 발명에 따른 객체 추적 시스템의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an object tracking system according to the present invention.
본 실시의 객체 추적 시스템의 무인항공기(10)는, 카메라(12); 카메라(12)의 촬영 영상이미지 데이터와 무인항공기(10)의 위치데이터를 발신하고, 수신된 제어신호에 대응한 비행제어 명령값을 발신하는 프로세서(11); 상기 비행제어 명령값을 수신해서 무인항공기(10)의 비행장치(30)가 조정되도록 조작값을 발신하는 비행컨트롤러(14);를 구비한다.The unmanned
또한 객체인식장치(20)는, 상기 위치데이터와 영상이미지 데이터를 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정하는 머신비전모듈(23); 머신비전모듈(23)이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하는 러닝모듈(21); 러닝모듈(21)이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크하는 판독모듈(22); 상기 객체그래픽의 확인된 위치로 무인항공기(10)의 비행을 조작하기 위한 제어신호를 생성해 발신하는 통합컨트롤러(25);를 구비한다.In addition, the
이를 좀 더 구체적으로 설명하면, 카메라(12)는 항공촬영용 고해상 디지털 방식이며, 촬영한 영상이미지를 영상이미지 데이터로 생성해 발신한다. 또한 카메라(12)는 MVS(Machine Vision System) 기반 머신비전모듈(23)과의 연동을 위해 특수 광학 처리된 머신비전 디지털 센서로 구성되어서, 상기 머신비전 디지털 센서에 의해 촬영 및 생성된 영상이미지 데이터를 정밀하게 분석할 수 있게 하고, 이를 통해 객체그래픽을 높은 신뢰도로 검출할 수 있다. 참고로, MVS(Machine Vision System)는 높은 변화속도와 반속성을 가지며 정확성이 요구되는 영상이미지 내에 구조화된 장면을 정량적으로 측정할 수 있다. 카메라(12)의 기타 기술은 공지된 것이므로 그 구조와 구성요소 등에 대해서는 그 설명을 생략한다.In more detail, the
프로세서(11)는 GPS장치(미도시함)를 제어해서 무인항공기(10)의 GPS값인 위치데이터를 확인하고, 상기 위치데이터와 카메라(12)의 영상이미지 데이터를 객체인식장치(200)에 발신한다. 또한 객체인식장치(20)로부터 수신한 제어신호에 대응하는 비행제어 명령값을 비행컨트롤러(14)에 발신한다. 상기 제어신호는 객체인식장치(20)가 분석한 정보에 따라 자체적으로 무인항공기(10)를 동작시키기 위한 제어신호로서, 작업자가 수동으로 조작하는 리모컨트롤러의 무선 발신 제어신호와 그 형식과 제어 알고리즘이 사실상 유사하다.The
비행컨트롤러(14)는 무인항공기(10)의 구동모터와 비행 조향장치 등의 비행장치(30)를 조작하기 위한 조작값을 생성한다. 무인항공기(10)가 객체인식장치(20)로부터 제어신호 수신, 상기 제어신호에 대응한 비행제어 명령값 생성, 상기 비행제어 명령값에 대응해서 조작값 생성, 상기 조작값에 따라 비행장치(30) 제어 순으로 이루어지는 본 발명의 비행제어 프로세스는, 전술한 바와 수동 리모컨트롤러로부터 수신한 제어신호에 대응따라 무인항공기(10)가 제어되는 프로세스가 사실상 유사하다.The
한편, 객체인식장치(20)의 머신비전모듈(23)은 상기 위치데이터와 영상이미지 데이터를 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정한다. 머신비전모듈(23)은 MVS(Machine Vision System) 기술을 기반으로 구동하며, 카메라(12)의 머신비전 디지털 센서를 통해 촬영된 영상이미지를 데이터로 생성해서, 영상이미지에서 객체그래픽을 신속하고 빠르게 검출한다.On the other hand, the
러닝모듈(21)은 머신비전모듈(23)이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성한다. 검출된 상기 객체그래픽의 형상이 영상이미지별로 동일한 경우에는 해당 객체그래픽이 동일한 것으로 간주해서 분류할 수 있으나, 이동 중에 자세가 변하는 객체의 경우에는 영상이미지의 객체그래픽 형상에 변화가 있을 수밖에 없다. 따라서 이전 영상이미지의 객체그래픽과 후속 영상이미지의 객체그래픽이 서로 다르더라도 두 객체그래픽의 객체가 동일한 것인지 여부를 AI(Artificial Intelligence) 기반의 딥러닝 학습을 통해 동일성 판단기준을 생성한다.The
판독모듈(22)은 러닝모듈(21)이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크한다. 전술한 바와 같이 러닝모듈(21)은 판단기준을 생성하므로, 판독모듈(22)은 영상이미지별 객체그래픽을 판단기준에 따라 동일성 여부를 판독해서 동일한 것으로 확인된 해당 객체그래픽별 객체코드를 동일 객체로 분류하고, 해당 객체코드에 객체의 이름과 종류 등의 객체속성을 링크한다. 따라서 작업자는 영상이미지에서 검출된 객체그래픽의 객체속성을 바로 확인해서 인지할 수 있고, 무인항공기(10)의 추적 여부 등을 결정할 수 있다.The reading module 22 classifies the object graphic according to the judgment criteria generated by the
통합컨트롤러(25)는 판독모듈(22)이 분류한 객체그래픽의 위치로 무인항공기(10)의 비행을 조작하기 위한 제어신호를 생성해 발신한다. 좀 더 구체적으로 설명하면, 전술한 프로세스에 따라 머신비전모듈(23)과 판독모듈(22)과 러닝모듈(21)이 후속 영상이미지에서 객체그래픽을 실시간으로 판독 및 분류하고, 통합컨트롤러(25)는 판독 및 분류된 객체그래픽의 대상 객체의 위치 변화를 확인해서 실시간으로 제어신호를 생성 및 발신하고, 이를 통해서 무인항공기(10)는 이동 중인 객체를 추적하며 비행할 수 있다.The integrated
한편, 본 실시의 객체 추적 시스템의 무인항공기(10)는 객체와의 거리를 측정해서 벡터거리 데이터를 생성하는 라이다(15)를 더 구비하고; 프로세서(11)는 무인항공기(10)의 고도데이터를 생성해서 벡터거리 데이터와 함께 발신한다.On the other hand, the unmanned
라이다(15)는 레이저를 이용해서 객체와의 직선 거리와 각도를 측량하기 위해서 무인항공기(10)와 객체 간의 벡터거리 데이터를 생성하는 것으로서, 무인항공기(10)에서 카메라(12)와 나란히 설치된다.The
한편, 무인항공기(10)는 고도측량계(미도시함)가 측정한 고도값을 데이터로 생성하고, 전술한 벡터거리 데이터와 함께 객체인식장치(20)로 발신한다.On the other hand, the unmanned
객체인식장치(20)는, 위치분석모듈(24)을 더 포함한다. 위치분석모듈(24)은 상기 위치데이터와 벡터거리 데이터를 기초로 해당 객체의 실측위치를 확인하고, 상기 영상이미지 데이터의 영상이미지에서 위치데이터를 기준으로 해당 객체의 영상위치를 확인하며, 상기 실측위치와 영상위치를 비교하여 해당 실측위치를 검증한다.The
객체인식장치(20)에 대한 보다 구체적인 설명은 아래에서 다시 한다.A more detailed description of the
미 설명한 통신모듈(16, 26)은 무인항공기(10)와 객체인식장치(20) 간에 무선 통신을 위한 구성요소로서, 일반적인 무선 통신기기가 모두 적용될 수 있다.The
도 2는 본 발명에 따른 객체 추적 시스템의 구동 과정을 도시한 플로차트이고, 도 3은 본 발명에 따른 객체 추적 시스템에서 무인항공기가 객체를 촬영해 추적하는 모습을 개략적으로 도시한 도면이고, 도 4는 본 발명에 따른 객체 추적 시스템이 영상이미지 내에 객체그래픽을 검출하는 모습을 픽셀별로 분류해 개략적으로 도시한 도면이고, 도 5는 본 발명에 따른 객체 추적 시스템이 이전 영상이미지와 후속 영상이미지를 촬영해서 다수의 객체그래픽을 검출한 모습을 개략적으로 도시한 도면이고, 도 6은 본 발명에 따른 객체 추적 시스템이 무인항공기의 위치를 기준으로 객체의 위치를 확인하는 모습을 개략적으로 도시한 측면도이다.FIG. 2 is a flowchart showing a driving process of an object tracking system according to the present invention, and FIG. 3 is a schematic view showing an unmanned aerial vehicle photographing and tracking an object in the object tracking system according to the present invention, and FIG. 4 Is a diagram schematically classifying a state in which the object tracking system according to the present invention detects an object graphic within a video image by pixel, and FIG. 5 shows an object tracking system according to the present invention capturing a previous video image and a subsequent video image Thus, a diagram schematically showing a state in which a plurality of object graphics are detected, and FIG. 6 is a side view schematically showing a state in which the object tracking system according to the present invention confirms the position of an object based on the position of the unmanned aerial vehicle.
S10; 영상이미지 수집 단계S10; Video image collection stage
도 3과 같이 비행 중인 무인항공기(10)의 카메라(12)는 머신비전 디지털 센서가 촬영한 영상이미지를 데이터로 생성해 수집한다. As shown in FIG. 3, the
카메라(12)는 MVS 처리를 위해 특수 광학 처리된 머신비전 디지털 센서가 지상을 촬영해서 해당하는 영상이미지 데이터를 생성하고, 각 영상이미지 데이터별로 순차 처리한다. The
계속해서 프로세서(11)는 카메라(12)의 촬영 영상이미지 데이터와 무인항공기의 위치데이터를 발신한다. 상기 위치데이터는 무인항공기(10)에 설치된 GPS장치(미도시함)로부터 확인한 GPS값이며, 영상이미지 데이터의 생성 위치별로 링크한다. 결국, 영상이미지 데이터에 링크된 위치데이터를 통해서, 해당 영상이미지 데이터의 영상이 무인항공기(10)가 어느 위치에 있을 때 촬영된 것인지를 확인할 수 있다.Subsequently, the
카메라(12)의 촬영 프로세스는 일반적인 디지털 카메라의 프로세스와 유사하므로, 카메라(12)의 동작 방식에 대해서는 구체적인 설명을 생략한다.Since the shooting process of the
S20; MVS분석 단계S20; MVS analysis phase
무인항공기(10)로부터 영상이미지 데이터와 위치데이터를 수신하면, 머신비전모듈(23)은 상기 위치데이터와 영상이미지 데이터를 MVS 알고리즘에 따라 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정한다.Upon receiving the image image data and the location data from the unmanned
디지털 카메라(12)가 촬영한 영상이미지는 도 4와 같이 픽셀 단위로 '온' 또는 '오프'가 설정되어서, '온'으로 설정된 픽셀들의 조합에 의해 다양한 그래픽이 생성된다. 머신비전모듈(23)은 이렇게 생성된 그래픽들을 설정규약에 따라 각각 분석해서, 특정 객체에 대한 객체그래픽(T1, T2)을 검출한다. The video image taken by the
상기 설정규약은 '온'로 설정된 픽셀이 끊김 없이 이어져서 폐쇄 구간을 이루면, 해당 폐쇄 구간을 객체그래픽(T1, T2)으로 확정해 검출하도록 이루어진다. 또한 상기 설정규약은 도 4와 같이 둘 이상의 폐쇄 구간이 서로 이어지면, 해당 폐쇄 구간들의 조합으로 된 그래픽을 객체그래픽으로 확정해 검출하도록 이루어진다.In the setting rule, when the pixels set to 'on' continue to form a closed section without interruption, the closed section is determined by object graphics T1 and T2 and detected. In addition, the setting protocol is configured to detect a graphic composed of a combination of the closed sections as an object graphic when two or more closed sections are connected to each other as shown in FIG. 4.
그런데, 도 3과 같이 나무 또는 건물 등의 배리어(B)에 의해 발생한 사각지대에 객체(AT1, AT2)가 위치하고 카메라(12)가 객체(AT1, AT2)를 촬영하면, 도 5와 같이 객체(AT1, AT2)의 객체그래픽(T2, T3) 일부가 배리어의 객체그래픽(B1, B2)에 의해 가려지게 된다. 더욱이, 상기 설정규약에 따라 확인된 배리어(B)의 객체그래픽(B1, B2)과 보행자 등의 객체그래픽(T2, T3)이 각각 폐쇄 구간을 이루며 이어지므로, 배리어(B)의 객체그래픽(B1, B2)과 보행자 등의 객체그래픽(T2, T3)은 하나의 객체이미지로 확정될 수 있다.However, when the objects AT1 and AT2 are located in a blind spot caused by a barrier B such as a tree or a building as shown in FIG. 3, and the
그러므로 머신비전모듈(23)은, 도 5의 (a)도면의 이전 영상이미지와 도 5의 (b)도면의 후속 영상이미지에서 각각 위치데이터를 기준으로 지정범위 내에 위치에 있는 객체그래픽을 확인하고, 서로 이어지는 다수의 폐쇄 구간들 중 이동성 여부와 이동방향의 차이 등을 비교해서, 서로 차이가 확인된 폐쇄 구간을 각각 독립된 객체그래픽을 확정한다. 따라서 도 5와 같이 배리어(B)의 객체그래픽(B1, B2)과 이어진 보행자 등의 객체그래픽(T2, T3)은 서로 독립된 객체그래픽으로 확정해 검출한다. 이렇게 검출된 객체그래픽은 영상이미지에서 다른 객체그래픽과의 식별을 위해 객체코드가 설정된다.Therefore, the
S30; 추적 대상 객체 검출 단계S30; Object detection step
러닝모듈(21)은 머신비전모듈(23)이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하고, 판독모듈(22)은 러닝모듈(21)이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크한다.The
전술한 판단기준은 러닝모듈(21)이 학습한 객체그래픽 간에 동일성 여부를 확인할 수 있는 기준으로서, 이동 중에 형상의 변화가 있는 객체그래픽들 간에 동일성 여부와, 배리어의 객체이미지(B1, B2)에 의해 일부가 가려진 객체그래픽과 완전한 형상의 객체그래픽 간에 동일성 여부를 각각, 상기 판단기준에 의해서 판독모듈(22)이 확인할 수 있다.The above-described determination criteria are criteria for confirming whether or not the
상기 판단기준에 의한 객체그래픽의 동일성 판단 프로세스는 실시 예를 참조하여 아래에서 좀 더 구체적으로 설명하겠다.The process of determining the identity of object graphics based on the determination criteria will be described in more detail below with reference to embodiments.
이전 영상이미지 내에 객체그래픽(T1, T2, T3)과 후속 영상이미지 내에 객체그래픽(T1', T2', T3')의 동일성이 확인되면, 영상이미지별 객체그래픽이 동일한 객체에 대한 것임을 확정할 수 있다. 이렇게 확정된 객체그래픽별 객체코드에 객체의 이름과 종류 등의 객체속성을 링크해서, 작업자는 객체속성으로 이전 영상이미지 또는 후속 영상이미지에서 해당하는 객체그래픽을 검색할 수 있다.If the identity of the object graphic (T1, T2, T3) in the previous image image and the object graphic (T1 ', T2', T3 ') in the subsequent image image are confirmed, it can be determined that the object graphic for each image image is for the same object. have. By linking the object properties, such as the name and type of the object, to the determined object code for each object graphic, the operator can search for the corresponding object graphic from the previous video image or the subsequent video image as the object property.
S40; 객체 추적 단계S40; Object tracking steps
한편, 판독모듈(22)은 이전 영상이미지의 객체그래픽과 후속 영상이미지의 객체그래픽 중 동일한 것으로 확인된 객체그래픽의 위치를 확인해서, 해당 객체그래픽의 이동성과 이동경로를 확인하고, 이동성이 확인되면 해당 객체그래픽의 대상 객체가 어떤 방향으로 이동하는지를 추적해서 무인항공기(10)의 비행을 조정할 수 있다.On the other hand, the reading module 22 checks the position of the object graphic identified as the same among the object graphic of the previous image image and the object graphic of the subsequent image image, checks the mobility and the movement path of the corresponding object graphic, and when the mobility is confirmed It is possible to adjust the flight of the unmanned
객체 추적에 대해 좀 더 구체적으로 설명하면, 객체인식장치(20)의 통합컨트롤러(25)는 무인항공기(10)의 비행을 조정하기 위해 객체의 위치를 확인해야 하고, 확인된 위치로 무인항공기(10)를 조정할 수 있어야 한다. 이를 위해서 객체인식장치(20)는 위치분석모듈(24)을 더 포함하고, 아울러 무인항공기(10)를 라이다(15)를 더 포함한다.In more detail about object tracking, the
라이다(15)는 도 6과 같이 객체와의 벡터거리(D)를 측정해서 벡터거리 데이터를 생성한다.The
위치분석모듈(24)은 무인항공기(10)로부터 수신한 위치데이터(POS1)와 벡터거리 데이터를 기초로 해당 객체의 실측위치(POS2)를 확인하고, 상기 영상이미지 데이터의 영상이미지에서 위치데이터(POS1)를 기준으로 해당 객체의 영상위치를 확인하며, 상기 실측위치(POS2)와 영상위치를 비교하여 해당 실측위치(POS2)를 검증한다.The
도 6과 같이 무인항공기(10)는 자체적으로 위치데이터(POS1)와 고도데이터(H)를 측정하므로, 위치분석모듈(24)은 벡터거리 데이터를 위치데이터(POS1)를 기준으로 연산해서 무인항공기(10)와 해당 객체(AT)와의 수평거리(D')를 확인한다(객체와의 거리 확인 단계; S41).6, the unmanned
또한 벡터거리 데이터는 무인항공기(10)를 기준으로 방향 정보도 포함하므로, 위치분석모듈(24)은 상기 방향 정보를 통해 객체(AT)의 실측위치(POS2)를 확인한다(객체 위치 확인 단계; S42).In addition, since the vector distance data also includes direction information based on the unmanned
한편, 도 5와 같이 무인항공기(10)의 카메라(12)가 촬영한 영상이미지에는 무인항공기(10)와 객체그래픽(T1 내지 T3)이 구성되므로, 위치분석모듈(24)은 픽셀 단위를 좌표값으로 해서 무인항공기(10)의 위치 대비 객체그래픽(T1 내지 T3)의 상대적 위치를 확인할 수 있다. 따라서 위치분석모듈(24)은 무인항공기(10)를 기준으로 객체그래픽(T1 내지 T3)의 방향성을 확인할 수 있고, 무인항공기(10)와 다른 객체그래픽들 간에 상대적 거리를 확인한다. 그리고 위치분석모듈(24)은 영상이미지에서 확인된 객체그래픽의 방향성과 상대적 거리를 실측위치(POS2)와 비교해서, 실측위치(POS2)가 정당한지 여부를 검증한다(영상이미지와 비교 검수 단계; S43).On the other hand, since the unmanned
전술한 과정을 통해 위치분석모듈(24)이 객체의 실측위치(POS2)를 확인하면, 통합컨트롤러(25)는 실측위치(POS2)로 무인항공기(10)를 비행시키기 위한 제어신호를 생성해 발신하고, 상기 제어신호를 수신한 프로세서(11)는 비행제어 명령값을 생성해서 비행컨트롤러(14)에 전달한다. 물론 비행컨트롤러(14)는 상기 비행제어 명령값에 대응한 조작값을 생성해서 비행장치(30)에 전달한다.When the
도 7은 본 발명에 따른 객체 추적 시스템을 분할한 모습을 개략적으로 도시한 도면이고, 도 8은 도 7과 같이 객체그래픽의 분할그래픽을 도시한 도면이고, 도 9는 본 발명에 따른 객체그래픽의 이동가능 범위의 후속 객체그래픽을 개략적으로 도시한 도면이다.7 is a view schematically showing a state in which the object tracking system is divided according to the present invention, FIG. 8 is a view showing a segmented graphic of object graphics as in FIG. 7, and FIG. 9 is an object graphic according to the present invention. It is a diagram schematically showing a subsequent object graphic in a movable range.
도 7의 (a)도면과 같이, 러닝모듈(21)은 머신비전모듈(23)이 검출한 객체그래픽(T)의 점유면적 내에 지정비율의 간격으로 지정 개수의 기준점(C1 내지 C7)을 설정하고, 기준점(C1 내지 C7)을 중심으로 이웃하는 다른 기준점이 적어도 하나 이상 범위 내에 있도록 지정비율의 반경을 갖는 분할범위(P1)를 설정해서 분할범위별 그래픽인 분할그래픽을 판단기준으로 생성한다.As shown in FIG. 7 (a), the
기준점(C1 내지 C7)은 점유면적에 따라 그 개수가 달라질 수 있고, 분할범위(P1) 또한 점유면적에 따라 달라질 수 있으며, 기준점(C1 내지 C7)의 간격 또한 달라질 수 있다.The number of reference points C1 to C7 may vary depending on the occupied area, the division range P1 may also vary according to the occupied area, and the intervals of the reference points C1 to C7 may also vary.
한편, 분할범위(P1)는 이웃하는 다른 기준점이 범위 내에 있도록 충분한 면적을 이루며, 이를 통해 이웃하는 기준점의 분할범위(P2)와 서로 동일한 구간의 그래픽이 포함된다. 따라서 도 8과 같이 1개의 객체이미지(T)는 다수의 분할범위(P1 내지 P7)로 분할되고, 이렇게 분할된 분할범위(P1 내지 P7)의 분할그래픽이 동일성 판단기준이 된다.On the other hand, the divided range (P1) forms a sufficient area so that other neighboring reference points are within the range, and through this, a graphic of the same section as the divided range (P2) of the neighboring reference points is included. Therefore, as shown in FIG. 8, one object image T is divided into a plurality of divided ranges P1 to P7, and the divided graphic of the divided divided ranges P1 to P7 serves as a criterion for determining identity.
판독모듈(22)은, 도 9와 같이 실측위치(POS2)에 변화가 있는 객체그래픽(Ta)의 이동가능 범위를 지정해서, 이전 영상이미지 내에 이전 객체그래픽(Ta)의 이동가능 범위에 있는 후속 객체그래픽(Tb 내지 Th)을 후속 영상이미지에서 검출하고, 이전 객체그래픽(Ta)의 분할그래픽과 후속 객체그래픽(Tb 내지 Th)의 해당 분할그래픽 간에 동일성 여부를 판단하며, 동일한 이전 객체그래픽과 후속 객체그래픽을 상기 이전 및 이후 영상이미지 내에 다른 객체그래픽과 분류한다.The reading module 22 designates a movable range of the object graphic Ta having a change in the actual position POS2, as shown in FIG. 9, so that the reading module 22 follows the movable range of the previous object graphic Ta in the previous image image. Object graphics (Tb to Th) are detected in the subsequent image image, and it is determined whether there is the same between the segmented graphic of the previous object graphic (Ta) and the corresponding segmented graphic of the subsequent object graphic (Tb to Th), and the same previous object graphic and subsequent Object graphics are classified with other object graphics in the before and after image images.
이를 좀 더 구체적으로 설명하면, 이전 영상이미지와 후속 영상이미지 내에 동일한 위치에 있는 객체그래픽은 사실상 동일한 객체로 판단하나, 이동성이 있는 객체의 객체그래픽(Ta, Ta')은 이전 영상이미지와 후속 영상이미지 각각에서 서로 다른 위치에 형성되므로, 해당 객체의 동일성 여부를 러닝모듈(21)의 판단기준을 통해 확인해야 한다. 그런데 영상이미지에는 해당 객체 외에도 수많은 객체가 촬영되고, 이를 통해 수많은 객체그래픽이 형성된다. 그러므로, 판독모듈(22)은 동일성 판단 대상이 되는 객체그래픽들 중 일부의 객체그래픽(Tb 내지 Th)만을 검출해서 이전 객체그래픽(Ta)와 동일한 후속 객체그래픽을 확인한다.In more detail, the object graphic at the same position in the previous video image and the subsequent video image is determined to be the same object, but the object graphic (Ta, Ta ') of the movable object is the previous video image and the subsequent video. Since the images are formed at different locations in each of the images, it is necessary to check whether the corresponding objects are identical through the judgment criteria of the
이를 위해 이전 객체그래픽(Ta)의 이동방향을 이전 영상이미지에서 확인한 객체그래픽(Ta')을 참고해서 이동가능 범위를 지정해서 상기 이동가능 범위 내에 있는 후속 객체그래픽(Tb 내지 Th)을 확인하고, 이전 객체그래픽(Ta)과 후속 객체그래픽(Tb 내지 Th) 각각의 분할범위(P1 내지 P7)의 분할그래픽을 서로 비교해서 동일성이 높은 후속 객체그래픽을 검출한다.To this end, the moving direction of the previous object graphic (Ta) is specified by referring to the object graphic (Ta ') identified in the previous image image, and a subsequent object graphic (Tb to Th) within the movable range is identified, The previous object graphic (Ta) and the subsequent object graphic (Tb to Th) of each of the divided graphics of the divided ranges (P1 to P7) are compared with each other to detect a subsequent object graphic with high identity.
분할범위(P1 내지 P7)의 분할그래픽 비교를 통한 객체그래픽의 동일성 여부는 다음의 규약에 따라 이루어질 수 있다.Whether the object graphics are identical through the divided graphic comparison of the divided ranges P1 to P7 may be performed according to the following rules.
첫째, 객체그래픽의 점유면적의 유사성 여부, 이때, 상기 객체그래픽이 형성된 영상이미지의 배율은 동일하게 조정한다.First, whether the occupied area of the object graphic is similar, the magnification of the image image on which the object graphic is formed is adjusted equally.
둘째, 분할범위(P1 내지 P7)의 분할그래픽 개수의 유사성 여부, 분할그래픽의 개수에 차이가 있을 경우 그 차이가 제한개수 이내인 경우에 유사성이 있는 것으로 판단한다.Second, if there is a similarity in the number of divided graphics in the divided ranges P1 to P7, and if there is a difference in the number of divided graphics, it is determined that there is similarity when the difference is within a limited number.
셋째, 분할범위(P1 내지 P7)의 분할그래픽을 구성하는 '온' 픽셀의 개수와 배치 형태의 유사성 여부, 이때, 객체그래픽은 객체의 이동경로에 따라 방향이 달라질 수 있으므로, '온' 픽셀들의 배치 방향의 유사성 여부는 무시한다.Third, the number of 'on' pixels constituting the divided graphics of the divided ranges P1 to P7 and the arrangement type are similar. At this time, since the direction of the object graphics may vary depending on the movement path of the object, the 'on' pixels The similarity of the placement direction is ignored.
넷째, 해당 객체그래픽의 폐쇄구간의 개수와, 분할범위(P1 내지 P7)의 분할그래픽에 구성된 폐쇄구간의 개수의 유사성 여부.Fourth, whether the number of closed sections of the corresponding object graphic and the number of closed sections configured in the divided graphics of the divided ranges P1 to P7 are similar.
다섯째, 분할범위(P1 내지 P7)의 분할그래픽의 배열 유사성 여부.Fifth, the arrangement similarity of the divided graphics of the divided ranges P1 to P7.
전술한 규약을 모두 만족하면, 비교 중인 이전 객체그래픽(Ta)과 후속 객체그래픽(Tb 내지 Th)는 동일한 객체그래픽으로 판단하고, 해당 객체그래픽을 영상이미지 내에 다른 객체그래픽과 분류한다.If all of the above-mentioned conventions are satisfied, the previous object graphic Ta and the subsequent object graphics Tb to Th being compared are judged to be the same object graphic, and the object graphic is classified with other object graphics in the image image.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.In the detailed description of the present invention described above, the preferred embodiments of the present invention have been described, but those skilled in the art or those skilled in the art will appreciate the spirit of the present invention as set forth in the claims below. And it will be understood that the present invention can be variously modified and changed within a range not departing from the technical field.
AT, AT1, AT2; 객체
B; 배리어
B1, B2; 배리어 객체그래픽
C1 내지 V7; 기준점
P1 내지 P7; 분할범위
D; 벡터거리
D'; 수평거리
H; 고도데이터
POS1; 위치데이터
POS2; 실측위치
T, T1, T2; 보행자 객체그래픽
Ta, Ta'; 이전 객체그래픽
Tb 내지 Th; 후속 객체그래픽AT, AT1, AT2; Object B; Barriers B1, B2; Barrier Object Graphics
C1 to V7; Reference points P1 to P7; Split range
D; Vector distance D '; Horizontal distance H; Advanced data
POS1; Location data POS2; Actual location
T, T1, T2; Pedestrian object graphics Ta, Ta '; Object Graphics
Tb to Th; Subsequent object graphics
Claims (3)
상기 위치데이터와 영상이미지 데이터를 MVS 알고리즘에 따라 분석해서 영상이미지 내에 객체그래픽를 검출하고 객체코드를 설정하는 머신비전모듈; 상기 머신비전모듈이 검출한 객체그래픽 간에 동일성 판단기준을 딥러닝(Deep Learning)을 기반으로 생성하는 러닝모듈; 상기 러닝모듈이 생성한 판단기준에 따라 객체그래픽을 분류해서 해당 객체코드에 객체속성을 링크하는 판독모듈; 상기 판독모듈이 분류한 객체그래픽의 위치로 무인항공기의 비행을 조작하기 위한 제어신호를 생성해 발신하는 통합컨트롤러;를 구비한 객체인식장치
를 포함하는 것을 특징으로 하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템.A camera equipped with a machine vision digital sensor for processing the Machine Vision System (MVS); A processor that transmits photographed image image data of the camera and location data of an unmanned aerial vehicle, and transmits a flight control command value corresponding to the received control signal; A flight controller that receives the flight control command value and transmits an operation value so that the flight device of the unmanned aerial vehicle is adjusted.
A machine vision module that analyzes the location data and image image data according to an MVS algorithm to detect object graphics in the image image and set object codes; A learning module that generates an equality determination criterion between object graphics detected by the machine vision module based on deep learning; A reading module that classifies object graphics according to the determination criteria generated by the learning module and links object attributes to the corresponding object codes; Object recognition device with; an integrated controller that generates and transmits a control signal for manipulating the flight of the unmanned aerial vehicle to the position of the object graphic classified by the reading module
Object tracking system with an MVS-based unmanned aerial vehicle, characterized in that it comprises a.
상기 무인항공기는 객체와의 거리를 측정해서 벡터거리 데이터를 생성하는 라이다를 더 구비하고;
상기 프로세서는 무인항공기의 고도데이터를 생성해서 벡터거리 데이터와 함께 발신하며;
상기 객체인식장치는,
상기 위치데이터와 벡터거리 데이터를 기초로 해당 객체의 실측위치를 확인하고, 상기 영상이미지 데이터의 영상이미지에서 위치데이터를 기준으로 해당 객체의 영상위치를 확인하며, 상기 실측위치와 영상위치를 비교하여 해당 실측위치를 검증하는 위치분석모듈을 더 구비하는 것;
을 특징으로 하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템.According to claim 1,
The unmanned aerial vehicle further comprises a lidar that measures distance to an object to generate vector distance data;
The processor generates altitude data of the unmanned aerial vehicle and transmits it together with vector distance data;
The object recognition device,
Check the actual location of the object based on the location data and the vector distance data, check the image location of the object based on the location data from the image image of the image data, compare the actual location with the image location Further comprising a location analysis module for verifying the actual location;
Object tracking system with MVS-based unmanned aerial vehicle, characterized by.
상기 러닝모듈은, 상기 머신비전모듈이 검출한 객체그래픽의 점유면적 내에 지정비율의 간격으로 지정 개수의 기준점을 설정하고, 상기 기준점을 중심으로 이웃하는 다른 기준점이 적어도 하나 이상 범위 내에 있도록 지정비율의 반경을 갖는 분할범위를 설정해서 분할범위별 그래픽인 분할그래픽을 판단기준으로 생성하며;
상기 판독모듈은, 상기 실측위치에 변화가 있는 객체그래픽의 이동가능 범위를 지정해서, 이전 영상이미지 내에 이전 객체그래픽의 이동가능 범위에 있는 후속 객체그래픽을 후속 영상이미지에서 검출하고, 상기 이전 객체그래픽의 분할그래픽과 후속 객체그래픽의 해당 분할그래픽 간에 동일성 여부를 판단하며, 동일한 이전 객체그래픽과 후속 객체그래픽을 상기 이전 및 이후 영상이미지 내에 다른 객체그래픽과 분류하는 것;
을 특징으로 하는 MVS 기반의 무인항공기를 갖춘 객체 추적 시스템.According to claim 2,
The learning module sets a specified number of reference points at intervals of a specified rate within the occupied area of the object graphics detected by the machine vision module, and the specified ratio is set so that other reference points neighboring around the reference point are within at least one range. Setting a divided range having a radius to generate a divided graphic, which is a graphic for each divided range, as a criterion;
The reading module designates a movable range of the object graphic having a change in the actual position, detects a subsequent object graphic in the movable range of the previous object graphic in the previous image image, in the subsequent image image, and detects the previous object graphic Determining whether there is the sameness between the segmented graphic of and the corresponding segmented graphic of the subsequent object graphic, and classifying the same previous object graphic and subsequent object graphic with other object graphics in the before and after image images;
Object tracking system with MVS-based unmanned aerial vehicle, characterized by.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180139946A KR102177655B1 (en) | 2018-11-14 | 2018-11-14 | System for tracking an object in unmanned aerial vehicle based on mvs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180139946A KR102177655B1 (en) | 2018-11-14 | 2018-11-14 | System for tracking an object in unmanned aerial vehicle based on mvs |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200056068A true KR20200056068A (en) | 2020-05-22 |
KR102177655B1 KR102177655B1 (en) | 2020-11-11 |
Family
ID=70914117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180139946A KR102177655B1 (en) | 2018-11-14 | 2018-11-14 | System for tracking an object in unmanned aerial vehicle based on mvs |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102177655B1 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860626A (en) * | 2020-07-04 | 2020-10-30 | 广东粤源工程咨询有限公司 | Water and soil conservation monitoring method and system based on unmanned aerial vehicle remote sensing and object-oriented classification |
KR102300348B1 (en) * | 2021-04-13 | 2021-09-09 | 주식회사 프로펠 | Drone for sharing field situation based on real-time image analysis, and control method thereof |
CN113467500A (en) * | 2021-07-19 | 2021-10-01 | 天津大学 | Unmanned aerial vehicle non-cooperative target tracking system based on binocular vision |
KR20210153989A (en) * | 2020-06-11 | 2021-12-20 | 주식회사 에이아이프로 | Object recognition apparatus with customized object detection model |
KR102441103B1 (en) * | 2021-03-18 | 2022-09-07 | 순천향대학교 산학협력단 | Unmanned aearial vehicle for identifying objects and method for identifying objects of unmanned aearial vehicle |
WO2023003100A1 (en) * | 2021-07-20 | 2023-01-26 | 주식회사 아르고스다인 | Control apparatus for tracking and photographing subject, drone, and method for operating control apparatus |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015188150A (en) * | 2014-03-26 | 2015-10-29 | 株式会社衛星ネットワーク | Aerial imaging video distribution system and aerial imaging video distribution method |
KR101645722B1 (en) | 2015-08-19 | 2016-08-05 | 아이디어주식회사 | Unmanned aerial vehicle having Automatic Tracking and Method of the same |
KR20170022872A (en) * | 2016-07-13 | 2017-03-02 | 아이디어주식회사 | Unmanned aerial vehicle having Automatic Tracking |
KR20170139087A (en) * | 2015-04-20 | 2017-12-18 | 코넬 유니버시티 | Machine Vision Using Dimensional Data Reduction |
KR101854181B1 (en) * | 2017-10-20 | 2018-05-04 | 이병섭 | Target search system using an unmanned aerial vehicle |
KR20180107930A (en) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | Method and system for artificial intelligence based video surveillance using deep learning |
-
2018
- 2018-11-14 KR KR1020180139946A patent/KR102177655B1/en active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015188150A (en) * | 2014-03-26 | 2015-10-29 | 株式会社衛星ネットワーク | Aerial imaging video distribution system and aerial imaging video distribution method |
KR20170139087A (en) * | 2015-04-20 | 2017-12-18 | 코넬 유니버시티 | Machine Vision Using Dimensional Data Reduction |
KR101645722B1 (en) | 2015-08-19 | 2016-08-05 | 아이디어주식회사 | Unmanned aerial vehicle having Automatic Tracking and Method of the same |
KR20170022872A (en) * | 2016-07-13 | 2017-03-02 | 아이디어주식회사 | Unmanned aerial vehicle having Automatic Tracking |
KR20180107930A (en) * | 2017-03-23 | 2018-10-04 | 한국과학기술원 | Method and system for artificial intelligence based video surveillance using deep learning |
KR101854181B1 (en) * | 2017-10-20 | 2018-05-04 | 이병섭 | Target search system using an unmanned aerial vehicle |
Non-Patent Citations (2)
Title |
---|
YI ZHAO ET AL., Sensors Vol. 18, no. 3 * |
고광은, 심귀보, 제어로봇시스템학회지, 제어로봇시스템학회지 제23권 제3호, pp17-24 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210153989A (en) * | 2020-06-11 | 2021-12-20 | 주식회사 에이아이프로 | Object recognition apparatus with customized object detection model |
CN111860626A (en) * | 2020-07-04 | 2020-10-30 | 广东粤源工程咨询有限公司 | Water and soil conservation monitoring method and system based on unmanned aerial vehicle remote sensing and object-oriented classification |
CN111860626B (en) * | 2020-07-04 | 2023-08-29 | 广东粤源工程咨询有限公司 | Water and soil conservation monitoring method and system based on unmanned aerial vehicle remote sensing and object-oriented classification |
KR102441103B1 (en) * | 2021-03-18 | 2022-09-07 | 순천향대학교 산학협력단 | Unmanned aearial vehicle for identifying objects and method for identifying objects of unmanned aearial vehicle |
KR102300348B1 (en) * | 2021-04-13 | 2021-09-09 | 주식회사 프로펠 | Drone for sharing field situation based on real-time image analysis, and control method thereof |
CN113467500A (en) * | 2021-07-19 | 2021-10-01 | 天津大学 | Unmanned aerial vehicle non-cooperative target tracking system based on binocular vision |
WO2023003100A1 (en) * | 2021-07-20 | 2023-01-26 | 주식회사 아르고스다인 | Control apparatus for tracking and photographing subject, drone, and method for operating control apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR102177655B1 (en) | 2020-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102177655B1 (en) | System for tracking an object in unmanned aerial vehicle based on mvs | |
Piciarelli et al. | A vision-based system for internal pipeline inspection | |
US10664706B2 (en) | System and method for detecting, tracking, and classifying objects | |
US9936169B1 (en) | System and method for autonomous PTZ tracking of aerial targets | |
JP3279479B2 (en) | Video monitoring method and device | |
Shim et al. | An autonomous driving system for unknown environments using a unified map | |
KR101769601B1 (en) | Unmanned aerial vehicle having Automatic Tracking | |
CN104935879A (en) | Multi-View Human Detection Using Semi-Exhaustive Search | |
KR20160062880A (en) | road traffic information management system for g using camera and radar | |
US11371851B2 (en) | Method and system for determining landmarks in an environment of a vehicle | |
KR20200064873A (en) | Method for detecting a speed employing difference of distance between an object and a monitoring camera | |
GB2305567A (en) | Tracking | |
US8929603B1 (en) | Autonomous lock-on target tracking with geospatial-aware PTZ cameras | |
WO2017208601A1 (en) | Image processing device and external recognition device | |
CN117197695B (en) | Unmanned aerial vehicle holder camera target identification tracking method and system based on artificial intelligence | |
CN113994381A (en) | Method for detecting moving object | |
JP6934386B2 (en) | Moving object tracking device and its program | |
EP4354853A1 (en) | Thermal-image-monitoring system using plurality of cameras | |
US20230334675A1 (en) | Object tracking integration method and integrating apparatus | |
KR101656519B1 (en) | Unmanned aerial vehicle having Automatic Tracking | |
KR100844640B1 (en) | Method for object recognizing and distance measuring | |
KR102210571B1 (en) | Bridge and tunnel safety diagnosis remote monitoring alarm method using GPS coordinates and mobile communication system | |
KR20230020184A (en) | Video analysis device using fixed camera and moving camera | |
CN112802058A (en) | Method and device for tracking illegal moving target | |
US20230196588A1 (en) | Device, method, and computer program for tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |