KR20180133745A - Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same - Google Patents
Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same Download PDFInfo
- Publication number
- KR20180133745A KR20180133745A KR1020170070984A KR20170070984A KR20180133745A KR 20180133745 A KR20180133745 A KR 20180133745A KR 1020170070984 A KR1020170070984 A KR 1020170070984A KR 20170070984 A KR20170070984 A KR 20170070984A KR 20180133745 A KR20180133745 A KR 20180133745A
- Authority
- KR
- South Korea
- Prior art keywords
- pan
- flying object
- image
- tilt zoom
- zoom camera
- Prior art date
Links
Images
Classifications
-
- G01S17/023—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G06K9/6201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 라이다 센서 및 팬틸트줌 카메라를 활용한 비행체 식별 시스템 및 그 제어 방법에 관한 것이다.The present invention relates to a vehicle identification system and a control method thereof using a Lidar sensor and a pan / tilt zoom camera.
라이다(Light Detection And Ranging, LiDAR)는 레이저를 발사하여 산란되거나 반사되는 레이저가 돌아오는 시간과 강도, 주파수의 변화, 편광 상태의 변화 등으로부터 측정 대상물의 거리와 농도, 속도, 형상 등 물리적 성질을 측정하는 기법 및 그 장치.Light Detection And Ranging (LiDAR) is a system that measures the physical properties such as the distance, concentration, velocity, and shape of a measured object from the time, intensity, frequency, and polarization state of a scattered or reflected laser. And a device for measuring the same.
드론(drone)은 사람이 타지 않고 무선전파의 유도에 의해서 비행하는 비행체이다. 무선기술의 발달과 함께 드론의 활용 범위가 넓어졌으며, 종래 드론은 적 정찰용으로 활용되거나, 공격기로도 활용되고 있다. 이에 따라, 적 드론을 탐지할 수 있는 수단에 대한 수요가 증가하고 있는 추세이다.Drone (drone) is a flight that does not burn by people but is driven by induction of radio waves. With the development of wireless technology, the application range of drones has been widened. Conventional drones are used for anti-reconnaissance or attacking. As a result, there is a growing demand for means to detect enemy drones.
항공 탐지 수단으로 레이더가 활용될 수 있는데, 레이더는 그 비용이 비싸고 대체적으로 장비의 크기가 클 뿐 아니라, 고공에서 날아오는 드론이 아닌 도심지에서 낮게 날아 담장을 넘어오는 드론은 탐지하기 어렵다는 문제가 있다. 또한, 근거리 물체 탐지를 위해 라이다를 사용할 수 있는데, 라이다 만을 이용해 담장 위의 물체를 탐지할 경우 해당 물체가 드론인지에 대한 판별이 불가능하며 유사 비행체(조류, 공 등)와 구별할 수 없어 오탐지율이 높다.Radar can be used as a means of detecting airborne radars, which are expensive and generally not only large in size but also difficult to detect because drones that fly low from downtown rather than high-flying drones . It is also possible to use lidar to detect nearby objects. If you use lidar only to detect an object on the fence, you can not distinguish whether the object is a drone and can not distinguish it from similar objects (birds, balls, etc.) The rate of false positives is high.
한편, 드론을 이용한 적 드론 탐지 방법이 활용될 수 있는데, 드론은 이동하는 물체의 탐지 또는 추적에 적합하나, 비행시간이 짧다는 제약이 있고 고정된 주요 자산의 보호에는 효용이 떨어진다는 문제가 있다.On the other hand, the method of detecting enemy drone using a dron can be utilized. The dron is suitable for detection or tracking of a moving object, but there is a restriction that the flight time is short and it is not useful for protecting fixed property .
한편, 팬틸트줌 카메라(Pan Tilt Zoom Camera)의 경우엔 배경과 이동체가 명확하게 분리되고 추적 목표의 속도가 느린 경우에 활용될 수 있으나, 드론과 같이 속도가 빠르며 도심지 및 나무숲과 같은 복잡한 배경에서 침투가 가능한 비행체는 초기 식별된 위치가 없을 경우 목표를 추적하기 힘들다는 문제가 있다.On the other hand, the Pan Tilt Zoom Camera can be used when the background and the moving object are clearly separated and the tracking target is slow, but the speed is fast like the drones and the complex background such as the downtown and the forest There is a problem that it is difficult to track the target if there is no initial identified position.
본 발명은 높은 정확도로 인접한 드론을 식별할 수 있도록 하는 드론 식별 시스템 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a drones identification system and a control method thereof that enable identification of adjacent drones with high accuracy.
상술한 목적을 달성하기 위하여, 본 발명은 비행체의 위치를 감지하도록 이루어지는 복수의 라이다 센서들, 위치 정보를 수신하여, 수신된 위치 정보에 대응하는 영상을 촬영하도록 이루어지는 팬틸트줌 카메라, 비행체 종류 식별 결과를 표시하도록 이루어지는 표시부 및 상기 라이다 센서들 중 적어도 하나로부터, 감지된 비행체의 위치 정보를 수신하는 경우, 상기 팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하도록, 상기 비행체의 위치 정보를 상기 팬틸트줌 카메라로 전송하고, 상기 팬틸트줌 카메라를 통해 촬영된 영상을 수신하는 경우, 수신된 영상으로부터 상기 비행체의 종류를 식별하고, 상기 식별 결과가 표시되도록 상기 표시부를 제어하는 제어모듈을 포함하는 비행체 식별 시스템을 제공한다.In order to achieve the above-described object, the present invention provides a navigation system including a plurality of Lada sensors for detecting a position of a flying object, a pan / tilt zoom camera for receiving position information and photographing an image corresponding to the received position information, Zoom position information of the airplane is received from at least one of a display unit configured to display an identification result and at least one of the Lidar sensors, the pan tilt zoom camera photographs an image corresponding to the position information of the airplane, Tilt zoom camera, and when receiving an image photographed through the pan / tilt zoom camera, identifies the type of the airplane from the received image, and controls the display unit to display the identification result And a control module for controlling the vehicle.
일 실시 예에 있어서, 상기 제어모듈은, 기 저장된 영상을 이용하여, 비행체 정보를 생성하고, 상기 생성된 비행체 정보와 상기 촬영된 영상을 비교하여 비행체의 종류를 식별할 수 있다.In one embodiment, the control module generates flight information by using the pre-stored image, and compares the generated flight information with the photographed image to identify the type of the flight.
일 실시 예에 있어서, 상기 제어모듈은, 심층 신경망(Deep Neural Network, DNN)을 이용하여 상기 촬영된 영상으로부터 비행체의 종류를 식별할 수 있다.In one embodiment, the control module may identify a type of a flight from the photographed image using a Deep Neural Network (DNN).
일 실시 예에 있어서, 상기 심층 신경망은 컨볼루션 신경망 (Convolution Neural Network, CNN)일 수 있다.In one embodiment, the in-depth neural network may be a Convolution Neural Network (CNN).
일 실시 예에 있어서, 상기 라이다 센서들이 배치되는 펜스를 더 포함하고, 상기 라이다 센서들은 상기 펜스 상단에 소정 간격으로 배치될 수 있다.In one embodiment, the LIDAR sensors may further include a fence in which the Lidar sensors are disposed, and the Lidar sensors may be disposed at a predetermined interval on the fence top.
일 실시 예에 있어서, 상기 라이다 센서들 각각은 2차원 라이다 센서 및 3차원 라이다 센서 중 어느 하나일 수 있다.In one embodiment, each of the Lidar sensors may be a two dimensional Lidar sensor or a three dimensional Lidar sensor.
일 실시 예에 있어서, 상기 라이다 센서들 각각이 상기 2차원 라이다 센서인 경우, 상기 라이다 센서들 각각은 상기 펜스에 회전 가능하도록 배치될 수 있다.In one embodiment, when each of the Lidar sensors is the two dimensional Lidar sensor, each of the Lidar sensors may be rotatably disposed on the fence.
또한, 본 발명은 복수의 라이다 센서들, 팬틸트줌 카메라, 제어모듈 및 표시부를 포함하는 비행체 식별 시스템의 제어 방법을 제공한다. 상기 제어 방법은 복수의 라이다 센서들 중 적어도 하나가 비행체의 위치를 감지하는 단계, 팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하는 단계, 상기 제어모듈이 상기 촬영된 영상에서 상기 비행체의 종류를 식별하는 단계 및 상기 표시부가 상기 식별 결과를 표시하는 단계를 포함한다.In addition, the present invention provides a control method of a vehicle identification system including a plurality of Lada sensors, a pan / tilt zoom camera, a control module, and a display unit. Wherein at least one of the plurality of Lada sensors detects a position of a flying object, the method comprising the steps of: capturing an image corresponding to position information of the flying object on a pan / tilt zoom camera; Identifying a type of the air vehicle; and displaying the identification result on the display unit.
일 실시 예에 있어서, 상기 제어 방법은 사용자 요청에 응답하여, 상기 식별 결과에 대응하는 영상을 저장하는 단계 및 상기 저장된 영상을 이용하여, 상기 팬틸트줌 카메라로부터 새롭게 촬영된 영상에서 비행체의 종류를 식별하는 단계를 더 포함할 수 있다.In one embodiment, the control method includes the steps of: storing an image corresponding to the identification result in response to a user request; and storing the type of the air vehicle in the image newly photographed from the pan / tilt zoom camera using the stored image And a step of identifying the step.
본 발명에 따르면, 라이다 센서와 팬틸트줌 카메라가 상호 보완적인 역할을 하기 때문에, 레이더와 같은 고가의 시스템과 비교할 때, 다소 성능이 떨어지는 라이다 센서 및 팬틸트줌 카메라를 이용하더라도, 높은 정확도로 드론을 식별할 수 있게 된다.According to the present invention, since the Lidar sensor and the Pan / Tilt zoom camera complement each other, even when the Lada sensor and the Pan / Tilt zoom camera, which are somewhat inferior in performance compared with the expensive system such as the radar, It is possible to identify the Lodron.
또한, 본 발명에 따르면, 비행체 식별을 반복할수록, 비행체 식별 정확도를 향상시킬 수 있기 때문에, 높은 정확도로 비행체를 식별할 수 있게 된다.Further, according to the present invention, as the flying object identification is repeated, the flight object identification accuracy can be improved, so that the flying object can be identified with high accuracy.
도 1은 본 발명에 따른 비행체 식별 시스템을 나타내는 블록도이다.
도 2는 본 발명에 따른 비행체 식별 시스템의 제어 방법을 나타내는 순서도이다.
도 3은 본 발명에 따른 위협 드론 식별 시스템을 나타내는 개념도이다.
도 4a 및 4b는 펜스에 배치된 라이다 센서를 나타내는 개념도이다.
도 5는 팬틸트줌 카메라의 블록도이다.
도 6은 본 발명에 따른 비행체 식별 시스템에 포함된 제어 모듈의 블록도이다.
도 7은 본 발명에 따른 비행체 식별 시스템에 포함된 데이터 베이스의 블록도이다.1 is a block diagram illustrating an aircraft identification system according to the present invention.
2 is a flowchart showing a control method of the air vehicle identification system according to the present invention.
3 is a conceptual diagram illustrating a threat drones identification system in accordance with the present invention.
4A and 4B are conceptual diagrams showing a Lidar sensor disposed in a fence;
5 is a block diagram of a pan / tilt zoom camera.
6 is a block diagram of a control module included in the air vehicle identification system according to the present invention.
7 is a block diagram of a database included in the air vehicle identification system according to the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be obscured. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.
이하에서는, 본 발명에 따른 비행체 식별 시스템 및 그 제어방법에 대하여 설명한다.Hereinafter, a flight object identification system and a control method thereof according to the present invention will be described.
도 1은 본 발명에 따른 비행체 식별 시스템을 나타내는 블록도이고, 도 2는 본 발명에 따른 비행체 식별 시스템의 제어 방법을 나타내는 순서도이다.FIG. 1 is a block diagram showing a flight object identification system according to the present invention, and FIG. 2 is a flowchart showing a control method of a flight object identification system according to the present invention.
도 1을 참조하면, 본 발명에 따른 시스템은 라이다 센서(110), 팬틸트줌 카메라(120), 제어 모듈(130) 및 비행체 식별 데이터베이스(140)를 포함하여 이루어질 수 있다. Referring to FIG. 1, a system according to the present invention may include a Lada
한편, 도 2를 참조하면, 본 발명에 따른 비행체 식별 시스템의 제어방법은 복수의 라이다 센서(110)들 중 적어도 하나가 비행체의 위치를 감지하는 단계, 팬틸트줌 카메라(120)가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하는 단계, 상기 제어 모듈(130)이 상기 촬영된 영상에서 상기 비행체의 종류를 식별하는 단계 및 상기 표시부(150)가 상기 식별 결과를 표시하는 단계를 포함한다.2, the control method of the air vehicle identification system according to the present invention includes the steps of at least one of the plurality of Lada
이하, 본 발명에 따른 시스템에 포함된 구성요소들에 대하여 구체적으로 설명한다.Hereinafter, the components included in the system according to the present invention will be described in detail.
라이다 센서(110)는 레이저를 발사하여 산란되거나 반사되는 레이저가 돌아오는 시간과 강도, 주파수의 변화 및 편광 상태의 변화 중 적어도 하나를 이용하여, 대상물의 위치를 감지할 수 있다. 본 명세서에서 상기 대상물은 비행체이다. The
라이다 센서(110)는 비행체의 위치를 감지하여 비행체의 위치 정보를 표시부(150)에 표시할 수 있으며, 상기 생성된 위치 정보를 제어 모듈(130)로 송신할 수 있다. The LIDAR
한편, 상기 라이다 센서(110)는 외부인의 칩임을 차단하는 펜스(200) 위에 배치될 수 있다. 이때, 복수의 라이다 센서(110)는 소정 간격을 두고 상기 펜스(200) 위에 배치될 수 있다. 예를 들어, 도 3을 참조하면, 복수의 라이다 센서(110)들은 펜스(200) 상단에 소정 간격을 두고 배치될 수 있다. 이를 통해, 펜스(200) 주위의 모든 영역을 라이다 센서(110)를 통해 감지할 수 있도록 할 수 있다.Meanwhile, the Ridasensor 110 may be disposed on the
한편, 라이다 센서(110)는 2차원 라이다 센서 및 3차원 라이다 센서 중 어느 하나일 수 있다. 라이다 센서(110)가 2차원 라이다 센서인 경우, 라이다 센서(110)는, 도 4a와 같이, 펜스(200)에 고정되도록 배치되거나, 도 4b와 같이, 펜스(200)에 회전가능 하도록 배치될 수 있다. 라이다 센서(110)가 펜스(200)에 회전가능 하도록 배치되는 경우, 라이다 센서(110)의 감지 범위가 넓어질 수 있다.Meanwhile, the Lidar
라이다 센서(110)로부터 생성된 비행체의 위치 정보는 제어 모듈(130)을 거쳐 팬틸트줌 카메라(120)로 전송될 수 있다.The position information of the flying object generated from the RIDAR
팬틸트줌 카메라(Pan-Tilt-Zoom Camera)는 촬영 방향을 변경할 수 있는 카메라이다. 도 5를 참조하면, 팬틸트줌 카메라(120)는 위치 수신부(121), 영상 촬영부(122) 및 영상 송신부(123)를 포함하여 이루어질 수 있다.Pan-Tilt-Zoom Camera is a camera that can change the shooting direction. Referring to FIG. 5, the
위치 수신부(121)는 비행체의 위치 정보를 수신한다. 영상 촬영부(122)는 위치 수신부를 통해 수신된 위치 정보에 대응하는 방향을 촬영하도록 한다. 이때, 영상 촬영부(122)는 상하 좌우로 움직이면서, 촬영 방향을 변경할 수 있다. 이를 통해, 영상 촬영부(122)는 지정된 위치에 대응하는 영상을 촬영할 수 있다.The
영상 촬영부(122)에서 촬영된 영상은 영상 송신부(123)를 통해 제어 모듈(130)로 송신된다.The image photographed by the
한편, 도 3과 같이, 팬틸트줌 카메라(120)는 펜스(200) 위에 배치되거나, 상기 라이다 센서(110) 주변에 배치될 수 있다.3, the pan /
제어 모듈(130)은 복수의 라이다 센서(110)들 중 적어도 하나로부터 감지된 비행체의 위치 정보를 수신하는 경우, 팬틸트줌 카메라(120)가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하도록, 상기 비행체의 위치 정보를 팬틸트줌 카메라(120)로 전송한다. When the
이하, 도 6을 참조하여 제어 모듈(130)에 대하여 구체적으로 설명한다.Hereinafter, the
도 6을 참조하면, 제어 모듈(130)은 라이다 센서(110)로부터 위치 정보를 수신하고, 수신된 위치 정보를 팬틸트줌 카메라(120)로 전송하는 위치 정보 전송부(131)를 포함할 수 있다. 6, the
한편, 제어 모듈(130)은 팬틸트줌 카메라(120)를 통해 촬영된 영상을 수신하고, 수신된 영상으로부터 상기 비행체의 종류를 식별한다.Meanwhile, the
이때, 제어 모듈(130)은 심층 신경망(Deep Neural Network, DNN)을 이용하여 상기 촬영된 영상으로부터 비행체의 종류를 식별할 수 있다. 촬영된 영상은 너비 × 높이 × 채널 수의 3차원 행렬로 표시되는데, DNN은 이 행렬의 각 수치를 입력으로 받아 신경망을 거친 결과 값을 이용해 물체 탐지 (Object Detection) 알고리즘을 수행한다. 심층 신경망이란 기존의 1~2단계의 은닉 층 (hidden layer)를 갖고 있는 얕은 신경망과 달리, 5개 이상의 은닉 층, 많게는 100개 이상의 은닉 층을 갖고 있는 신경망 구조를 뜻한다. 신경망의 결과 값을 이용하여 각 물체가 특정 위치에 존재할 확률을 계산하고, 본 발명의 경우 심층 신경망은 영상 내 드론의 위치를 인식하기 위해 활용된다.At this time, the
여기서, 상기 심층 신경망은 컨볼루션 신경망 (Convolution Neural Network, CNN)일 수 있다. 컨볼루션 신경망은 영상을 효과적으로 처리하기 위해 고안된 심층 신경망의 한 종류이다. 컨볼루션 신경망은 각 위치에서 일정 크기의 특징을 추출하여 다음 계층의 입력을 생성하는 컨볼루션 계층 (Convolutional layer), 다운 샘플링을 위한 풀링 계층 (Pooling layer), 각 위치의 특징을 종합하여 결과를 생성하는 완전히 연결된 계층 (Fully-connected layer) 등을 포함한다.Here, the depth neural network may be a Convolution Neural Network (CNN). Convolutional neural networks are a type of in-depth neural network designed to efficiently process images. The convolution neural network is composed of a convolution layer for extracting features of a certain size at each position to generate the input of the next layer, a pooling layer for downsampling, And a fully-connected layer.
이를 위해, 제어 모듈(130)은 비행체 영상 입력부(132) 및 비행체 인식부(134)를 포함할 수 있다. 비행체 영상 입력부(132)는 팬틸트줌 카메라(120)로부터 촬영된 영상을 수신하고, 수신된 영상을 비행체 인식부(134)에 입력한다.For this, the
비행체 인식부(134)는 상기 영상을 이용하여, 비행체의 종류를 식별한다. 구체적으로, 비행체 인식부1(134)는 상기 영상에서 인식되는 비행체가 드론인지, 유사 비행체(조류 등)인지 식별한다.The flying
이후, 제어 모듈(130)은 상기 식별 결과를 표시할 수 있다. 이를 위해, 본 발명에 따른 시스템은 표시부(150)를 더 포함할 수 있다.Thereafter, the
한편, 본 발명에 따른 시스템은 상기 식별 결과 및 상기 식별 결과에 대응하는 영상을 이용하여, 새롭게 촬영된 영상에서 비행체의 종류를 식별할 수 있다. 구체적으로, 제어 모듈(130)은 팬틸트줌 카메라(120)를 통해 촬영된 영상으로부터 비행체의 종류를 식별한 결과를 표시하고, 사용자로부터 상기 식별 결과에 대한 피드백을 수신할 수 있다.Meanwhile, the system according to the present invention can identify the type of the air vehicle in the newly photographed image by using the image corresponding to the identification result and the identification result. Specifically, the
이를 위해, 본 발명에 따른 시스템은 사용자 입력을 수신하기 위한 입력부를 더 포함할 수 있다. To this end, the system according to the invention may further comprise an input for receiving user input.
사용자는 상기 식별 결과에 대응하는 영상을 저장하는 사용자 요청을 인가할 수 있다. 이때, 사용자는 상기 식별 결과에 따라, 식별 결과에 대응하는 영상이 다르게 저장되도록 할 수 있다. 구체적으로, 사용자는 드론이 식별된 식별 결과와 유사 비행체(조류 등)가 식별된 식별 결과는 서로 다른 카테고리로 저장되도록 할 수 있다.The user may apply a user request to store the image corresponding to the identification result. At this time, the user may be able to store images corresponding to the identification result differently according to the identification result. Specifically, the user can cause the identification result in which the drone is identified and the identification result in which the similar vehicle (bird, etc.) is identified to be stored in different categories.
이를 위해, 비행체 식별 데이터베이스(140)는 드론이 식별된 식별 결과에 대응하는 영상을 저장하는 드론 영상 저장부(141), 유사 비행체가 식별된 식별 결과에 대응하는 영상을 저장하는 유사 비행체 영상 저장부(142)를 포함할 수 있다.To this end, the flying
제어 모듈(130)은 상기 식별 결과에 대응하는 영상에 대한 저장 요청을 수신하는 경우, 상기 식별 결과에 대응하는 영상을 드론 영상 저장부(141) 및 유사 비행체 영상 저장부(142) 중 어느 하나에 저장할 수 있다. When receiving the storage request for the image corresponding to the identification result, the
이후, 제어 모듈(130)에 포함된 식별 모델 생성부(133)는 상기 비행체 식별 데이터베이스(140)에 저장된 영상을 이용하여, 비행체 데이터를 생성할 수 있다. 구체적으로, 식별 모델 생성부(133)는 드론 영상 저장부에 저장된 영상을 이용하여 드론에 대한 비행체 데이터를 생성하고, 유사 비행체 영상 저장부에 저장된 영상을 이용하여 유사 비행체에 대한 비행체 데이터를 생성한다.Then, the
비행체 인식부(134)는 상기 비행체 데이터와 팬틸트줌 카메라(120)로부터 새롭게 촬영된 영상을 비교하여, 비행체의 종류를 식별할 수 있다. 상기 비행체 데이터는 비행체 식별을 거듭할수록 계속해서 갱신되기 때문에, 본 발명에 따르면, 비행체 식별을 거듭할수록, 비행체의 식별 정확도를 향상시킬 수 있게 된다.The
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. It will be apparent to those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.
또한, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.In addition, the above detailed description should not be construed in all aspects as limiting and should be considered illustrative. The scope of the present invention should be determined by rational interpretation of the appended claims, and all changes within the scope of equivalents of the present invention are included in the scope of the present invention.
Claims (9)
위치 정보를 수신하여, 수신된 위치 정보에 대응하는 영상을 촬영하도록 이루어지는 팬틸트줌 카메라;
비행체 종류 식별 결과를 표시하도록 이루어지는 표시부; 및
상기 라이다 센서들 중 적어도 하나로부터, 감지된 비행체의 위치 정보를 수신하는 경우, 상기 팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하도록, 상기 비행체의 위치 정보를 상기 팬틸트줌 카메라로 전송하고,
상기 팬틸트줌 카메라를 통해 촬영된 영상을 수신하는 경우, 수신된 영상으로부터 상기 비행체의 종류를 식별하고,
상기 식별 결과가 표시되도록 상기 표시부를 제어하는 제어모듈을 포함하는 비행체 식별 시스템.A plurality of line sensors for sensing a position of a flying object;
A pan / tilt zoom camera configured to receive position information and to photograph an image corresponding to the received position information;
A display unit configured to display a flight object type identification result; And
Wherein when the position information of the sensed airplane is received from at least one of the LR sensors, the position information of the airplane is transmitted to the pan / tilt zoom lens so that the pan / tilt zoom camera photographs an image corresponding to the position information of the airplane. Camera,
When receiving an image photographed through the pan / tilt zoom camera, identifies the type of the airplane from the received image,
And a control module for controlling the display unit so that the identification result is displayed.
상기 제어모듈은,
기 저장된 영상을 이용하여, 비행체 정보를 생성하고, 상기 생성된 비행체 정보와 상기 촬영된 영상을 비교하여 비행체의 종류를 식별하는 것을 특징으로 하는 비행체 식별 시스템.The method according to claim 1,
The control module includes:
Wherein the airplane information is generated using the pre-stored image, and the type of the airplane is identified by comparing the generated airplane information with the captured image.
상기 제어모듈은,
심층 신경망(Deep Neural Network, DNN)를 이용하여 상기 촬영된 영상으로부터 비행체의 종류를 식별하는 것을 특징으로 하는 비행체 식별 시스템.3. The method of claim 2,
The control module includes:
Wherein the type of the flying object is identified from the photographed image using a Deep Neural Network (DNN).
상기 심층 신경망은 컨볼루션 신경망(Convolution Neural Network, CNN)인 것을 특징으로 하는 비행체 식별 시스템.The method of claim 3,
Wherein the in-depth neural network is a Convolution Neural Network (CNN).
상기 라이다 센서들이 배치되는 펜스를 더 포함하고,
상기 라이다 센서들은 상기 펜스 상단에 소정 간격으로 배치되는 것을 특징으로 하는 비행체 식별 시스템.The method according to claim 1,
Further comprising a fence in which the Lidar sensors are disposed,
Wherein the Lidar sensors are disposed at a predetermined interval on an upper end of the fence.
상기 라이다 센서들 각각은 2차원 라이다 센서 및 3차원 라이다 센서 중 어느 하나인 것을 특징으로 하는 비행체 식별 시스템.6. The method of claim 5,
Wherein each of the Lidar sensors is one of a two dimensional Lidar sensor and a three dimensional Lidar sensor.
상기 라이다 센서들 각각이 상기 2차원 라이다 센서인 경우,
상기 라이다 센서들 각각은 상기 펜스에 회전 가능하도록 배치되는 것을 특징으로 하는 비행체 식별 시스템.The method according to claim 6,
If each of the Lidar sensors is the two dimensional Lidar sensor,
Wherein each of the Lidar sensors is rotatably disposed on the fence.
복수의 라이다 센서들 중 적어도 하나가 비행체의 위치를 감지하는 단계;
팬틸트줌 카메라가 상기 비행체의 위치 정보에 대응하는 영상을 촬영하는 단계;
상기 제어모듈이 상기 촬영된 영상에서 상기 비행체의 종류를 식별하는 단계; 및
상기 표시부가 상기 식별 결과를 표시하는 단계를 포함하는 비행체 식별 시스템의 제어 방법.A control method of a vehicle identification system including a plurality of Lada sensors, a pan / tilt zoom camera, a control module, and a display unit,
Wherein at least one of the plurality of Lidar sensors senses the position of the flying object;
Photographing an image corresponding to the position information of the flying object by a pan / tilt zoom camera;
The control module identifying the type of the air vehicle in the photographed image; And
And the display unit displays the identification result.
사용자 요청에 응답하여, 상기 식별 결과에 대응하는 영상을 저장하는 단계; 및
상기 저장된 영상을 이용하여, 상기 팬틸트줌 카메라로부터 새롭게 촬영된 영상에서 비행체의 종류를 식별하는 단계를 더 포함하는 것을 특징으로 하는 비행체 식별 시스템의 제어 방법.9. The method of claim 8,
Storing an image corresponding to the identification result in response to a user request; And
Further comprising the step of identifying a type of a flight in a newly photographed image from the pan / tilt zoom camera using the stored image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170070984A KR101948569B1 (en) | 2017-06-07 | 2017-06-07 | Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170070984A KR101948569B1 (en) | 2017-06-07 | 2017-06-07 | Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180133745A true KR20180133745A (en) | 2018-12-17 |
KR101948569B1 KR101948569B1 (en) | 2019-02-15 |
Family
ID=65007586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170070984A KR101948569B1 (en) | 2017-06-07 | 2017-06-07 | Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101948569B1 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110717496A (en) * | 2019-08-29 | 2020-01-21 | 浙江工业大学 | Complex scene tree detection method based on neural network |
CN112270713A (en) * | 2020-10-14 | 2021-01-26 | 北京航空航天大学杭州创新研究院 | Calibration method and device, storage medium and electronic device |
CN112817133A (en) * | 2021-01-13 | 2021-05-18 | 北京航空航天大学 | Unmanned aerial vehicle shooting system based on liquid zoom camera |
KR102292117B1 (en) * | 2021-02-23 | 2021-08-20 | (주)필라넷 | Drone control system and method for detecting and identifying of drone using the same |
CN113302510A (en) * | 2019-01-25 | 2021-08-24 | 维宁尔美国公司 | Apparatus and method for detecting radar sensor blockage using machine learning |
KR20220105357A (en) * | 2021-01-20 | 2022-07-27 | 재단법인대구경북과학기술원 | Method and apparatus for surveilling aircraft |
WO2022156176A1 (en) * | 2021-01-22 | 2022-07-28 | 上海西井信息科技有限公司 | Multi-radar and camera joint calibration method, system and device, and storage medium |
CN116299424A (en) * | 2023-05-10 | 2023-06-23 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | Unmanned aerial vehicle identification system and method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102267840B1 (en) | 2019-12-30 | 2021-06-22 | 광주과학기술원 | Drone Monitoring System |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002311120A (en) * | 2001-04-11 | 2002-10-23 | Toshiba Corp | Flying target surveillance system |
KR101160896B1 (en) * | 2012-03-26 | 2012-06-28 | (주)안세기술 | Discriminating system of the aircraft type using laser scanner and conforming system of aircraft self position |
KR101314566B1 (en) * | 2012-08-30 | 2013-10-07 | (주)안세기술 | System and method for discrimination of an aircraft model and docking guide of an aircraft |
JP6085153B2 (en) * | 2012-11-26 | 2017-02-22 | 日立Geニュークリア・エナジー株式会社 | Indoor survey system |
-
2017
- 2017-06-07 KR KR1020170070984A patent/KR101948569B1/en active IP Right Grant
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113302510A (en) * | 2019-01-25 | 2021-08-24 | 维宁尔美国公司 | Apparatus and method for detecting radar sensor blockage using machine learning |
CN113302510B (en) * | 2019-01-25 | 2023-11-17 | 安致尔软件有限责任公司 | Apparatus and method for detecting radar sensor blocking using machine learning |
CN110717496A (en) * | 2019-08-29 | 2020-01-21 | 浙江工业大学 | Complex scene tree detection method based on neural network |
CN110717496B (en) * | 2019-08-29 | 2021-06-08 | 浙江工业大学 | Complex scene tree detection method based on neural network |
CN112270713A (en) * | 2020-10-14 | 2021-01-26 | 北京航空航天大学杭州创新研究院 | Calibration method and device, storage medium and electronic device |
CN112817133A (en) * | 2021-01-13 | 2021-05-18 | 北京航空航天大学 | Unmanned aerial vehicle shooting system based on liquid zoom camera |
KR20220105357A (en) * | 2021-01-20 | 2022-07-27 | 재단법인대구경북과학기술원 | Method and apparatus for surveilling aircraft |
WO2022156176A1 (en) * | 2021-01-22 | 2022-07-28 | 上海西井信息科技有限公司 | Multi-radar and camera joint calibration method, system and device, and storage medium |
KR102292117B1 (en) * | 2021-02-23 | 2021-08-20 | (주)필라넷 | Drone control system and method for detecting and identifying of drone using the same |
CN116299424A (en) * | 2023-05-10 | 2023-06-23 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | Unmanned aerial vehicle identification system and method |
CN116299424B (en) * | 2023-05-10 | 2023-07-18 | 武汉能钠智能装备技术股份有限公司四川省成都市分公司 | Unmanned aerial vehicle identification system and method |
Also Published As
Publication number | Publication date |
---|---|
KR101948569B1 (en) | 2019-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101948569B1 (en) | Flying object identification system using lidar sensors and pan/tilt zoom cameras and method for controlling the same | |
US10514711B2 (en) | Flight control using computer vision | |
US11783712B1 (en) | Unmanned vehicle recognition and threat management | |
US9429945B2 (en) | Surveying areas using a radar system and an unmanned aerial vehicle | |
Khan et al. | On the detection of unauthorized drones—Techniques and future perspectives: A review | |
WO2017170148A1 (en) | Flight device, electronic device and program | |
WO2019067695A1 (en) | Flight control using computer vision | |
US20060049930A1 (en) | Method and apparatus for implementing multipurpose monitoring system | |
CN112068111A (en) | Unmanned aerial vehicle target detection method based on multi-sensor information fusion | |
WO2018145291A1 (en) | System and method for real-time location tracking of drone | |
JP7432595B2 (en) | Cooperative virtual interface | |
Dogru et al. | Drone detection using sparse lidar measurements | |
CN111679695A (en) | Unmanned aerial vehicle cruising and tracking system and method based on deep learning technology | |
US20210221502A1 (en) | Method and a system for real-time data processing, tracking, and monitoring of an asset using uav | |
KR20170100892A (en) | Position Tracking Apparatus | |
CN110287957B (en) | Low-slow small target positioning method and positioning device | |
JP6595284B2 (en) | Autonomous mobile robot | |
US10733442B2 (en) | Optical surveillance system | |
CN111931657A (en) | Object recognition system, method and storage medium | |
González et al. | Vision-based UAV detection for air-to-air neutralization | |
CN107885231A (en) | A kind of unmanned plane capturing method and system based on visible images identification | |
Müller et al. | Drone detection, recognition, and assistance system for counter-UAV with VIS, radar, and radio sensors | |
US11610398B1 (en) | System and apparatus for augmented reality animal-watching | |
KR102305438B1 (en) | System and method for UAV surveillance | |
CN111491154A (en) | Detection and ranging based on one or more monoscopic frames |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |