KR101896654B1 - Image processing system using drone and method of the same - Google Patents

Image processing system using drone and method of the same Download PDF

Info

Publication number
KR101896654B1
KR101896654B1 KR1020170147882A KR20170147882A KR101896654B1 KR 101896654 B1 KR101896654 B1 KR 101896654B1 KR 1020170147882 A KR1020170147882 A KR 1020170147882A KR 20170147882 A KR20170147882 A KR 20170147882A KR 101896654 B1 KR101896654 B1 KR 101896654B1
Authority
KR
South Korea
Prior art keywords
drones
image
subject
images
image processing
Prior art date
Application number
KR1020170147882A
Other languages
Korean (ko)
Inventor
변정태
Original Assignee
변정태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 변정태 filed Critical 변정태
Priority to KR1020170147882A priority Critical patent/KR101896654B1/en
Application granted granted Critical
Publication of KR101896654B1 publication Critical patent/KR101896654B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

Disclosed is an image processing system. More specifically, the present invention relates to the image processing system obtaining a three-dimensional image on a subject using one or more drones and a method thereof. According to an embodiment of the present invention, the image processing system can obtain a high-quality three-dimensional image at low cost regardless of a place by obtaining 360°; panoramic image on the subject using one or more drones and by matching the 360°; panoramic image through the image processing system and generating the three-dimensional image.

Description

드론을 이용한 3D 영상 처리 시스템 및 방법{IMAGE PROCESSING SYSTEM USING DRONE AND METHOD OF THE SAME}TECHNICAL FIELD [0001] The present invention relates to a 3D image processing system and method using a drone,

본 발명은 영상 처리 시스템에 관한 것으로, 특히 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 입체영상을 획득하는 영상 처리 시스템 및 방법에 관한 것이다. The present invention relates to an image processing system, and more particularly, to an image processing system and method for acquiring a stereoscopic image of a subject using one or two or more drones.

최근, 헤드 마운티드 디스플레이(HMD; Head Mounted Display)와 같은 가상 현실을 경험할 수 있는 소형 웨어러블 장치기술이 발전함에 따라, 입체 영상을 기반으로 하는 가상 현실(Virtual Reality) 분야와 관련된 기술이 주목 받고 있다.2. Description of the Related Art [0002] Recently, with the development of a small wearable device technology capable of experiencing a virtual reality such as a head mounted display (HMD), a technology related to a virtual reality based on a stereoscopic image has attracted attention.

그러나, 가상 현실 콘텐츠를 제공할 수 있는 장치 기술에 비해 입체 영상 콘텐츠는 부족한 실정이다. 따라서, 소형 웨어러블 장치기술에 적용될 수 있는 입체영상 콘텐츠 생성 기술에 대한 요구도 지속적으로 증가하고 있는 추세이다.However, stereoscopic image contents are scarce compared to a device technology capable of providing virtual reality contents. Accordingly, a demand for a stereoscopic image content generation technology that can be applied to a small wearable device technology is continuously increasing.

종래에는, 입체영상 콘텐츠를 생성하기 위해 피사체를 중심으로 하여 많은 개수의 카메라를 설치하여 촬영함으로써 복수의 영상을 획득하고, 영상들을 서로 이어 붙여 하나의 360°파노라마 영상을 제작하는 방식이 널리 이용되었다.Conventionally, a method of acquiring a plurality of images by attaching and photographing a large number of cameras around a subject in order to generate stereoscopic image contents, and attaching images to each other to produce one 360 ° panoramic image has been widely used .

전술한 파노라마 영상을 제작방식에 의하면, 연결되는 영상의 개수가 많으면 많을수록 더욱 자연스러운 입체영상을 획득할 수 있으나, 카메라 대수가 증가할수록 그 비용도 비례하여 증가하는 단점이 있다.According to the above-described method of producing a panoramic image, a more natural stereoscopic image can be obtained as the number of connected images increases, but the cost increases proportionally as the number of cameras increases.

또한, 다수의 카메라 장치는 그 외관이 상당히 거대함에 따라, 장치를 설치할 수 있는 장소의 제약이 발생한다는 문제점이 있다.In addition, since a plurality of camera apparatuses are considerably large in appearance, there is a problem that a place where a device can be installed is limited.

등록특허공보 제10-1639275호(공고일자: 2016.07.14.)Patent Registration No. 10-1639275 (Publication Date: Jul. 14, 2014)

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로, 본 발명은 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 360°영상을 획득하고, 영상처리 과정을 통해 입체영상을 생성하는 데 과제가 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to acquire a 360 ° image of a subject using one or more drones and to generate a stereoscopic image through an image processing process.

전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 영상 처리 시스템은, 피사체로부터 일정거리 이격되어 상기 피사체의 중심으로 비행하며 상기 피사체를 촬영하여 원 영상을 획득하는 하나 이상의 드론과, 상기 드론의 운행을 제어하여 상기 드론이 촬영한 원 영상을 실시간으로 수신 및 저장하는 무선조정장치를 포함하고, 상기 무선조정장치는, 상기 드론을 상기 피사체를 중심으로 일정거리 이격되는 위치에서 일정경로를 따라 비행하도록 제어할 수 있다.In order to solve the above problems, an image processing system according to an embodiment of the present invention includes at least one dron that is spaced a predetermined distance from a subject and flew to the center of the subject, capturing the subject to acquire an original image, And a wireless adjusting device for receiving and storing the original image photographed by the drones in real time, wherein the wireless adjusting device adjusts the position of the dron by moving a predetermined distance You can control to fly.

상기 무인 비행기는, 상기 피사체를 중심으로 한 쌍이 서로 대향하도록 배치되어 상기 피사체를 촬영할 수 있다.The unmanned airplane may be arranged such that pairs of the objects are opposed to each other to photograph the subject.

상기 무선조정장치는, 상기 드론과 정보통신망을 통해 통신하여 비행을 위한 제어신호를 송출하고, 상기 드론으로부터 위치정보 및 상기 원 영상을 수신하는 통신부와, 상기 원 영상을 저장하는 저장부와, 상기 위치정보에 대응하여 드론의 현재위치를 판단하고, 상기 드론의 비행경로를 산출하는 비행 제어부와, 상기 원 영상을 표시하는 디스플레이부와, 사용자의 조작에 대응하는 입력신호를 생성하는 조작부와, 상기 비행 제어부를 통해 상기 비행경로에 따른 제어신호를 생성하고, 상기 입력신호를 상기 제어신호에 반영하는 장치 제어부를 포함할 수 있다.The wireless control device includes a communication unit for communicating with the drones through an information communication network to transmit a control signal for flight and receiving positional information and the original image from the drones; a storage unit for storing the original image; A flight control unit for determining a current position of the drones in accordance with the position information and calculating a flight path of the drones, a display unit for displaying the original image, an operation unit for generating an input signal corresponding to a user's operation, And a device controller for generating a control signal according to the flight path through the flight control unit and reflecting the input signal to the control signal.

상기 드론은 복수개이고, 상기 저장부는, 복수의 드론으로부터 각각 수신되는 복수의 원 영상을 각각 저장하는 복수의 저장소를 포함할 수 있다.The plurality of drones may include a plurality of depots each of which stores a plurality of original images respectively received from the plurality of drones.

상기 제어신호는, 상기 복수의 드론이 상기 피사체를 기준으로 동일거리를 갖도록 한 쌍씩 대향하도록 위치시키고, 일 방향으로 상기 피사체의 주변을 회전하는 경로를 갖도록 제어할 수 있다.The control signal may control the drones so that the plurality of drones are opposed to each other so as to have the same distance based on the subject and have a path that rotates the periphery of the subject in one direction.

상기 비행 제어부는, 각각의 드론의 위치를 식별하는 위치식별모듈과, 복수의 드론간 위치에 따라 일정간격이 유지되는 군집항로를 산출하는 항로산출 모듈과, 상기 입력신호에 따라, 상기 복수의 드론 중, 어느 하나의 비행경로를 결정하고, 하나에 대한 비행경로에 따라 나머지 드론의 비행경로를 산출하여 상기 제어신호를 생성하는 항로결정모듈을 포함할 수 있다.Wherein the flight control unit comprises: a position identification module for identifying a position of each dronion; a route calculation module for calculating a crossover route in which a predetermined interval is maintained according to a position between a plurality of drones; And a route determining module for determining the flight path of one of the drones and calculating the flight path of the other drones according to the flight path for the one to generate the control signal.

상기 복수의 원 영상을 입력받아 하나의 입체영상으로 정합하는 영상처리장치를 더 포함할 수 있다.The image processing apparatus may further include an image processing apparatus that receives the plurality of original images and registers them as one stereoscopic image.

상기 영상처리장치는, 상기 복수의 원 영상을 전처리하는 전처리기와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 라벨링부와, 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상들의 시점을 식별하고, 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 이미지 분석부와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 이미지 정합부를 포함할 수 있다.The image processing apparatus includes a preprocessor for preprocessing the plurality of original images, a labeling unit for setting a label on each of the plurality of preprocessed images at the time of photographing, An image analyzer for identifying an image corresponding to each viewpoint from 0 ° to 360 °, and an image matching unit for generating a stereoscopic image by matching images at respective viewpoints.

상기 드론은 일 방향으로 적외선 빔을 조사하여 빔이 투사된 지점과의 거리를 산출하고, 상기 무선조정장치에 전송하는 적외선 센서부를 더 포함할 수 있다.The drone may further include an infrared sensor unit for irradiating an infrared beam in one direction to calculate a distance to a point where the beam is projected, and transmitting the distance to the wireless adjusting device.

또한, 전술한 과제를 해결하기 위한 다른 양태의 실시예에 따른 입체영상을 생성하는 영상 처리 장치에 의한 영상 처리 방법으로서, 복수의 드론으로부터 획득된 피사체에 대한 복수의 원 영상을 입력받는 단계와, 입력된 복수의 원 영상을 전처리하는 단계와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 단계와, 원 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상의 시점을 식별하는 단계와, 상기 피사체에 대한 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 단계와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an image processing method by an image processing apparatus for generating a stereoscopic image, the method comprising: receiving a plurality of original images of a subject obtained from a plurality of drone; A step of preprocessing a plurality of original images inputted, a step of setting a label according to a photographing time point on each of the plurality of preprocessed images, a step of identifying a time point of an image labeled on the basis of a subject present in the original image, Classifying the images corresponding to the respective viewpoints from 0 ° to 360 ° with respect to the subject, and generating a stereoscopic image by matching the images at each viewpoint.

본 발명의 실시예에 따르면, 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 360° 파노라마 영상을 획득하고, 이를 영상 처리 장치를 통해 정합하여 입체영상을 생성함으로써, 장소에 구애받지 않고 저비용으로 고품질의 입체영상을 획득할 수 있는 효과가 있다. According to an embodiment of the present invention, a 360 ° panoramic image of a subject is acquired using one or two or more drones, and the three-dimensional image is generated by matching the 360 ° panoramic image with an image processing device. Thus, The stereoscopic image can be obtained.

또한, 본 발명의 실시예에 따른 3D 영상 처리 시스템을 통해 획득한 입체 영상은, 인물영상의 경우 3D 피규어 제작 등에 활용될 수 있고, 관광 명소, 풍경, 사찰 및 탑 등에 대한 장소 및 건축물에 대한 3D 영상 보존을 위한 자료 구축에 활용될 수 있다.In addition, the stereoscopic image acquired through the 3D image processing system according to the embodiment of the present invention can be used for producing a 3D figure in the case of a portrait image, and can be used for a 3D image processing for a place, a structure, It can be used to build data for image preservation.

도 1은 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 전체 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 무선조정장치의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 영상 처리 시스템의 드론의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에 포함되는 영상처리장치를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상처리장치의 영상 처리 방법을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 드론을 이용하여 피사체를 촬영하는 방법을 예시한 도면이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 피사체를 촬영하기 위해 군집비행하는 복수의 드론의 위치설정방법을 예시한 도면이다.FIG. 1 is a diagram showing the overall configuration of an image processing system using a drone according to an embodiment of the present invention.
2 is a diagram illustrating a structure of a wireless adjusting apparatus of an image processing system using a drone according to an embodiment of the present invention.
3 is a diagram illustrating the structure of a drones of an image processing system according to an embodiment of the present invention.
4 is a diagram illustrating an image processing apparatus included in an image processing system using a drone according to an embodiment of the present invention.
5 is a diagram illustrating an image processing method of an image processing apparatus according to an embodiment of the present invention.
6 is a diagram illustrating a method of photographing a subject using a drone according to an embodiment of the present invention.
FIGS. 7A through 7C are views illustrating a method of positioning a plurality of drones in a cluster flight in order to photograph a subject according to an embodiment of the present invention.

설명에 앞서, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Prior to the description, when an element is referred to as being "comprising " or" comprising "any element throughout the specification, it is to be understood that the element It means that you can.

본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 그리고, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다. The term "embodiment" is used herein to mean serving as an example, instance, or illustration, although the subject matter of the invention is not limited by such example. It is also to be understood that the word "comprising, "" having "and other similar terms are used, unless the context clearly dictates otherwise. &Quot;Quot; is < / RTI > used in a manner similar to the term " Comprising ".

또한, 본 명세서의 전반에 걸쳐 기재된 "...부(unit), "...모듈(module)", "...장치(device)" 및 "...시스템(system)" 등의 용어는 하나 또는 둘 이상의 기능이 조합된 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.It should also be understood that the terms "unit," "module," "device," and "system" Means a unit for processing an operation in which one or more functions are combined, and may be implemented by hardware, software, or a combination of hardware and software.

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부", "모듈", "장치" 및 "시스템" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명에서 사용자 단말에서 실행되는 어플리케이션 프로그램은 "부" 또는 "모듈" 단위로 구성될 수 있고, 읽기, 쓰기 및 지우기가 가능한 형태로 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 또는 기록매체 사이에 분산되어 기록될 수 있다.The various techniques described herein may be implemented with hardware or software, or may be implemented with a combination of both, where appropriate. As used herein, terms such as "part," "module," "device and system," Can be treated as equivalent. In addition, in the present invention, an application program executed in a user terminal may be configured in units of "negative" or "module ", and may be recorded in one physical memory in a form readable, writable, and erasable, As shown in FIG.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템을 설명한다.Hereinafter, an image processing system using a drone according to an embodiment of the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 전체 구성을 나타낸 도면이다.FIG. 1 is a diagram showing the overall configuration of an image processing system using a drone according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 드론을 이용한 영상 처리 시스템은 피사체를 중심으로 일정거리 이격되어 공전하며, 피사체를 촬영하여 원 영상을 획득하는 하나 이상의 드론(200)과, 드론(200)의 운행을 제어하여 드론(200)이 촬영한 원 영상을 실시간으로 수신 및 저장하는 무선조정장치(100)를 포함하고, 특히, 무선조정장치(100)는 드론(200)을 상기 피사체를 중심으로 일정거리 이격되는 위치에서 일정경로를 따라 비행하도록 제어할 수 있다.Referring to FIG. 1, the image processing system using the dron according to the present invention includes at least one dron 200 that revolves at a predetermined distance around a subject and shoots a subject to acquire an original image, The wireless adjusting device 100 includes a wireless adjusting device 100 for receiving and storing the original image captured by the drones 200 in real time by controlling the drones 200, It can be controlled to fly along a certain route at a position where it is spaced apart.

무선조정장치(100)는 사용자에 의해 조작되며, 하나 이상의 드론(200)을 제어할 수 있다. 무선조정장치(100)는 정보통신만을 통해 드론(200)과 통신하여 그의 비행경로를 제어하게 되며, 드론(200)로부터 피사체를 촬영한 원 영상을 수신하고, 이를 실시간으로 표시 및 탑재된 메모리 장치에 저장할 수 있다.The wireless adjustment device 100 is operated by a user and is capable of controlling one or more drones 200. The wireless control device 100 communicates with the drones 200 through information communication alone to control the flight path thereof. The wireless remote control device 100 receives an original image of a subject photographed from the drones 200, displays the captured image in real time, Lt; / RTI >

또한, 드론(200)이 다수일 경우, 어느 하나의 드론(200)은 마스터로 설정될 수 있고, 나머지 타 드론(200)은 슬레이브로 설정될 수 있다. 무선조정장치(100)는 각 드론(200)로부터 그 위치정보를 수신하고, 마스터 드론(200)을 기준으로 하여 각 드론(200)간 거리를 산출하고 그 거리가 일정간격이 유지되도록 하는 항로를 산출하여 각 드론(200)의 제어신호에 반영할 수 있다.Also, when there are a plurality of drones 200, one of the drone 200 can be set as a master, and the other tron drone 200 can be set as a slave. The wireless controller 100 receives the positional information from each of the drills 200 and calculates a distance between each of the drills 200 on the basis of the master drone 200, And can be reflected in the control signal of each dron 200.

이에 따라, 무선조정장치(100)는 하나의 마스터 장치의 비행을 제어함으로써 장치로 다수의 드론(200)을 제어할 수 있게 된다.Accordingly, the wireless adjusting device 100 can control the plurality of drones 200 by controlling the flight of one master device.

사용자는 자신이 입체영상을 생성하고자 하는 대상인 피사체에 대하여 그 주변으로 하나 이상의 드론(200)을 배치하고, 피사체를 중심으로 소정방향으로 회전 이동하여 일정한 높이마다 피사체에 대한 360°파노라마 영상을 획득할 수 있다.The user places one or more drones 200 around the subject on which the user wants to create the stereoscopic image, and rotates in a predetermined direction about the subject to obtain a 360 ° panoramic image of the subject at a predetermined height .

드론(200)은 무선조정장치(100)의 제어에 따라 해당하는 피사체를 촬영할 수 있다. 이러한 드론(200)은 무선통신수단, 비행수단 및 전원공급수단을 탑재할 수 있고, 특히 촬영수단을 탑재하고 있어 무선조정장치(100)의 제어에 의해 비행 중, 일정구역을 촬영하여 획득된 영상을 무선조정장치(100)에 전송할 수 있다.The drones 200 can photograph a corresponding subject under the control of the wireless adjusting device 100. The drones 200 can mount wireless communication means, flight means, and power supply means. Particularly, since the photographing means is mounted on the drones 200, To the radio network controller 100.

또한, 드론(200)은 복수개가 구비될 수 있고, 피사체를 중심으로 각 드론(200)간 한 쌍이 대향 하도록 비행함에 따라, 동일 피사체에 대하여 한 쌍의 드론(200)이 서로 대한 시점에서 촬영하고, 시계방향 또는 반시계 방향으로 일정하게 회전하면 촬영함에 따라 대한 360°파노라마 영상을 획득하게 된다. In addition, a plurality of drunks 200 may be provided, and a pair of drones 200 may be photographed from the viewpoint of the mutual drones 200, , And if it rotates in a clockwise or counterclockwise direction, the 360 ° panoramic image is obtained according to the photographing.

이러한 드론(200)은 복수의 쌍이 군집을 이루며 동일경로에 따라 비행할 수 있고, 각자의 위치에서 피사체를 촬영할 수 있다. 일 예로서, 드론(200)은 제1 드론(201)은 제3 드론(203)과 대향하여 한 쌍을 이루고, 제2 드론(202)은 제4 드론(204)과 대향하여 한 쌍을 이룰 수 있다.The plurality of pairs of the drones 200 form a cluster and can fly according to the same route, and the subject can be photographed at each position. In one example, the drones 200 are arranged such that the first drones 201 form a pair against the third drones 203 and the second drones 202 form a pair against the fourth drones 204 .

그리고, 두 쌍의 드론(200)들은 하나의 군집을 이루며 동일 경로로 이동할 수 있고, 피사체를 중심으로 하여 동일 거리에 배치되어 영상을 획득할 수 있다. The two pairs of drones 200 constitute one cluster and can move on the same path, and can be disposed at the same distance around the object to acquire an image.

제1 무선 비행체(201)가 피사체에 대해 0°에 위치한다고 하면, 제2 드론(202)은 90°, 제3 드론(203)은 180° 및 제4 드론은 270°에 대응하여 위치할 수 있다.Assuming that the first wireless navigational member 201 is located at 0 ° with respect to the subject, the second dron 202 may be positioned at 90 °, the third dron 203 at 180 °, and the fourth dron at 270 ° have.

또한, 각 드론(200)은 촬영시 동시에 시계방향 및 반시계 방향으로 약 90°로 원을 그리며 수평이동하며 촬영함으로써 피사체에 대한 360°파노라마 영상을 획득할 수 있고, 수평 이동 후에는 동일 높이로 수직 이동하여 다시 수평이동으로 촬영을 재개하여 다양한 각도에서 피사체에 대한 영상을 획득할 수 있다.Further, each of the drills 200 can acquire a 360-degree panoramic image with respect to the subject by photographing horizontally while drawing a circle at approximately 90 ° in the clockwise direction and the counterclockwise direction simultaneously at the time of photographing, and at the same height It is possible to acquire an image of a subject from various angles by resuming the photographing by horizontally moving again by vertical movement.

또한, 드론(200)은 촬영시, 수평 및 수직 이동을 동시에 수행함으로써 대각선 방향으로의 회전 이동하여 다양한 위치에서의 피사체에 대한 영상을 획득할 수 있다.In addition, the drone 200 may be rotated in a diagonal direction by simultaneously performing horizontal and vertical movements at the time of shooting, thereby acquiring an image of a subject at various positions.

이러한 방식으로 획득된 영상은 실시간으로 무선조정장치에 전송되어 저장될 수 있고, 저장된 영상은 이후 영상 처리 장치를 통해 분석 및 정합되어 입체영상으로 변환될 수 있다.The images obtained in this way can be transmitted to the wireless adjusting device in real time and stored, and the stored images can then be analyzed and matched through the image processing device and converted into stereoscopic images.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 무선조정장치를 상세히 설명한다.Hereinafter, a wireless adjusting device of an image processing system using a drone according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 2는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 무선조정장치의 구조를 나타낸 도면이다.2 is a diagram illustrating a structure of a wireless adjusting apparatus of an image processing system using a drone according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 영상 처리 시스템의 무선조정장치(100)는, 드론과 정보통신망을 통해 통신하여 비행을 위한 제어신호를 송출하고, 드론으로부터 위치정보 및 상기 원 영상을 수신하는 통신부(110)와, 원 영상을 저장하는 저장부(120)와, 위치정보에 대응하여 드론의 현재위치를 판단하고, 상기 드론의 비행경로를 산출하는 비행 제어부(130)와, 입체영상을 표시하는 디스플레이부(140)와, 사용자의 조작에 대응하는 입력신호를 생성하는 조작부(150)와, 비행 제어부(130)를 통해 상기 비행경로에 따른 제어신호를 생성하고, 상기 입력신호를 상기 제어신호에 반영하는 장치 제어부(160)를 포함할 수 있다.2, the wireless control device 100 of the image processing system of the present invention includes a communication unit 100 for communicating with a drones via an information communication network to transmit a control signal for flight and receiving location information and the original image from the drones, A storage unit 120 for storing an original image, a flight control unit 130 for determining a current position of the drones in accordance with the positional information and calculating a flight path of the drones, An operation unit 150 for generating an input signal corresponding to a user's operation, a control unit 130 for generating a control signal according to the flight path through the flight control unit 130, And a device control unit 160 for controlling the device.

통신부(110)는 정보통신망을 통해 드론과 연결되어 제어를 위한 제어신호를 송출하고, 그로부터 획득된 피사체에 대한 원 영상을 수신할 수 있다.The communication unit 110 may be connected to the drone through an information communication network to transmit a control signal for control and receive an original image of a subject obtained from the control signal.

저장부(120)는 통신부(110)를 통해 수신한 원 영상을 저장할 수 있다. 이러한 저장부(120)에는 분할된 복수의 저장소가 정의되는 파일 시스템으로 초기화될 수 있고, 복수의 저장소에는 각각 복수의 드론이 획득한 영상들이 각각 제1 내지 제4 영상으로 구분되어 저장될 수 있다.The storage unit 120 may store the original image received through the communication unit 110. The storage unit 120 may be initialized to a file system in which a plurality of divided storage units are defined, and images obtained by a plurality of drones may be divided into first to fourth images, respectively, .

또한, 저장부(120)는 무선조정장치(100)의 구동을 위한 환경설정값 등을 저장할 수 있다. 이러한 저장부(120)는 플래시 메모리(flash memory)와 같이 무선조정장치(100)로부터 탈착 가능한 메모리장치로 구현될 수 있다.In addition, the storage unit 120 may store environment setting values for driving the wireless adjusting apparatus 100, and the like. The storage unit 120 may be embodied as a removable memory device such as a flash memory.

비행 제어부(130)는 드론으로부터 위치신호를 수신하여 현재 위치를 식별할 수 있고, 군집 비행으로 설정된 복수의 드론 각각의 항로를 산출하고, 이에 대응하는 제어신호를 생성할 수 있다. The flight control unit 130 can receive the position signal from the drones to identify the current position, calculate the course of each of the plurality of drones set in the cluster flight, and generate the corresponding control signal.

이러한 기능을 구현하기 위해, 본 발명의 실시예에 따른 비행 제어부(130)는 각각의 드론의 위치를 식별하는 위치식별모듈(131)과, 복수의 드론간 위치에 따라 일정간격이 유지되는 군집항로를 산출하는 항로산출 모듈(133) 및, 조작신호에 따라, 복수의 드론 중, 어느 하나의 비행경로를 결정하고, 하나에 대한 비행경로에 따라 나머지 드론의 비행경로를 산출하여 제어신호를 생성하는 항로결정모듈(135)을 포함할 수 있다.In order to implement this function, the flight control unit 130 according to the embodiment of the present invention includes a position identification module 131 for identifying the position of each dron, A route calculation module 133 for calculating a flight route of one of the plurality of drones in accordance with an operation signal and calculating a flight route of the remaining drones according to the flight route for one of the plurality of drones, And a route determining module 135. [

디스플레이부(140)는 드론에 탑재된 카메라 장치로부터 촬영되는 영상을 실시간으로 표시할 수 있다. 사용자는 현재 자신이 조종하는 하나 이상의 드론이 의도한 피사체를 적절하게 촬영하고 있는지 확인할 수 있다. The display unit 140 can display an image photographed from a camera device mounted on the drones in real time. The user can confirm that one or more drones that he / she is currently controlling is properly shooting the intended subject.

조작부(150)는 사용자의 조작에 따라 드론의 비행과 피사체 촬영을 제어하는 입력신호를 생성할 수 있다. 이러한 조작부(150)는 소정의 방향 및 높이를 지정하는 하나 이상의 스틱 및 버튼을 포함할 수 있고, 조작부(150)에 의한 입력신호는 제어신호에 반영되게 된다. The operation unit 150 may generate an input signal for controlling the flying of the drones and the shooting of the subject according to a user's operation. The operation unit 150 may include one or more sticks and buttons for specifying a predetermined direction and height, and the input signal from the operation unit 150 is reflected in the control signal.

장치 제어부(160)는 무선조정장치(100)의 각 구성부를 제어하는 역할을 하는 것으로, 통신부(110)에 의해 드론과 통신가능 하도록 제어할 수 있고, 사용자의 조작에 따른 입력신호를 제어신호에 반영하여 드론을 사용자의 의도에 따라 해당 위치로 비행하도록 할 수 있다.The device control unit 160 controls each component of the radio network controller 100. The device control unit 160 can control the communication unit 110 to communicate with the drones, To allow the drones to fly to that location according to the user's intent.

또한, 장치 제어부(160)는 비행 제어부(130)를 제어하여 군집 비행에 따른 항로를 산출하고, 이에 따른 제어신호를 생성하도록 제어할 수 있다. 이러한 장치 제어부(160)는 전술한 기능들이 프로그래밍된 MCU 등으로 구현될 수 있다.In addition, the device control unit 160 may control the flight control unit 130 to calculate the route along the cluster flight and generate control signals accordingly. The device control unit 160 may be implemented as an MCU or the like in which the above-described functions are programmed.

전술한 구조에 따라, 본 발명의 실시예에 따른 무선조정장치는, 하나 또는 둘 이상의 드론에 대한 비행을 제어할 수 있고, 드론이 복수개일 경우 군집 비행을 구현할 수 있으며, 각 드론이 촬영한 피사체에 대한 원 영상을 수신 및 저장할 수 있다.According to the above-described structure, the wireless control device according to the embodiment of the present invention can control flight for one or two or more drones, can implement a cluster flight when there are a plurality of drones, Lt; RTI ID = 0.0 > and / or < / RTI >

이하, 도면을 참조하여 본 발명의 실시예에 따른 영상 처리 시스템에 이용되는 드론의 구조를 설명한다.Hereinafter, the structure of the drones used in the image processing system according to the embodiment of the present invention will be described with reference to the drawings.

도 3은 본 발명의 실시예에 따른 영상 처리 시스템의 드론의 구조를 나타낸 도면이다.3 is a diagram illustrating the structure of a drones of an image processing system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 실시예에 따른 드론(200)은 정보통신망을 통해 무선조정장치와 연결되는 통신부(210)와, GPS 신호에 대응하여 현재 자신의 위치에 대한 위치신호를 생성하는 GPS부(220)와, 비행을 위한 회전력을 발생시키는 구동부(230)와, 피사체를 촬영하는 카메라(240)와, 수신한 제어신호에 대응하여 상기 구동부를 제어하여 비행을 수행하도록 하는 드론 제어부(250)와, 일 방향으로 적외선 광을 조사하여 자신과 피사체간 거리를 측정하는 적외선 센서부(260)와, 드론(200)에 전원을 공급하는 전원부(270)를 포함할 수 있다.3, the dron 200 according to the embodiment of the present invention includes a communication unit 210 connected to a wireless control device through an information communication network, A GPS unit 220, a driving unit 230 for generating a rotational force for flight, a camera 240 for photographing a subject, a drones control unit 250 for controlling the driving unit in response to the received control signal, An infrared sensor 260 for measuring the distance between itself and the subject by irradiating infrared rays in one direction, and a power source 270 for supplying power to the drones 200.

통신부(210)는 정보통신망을 통해 무선조정장치와 연결되어 통신을 수행할 수 있다. 이에 따라, 통신부(210)는 무선조정장치로부터 송출되는 제어신호를 수신하고, 카메라로부터 촬영된 피사체에 대한 원 영상을 전송할 수 있다.The communication unit 210 can communicate with the wireless control device through the information communication network. Accordingly, the communication unit 210 receives the control signal transmitted from the wireless adjusting device, and can transmit the original image of the photographed subject from the camera.

GPS부(220)는 GPS 위성으로부터 송출되는 신호에 따라 드론의 현재 위치에 대한 위치정보를 산출하고, 이를 통신부(210)를 통해 실시간으로 무선조정장치에 전송할 수 있다.The GPS unit 220 may calculate position information on the current position of the drone according to a signal transmitted from the GPS satellite and transmit the position information to the wireless adjusting device in real time through the communication unit 210.

여기서, 상기 GPS부(220)가 GPS 위성으로부터 신호를 수신할 수 없는 터널 또는 실내 등의 상황에서는, 드론에 탑재되는 적외선 또는 초음파 센서 등을 통해 피사체, 타 드론 및 기타 주변의 장애물과의 거리를 감지하여 비행 경로를 산출할 수 있다.Here, in a situation where the GPS unit 220 can not receive a signal from a GPS satellite, such as in a tunnel or an indoor environment, the distance between the object, the tread drone, and other nearby obstacles is reduced through infrared rays or ultrasonic sensors mounted on the drone And can calculate the flight path.

구동부(230)는 회전력을 발생시키는 소정의 모터 및 그 회전력을 추력으로 하여 드론을 추진시킬 수 있다. 이러한 구동부(230)는 드론의 종류에 따라 둘 이상이 탑재될 수 있다.The driving unit 230 may propel the dron using a predetermined motor for generating a rotational force and its rotational force as a thrust. More than two of these driving units 230 may be mounted depending on the kind of drones.

카메라(240)는 드론(200)에 탑재되어 일 방향을 촬영하여 영상을 획득할 수 있다. 특히, 카메라(240)는 피사체를 일정거리에 촬영하고, 이를 원 영상으로서 통신부(210)를 통해 무선조정장치에 전송할 수 있다.The camera 240 is mounted on the drones 200 and can capture images in one direction. In particular, the camera 240 may photograph a subject at a certain distance and transmit the same to the wireless adjusting device through the communication unit 210 as an original image.

드론 제어부(250)는 드론(200)의 전반적인 구동을 제어할 수 있다. 이러한 드론 제어부(250)는 통신부(210)가 수신한 제어신호에 대응하여 구동부(230)를 제어하여 설정된 경로로 드론(200)을 비행하게 하고, 카메라가 획득한 원 영상을 무선조정장치에 전송할 수 있다.The drones control unit 250 can control the overall operation of the drones 200. [ The drones control unit 250 controls the driving unit 230 in response to the control signal received by the communication unit 210 to cause the drones 200 to fly by a predetermined path and transmits the original image acquired by the camera to the wireless adjusting device .

또한, 본 발명의 실시예에 따른 드론(200)은 적외선 센서부(260)를 더 포함할 수 있다. 적외선 센서부(260)는 일 방향으로 적외선 빔을 조사하여 둘 이상의 투사점간의 거리를 측정함으로써 특정대상간의 거리를 계산할 수 있다. 이에 따라, 드론(200)은 적외선 센서부(260)를 통해 피사체와의 거리를 계산하여 무선조정장치에 전송함으로써, 무선조정장치가 군집비행을 제어하고, 의도한 원 영상을 획득할 수 있도록 한다.Further, the drones 200 according to the embodiment of the present invention may further include an infrared sensor unit 260. The infrared sensor unit 260 can calculate the distance between specific objects by irradiating an infrared beam in one direction and measuring the distance between two or more projection points. Accordingly, the drones 200 calculate the distance to the object through the infrared sensor unit 260 and transmit the calculated distance to the wireless adjusting device so that the wireless adjusting device controls the satellite flying and acquires the intended original image .

전원부(270)는 드론(200)의 구동을 위한 전원을 공급할 수 있다. 이러한 전원부(270)로는 반복충전이 가능한 배터리 장치가 이용될 수 있다.The power supply unit 270 can supply power for driving the drones 200. [ As the power supply unit 270, a battery device capable of repeatedly charging can be used.

전술한 구조에 따라, 본 발명의 드론은 피사체에 대한 360°파노라마 영상을 획득할 수 있으며, 그 영상은 영상 처리 장치를 통해 가공되어 입체영상을 생성하는데 이용되게 된다.According to the above-described structure, the drone of the present invention can acquire a 360 ° panoramic image of a subject, and the image is processed through an image processing apparatus and used to generate a stereoscopic image.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에 포함되는 영상처리장치를 설명한다.Hereinafter, an image processing apparatus included in an image processing system using a drone according to an embodiment of the present invention will be described with reference to the drawings.

이하의 설명에서 영상처리장치의 각 구성부는 컴퓨팅 장치에 의해 판독 가능한 프로그램 형태로 구현되어 기록매체에 기록될 수 있다.In the following description, each component of the image processing apparatus can be implemented in the form of a program readable by a computing device and recorded on a recording medium.

또한, 영상처리장치에 입력되는 원 영상은 무선조정장치부터 무선 또는 유선방식으로 영상처리장치에 입력될 수 있고, 또는 원 영상이 저장된 메모리 장치를 분리하여 영사처리장치의 메모리 슬롯에 장착하는 방식으로 입력될 수도 있다.In addition, the original image input to the image processing apparatus can be input to the image processing apparatus in a wireless or wired manner from the wireless control apparatus, or the memory apparatus in which the original image is stored can be separated and mounted in the memory slot of the projection apparatus May be input.

도 4는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에 포함되는 영상처리장치를 나타낸 도면이다.4 is a diagram illustrating an image processing apparatus included in an image processing system using a drone according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 실시예에 따른 영상 처리 시스템의 영상처리장치(300)는 복수의 원 영상을 전처리하는 전처리기(310)와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 라벨링부(320)와, 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상들의 시점을 식별하고, 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 이미지 분석부(330)와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 이미지 정합부(340)를 포함할 수 있다.Referring to FIG. 4, an image processing apparatus 300 of an image processing system according to an embodiment of the present invention includes a preprocessor 310 for pre-processing a plurality of original images, An image analyzer 330 for identifying the viewpoints of the images labeled on the basis of the object appearing in the image and classifying the images corresponding to the viewpoints from 0 to 360 degrees, And an image matching unit 340 that generates a single stereoscopic image by matching images at respective viewpoints.

전처리기(310)는 다양한 포맷을 갖는 원 영상(img1 ~ img4)을 영상처리장치(300)가 처리할 수 있는 형태로 변환할 수 있다. 이러한 전처리기(310)는 원 영상에 대하여 필터링에 의한 노이즈 제거 기능을 포함할 수 있다.The preprocessor 310 can convert the original images img1 to img4 having various formats into a form that can be processed by the image processing apparatus 300. [ The preprocessor 310 may include a noise removal function by filtering on the original image.

라벨링부(320)는 복수의 드론으로부터 각각 획득된 복수의 영상들에 하여 레벨을 설정할 수 있다. 이러한 라벨과정은 이후 정합과정에서 각 영상들을 식별하는 데 이용될 수 있다. The labeling unit 320 may set the level for each of the plurality of images obtained from the plurality of drones. This labeling process can then be used to identify each image in the matching process.

이미지 분석부(330)는 각 영상내에 등장하는 피사체에 형태에 따라 해당 영상이 피사체의 0° 부터 360°까지 어느 시점에 대응하는지 분류할 수 있다.The image analyzing unit 330 can classify the image corresponding to the object appearing in each image to correspond to the point at which the corresponding image corresponds to the object from 0 ° to 360 °.

이미지 정합부(340)는 이미지 분석부에 의해 판단된 영상들을 정합하여 하나의 입체영상(img3D)을 생성할 수 있다. 하나의 입체영상은 피사체에 대한 모든 시점에 대한 영상을 하나로 결합함으로써 생성될 수 있고, 이러한 입체영상(img3D)은 가상현실장치 등에 의해 재생될 수 있다.The image matching unit 340 may generate one stereoscopic image (img3D) by matching the images determined by the image analysis unit. One stereoscopic image can be generated by combining images of all viewpoints of a subject into one, and the stereoscopic image (img3D) can be reproduced by a virtual reality apparatus or the like.

전술한 구조에 따라, 본 발명의 실시예에 따른 영상 처리 시스템의 영상 처리장치는 입력되는 하나 이상의 원 영상을 분석 및 정합하여 하나의 입체영상을 생성할 수 있다.According to the above-described structure, the image processing apparatus of the image processing system according to the embodiment of the present invention can generate one stereoscopic image by analyzing and matching one or more original images inputted thereto.

이하, 도면을 참조하여 본 발명의 실시예에 따른 영상 처리 시스템의 영상처리장치에 의한 영상 처리 방법을 설명한다 Hereinafter, an image processing method by the image processing apparatus of the image processing system according to the embodiment of the present invention will be described with reference to the drawings

도 5는 본 발명의 실시예에 따른 영상처리장치의 영상 처리 방법을 나타낸 도면이다. 이하의 설명에서는 별도의 기재가 없다하더라도 각 단계별 실행주체는 전술한 영상처리장치 및 이의 구성부가 된다. 5 is a diagram illustrating an image processing method of an image processing apparatus according to an embodiment of the present invention. In the following description, even though there is no separate description, the executing entity for each step is the above-described image processing apparatus and its constituent parts.

도 5를 참조하면, 본 발명의 영상처리장치의 영상 처리 방법은, 입체영상을 생성하는 영상 처리 장치에 의한 영상 처리 방법으로서, 복수의 드론으로부터 획득된 피사체에 대한 복수의 원 영상을 입력받는 단계(S100)와, 입력된 복수의 원 영상을 전처리하는 단계(S110)와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 단계(S120)와, 원 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상의 시점을 식별하는 단계(S130)와, 피사체에 대한 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 단계(S140)와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 단계(S150)를 포함할 수 있다.5, an image processing method of an image processing apparatus according to the present invention is an image processing method by an image processing apparatus that generates a stereoscopic image, the method comprising: receiving a plurality of original images of a subject acquired from a plurality of drone (S110) of preprocessing a plurality of original images inputted (S110), setting a label (S120) according to a shooting time point on each of the plurality of preprocessed images, (S140) of classifying images corresponding to the respective viewpoints from 0 ° to 360 ° with respect to the subject, and matching the images of the respective viewpoints to one stereoscopic image (S150). ≪ / RTI >

복수의 원 영상을 입력받는 단계(S100)는 영상처리장치가 복수의 드론에 의해 획득된 피사체에 대한 원 영상을 입력받는 단계이다. 이때, 원 영상은 무선조정장치로부터 유, 무선망을 통해 수신하거나, 또는 메모리장치를 매개로 하여 입력될 수 있다.The step of receiving a plurality of original images (S100) is a step in which an image processing apparatus receives an original image of a subject obtained by a plurality of drones. At this time, the original image can be received from the wireless control device via a wired or wireless network, or input via a memory device.

복수의 원 영상을 전처리하는 단계(S110)는 전처리기가 원 영상에 대한 노이즈 제거 등의 영상가공 과정을 진행하는 단계이다.In a step S110 of pre-processing a plurality of original images, the preprocessor performs a video image processing process such as noise removal on the original image.

영상에 라벨을 설정하는 단계(S120)는 라벨링부가 전처리된 영상들에 대하여 각각 식별을 위한 라벨을 설정하는 단계이다. In the step of setting a label on an image (S120), the labeling section sets a label for identifying each of the preprocessed images.

영상의 시점을 식별하는 단계(S130)는 이미지 분석부가 각 영상 내 등장하는 피사체의 형태를 분석하여 이를 기준으로 하여 각 영상들이 촬영된 시점을 식별하는 단계이다.The step of identifying the viewpoint of the image (S130) is a step in which the image analyzing unit analyzes the shape of a subject appearing in each image and identifies the time when each image is photographed on the basis of the analyzed shape.

또한, 영상을 분류하는 단계(S140)는 이미지 분석부가 피사체에 대한 0° 부터 360°까지 식별된 시점에 따라 그에 해당하는 영상을 분류하는 단계이다.In addition, the image classification step S 140 is a step of classifying the image corresponding to the point of time when the image analysis unit is identified from 0 ° to 360 ° with respect to the subject.

입체영상을 생성하는 단계(S150)는 이미지 정합부가 S140 단계에 분류된 영상들을 시점에 따라 정합하여 하나의 입체영상을 생성하는 단계이다.The step of generating a stereoscopic image (S150) is a step of matching one of the images classified in the step S140 according to the viewpoint and generating one stereoscopic image.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용하여 피사체에 대한 360°파노라마 영상을 획득하는 방법을 설명한다.Hereinafter, a method of acquiring a 360-degree panoramic image of a subject using a drones according to an embodiment of the present invention will be described with reference to the drawings.

도 6은 본 발명의 실시예에 따른 드론을 이용하여 피사체를 촬영하는 방법을 예시한 도면이다.6 is a diagram illustrating a method of photographing a subject using a drone according to an embodiment of the present invention.

도 6을 참조하면 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에서는, 드론과 같은 드론(200)을 이용하여 입체영상을 획득하기 위해, 피사체를 최초 중심점으로 하고, 가상의 하나의 점 혹은 기둥을 설정하며, GPS 신호 또는 적외선 센서 등을 통해 두 직선의 거리를 측정하여 최초 중심점을 기준으로 드론(200)이 설정된 수평경로(path1)를 따라 이동하여 피사체(obj)를 촬영함으로써 원 영상을 획득하게 된다.Referring to FIG. 6, in an image processing system using a drone according to an embodiment of the present invention, in order to acquire a stereoscopic image using a drone 200 such as a drone, a subject is set as an initial center point, And the distance between two straight lines is measured through a GPS signal or an infrared sensor to move the object 200 along the horizontal path path1 with the initial center point as a reference, .

여기서, 드론(200)을 복수개 준비하여 각 드론들(201 ~ 204)을 동시에 군집비행 및 촬영하도록 하여 피사체(obj)에 대한 0°부터 360°까지 모든 시점에 대한 원 영상을 획득하도록 한다.Here, a plurality of drones 200 are prepared, and at the same time, the drones 201 to 204 are simultaneously clustered and photographed to obtain an original image for all the viewpoints from 0 to 360 degrees with respect to the object obj.

따라서, 군집비행 중인 드론들(201 ~ 204)은 각 커버리지가 90°로 분할된 4분면(A1 ~ A4)에 각각 대응할 수 있고, 수평방향뿐만 아니라, 수직방향으로도 수직경로(path2)가 설정되어 다양한 높이에 따른 피사체에 대한 원 영상을 획득할 수 있다. Accordingly, the drones 201 to 204 in the cluster flight can correspond to the quadrants A1 to A4, each of which has a coverage of 90 degrees, and the vertical path path2 is set not only in the horizontal direction but also in the vertical direction Thereby obtaining an original image of a subject according to various heights.

도 7a 내지 도 7c는 본 발명의 실시예에 따른 피사체를 촬영하기 위해 군집 비행하는 복수의 드론의 위치설정방법을 예시한 도면이다.FIGS. 7A through 7C are views illustrating a method of positioning a plurality of drones in a cluster flight in order to photograph a subject according to an embodiment of the present invention.

도 7a를 참조하면, 본 발명의 실시예에 따른 드론들(201 ~ 204)는 비행시 각 비행체간 이격거리(d1)가 일정하도록 제어될 수 있으며, 이에 제1 드론(201)이 마스터로 설정되면, 나머지 제2 내지 제4 무인비행체(202 ~ 204)가 슬레이브로 설정되어 제1 드론(201)을 기준으로 나머지 비행체들의 거리를 측정하고 비행시 이격거리(d1)가 일정하게 유지되도록 할 수 있다.Referring to FIG. 7A, the drones 201 to 204 according to the embodiment of the present invention can be controlled such that the separation distance d1 between each flying object is constant during flight, and when the first drones 201 are set as masters The remaining second to fourth unmanned aerial vehicles 202 to 204 are set as slaves to measure the distance of the remaining flying objects on the basis of the first drones 201 and to keep the distance d1 in flight constant have.

도 7b는 피사체(obj)의 촬영시 드론들(201 ~ 204)의 배치를 예시한 것으로, 각 드론들(201 ~ 204)은 피사체(obj)를 중심으로 하여 서로간 동일한 간격(d2)을 유지하며 배치될 수 있다.7B illustrates the arrangement of the drones 201 to 204 when the subject obj is photographed. Each of the drones 201 to 204 holds the same distance d2 between the objects obj .

또한, 각 드론들(201 ~ 204)는 촬영시 피사체(obj)와의 이격거리(d3)가 모두 일정하도록 배치될 수 있고, 각각 피사체(obj)를 중심으로 한 쌍이 대향 하도록 배치될 수 있다. 즉, 제1 드론(201)은 제3 드론(203)과 대향 할 수 있고, 제2 드론(202)은 제4 드론(204)과 대향 할 수 있다.The drones 201 to 204 may be arranged such that the distance d3 from the subject obj is constant at the time of shooting and the pairs of the drones 201 to 204 may face each other with respect to the subject obj. That is, the first drones 201 can be opposed to the third drones 203, and the second drones 202 can be opposed to the fourth drones 204.

그리고, 촬영이 시작되면, 각 드론들(201 ~ 204)은 피사체에 대한 360°전 시점에서 파노라마 영상을 획득하기 위해, 수평경로(path1)를 따라 간격(d2)을 유지하면서 피사체(obj)를 중심으로 시계 또는 반시계 방향으로 회전하는 형태로 이동함으로써 피사체(obj)에 대한 전 시점에서 촬영을 수행할 수 있다.When shooting starts, each of the drone 201 to 204 acquires a subject obj while keeping the interval d2 along the horizontal path path1 to acquire the panoramic image at 360 degrees before the subject It is possible to perform the photographing at the previous time point on the subject obj by moving in the clockwise or counterclockwise direction as the center.

또한, 특정 높이에서 피사체에 대하여 전 시점 즉, 0°부터 360°까지 촬영이 완료되면, 도 7c에 도시된 바와 같이, 드론(201)을 일정높이로 상승 또는 하강시켜 전술한 방식과 동일하게 피사체(obj)의 촬영을 재개할 수 있다. 이때, 드론(201)과 피사체(obj)간 이격거리(d3)는 타 높이에서 촬영시와 동일하게 유지될 수 있다.7C, the drone 201 is raised or lowered to a predetermined height so that the subject is moved to a predetermined position in the same manner as described above, it is possible to resume shooting of the object obj. At this time, the distance d3 between the dragon 201 and the subject obj can be maintained at the same height as at the time of photographing.

이후, 타 높이에서 촬영을 계속함으로써, 다양한 높이에서 피사체(obj)에 대한 원 영상을 획득할 수 있다.Thereafter, by continuing the shooting at the other height, the original image for the object obj can be obtained at various heights.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.While a great many are described in the foregoing description, it should be construed as an example of preferred embodiments rather than limiting the scope of the invention. Accordingly, the invention is not to be determined by the embodiments described, but should be determined by equivalents to the claims and the appended claims.

100 : 무선조정장치 110 : 통신부
120 : 저장부 130 : 비행제어부
140 : 디스플레이부 150 : 조작부
160 : 장치 제어부 200 : 드론
210 : 통신부 220 : GPS부
230 : 구동부 240 : 카메라
250 : 드론 제어부 260 : 적외선 센서부
270 : 전원부 300 : 영상처리장치
310 : 전처리기 320 : 라벨링부
330 : 이미지 분석부 340 : 이미지 정합부100: radio control device 110:
120: storage unit 130: flight control unit
140: display unit 150:
160: Device control unit 200: Drones
210: communication unit 220: GPS unit
230: driver 240: camera
250: Drones control unit 260: Infrared sensor unit
270: power supply unit 300: image processing device
310: preprocessor 320: labeling unit
330: Image analysis unit 340: Image registration unit

Claims (10)

피사체로부터 일정거리 이격되어 상기 피사체의 중심으로 비행하며 상기 피사체를 촬영하여 원 영상을 획득하는 복수의 드론;
상기 드론의 운행을 제어하여 상기 드론이 촬영한 원 영상을 실시간으로 수신 및 저장하는 무선조정장치; 및
상기 복수의 원 영상을 입력받아 하나의 입체영상으로 정합하는 영상처리장치를 포함하고,
상기 무선조정장치는,
상기 드론을 상기 피사체를 중심으로 일정거리 이격되는 위치에서 일정경로를 따라 비행하도록 제어하고, 상기 원 영상을 저장하되, 복수의 드론으로부터 각각 수신되는 복수의 원 영상을 각각 저장하는 복수의 저장소로 이루어지는 저장부를 포함하고,
상기 영상처리장치는,
상기 복수의 원 영상을 전처리하는 전처리기;
전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 라벨링부;
영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상들의 시점을 식별하고, 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 이미지 분석부; 및
각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 이미지 정합부
를 포함하는 드론을 이용한 3D 영상 처리 시스템.A plurality of drones spaced a predetermined distance from a subject and flying to the center of the subject to photograph the subject to acquire an original image;
A wireless adjusting device for controlling the operation of the drones to receive and store the original images taken by the drones in real time; And
And an image processor for receiving the plurality of original images and matching the stereoscopic images into one stereoscopic image,
The radio network controller includes:
And a plurality of depots for controlling the flying of the drones along a predetermined path at a position spaced apart by a predetermined distance from the subject and for storing the original image and storing a plurality of original images respectively received from the plurality of drones And a storage unit,
The image processing apparatus comprising:
A preprocessor for preprocessing the plurality of original images;
A labeling unit that sets a label on each of the plurality of preprocessed images according to a photographing time point;
An image analyzer for identifying a time point of the labeled images based on a subject present in the image and sorting the images corresponding to the time points from 0 ° to 360 °; And
An image matching unit for matching the images at each viewpoint to generate a stereoscopic image,
A 3D image processing system using a drone. 제 1 항에 있어서,
상기 드론은,
상기 피사체를 중심으로 한 쌍이 서로 대향하도록 배치되어 상기 피사체를 촬영하는 드론을 이용한 3D 영상 처리 시스템.The method according to claim 1,
The drones,
A 3D image processing system using a dron arranged so that pairs of the object are opposed to each other and photographing the object. 제 1 항에 있어서,
상기 무선조정장치는,
상기 드론과 정보통신망을 통해 통신하여 비행을 위한 제어신호를 송출하고, 상기 드론으로부터 위치정보 및 상기 원 영상을 수신하는 통신부;
상기 위치정보에 대응하여 드론의 현재위치를 판단하고, 상기 드론의 비행경로를 산출하는 비행 제어부;
상기 원 영상을 표시하는 디스플레이부;
사용자의 조작에 대응하는 입력신호를 생성하는 조작부; 및
상기 비행 제어부를 통해 상기 비행경로에 따른 제어신호를 생성하고, 상기 입력신호를 상기 제어신호에 반영하는 장치 제어부
를 포함하는 드론을 이용한 3D 영상 처리 시스템.The method according to claim 1,
The radio network controller includes:
A communication unit for communicating with the drones through an information communication network to transmit a control signal for flight, and receiving position information and the original image from the drones;
A flight control unit for determining a current position of the drones in accordance with the position information and calculating a flight path of the drones;
A display unit for displaying the original image;
An operation unit for generating an input signal corresponding to a user operation; And
A control unit for generating a control signal according to the flight path through the flight control unit and reflecting the input signal to the control signal,
A 3D image processing system using a drone. 삭제delete 제 3 항에 있어서,
상기 제어신호는,
상기 복수의 드론이 상기 피사체를 기준으로 동일거리를 갖도록 한 쌍씩 대향하도록 위치시키고, 일 방향으로 상기 피사체의 주변을 회전하는 경로를 갖도록 제어하는 드론을 이용한 3D 영상 처리 시스템.The method of claim 3,
Wherein the control signal comprises:
Wherein the plurality of drills are positioned so as to face each other so as to have the same distance on the basis of the subject and to have a path that rotates around the subject in one direction. 제 3 항에 있어서,
상기 비행 제어부는,
각각의 드론의 위치를 식별하는 위치식별모듈;
복수의 드론간 위치에 따라 일정간격이 유지되는 군집항로를 산출하는 항로산출 모듈; 및
상기 입력신호에 따라, 상기 복수의 드론 중, 어느 하나의 비행경로를 결정하고, 하나에 대한 비행경로에 따라 나머지 드론의 비행경로를 산출하여 상기 제어신호를 생성하는 항로결정모듈
을 포함하는 드론을 이용한 3D 영상 처리 시스템.The method of claim 3,
The flight control unit includes:
A location identification module for identifying the location of each dron;
A route calculation module that calculates a community route in which a predetermined interval is maintained according to a position between a plurality of drone; And
Determining a flight path of one of the plurality of drones based on the input signal and calculating a flight path of the remaining dron according to the flight path for one of the plurality of drones,
A 3D image processing system using a drone including a plurality of images. 삭제delete 삭제delete 제 1 항에 있어서,
상기 드론은 일 방향으로 적외선 빔을 조사하여 빔이 투사된 지점과의 거리를 산출하고, 상기 무선조정장치에 전송하는 적외선 센서부
를 더 포함하는 드론을 이용한 3D 영상 처리 시스템.The method according to claim 1,
The dron radiates an infrared beam in one direction to calculate a distance to a point where the beam is projected,
A 3D image processing system using a drone. 입체영상을 생성하는 영상 처리 장치에 의한 영상 처리 방법으로서,
복수의 드론으로부터 획득된 피사체에 대한 복수의 원 영상을 입력받는 단계;
입력된 복수의 원 영상을 전처리하는 단계;
전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 단계;
원 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상의 시점을 식별하는 단계;
상기 피사체에 대한 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 단계; 및
각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 단계
를 포함하는 3D 영상 처리 방법.A method of image processing by an image processing apparatus for generating a stereoscopic image,
Receiving a plurality of original images for a subject obtained from a plurality of drones;
Pre-processing a plurality of input images;
Setting a label on each of a plurality of preprocessed images according to a photographing time point;
Identifying a viewpoint of a labeled image based on a subject present in the original image;
Classifying an image corresponding to each viewpoint from 0 ° to 360 ° with respect to the subject; And
A step of generating a stereoscopic image by matching images of respective viewpoints
And a 3D image processing method.
KR1020170147882A 2017-11-08 2017-11-08 Image processing system using drone and method of the same KR101896654B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170147882A KR101896654B1 (en) 2017-11-08 2017-11-08 Image processing system using drone and method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170147882A KR101896654B1 (en) 2017-11-08 2017-11-08 Image processing system using drone and method of the same

Publications (1)

Publication Number Publication Date
KR101896654B1 true KR101896654B1 (en) 2018-09-07

Family

ID=63595035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170147882A KR101896654B1 (en) 2017-11-08 2017-11-08 Image processing system using drone and method of the same

Country Status (1)

Country Link
KR (1) KR101896654B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102037893B1 (en) * 2019-07-05 2019-11-26 세종대학교산학협력단 System and method for establishing digital exterior survey map
KR20200095155A (en) * 2019-01-31 2020-08-10 (주)동문시스텍 Method and system for monitering offshore structure using drones
CN112262074A (en) * 2019-01-31 2021-01-22 株式会社红点无人机日本 Image pickup method
KR20210065264A (en) * 2019-11-26 2021-06-04 경일대학교산학협력단 System for Controlling Drone for Fire Preventing of High Rise Building Outer Wall
KR102264185B1 (en) * 2019-12-10 2021-06-10 재단법인 경북아이티융합 산업기술원 SYSTEM and METHOD FOR controling multiple drone camera and video proccessing
KR102347972B1 (en) 2021-08-18 2022-01-07 주식회사 아이지아이에스 panoramic vision suppling systems
CN114394236A (en) * 2022-01-14 2022-04-26 北京华能新锐控制技术有限公司 Unmanned aerial vehicle for wind power blade inspection
WO2022119183A1 (en) * 2020-12-02 2022-06-09 주식회사 퍼플아이오 Drone control system and control method therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024562A (en) * 2014-08-26 2016-03-07 연세대학교 산학협력단 stereo vision system using a plurality of uav
KR101625634B1 (en) * 2016-02-23 2016-05-31 공간정보기술 주식회사 Drone stereo camera 3D modeling system using an image
KR101639275B1 (en) 2015-02-17 2016-07-14 서울과학기술대학교 산학협력단 The method of 360 degrees spherical rendering display and auto video analytics using real-time image acquisition cameras
KR20160104892A (en) * 2015-02-27 2016-09-06 광운대학교 산학협력단 An unmanned airborne vehicle for wireless network, an unmanned airborne vehicle system and a method for controlling thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024562A (en) * 2014-08-26 2016-03-07 연세대학교 산학협력단 stereo vision system using a plurality of uav
KR101639275B1 (en) 2015-02-17 2016-07-14 서울과학기술대학교 산학협력단 The method of 360 degrees spherical rendering display and auto video analytics using real-time image acquisition cameras
KR20160104892A (en) * 2015-02-27 2016-09-06 광운대학교 산학협력단 An unmanned airborne vehicle for wireless network, an unmanned airborne vehicle system and a method for controlling thereof
KR101625634B1 (en) * 2016-02-23 2016-05-31 공간정보기술 주식회사 Drone stereo camera 3D modeling system using an image

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200095155A (en) * 2019-01-31 2020-08-10 (주)동문시스텍 Method and system for monitering offshore structure using drones
CN112262074A (en) * 2019-01-31 2021-01-22 株式会社红点无人机日本 Image pickup method
KR102215800B1 (en) * 2019-01-31 2021-02-16 가톨릭관동대학교산학협력단 Method and system for monitering offshore structure using drones
KR102037893B1 (en) * 2019-07-05 2019-11-26 세종대학교산학협력단 System and method for establishing digital exterior survey map
KR20210065264A (en) * 2019-11-26 2021-06-04 경일대학교산학협력단 System for Controlling Drone for Fire Preventing of High Rise Building Outer Wall
KR102288514B1 (en) * 2019-11-26 2021-08-11 경일대학교산학협력단 System for Controlling Drone for Fire Preventing of High Rise Building Outer Wall
KR102264185B1 (en) * 2019-12-10 2021-06-10 재단법인 경북아이티융합 산업기술원 SYSTEM and METHOD FOR controling multiple drone camera and video proccessing
WO2022119183A1 (en) * 2020-12-02 2022-06-09 주식회사 퍼플아이오 Drone control system and control method therefor
KR102347972B1 (en) 2021-08-18 2022-01-07 주식회사 아이지아이에스 panoramic vision suppling systems
WO2023022317A1 (en) 2021-08-18 2023-02-23 주식회사 아이지아이에스 System for providing panoramic image
CN114394236A (en) * 2022-01-14 2022-04-26 北京华能新锐控制技术有限公司 Unmanned aerial vehicle for wind power blade inspection

Similar Documents

Publication Publication Date Title
KR101896654B1 (en) Image processing system using drone and method of the same
US11263761B2 (en) Systems and methods for visual target tracking
US10650235B2 (en) Systems and methods for detecting and tracking movable objects
US11635775B2 (en) Systems and methods for UAV interactive instructions and control
US11231726B2 (en) UAV hardware architecture
US11649052B2 (en) System and method for providing autonomous photography and videography
US20200126239A1 (en) Methods and system for multi-target tracking
US20210133996A1 (en) Techniques for motion-based automatic image capture
CN117310739A (en) Technique for sharing drawing data between movable objects
CN109828596A (en) A kind of method for tracking target, device and unmanned plane
WO2019230604A1 (en) Inspection system
CN110139038A (en) It is a kind of independently to surround image pickup method, device and unmanned plane
JP6265576B1 (en) Imaging control apparatus, shadow position specifying apparatus, imaging system, moving object, imaging control method, shadow position specifying method, and program
KR102298047B1 (en) Method of recording digital contents and generating 3D images and apparatus using the same
CN116745725A (en) System and method for determining object position using unmanned aerial vehicle
CN114071003A (en) Shooting method and system based on optical communication device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant