KR101896654B1 - 드론을 이용한 3d 영상 처리 시스템 및 방법 - Google Patents

Abstract

본 발명은 영상 처리 시스템을 개시한다. 보다 상세하게는, 본 발명은 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 입체영상을 획득하는 영상 처리 시스템 및 방법에 관한 것이다.
본 발명의 실시예에 따르면, 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 360° 파노라마 영상을 획득하고, 이를 영상 처리 장치를 통해 정합하여 입체영상을 생성함으로써, 장소에 구애받지 않고 저비용으로 고품질의 입체영상을 획득할 수 있는 효과가 있다.

Description

드론을 이용한 3D 영상 처리 시스템 및 방법{IMAGE PROCESSING SYSTEM USING DRONE AND METHOD OF THE SAME}

본 발명은 영상 처리 시스템에 관한 것으로, 특히 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 입체영상을 획득하는 영상 처리 시스템 및 방법에 관한 것이다.

최근, 헤드 마운티드 디스플레이(HMD; Head Mounted Display)와 같은 가상 현실을 경험할 수 있는 소형 웨어러블 장치기술이 발전함에 따라, 입체 영상을 기반으로 하는 가상 현실(Virtual Reality) 분야와 관련된 기술이 주목 받고 있다.

그러나, 가상 현실 콘텐츠를 제공할 수 있는 장치 기술에 비해 입체 영상 콘텐츠는 부족한 실정이다. 따라서, 소형 웨어러블 장치기술에 적용될 수 있는 입체영상 콘텐츠 생성 기술에 대한 요구도 지속적으로 증가하고 있는 추세이다.

종래에는, 입체영상 콘텐츠를 생성하기 위해 피사체를 중심으로 하여 많은 개수의 카메라를 설치하여 촬영함으로써 복수의 영상을 획득하고, 영상들을 서로 이어 붙여 하나의 360°파노라마 영상을 제작하는 방식이 널리 이용되었다.

전술한 파노라마 영상을 제작방식에 의하면, 연결되는 영상의 개수가 많으면 많을수록 더욱 자연스러운 입체영상을 획득할 수 있으나, 카메라 대수가 증가할수록 그 비용도 비례하여 증가하는 단점이 있다.

또한, 다수의 카메라 장치는 그 외관이 상당히 거대함에 따라, 장치를 설치할 수 있는 장소의 제약이 발생한다는 문제점이 있다.

등록특허공보 제10-1639275호(공고일자: 2016.07.14.)

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로, 본 발명은 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 360°영상을 획득하고, 영상처리 과정을 통해 입체영상을 생성하는 데 과제가 있다.

전술한 과제를 해결하기 위해, 본 발명의 실시예에 따른 영상 처리 시스템은, 피사체로부터 일정거리 이격되어 상기 피사체의 중심으로 비행하며 상기 피사체를 촬영하여 원 영상을 획득하는 하나 이상의 드론과, 상기 드론의 운행을 제어하여 상기 드론이 촬영한 원 영상을 실시간으로 수신 및 저장하는 무선조정장치를 포함하고, 상기 무선조정장치는, 상기 드론을 상기 피사체를 중심으로 일정거리 이격되는 위치에서 일정경로를 따라 비행하도록 제어할 수 있다.

상기 무인 비행기는, 상기 피사체를 중심으로 한 쌍이 서로 대향하도록 배치되어 상기 피사체를 촬영할 수 있다.

상기 무선조정장치는, 상기 드론과 정보통신망을 통해 통신하여 비행을 위한 제어신호를 송출하고, 상기 드론으로부터 위치정보 및 상기 원 영상을 수신하는 통신부와, 상기 원 영상을 저장하는 저장부와, 상기 위치정보에 대응하여 드론의 현재위치를 판단하고, 상기 드론의 비행경로를 산출하는 비행 제어부와, 상기 원 영상을 표시하는 디스플레이부와, 사용자의 조작에 대응하는 입력신호를 생성하는 조작부와, 상기 비행 제어부를 통해 상기 비행경로에 따른 제어신호를 생성하고, 상기 입력신호를 상기 제어신호에 반영하는 장치 제어부를 포함할 수 있다.

상기 드론은 복수개이고, 상기 저장부는, 복수의 드론으로부터 각각 수신되는 복수의 원 영상을 각각 저장하는 복수의 저장소를 포함할 수 있다.

상기 제어신호는, 상기 복수의 드론이 상기 피사체를 기준으로 동일거리를 갖도록 한 쌍씩 대향하도록 위치시키고, 일 방향으로 상기 피사체의 주변을 회전하는 경로를 갖도록 제어할 수 있다.

상기 비행 제어부는, 각각의 드론의 위치를 식별하는 위치식별모듈과, 복수의 드론간 위치에 따라 일정간격이 유지되는 군집항로를 산출하는 항로산출 모듈과, 상기 입력신호에 따라, 상기 복수의 드론 중, 어느 하나의 비행경로를 결정하고, 하나에 대한 비행경로에 따라 나머지 드론의 비행경로를 산출하여 상기 제어신호를 생성하는 항로결정모듈을 포함할 수 있다.

상기 복수의 원 영상을 입력받아 하나의 입체영상으로 정합하는 영상처리장치를 더 포함할 수 있다.

상기 영상처리장치는, 상기 복수의 원 영상을 전처리하는 전처리기와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 라벨링부와, 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상들의 시점을 식별하고, 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 이미지 분석부와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 이미지 정합부를 포함할 수 있다.

상기 드론은 일 방향으로 적외선 빔을 조사하여 빔이 투사된 지점과의 거리를 산출하고, 상기 무선조정장치에 전송하는 적외선 센서부를 더 포함할 수 있다.

또한, 전술한 과제를 해결하기 위한 다른 양태의 실시예에 따른 입체영상을 생성하는 영상 처리 장치에 의한 영상 처리 방법으로서, 복수의 드론으로부터 획득된 피사체에 대한 복수의 원 영상을 입력받는 단계와, 입력된 복수의 원 영상을 전처리하는 단계와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 단계와, 원 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상의 시점을 식별하는 단계와, 상기 피사체에 대한 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 단계와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 단계를 포함할 수 있다.

본 발명의 실시예에 따르면, 하나 또는 둘 이상의 드론을 이용하여 피사체에 대한 360° 파노라마 영상을 획득하고, 이를 영상 처리 장치를 통해 정합하여 입체영상을 생성함으로써, 장소에 구애받지 않고 저비용으로 고품질의 입체영상을 획득할 수 있는 효과가 있다.

또한, 본 발명의 실시예에 따른 3D 영상 처리 시스템을 통해 획득한 입체 영상은, 인물영상의 경우 3D 피규어 제작 등에 활용될 수 있고, 관광 명소, 풍경, 사찰 및 탑 등에 대한 장소 및 건축물에 대한 3D 영상 보존을 위한 자료 구축에 활용될 수 있다.

도 1은 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 전체 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 무선조정장치의 구조를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 영상 처리 시스템의 드론의 구조를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에 포함되는 영상처리장치를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상처리장치의 영상 처리 방법을 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 드론을 이용하여 피사체를 촬영하는 방법을 예시한 도면이다.
도 7a 내지 도 7c는 본 발명의 실시예에 따른 피사체를 촬영하기 위해 군집비행하는 복수의 드론의 위치설정방법을 예시한 도면이다.

설명에 앞서, 본 명세서 전체에서 어떤 부분이 어떤 구성요소를 "구비" 또는 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에서 "실시예"라는 용어는 예시, 사례 또는 도해의 역할을 하는 것을 의미하나, 발명의 대상은 그러한 예에 의해 제한되지 않는다. 그리고, "포함하는", "구비하는", "갖는" 및 다른 유사한 용어가 사용되고 있으나, 청구범위에서 사용되는 경우 임의의 추가적인 또는 다른 구성요소를 배제하지 않는 개방적인 전환어(Transition word)로서 "포함하는(Comprising)"이라는 용어와 유사한 방식으로 포괄적으로 사용된다.

또한, 본 명세서의 전반에 걸쳐 기재된 "...부(unit), "...모듈(module)", "...장치(device)" 및 "...시스템(system)" 등의 용어는 하나 또는 둘 이상의 기능이 조합된 동작을 처리하는 단위를 의미하며, 이는 하드웨어, 소프트웨어 또는, 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

본 명세서에 설명된 다양한 기법은 하드웨어 또는 소프트웨어와 함께 구현될 수 있거나, 적합한 경우에 이들 모두의 조합과 함께 구현될 수 있다. 본 명세서에 사용된 바와 같은 "부", "모듈", "장치" 및 "시스템" 등의 용어는 마찬가지로 컴퓨터 관련 엔티티(Entity), 즉 하드웨어, 하드웨어 및 소프트웨어의 조합, 소프트웨어 또는 실행 시의 소프트웨어와 등가로 취급할 수 있다. 또한, 본 발명에서 사용자 단말에서 실행되는 어플리케이션 프로그램은 "부" 또는 "모듈" 단위로 구성될 수 있고, 읽기, 쓰기 및 지우기가 가능한 형태로 하나의 물리적 메모리에 기록되거나, 둘 이상의 메모리 또는 기록매체 사이에 분산되어 기록될 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템을 설명한다.

도 1은 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 전체 구성을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 드론을 이용한 영상 처리 시스템은 피사체를 중심으로 일정거리 이격되어 공전하며, 피사체를 촬영하여 원 영상을 획득하는 하나 이상의 드론(200)과, 드론(200)의 운행을 제어하여 드론(200)이 촬영한 원 영상을 실시간으로 수신 및 저장하는 무선조정장치(100)를 포함하고, 특히, 무선조정장치(100)는 드론(200)을 상기 피사체를 중심으로 일정거리 이격되는 위치에서 일정경로를 따라 비행하도록 제어할 수 있다.

무선조정장치(100)는 사용자에 의해 조작되며, 하나 이상의 드론(200)을 제어할 수 있다. 무선조정장치(100)는 정보통신만을 통해 드론(200)과 통신하여 그의 비행경로를 제어하게 되며, 드론(200)로부터 피사체를 촬영한 원 영상을 수신하고, 이를 실시간으로 표시 및 탑재된 메모리 장치에 저장할 수 있다.

또한, 드론(200)이 다수일 경우, 어느 하나의 드론(200)은 마스터로 설정될 수 있고, 나머지 타 드론(200)은 슬레이브로 설정될 수 있다. 무선조정장치(100)는 각 드론(200)로부터 그 위치정보를 수신하고, 마스터 드론(200)을 기준으로 하여 각 드론(200)간 거리를 산출하고 그 거리가 일정간격이 유지되도록 하는 항로를 산출하여 각 드론(200)의 제어신호에 반영할 수 있다.

이에 따라, 무선조정장치(100)는 하나의 마스터 장치의 비행을 제어함으로써 장치로 다수의 드론(200)을 제어할 수 있게 된다.

사용자는 자신이 입체영상을 생성하고자 하는 대상인 피사체에 대하여 그 주변으로 하나 이상의 드론(200)을 배치하고, 피사체를 중심으로 소정방향으로 회전 이동하여 일정한 높이마다 피사체에 대한 360°파노라마 영상을 획득할 수 있다.

드론(200)은 무선조정장치(100)의 제어에 따라 해당하는 피사체를 촬영할 수 있다. 이러한 드론(200)은 무선통신수단, 비행수단 및 전원공급수단을 탑재할 수 있고, 특히 촬영수단을 탑재하고 있어 무선조정장치(100)의 제어에 의해 비행 중, 일정구역을 촬영하여 획득된 영상을 무선조정장치(100)에 전송할 수 있다.

또한, 드론(200)은 복수개가 구비될 수 있고, 피사체를 중심으로 각 드론(200)간 한 쌍이 대향 하도록 비행함에 따라, 동일 피사체에 대하여 한 쌍의 드론(200)이 서로 대한 시점에서 촬영하고, 시계방향 또는 반시계 방향으로 일정하게 회전하면 촬영함에 따라 대한 360°파노라마 영상을 획득하게 된다.

이러한 드론(200)은 복수의 쌍이 군집을 이루며 동일경로에 따라 비행할 수 있고, 각자의 위치에서 피사체를 촬영할 수 있다. 일 예로서, 드론(200)은 제1 드론(201)은 제3 드론(203)과 대향하여 한 쌍을 이루고, 제2 드론(202)은 제4 드론(204)과 대향하여 한 쌍을 이룰 수 있다.

그리고, 두 쌍의 드론(200)들은 하나의 군집을 이루며 동일 경로로 이동할 수 있고, 피사체를 중심으로 하여 동일 거리에 배치되어 영상을 획득할 수 있다.

제1 무선 비행체(201)가 피사체에 대해 0°에 위치한다고 하면, 제2 드론(202)은 90°, 제3 드론(203)은 180° 및 제4 드론은 270°에 대응하여 위치할 수 있다.

또한, 각 드론(200)은 촬영시 동시에 시계방향 및 반시계 방향으로 약 90°로 원을 그리며 수평이동하며 촬영함으로써 피사체에 대한 360°파노라마 영상을 획득할 수 있고, 수평 이동 후에는 동일 높이로 수직 이동하여 다시 수평이동으로 촬영을 재개하여 다양한 각도에서 피사체에 대한 영상을 획득할 수 있다.

또한, 드론(200)은 촬영시, 수평 및 수직 이동을 동시에 수행함으로써 대각선 방향으로의 회전 이동하여 다양한 위치에서의 피사체에 대한 영상을 획득할 수 있다.

이러한 방식으로 획득된 영상은 실시간으로 무선조정장치에 전송되어 저장될 수 있고, 저장된 영상은 이후 영상 처리 장치를 통해 분석 및 정합되어 입체영상으로 변환될 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 무선조정장치를 상세히 설명한다.

도 2는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템의 무선조정장치의 구조를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 영상 처리 시스템의 무선조정장치(100)는, 드론과 정보통신망을 통해 통신하여 비행을 위한 제어신호를 송출하고, 드론으로부터 위치정보 및 상기 원 영상을 수신하는 통신부(110)와, 원 영상을 저장하는 저장부(120)와, 위치정보에 대응하여 드론의 현재위치를 판단하고, 상기 드론의 비행경로를 산출하는 비행 제어부(130)와, 입체영상을 표시하는 디스플레이부(140)와, 사용자의 조작에 대응하는 입력신호를 생성하는 조작부(150)와, 비행 제어부(130)를 통해 상기 비행경로에 따른 제어신호를 생성하고, 상기 입력신호를 상기 제어신호에 반영하는 장치 제어부(160)를 포함할 수 있다.

통신부(110)는 정보통신망을 통해 드론과 연결되어 제어를 위한 제어신호를 송출하고, 그로부터 획득된 피사체에 대한 원 영상을 수신할 수 있다.

저장부(120)는 통신부(110)를 통해 수신한 원 영상을 저장할 수 있다. 이러한 저장부(120)에는 분할된 복수의 저장소가 정의되는 파일 시스템으로 초기화될 수 있고, 복수의 저장소에는 각각 복수의 드론이 획득한 영상들이 각각 제1 내지 제4 영상으로 구분되어 저장될 수 있다.

또한, 저장부(120)는 무선조정장치(100)의 구동을 위한 환경설정값 등을 저장할 수 있다. 이러한 저장부(120)는 플래시 메모리(flash memory)와 같이 무선조정장치(100)로부터 탈착 가능한 메모리장치로 구현될 수 있다.

비행 제어부(130)는 드론으로부터 위치신호를 수신하여 현재 위치를 식별할 수 있고, 군집 비행으로 설정된 복수의 드론 각각의 항로를 산출하고, 이에 대응하는 제어신호를 생성할 수 있다.

이러한 기능을 구현하기 위해, 본 발명의 실시예에 따른 비행 제어부(130)는 각각의 드론의 위치를 식별하는 위치식별모듈(131)과, 복수의 드론간 위치에 따라 일정간격이 유지되는 군집항로를 산출하는 항로산출 모듈(133) 및, 조작신호에 따라, 복수의 드론 중, 어느 하나의 비행경로를 결정하고, 하나에 대한 비행경로에 따라 나머지 드론의 비행경로를 산출하여 제어신호를 생성하는 항로결정모듈(135)을 포함할 수 있다.

디스플레이부(140)는 드론에 탑재된 카메라 장치로부터 촬영되는 영상을 실시간으로 표시할 수 있다. 사용자는 현재 자신이 조종하는 하나 이상의 드론이 의도한 피사체를 적절하게 촬영하고 있는지 확인할 수 있다.

조작부(150)는 사용자의 조작에 따라 드론의 비행과 피사체 촬영을 제어하는 입력신호를 생성할 수 있다. 이러한 조작부(150)는 소정의 방향 및 높이를 지정하는 하나 이상의 스틱 및 버튼을 포함할 수 있고, 조작부(150)에 의한 입력신호는 제어신호에 반영되게 된다.

장치 제어부(160)는 무선조정장치(100)의 각 구성부를 제어하는 역할을 하는 것으로, 통신부(110)에 의해 드론과 통신가능 하도록 제어할 수 있고, 사용자의 조작에 따른 입력신호를 제어신호에 반영하여 드론을 사용자의 의도에 따라 해당 위치로 비행하도록 할 수 있다.

또한, 장치 제어부(160)는 비행 제어부(130)를 제어하여 군집 비행에 따른 항로를 산출하고, 이에 따른 제어신호를 생성하도록 제어할 수 있다. 이러한 장치 제어부(160)는 전술한 기능들이 프로그래밍된 MCU 등으로 구현될 수 있다.

전술한 구조에 따라, 본 발명의 실시예에 따른 무선조정장치는, 하나 또는 둘 이상의 드론에 대한 비행을 제어할 수 있고, 드론이 복수개일 경우 군집 비행을 구현할 수 있으며, 각 드론이 촬영한 피사체에 대한 원 영상을 수신 및 저장할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 영상 처리 시스템에 이용되는 드론의 구조를 설명한다.

도 3은 본 발명의 실시예에 따른 영상 처리 시스템의 드론의 구조를 나타낸 도면이다.

도 3을 참조하면, 본 발명의 실시예에 따른 드론(200)은 정보통신망을 통해 무선조정장치와 연결되는 통신부(210)와, GPS 신호에 대응하여 현재 자신의 위치에 대한 위치신호를 생성하는 GPS부(220)와, 비행을 위한 회전력을 발생시키는 구동부(230)와, 피사체를 촬영하는 카메라(240)와, 수신한 제어신호에 대응하여 상기 구동부를 제어하여 비행을 수행하도록 하는 드론 제어부(250)와, 일 방향으로 적외선 광을 조사하여 자신과 피사체간 거리를 측정하는 적외선 센서부(260)와, 드론(200)에 전원을 공급하는 전원부(270)를 포함할 수 있다.

통신부(210)는 정보통신망을 통해 무선조정장치와 연결되어 통신을 수행할 수 있다. 이에 따라, 통신부(210)는 무선조정장치로부터 송출되는 제어신호를 수신하고, 카메라로부터 촬영된 피사체에 대한 원 영상을 전송할 수 있다.

GPS부(220)는 GPS 위성으로부터 송출되는 신호에 따라 드론의 현재 위치에 대한 위치정보를 산출하고, 이를 통신부(210)를 통해 실시간으로 무선조정장치에 전송할 수 있다.

여기서, 상기 GPS부(220)가 GPS 위성으로부터 신호를 수신할 수 없는 터널 또는 실내 등의 상황에서는, 드론에 탑재되는 적외선 또는 초음파 센서 등을 통해 피사체, 타 드론 및 기타 주변의 장애물과의 거리를 감지하여 비행 경로를 산출할 수 있다.

구동부(230)는 회전력을 발생시키는 소정의 모터 및 그 회전력을 추력으로 하여 드론을 추진시킬 수 있다. 이러한 구동부(230)는 드론의 종류에 따라 둘 이상이 탑재될 수 있다.

카메라(240)는 드론(200)에 탑재되어 일 방향을 촬영하여 영상을 획득할 수 있다. 특히, 카메라(240)는 피사체를 일정거리에 촬영하고, 이를 원 영상으로서 통신부(210)를 통해 무선조정장치에 전송할 수 있다.

드론 제어부(250)는 드론(200)의 전반적인 구동을 제어할 수 있다. 이러한 드론 제어부(250)는 통신부(210)가 수신한 제어신호에 대응하여 구동부(230)를 제어하여 설정된 경로로 드론(200)을 비행하게 하고, 카메라가 획득한 원 영상을 무선조정장치에 전송할 수 있다.

또한, 본 발명의 실시예에 따른 드론(200)은 적외선 센서부(260)를 더 포함할 수 있다. 적외선 센서부(260)는 일 방향으로 적외선 빔을 조사하여 둘 이상의 투사점간의 거리를 측정함으로써 특정대상간의 거리를 계산할 수 있다. 이에 따라, 드론(200)은 적외선 센서부(260)를 통해 피사체와의 거리를 계산하여 무선조정장치에 전송함으로써, 무선조정장치가 군집비행을 제어하고, 의도한 원 영상을 획득할 수 있도록 한다.

전원부(270)는 드론(200)의 구동을 위한 전원을 공급할 수 있다. 이러한 전원부(270)로는 반복충전이 가능한 배터리 장치가 이용될 수 있다.

전술한 구조에 따라, 본 발명의 드론은 피사체에 대한 360°파노라마 영상을 획득할 수 있으며, 그 영상은 영상 처리 장치를 통해 가공되어 입체영상을 생성하는데 이용되게 된다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에 포함되는 영상처리장치를 설명한다.

이하의 설명에서 영상처리장치의 각 구성부는 컴퓨팅 장치에 의해 판독 가능한 프로그램 형태로 구현되어 기록매체에 기록될 수 있다.

또한, 영상처리장치에 입력되는 원 영상은 무선조정장치부터 무선 또는 유선방식으로 영상처리장치에 입력될 수 있고, 또는 원 영상이 저장된 메모리 장치를 분리하여 영사처리장치의 메모리 슬롯에 장착하는 방식으로 입력될 수도 있다.

도 4는 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에 포함되는 영상처리장치를 나타낸 도면이다.

도 4를 참조하면, 본 발명의 실시예에 따른 영상 처리 시스템의 영상처리장치(300)는 복수의 원 영상을 전처리하는 전처리기(310)와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 라벨링부(320)와, 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상들의 시점을 식별하고, 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 이미지 분석부(330)와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 이미지 정합부(340)를 포함할 수 있다.

전처리기(310)는 다양한 포맷을 갖는 원 영상(img1 ~ img4)을 영상처리장치(300)가 처리할 수 있는 형태로 변환할 수 있다. 이러한 전처리기(310)는 원 영상에 대하여 필터링에 의한 노이즈 제거 기능을 포함할 수 있다.

라벨링부(320)는 복수의 드론으로부터 각각 획득된 복수의 영상들에 하여 레벨을 설정할 수 있다. 이러한 라벨과정은 이후 정합과정에서 각 영상들을 식별하는 데 이용될 수 있다.

이미지 분석부(330)는 각 영상내에 등장하는 피사체에 형태에 따라 해당 영상이 피사체의 0° 부터 360°까지 어느 시점에 대응하는지 분류할 수 있다.

이미지 정합부(340)는 이미지 분석부에 의해 판단된 영상들을 정합하여 하나의 입체영상(img3D)을 생성할 수 있다. 하나의 입체영상은 피사체에 대한 모든 시점에 대한 영상을 하나로 결합함으로써 생성될 수 있고, 이러한 입체영상(img3D)은 가상현실장치 등에 의해 재생될 수 있다.

전술한 구조에 따라, 본 발명의 실시예에 따른 영상 처리 시스템의 영상 처리장치는 입력되는 하나 이상의 원 영상을 분석 및 정합하여 하나의 입체영상을 생성할 수 있다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 영상 처리 시스템의 영상처리장치에 의한 영상 처리 방법을 설명한다

도 5는 본 발명의 실시예에 따른 영상처리장치의 영상 처리 방법을 나타낸 도면이다. 이하의 설명에서는 별도의 기재가 없다하더라도 각 단계별 실행주체는 전술한 영상처리장치 및 이의 구성부가 된다.

도 5를 참조하면, 본 발명의 영상처리장치의 영상 처리 방법은, 입체영상을 생성하는 영상 처리 장치에 의한 영상 처리 방법으로서, 복수의 드론으로부터 획득된 피사체에 대한 복수의 원 영상을 입력받는 단계(S100)와, 입력된 복수의 원 영상을 전처리하는 단계(S110)와, 전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 단계(S120)와, 원 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상의 시점을 식별하는 단계(S130)와, 피사체에 대한 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 단계(S140)와, 각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 단계(S150)를 포함할 수 있다.

복수의 원 영상을 입력받는 단계(S100)는 영상처리장치가 복수의 드론에 의해 획득된 피사체에 대한 원 영상을 입력받는 단계이다. 이때, 원 영상은 무선조정장치로부터 유, 무선망을 통해 수신하거나, 또는 메모리장치를 매개로 하여 입력될 수 있다.

복수의 원 영상을 전처리하는 단계(S110)는 전처리기가 원 영상에 대한 노이즈 제거 등의 영상가공 과정을 진행하는 단계이다.

영상에 라벨을 설정하는 단계(S120)는 라벨링부가 전처리된 영상들에 대하여 각각 식별을 위한 라벨을 설정하는 단계이다.

영상의 시점을 식별하는 단계(S130)는 이미지 분석부가 각 영상 내 등장하는 피사체의 형태를 분석하여 이를 기준으로 하여 각 영상들이 촬영된 시점을 식별하는 단계이다.

또한, 영상을 분류하는 단계(S140)는 이미지 분석부가 피사체에 대한 0° 부터 360°까지 식별된 시점에 따라 그에 해당하는 영상을 분류하는 단계이다.

입체영상을 생성하는 단계(S150)는 이미지 정합부가 S140 단계에 분류된 영상들을 시점에 따라 정합하여 하나의 입체영상을 생성하는 단계이다.

이하, 도면을 참조하여 본 발명의 실시예에 따른 드론을 이용하여 피사체에 대한 360°파노라마 영상을 획득하는 방법을 설명한다.

도 6은 본 발명의 실시예에 따른 드론을 이용하여 피사체를 촬영하는 방법을 예시한 도면이다.

도 6을 참조하면 본 발명의 실시예에 따른 드론을 이용한 영상 처리 시스템에서는, 드론과 같은 드론(200)을 이용하여 입체영상을 획득하기 위해, 피사체를 최초 중심점으로 하고, 가상의 하나의 점 혹은 기둥을 설정하며, GPS 신호 또는 적외선 센서 등을 통해 두 직선의 거리를 측정하여 최초 중심점을 기준으로 드론(200)이 설정된 수평경로(path1)를 따라 이동하여 피사체(obj)를 촬영함으로써 원 영상을 획득하게 된다.

여기서, 드론(200)을 복수개 준비하여 각 드론들(201 ~ 204)을 동시에 군집비행 및 촬영하도록 하여 피사체(obj)에 대한 0°부터 360°까지 모든 시점에 대한 원 영상을 획득하도록 한다.

따라서, 군집비행 중인 드론들(201 ~ 204)은 각 커버리지가 90°로 분할된 4분면(A1 ~ A4)에 각각 대응할 수 있고, 수평방향뿐만 아니라, 수직방향으로도 수직경로(path2)가 설정되어 다양한 높이에 따른 피사체에 대한 원 영상을 획득할 수 있다.

도 7a 내지 도 7c는 본 발명의 실시예에 따른 피사체를 촬영하기 위해 군집 비행하는 복수의 드론의 위치설정방법을 예시한 도면이다.

도 7a를 참조하면, 본 발명의 실시예에 따른 드론들(201 ~ 204)는 비행시 각 비행체간 이격거리(d1)가 일정하도록 제어될 수 있으며, 이에 제1 드론(201)이 마스터로 설정되면, 나머지 제2 내지 제4 무인비행체(202 ~ 204)가 슬레이브로 설정되어 제1 드론(201)을 기준으로 나머지 비행체들의 거리를 측정하고 비행시 이격거리(d1)가 일정하게 유지되도록 할 수 있다.

도 7b는 피사체(obj)의 촬영시 드론들(201 ~ 204)의 배치를 예시한 것으로, 각 드론들(201 ~ 204)은 피사체(obj)를 중심으로 하여 서로간 동일한 간격(d2)을 유지하며 배치될 수 있다.

또한, 각 드론들(201 ~ 204)는 촬영시 피사체(obj)와의 이격거리(d3)가 모두 일정하도록 배치될 수 있고, 각각 피사체(obj)를 중심으로 한 쌍이 대향 하도록 배치될 수 있다. 즉, 제1 드론(201)은 제3 드론(203)과 대향 할 수 있고, 제2 드론(202)은 제4 드론(204)과 대향 할 수 있다.

그리고, 촬영이 시작되면, 각 드론들(201 ~ 204)은 피사체에 대한 360°전 시점에서 파노라마 영상을 획득하기 위해, 수평경로(path1)를 따라 간격(d2)을 유지하면서 피사체(obj)를 중심으로 시계 또는 반시계 방향으로 회전하는 형태로 이동함으로써 피사체(obj)에 대한 전 시점에서 촬영을 수행할 수 있다.

또한, 특정 높이에서 피사체에 대하여 전 시점 즉, 0°부터 360°까지 촬영이 완료되면, 도 7c에 도시된 바와 같이, 드론(201)을 일정높이로 상승 또는 하강시켜 전술한 방식과 동일하게 피사체(obj)의 촬영을 재개할 수 있다. 이때, 드론(201)과 피사체(obj)간 이격거리(d3)는 타 높이에서 촬영시와 동일하게 유지될 수 있다.

이후, 타 높이에서 촬영을 계속함으로써, 다양한 높이에서 피사체(obj)에 대한 원 영상을 획득할 수 있다.

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서, 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.

100 : 무선조정장치 110 : 통신부
120 : 저장부 130 : 비행제어부
140 : 디스플레이부 150 : 조작부
160 : 장치 제어부 200 : 드론
210 : 통신부 220 : GPS부
230 : 구동부 240 : 카메라
250 : 드론 제어부 260 : 적외선 센서부
270 : 전원부 300 : 영상처리장치
310 : 전처리기 320 : 라벨링부
330 : 이미지 분석부 340 : 이미지 정합부

Claims (10)

1. 피사체로부터 일정거리 이격되어 상기 피사체의 중심으로 비행하며 상기 피사체를 촬영하여 원 영상을 획득하는 복수의 드론;
   상기 드론의 운행을 제어하여 상기 드론이 촬영한 원 영상을 실시간으로 수신 및 저장하는 무선조정장치; 및
   상기 복수의 원 영상을 입력받아 하나의 입체영상으로 정합하는 영상처리장치를 포함하고,
   상기 무선조정장치는,
   상기 드론을 상기 피사체를 중심으로 일정거리 이격되는 위치에서 일정경로를 따라 비행하도록 제어하고, 상기 원 영상을 저장하되, 복수의 드론으로부터 각각 수신되는 복수의 원 영상을 각각 저장하는 복수의 저장소로 이루어지는 저장부를 포함하고,
   상기 영상처리장치는,
   상기 복수의 원 영상을 전처리하는 전처리기;
   전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 라벨링부;
   영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상들의 시점을 식별하고, 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 이미지 분석부; 및
   각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 이미지 정합부
   를 포함하는 드론을 이용한 3D 영상 처리 시스템.
2. 제 1 항에 있어서,
   상기 드론은,
   상기 피사체를 중심으로 한 쌍이 서로 대향하도록 배치되어 상기 피사체를 촬영하는 드론을 이용한 3D 영상 처리 시스템.
3. 제 1 항에 있어서,
   상기 무선조정장치는,
   상기 드론과 정보통신망을 통해 통신하여 비행을 위한 제어신호를 송출하고, 상기 드론으로부터 위치정보 및 상기 원 영상을 수신하는 통신부;
   상기 위치정보에 대응하여 드론의 현재위치를 판단하고, 상기 드론의 비행경로를 산출하는 비행 제어부;
   상기 원 영상을 표시하는 디스플레이부;
   사용자의 조작에 대응하는 입력신호를 생성하는 조작부; 및
   상기 비행 제어부를 통해 상기 비행경로에 따른 제어신호를 생성하고, 상기 입력신호를 상기 제어신호에 반영하는 장치 제어부
   를 포함하는 드론을 이용한 3D 영상 처리 시스템.
4. 삭제
5. 제 3 항에 있어서,
   상기 제어신호는,
   상기 복수의 드론이 상기 피사체를 기준으로 동일거리를 갖도록 한 쌍씩 대향하도록 위치시키고, 일 방향으로 상기 피사체의 주변을 회전하는 경로를 갖도록 제어하는 드론을 이용한 3D 영상 처리 시스템.
6. 제 3 항에 있어서,
   상기 비행 제어부는,
   각각의 드론의 위치를 식별하는 위치식별모듈;
   복수의 드론간 위치에 따라 일정간격이 유지되는 군집항로를 산출하는 항로산출 모듈; 및
   상기 입력신호에 따라, 상기 복수의 드론 중, 어느 하나의 비행경로를 결정하고, 하나에 대한 비행경로에 따라 나머지 드론의 비행경로를 산출하여 상기 제어신호를 생성하는 항로결정모듈
   을 포함하는 드론을 이용한 3D 영상 처리 시스템.
7. 삭제
8. 삭제
9. 제 1 항에 있어서,
   상기 드론은 일 방향으로 적외선 빔을 조사하여 빔이 투사된 지점과의 거리를 산출하고, 상기 무선조정장치에 전송하는 적외선 센서부
   를 더 포함하는 드론을 이용한 3D 영상 처리 시스템.
10. 입체영상을 생성하는 영상 처리 장치에 의한 영상 처리 방법으로서,
    복수의 드론으로부터 획득된 피사체에 대한 복수의 원 영상을 입력받는 단계;
    입력된 복수의 원 영상을 전처리하는 단계;
    전처리된 복수의 영상 각각에 촬영시점에 따라 라벨을 설정하는 단계;
    원 영상내 등장하는 피사체를 기준으로 하여 라벨링된 영상의 시점을 식별하는 단계;
    상기 피사체에 대한 0° 부터 360°까지 각 시점에 대응하는 영상을 분류하는 단계; 및
    각 시점별 영상을 정합하여 하나의 입체영상을 생성하는 단계
    를 포함하는 3D 영상 처리 방법.

Images