KR101870761B1 - 항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템 및 방법 - Google Patents

Abstract

스토리보드 생성 시스템에 관한 것이며, 스토리보드 생성 시스템은, 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보를 포함하는 비행 시나리오를 항공 그래픽 시뮬레이터로 전송하는 지상통제시스템, 상기 지상통제시스템으로부터 수신한 상기 비행 시나리오에 기초하여 상기 무인기를 제어하고, 상기 무인기를 통해 촬영된 촬영 영상을 상기 지상통제시스템으로 제공하는 항공 그래픽 시뮬레이터 및 상기 지상통제시스템으로부터 상기 촬영 영상을 획득하고, 상기 획득한 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 상기 비행 시나리오에 대응하는 스토리보드를 생성하는 영상 스토리보드 제작기를 포함할 수 있다.

Description

항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템 및 방법 {SYSTEM AND METHOD FOR SUPPORTING DRONE IMAGING BY USING AVIATION INTEGRATED SIMULATION}

본원은 무인기 기반의 영상 스토리보드 생성 시스템 및 방법에 관한 것이다.

스토리보드는 영상의 흐름을 설명하기 위한 스토리나 구성요소, 촬영정보, 동선 등 촬영에 대한 설계서 역할을 담당하며, 일반적으로 미술 관련 전문 인력에 의하여, 스케치 또는 스케치 소프트웨어를 사용하여 제작된다. 전문 인력은 스토리보드 제작 전에 현장조사를 하며, 촬영 장소의 분위기와 영화 스토리를 고려하여 스토리보드를 창작한다. 영화감독은 이러한 스토리보드를 사용하여 카메라의 구도와 거리, 조명, 배우의 동작 등을 구성한 다음 영화에서 추구하는 영상미학 기준에 적합한지 확인한 후에 촬영을 시작한다.

한편, 영화 관련 분야에서는 비행기 액션 등과 같은 항공촬영을 소재로 한 영화가 꾸준히 제작되고 있는데, 항공기를 이용한 항공촬영의 경우, 크레인 또는 레일을 이용하는 지상 촬영과는 달리, 기체가 3차원 공간을 이동할 수 있는 자유도와 짐벌에 장착된 카메라를 3차원 공간에서 조종할 수 있으므로 영화감독이 상상하지 못했던 영상을 촬영할 수 있는 장점이 있다.

그러나, 항공촬영은 특성상 공중에서 대상을 조망함에 따라 종래의 스토리보드 제작 방법을 적용하는 데에는 한계가 있으며, 또한, 항공기 제어기, 조종자, 지역 및 기상 환경 조건 등의 다양한 변수가 존재함에 따라 종래의 항공촬영 기술로는 영화감독이나 촬영감독 등이 원하는 항공영상의 구도를 획득하지 못하는 단점이 있다. 또한, 항공촬영 시 NG 등에 의하여 촬영을 다시 수행해야 하는 경우에는 영화감독과 촬영기사 뿐만 아니라 주연 배우, 조연 배우 등의 많은 인력이 낭비되고, 시간과 자원 또한 낭비되는 단점이 있다.

본원의 배경이 되는 기술은 한국공개특허공보 제 10-2010-0054078호(공개일: 2010.05.24)에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 항공촬영을 수행함에 있어서 영화감독이나 촬영감독이 원하는 임의의 각도에서의 3D 영상을 저비용으로 단시간에 획득할 수 있도록 하는 스토리보드 생성 시스템 및 방법을 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 항공촬영 시 NG 등에 의하여 촬영을 다시 수행해야 하는 경우에 발생되는 인력, 시간, 자원 등의 낭비를 해소할 수 있는 스토리보드 생성 시스템 및 방법을 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 영화감독이나 촬영감독이 실사 항공영상을 획득하기 위해 현지 촬영을 시작하기 이전에, 무인기, 비행 시뮬레이션 기술, 3D 그래픽스 기술 및 영상처리 기술 등을 융합한 기술을 이용함으로써 항공 관련 지식이 없는 영화감독이나 촬영감독이 원하는 3D 항공영상을 보다 용이하게 획득할 수 있도록 하는 스토리보드 생성 시스템 및 방법을 제공하려는 것을 목적으로 한다.

본원은 실제 항공촬영시 실제 항공기(또는 실제 무인기)의 웨이포인트(way point)로 사용될 수 있는 스토리보드 생성 시스템 및 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 스토리보드 생성 시스템은, 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보를 포함하는 비행 시나리오를 항공 그래픽 시뮬레이터로 전송하는 지상통제시스템, 상기 지상통제시스템으로부터 수신한 상기 비행 시나리오에 기초하여 상기 무인기를 제어하고, 상기 무인기를 통해 촬영된 촬영 영상을 상기 지상통제시스템으로 제공하는 항공 그래픽 시뮬레이터 및 상기 지상통제시스템으로부터 상기 촬영 영상을 획득하고, 상기 획득한 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 상기 비행 시나리오에 대응하는 스토리보드를 생성하는 영상 스토리보드 제작기를 포함할 수 있다.

또한, 상기 영상 스토리보드 제작기는, 스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하는 상황조건을 설정하는 상황 설정부 및 상기 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정하는 비디오 분석부를 포함하되, 상기 상황조건은, 상기 스토리보드 영상으로 선정됨에 있어서 상기 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수를 포함할 수 있다.

또한, 상기 무인기는, 상기 항공 그래픽 시뮬레이터 내에서 비행하는 가상의 무인기일 수 있다.

또한, 상기 영상 스토리보드 제작기는, 상기 스토리보드 영상 및 상기 촬영 영상에서 상기 스토리보드 영상에 대응하는 촬영 시점의 상기 무인기의 비행정보를 통합하여 상기 스토리보드를 생성하는 스토리보드 생성부를 더 포함할 수 있다.

또한, 상기 무인기의 비행정보는 상기 촬영 영상에서 상기 스토리보드 영상에 대응하는 촬영 시점에 대한 무인기 시간 정보를 포함하되, 상기 스토리보드 생성부는, 상기 무인기 시간 정보를 상기 무인기를 통제하는 시스템의 시스템 시간 정보와 비교하여 상기 무인기 시간 정보에 오차가 존재하는 것으로 판단되는 경우, 상기 시스템 시간 정보에 기반하여 상기 무인기 시간 정보의 오차를 보정할 수 있다.

또한, 상기 스토리보드 영상에 대응하는 촬영 시점의 상기 무인기의 비행정보는, 실제 무인기를 통한 영상 촬영시 상기 실제 무인기의 웨이포인트(way point)로 사용될 수 있다.

또한, 상기 상황조건은 상기 촬영 영상 내에 포함된 객체에 대한 객체 상황변수를 포함할 수 있다.

또한, 상기 객체 상황변수는, 객체의 특성, 객체의 숫자, 객체의 위치 중 적어도 하나와 관련한 변수일 수 있다.

또한, 상기 상황조건은, 상기 촬영 영상의 화면 변화에 대한 화면 상황변수를 포함할 수 있다.

또한, 상기 화면 상황변수는, 배경의 전환 유무 및 상기 배경의 전환 속도 중 적어도 하나와 관련된 변수일 수 있다.

또한, 상기 비디오 분석부는, 상기 상황조건에 복수의 상황변수가 포함되는 경우, 상기 복수의 상황변수를 함께 고려하여 상기 스토리보드 영상을 선정할 수 있다.

또한, 상기 복수의 상황변수는 스칼라 값이고, 상기 비디오 분석부는, 상기 촬영 영상에 포함되는 장면 각각에 대하여 복수의 상황변수의 스칼라 값을 합산한 합산 정보에 기초하여 상기 스토리보드 영상을 선정할 수 있다.

또한, 상기 상황 설정부에는 스토리보드에 포함되는 상기 스토리보드 영상의 최대 개수가 설정되고, 상기 비디오 분석부는 상기 촬영 영상에 포함되는 장면 각각에 대하여 산출된 합산 정보 값을 크기순으로 정렬한 후 상기 정렬된 합산 정보 값에 기초하여 상기 최대 개수에 대응하는 장면들을 상기 스토리보드 영상으로 선정할 수 있다.

한편, 본원의 일 실시예에 따른 영상 스토리보드 제작기는, 스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하는 상황조건을 설정하는 상황 설정부 및 상기 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정하는 비디오 분석부를 포함하되, 상기 상황조건은, 상기 스토리보드 영상으로 선정됨에 있어서 상기 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수를 포함할 수 있다.

또한, 상기 촬영 영상은 무인기를 통해 촬영된 영상일 수 있다.

또한, 상기 무인기는, 항공 그래픽 시뮬레이터 내에서 비행하는 가상의 무인기일 수 있다.

한편, 본원의 일 실시예에 따른 스토리보드 생성 방법은, 지상통제시스템에서, 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보를 포함하는 비행 시나리오를 항공 그래픽 시뮬레이터로 전송하는 단계, 상기 항공 그래픽 시뮬레이터에서, 상기 지상통제시스템으로부터 수신한 상기 비행 시나리오에 기초하여 상기 무인기를 제어하고, 상기 무인기를 통해 촬영된 촬영 영상을 상기 지상통제시스템으로 제공하는 단계 및 영상 스토리보드 제작기에서, 상기 지상통제시스템으로부터 상기 촬영 영상을 획득하고, 상기 획득한 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 상기 비행 시나리오에 대응하는 스토리보드를 생성하는 단계를 포함할 수 있다.

한편, 본원의 일 실시예에 따른 영상 스토리보드 제작기를 통한 영상 스토리보드 제작 방법은, 스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하는 상황조건을 설정하는 단계 및 상기 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정하는 단계를 포함하되, 상기 상황조건은, 상기 스토리보드 영상으로 선정됨에 있어서 상기 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 가상의 무인기와 같은 무인기를 통해 촬영된 촬영 영상으로부터 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수를 포함하는 상황조건에 기반하여 스토리보드 영상을 선정하고, 선정된 스토리보드 영상을 이용해 스토리보드를 생성함으로써, 항공 관련 지식이 없는 영화감독이나 촬영감독이 원하는 3D 항공영상을 보다 용이하게 획득할 수 있는 효과가 있다.

전술한 본원의 과제 해결 수단에 의하면, 가상의 무인기를 통해 획득한 촬영 영상과 해당 촬영 영상을 촬영한 시점에서의 무인기의 비행정보를 연계하여 스토리보드를 생성함으로써, 실제 항공촬영시 스토리보드를 실제 항공기(또는 실제 무인기)의 웨이포인트(way point)로 사용할 수 있어, 영화감독이나 촬영감독이 원하는 임의의 각도에서의 3D 영상을 저비용으로 단시간에 획득할 수 있으며, NG 등에 의하여 야기되는 인력, 시간, 자원 등의 낭비를 해소할 수 있는 효과가 있다.

도 1은 본원의 일 실시예에 따른 스토리보드 생성 시스템의 개략적인 구성을 나타낸 도면이다.
도 2는 본원의 일 실시예에 따른 스토리보드 생성 시스템에서 지상통제시스템의 동작 흐름을 나타낸 도면이다.
도 3은 본원의 일 실시예에 따른 스토리보드 생성 시스템에서 항공 그래픽 시뮬레이터의 동작 흐름을 나타낸 도면이다.
도 4는 본원의 일 실시예에 따른 영상 스토리보드 제작기의 구성을 개략적으로 나타낸 블록도이다.
도 5는 본원의 일 실시예에 따른 영상 스토리보드 제작기에서 상황 설정부의 동작 흐름을 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 영상 스토리보드 제작기에서 비디오 분석부의 동작 흐름을 나타낸 도면이다.
도 7은 본원의 일 실시예에 따른 영상 스토리보드 제작기에서 스토리보드 생성부의 동작 흐름을 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 스토리보드 생성 방법에 대한 동작 흐름도이다.
도 9는 본원의 일 실시예에 따른 영상 스토리보드 제작기를 통한 영상 스토리보드 제작 방법에 대한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원은 실사 항공영상을 획득하기 이전에, 무인기, 비행 시뮬레이션 기술, 3D 그래픽스 기술 및 영상처리 기술 등의 융합 기술을 통해 항공 관련 지식이 없는 영화감독이나 촬영감독이라 할지라도 원하는 3D 항공영상을 저비용으로 용이하게 획득할 수 있도록 하는 스토리보드 생성 시스템 및 방법에 관한 것이다.

도 1은 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)의 개략적인 구성을 나타낸 도면이다. 설명에 앞서, 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)은 달리 표현하여 항공통합시뮬레이션을 이용한 드론영상촬영 지원시스템이라 할 수 있다.

도 1을 참조하면, 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)은 지상통제시스템(100), 시뮬레이션 데이터 교환부(200), 항공 그래픽 시뮬레이터(300), 영상 스토리보드 제작기(400) 및 데이터베이스(500)를 포함할 수 있다.

지상통제시스템(100)은 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보를 포함하는 비행 시나리오를 항공 그래픽 시뮬레이터(300)로 전송할 수 있다.

지상통제시스템(100)에 대한 설명은 도 2를 참조하여 보다 쉽게 이해될 수 있다.

도 2는 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)에서 지상통제시스템(100)의 동작 흐름을 나타낸 도면이다.

도 2를 참조하면, 지상통제시스템(100)은 사용자(또는 운용자) 입력에 기초하여 항공 그래픽 시뮬레이터(300)에 포함된 비행 시뮬레이터 및 무인기를 제어하기 위한 제어명령 내지 비행 시나리오를 설정할 수 있다. 여기서, 무인기는 항공 그래픽 시뮬레이터(300) 내에서 비행하는 가상의 무인기일 수 있다.

또한, 지상통제시스템(100)은 비행 시뮬레이터 및 무인기를 제어하기 위한 제어명령 내지 비행 시나리오를 사용자로부터 입력받기 위한 유저 인터페이스(미도시)를 포함할 수 있으며, 유저 인터페이스는 키보드, 터치 스크린, 마우스 등으로 구현 가능하다.

사용자는 지상통제시스템(100)를 통해 비행 시뮬레이터를 제어하기 위해, 시뮬레이션 데이터 교환부(200)를 통해 비행 시뮬레이터에 접속한 후 비행 시나리오를 항공 그래픽 시뮬레이터(300)로 전송(S21)할 수 있다. 이때, 비행 시나리오에 기초하여 무인기가 제어될 수 있으며, 사용자는 지상통제시스템(100)를 통해, 무인기에 의하여 촬영된 영상 및 무인기와 관련된 정보(예를 들어, 비행 정보 등)를 실시간으로 모니터링할 수 있다.

비행 시나리오를 전송하기 이전에, 지상통제시스템(100)은 시뮬레이션 데이터 교환부(200)로 TCP(UDP)/IP 접속을 수행할 수 있으며, 시뮬레이션 데이터 교환부(200)는 지상통제시스템(100)와 항공 그래픽 시뮬레이터(300)를 네트워크 상에 연결시킬 수 있다. 여기서, 네트워크의 일예로는, 무선 센서 네트워크(wireless sensor networks, WSNs), 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network) 등일 수 있으며, 이에 한정된 것은 아니다.

또한, 비행 시나리오는 일예로, 영화감독이나 촬영감독 등과 같이 항공촬영 영상을 획득하고자 하는 사용자에 의하여 기설정될 수 있다. 기설정된 비행 시나리오 정보에는 비행 시뮬레이터에서 사용할 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보가 포함될 수 있다.

가상 촬영환경 정보는 영화감독이나 촬영감독 등의 사용자가 요구하는 촬영환경에 대한 정보로서, 자연 경관, 건축물 등과 같은 배경 관련 정보 및 사람, 차량 등과 같은 객체(또는 대상) 관련 정보 등이 포함될 수 있다. 무인기와 관련된 촬영 방식 정보에는 무인기 모델 정보, 무인기 모듈의 유형, 무인기의 비행경로(또는 무인기의 이동 동선, 움직임 등), 비행 속도 등의 정보 뿐만 아니라 카메라 촬영 기법에 따른 무인기의 움직임, 영상 구도 등과 같은 카메라 촬영 방식에 대한 정보 등이 포함될 수 있다. 특히, 무인기의 비행경로의 경우에는 무인기를 좌측에서 우측으로 또는 우측에서 좌측으로 이동하면서 촬영하는 팬(panning) 기법, 무인기를 상하 수직방향으로 이동하면서 촬영하는 틸트(tilt) 기법 및 멀리 있는 피사체에서 접근하거나, 그와는 반대로 멀어지면서 촬영하는 줌잉(zooming) 기법 등에 따라 보다 다양하게 설정될 수 있다.

무인기는 3차원 공간 상에서 이동함에 따라 다양한 경로의 이동이 가능하므로, 이에 따라 지상통제시스템(100)은, 동일한 가상 촬영환경에서도 다양한 경로에 따라 경로별로 비행 시나리오를 설정할 수 있다. 달리 표현하여 지상통제시스템(100)은 다양한 비행경로와 카메라의 구도에 따라 반복적인 촬영을 수행할 수 있도록, 비행 시나리오로서 비행 시뮬레이터 및 무인기와 관련된 제어 명령 정보를 설정할 수 있다. 이후 지상통제시스템(100)은 설정된 비행 시나리오를 시뮬레이션 데이터 교환부(200)를 통해 항공 그래픽 시뮬레이터(300)로 전송할 수 있다.

비행 시나리오를 전송(S21)한 이후에, 항공 그래픽 시뮬레이터(300)는 비행 시나리오에 기초하여 무인기를 제어하고, 무인기를 제어함에 따라 촬영된 촬영 영상을 획득할 수 있다. 이후, 지상통제시스템(100)은 항공 그래픽 시뮬레이터(300)에서 획득한 촬영 영상(달리 말해, 무인기를 통해 촬영된 촬영 영상)을 항공 그래픽 시뮬레이터(300)로부터 수신(S22)할 수 있다.

단계S22에서 지상통제시스템(100)은 무인기를 통해 촬영된 촬영 영상 뿐만 아니라 해당 촬영 영상을 촬영하는 시점에서의 무인기의 비행정보 및 해당 촬영 영상을 촬영하는 시점의 시간 정보를 함께 수신할 수 있다. 여기서 무인기의 비행정보로는 무인기의 상태 정보, 위도(latitude), 경도(longitude) 및 고도(altitude) 등의 위치 정보, GPS 정보, 롤(roll), 피치(pitch) 및 요(yaw) 등의 자세 정보, 속도 정보, 비행경로 정보 등을 포함할 수 있다. 또한, 단계S22에서 지상통제시스템(100)은 항공 그래픽 시뮬레이터(300)에서 설정된 지연 시간에 따라 촬영 영상 및 무인기의 비행정보를 수신할 수 있으며, 지연 시간에 대한 설명은 도 3을 통해 보다 자세히 설명하기로 한다.

이때, 지상통제시스템(100)은 항공 그래픽 시뮬레이터(300)로부터 전송된 촬영 영상을 영상 수신부(미도시)를 통해 수신할 수 있다. 영상의 경우에는 텍스트 형태의 비행정보와는 달리 용량이 크기 때문에, 항공 그래픽 시뮬레이터(300)로부터 영상을 수신하는 과정에서 전체 시스템(10)의 지연이 발생할 수 있다. 따라서, 영상 수신부(미도시)는 지상통제시스템(100)와는 별도로 구성으로 분리되어 구현될 수 있으며, 영상 수신부(미도시)를 비동기 데이터 통신으로 구현함으로써 영상 수신 지연으로 인한 전체 시스템(10)의 성능 저하가 최소화될 수 있다.

다음으로, 단계S23에서 지상통제시스템(100)은 항공 그래픽 시뮬레이터(300)로부터 수신한 촬영 영상 및 무인기의 비행정보를 영상 스토리보드 제작기(400)로 전송할 수 있다. 이후 영상 스토리보드 제작기(400)에서는 지상통제시스템(100)로부터 수신한 촬영 영상 및 무인기의 비행정보에 기초하여 스토리보드를 생성할 수 있으며, 이는 후술하여 보다 자세히 설명하기로 한다.

단계S23 이후에, 지상통제시스템(100)은 단계S21에서 전송한 비행 시나리오에 대한 시뮬레이션이 종료되었는지 여부를 확인(S24)할 수 있다. 이때, 시뮬레이션이 종료되지 않은 것으로 판단되는 경우(S24-N), 지상통제시스템(100)은 단계S22로 돌아갈 수 있다. 한편, 단계S21에서 전송한 비행 시나리오에 대한 시뮬레이션이 종료된 것으로 판단되는 경우(S24-Y), 지상통제시스템(100)은 다음 비행 시나리오가 존재하는지 여부를 확인(S25)할 수 있다. 지상통제시스템(100)은, 다음 비행 시나리오가 존재하는 것으로 판단되는 경우(S25-Y)에는 단계S21로 돌아가고, 다음 비행 시나리오가 존재하지 않는 것으로 판단되는 경우(S25-N)에는 지상통제시스템(100)의 동작을 종료할 수 있다.

한편, 시뮬레이션 데이터 교환부(200)는 지상통제시스템(100)와 항공 그래픽 시뮬레이터(300) 사이의 인터페이스로서, 앞서 말한 바와 같이 지상통제시스템(100)와 항공 그래픽 시뮬레이터(300)를 네트워크 상에 연결시킬 수 있다. 상용 비행 시뮬레이터를 사용하는 경우에는 외부 소프트웨어에서 비행 시뮬레이터에 대한 직접적인 제어가 어려우므로, 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)은 시뮬레이션 데이터 교환부(200)를 통해 비행 시뮬레이터에서 지원하는 API(Application Program Interface)를 이용함으로써 간접적으로 비행 시뮬레이터를 제어할 수 있다. 이에 따라, 시뮬레이션 데이터 교환부(200)는 비행 시뮬레이터를 구동시키기 위한 지상통제시스템(100)의 제어 명령에 따라, 해당 제어 명령에 대응하는 API를 호출함으로써 지상통제시스템(100)와 항공 그래픽 시뮬레이터(300) 사이를 네트워크로 연결시킬 수 있다.

항공 그래픽 시뮬레이터(300)는 지상통제시스템(200)로부터 수신한 비행 시나리오에 기초하여 무인기를 제어하고, 무인기를 통해 촬영된 촬영 영상을 지상통제시스템(200)로 제공할 수 있다. 항공 그래픽 시뮬레이터(300)에 대한 설명은 도 3을 참조하여 보다 쉽게 이해될 수 있다.

도 3은 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)에서 항공 그래픽 시뮬레이터(300)의 동작 흐름을 나타낸 도면이다.

도 3을 참조하면, 먼저, 항공 그래픽 시뮬레이터(300)는 비행 시뮬레이터와 영화 세트장 그래픽 시뮬레이터가 연동된 장치일 수 있다. 비행 시뮬레이터에는 일예로 촬영 모듈, 영상 저장 모듈 및 데이터(예를 들어, 영상, 비행정보 등) 전송 모듈이 탑재될 수 있으며, 이에 한정되는 것은 아니다. 영화 세트장 그래픽 시뮬레이터는 영화 촬영지의 배경, 등장 인물, 차량 등의 촬영환경을 컴퓨터 그래픽스 기술로 제공하는 장치일 수 있다.

단계S31에서 항공 그래픽 시뮬레이터(300)는 비행 시뮬레이터에 가상 비행환경(또는 가상 촬영환경)을 구축할 수 있다.

일예로, X-plane, Flight Simulator등의 비행 시뮬레이터는 시뮬레이션 환경에 배경, 건물, 배우 등의 3D 모델을 추가할 수 있는 툴(예를 들어, World Editor 등)이 공개되어 있으며, 단계S31에서 항공 그래픽 시뮬레이터(300)는 이러한 공개되어 있거나 상용 3D모델링 툴을 사용하여 비행 시뮬레이터에서 사용할 환경 및 대상을 모델링할 수 있다. 또한, 항공 그래픽 시뮬레이터(300)에는 각 대상(예를 들어, 사람, 자동차 등)의 움직임에 대한 시나리오가 설정될 수 있다.

비행환경을 구축한 이후 또는 비행환경을 구축할 때 항공 그래픽 시뮬레이터(300)에 포함된 비행 시뮬레이터는, 시뮬레이션 데이터 교환부(200)로 TCP(UDP)/IP 접속을 수행할 수 있다. 시뮬레이션 데이터 교환부(200)에는 운용환경에 따라 N 개의 비행 시뮬레이터가 연동될 수 있다. 이러한 경우, 일예로 시뮬레이션 데이터 교환부(200)는 서버 형태이고 비행 시뮬레이터는 클라이언트 형태인 네트워크로 구성될 수 있다.

시뮬레이션 데이터 교환부(200)에 접속한 이후 항공 그래픽 시뮬레이터(300)는 지상통제시스템(100)로부터 비행 시나리오를 수신할 수 있다. 항공 그래픽 시뮬레이터(300)는 비행 시나리오의 수신 여부를 확인(S32)한 이후, 단계S32에서 비행 시나리오를 수신한 것으로 판단되는 경우, 시뮬레이션 환경을 비행 시나리오에 맞추어 셋팅(또는 초기화)할 수 있다. 이러한 과정을 통해 항공 그래픽 시뮬레이터(300)는 시뮬레이션을 수행하기 전에 시뮬레이션할 가상 촬영환경과 무인기를 셋팅할 수 있다.

이후, 항공 그래픽 시뮬레이터(300)는 수신한 비행 시나리오에 기초하여 무인기를 제어(S33)하고, 무인기를 제어함에 따라 무인기를 통해 촬영된 촬영 영상을 획득(S34)할 수 있다.

보다 구체적으로, 비행 시나리오를 수신한 이후, 항공 그래픽 시뮬레이터(300)는 구축된 가상 촬영환경에서 무인기를 구동시키고, 무인기를 통한 영상 촬영을 수행함으로써 비행 시나리오에 대한 시뮬레이션을 수행할 수 있다. 이때, 무인기는 비행 시나리오에 기초하여 사전에 기설정된 항로를 따라 비행하면서 영상 촬영을 수행할 수 있으며, 무인기를 통한 촬영의 경우 공중에서 피사체를 조망할 수 있으므로, 일예로 무인기는 익스트림 롱 샷, 롱샷, 풀샷, 루즈 샷 등의 영상을 촬영하여 획득할 수 있다.

또한, 항공 그래픽 시뮬레이터(300)는 무인기를 통한 촬영 영상 뿐만 아니라, 비행 시뮬레이터 자체의 줌인, 줌 아웃 기능을 이용하여 촬영된 촬영 영상을 획득할 수 있다. 비행 시뮬레이터 자체의 줌인, 줌 아웃 기능을 이용하여 촬영된 촬영 영상으로는, 일예로 니샷, 웨이스트 샷, 바스트 샷, 클로즈 샷, 클로즈업 샷, 익스트림 클로즈업 샷, 타이트 샷 등의 영상이 포함될 수 있다. 이에 따라, 항공 그래픽 시뮬레이터(300)는 후술할 단계S35에서 촬영 영상을 지상통제시스템(100)로 전송할 때, 무인기를 통해 촬영된 촬영 영상을 전송할 수도 있고, 시뮬레이터 자체 기능에 의하여 촬영된 촬영 영상을 전송할 수도 있다.

즉, 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)에서는 전반적으로 지상통제시스템(100)가 항공 그래픽 시뮬레이터(300)로부터 획득하는 촬영 영상으로서, 무인기를 통해 촬영된 촬영 영상만 획득하는 것으로 예시하였으나, 이에 한정되는 것은 아니고, 앞서 말한 바와 같이 항공 그래픽 시뮬레이터(300)로부터 획득하는 촬영 영상에는 항공 그래픽 시뮬레이터(300)에 자체적으로 구비된 촬영모듈을 통해 촬영된 촬영 영상도 포함될 수 있다. 이에 따라 후술할 영상 스토리보드 제작기(400) 또한 무인기를 통해 촬영된 촬영 영상에 기반하여 스토리보드를 생성할 뿐만 아니라 항공 그래픽 시뮬레이터(300)에 자체 구비된 촬영모듈을 통해 촬영된 촬영 영상에 기반하여 스토리보드를 생성할 수도 있다. 또는, 영상 스토리보드 제작기(400)는 무인기를 통해 촬영된 촬영 영상과 항공 그래픽 시뮬레이터(300)의 자체 구비된 촬영모듈을 통해 촬영된 촬영 영상을 연계한 촬영 영상을 이용하여 스토리보드를 생성할 수도 있다.

한편, 단계S34에서 항공 그래픽 시뮬레이터(300)는 기설정된 지연 시간을 고려하여 촬영 영상을 획득할 수 있다. 여기서, 지연 시간은 무인기를 통해 촬영된 촬영 영상(또는 항공 그래픽 시뮬레이터(300) 자체에 구비된 촬영모듈을 통해 촬영된 촬영 영상)을 지상통제시스템(100)로 전송하기 위한 대기 시간을 의미할 수 있으며, 기설정된 지연 시간에 의하여 항공 그래픽 시뮬레이터(300)가 무인기를 통해 촬영된 촬영 영상을 획득하는 영상획득 속도가 결정될 수 있다. 일예로, 지연 시간이 0.1초로 설정된 경우, 항공 그래픽 시뮬레이터(300)는 최대 10 frame/second의 속도로 무인기를 통해 촬영된 촬영 영상을 획득할 수 있다.

또한, 항공 그래픽 시뮬레이터(300)는 무인기를 통해 촬영된 촬영 영상을 일예로 캡처(capture)하여 후술할 데이터베이스(500)에 저장할 수 있다. 이때, 항공 그래픽 시뮬레이터(300)는 촬영 영상 저장시, 캡처된 영상을 촬영할 때의 무인기의 비행정보를 캡처된 영상과 연계하여 함께 데이터베이스(500)에 저장할 수 있다.

단계S34 이후에, 항공 그래픽 시뮬레이터(300)는 무인기를 통해 촬영된 촬영 영상 및 해당 촬영 영상을 촬영할 때의 무인기의 비행정보를 함께 지상통제시스템(100)로 전송(S35)할 수 있다.

단계S35이후, 항공 그래픽 시뮬레이터(300)는 지상통제시스템(100)로부터 수신한 비행 시나리오에 대한 시뮬레이션이 종료되었는지 여부를 확인(S36)할 수 있다. 비행 시나리오에 대한 시뮬레이션이 종료되지 않은 것으로 판단되는 경우(S36-N), 항공 그래픽 시뮬레이터(300)는 단계S34로 돌아가 무인기를 통해 촬영된 촬영 영상을 획득하고, 비행 시나리오에 대한 시뮬레이션이 종료된 것으로 판단되는 경우 (S36-Y)에는 항공 그래픽 시뮬레이터(300)의 동작을 종료할 수 있다.

한편, 데이터베이스(500)는 스토리보드 생성 시스템(10)과 관련된 정보를 모두 저장할 수 있다. 일예로, 데이터베이스(500)는 지상통제시스템(100)를 통해 설정된 비행 시나리오 정보, 항공 그래픽 시뮬레이터(300)를 통해 획득된 촬영 영상(예를 들어, 무인기를 통해 촬영된 촬영 영상, 시뮬레이터 자체 촬영모듈을 통해 촬영된 촬영 영상 등), 무인기의 비행정보, 영상 스토리보드 제작기(400)를 통해 선정된 스토리보드 영상 및 영상 스토리보드 제작기(400)를 통해 생성된 스토리보드 등의 정보를 저장할 수 있다.

영상 스토리보드 제작기(400)는 지상통제시스템(100)로부터 촬영 영상을 획득하고, 획득한 촬영 영상으로부터 기설정된 상황조건에 기반하여 스토리보드 영상을 선정하고, 선정된 스토리보드 영상에 기초하여 비행 시나리오에 대응하는 스토리보드를 생성할 수 있다.

영상 스토리보드 제작기(400)에 대한 설명은 도 4 내지 도 7을 통해 보다 쉽게 이해될 수 있다.

도 4는 본원의 일 실시예에 따른 영상 스토리보드 제작기(400)의 구성을 개략적으로 나타낸 블록도이다.

도 4를 참조하면, 본원의 일 실시예에 따른 영상 스토리보드 제작기(400)는 상황 설정부(410), 비디오 분석부(420) 및 스토리보드 생성부(430)를 포함할 수 있다.

영상 스토리보드 제작기(400)는 사용자로부터 스토리보드 생성과 관련된 제어 입력(예를 들어, 상황조건 설정, 스토리보드 영상의 최대 개수 설정, 알고리즘 설정 등)을 사용자로부터 입력받을 수 있으며, 이때 스토리보드 생성과 관련된 제어 입력은 지상통제시스템(100)에 포함된 유저 인터페이스(미도시)를 통해 입력받거나 또는 지상통제시스템(100)에 포함된 유저 인터페이스와는 별도로 영상 스토리보드 제작기(400) 내에 포함된 유저 인터페이스(미도시)를 통해 입력받을 수 있다. 영상 스토리보드 제작기(400)에 포함된 유저 인터페이스 또한 키보드, 터치 스크린, 마우스 등으로 구현 가능하며, 이에 한정되는 것은 아니다.

상황 설정부(410)는 스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하는 상황조건을 설정할 수 있다. 달리 표현하여, 상황 설정부(410)는, 촬영 영상에 포함된 장면들 중에서 스토리보드 영상으로 선정될 장면을 추출하기 위한 기준 조건을 설정할 수 있으며, 상기 기준 조건은 앞서 말한 상황조건 또는 스토리보드 영상 추출 조건 등으로 표현될 수 있다. 여기서, 장면이라 함은 하나의 프레임에 대응하는 컷을 의미할 수도 있고, 또는 단일한 상황으로 인식될 수 있는 복수의 프레임의 집합을 의미할 수도 있다. 예를 들면, 장면은 하나의 상황을 담은 씬(scene)의 개념과 동일 내지 유사하게 이해될 수 있다. 또한 상황조건은, 스토리보드 영상으로 선정됨에 있어서 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수를 포함할 수 있다. 상황변수는 일예로 사람의 수, 차량의 수, 사람의 특정한 동작, 특정한 이벤트 등과 같이 분석 알고리즘을 통해 식별 가능한 특징이나 사건(상황)을 계량화한 변수를 의미할 수 있다.

보다 자세하게, 상황 조건은 촬영 영상 내에 포함된 객체에 대한 객체 상황변수를 포함할 수 있으며, 객체 상황변수는 객체의 특성, 객체의 숫자 및 객체의 위치 중 적어도 하나와 관련한 변수일 수 있다.

예를 들어, 객체의 특성과 관련한 변수는 객체의 종류나 특성에 따른 변수로서, 사람인지 사물인지, 사람인 경우 남자인지 여자인지, 사람인 경우 주연인지 조연인지 엑스트라인지 카메오인지 등, 사람인 경우 특정 배우가 등장했는지 퇴장했는지, 사물인 경우 차량인지 비행기인지 기차인지 전철인지 버스인지 자연지물인지 등, 자연지물인 경우 건물인지 나무인지 등, 차량인 경우 A 차종인지 B 차종인지 등, 차량인 경우 색상이 A 색상인지 B 색상인지 등, 건물인 경우 아파트인지 저층주택인지 고층빌딩인지 타워형 아파트인지 등을 고려한 변수를 포함할 수 있으며, 또한, 얼굴의 특성, 신체의 특성, 특정 부위의 특성 및 동작의 특성, 사물의 특성 등을 고려한 변수를 포함할 수 있다. 객체의 숫자와 관련한 변수는 객체의 수가 0개인지, 1개인지 2개인지 등을 고려한 변수를 포함할 수 있다. 객체의 위치와 관련한 변수는 객체가 정지한 상태인지 이동하고 있는 상태인지 등, 이동하는 경우 어느 방향으로 이동하는지 어느 이동경로로 이동하는지, 이동시 어느 속도로 이동하는지 등과 같이 위치와 관련한 변수를 포함할 수 있다.

또한, 상황조건은 촬영 영상의 화면 변화에 대한 화면 상황변수를 포함할 수 있으며, 화면 상황변수는 배경의 전환 유무, 배경의 급격한 전환 유무 및 배경의 전환 속도 중 적어도 하나와 관련된 변수일 수 있다. 여기서 배경이라 함은, 하늘과 같은 자연 배경, 실내 공간 내의 배경, 도로, 골목, 가로수길 등과 같은 실외 공간의 배경 등을 포함할 수 있다.

또한, 배경에는 중요도가 부여되지 않은 객체가 포함될 수 있다. 예를 들어, 촬영 영상에 포함된 특정 장면이, 빌딩 앞 버스 정류장에 주차된 승용차 한대와 승용차 옆에 서 있는 한 사람이 포함되어 있는 장면이고, 이러한 장면 내에서 사람만이 중요도가 부여된 상황변수인 것으로 가정하자. 이때, 일반적으로는 특정 장면 내에서 빌딩, 승용차 및 사람 각각이 객체 상황변수로 인식될 수 있으나, 앞선 가정에서는 사람만이 중요도가 부여된 상황변수인 것으로 가정했으므로, 사람은 객체 상황변수로 인식되고, 승용차 및 빌딩은 해당 속성으로 인해 객체로 구분될 지라도 중요도가 부여되지 않음에 따라 배경으로 인식될 수 있다. 이에 따라, 화면 상황변수에는 비행기와 같은 객체가 배경으로 인식되는 경우, 비행기의 비행경로의 변경 등과 관련된 변수가 포함될 수 있다.

또한, 상황 설정부(410)는 촬영 영상에 포함된 장면들 중에서 스토리보드에 저장되는 장면을 선정하기 위한 분석 알고리즘을 설정할 수 있다. 상황 설정부(410)는 도 5를 참조하여 보다 쉽게 이해될 수 있다.

도 5는 본원의 일 실시예에 따른 영상 스토리보드 제작기(400)에서 상황 설정부(410)의 동작 흐름의 일예를 나타낸 도면이다.

도 5를 참조하면, 단계S51에서 상황 설정부(410)는 사용자(예를 들어, 영화 감독, 촬영감독 등) 입력에 기초하여 스토리보드에 포함되는 스토리보드 영상의 최대 개수를 설정할 수 있다. 이때, 스토리보드 영상의 최대 개수는 스토리의 흐름 및 촬영 영상의 총 길이(또는 시간) 등을 고려하여 상기 사용자에 의하여 설정될 수 있다.

이때, 스토리보드 영상의 최대 개수가 적게 설정되는 경우에는 실제 무인기를 통한 영상 촬영시 정밀도가 저하될 수 있고, 스토리보드 영상의 최대 개수가 많게 설정되는 경우에는 생성된 스토리보드를 실제 무인기를 통한 영상 촬영의 참고자료로서 활용하고자 할 경우, 스토리보드를 검토하는 데에 많은 시간이 소요될 수 있으므로, 스토리보드 영상의 최대 개수는 스토리의 전개와 무인기의 촬영 동선 등을 종합적으로 고려하여 적절한 수로 설정됨이 바람직하다.

한편, 후술할 스토리보드 생성부(430)를 통해 생성된 스토리보드의 경우, 스토리보드에 포함된 각각의 스토리보드 영상에는 스토리보드 영상에 대응하는 촬영 영상 뿐만 아니라 스토리보드 영상에 대응하는 촬영 시점에서의 무인기의 비행정보가 포함될 수 있어, 스토리보드에 포함된 각각의 스토리보드 영상은 실제 무인기를 통한 영상 촬영시 실제 무인기의 웨이포인트(way point)로 사용될 수 있다. 또한 스토리보드에 포함된 각각의 스토리보드 영상은 촬영감독 또는 영화감독으로 하여금 편집점으로 이용될 수 있다.

다음으로, 단계S52에서 상황 설정부(410)는 촬영 영상에 포함된 장면들 중에서 스토리보드에 저장되는 장면을 선정하기 위해 비디오 분석부(420)가 이용할 알고리즘을 설정할 수 있다. 달리 말해, 상황 설정부(410)는 설정된 상황조건에 해당하는 장면을 식별하기 위한 알고리즘을 설정할 수 있다.

일예로, 상황 설정부(410)에서 설정 가능한 알고리즘으로는, 얼굴 검출 알고리즘, 다중 얼굴 검출 알고리즘, 성별 검출 알고리즘, 인체 검출 알고리즘, 객체(예를 들어, 사람, 차량, 기차, 상표, 자연지물 등) 검출 알고리즘, 화면의 전환 알고리즘, 이동방향 검출 알고리즘 외에도 촬영 영상의 특정 상황을 식별할 수 있는 검출 알고리즘 등이 포함될 수 있으며, 이에 한정되는 것은 아니다.

상황 설정부(410)에서 기설정된 복수의 알고리즘에 기초하여, 후술할 비디오 분석부(420)는 상황조건에 포함된 각각의 상황변수에 대응하는 알고리즘을 이용해 촬영 영상에 포함되는 장면 각각에 대한 스칼라 값을 산출할 수 있고, 이를 통해 스토리보드 영상을 선정할 수 있다. 또한, 후술할 비디오 분석부(420)는 상황조건에 복수의 상황변수가 포함되는 경우, 복수의 상환변수 각각에 대응하는 복수의 알고리즘을 이용함으로써 스토리보드 영상을 선정할 수 있다. 즉, 비디오 분석부(420)는 스토리보드 영상을 선정함에 있어서, 하나의 알고리즘 또는 둘 이상의 복수의 알고리즘의 조합을 이용하여 스토리보드 영상을 선정할 수 있다. 또한 비디오 분석부(420)는 분석 알고리즘 간의 우선순위 또는 선후관계 등의 조합을 고려함으로써 스토리보드 영상을 선정할 수 있다. 이때 분석 알고리즘 간의 우선순위는 상황조건 설정시 상황변수에 따라 부여된 특성 별 중요도 정도에 기초하여 결정될 수 있다. 예를 들어, 여자와 나무가 포함된 장면에서 여자가 나무보다 중요도가 더 높게 부여된 경우, 나무를 식별하기 위한 알고리즘보다 사람을 식별하기 위한 알고리즘이 우선으로 이용될 수 있다.

다음으로, 단계S53에서 상황 설정부(410)는 비디오 분석 로직을 구성할 수 있다. 보다 자세하게 상황 설정부(410)는 후술할 비디오 분석부(420)가 기설정된 스토리보드 영상의 최대 개수와 기설정된 분석 알고리즘에 기초하여 스토리보드 영상을 선정할 수 있도록, 비디오 분석과 관련한 설정 파일 또는 변수를 변경하는 비디오 분석 로직을 구성할 수 있다.

한편, 비디오 분석부(420)는 상황 설정부(410)에서 설정된 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정할 수 있다. 이때, 촬영 영상은 무인기를 통해 촬영된 영상일 수 있으며, 여기서, 무인기는 항공 그래픽 시뮬레이터(300) 내에서 비행하는 가상의 무인기를 의미할 수 있다. 또한, 앞서 말한 바와 같이, 촬영 영상에는 무인기를 통해 촬영된 영상 뿐만 아니라 항공 그래픽 시뮬레이터(300)에 자체 구비된 촬영모듈을 통해 촬영된 영상이 포함될 수도 있다.

또한, 비디오 분석부(420)는 상황 설정부(410)에서 설정된 상황조건을 충족하는 장면을 촬영 영상 내에서 추출함으로써, 추출된 장면을 스토리보드 영상으로 선정할 수 있다.

또한, 비디오 분석부(420)는 상황조건에 복수의 상황변수가 포함되는 경우, 복수의 상황변수를 함께 고려하여 스토리보드 영상을 선정할 수 있다. 이때, 복수의 상황변수는 스칼라 값으로 표현될 수 있으며, 비디오 분석부(420)는 촬영 영상에 포함된 장면 각각에 대하여 복수의 상황변수의 스칼라 값을 합산한 합산 정보에 기초하여 스토리보드 영상을 선정할 수 있다.

또한, 비디오 분석부(420)는 촬영 영상에 포함되는 장면 각각에 대하여 산출된 합산 정보 값을 크기순(일예로, 크기가 큰 순으로)으로 정렬한 후 정렬된 합산 정보 값에 기초하여 상황 설정부(410)에서 기설정된 스토리보드 영상의 최대 개수에 대응하는 장면들을 스토리보드 영상으로 선정할 수 있다.

또한, 촬영 영상에 포함된 프레임들 중에서 n번째 프레임부터 (n+10)번째 프레임까지 프레임 각각에 대한 합산 정보 값이 모두 동일한 경우, n번째 프레임부터 (n+10)번째 프레임까지는 프레임은 상이하나 모두 단일한 의미를 갖는 상황, 즉 동일한 상황으로서 하나의 장면으로 인식될 수 있다. 즉, 촬영 영상의 타임라인 상에서, 서로 이웃한 프레임들에 대하여 동일한 합산 정보 값이 산출된 경우에는, 동일한 합산 정보 값을 갖는 서로 이웃한 프레임들이 동일한 장면인 것으로 인식될 수 있다. 이러한 경우, 비디오 분석부(420)는 동일한 합산 정보 값을 갖는 이웃한 프레임들(예를 들어, n 번째 프레임부터 (n+10) 번째 프레임까지의 프레임들) 중 한 프레임 또는 복수의 프레임을 조합한 프레임을 해당 장면을 대표하는 프레임으로 추출하여 추출된 프레임을 스토리보드 영상으로 선정할 수 있으나, 이에만 한정되는 것은 아니다.

한편, 일예로, 촬영 영상에 포함된 장면들 중에서 사람 3명과 차량 1대가 포함되어 있는 장면을 스토리보드 영상으로서 선정하고자 하는 경우, 상황 설정부(410)에서는 상황조건으로서 사람이 3명이면서 차량이 1대인 상황조건이 설정되어 있을 수 있다. 이때, 비디오 분석부(420)는 촬영 영상에 포함된 장면들 중에서 사람이 3명이면서 차량이 1대가 포함되어 있는 장면을 스토리보드 영상으로서 선정하기 위해, 복수의 상황변수로서 사람인 객체의 수를 고려한 상황변수와 사물(즉, 차량)인 객체의 수를 고려한 상황변수를 이용할 수 있으며, 각 상황변수에 대한 스칼라 값(또는 각 상황변수 별로 부여된 중요도 정도로서 가중치 값)을 산출할 수 있다.

보다 자세하게는, 일예로, 촬영 영상에 포함된 장면들 중에서 3명의 사람이 포함되어 있는 장면에는 10점의 가중치(이때, 가중치는 각 상황변수 별 부여된 중요도 정도로서, 각 상황변수 마다 0~10점 사이의 가중치가 부여될 수 있음)가 부여되고, 2명 또는 4명의 사람이 포함되어 있는 장면에는 7점의 가중치가 부여되고, 1명 또는 5명의 사람이 포함되어 있는 장면에는 3점의 가중치가 부여되고, 0명 또는 6명 이상의 사람이 포함되어 있는 장면에는 0점의 가중치가 부여될 수 있다. 또한, 촬영 영상에 포함된 장면들 중에서 일예로, 1대의 차량이 포함되어 있는 장면에는 10점의 가중치가 부여되고, 0대의 차량이 포함되어 있는 장면(즉, 차량이 없는 장면)에는 3점의 가중치가 부여되고, 2대 이상의 차량이 포함되어 있는 장면에는 0점의 가중치가 부여될 수 있다.

또한, 상황 설정부(410)에서는 사람이 3명이면서 차량이 1대인 상황조건 외에 사람 한명이 승용차에서 내리는 상황조건, 사람 5명이 a 지점에서 b 지점으로 이동하는 상황조건, a배우 한명의 얼굴이 클로즈업되는 상황조건 등이 설정되어 있을 수 있다. 이때 비디오 분석부(420)는 촬영 영상에 포함된 장면들 각각에 대하여, 상황설정부(410)에서 설정된 복수의 상황조건 별로 상황조건 각각에 포함된 상황변수들에 대한 스칼라 값의 합산 정보를 산출할 수 있다.

일예로, 비디오 분석부(420)는 합산 정보로서, 3명의 사람과 1대의 차량이 포함되어 있는 장면에 대해서는 20점의 가중치에 대응하는 스칼라 값을 산출하고, 3명의 사람과 0대의 차량이 포함되어 있는 장면에 대해서는 13점의 가중치에 대응하는 스칼라 값을 산출하고, 1명의 사람과 2대의 차량이 포함되어 있는 장면에 대해서는 3점의 가중치에 대응하는 스칼라 값을 산출할 수 있다. 또한, 일예로, 비디오 분석부(420)는 합산 정보로서, 사람 5명이 a 지점에서 b 지점으로 이동하는 장면에 대해서는 30점의 가중치에 대응하는 스칼라 값을 산출하고, 3명이 a 지점에서 b 지점으로 이동하면 14점의 가중치에 대응하는 스칼라 값을 산출하고, 1명이 a지점에서 b 지점의 반대인 c 지점으로 이동하면 2점의 가중치에 대응하는 스칼라 값을 산출할 수 있다.

이처럼, 비디오 분석부(420)는 스칼라 값 산출 시, 사람의 수, 차량의 수 등과 같이 객체의 숫자와 관련된 상황변수 뿐만 아니라, 객체의 특성, 위치, 배경의 전환 유무, 배경의 전환 속도 등 특정 상황에 대한 식별(또는 인식)이 가능한 상황변수를 이용해 스칼라 값을 산출할 수 있다.

이후 비디오 분석부(420)는 촬영 영상에 포함된 장면들 각각에 대하여 산출된 스칼라 값에 따른 합산 정보 값을 크기 순으로(예를 들어, 크기가 큰 순으로) 정렬하고, 정렬된 합산 정보 값에 기초하여 기설정된 스토리보드 영상의 최대 개수에 대응하는 장면들을 스토리보드 영상으로 선정할 수 있다. 이때, 크기 순으로 정렬된 장면들 중 상위 리스트에는, 특성의 중요도에 따라 부여된 상황변수를 고려하여 스칼라 값을 산출함에 따라 상황설정부(410)에서 설정된 복수의 상황조건에 가장 유사하거나 복수의 상황조건에 가장 부합하는 장면이 위치해 있을 수 있다. 이에 따라, 비디오 분석부(420)는 합산 정보 값이 높은 순을 기준으로, 스토리보드 영상의 최대 개수에 대응하는 장면을 스토리보드 영상으로서 선정할 수 있다.

또한, 비디오 분석부(420)는 무인기를 통해 촬영된 촬영 영상을 분석함으로써 스토리보드 영상을 선정하고, 선정된 스토리보드 영상을 시간순으로 정렬할 수 있으며, 이는 도 6을 통해 보다 쉽게 이해될 수 있다.

도 6을 참조하면, 단계S61에서 비디오 분석부(420)는 스토리보드 영상 선정을 위하여 촬영 영상을 분석할 수 있다. 이를 위해, 먼저 비디오 분석부(420)는 무인기를 통해 촬영된 촬영 영상을 지상통제시스템(100)로부터 획득할 수 있다. 이때, 획득된 촬영 영상은 무인기를 통해 촬영된 영상일 수도 있고, 또는 항공 그래픽 시뮬레이터(300)에 자체 구비된 촬영 모듈을 통해 촬영된 영상일 수도 있다.

또한, 지상통제시스템(100)로부터 획득한 촬영 영상은 동영상 포맷 또는 정지영상 포맷일 수 있으며, 비디오 분석부(420)는 영상의 포맷에 따라 분석 가능한 포맷으로 변환할 수 있다. 일예로, 지상통제시스템(100)로부터 획득된 촬영 영상이 AVI 형태의 동영상 파일 포맷인 경우, 비디오 분석부(420)는 이를 OpenCV 라이브러리를 사용하여 Mat 구조체의 RGB 포맷으로 변환할 수 있다. 이후 비디오 분석부(420)는 분석 가능한 포맷으로 변환된 입력 영상을 분석이 용이하도록 전처리할 수 있다.

이후, 비디오 분석부(420)는 상황 설정부(410)에서 설정된 상황조건에 기반하여, 촬영 영상에서 특정 상황, 특정 인물 등의 상황을 검출하는 영상 분석을 수행함으로써 스토리보드 영상을 선정(S62)할 수 있다.

비디오 분석부(420)는 앞서 상황 설정부(410)에서 정의된 알고리즘을 이용함으로써 촬영 영상에 포함된 장면들 내에서 특정 상황에 대응하는 장면을 스토리보드 영상으로서 선정할 수 있다. 예를 들어, 촬영 영상에서 'A' 상황에 대응하는 장면을 스토리보드 영상으로 선정하기 위해, 비디오 분석부(420)는 'A' 상황을 검출하기 위한 a 알고리즘, b 알고리즘 및 c 알고리즘 등의 조합을 통해 영상 분석을 실시할 수 있다. 이때, 비디오 분석부(420)는 영상 분석을 통해 촬영 영상에 포함된 장면들 각각에 대하여 산출된 스칼라 값을 정렬하고, 정렬된 스칼라 값에 기초하여 스토리보드 영상을 선정할 수 있다.

이후, 비디오 분석부(420)는 선정된 스토리보드 영상을 데이터베이스(500)에 저장할 수 있다.

한편, 스토리보드 생성부(430)는 비디오 분석부(420)에서 선정된 스토리보드 영상과 촬영 영상에서 상기 선정된 스토리보드 영상에 대응하는 촬영 시점의 무인기의 비행정보를 통합하여 스토리보드를 생성할 수 있다. 이때, 스토리보드 영상에 대응하는 촬영 시점의 무인기의 비행정보는, 실제 무인기를 통한 영상 촬영시 실제 무인기의 웨이포인트(way point)로 사용될 수 있다.

또한, 무인기의 비행정보는 촬영 영상에서 스토리보드 영상에 대응하는 촬영 시점에 대한 무인기 시간 정보를 포함할 수 있으며, 스토리보드 생성부(430)는 무인기 시간 정보를 무인기를 통제하는 시스템의 시스템 시간 정보와 비교하여 무인기의 일시적 장애로 인한 지연 등으로 인해 무인기 시간 정보에 오차가 존재하는 것으로 판단되는 경우, 시스템 시간 정보에 기반하여 무인기 시간 정보의 오차를 보정할 수 있으며, 보정된 무인기 시간 정보에 기초하여 스토리보드를 생성할 수 있다.

스토리보드 생성부(430)에 대한 설명은 도 7을 참조하여 보다 쉽게 이해될 수 있다.

도 7은 본원의 일 실시예에 따른 영상 스토리보드 제작기(400)에서 스토리보드 생성부(430)의 동작 흐름을 나타낸 도면이다.

도 7을 참조하면, 스토리보드 생성부(430)는 비디오 분석부(420)에서 영상 분석에 의하여 선정된 스토리보드 영상 각각에 부가 정보로서 해당 스토리보드 영상 각각에 대응하는 촬영 시점에서의 무인기의 비행정보를 통합한 후, 무인기의 비행정보가 고려된 스토리보드 영상들을 시간순으로 정렬하여 하나의 스토리보드로 생성할 수 있다. 이때, 스토리보드 생성부(430)는 무인기의 비행정보로서 무인기의 자세 정보, 위치 정보 등 뿐만 아니라 스토리보드 영상에 대응하는 영상이 촬영된 시간 정보 및 스토리보드 영상 간에 시간 간격 등을 포함시켜 스토리보드를 생성할 수 있다. 이에 따라, 스토리보드 생성부(430)는, 단순히 촬영 영상만을 이용하여 스토리보드를 생성하는 것이 아니라 실제 무인기를 통한 영상 촬영시 이용할 수 있는 무인기의 비행정보를 함께 포함시켜 스토리보드를 생성할 수 있어, 스토리보드 생성부(430)를 통해 생성된 스토리보드는 실제 무인기를 통한 영상 촬영에 있어서 유용한 촬영 지표로 활용될 수 있다.

이를 위해, 단계S71에서 스토리보드 생성부(430)는 스토리보드 영상의 촬영시간을 조회할 수 있다.

이때, 스토리보드 영상의 촬영시간은 스토리보드 영상에 대응하는 촬영 영상이 무인기에 의하여 촬영된 시간 정보를 의미할 수 있다.

한편, 무인기에 의하여 촬영된 촬영 영상이 스토리보드 생성 시스템(10)에 저장될 때, 촬영 영상이 무인기에 의하여 촬영된 시간 정보(즉, 무인기 시간 정보) 뿐만 아니라 촬영 영상이 스토리보드 생성 시스템(10)에 저장되는 시간 정보(즉, 시스템 시간 정보)도 함께 저장될 수 있다. 일예로, 항공 그래픽 시뮬레이터(300)를 통한 시뮬레이션 중 일시적인 장애로 인해 무인기를 통한 영상 획득 시간에 지연이 발생하고, 이에 따라 무인기 시간 정보에 오차가 발생한 경우, 무인기 시간 정보에 대한 오차는 시스템 시간 정보에 기초하여 보정될 수 있다.

따라서, 스토리보드 영상의 촬영시간은 스토리보드 영상에 대응하는 촬영 영상이 무인기에 의하여 촬영된 시간 정보이되, 이는 시스템 시간 정보에 의하여 오차가 보정된 시간 정보일 수 있다. 그리고, 스토리보드 영상 간에 시간 정보는 실제 무인기를 통한 영상 촬영시, 외부환경에 따른 무인기의 추력, 자세 제어 등을 결정하는데 이용될 수 있다. 또한, 스토리보드 영상 간에 시간 정보를 통해 실제 무인기를 통한 항공 영상 촬영 시 영상물에 대한 방송 시간을 예상할 수 있다.

다음으로, 단계S72에서 스토리보드 생성부(430)는 스토리보드 영상에 대응하는 촬영 시점에서의 무인기의 비행정보를 조회할 수 있다. 이때, 무인기의 비행정보로는 앞서 설명한 바와 같이, 위도, 경도, 고도 등의 위치 정보, 롤, 피치, 요 등의 자세 정보, 속도 정보 등 무인기의 비행과 관련된 모든 정보를 포함할 수 있다.

이후, 단계S73에서 스토리보드 생성부(430)는 비디오 분석부(420)에서 선정된 스토리보드 영상 각각에 대하여 조회된 무인기 시간 정보와 무인기 비행정보를, 스토리보드 영상 각각에 통합함으로써 스토리보드를 생성할 수 있다.

이렇게 생성된 스토리보드에 포함된 각각의 스토리보드 영상은, 촬영 영상의 색인으로 추가되어 같은 색인의 비행정보 및 조종정보가 공유될 수 있다. 따라서, 일예로 영화감독 등이 해당 스토리보드를 선택하는 경우, 영화감독은 스토리보드에 포함된 색인 값을 이용하여 무인기의 비행정보 및 조종정보를 제공받을 수 있다. 이후 영화감독이 스토리보드를 통해 제공받은 무인기의 비행정보 또는 조종정보 값을 실제 무인기의 제어 입력 값으로 입력하는 경우, 실제 무인기는 입력된 무인기의 비행정보 또는 조종정보 값에 기초하여 지정된 비행경로에 따라 운행하면서 실제 무인기에 장착된 카메라 등을 통해 영상을 촬영할 수 있다. 이때, 실제 무인기는 시물레이션 영상과 동일하거나 유사한 실사 영상을 촬영할 수 있으며, 촬영된 실사 영상을 실제 무인기 자체에 구비된 저장 모듈에 저장하거나 또는 지상통제시스템(100)로 전송할 수 있다. 일예로, 지상통제시스템(100)은 실제 무인기를 통해 획득된 실사 영상을 실사영상 데이터베이스(미도시)에 저장할 수 있으며, 실사영상 데이터베이스(미도시)에 저장된 영상은 실제 영화 제작시 활용될 수 있다.

또한, 본원의 일 실시예에 따른 스토리보드 생성 시스템(10)은 실제 항공촬영을 수행하기 앞서, 비행 시뮬레이터 또는 가상의 무인기를 이용하여 카메라의 구도와 등장 인물(캐릭터)의 동선, 장면의 분위기 등에 따른 영상을 획득하고, 획득한 영상에 기초하여 스토리보드를 생성할 수 있다. 이때, 스토리보드를 생성함에 있어서, 영상 스토리보드 제작기(400)는 획득한 영상에서 영화감독이나 촬영감독 등의 사용자가 사전에 설정한 스토리보드 생성 조건(예를 들어, 스토리보드 영상 선정을 위한 다양한 상황조건 설정 등)에 맞는 비디오 분석을 수행함으로써 스토리보드를 생성할 수 있다. 이에 따라, 사용자는 다양한 비행 시나리오에 따라 다양한 구도에서 촬영된 복수의 촬영 영상을, 복수의 촬영 영상 각각에 대하여 생성된 스토리보드에 기초하여 해당 촬영 영상을 보다 빠르게 검토할 수 있다. 또한, 스토리보드에는 촬영 영상 뿐만 아니라 무인기의 비행정보가 포함되어 있어, 실제 항공영상 촬영시 스토리보드에 기초하여 해당 장면의 촬영을 용이하게 수행할 수 있다. 이에 따라, 본원은 항공영상 촬영시 소요되는 시간과 비용을 효과적으로 줄일 수 있고, 반복적인 항공기 등의 운용으로 발생할 수 있는 사고를 예방할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 8은 본원의 일 실시예에 따른 스토리보드 생성 방법에 대한 동작 흐름도이다.

도 8에 도시된 스토리보드 생성 방법은 앞서 설명된 스토리보드 생성 시스템(10)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스토리보드 생성 시스템(10)에 대하여 설명된 내용은 도 8에도 동일하게 적용될 수 있다.

도 8을 참조하면, 단계810에서 지상통제시스템(100)은 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보를 포함하는 비행 시나리오를 항공 그래픽 시뮬레이터(300)로 전송할 수 있다.

다음으로, 단계S820에서 항공 그래픽 시뮬레이터(300)는 지상통제시스템(100)로부터 수신한 비행 시나리오에 기초하여 무인기를 제어하고, 무인기를 통해 촬영된 촬영 영상을 지상통제시스템(100)로 제공할 수 있다.

다음으로, 단계S830에서 영상 스토리보드 제작기(400)는, 지상통제시스템(100)로부터 촬영 영상을 획득하고, 획득한 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 비행 시나리오에 대응하는 스토리보드를 생성할 수 있다.

상술한 설명에서, 단계 S810 내지 S830은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

한편, 도 9는 본원의 일 실시예에 따른 영상 스토리보드 제작기를 통한 영상 스토리보드 제작 방법에 대한 동작 흐름도이다.

도 9에 도시된 영상 스토리보드 제작 방법은 앞서 설명된 영상 스토리보드 제작기(400)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 영상 스토리보드 제작기(400)에 대하여 설명된 내용은 도 9에도 동일하게 적용될 수 있다.

도 9를 참조하면, 영상 스토리보드 제작기(400)의 상황설정부(410)는 스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하는 상황조건을 설정(S910)할 수 있다.

다음으로, 영상 스토리보드 제작기(400)의 비디오 분석부(420)는 단계S910에서 설정된 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정(S920)할 수 있다.

다음으로, 영상 스토리보드 제작기(400)의 스토리보드 생성부(420)는 단계S920에서 선정된 스토리보드 영상 및 촬영 영상에서 상기 스토리보드 영상에 대응하는 촬영 시점의 무인기의 비행정보를 통합하여 스토리보드를 생성(S930)할 수 있다.

상술한 설명에서, 단계 S910 내지 S930은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 스토리보드 생성 방법 및 영상 스토리보드 제작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 스토리보드 생성 방법 및 영상 스토리보드 제작 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

10: 스토리보드 제작 시스템
100: 지상통제시스템
200: 시뮬레이션 데이터 교환부
300: 항공 그래픽 시뮬레이터
400: 영상 스토리보드 제작기
500: 데이터베이스

Claims (19)

1. 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보를 포함하는 비행 시나리오를 항공 그래픽 시뮬레이터로 전송하는 지상통제시스템;
   상기 지상통제시스템으로부터 수신한 상기 비행 시나리오에 기초하여 상기 무인기를 제어하고, 상기 무인기를 통해 촬영된 촬영 영상을 상기 지상통제시스템으로 제공하는 항공 그래픽 시뮬레이터; 및
   상기 지상통제시스템으로부터 상기 촬영 영상을 획득하고, 상기 획득한 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 상기 비행 시나리오에 대응하는 스토리보드를 생성하는 영상 스토리보드 제작기,
   를 포함하되,
   상기 무인기는 상기 항공 그래픽 시뮬레이터 내에서 비행하는 가상의 무인기이고,
   상기 영상 스토리보드 제작기는,
   스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하여, 상기 스토리보드 영상으로 선정됨에 있어서 상기 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수를 포함하는 상황조건을 설정하는 상황 설정부;
   상기 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정하는 비디오 분석부, 및
   상기 스토리보드 영상 및 상기 촬영 영상에서 상기 스토리보드 영상 각각에 대응하는 촬영 시점의 상기 무인기의 비행정보를 통합하여 상기 스토리보드를 생성하는 스토리보드 생성부를 포함하고,
   상기 상황조건은 상기 촬영 영상 내에 포함된 객체에 대한 객체 상황변수 및 상기 촬영 영상의 화면 전환에 대한 화면 상황변수를 포함하며,
   상기 스토리보드 영상 각각에 대응하는 촬영 시점의 상기 무인기의 비행정보는, 상기 무인기의 위치 정보, 자세 정보 및 속도 정보를 포함하고, 실제 무인기를 통한 영상 촬영시 상기 실제 무인기의 웨이포인트(way point)로 사용되는 것인, 스토리보드 생성 시스템.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 무인기의 비행정보는 상기 촬영 영상에서 상기 스토리보드 영상에 대응하는 촬영 시점에 대한 무인기 시간 정보를 포함하되,
   상기 스토리보드 생성부는, 상기 무인기 시간 정보를 상기 무인기를 통제하는 시스템의 시스템 시간 정보와 비교하여 상기 무인기 시간 정보에 오차가 존재하는 것으로 판단되는 경우, 상기 시스템 시간 정보에 기반하여 상기 무인기 시간 정보의 오차를 보정하는 것인, 스토리보드 생성 시스템.
6. 삭제
7. 삭제
8. 제1항에 있어서,
   상기 객체 상황변수는, 객체의 특성, 객체의 숫자, 객체의 위치 중 적어도 하나와 관련한 변수인 것인, 스토리보드 생성 시스템.
9. 삭제
10. 제1항에 있어서,
    상기 화면 상황변수는, 배경의 전환 유무 및 상기 배경의 전환 속도 중 적어도 하나와 관련된 변수인 것인, 스토리보드 생성 시스템.
11. 제1항에 있어서,
    상기 비디오 분석부는, 상기 상황조건에 복수의 상황변수가 포함되는 경우, 상기 복수의 상황변수를 함께 고려하여 상기 스토리보드 영상을 선정하는 것인, 스토리보드 생성 시스템.
12. 제11항에 있어서,
    상기 복수의 상황변수는 스칼라 값이고,
    상기 비디오 분석부는, 상기 촬영 영상에 포함되는 장면 각각에 대하여 복수의 상황변수의 스칼라 값을 합산한 합산 정보에 기초하여 상기 스토리보드 영상을 선정하는 것인, 스토리보드 생성 시스템.
13. 제12항에 있어서,
    상기 상황 설정부에는 스토리보드에 포함되는 상기 스토리보드 영상의 최대 개수가 설정되고,
    상기 비디오 분석부는 상기 촬영 영상에 포함되는 장면 각각에 대하여 산출된 합산 정보 값을 크기순으로 정렬한 후 상기 정렬된 합산 정보 값에 기초하여 상기 최대 개수에 대응하는 장면들을 상기 스토리보드 영상으로 선정하는 것인, 스토리보드 생성 시스템.
14. 항공 그래픽 시뮬레이터 내에서 비행하는 가상의 무인기를 통해 촬영하여 획득된 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 비행 시나리오에 대응하는 스토리보드를 생성하는 영상 스토리보드 제작기로서,
    스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하는 상황조건을 설정하는 상황 설정부;
    상기 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정하는 비디오 분석부; 및
    상기 스토리보드 영상 및 상기 촬영 영상에서 상기 스토리보드 영상 각각에 대응하는 촬영 시점의 상기 무인기의 비행정보를 통합하여 상기 스토리보드를 생성하는 스토리보드 생성부를 포함하되,
    상기 상황조건은, 상기 스토리보드 영상으로 선정됨에 있어서 상기 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수로서, 상기 촬영 영상 내에 포함된 객체에 대한 객체 상황변수 및 상기 촬영 영상의 화면 전환에 대한 화면 상황변수를 포함하고,
    상기 스토리보드 영상 각각에 대응하는 촬영 시점의 상기 무인기의 비행정보는, 상기 무인기의 위치 정보, 자세 정보 및 속도 정보를 포함하고, 실제 무인기를 통한 영상 촬영시 상기 실제 무인기의 웨이포인트(way point)로 사용되는 것인, 영상 스토리보드 제작기.
15. 삭제
16. 삭제
17. 지상통제시스템에서, 가상 촬영환경 정보 및 무인기와 관련된 촬영 방식 정보를 포함하는 비행 시나리오를 항공 그래픽 시뮬레이터로 전송하는 단계;
    상기 항공 그래픽 시뮬레이터에서, 상기 지상통제시스템으로부터 수신한 상기 비행 시나리오에 기초하여 상기 무인기를 제어하고, 상기 무인기를 통해 촬영된 촬영 영상을 상기 지상통제시스템으로 제공하는 단계; 및
    영상 스토리보드 제작기에서, 상기 지상통제시스템으로부터 상기 촬영 영상을 획득하고, 상기 획득한 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 상기 비행 시나리오에 대응하는 스토리보드를 생성하는 단계,
    를 포함하되,
    상기 무인기는 상기 항공 그래픽 시뮬레이터 내에서 비행하는 가상의 무인기이고,
    상기 스토리보드를 생성하는 단계는,
    상기 스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하여, 상기 스토리보드 영상으로 선정됨에 있어서 상기 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수를 포함하는 상황조건을 설정하는 단계;
    상기 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정하는 단계; 및
    상기 스토리보드 영상 및 촬영 영상에서 상기 스토리보드 영상 각각에 대응하는 촬영 시점의 무인기의 비행정보를 통합하여 스토리보드를 생성하는 단계를 포함하고,
    상기 상황조건은 상기 촬영 영상 내에 포함된 객체에 대한 객체 상황변수 및 상기 촬영 영상의 화면 전환에 대한 화면 상황변수를 포함하며,
    상기 스토리보드 영상 각각에 대응하는 촬영 시점의 상기 무인기의 비행정보는, 상기 무인기의 위치 정보, 자세 정보 및 속도 정보를 포함하고, 실제 무인기를 통한 영상 촬영시 상기 실제 무인기의 웨이포인트(way point)로 사용되는 것인, 스토리보드 생성 방법.
18. 항공 그래픽 시뮬레이터 내에서 비행하는 가상의 무인기를 통해 촬영하여 획득된 촬영 영상으로부터 기설정된 상황조건에 기반하여 선정된 스토리보드 영상을 이용하여 비행 시나리오에 대응하는 스토리보드를 생성하는 영상 스토리보드 제작기를 통한 영상 스토리보드 제작 방법으로서,
    스토리보드에 저장되는 장면을 선정하기 위한 특성에 대응하는 상황조건을 설정하는 단계;
    상기 상황조건에 기반하여 촬영 영상으로부터 스토리보드 영상을 선정하는 단계; 및
    상기 스토리보드 영상 및 촬영 영상에서 상기 스토리보드 영상 각각에 대응하는 촬영 시점의 무인기의 비행정보를 통합하여 스토리보드를 생성하는 단계를 포함하되,
    상기 상황조건은, 상기 스토리보드 영상으로 선정됨에 있어서 상기 촬영 영상에 포함되는 장면 각각에 나타나는 특성의 중요도에 따라 부여되는 상황변수로서, 상기 촬영 영상 내에 포함된 객체에 대한 객체 상황변수 및 상기 촬영 영상의 화면 전환에 대한 화면 상황변수를 포함하고,
    상기 스토리보드 영상 각각에 대응하는 촬영 시점의 상기 무인기의 비행정보는, 상기 무인기의 위치 정보, 자세 정보 및 속도 정보를 포함하고, 실제 무인기를 통한 영상 촬영시 상기 실제 무인기의 웨이포인트(way point)로 사용되는 것인, 영상 스토리보드 제작 방법.
19. 제17항 또는 제18항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.

Images