KR102259401B1 - 드론 동영상에 증강현실 부가정보를 합성하는 방법 - Google Patents

Abstract

발명은 드론 동영상에 증강 현실 부가 정보를 합성하는 방법에 관한 것이다.
발명은, 드론 동영상에 증강현실 부가정보를 합성하는 방법에 있어서,
드론 동영상 데이타를 파싱하여 동영상 렌더러에 의해 렌더링하는 단계;
증강현실 부가정보 파일을 파싱하여 증강현실 부가정보를 도출하는 단계;
드론 동영상에서 카메라 파라메타를 추출하여 카메라의 동선 정보를 추출하고, 각 영상의 특징점들에 의해 구성되는 3차원 공간 정보를 추출하는 단계;
추출된 3차원 공간에 증강현실 부가 정보를 모델링하는 단계;
카메라의 동선 정보를 3차원 렌더링을 하기 위한 뷰잉 카메라의 속성으로 시간축 기반 매핑을 하는 단계;
증강현실 부가정보에 대하여 3차원 공간 렌더링을 하여 상기 추출된 3차원 공간에 표시되어야 하는 3차원 증강현실 부가정보를 생성하여 상기 드론 동영상을 렌더링하여 형성되는 영상에 상기 3차원 증강현실 부가정보를 합성하는 과정을 드론 동영상의 시작부터 종료시까지 반복하는 단계를 포함하는 것을 특징으로 한다.
이상과 같은 본 발명을 이용하면, 증강현실 부가정보를 편리하게 편집 가능하게 되고 드론 동영상에 증강현실 부가정보를 합성 가능하게 된다.

Description

드론 동영상에 증강현실 부가정보를 합성하는 방법{Composing Method of Augment Reality Additional Information in Drone Moving Picture}

본 발명은 드론 동영상에 증강 현실 부가 정보를 합성하는 방법에 관한 것이다.

드론은 도1과 같이 소형 비행장치의 일종으로 주로 카메라를 탑재하여 방송용 또는 감시용 또는 측량용으로 사용되어 도2와 같은 항공 영상을 촬영하는데에 많이 활용되어 왔다.

또한, 최근에는 드론의 가격이 저렴해지고 소형화됨에 따라 개인들이 드론을 구매하여 드론을 이용하여 각종 동영상을 촬영하여 유튜브나 페이스북 등에 올려서 친구들과 동영상을 공유하는 사례들이 많이 늘어나고 있다.

그래서, 도3의 좌측 상부 및 하부 도면과 같이 드론 동영상에서 지형면에 존재하는 특정인에게 적색의 박스나 타원을 추가하여 동영상에서 이 특정인을 계속 추종하게 하거나, 도3의 우측 도면과 같이 골프장의 동영상에서 홀컵까지의 거리가 계속 표시되거나 특정 위치에 서클(골퍼의 타입(남자, 여자, 노약자 등)에 따라 출발 지점을 나타내는 흰색 서클, 적색 서클, 녹색 서클)이 계속 표시되게 하는 것과 같이, 촬영자의 의도를 표현하거나 타인에게 정보를 설명하기 위해 드론으로 촬영된 동영상에 다양한 증강현실 부가정보(예: 텍스트, 도형, 이미지 등)를 삽입해야 하는 필요성이 대두되고 있다.

그런데, 드론 동영상에 증강현실 부가정보를 삽입하는 것은 화면에서 연속적으로 위치가 변경되는 특정 타겟(예: 도3의 특정인, 도4의 특정 장소)을 추종하면서 이 타켓에 증강현실 부가정보를 추가하는 것이기에, 영화와 같은 동영상에서 자막을 추가하는 것처럼 화면의 고정된 특정 위치에 증강현실 부가정보를 표시하는 방법을 적용할 수가 없다.

한국등록특허공보 10-1843025호(2018.3.22일 등록)

이상과 같은 종래기술의 문제점을 감안하여 본 발명은 드론 동영상에 증강현실 부가정보를 합성하는 방법을 제공한다.

이러한 과제를 해결하기 위한 본 발명은, 드론 동영상에 증강현실 부가정보를 합성하는 방법에 있어서,

드론 동영상 데이타를 파싱하여 동영상 렌더러에 의해 렌더링하는 단계;

증강현실 부가정보 파일을 파싱하여 증강현실 부가정보를 도출하는 단계;

드론 동영상에서 카메라 파라메타를 추출하여 카메라의 동선 정보를 추출하고, 각 영상의 특징점들에 의해 구성되는 3차원 공간 정보를 추출하는 단계;

추출된 3차원 공간에 증강현실 부가 정보를 모델링하는 단계;

카메라의 동선 정보를 3차원 렌더링을 하기 위한 뷰잉 카메라의 속성으로 시간축 기반 매핑을 하는 단계;

증강현실 부가정보에 대하여 3차원 공간 렌더링을 하여 상기 추출된 3차원 공간에 표시되어야 하는 3차원 증강현실 부가정보를 생성하여 상기 드론 동영상을 렌더링하여 형성되는 영상에 상기 3차원 증강현실 부가정보를 합성하는 과정을 드론 동영상의 시작부터 종료시까지 반복하는 단계를 포함하는 것을 특징으로 한다.

이상과 같은 본 발명을 이용하면, 증강현실 부가정보를 편리하게 편집 가능하게 되고 드론 동영상에 증강현실 부가정보를 합성 가능하게 된다.

도1은 일반적인 드론의 형상을 도시함.
도2는 드론에서 촬영한 영상을 도시함.
도3은 본 발명에서 증강 현실 부가정보가 추가된 드론 영상을 나타냄.
도4는 본 발명에서 드론 촬영된 원본 동영상과 편집된 동영상의 비교를 나타냄.
도5는 본 발명에서 드론 동영상에 증강현실 부가정보를 삽입시의 동영상을 재생하는 것을 나타냄.
도6은 본 발명에 따라 드론 동영상에서 카메라 파라메타, 동선 정보 및 3차원 공간 정보를 추출하는 과정을 도시함.
도7은 본 발명에 따라 드론 동영상에서 추출되는 포인트 클라우드, 동선 정보 및 3차원 공간 정보를 도시함.
도8은 본 발명에서 사용되는 메타 파일의 구조를 도시함.
도9는 본 발명에 따라 드론 동영상에 증강현실 부가정보를 합성하는 개략적인 개념도를 도시함.
도10은 본 발명에 따라 드론 카메라의 위치와 3차원 모델 렌더러의 뷰잉 카메라의 매핑을 도시함.
도11은 본 발명에 따라 드론 동영상에 증강현실 부가정보를 합성하는 구체적인 과정을 도시함.

이제 도면들을 참고로 하여 본 발명을 자세히 설명하기로 한다.

드론에서 촬영된 동영상의 경우, 지형 위에 존재하는 건물, 나무, 강, 각종 시설물 등을 촬영하는 경우가 대부분이기 때문에, 촬영된 영상 내에 정보를 표시할 때에 도3과 같이 지형면을 고려하여 다양한 정보를 삽입하는 것이 자연스럽다.

예를 들어, 도4의 좌측과 같은 골프장의 드론 촬영 원본 동영상(드론 동영상이라고도 약칭함)에 증강현실 부가정보(홀컵까지의 거리, 골퍼의 타입(남자, 여자, 노약자 등) 따라 출발지점을 나타내는 흰색 서클(white tee, 일반 남자용)/적색 서클(red tee, 일반 여자용)/녹색 서클(green tee, 노약자용))를 삽입하면 도4의 우측과 같은 드론 촬영 편집 영상이 되고, 이러한 증강현실 삽입 방법을 드론 동영상 전체에 적용하면 도5와 같이 드론이 이동하면서 촬영한 동영상에 증강현실 부가정보들이 삽입되어 삽입된 동영상을 재생하면 동영상에서 화면이 연속적으로 진행하더라도 화면 상에는 특정 위치(예: 적색 서클 위치)에 지정된 시작 시간부터 종료 시간 동안 적색 서클이 나타나게 된다.

그래서, 예를 들어 기존의 골프장 안내 드론 촬영 동영상에서는 골프장에 대한 드론 동영상만이 나타나서 동영상에서 골퍼의 타입별 출발 지점이 어디인지 또는 그 지점에서 홀컵까지의 거리가 얼마나 되는지 등에 대한 정보를 알 수 없지만, 본 발명을 적용하면 골퍼의 타입에 따른 출발 위치 및 홀컵까지의 거리 등의 증강현실 부가정보가 삽입된 동영상이 재생되어 각 특정 위치에 특정 시간 동안 해당 증강현실 부가정보가 나타나게 되어, 골프장의 드론 동영상을 통해 전체적인 골프장의 전경을 파악하면서 증강현실 부가정보를 통해 다양한 부가정보(예: 골퍼의 타입별 출발 위치가 어디인지나 홀컵까지의 거리가 얼마인지에 대한 정보)를 용이하게 파악할 수 있게 된다.

다음으로 본 발명에서 드론 동영상(원본 동영상)에서 카메라 파라메타, 포인트 클라우드, 카메라 동선 정보 및 3차원 공간 정보를 추출하는 과정에 대해 도6, 7을 참고로 하여 자세히 설명하기로 한다.

먼저, 드론에 장착된 카메라를 이용하여 촬영된 원본 동영상을 준비한다(S1).여기서 도7의 상단 도면에 원본 동영상의 스틸 사진들이 나타나 있다.

다음으로, 이 원본 동영상을 통해 드론에 장착된 카메라의 내부 파라메타(초점 거리, 화각, 렌즈 곡률 등)와 외부 파라메타(월드좌표계 기준의 카메라 위치, 카메라의 조준선(LOS : Line of Sight), 카메라의 업 벡터(Up vector) 등)를 추출한다(S2).

이러한 내외부 파라메타 추출은 모든 촬영된 영상에는 촬영에 사용된 카메라 정보를 내포하고 있고, 동일한 물체를 촬영한 다수의 영상을 조합하면 촬영에 사용된 카메라들의 내외부 파라메타와, 촬영대상인 물체의 3차원 정보를 복원할 수 있다는 기존의 공지 기술을 이용하게 된다.

이제, 드론 카메라의 동선 정보를 추출한다(S3). 여기서 도7의 중간 도면에 카메라의 동선이 도시되어 있다. 각 영상에 해당하는 드론의 위치는 상기에서 추출한 정보 중 카메라 위치와 카메라의 조준선(LOS)를 기반으로 추출되며, 이를 시간축으로 나열한 모습이 도면 7의 중간에 표시된 카메라 동선에 해당한다.

다음으로, 드론 카메라에서 촬영된 영상의 특징점들의 집합인 포인트 클라우드(point of cloud)를 추출한다(S4). 도7의 중간 도면에 포인트 클라우드가 도시되어 있다. 클라우드 포인트는 다시점 영상처리 과정에서 추출되게 되는데, 기본적으로 삼각법을 활용하게 된다.

즉 일정한 거리를 가진 두 개의 카메라를 이용하여 물체를 촬영하게 되면, 두 개의 카메라와 물체는 삼각형을 이루게 되고, 두 개의 카메라 간의 거리 및 카메라가 물체를 촬영하기 위한 조준선을 사전에 계산 가능하기 때문에, 일반적인 삼각법의 원리에 의해 각 카메라에서 물체까지의 거리 및 각도를 알아낼 수 있게 된다.

또한, 영상에서의 특징점들은 각 영상에서 공통으로 나타나고 잘 구별되어 정합이 가능한 점을 추출하여 활용한다. 이때 특징점 추출에 사용되는 알고리즘은 기존의 다양한 주지의 방법을 사용하게 된다.

그리고, 클라우드 포인트는 영상에서 추출된 특징점을 모두 모아서 형성되는 점들인데, 촬영된 카메라를 기준으로 특징점과의 거리를 모두 알고 있기 때문에 이들을 모두 모아 높으면 촬영대상이 형성하고 있는 3차원 공간정보가 된다.

마지막으로, 이러한 특징점들에 의해 구성되는 3차원 공간 정보를 추출한다(S5). 도7의 하단 도면에 원본 동영상에서 추출되는 3차원 공간정보가 도시되어 있다.

이때, 3차원 공간정보는 월드좌표계를 기준으로 기술을 해야 한다. 월드좌표계 기준의 카메라의 동선 정보가 상기와 같이 추출되어 있고 상기와 같이 카메라와 특징점 간의 거리정보를 추출하였기 때문에, 월드 좌표계 기준의 특징점들의 좌표를 추출할 수 있게 된다. 또한 이러한 특징점들이 구성하는 공간정보를 면정보로 변환하는데에 들러니 삼각화 방법(Delaunay triangulation)이 널리 활용된다.

결국, 이상과 같이 카메라의 동선과 포인트 클라우드와 3차원 공간 정보를 추출하면 도7의 하단과 같이, 추출된 3차원 공간상에 지형의 포인트 클라우드와 카메라의 동선이 나타내게 된다.

한편, 드론 촬영 동영상에 증강현실 부가정보를 추가하거나, 추가된 증강현실 부가정보의 제거나 수정시에, Adobe After Effect같은 편집툴의 기능들을 다시 수작업으로 적용시켜서 수 시간 작업을 수행해야 하므로 증강현실 부가정보를 변경(추가, 제거, 수정)하기가 어렵기 때문에 보다 편리한 증강현실 부가정보의 변경 방법이 필요하므로, 이하에서는 증강현실 부가정보를 편리하게 변경 가능하게 하는, 증강 현실 부가정보가 삽입된 드론 동영상을 위한 메타 파일(관리 파일)(SARI : Synchronized Augmented Reality Information) 구조를 설명하기로 한다.

도8은 본 발명에서 사용하는 메타 파일 구조이다.

이 메타 파일에는 원본 동영상 파일에 대한 이름(1), 촬영시 사용된 카메라의 GPS좌표(2), 촬영시 사용된 카메라의 내외부 파라메타(촛점거리, 렌즈의 주점(Principal point), 비대칭 계수 등)(3), 증강현실 부가정보들(도형, 텍스트, 표, 숫자, 그래프, 이미지 등)(4-1, 4-2 ....), 각 증강현실 부가정보가 출현해야 하는 3차원 좌표들(5-1, 5-2 ....), 각 증강현실 부가정보가 출현해야 하는 시간 동기화 정보들(6-1, 6-2.....)이 포함된다.

여기서, 카메라의 GPS좌표(2)는 드론이 이동한 경로와 동일한 정보를 갖는다. 이는 증강현실 동영상 재생시 편의기능을 제공하기 위해서 활용되는데, 주로 사용자의 위치를 기반으로 동영상의 시작점을 사용자의 위치와 동기화시키기 위해 사용된다.

그리고, 시간 동기화 정보(6-1, 6-2.....)는 동영상에 삽입되는 증강현실 부가정보(텍스트, 도형, 이미지 등)가 어느 시점에 나타나고 어느 시점에 사라져야 하는지를 기술한다.

그래서, 증강현실 부가정보의 변경(추가, 제거, 수정)시에는 상기 메타 파일에서 변경하고자 하는 해당 증강현실 부가정보 영역(4-1, 4-2 ....), 증강현실 부가정보가 출현해야 하는 3차원 좌표 영역(5-1, 5-2 ....), 증강현실 부가정보가 출현해야 하는 시간 동기화 정보영역(6-1, 6-2.....)을 변경하면 되므로, 편리하게 증강현실 부가정보를 변경하는 것이 가능해진다.

다음으로, 본 발명에 따라 상기의 메타 파일을 이용하여 드론 동영상에 증강현실 정보를 실시간적으로 합성하는 방법에 대해 도9, 10, 11을 참고로 하여 설명하기로 한다.

도9는 본 발명에 따른 실시간 합성 방법의 개략적인 구성을 도시한다.

드론 동영상 데이타를 동영상 렌더러에 의해 렌더링하고, 도8에 나타난 메타 파일에서 증강현실 부가정보(증강현실 부가정보(4-1, 4-2 ....))를 추출하여 3차원 모델링을 하고 3D 렌더러에 의해 렌더링하여, 이들을 시간축(Timeline) 기반으로 실시간 합성을 하면 증강현실 부가정보가 포함된 드론 동영상(증강현실 동영상)(도9의 최하단의 CONFIELD 동영상)이 형성된다.

이제, 도10을 참고로 하여, 본 발명에서 사용되는 드론 카메라의 위치와 3차원 렌더러의 뷰잉 카메라의 매핑에 대해 설명한다.

상기 도6에서 설명한 바와 같이 드론 동영상(원본 동영상)으로부터 드론 카메라의 동선 정보(시각별 위치 정보)가 추출되고 3차원 공간 정보가 추출되면, 도10의 상부 도면과 같은 드론 촬영 궤적이 형성되고 도10의 하단 도면과 같은 드론 동영상의 3차원 공간이 형성된다.

또한, 상기 도6에서 설명한 바와 같이 드론 카메라의 파라메타가 추출되면 카메라의 위치, 카메라의 조준선, 카메라의 업백터 등이 추출된다.

그리고, 이렇게 추출된 카메라 정보는 도10의 하단 도면과 같이, 상기에서 추출된 3차원 공간을 렌더링하기 위한 3D 렌더러의 뷰잉 카메라의 위치, 뷰잉 각도(viewing angle) 및 이동 경로(Navigation path) 정보로 활용한다.

이때, 렌더링해야 하는 3차원 공간정보는 상기의 영상에서 추출된 3차원 공간정보와, 도8과 같은 증강현실 부가정보 관리파일에서 추출된 증강현실 부가 정보에 의해서 모델링된 3차원 부가정보 등을 포함하게 된다. 여기서 도10의 하단 도면에서는 청색박스가 동영상에서 추출된 3차원 공간정보를 표시하고 있고, 타원, 벙커(bunker)표시, 원기둥 등은 부가정보파일에서 추출된 3차원 부가정보를 보여주고 있다.

그리고, 이렇게 시간축에 대해서 생성된 두 개의 이미지(동영상 렌더러에 의하여 생성된 영상, 3D 렌더러에 의하여 생성된 영상)를 매핑되는 시간을 기반으로 서로 합성하면 된다.

다음으로, 본 발명에서 실시간적으로 드론 동영상에 증강현실 부가정보를 합성하는 방법을 도11을 참고로 하여 구체적으로 설명한다.

먼저, 드론 동영상 파일을 준비한다(S11).

그리고 나서, 이 드론 동영상 파일을 파싱하고(S12), 동영상의 처음부터 마지막까지 증강현실 부가정보를 합성하는 것이므로 현재시간(T)=0 이고 종료시간(Te)= (동영상의 전체 길이) 로 설정한다(S13).

이제, 처음에 해당하는 시점(T)=0 으로 설정하여(S14), 동영상 랜더러에 의해 이 시점에 대한 동영상 렌더링을 하면(S15), 이 시점(T=0)에 대한 영상이 형성된다.

한편, 부가정보 파일(메타 파일 또는 SARI파일)을 준비하여(S21), 파싱을 하고(S22), 도6에서 도출된 3차원 공간에 증강현실 부가정보를 모델링한 후에(S23), 부가정보 파일에 저장되어 있는 드론 동영상 촬영에 사용된 카메라의 동선정보(위치, 조준선, 업벡터)를 3D 렌더링을 하기 위한 뷰잉 카메라의 속성(뷰잉 위치(viewing position), 뷰잉 방향(viewing direction), 이동 경로(navigation path))으로 매핑한다(S24).

이제, 시점(T)=0으로 설정하고(S25), 이 시점에 대한 증강현실 부가정보에 대해 상기의 3차원 공간 렌더링을 하면(S26), 3차원 공간에 표시되어야 하는 증강현실 3D 부가정보가 앞서 설정한 뷰잉 카메라 관점에서 생성되게 된다.

이렇게 생성된 증강현실 3D 부가정보를 단계(S15)에서 동영상 렌더링에 의해 형성된 영상에 합성하면, 단계(S15)을 통해 형성되는 시점(T=0)의 영상에, 단계(S26)를 통해 형성되는 시점(T=0)의 증강현실 부가정보가 합성되게 된다(S30).

다음으로 현재 시간이 종료 시간이 되었는지(현재시간이 종료시간보다 작은지)를 판단하여(S31), 현재 시간이 종료시간이 되지 않았다면 다음 시점(T)에 대해 상기 과정을 수행하기 위해 T를 1만큼 증가시켜서(S32, S33) 각각 단계(S15) 및 단계(S25)로 돌아가게 되고, 이러한 과정을 종료시간까지 수행하면 원하는 전체 드론 동영상에 대해 증가현실 부가정보를 합성(삽입)하는 과정이 완료되게 된다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명은 이러한 실시예에 한정되는 것이 아니라 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이나 변경이 가능하다는 점에 유의해야 한다.

Claims (4)

1. 드론 동영상에 증강현실 부가정보를 합성하는 방법에 있어서,
   드론 동영상 파일을 파싱하여 동영상 렌더러에 의해 렌더링하는 단계;
   증강현실 부가정보 파일을 파싱하여 증강현실 부가정보를 도출하는 단계;
   드론 동영상에서 추출된 카메라 파라메타를 통해 카메라의 동선 정보를 추출하고, 드론 동영상에서 각 영상의 특징점들에 의해 구성되는 3차원 공간 정보를 추출하는 단계;
   추출된 3차원 공간에 증강현실 부가정보를 모델링하는 단계;
   3차원 렌더링을 하기 위한 뷰잉 카메라의 속성으로 상기 카메라의 동선 정보를 시간축 기반 매핑하는 단계;
   드론 동영상의 시작부터 종료시까지의 각 시점에 있어서, 증강현실 부가정보에 대하여 3차원 공간 렌더링을 하여 상기 뷰잉 카메라 관점에서 상기 추출된 3차원 공간에 표시되어야 하는 3차원 증강현실 부가정보를 생성하여, 상기 드론 동영상을 렌더링하여 형성되는 영상에 상기 생성된 3차원 증강현실 부가정보를 합성하는 과정을 반복하는 단계를 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하는 방법.
2. 제1항에 있어서,
   상기 뷰잉 카메라의 속성은 뷰잉 위치, 뷰잉 방향 및 이동 경로 정보를 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하는 방법.
3. 제1항에 있어서,
   상기 카메라의 동선정보는 카메라의 위치, 조준선 및 업벡터를 포함하는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하는 방법.
4. 제1항에 있어서,
   상기 특징점들은 영상에 포인트 클라우드로 표시되는 것을 특징으로 하는 드론 동영상에 증강현실 부가정보를 합성하는 방법.

Images