KR102130973B1 - Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture - Google Patents

Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture Download PDF

Info

Publication number
KR102130973B1
KR102130973B1 KR1020180049796A KR20180049796A KR102130973B1 KR 102130973 B1 KR102130973 B1 KR 102130973B1 KR 1020180049796 A KR1020180049796 A KR 1020180049796A KR 20180049796 A KR20180049796 A KR 20180049796A KR 102130973 B1 KR102130973 B1 KR 102130973B1
Authority
KR
South Korea
Prior art keywords
augmented reality
video
reality information
drone
information
Prior art date
Application number
KR1020180049796A
Other languages
Korean (ko)
Other versions
KR20190125686A (en
Inventor
오광만
Original Assignee
(주)테슬라시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)테슬라시스템 filed Critical (주)테슬라시스템
Priority to KR1020180049796A priority Critical patent/KR102130973B1/en
Publication of KR20190125686A publication Critical patent/KR20190125686A/en
Application granted granted Critical
Publication of KR102130973B1 publication Critical patent/KR102130973B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/006—Apparatus mounted on flying objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 드론 영상에 증강 현실 정보를 삽입할 때에 사용자의 편의성을 고려하여 원본 동영상과 별도로 관리되는 메타 파일 구조에 관한 것이다.
본 발명은, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조에 있어서,
원본 드론 동영상의 이름을 저장하는 영역;
드론에 장착된 카메라의 GPS좌표를 저장하는 영역;
드론에 장착된 카메라의 내외부 파라메타를 저장하는 영역;
원본 드론 동영상에 추가하고자 하는 각각의 증강현실 정보를 저장하는 영역들;
상기 각각의 증강현실 정보가 출현해야 하는 위치를 나타내는 3차원 위치 정보들을 저장하는 영역들;
상기 각각의 증강현실 정보가 출현해야 하는 시간을 동기화시키는 동기화 정보들을 저장하는 영역들을 포함하는 것을 특징으로 한다.
이상과 같은 본 발명을 이용하면, 증강현실 정보가 삽입된 드론 동영상에서 증강 현실 정보의 변경(추가, 제거, 수정)이 편리하게 하는 메타 파일 구조를 제공하게 된다.The present invention relates to a meta file structure managed separately from an original video in consideration of user convenience when inserting augmented reality information into a drone image.
In the present invention, in the structure of a meta file used when inserting augmented reality information into a drone video,
An area that stores the name of the original drone video;
An area for storing GPS coordinates of a camera mounted on a drone;
An area for storing internal and external parameters of the camera mounted on the drone;
Areas for storing each augmented reality information to be added to the original drone video;
Areas for storing 3D location information indicating a location where each augmented reality information should appear;
And regions for storing synchronization information for synchronizing the time at which each augmented reality information should appear.
When the present invention as described above is used, a meta-file structure for conveniently changing (adding, removing, and modifying) augmented reality information in a drone video in which augmented reality information is inserted is provided.

Description

드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조{Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture}Meta file structure used when inserting augmented reality information into drone moving picture

본 발명은 드론 영상에 증강 현실 정보를 삽입할 때에 사용자의 편의성을 고려하여 원본 동영상과 별도로 관리되는 메타 파일 구조에 관한 것이다.The present invention relates to a meta file structure managed separately from an original video in consideration of user convenience when inserting augmented reality information into a drone image.

드론은 도1과 같이 소형 비행장치의 일종으로 주로 카메라를 탑재하여 방송용 또는 감시용 또는 측량용으로 사용되어 도2와 같은 항공 영상을 촬영하는데에 많이 활용되어 왔다.The drone is a type of small flight device as shown in FIG. 1 and is mainly used for broadcasting or surveillance or surveying by mounting a camera, and has been widely used to photograph aerial images as shown in FIG. 2.

또한, 최근에는 드론의 가격이 저렴해지고 소형화됨에 따라 개인들이 드론을 구매하여 드론을 이용하여 각종 동영상을 촬영하여 유튜브나 페이스북 등에 올려서 친구들과 동영상을 공유하는 사례들이 많이 늘어나고 있다.In addition, recently, as the price of drones has become cheaper and smaller, there have been many cases where individuals purchase drones, shoot various videos using drones, upload them to YouTube or Facebook, and share videos with friends.

그래서, 도3의 좌측 상부 및 하부 도면과 같이 드론 동영상에서 특정 물체에 적색의 박스나 타원을 추가하여 동영상에서 이 특정 물체를 계속 추종하게 하거나, 도3의 우측 도면과 같이 골프장의 동영상에서 홀컵까지의 거리가 계속 표시되거나 특정 위치에 서클(골퍼의 타입(남자, 여자, 시니어)에 따라 출발지점을 나타내는 흰색 서클, 적색 서클 등)이 계속 표시되게 하는 것과 같이, 촬영자의 의도를 표현하거나 타인에게 정보를 설명하기 위해 드론으로 촬영된 동영상에 다양한 증강현실 정보(예: 텍스트, 도형, 이미지 등)를 삽입해야 하는 필요성이 대두되고 있다.So, by adding a red box or ellipse to a specific object in the drone video as shown in the upper left and lower views of FIG. 3, the video continues to follow the specific object in the video, or from the video of the golf course to the hole cup as shown in the right view of FIG. Expressing the intention of the photographer or giving it to others, such as continuously displaying the distance or continuously displaying a circle (a white circle indicating a starting point, a red circle, etc. depending on the golfer's type (male, female, senior)) at a specific location In order to explain the information, there is a growing need to insert various augmented reality information (eg, text, figures, images, etc.) into a video shot with a drone.

그런데, 드론 동영상에 증강현실 정보를 삽입하는 것은 화면에서 연속적으로 위치가 변경되는 특정 타겟(예: 도3의 특정인, 도4의 특정 장소)을 추종하면서 이 타켓에 증강현실 정보를 추가하는 것이기에, 영화와 같은 동영상에서 자막을 추가하는 것처럼 화면의 고정된 특정 위치에 증강현실 정보를 표시하는 방법을 적용할 수가 없다.However, inserting augmented reality information into a drone video is to add augmented reality information to this target while following a specific target (eg, a specific person in FIG. 3, a specific place in FIG. 4) whose position is continuously changed on the screen, It is not possible to apply a method of displaying augmented reality information at a certain fixed location on the screen, such as adding subtitles in a movie such as a movie.

그래서, 드론 동영상에 증강현실 정보를 삽입하여 합성 동영상을 형성하기 위해서는 Adobe After Effect와 같은 동영상 특수효과 편집툴을 이용해야 하는데, Adobe After Effect 편집툴은 삽입에 필요한 다양한 기능, 예를 들면 다시점 영상처리, 카메라 내외부 파라메타 추출, cloud point의 삼각화, 정보통합 렌더링 등의 기능을 제공하고 있다.So, in order to form a composite video by inserting augmented reality information into a drone video, it is necessary to use a video special effect editing tool such as Adobe After Effect. The Adobe After Effect editing tool requires various functions required for insertion, for example, multi-view video. It provides functions such as processing, parameter extraction inside and outside the camera, triangulation of cloud points, and integrated information rendering.

따라서, 드론 촬영 동영상에 처음으로 새로운 증강현실 정보를 추가하거나, 기존의 증강현실 동영상에 추가적인 증강현실 정보를 추가하고자 할 때에는, Adobe After Effect같은 편집툴의 이러한 기능들을 다시 수작업으로 적용시켜서 수시간 작업을 수행해야 한다. Therefore, when adding new augmented reality information to a drone shooting video for the first time or adding additional augmented reality information to an existing augmented reality video, several hours of work can be performed by manually applying these functions of an editing tool such as Adobe After Effect again. Should be done.

또한, 증강현실 정보의 제거나 수정시에도 이전에 작업했던 프로세스에 대한 정보는 없고 그 결과만이 합성된 증강현실 동영상으로 존재하기 때문에, 삽입시와 같이 이러한 기능들을 다시 수작업으로 적용시켜서 수시간 작업을 해야 한다. Also, when removing or modifying the augmented reality information, there is no information about the previously worked process, and only the result exists as a synthesized augmented reality video. Should do.

따라서, 종래기술을 이용하여 증강현실 정보가 삽입된 드론 동영상에서 증강현실 정보를 변경(추가, 제거, 수정)하는 것은 재편집 과정이 복잡하여 활용성이 떨어진다.Therefore, changing (adding, removing, and modifying) augmented reality information in a drone video in which augmented reality information is inserted using the prior art has a complicated re-editing process and is less useful.

이상과 같은 종래기술의 문제점을 감안하여, 본 발명은 증강현실 정보가 삽입된 드론 동영상에서 증강 현실 정보의 변경(추가, 제거, 수정)이 편리하게 하는 메타 파일 구조를 제공한다.In view of the problems of the prior art as described above, the present invention provides a meta-file structure that facilitates change (addition, removal, modification) of augmented reality information in a drone video in which augmented reality information is inserted.

이러한 과제를 해결하기 위한 본 발명은, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조에 있어서,The present invention for solving such a problem is in the structure of the meta file used when inserting augmented reality information into a drone video,

원본 드론 동영상의 이름을 저장하는 영역;An area for storing the name of the original drone video;

드론에 장착된 카메라의 GPS좌표를 저장하는 영역;An area for storing the GPS coordinates of the camera mounted on the drone;

드론에 장착된 카메라의 내외부 파라메타를 저장하는 영역;An area for storing internal and external parameters of the camera mounted on the drone;

원본 드론 동영상에 추가하고자 하는 각각의 증강현실 정보를 저장하는 영역들;Areas for storing each augmented reality information to be added to the original drone video;

상기 각각의 증강현실 정보가 출현해야 하는 위치를 나타내는 3차원 위치 정보들을 저장하는 영역들;Areas for storing 3D location information indicating a location where each augmented reality information should appear;

상기 각각의 증강현실 정보가 출현해야 하는 시간을 동기화시키는 동기화 정보들을 저장하는 영역들을 포함하는 것을 특징으로 한다.And regions for storing synchronization information for synchronizing the time at which each augmented reality information should appear.

이상과 같은 본 발명을 이용하면, 증강현실 정보가 삽입된 드론 동영상에서 증강 현실 정보의 변경(추가, 제거, 수정)이 편리하게 하는 메타 파일 구조를 제공하게 된다.When the present invention is used as described above, a meta-file structure for conveniently changing (adding, removing, and modifying) augmented reality information in a drone video in which augmented reality information is inserted is provided.

도1은 일반적인 드론의 형상을 도시함.
도2는 드론에서 촬영한 영상을 도시함.
도3은 본 발명에서 증강현실 정보가 추가된 드론 영상들을 나타냄.
도4는 본 발명에서 드론 촬영된 원시 영상과 편집 영상의 비교를 나타냄.
도5는 본 발명에 따른 증강현실 정보가 삽입된 드론 동영상을 위한 메타 파일 구조를 도시함.
도6은 본 발명에서 증강현실 정보가 삽입된 드론 동영상을 관리하는 순서를 도시함.1 shows a general drone shape.
2 shows an image taken by a drone.
3 shows drone images to which augmented reality information is added in the present invention.
4 shows a comparison of a raw image and an edited image captured by a drone in the present invention.
5 shows a meta file structure for a drone video with augmented reality information inserted according to the present invention.
6 is a diagram illustrating a procedure for managing a drone video with augmented reality information inserted in the present invention.

이제 도면들을 참고로 하여 본 발명을 자세히 설명하기로 한다.Now, the present invention will be described in detail with reference to the drawings.

도5는 본 발명에서 사용하는, 증강현실 정보가 삽입된 드론 동영상을 위한 메타 파일(관리 파일)(SARI : Synchronized Augmented Reality Information) 구조이다.5 is a meta file (management file) (SARI: Synchronized Augmented Reality Information) structure for a drone video with augmented reality information inserted in the present invention.

이 메타 파일에는 원본 파일에 대한 이름(1), 촬영시 사용된 카메라의 GPS좌표(2), 촬영시 사용된 카메라의 내외부 파라메타(촛점거리, 렌즈의 주점(Principal point), 비대칭 계수 등)(3), 증강현실 정보(도형, 텍스트, 표, 숫자, 그래프, 이미지 등)(4-1, 4-2 ....), 각 증강현실 정보가 출현해야 하는 3차원 좌표(5-1, 5-2 ....), 각 증강현실 정보가 출현해야 하는 시간 동기화 정보(6-1, 6-2.....)가 포함된다.This meta file contains the name of the original file (1), the GPS coordinates of the camera used when shooting (2), and the internal and external parameters of the camera used when shooting (focal length, principal point of the lens, asymmetric coefficient, etc.)( 3), augmented reality information (shapes, text, tables, numbers, graphs, images, etc.) (4-1, 4-2 ....), 3D coordinates where each augmented reality information should appear (5-1, 5-2 ....), and time synchronization information (6-1, 6-2.....) where each augmented reality information should appear is included.

여기서, 카메라 내외부 파라메타(3)는 카메라 좌표계를 기반으로 물체의 특징점에 대한 거리 정보를 표현하고, 촬영에 사용된 모든 카메라에 대한 특징점을 정합하고 트레킹하여 월드 좌표계에 변환하면 클라우드 포인트(cloud point) 형태로 물체를 표현할 수 있다. 또한, 클라우드 포인트는 향후에 물체의 표면을 재구성하는데에 활용된다. 따라서 동영상 내의 물체의 3차원 정보를 획득하기 위해서는 모든 시간축 시점에 대한 카메라의 내외부 파라메타를 구하여 메타파일에 저장해야 한다.Here, the inside and outside of the camera parameter 3 expresses distance information on the feature points of the object based on the camera coordinate system, matches the feature points for all cameras used for shooting, trekking, and converts them to the world coordinate system to convert them to the world coordinate system. You can represent objects in form. In addition, cloud points are used to reconstruct the surface of an object in the future. Therefore, in order to obtain 3D information of an object in a video, it is necessary to obtain internal and external parameters of the camera for all time-base views and store them in a metafile.

또한, 카메라의 GPS좌표(2)는 드론이 이동한 경로와 동일한 정보를 갖는다. 이는 증강현실 동영상 재생시 편의기능을 제공하기 위해서 활용되는데, 주로 사용자의 위치를 기반으로 동영상의 시작점을 사용자의 위치와 동기화시키기 위해 사용된다. 예를 들면, 드론촬영 동영상이 골프 코스의 티박스에서 그린의 홀컵까지 500m를 촬영하였다고 가정하면, 골퍼가 티박스에서 재생할 때는 500m 전체에 동영상을 재생해 주고, 만일 200m 전진한 후에 세컨드 샷 위치에서 동영상을 재생할 경우에는 0m - 200m 에 해당하는 동영상은 건너뛰고, 200m - 500m 해당하는 나머지 300m에 해당하는 동영상을 재생시켜, 불필요한 시간의 소비와 정보의 제공을 제거해 준다.In addition, the camera's GPS coordinates 2 have the same information as the drone's route. This is used to provide a convenient function when playing augmented reality video, and is mainly used to synchronize the starting point of the video with the user's position based on the user's position. For example, assuming that the drone shooting video shot 500m from the tee box of the golf course to the hole cup of the green, when the golfer plays on the tee box, the entire video is played 500m, and if it moves forward 200m, the second shot position When playing a video, the video corresponding to 0m-200m is skipped, and the video corresponding to the remaining 300m corresponding to 200m-500m is played, thereby eliminating unnecessary time consumption and providing information.

그리고, 시간 동기화 정보(6-1, 6-2.....)는 동영상에 삽입되는 증강현실 정보(텍스트, 도형, 이미지 등)가 어느 시점에 나타나고 어느 시점에 사라져야 하는지를 기술한다. 이는 기존에 활용되고 있는 영화 동영상용 자막파일에서 사용되고 있는 시간 동기화 정보의 거의 동일하다.And, the time synchronization information (6-1, 6-2.....) describes at what point the augmented reality information (text, figure, image, etc.) inserted into the video should appear and disappear at any point. This is almost the same as the time synchronization information used in the subtitle file for the movie video currently being used.

그래서, 증강현실 정보의 추가시에는 상기 메타 파일에서 추가하고자 하는 해당 증강현실 정보 영역, 증강현실 정보가 출현해야 하는 3차원 좌표 영역, 증강현실 정보가 출현해야 하는 시간 동기화 정보영역을 추가하면 된다.Thus, when augmented reality information is added, the corresponding augmented reality information area to be added in the meta file, a 3D coordinate area in which augmented reality information should appear, and a time synchronization information area in which augmented reality information should appear may be added.

또한, 증강현실 정보의 제거시에는 상기 메타 파일에서 제거하고자 하는 해당 증강현실 정보 영역, 증강현실 정보가 출현해야 하는 3차원 좌표 영역, 증강현실 정보가 출현해야 하는 시간 동기화 정보영역을 삭제하면 된다.In addition, when removing the augmented reality information, the corresponding augmented reality information area to be removed from the meta file, the three-dimensional coordinate area where augmented reality information should appear, and the time synchronization information area where augmented reality information should appear may be deleted.

그리고, 증강현실 정보의 수정시에는 수정하고자 하는 해당 증강현실 정보 영역, 증강현실 정보가 출현해야 하는 3차원 좌표 영역, 증강현실 정보가 출현해야 하는 시간 동기화 정보영역을 수정하면 된다.In addition, when augmented reality information is modified, the corresponding augmented reality information area to be corrected, a three-dimensional coordinate area in which augmented reality information should appear, and a time synchronization information area in which augmented reality information should appear may be modified.

다음으로, 도5에 나타난 메타 파일을 이용하여 증강현실 정보가 삽입된 드론 동영상을 관리하는 순서를 도6을 참고로 하여 설명하기로 한다.Next, the procedure for managing the drone video with the augmented reality information inserted using the meta file shown in FIG. 5 will be described with reference to FIG. 6.

먼저, 원시 동영상을 입력 받는다(S1).First, a raw video is input (S1).

다음으로 삽입할 증강현실 정보를 설계한다(S2). 이때, 이러한 설계 과정은 삽입할 증강현실 정보의 종류(도형, 텍스트, 이미지 등), 삽입되는 증강현실 정보의 속성(색상, 라인속성, filling 속성 등), 삽입 위치(2차원 좌표계/3차원 좌표계에 따른 표현 영역), 시간축에 대한 동기화 정보, GPS 위치 동기화 정보 등에 대한 구체적인 내용을 설계하는 과정을 말한다. 또한, 원시 동영상을 분석하여 카메라 내외부 파라메타를 추출하여 저장하는데, 이는 향후 동영상 편집에서 동영상에 2차원/3차원 형태의 증강현실 정보를 삽입할 때 활용되게 된다.Next, design the augmented reality information to be inserted (S2). At this time, this design process includes the type of augmented reality information to be inserted (shape, text, image, etc.), the properties of the augmented reality information to be inserted (color, line properties, filling properties, etc.), insertion location (2D coordinate system/3D coordinate system Refers to the process of designing specific contents for the expression area), synchronization information for the time axis, and GPS location synchronization information. In addition, the raw video is analyzed and the parameters inside and outside the camera are extracted and stored, which will be used when inserting augmented reality information in a 2D/3D form into the video in the future video editing.

또한, 삽입할 증강현실 정보에 대한 설계가 완료되면, 삽입할 증강현실 정보가 추출된다(S4).In addition, when the design of the augmented reality information to be inserted is completed, the augmented reality information to be inserted is extracted (S4).

이제, 삽입할 증강현실 정보가 원시 동영상에 원하는 대로 표시되게 도5에 나타난 형식의 SARI 파일을 편집한다(S4). 이때, 이러한 편집 과정은 타임라인 기반의 전용 저작도구를 통해서 편집을 진행해야 하고, 모든 정보는 XML 기반의 국제표준 마컵(markup) 언어를 통해서 기술한다. 특히 삽입되는 증강현실 정보에 따라서 출현 시작 시간, 출현 종료 시간 등에 대한 동기화 정보를 삽입, 수정, 삭제가 가능해야 한다. 또한 사용자의 GPS 위치에 따른 출현 시작 위치, 출현 종료 위치 등에 대한 동기화 정보도 추가, 수정, 삭제 가능해야 한다.Now, the SARI file of the format shown in Fig. 5 is edited so that the augmented reality information to be inserted is displayed as desired in the original video (S4). At this time, the editing process must be edited through a timeline-based dedicated authoring tool, and all information is described through an XML-based international standard markup language. In particular, according to the augmented reality information to be inserted, synchronization information about the appearance start time and the appearance end time should be able to be inserted, modified, and deleted. In addition, synchronization information on the appearance start position and the appearance end position according to the user's GPS location should also be added, modified, and deleted.

다음으로, 편집이 완료되면 SARI 파일을 저장한다(S5). 이때, 저장된 SARI 파일은 원시 동영상과 별도의 파일로 저장되고, 증강현실 포함 동영상이 재생될 때에는 두 개의 파일(원시 동영상 파일, SARI 파일)이 필요하고, SARI 파일을 지원하는 전용 동영상 재생기가 필요하다. 따라서 현재 나와 있는 동영상 재생기로는 SARI 파일을 지원할 수 없고, 향후 사용자의 범용성을 확보 후 세계적인 표준화 작업을 거쳐서 SARI 포맷을 증강현실 정보 지원 동영상 메타 파일로 사용하게 된다.Next, when editing is completed, the SARI file is saved (S5). At this time, the saved SARI file is saved as a separate file from the original video, and when a video including augmented reality is played, two files (raw video file and SARI file) are required, and a dedicated video player supporting SARI file is required. . Therefore, SARI files cannot be supported by the current video player, and SARI format will be used as a video meta file for augmented reality information after global standardization after securing the versatility of users in the future.

결국, 발명에서는 증강현실 정보의 삽입과 관련된 메타파일을 별도로 구성하여 저장 관리하고 메타파일이 xml 등과 같은 국제표준의 마컵 언어를 통해서 구현되기 때문에 저작과정이 단순한 텍스트 및 이미지 편집을 통해서 이루어지게 되어 편리하게 증강현실 정보를 변경할 수 있게 된다. In the end, in the invention, the meta file related to the insertion of the augmented reality information is organized and stored separately, and since the meta file is implemented through the international standard Markup language such as xml, the authoring process is done through simple text and image editing. It is possible to change the augmented reality information.

물론, 본 발명의 메타 파일을 이용하는 경우에는 Adobe After Effect를 통한 저작은 불가능하고 별도의 저작도구를 활용해야 한다. Of course, in the case of using the meta file of the present invention, authoring through Adobe After Effect is impossible, and a separate authoring tool must be utilized.

한편, 본 발명에서는 본 발명의 바람직한 실시예를 설명하였지만, 본 발명은 이러한 실시예에 한정되는 것이 아니라, 본 발명의 정신을 벗어나지 않는 범위 내에서 다양한 변형이나 변경이 가능하다는 점에 유의해야 한다.Meanwhile, in the present invention, preferred embodiments of the present invention have been described, but it should be noted that the present invention is not limited to these embodiments, and various modifications or changes are possible without departing from the spirit of the present invention.

Claims (8)

드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법에 있어서,
원본 드론 동영상의 이름을 저장하는 영역을 형성하는 단계;
드론에 장착된 카메라의 GPS좌표를 저장하는 영역을 형성하는 단계;
원본 드론 동영상을 분석하여 추출한 드론 장착 카메라의 내외부 파라메타를 저장하는 영역을 형성하는 단계;
원본 드론 동영상에 추가하고자 하는 각각의 증강현실 정보를 저장하는 영역들을 형성하는 단계;
상기 각각의 증강현실 정보가 출현해야 하는 위치를 나타내는 3차원 위치 정보들을 저장하는 영역들을 형성하는 단계;
원본 드론 동영상에서 상기 각각의 증강현실 정보가 출현해야 하는 시점과 소멸하는 시점을 나타내는 동기화 정보들을 저장하는 영역들을 형성하는 단계를 포함하는 것을 특징으로 하는, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법.In the method of forming a meta-file structure used when inserting augmented reality information in a drone video,
Forming an area for storing the name of the original drone video;
Forming an area for storing the GPS coordinates of the camera mounted on the drone;
Forming an area for storing internal and external parameters of the drone equipped camera extracted by analyzing the original drone video;
Forming regions for storing each augmented reality information to be added to the original drone video;
Forming regions for storing 3D location information indicating a location where each augmented reality information should appear;
And forming regions for storing synchronization information indicating when each augmented reality information should appear and when it disappears in the original drone video, when the augmented reality information is inserted into the drone video. How to form a meta-file structure. 제1항에 있어서,
원본 드론 동영상에 추가된 증강현실 정보의 변경은, 이 메타 파일에서 해당 증강현실 정보 저장 영역과 3차원 위치 정보 저장 영역과 동기화 정보 저장 영역을 변경하여 수행되는 것을 특징으로 하는, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법.According to claim 1,
The change of the augmented reality information added to the original drone video is performed by changing the corresponding augmented reality information storage area and the 3D location information storage area and the synchronization information storage area in this meta file. A method of forming a meta-file structure used when inserting information. 제1항에 있어서,
원본 드론 동영상의 GPS 위치 정보는, 동영상 사용자의 현재 위치와 동기화시켜 동영상 재생 위치를 지정하기 위해 사용되는 것을 특징으로 하는, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법.According to claim 1,
A method of forming a meta file structure used when inserting augmented reality information into a drone video, characterized in that the GPS location information of the original drone video is used to designate a video playback position in synchronization with the current position of the video user. 제1항에 있어서,
상기 메타 파일이 마컵 언어를 통해 구현되는 것을 특징으로 하는, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법.According to claim 1,
A method of forming a meta file structure used when inserting augmented reality information into a drone video, characterized in that the meta file is implemented through a Macup language. 제1항에 있어서,
상기 증강현실 정보는 텍스트 정보인 것을 특징으로 하는, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법.According to claim 1,
The augmented reality information is characterized in that the text information, a method of forming a meta-file structure used when inserting augmented reality information into a drone video. 제1항에 있어서,
상기 증강현실 정보는 도형 정보인 것을 특징으로 하는, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법.According to claim 1,
The augmented reality information is characterized in that the shape information, a method of forming a meta-file structure used when inserting augmented reality information into a drone video. 제1항에 있어서,
상기 증강현실 정보는 이미지 정보인 것을 특징으로 하는, 드론 동영상에 증강현실 정보의 삽입시에 사용되는 메타 파일 구조의 형성방법.According to claim 1,
The augmented reality information is characterized in that the image information, a method of forming a meta-file structure used when inserting augmented reality information into a drone video. 증강현실 정보가 삽입된 드론 동영상을 관리하는 방법에 있어서,
원시 동영상을 입력 받는 단계;
원시 동영상에 삽입할 증강현실 정보를 설계되는 단계;
원시 동영상에 삽입할 증강현실 정보가 추출되는 단계;
원본 드론 동영상의 이름을 저장하는 영역, 드론에 장착된 카메라의 GPS좌표를 저장하는 영역, 원본 드론 동영상을 분석하여 추출한 드론 장착 카메라의 내외부 파라메타를 저장하는 영역, 원본 드론 동영상에 추가하고자 하는 각각의 증강현실 정보를 저장하는 영역들, 상기 각각의 증강현실 정보가 출현해야 하는 위치를 나타내는 3차원 위치 정보들을 저장하는 영역들, 원본 드론 동영상에서 상기 각각의 증강현실 정보가 출현해야 하는 시점과 소멸하는 시점을 나타내는 동기화 정보들을 저장하는 영역들을 가진 메타 파일을 편집하는 단계;
편집된 메타 파일을 저장하는 단계를 포함하는 것을 특징으로 하는 증강현실 정보가 삽입된 드론 동영상을 관리하는 방법.In the method of managing a drone video with augmented reality information inserted,
Receiving a raw video;
Designing augmented reality information to be inserted into the raw video;
Augmented reality information to be inserted into a raw video is extracted;
The area that stores the name of the original drone video, the area that stores the GPS coordinates of the camera mounted on the drone, the area that stores the internal and external parameters of the drone-equipped camera extracted by analyzing the original drone video, each of which you want to add to the original drone video Areas for storing augmented reality information, areas for storing 3D positional information indicating where each of the augmented reality information should appear, and when and when each augmented reality information should appear in the original drone video Editing the meta-file having areas for storing synchronization information indicating the viewpoint;
And storing the edited meta-file.
KR1020180049796A 2018-04-30 2018-04-30 Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture KR102130973B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180049796A KR102130973B1 (en) 2018-04-30 2018-04-30 Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180049796A KR102130973B1 (en) 2018-04-30 2018-04-30 Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture

Publications (2)

Publication Number Publication Date
KR20190125686A KR20190125686A (en) 2019-11-07
KR102130973B1 true KR102130973B1 (en) 2020-07-08

Family

ID=68578888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049796A KR102130973B1 (en) 2018-04-30 2018-04-30 Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture

Country Status (1)

Country Link
KR (1) KR102130973B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243810B1 (en) 2021-02-08 2021-04-23 뉴인테크 주식회사 Caption adding system and method of helicam recording image with position information for filming site

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101711822B1 (en) * 2015-08-04 2017-03-03 서울과학기술대학교 산학협력단 Apparatus and method for remote controlling device using metadata
KR101955368B1 (en) * 2016-06-08 2019-03-08 (주)코아텍 System for providing virtual drone stadium using augmented reality and method thereof
KR102479360B1 (en) * 2016-06-15 2022-12-20 삼성전자 주식회사 Method and apparatus for providing augmented reality service

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102243810B1 (en) 2021-02-08 2021-04-23 뉴인테크 주식회사 Caption adding system and method of helicam recording image with position information for filming site

Also Published As

Publication number Publication date
KR20190125686A (en) 2019-11-07

Similar Documents

Publication Publication Date Title
CN106331732B (en) Generate, show the method and device of panorama content
US10880522B2 (en) Hybrid media viewing application including a region of interest within a wide field of view
CN106358036B (en) A kind of method that virtual reality video is watched with default visual angle
WO2017107758A1 (en) Ar display system and method applied to image or video
US20120013711A1 (en) Method and system for creating three-dimensional viewable video from a single video stream
US10622020B2 (en) Point of view video processing and curation platform
MX2011000785A (en) 3d display handling of subtitles.
JP2009531927A (en) Efficient encoding of multiple fields of view
DE112016004279T5 (en) Integrate audio into an interactive digital multi-view media presentation
JP2020086983A (en) Image processing device, image processing method, and program
WO2012060938A2 (en) Centralized database for 3-d and other information in videos
KR20160087284A (en) Image processing apparatus, the image processing apparatus for performing image storage method and image search method
CN108600858B (en) Video playing method for synchronously displaying AR information
CN104202542B (en) For the subtitle automatic generation method and device of video camera
JP2023115088A (en) Image file generator, method for generating image file, image generator, method for generating image, image generation system, and program
US8817013B2 (en) Method for processing a spatial image
KR102130973B1 (en) Meta File Structure used when Inserting Augment Reality Information into Drone Moving Picture
US20220165308A1 (en) Point of view video processing and curation platform
US9473735B1 (en) Moving frame display
WO2016167160A1 (en) Data generation device and reproduction device
KR101752691B1 (en) Apparatus and method for providing virtual 3d contents animation where view selection is possible
KR102082131B1 (en) Inserting Method of Augment Reality Information in Drone Moving Picture
KR102259401B1 (en) Composing Method of Augment Reality Additional Information in Drone Moving Picture
JP2019050593A (en) Image processing system, image processor, control method, and program
JP5695493B2 (en) Multi-image playback apparatus and multi-image playback method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant