KR101843024B1 - System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner - Google Patents

System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner Download PDF

Info

Publication number
KR101843024B1
KR101843024B1 KR1020160179981A KR20160179981A KR101843024B1 KR 101843024 B1 KR101843024 B1 KR 101843024B1 KR 1020160179981 A KR1020160179981 A KR 1020160179981A KR 20160179981 A KR20160179981 A KR 20160179981A KR 101843024 B1 KR101843024 B1 KR 101843024B1
Authority
KR
South Korea
Prior art keywords
environment
moving picture
subject
composite
playback application
Prior art date
Application number
KR1020160179981A
Other languages
Korean (ko)
Inventor
천솔지
Original Assignee
(주)잼투고
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)잼투고 filed Critical (주)잼투고
Priority to KR1020160179981A priority Critical patent/KR101843024B1/en
Application granted granted Critical
Publication of KR101843024B1 publication Critical patent/KR101843024B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a composite video playback system naturally synthesized through real-time environmental object selection and a computer implementation method thereof. The composite video playback system through real-time environmental object selection according to the present invention comprises: a user terminal device; and a server.

Description

실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법{System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner}TECHNICAL FIELD [0001] The present invention relates to a composite video playback system and a computer-

실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 컴퓨터 구현 방법에 관한 것으로, 보다 상세하게는 일반 사용자가 편리하게 환경객체를 선택할 수 있고 자연스럽게 합성된 합성동영상을 재생할 수 있는 시스템 및 컴퓨터 구현 방법에 관한 것이다.And more particularly, to a system and a computer-implemented method capable of selecting an environment object conveniently by a general user and reproducing a synthesized moving picture synthesized naturally .

최근에, 미디어 기술의 발전으로, 새로운 장르의 다양한 멀티미디어 컨텐츠, 예컨대, 3D 컨텐츠, 증강 현실(Augumented Reality) 컨텐츠, 가상 현실(Virtual Reality) 컨텐츠 등이 등장하고 있다. 이러한 멀티미디어 컨텐츠를 생성하기 위해서는 전문적인 제작 장비가 필요하기 때문에 일반인들이 이러한 컨텐츠를 생성하기에는 제약이 따른다. 또한, 이러한 멀티미디어 컨텐츠를 재생하기 위해서는 전용 재생 장치가 필요한 실정이다. 한편, 전용 재생장치 중 3D TV와 같은 3D 컨텐츠 전용 재생 장치는 사용의 불편함과 시청시의 어지러움 등으로 인해 요즘 소비자로부터 외면받고 있다.Recently, with the development of media technology, various multimedia contents such as 3D contents, Augmented Reality contents, and Virtual Reality contents are emerging in a new genre. In order to generate such multimedia contents, specialized production equipment is required, so that it is difficult for the general public to generate such contents. In addition, a dedicated reproducing apparatus is required to reproduce such multimedia contents. On the other hand, among the dedicated playback devices, the 3D content-dedicated playback device such as the 3D TV has been neglected by consumers these days due to inconvenience of use and dizziness at the time of watching.

가상의 배경을 합성하여 뮤직비디오를 자동으로 만들어주는 자동 가라오케 스튜디오가 등장하여, 일반인들도 뮤직비디오를 전문가의 도움없이 생성할 수 있게 되었다. An automatic karaoke studio that synthesizes virtual backgrounds and automatically creates music videos is now available for the general public to create music videos without the help of an expert.

이러한 자동 가라오케 스튜디오에서 뮤직비디오를 생성하는 일반인들의 입장에서는 다양한 가상 배경 중에서 원하는 배경을 선택할 수 있는 즐거움이 있지만, 생성된 뮤직비디오를 일반적인 재생 장치를 통해 시청하는 시청자의 입장에서는 선택된 배경이 단조롭고 식상할 수 있다.In general, people who create music videos in such an automatic karaoke studio have the pleasure of selecting a desired background among various virtual backgrounds. However, in view of viewers watching a generated music video through a general playback device, the selected background is monotonous .

가상 스튜디오 관리 프로그램 중에서, 배경을 실시간으로 변경할 수 있는 전문 프로그램이 있다. 하지만, 일반적인 동영상 재생 장치 중에서 동영상 재생 중에 배경을 시청자가 변경할 수 있는 것은 존재하지 않는다. 특정한 배경을 특정한 시점에 피사체 객체와 조화롭게 배치하는 것은 전문적인 편집의 영역에 속하며, 따라서, 일반인이 전문 프로그램을 사용한다고 하더라도 생성되는 결과물은 전문적이지 않고 자연스럽지 못할 수 있다.Among the virtual studio management programs, there is a specialized program that can change the background in real time. However, none of the general moving picture reproducing apparatuses can change the background while the moving picture is being played back. Arranging a specific background in harmony with a subject object at a specific point in time is a specialized editing area, and therefore, even if a general person uses a specialized program, the result produced may not be professional or natural.

Studio one entertainment, Inc.의 미국 등록특허 제8,957,942호 "Studio booth configured to produce illusion that customer is photographed in different locale"은 이동형 가라오케에서 크로마키 배경으로 뮤직 비디오를 촬영하는 방법을 개시한다. 이러한 종래기술에 따르면 사용자의 공연 영상에서 사용자를 객체의 형태로 추출하고 가상의 배경과 합성하여, 사용자에게 실제 현장에 가지 않고도 실제 현장에 있는 것과 같은 경험을 제공한다. 그런데, 시청자 입장에서, 다양한 배경 선택의 경험을 제공하는 것에 대해서는 기재되어 있지 않다.U.S. Patent No. 8,957,942 to Studio one entertainment, Inc., discloses a method for shooting music video from a mobile karaoke to a chroma key background in a "studio booth configured to produce illusion that customer is photographed in different locale". According to the related art, a user is extracted from a performance image of a user in the form of an object and synthesized with a virtual background, thereby providing the user with the same experience as in a real scene without going to the actual site. However, from the viewpoint of viewers, it is not described about providing experience of various background selection.

Terry W. Koch의 미국 공개특허공보 제2011/0170008호 "Chroma-key image animation tool"은 특정 크기를 갖는 객체의 형태인 크로마키 무비 클립(clip)을 드래그하여 해당 이미지 상의 원하는 위치에 배치하고 렌더링하여 동영상을 생성하는 GUI에 대해 기술하고 있다. 그런데, 이러한 GUI를 사용하는데에는, 사용자가 해당 이미지에 크로마키 무비 클립을 배치할 위치를 직접 선택해야 하는 사용자 편집의 영역이 여전히 존재한다. 또한, 이러한 GUI의 내장된 재생 프로그램은 최종 렌더링된 동영상만을 재생할 수 있고, 동영상 재생 중에 원하는 무비 클립을 선택하여 재생되고 있는 동영상에 반영시키는 것에 대해서는 기술하지 않는다.Terry W. Koch's U.S. Patent Application Publication No. 2011/0170008 entitled "Chroma-key image animation tool" is a method for dragging a chroma key movie clip in the form of an object having a specific size, And describes a GUI for generating a moving picture. By the way, there are still areas of user editing that require the user to directly select where to place the chromakey movie clip in the image. In addition, the built-in playback program of the GUI can only play back the final rendered video, and does not describe how to select a desired movie clip during movie playback and reflect it on the moving movie being played back.

일반인이 동영상 재생 중에 쉽게 배경을 실시간으로 바꿀 수 있으면서도 바뀐 배경과 피사체 객체가 자연스럽게 어울릴 수 있는 합성동영상 재생 장치 및 방법이 여전히 요구된다.There is still a need for a composite video playback apparatus and method that allows a general person to easily change the background in real time during video playback while still allowing the changed background and subject object to blend seamlessly.

미국 등록특허 제8,957,942호United States Patent No. 8,957,942 미국 공개특허공보 제2011/0170008호U.S. Published Patent Application No. 2011/0170008

본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 사용자가 선택할 수 있는 복수의 3D 환경객체를 제공하여 배경 선택의 즐거움을 주고, 피사체 객체를 선택된 3D 환경객체의 미리 설정된 피사체 객체 합성위치에 배치하여 사용자가 합성위치를 지정하지 않아도 자연스럽게 합성된 동영상을 제공하는 것을 목적으로 한다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a system and method for synthesized moving picture reproduction by selecting a real-time environment object, which provides a plurality of 3D environment objects, The object of the present invention is to arrange an object at a predetermined object object synthesis position of a selected 3D environment object to provide a seamlessly synthesized video even if the user does not designate the synthesis position.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 원본 동영상의 조명 데이터를 이용하여 선택된 3D 환경객체를 렌더링하여 보다 자연스럽게 합성된 동영상을 제공하는 것을 목적으로 한다.The object of the present invention is to provide a composite moving picture reproduction system and method by selecting a real-time environment object according to an embodiment of the present invention, by rendering a selected 3D environment object using illumination data of an original moving picture.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 위치를 추출하고, 각각의 3D 환경객체의 해당 피사체 객체 합성위치와 비교하여 적어도 하나의 3D 환경객체를 결정하여, 피사체 객체 합성위치와 원본동영상의 피사체 객체의 원래 위치가 합성될 동영상의 프레임 상에서 많이 차이가 나지 않거나 해당 프레임을 벗어나지 않도록 구현하는 것을 다른 목적으로 한다.A system and method for synthesized moving image reproduction by selecting a real-time environment object according to an embodiment of the present invention includes extracting a position of a subject object of a selected original moving image and comparing at least one Another object of the present invention is to implement a 3D environment object so that the position of the object object and the original position of the object object of the original moving image do not differ much or fall outside the frame of the moving image to be combined.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 크기와 선택된 3D 환경객체의 크기를 추출하고, 합성동영상을 디스플레이하는 단계에서, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치에 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치하여, 합성동영상의 피사체 객체 및 3D 환경객체의 크기가 부자연스럽게 합성되는 것을 방지하는 것을 다른 목적으로 한다.The system and method for selecting a real-time environment object according to an embodiment of the present invention extracts a size of a subject object of a selected original moving image and a size of a selected 3D environment object, The object of the moving image is scaled and arranged so that the relative size of the 3D environment object selected at the object object synthesis position of the selected 3D environment object is matched to prevent unnatural synthesis of the size of the object object and the 3D environment object of the composite moving image For other purposes.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 각각의 3D 환경객체를 디스플레이하는 단계에서, 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 선택된 원본동영상의 피사체 객체를 디스플레이 모듈 상에 더 디스플레이하여, 사용자가 미리 각각의 3D 환경객체에 피사체 객체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 3D 환경객체를 선택하는데 도움을 받을 수 있도록 하는 것을 다른 목적으로 한다.The system and method for synthesized moving picture reproduction through selection of a real-time environment object according to an embodiment of the present invention is characterized in that in the step of displaying each 3D environment object, It is possible to further display the object object on the display module so that the user can feel the fun of viewing the video in which the object object is synthesized in advance in each 3D environment object and can be assisted in selecting the desired 3D environment object, .

본 발명은 상기의 문제를 해결하기 위한 것으로 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템은 디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; 및 상기 사용자 단말장치와 통신가능하게 연결되고, 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 상기 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and it is an object of the present invention to provide a synthetic video reproducing system by selecting a real-time environment object in accordance with the present invention includes a storage module for storing a display module, a processor, an input unit, And a server communicably connected to the user terminal device and having a database storing a plurality of environment objects raw data including 3D environment objects and object object synthesis positions, Wherein the synthesized moving picture playback application is configured so that the processor is capable of displaying a list of a plurality of original moving pictures in which the synthesized moving picture playing application has a subject object, each of the original moving pictures being associated with metadata having a camera work corresponding to the subject object - displaying on the display module; The composite moving picture playback application receiving a selection of one of the original moving pictures from the user through the input unit; The composite moving picture playback application displaying each 3D environment object of the selected original moving image and the plurality of environmental object row data on the display module; The composite moving picture playback application receiving a selection of any one of the displayed respective 3D environment objects from the user via the input unit; And the synthetic moving picture playback application arranges a subject object of the selected original moving picture at a position of the subject object composing position of the selected 3D environment object, and the selected 3D environment object and the placed subject object are used by using the camera work of the selected original moving picture And displaying the combined moving picture rendered on the display module.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 각각의 원본동영상은, 상기 피사체 객체에 대응하는 조명 데이터 - 상기 조명 데이터는 방향, 색상, 밝기, 위치 중 적어도 어느 하나를 포함하고 - 를 갖는 상기 메타데이터와 더 연관되고, 상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 조명 데이터를 더 이용하여 렌더링하도록 하는 것을 것을 특징으로 한다.In the synthetic moving picture reproduction system according to the embodiment of the present invention, each of the original moving pictures includes lighting data corresponding to the subject object, the lighting data including at least one of direction, color, brightness, and position Wherein the composite moving picture playing application further causes the selected 3D environment object and the positioned object object to be rendered using the illumination data further in the step of displaying the composite moving picture, do.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체의 위치와 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치를 비교하고, 유사성이 높은 적어도 하나의 피사체 객체 합성위치를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치에 각각 대응하는 적어도 하나의 유사 3D 환경객체를 결정하는 단계;를 추가로 포함하여 수행하도록 구성되고, 상기 각각의 환경객체의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체 중에서 상기 적어도 하나의 유사 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하도록 하는 것을 특징으로 한다.In the synthetic moving picture reproduction system according to the embodiment of the present invention, the synthetic moving picture reproduction application may be configured such that the processor extracts a position of a subject object of the selected original moving picture, And the composite moving picture playback application compares the position of the subject object of the selected original moving image with the position of the corresponding subject object in the 3D environment object, selects at least one subject object composite position having high similarity, And determining at least one similar 3D environment object corresponding to each of the one object object composite positions, wherein, in the step of displaying the 3D environment objects of each environment object, And a playback application to display the at least one similar 3D environment object among the respective 3D environment objects on the display module.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 추출된 피사체 객체의 위치는, 상기 원본동영상의 해당 프레임 상의 피사체 객체의 위치인 것을 특징으로 한다.In the synthetic moving picture reproducing system according to the embodiment of the present invention, the extracted object object position is a position of the object object on the corresponding frame of the original moving picture.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 합성동영상 재생 애플리케이션은, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고, 상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 상기 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하도록 하는 것을 특징으로 한다.In the synthetic moving picture reproduction system according to the embodiment of the present invention, the synthetic moving picture reproduction application is characterized in that the synthetic moving picture reproduction application is a step in which the processor extracts the size of a subject object of the selected original moving picture ; And extracting a size of the selected 3D environment object by the synthesized moving image playback application, wherein in the displaying of the synthetic moving image, the synthetic moving image playback application displays the selected 3D environment object And scales the object object so that the relative size of the selected 3D environment object is matched with the object object synthesis position of the selected 3D environment object.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체 객체를 상기 디스플레이 모듈 상에 더 디스플레이하도록 구성되는 것을 특징으로 한다.In the synthetic moving picture reproduction system according to the embodiment of the present invention, the synthetic moving picture reproduction application is characterized in that in the step of the processor displaying the respective 3D environment objects, And further displays on the display module the subject object of the selected original moving picture arranged at the subject object composing position.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 렌더링하여 디스플레이하도록 하는 것을 특징으로 한다.In the synthetic moving picture reproduction system according to the embodiment of the present invention, the synthetic moving picture reproduction application is characterized in that in the step of the processor displaying the respective 3D environment objects, the synthetic moving picture reproduction application displays each of the 3D environment objects So that the display is rendered and displayed.

본 발명의 실시예에 따른 합성동영상 재생 시스템에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가, 상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 상기 선택된 원본동영상의 상기 카메라 워크 및 상기 선택된 원본동영상의 조명 데이터 중 적어도 어느 하나를 이용하여 렌더링하여 디스플레이하도록 하는 것을 특징으로 한다.In the synthetic moving picture reproduction system according to the embodiment of the present invention, the synthetic moving picture reproduction application is characterized in that in the step of the processor displaying the respective 3D environment objects, the synthetic moving picture reproduction application displays each of the 3D environment objects The camera work of the selected original moving image, and the illumination data of the selected original moving image.

본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 컴퓨터 구현 방법에 있어서, 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에 있어서, 합성동영상 재생 애플리케이션이 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터를 저장모듈에 저장하는 단계; 상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 상기 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계; 상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 한다.A computer-implemented method for selecting a real-time environment object and selecting a real-time environment object according to the present invention, the computer-implemented method comprising: The method comprising: storing a plurality of environment objects containing raw data in a storage module; Displaying on the display module a list of a plurality of original videos having the subject object, wherein each of the original videos is associated with metadata having a camera work corresponding to the subject object; The composite moving picture playback application receiving a selection of one of the original moving pictures from the user through the input unit; The composite moving picture playback application displaying each 3D environment object of the selected original moving image and the plurality of environmental object row data on the display module; The composite moving picture playback application receiving a selection of any one of the displayed respective 3D environment objects from the user via the input unit; And the synthetic moving picture playback application arranges a subject object of the selected original moving picture at a position of the subject object composing position of the selected 3D environment object, and the selected 3D environment object and the placed subject object are used by using the camera work of the selected original moving picture And displaying the combined moving picture rendered on the display module.

본 발명의 상기의 구성에 따라, 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 사용자가 선택할 수 있는 복수의 3D 환경객체를 제공하여 배경 선택의 즐거움을 주고, 피사체 객체를 선택된 3D 환경객체의 미리 설정된 피사체 객체 합성위치에 배치하여 사용자가 합성위치를 지정하지 않아도 자연스럽게 합성된 동영상을 제공하는 효과를 제공한다. According to the above configuration of the present invention, the system and method for synthesized moving picture reproduction through selection of a real-time environment object according to the present invention provide a plurality of 3D environment objects that the user can select, It is possible to arrange the selected 3D environment object at a predetermined object object synthesis position to provide a seamlessly synthesized video even if the user does not designate the synthesis position.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 원본 동영상의 조명 데이터를 이용하여 선택된 3D 환경객체를 렌더링하여 보다 자연스럽게 합성된 동영상을 제공하는 효과를 제공한다.The synthetic moving picture reproduction system and method using the real-time environment object selection according to the embodiment of the present invention provides an effect of rendering the selected 3D environment object using the illumination data of the original moving picture to provide a more smoothly synthesized moving picture.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 위치를 추출하고, 각각의 3D 환경객체의 해당 피사체 객체 합성위치와 비교하여 적어도 하나의 3D 환경객체를 결정하여, 피사체 객체 합성위치와 원본동영상의 피사체 객체의 원래 위치가 합성될 동영상의 프레임 상에서 많이 차이가 나지 않거나 해당 프레임을 벗어나지 않도록 구현하는 효과를 제공한다.A system and method for synthesized moving image reproduction by selecting a real-time environment object according to an embodiment of the present invention includes extracting a position of a subject object of a selected original moving image and comparing at least one The 3D environment object is determined to provide an effect of realizing that the position of the object object and the original position of the object object of the original moving image do not differ much from each other or depart from the frame of the moving image to be synthesized.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 선택된 원본동영상의 피사체 객체의 크기와 선택된 3D 환경객체의 크기를 추출하고, 합성동영상을 디스플레이하는 단계에서, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치에 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치하여, 합성동영상의 피사체 객체 및 3D 환경객체의 크기가 부자연스럽게 합성되는 것을 방지하는 효과를 제공한다.The system and method for selecting a real-time environment object according to an embodiment of the present invention extracts a size of a subject object of a selected original moving image and a size of a selected 3D environment object, The object of the moving image is scaled and arranged so that the relative size of the 3D environment object selected at the object object synthesis position of the selected 3D environment object is matched to prevent unnatural synthesis of the size of the object object and the 3D environment object of the composite moving image Effect.

본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생 시스템 및 방법은, 각각의 3D 환경객체를 디스플레이하는 단계에서, 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 선택된 원본동영상의 피사체 객체를 디스플레이 모듈 상에 더 디스플레이하여, 사용자가 미리 각각의 3D 환경객체에 피사체 객체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 3D 환경객체를 선택하는데 도움을 받을 수 있도록 하는 효과를 제공한다.The system and method for synthesized moving picture reproduction through selection of a real-time environment object according to an embodiment of the present invention is characterized in that in the step of displaying each 3D environment object, The object object is further displayed on the display module so that the user can feel the fun of viewing the video in which the object object is synthesized in advance in each 3D environment object and can help to select the desired 3D environment object do.

도 1은 본 발명의 실시예에 따른 합성동영상 재생 시스템을 도시하는 구성도.
도 2는 본 발명의 실시예에 따른 환경객체 로우 데이터의 구성을 도시하는 예시도.
도 3은 본 발명의 실시예에 따른 복수의 원본동영상의 리스트를 그래픽 형식으로 나타낸 것을 도시하는 예시도.
도 4는 본 발명의 실시예에 따른 원본동영상의 리스트 중 어느 하나의 원본동영상의 선택을 입력부를 통해 사용자로부터 수신하는 것을 도시하는 예시도.
도 5는 본 발명의 실시예에 따른 시간 A에서의 선택된 원본동영상과 3D 환경객체를 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도.
도 6은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상과 3D 환경객체를 디스플레이 모듈 상에 디스플레이하고, 3D 환경객체 중 어느 하나의 선택을 입력부를 통해 사용자로부터 수신하는 것을 도시하는 예시도.
도 7은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치 선택된 3D 환경객체와 맞는 크기로 축소하여 배치한 합성동영상과 3D 환경객체를 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도.
도 8은 본 발명의 실시예에 따른 시간 C에서의 선택된 원본동영상과, 시간 C에서의 선택된 원본동영상의 피사체 객체를 3D 환경객체의 피사체 객체 합성위치에 각각 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도.
도 9는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법을 도시하는 흐름도.
도 10은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 조명 데이터를 추가로 이용하여 렌더링하는 것을 도시하는 흐름도.
도 11은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체 객체의 위치를 이용하는 것을 도시하는 흐름도.
도 12는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체 객체의 크기를 이용하는 것을 도시하는 흐름도.
도 13은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 3D 환경객체에 피사체 객체를 배치한 것을 도시하는 흐름도.
도 14는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 3D 환경객체를 렌더링하여 디스플레이 하는 것을 도시하는 흐름도.
도 15는 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 3D 환경객체를 카메라 워크 및/또는 조명 데이터를 이용하여 렌더링하여 디스플레이 하는 것을 도시하는 흐름도.
도 16은 본 발명의 실시예에 따른 선택된 원본동영상의 카메라 워크의 실시예를 도시하는 예시도.
도 17은 본 발명의 실시예에 따른 선택된 원본동영상의 조명 데이터를 도시하는 예시도.
도 18은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 카메라 워크의 위치 및 방향을 도시하는 예시도.
도 19는 본 발명의 실시예에 따른 시간 B에서의 피사체 객체의 프레임 상에서의 위치를 도시하는 예시도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a configuration diagram showing a synthetic moving picture reproduction system according to an embodiment of the present invention; FIG.
2 is an exemplary diagram showing a configuration of environment object row data according to an embodiment of the present invention;
FIG. 3 is an exemplary diagram showing a list of a plurality of original moving pictures in a graphic format according to an embodiment of the present invention; FIG.
4 is an exemplary diagram showing reception of a selection of one of the original moving pictures from a list of original moving pictures according to an embodiment of the present invention from a user through an input unit;
5 is an exemplary diagram illustrating displaying selected original moving images and 3D environment objects at time A on a display module according to an embodiment of the present invention.
Figure 6 is an exemplary diagram illustrating displaying selected original moving images and 3D environment objects at time B according to an embodiment of the present invention on a display module and receiving selection of any one of the 3D environment objects from the user through an input .
FIG. 7 is a flow chart illustrating a method of displaying a composite moving image and a 3D environment object in which a subject object of a selected original moving image at a time B according to an embodiment of the present invention is reduced to a size matching with a selected 3D environment object, Fig. 8 is an exemplary diagram illustrating display on a module; Fig.
FIG. 8 is a flow chart illustrating a method of displaying a synthesized moving image in which a selected original moving picture at time C and a selected moving image selected at time C are respectively arranged at a position where a subject object is synthesized in a 3D environment object according to an embodiment of the present invention, Fig.
9 is a flow chart illustrating a computer implemented method for composite video playback through selection of real-time environment objects according to an embodiment of the present invention.
FIG. 10 is a flow chart illustrating rendering using additional lighting data in a computer implemented method for composite moving picture reproduction through real-time environmental object selection according to an embodiment of the present invention.
FIG. 11 is a flow chart illustrating the use of a location of a subject object in a computer implemented method for composite moving picture playback through selection of a real-time environment object according to an embodiment of the present invention.
FIG. 12 is a flow chart illustrating the use of the size of a subject object in a computer-implemented method for composite video playback through selection of a real-time environment object according to an embodiment of the present invention.
FIG. 13 is a flowchart illustrating a method of implementing a computer for synthesized moving picture reproduction by selecting a real-time environment object according to an embodiment of the present invention, in which object objects are arranged in a 3D environment object.
Figure 14 is a flow diagram illustrating rendering and displaying a 3D environment object in a computer implemented method for composite video playback through selection of a real-time environment object according to an embodiment of the present invention.
15 is a flow chart illustrating rendering and displaying 3D environment objects using camera work and / or lighting data in a computer implemented method for composite moving picture playback through real-time environment object selection according to an embodiment of the present invention.
16 is an exemplary view showing an embodiment of a camera work of a selected original moving picture according to an embodiment of the present invention;
FIG. 17 is an exemplary view showing illumination data of a selected original moving picture according to an embodiment of the present invention; FIG.
18 is an exemplary diagram showing the position and direction of the camera work of the selected original moving picture at time B according to the embodiment of the present invention;
FIG. 19 is an exemplary diagram showing a position of a subject object on a frame at time B according to an embodiment of the present invention; FIG.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정 해석되어서는 안 되며, 자신의 발명을 최선의 방법으로 설명하기 위해 발명자가 용어와 개념을 정의할 수 있는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.The terms and words used in the present specification and claims should not be construed in a conventional or dictionary sense and should be construed in accordance with the principles by which the inventor can define terms and concepts to best describe his invention And should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention.

따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 일 실시예에 해당하며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로 해당 구성은 본 발명의 출원시점에서 이를 대체할 다양한 균등물과 변형예가 있을 수 있다.Therefore, the embodiments described in the present specification and the configurations shown in the drawings correspond to the preferred embodiments of the present invention and do not represent all the technical ideas of the present invention. Therefore, There may be equivalents and variations.

명세서 전반에서 어떠한 부분이 어떤 구성요소를 "포함"한다는 기재는, 이에 대한 특별한 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 "..모듈", "..부", "..시스템" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있으며, 하나의 장치 또는 각각 다른 장치에 포함될 수 있다.The specification that "comprises" any element in any specification throughout the specification does not exclude other elements, but may also include other elements, unless the context clearly indicates otherwise. The terms " module, "" part," " system, "and the like, which are described in the specification, mean a unit for processing at least one function or operation, And may be included in one device or in another device.

이하에서는 도면을 참조하여 본 발명에 따른 실시간 환경객체 선택을 통한 합성동영상(video_composite) 재생 시스템(10)을 설명한다.Hereinafter, a composite video (video_composite) reproduction system 10 through real-time environment object selection according to the present invention will be described with reference to the drawings.

도 1은 본 발명의 실시예에 따른 합성동영상 재생을 위한 시스템(10)을 도시한다. 본 발명에 따른 시스템(10)은 디스플레이 모듈(110), 프로세서(120), 입력부(160), 및 합성동영상 재생 애플리케이션(140)을 저장하는 저장모듈(130)을 갖는 사용자 단말장치(100) 및 사용자 단말장치(100)와 통신가능하게 연결되고, 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터가 저장된 데이터베이스(310)를 갖는 서버(300)를 포함하여 구성된다. Figure 1 illustrates a system 10 for synthetic moving picture playback according to an embodiment of the present invention. A system 10 according to the present invention includes a user terminal 100 having a display module 110, a processor 120, an input 160, and a storage module 130 for storing a composite video playback application 140, A server 300 communicably connected to the user terminal device 100 and having a database 310 storing a plurality of environment objects raw data including 3D environment objects and object object compositing positions, .

상술한 복수의 환경객체 로우 데이터는 사용자 단말장치(100)와 별도의 서버(300)에 포함된 데이터베이스(310)에 저장되어 있지만, 사용자 단말장치(100)의 저장모듈(130)에 저장되는 것도 가능하다. 이 경우, 별도의 서버(300)가 필요없이 사용자 단말장치(100) 상에서 합성동영상 재생 애플리케이션(140)의 모든 처리가 가능할 수 있다. 또한, 복수의 환경객체 로우 데이터가 별도로 저장되지 않고, 제 3자의 단말장치의 카메라, 예컨대 도 1에 도시된 통신망에 연결된 카메라(210)에 의해 촬영 및 생성되어 실시간으로 전송될 수도 있다.Although the plurality of environment object row data are stored in the database 310 included in the server 300 separate from the user terminal 100, the environment object row data may be stored in the storage module 130 of the user terminal 100 It is possible. In this case, all processing of the composite moving picture reproduction application 140 can be performed on the user terminal device 100 without the need of a separate server 300. In addition, a plurality of environmental object row data may not be stored separately, but may be captured and generated by a camera of a third party terminal device, for example, a camera 210 connected to the communication network shown in FIG. 1, and transmitted in real time.

한편, 사용자 단말장치(100)는 예컨대 스마트폰, 태블릿 PC 등과 같은 범용적 정보처리 단말장치이거나 차량용 인포테인먼트 장치 또는 멀티미디어 파일을 재생하기 위한 동영상 플레이어 장치와 같은 특정기능에 특화된 정보처리 단말장치 등을 예시할 수 있다. 도 3 내지 도 8에 도시된 바와 같이, 본 발명의 일 실시예에서는 태블릿 PC를 예로 들어 설명한다.On the other hand, the user terminal device 100 is an example of a general-purpose information processing terminal device such as a smart phone or a tablet PC, or an information processing terminal device specialized for a specific function such as a vehicle infotainment device or a video player device for reproducing a multimedia file can do. 3 to 8, an embodiment of the present invention will be described by taking a tablet PC as an example.

디스플레이 모듈(110)은 터치스크린일 수 있다. 터치스크린은 디스플레이 상에 형성되는 터치 감응식 유저 인터페이스를 위한 터치 감지장치를 포함하여 구성된다. 터치 감지장치는 사용자의 손가락을 포함하는 신체의 접촉 또는 스타일러스 펜과 같은 물체의 접촉을 감지하고, 일정 방향으로의 접촉점의 이동으로 구현되는 슬라이드 동작을 감지하는 기능을 수행한다. 본 발명에서의 터치스크린에 대한 접촉은 터치스크린 표면에 대한 직접 접촉 뿐 아니라 터치스크린 표면에 대한 10 mm 이내의 근접(근접 터치, hovering)을 포함한다. 터치스크린의 구현방식은 특별히 제한되지 않으며 예컨대 정전용량방식 또는 저항막(resistive overlay)을 이용한 감압식으로 구현될 수 있고, 표면 초음파 또는 적외선을 이용한 방식 등으로 구현될 수 있다. The display module 110 may be a touch screen. The touch screen includes a touch sensing device for a touch sensitive user interface formed on a display. The touch sensing apparatus senses contact of a body including a user's finger or an object such as a stylus pen, and performs a function of sensing a slide operation realized by movement of a contact point in a predetermined direction. Contact to the touch screen in the present invention includes direct contact to the touch screen surface as well as proximity (hovering) within 10 mm to the touch screen surface. The implementation method of the touch screen is not particularly limited and may be implemented by, for example, a capacitive type or a resistive type using a resistive overlay, or a surface ultrasonic wave or an infrared ray.

프로세서(120)는 중앙처리장치 또는 모바일 프로세서(120)를 예시할 수 있으며 애플리케이션/프로그램의 명령어 집합에 따른 연산처리를 수행한다. 프로세서(120)는 단일의 연산처리장치 또는 복수개의 연산처리장치로 구성될 수 있다.Processor 120 may illustrate a central processing unit or mobile processor 120 and perform arithmetic processing according to an instruction set of an application / program. The processor 120 may be composed of a single processing unit or a plurality of processing units.

저장모듈(130)은 합성동영상 재생 애플리케이션(140)을 저장하는 기능을 수행하며, 합성동영상 재생 애플리케이션(140)을 위해 필요한 데이터를 저장하는 기능을 수행한다. 저장모듈(130)은 특별히 제한되지 않으며 메모리 소자, 자기적 저장매체, 광학적 저장매체 등으로 구현될 수 있다.The storage module 130 functions to store the composite moving picture reproduction application 140 and to store data necessary for the combined moving picture reproduction application 140. [ The storage module 130 is not particularly limited and may be implemented as a memory device, a magnetic storage medium, an optical storage medium, or the like.

입력부(160)는 터치스크린, 키보드, 마우스, 및 별도의 조작 버튼일 수 있다. 본 발명에서는 태블릿 PC의 터치스크린을 입력부(160)의 예로 들어 설명하지만, 이에 한정되지 않는다.The input unit 160 may be a touch screen, a keyboard, a mouse, and a separate operation button. In the present invention, the touch screen of the tablet PC is described as an example of the input unit 160, but the present invention is not limited thereto.

합성동영상 재생 애플리케이션(140)은 예컨대 다운로드를 통해 스마트폰에 설치되는 애플리케이션 또는 웹브라우저를 통해 구동될 수 있다. 합성동영상 재생 애플리케이션(140)은 사용자 단말장치(100)의 저장모듈(130)에 설치되고 프로세서(120)에 의해 구동되어 다음의 단계들을 프로세서(120)가 수행하도록 하는 명령어의 조합으로 구성된다. 한편, 합성동영상 재생 애플리케이션(140)은 서버(300)에 저장되고 서버(300)의 프로세서에 의해 처리될 수도 있다. 합성동영상 재생 애플리케이션(140)에 의해 프로세서(120)는 다음의 단계들을 수행하게 된다. 이하에서는 도 9 내지 도 15를 참조하여 각 단계를 상세히 설명한다.The composite video playback application 140 may be run through an application or web browser installed on the smartphone, for example, via download. The composite video playback application 140 is comprised of a combination of instructions that are installed in the storage module 130 of the user terminal device 100 and are driven by the processor 120 to cause the processor 120 to perform the following steps. Meanwhile, the composite moving picture playback application 140 may be stored in the server 300 and processed by the processor of the server 300. [ The synthesized moving picture playback application 140 causes the processor 120 to perform the following steps. Hereinafter, each step will be described in detail with reference to FIGS. 9 to 15. FIG.

피사체 객체란 원본동영상(video_original)에 포함되고, 원본동영상과 연관된 카메라 워크를 이용하여 실제 카메라에 의해 촬영된 요소일 수 있다. 또한, 피사체 객체는 2D 또는 3D 객체를 가상 카메라에 의해 촬영된 요소일 수도 있으며, 이에 한정되는 것은 아니다. The subject object is included in the original video (video_original), and may be an element photographed by an actual camera using a camera work associated with the original video. In addition, the object object may be a 2D or 3D object taken by a virtual camera, but is not limited thereto.

환경객체 로우 데이터의 3D 환경객체는 추출된 피사체 객체가 합성될 대상인, 예컨대 전경, 배경 등일 수 있으며, 다양한 형태, 예컨대, 3D 모델링 프로그램에 의해 모델링된 데이터(와이어프레임 데이터) 및 동영상에서 특정 3D 변환 알고리즘에 의해 추출된 3D 객체 데이터 등 다양한 형태로 구현 가능하다. 이러한 3D 환경객체는 렌더링이 되지 않거나 동영상이 아닌 로우 데이터 상태이므로, 저장모듈(110)의 저장공간을 줄일 수 있고, 3D 환경객체의 변경 및 업데이트도 가능한 장점이 있다.The 3D environment object of the environment object row data may be an object to which the extracted object object is to be synthesized, for example, foreground, background, and the like, and may include various types of data (wire frame data) modeled by a 3D modeling program, And 3D object data extracted by an algorithm. Since the 3D environment object is not rendered or is a raw data state rather than a moving image, the storage space of the storage module 110 can be reduced, and 3D environment objects can be changed and updated.

우선, 도 2에 도시된 바와 같이, 3D 환경객체와 피사체 객체 합성위치(data_composite position_subject)를 포함하는 복수의 환경객체 로우 데이터를 데이터베이스(310)에 저장하는 단계(s100)를 수행한다. 여기서, 복수의 환경객체 로우 데이터를 서버(300)의 데이터베이스(310)에 저장하였지만, 사용자 단말장치(100)의 저장모듈(130)에 저장할 수 있다. 한편, 복수의 환경객체 로우 데이터를 특정한 저정 장치에 저장하지 않고, 실시간으로 다른 복수의 사용자 단말장치에서 생성 또는 저장된 복수의 환경객체 로우 데이터를 실시간으로 이용할 수도 있다.First, as shown in FIG. 2, a plurality of environment object row data including a 3D environment object and a position of a subject object (data_composite position_subject) is stored in the database 310 (S100). Here, a plurality of environment object row data are stored in the database 310 of the server 300, but may be stored in the storage module 130 of the user terminal 100. On the other hand, a plurality of environment object row data generated or stored in the plurality of other user terminal devices in real time can be used in real time without storing a plurality of environment object row data in a specific storage device.

도 2에 도시된 바와 같이, 환경객체 로우 데이터는 피사체 객체 합성위치를여러개 포함할 수 있다(도 2에는 2개). 피사체 객체 합성위치는 3D 환경객체의 내부에 존재할 수도 있고, 외부에 존재할 수도 있다.As shown in FIG. 2, the environment object row data may include several object object compositing positions (two in FIG. 2). The object object compositing position may exist inside the 3D environment object or may exist outside the 3D environment object.

다음으로, 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 디스플레이 모듈(110) 상에 디스플레이하는 단계(s200)를 수행한다. 도 3에 도시된 바와 같이, 복수의 원본동영상의 리스트를 대표 이미지 형태의 그래픽 형식으로 나타낼 수도 있고, 단순히 문자 형식으로 나타낼 수도 있다. 복수의 원본동영상은 서버(300)의 데이터베이스(310) 또는 사용자 단말장치(100)의 저장모듈(130)에 미리 저장될 수 있다. 한편, 원본동영상을 따로 미리 저장하지 않고 카메라로 촬영한 동영상을 실시간으로 전송받을 수도 있다. 카메라는 동영상 촬영이 가능한 캠코더, 방송용 카메라, 스마트폰의 카메라 모듈일 수 있다. 또한, 카메라는 별도의 이동 가능한 마운팅 장치에 탑재되어, 팬(pan) 및 틸트(tilt)를 구현할 수 있다. 한편, 도 1에 도시된 바와 같이, 사용자 단말장치(100)의 통신모듈(150)에 통신망을 거쳐서 연결된 카메라(210)로부터 실시간으로 송출되는 원본동영상을 이용할 수 있다. Next, a step of displaying on the display module 110 a list of a plurality of original movies, in which the composite moving picture reproducing application has a subject object, each original movie being associated with metadata having a camera work corresponding to the subject object (s200). As shown in FIG. 3, a list of a plurality of original moving pictures may be represented in a graphical form in the form of a representative image, or simply in a character form. A plurality of original moving images may be stored in advance in the database 310 of the server 300 or the storage module 130 of the user terminal 100. [ On the other hand, it is possible to receive a moving picture shot by a camera in real time without storing the original moving picture in advance. The camera may be a camera module of a camcorder, a camera for broadcasting, or a camera module of a smart phone. In addition, the camera may be mounted on a separate, movable mounting device to implement a pan and tilt. As shown in FIG. 1, an original moving picture transmitted in real time from the camera 210 connected to the communication module 150 of the user terminal 100 via a communication network can be used.

다음으로, 리스트 중 어느 하나의 원본동영상의 선택을 입력부(160)를 통해 사용자로부터 수신하는 단계(s300)를 수행한다. 도 4에는 사용자가 손가락으로 재생하고 싶어하는 원본동영상의 대표 화면을 터치하는 동작이 도시되어 있다. Next, a step (s300) of receiving the selection of any one of the original videos from the list through the input unit 160 from the user is performed. FIG. 4 shows an operation for the user to touch the representative screen of the original moving image desired to be reproduced with the finger.

다음으로, 선택된 원본동영상과 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 디스플레이 모듈(110) 상에 디스플레이하는 단계(s400)를 수행한다. 선택된 원본동영상과 각각의 3D 환경객체는 자동으로 재생될 수도 있고, 사용자가 재생 버튼을 누르면 재생되게 할 수도 있다. 여기서, 3D 환경객체의 재생은 해당 카메라 워크에 따라 재생될 수 있다. 3D 환경객체는 랜덤으로 배치할 수도 있고, 특정 순서에 따라 배치할 수도 있다. 선택된 원본동영상이 재생될 때 3D 환경객체도 렌더링되어 같이 재생될 수도 있고, 3D 환경객체는 재생되지 않을 수도 있다. 3D 환경객체가 재생되지 않을 경우, 그래픽 형태로 디스플레이되는 대신에 문자 형태로 디스플레이될 수도 있다. 도 5 내지 도 8은 각각 해당 시간 A, B, C에서 해당 선택된 원본동영상, 3D 환경객체, 합성동영상(video_composite)이 재생되는 것을 도시한다. 3D 환경객체가 별도의 공간에 디스플레이 되지만, 선택된 원본동영상에 오버레이되어 디스플레이 될 수 있다. 이 경우 사용자 단말장치(100)의 디스플레이 모듈(110)의 디스플레이 영역을 절약할 수 있다.Next, the respective 3D environment objects of the selected original movie and the plurality of environment object row data are displayed on the display module 110 (S400). The selected original movie and each 3D environment object may be automatically played back or may be played by a user pressing the play button. Here, the reproduction of the 3D environment object can be reproduced according to the corresponding camera work. 3D environment objects can be placed randomly or in a specific order. When the selected original movie is played, the 3D environment object may also be rendered and played back, and the 3D environment object may not be played back. If the 3D environment object is not reproduced, it may be displayed in a character form instead of being displayed in a graphic form. 5 to 8 illustrate that the selected original movie, 3D environment object, and composite video (video_composite) are reproduced at corresponding times A, B, and C, respectively. 3D environment objects are displayed in a separate space, but can be overlaid and displayed on the selected original movie. In this case, the display area of the display module 110 of the user terminal 100 can be saved.

다음으로, 디스플레이된 각각의 3D 환경객체 중 어느 하나의 선택을 입력부(160)를 통해 사용자로부터 수신(s500)를 수행한다. 도 6에 도시된 바와 같이, 시간 B에서, 사용자가 터치스크린을 통해 원하는 3D 환경객체를 선택할 수 있다.Next, a selection of any one of the displayed 3D environment objects is received from the user through the input unit 160 (s500). As shown in Fig. 6, at time B, the user can select the desired 3D environment object via the touch screen.

다음으로, 도 7에 도시된 바와 같이, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 선택된 3D 환경객체와 배치된 피사체 객체를 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 디스플레이 모듈(110) 상에 디스플레이하는 단계(s600)를 수행한다. 시간 B에서, 선택된 원본동영상의 피사체 객체(외곽 실선)가, 예컨대, 도 2에 도시된 바와 같이, 선택된 3D 환경객체, 즉, 절(temple)의 1번 피사체 객체 합성위치(composite position_subject_1)에 이동 배치된다. Next, as shown in FIG. 7, the subject object of the selected original moving picture is arranged at the position of the subject object combination of the selected 3D environment object, and the subject object disposed with the selected 3D environment object is selected using the camera work of the selected original moving picture And a step (s600) of displaying the synthesized moving image on the display module 110 is performed. At time B, the subject object (outline solid line) of the selected original moving picture is moved to the selected 3D environment object, i.e., the composite object position_subject_1 of the first object of the temple, as shown in FIG. .

여기서, 카메라 워크에 대해 간단히 설명한다. 도 16은 본 발명의 실시예에 따른 선택된 원본동영상의 카메라워크의 2가지 예(Case 1, Case 2)를 도시하고 있다. 카메라의 위치(X,Y,Z) 및 팬, 틸트, 줌의 정도가, 시간대(A, B, C) 별로 도시되어 있다(Case 1). 한편, 카메라워크가 프레임 상에서 보여지는 것을 중심으로 한 Case 2가 도시되어 있다. 도 18은 본 발명의 실시예에 따른 선택된 원본동영상의 카메라 워크의 카메라 위치 및 카메라 방향의 일례를 글로벌 좌표(Global Coordinate)로 도시한다. 글로벌 좌표 대신에, 카메라 또는 원본동영상의 특정 지점을 기준으로 한 로컬 좌표도 가능하다.Here, the camera work will be briefly described. 16 shows two examples (Case 1, Case 2) of the camera work of the selected original moving picture according to the embodiment of the present invention. The position (X, Y, Z) of the camera and the degrees of pan, tilt, and zoom are shown for each time period (A, B, C) (Case 1). On the other hand, Case 2 centering on the camera work being displayed on the frame is shown. FIG. 18 shows an example of the camera position and the camera direction of the camera work of the selected original moving picture according to the embodiment of the present invention in global coordinates. Instead of global coordinates, local coordinates based on a camera or a specific point in the original video are also possible.

선택된 3D 환경객체와 배치된 피사체 객체를 선택된 원본동영상의 카메라 워크를 이용하여 렌더링하였지만, 선택된 원본동영상의 조명 데이터(data_lighting)를 더 이용하여 렌더링할 수도 있다(s160). 여기서 조명 데이터(data_lighting)는 피사체 객체에 대응하는데, 피사체 객체 촬영시의 해당 시간 별 조명 데이터이다. 조명 데이터(data_lighting)는 도 1에 도시된 바와 같이 원본동영상의 메타데이터에 포함되고, 도 17에 도시된 바와 같이, 해당 시간별로 위치, 밝기, 방향, 색상 중 적어도 어느 하나를 가질 수 있다.Although the selected 3D environment object and the disposed object object are rendered using the camera work of the selected original moving image, the illumination data (data_lighting) of the selected original moving image may be further rendered (s160). Here, the illumination data (data_lighting) corresponds to a subject object, and is illumination data for each time when the subject object is photographed. As shown in FIG. 17, the illumination data (data_lighting) is included in the metadata of the original moving picture as shown in FIG. 1 and may have at least one of position, brightness, direction, and hue for each time.

한편, 피사체 객체 합성위치(composite position_subject)가 다수개 존재할 경우 재생될 동영상 프레임 밖에 존재하는 피사체 객체 합성위치(composite position_subject)는 선택에서 배제할 수 있다. 피사체 객체 합성위치(composite position_subject)와 원본동영상의 피사체 객체의 원래 위치가 합성될 프레임 상에서 많이 차이가 날 수 있다. 이 경우, 시청자에게 색다른 재미를 줄 수도 있다. 다음으로, 피사체 객체 합성위치(composite position_subject)와 원본동영상의 피사체 객체의 원래 위치가 합성될 프레임 상에서 많이 차이가 나지 않도록 구현하는 방법에 대해 설명한다.On the other hand, when there are a plurality of object position composite positions (composite position_subjects), the position of the object position object (composite position_subject) existing outside the moving picture frame to be reproduced can be excluded from the selection. The position of the object object (composite position_subject) and the original position of the object object of the original moving picture may differ greatly in the frame to be combined. In this case, the viewer may have a different kind of fun. Next, a description will be given of a method for realizing such that the position of the object object composite (composite position_subject) and the original position of the object object of the original moving image are not greatly different on the frame to be synthesized.

도 11은 본 발명의 실시예에 따른 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에서, 피사체 객체의 위치와 피사체 객체 합성위치(composite position_subject)를 추가로 비교하는 것을 도시하는 흐름도이다. 도 9와 동일한 부분을 제외하고, 피사체 객체의 위치를 추가로 비교하는 방법에 대해서 설명한다.11 is a flowchart illustrating a method for further performing a comparison of a position of a subject object and a position of a subject object (composite position_subject) in a computer implemented method for reproducing a composite moving picture by selecting a real-time environment object according to an embodiment of the present invention. A method for further comparising the position of the object object, except for the same portion as in FIG. 9, will be described.

우선, 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계(s310)를 수행한다. 도 19에 도시된 바와 같이 피사체 객체의 위치는 특정 프레임, 예컨대 시간 B에서의 원본동영상의 프레임 상에서의 위치일 수 있다. 한편, 도 18과 같은 절대 좌표에서, 기준점(0,0,0)을 설정하고 원본 동영상에서의 특정 지점을 미리 설정하고, 깊이 측정(depth-sensing) 기능이 있는 비디오카메라를 사용하여, 비디오카메라와 피사체 객체 및 상술한 특정 지점 간의 상대적 위치를 실시간으로 연산할 수 있다. 특정 프레임 상에서의 피사체 객체의 위치는 일반적인 이미지 프로세싱 기술을 사용하여 계산할 수 있으므로, 자세한 설명은 생략한다. 영상의 깊이 측정방식은 Microsoft사의 Kinnect 및 Intel사의 RealSense Camera를 통해 상용화된 적외선 패턴 인식 방식을 통해 구현하거나 Lytro사에 의해 상용화된 마이크로 렌즈 어레이(Micro Lens Array)를 통한 라이트필드(Light Field) 방식을 예시할 수 있다. 일반적인 멀티 카메라 방식에 의한 깊이 측정의 경우 별도의 센서가 필요하지 않을 수도 있다. First, a step of extracting the position of a subject object of the selected original moving picture is performed (s310). As shown in FIG. 19, the position of the subject object may be a position on a frame of the original moving picture in a specific frame, for example, time B. On the other hand, in the absolute coordinates as shown in FIG. 18, a reference point (0, 0, 0) is set, a specific point in the original moving picture is set in advance, and a video camera having a depth- The relative position between the subject object and the specific point described above can be calculated in real time. Since the position of a subject object on a specific frame can be calculated using a general image processing technique, a detailed description will be omitted. The depth measurement method of image is implemented by commercially available infrared pattern recognition method through Microsoft's Kinnect and Intel's RealSense Camera, or by light field method through a micro lens array (commercialized by Lytro) For example. In the case of depth measurement by a general multi-camera method, a separate sensor may not be necessary.

다음으로, 선택된 원본동영상의 피사체 객체의 위치와 각각의 3D 환경객체의 해당 피사체 객체 합성위치(composite position_subject)를 비교하고, 유사성이 높은 적어도 하나의 피사체 객체 합성위치(composite position_subject)를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치(composite position_subject)에 각각 대응하는 적어도 하나의 유사 3D 환경객체(3D environment object_similar)를 결정하는 단계(s320)를 수행한다.Next, the position of the object object of the selected original moving image is compared with the corresponding position of the object object (composite position_subject) of each 3D environment object, at least one object position composite position (composite position_subject) having high similarity is selected, (S320) of determining at least one 3D environment object_similar corresponding to each of at least one object position (composite position_subject).

도 10은 본 발명의 실시예에 따른 시간 B에서의 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치(composite position_subject)에 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 것을 도시하는 예시도이다. 그런데, 외곽 실선으로 도시된 피사체 객체와 선택된 3D 환경객체의 상대적 크기가 맞지 않아, 도시된 바와 같이 크기를 조정(축소)할 필요가 있다. 이를 위해, 도 12에 도시된 바와 같이, 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계(s330)와 선택된 3D 환경객체의 크기를 추출하는 단계(s510)를 수행한다. 이후에, 선택된 원본동영상의 피사체 객체를 선택된 3D 환경객체의 피사체 객체 합성위치(composite position_subject)에 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 배치한 합성동영상을 디스플레이 모듈 상에 디스플레이하는 단계(s630)를 수행한다. s330단계 및 s630단계로부터 원본동영상의 피사체 객체에 대한 3D 환경객체의 상대적 크기를 알 수 있으므로, 해당 동영상 프레임 상에서의 3D 환경객체의 크기를 계산하면 쉽게 해당 동영상 프레임에서 합성될 선택된 원본동영상의 피사체 객체의 크기를 계산할 수 있다.FIG. 10 is a diagram showing an example of displaying a composite moving picture in which a subject object of a selected original moving image at time B according to an embodiment of the present invention is placed in a composite object position of a selected 3D environment object (composite position_subject) . However, since the relative sizes of the object object and the selected 3D environment object shown in the outline solid line do not match, it is necessary to adjust (reduce) the size as shown. To do this, as shown in FIG. 12, a step of extracting a size of a subject object of the selected original moving image (s330) and a step of extracting the size of the selected 3D environment object (s510) are performed. Thereafter, displaying the composite moving image on the display module in which the object object of the selected original moving image is scaled so that the relative size of the selected 3D moving object is matched with the 3D environment object selected in the composite object position (composite position_subject) of the selected 3D environment object s630). Since the relative size of the 3D environment object for the object object of the original moving picture can be known from the steps S330 and S630, the size of the 3D environment object on the moving picture frame can be easily calculated, Can be calculated.

한편, 도 8에 도시된 바와 같이, 피사체 객체를 복수의 3D 환경객체 각각의 피사체 객체 합성위치(composite position_subject)에 배치한 합성동영상을 디스플레이 모듈(110) 상에 더 디스플레이하도록 할 수 있다(도 13, s420). 이 경우 사용자는 각각의 3D 환경객체에 피사체 객체가 합성된 동영상을 보는 재미를 느낄 수 있고, 원하는 3D 환경객체를 선택하는데 도움을 받을 수 있다. 도 15에 도시된 바와 같이, 각각의 3D 환경객체를 렌더링하여 디스플레이할 수 있고(s440), 이 경우, 도 16에 도시된 바와 같이, 선택된 원본동영상의 카메라 워크 및 선택된 원본동영상의 조명 데이터(data_lighting) 중 적어도 어느 하나를 이용하여 렌더링할 수 있다(s450). 결과적으로, 보다 자연스럽고 사실적인 선택가능한 합성동영상을 유저에게 제공할 수 있다.On the other hand, as shown in FIG. 8, a composite moving image in which a subject object is arranged in a composite object position of each of a plurality of 3D environment objects (composite position_subject) can be displayed on the display module 110 , s420). In this case, the user can feel the pleasure of viewing the video in which the object object is synthesized in each 3D environment object, and can help to select the desired 3D environment object. 15, each 3D environment object can be rendered and displayed (s440). In this case, as shown in Fig. 16, the camera work of the selected original movie and the lighting data of the selected original movie data_lighting ) (S 450). As a result, a more natural and realistic selectable composite video can be provided to the user.

한편, 복수의 3D 환경객체가 별도로 저장되지 않고, 제 3자의 단말장치로부터 촬영된 동영상이 이미지 처리 프로세싱에 의해 실시간으로 3D 환경객체로 변환되어 사용자 단말장치(100)로 전송될 경우, 사용자는 실시간으로 자연스로운 콜라보레이션 동영상을 시청할 수 있다.On the other hand, when a plurality of 3D environment objects are not separately stored and a moving picture photographed from a terminal device of a third party is converted into a 3D environment object in real time by image processing and transmitted to the user terminal device 100, You can watch a natural collaboration video.

본 명세서에서의 발명의 설명은 바람직한 실시예를 설명하는 것으로, 본 발명은 이러한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 이상의 실시예에 대한 다양한 변경과 수정이 가능하고, 본 발명의 기술적 사상은 이러한 다양한 변경과 수정을 모두 포함한다.The description of the invention in this specification is for illustrative purposes only, and the invention is not limited to these embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. .

시스템(10) 사용자 단말장치(100)
디스플레이 모듈(110) 프로세서(120)
저장모듈(130)
합성동영상 재생 애플리케이션(140) 통신모듈(150)
입력부(160) 카메라(210)
서버(300) 데이터베이스(310)System 10 User terminal device 100
Display module 110 Processor 120,
The storage module (130)
The composite video playback application (140) communication module (150)
The input unit 160, the camera 210,
The server 300 database 310,

Claims (16)

디스플레이 모듈, 프로세서, 입력부, 및 합성동영상 재생 애플리케이션을 저장하는 저장모듈;을 갖는 사용자 단말장치; 및
상기 사용자 단말장치와 통신가능하게 연결되고, 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터가 저장된 데이터베이스를 갖는 서버;를 포함하여 구성되는 시스템에 있어서,
상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 상기 디스플레이 모듈 상에 디스플레이하는 단계;
상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계;
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계;
상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
A storage module for storing a display module, a processor, an input unit, and a synthesized moving picture playback application; And
A server communicably connected to the user terminal device and having a database storing a plurality of environment objects raw data including a 3D environment object and a position of object object synthesis, ,
The composite moving picture playback application may be configured such that,
Displaying on the display module a list of a plurality of original videos in which the composite video playing application has a subject object, each original video being associated with metadata having a camera work corresponding to the subject object;
The composite moving picture playback application receiving a selection of one of the original moving pictures from the user through the input unit;
The composite moving picture playback application displaying each 3D environment object of the selected original moving image and the plurality of environmental object row data on the display module;
The composite moving picture playback application receiving a selection of any one of the displayed respective 3D environment objects from the user via the input unit; And
The synthesized moving picture playback application arranges a subject object of the selected original moving picture at a position of a subject object synthesis position of the selected 3D environment object and outputs the selected 3D environment object and the placed subject object And displaying the rendered composite moving picture on the display module. ≪ Desc / Clms Page number 20 >
제 1 항에 있어서, 상기 각각의 원본동영상은,
상기 피사체 객체에 대응하는 조명 데이터 - 상기 조명 데이터는 방향, 색상, 밝기, 위치 중 적어도 어느 하나를 포함하고 - 를 갖는 상기 메타데이터와 더 연관되고,
상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 조명 데이터를 더 이용하여 렌더링하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
The method according to claim 1,
Illumination data corresponding to the subject object, the illumination data being further associated with the metadata having at least one of direction, color, brightness, position,
Characterized in that in the step of displaying the composite moving picture, the composite moving picture reproduction application causes the selected 3D environment object and the arranged object object to be further rendered using the lighting data, system.
제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계; 및
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체의 위치와 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치를 비교하고, 상기 피사체 객체의 위치를 기준으로 일정 범주에 부합하는 적어도 하나의 피사체 객체 합성위치를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치에 각각 대응하는 적어도 하나의 3D 환경객체를 결정하는 단계;를 추가로 포함하여 수행하도록 구성되고,
상기 각각의 환경객체의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체 중에서 상기 적어도 하나의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
2. The method of claim 1, wherein the composite moving picture playback application further comprises:
Extracting a position of a subject object of the selected original moving picture; And
The synthesized moving picture playback application compares the position of the subject object of the selected original moving image with the position of the corresponding subject object of each 3D environment object, and determines at least one subject corresponding to a certain category based on the position of the subject object Selecting an object compositing position and determining at least one 3D environment object corresponding to each selected at least one object object compositing position,
Characterized in that in the step of displaying the 3D environment objects of the respective environment objects, the synthetic moving picture reproduction application displays the at least one 3D environment object among the respective 3D environment objects on the display module Composite video playback system with object selection.
제 3 항에 있어서, 상기 추출된 피사체 객체의 위치는,
상기 원본동영상의 해당 프레임 상의 피사체 객체의 위치인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
4. The method according to claim 3,
Wherein the position of the object on the corresponding frame of the original moving picture is a position of the object on the corresponding frame of the original moving picture.
제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계; 및
상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고,
상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 상기 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
2. The method of claim 1, wherein the composite moving picture playback application further comprises:
Extracting a size of a subject object of the selected original moving picture; And
Further comprising: extracting a size of the selected 3D environment object by the synthetic moving picture playback application,
The synthesized moving image playback application scales the subject object of the selected original moving image so that the relative size of the selected 3D environment object to the selected object of the 3D environment object matches the position of the selected object of the 3D environment object Wherein the object is selected by a user.
제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체 객체를 상기 디스플레이 모듈 상에 더 디스플레이하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
2. The method of claim 1, wherein the composite moving picture playback application further comprises:
In the step of displaying each of the 3D environment objects, the composite moving picture playback application further displays on the display module the subject object of the selected original moving image arranged at a position of the corresponding object object in each of the 3D environment objects Wherein the object is selected by a user.
제 1 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
2. The method of claim 1, wherein the composite moving picture playback application further comprises:
Wherein the step of displaying each 3D environment object causes the composite video playback application to render and display each of the 3D environment objects.
제 2 항에 있어서, 상기 합성동영상 재생 애플리케이션은, 상기 프로세서가,
상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 상기 선택된 원본동영상의 상기 카메라 워크 및 상기 선택된 원본동영상의 조명 데이터 중 적어도 어느 하나를 이용하여 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생 시스템.
3. The method of claim 2, wherein the synthetic moving picture playback application further comprises:
In the step of displaying the 3D environment objects, the synthetic moving picture reproduction application renders each of the 3D environment objects using at least one of the camera work of the selected original moving image and the illumination data of the selected original moving image And displaying the synthesized moving image on the display unit.
실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법에 있어서,
합성동영상 재생 애플리케이션이 3D 환경객체와 피사체 객체 합성위치를 포함하는 복수의 환경객체(environment object) 로우(raw) 데이터를 저장모듈에 저장하는 단계;
상기 합성동영상 재생 애플리케이션이 피사체 객체를 갖는 복수의 원본동영상의 리스트 - 각각의 원본동영상은 상기 피사체 객체에 대응하는 카메라 워크를 갖는 메타데이터와 연관됨 - 를 사용자 단말기의 디스플레이 모듈 상에 디스플레이하는 단계;
상기 합성동영상 재생 애플리케이션이 상기 리스트 중 어느 하나의 원본동영상의 선택을 상기 사용자 단말기의 입력부를 통해 사용자로부터 수신하는 단계;
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상과 상기 복수의 환경객체 로우 데이터의 각각의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하는 단계;
상기 합성동영상 재생 애플리케이션이 상기 디스플레이된 상기 각각의 3D 환경객체 중 어느 하나의 선택을 상기 입력부를 통해 사용자로부터 수신하는 단계; 및
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 배치하고, 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 선택된 원본동영상의 카메라 워크를 이용하여 렌더링한 합성동영상을 상기 디스플레이 모듈 상에 디스플레이하는 단계;를 포함하여 수행하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
A computer-implemented method for synthesized moving picture reproduction by selecting a real-time environment object,
Storing a plurality of environment object raw data in a storage module, wherein the composite moving picture playback application includes a 3D environment object and a position of object object synthesis;
Displaying on the display module of the user terminal a list of a plurality of original videos in which the composite video playback application has a subject object, each original video being associated with metadata having a camera work corresponding to the subject object;
The composite moving picture playback application receiving a selection of one of the original moving pictures from a user through an input unit of the user terminal;
The composite moving picture playback application displaying each 3D environment object of the selected original moving image and the plurality of environmental object row data on the display module;
The composite moving picture playback application receiving a selection of any one of the displayed respective 3D environment objects from the user via the input unit; And
The synthesized moving picture playback application arranges a subject object of the selected original moving picture at a position of a subject object synthesis position of the selected 3D environment object and outputs the selected 3D environment object and the placed subject object And displaying the rendered composite moving picture on the display module. The computer-implemented method of claim 1,
제 9 항에 있어서,
상기 각각의 원본동영상은, 상기 피사체 객체에 대응하는 조명 데이터 - 상기 조명 데이터는 방향, 색상, 밝기, 위치 중 적어도 어느 하나를 포함하고 - 를 갖는 상기 메타데이터와 더 연관되고,
상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체와 상기 배치된 피사체 객체를 상기 조명 데이터를 더 이용하여 렌더링하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
10. The method of claim 9,
Wherein each of the original moving pictures is further associated with the metadata having illumination data corresponding to the subject object, the illumination data including at least one of direction, color, brightness, and position,
Characterized in that in the step of displaying the composite moving picture, the composite moving picture reproduction application causes the selected 3D environment object and the arranged object object to be further rendered using the lighting data, A computer implemented method for.
제 9 항에 있어서,
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 위치를 추출하는 단계; 및
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체의 위치와 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치를 비교하고, 상기 피사체 객체의 위치를 기준으로 일정 범주에 부합하는 적어도 하나의 피사체 객체 합성위치를 선택하고, 선택된 적어도 하나의 피사체 객체 합성위치에 각각 대응하는 적어도 하나의 3D 환경객체를 결정하는 단계;를 추가로 포함하여 수행하도록 구성되고,
상기 각각의 환경객체의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체 중에서 상기 적어도 하나의 3D 환경객체를 상기 디스플레이 모듈 상에 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
10. The method of claim 9,
Extracting a position of a subject object of the selected original moving picture; And
The synthesized moving picture playback application compares the position of the subject object of the selected original moving image with the position of the corresponding subject object of each 3D environment object, and determines at least one subject corresponding to a certain category based on the position of the subject object Selecting an object compositing position and determining at least one 3D environment object corresponding to each selected at least one object object compositing position,
Characterized in that in the step of displaying the 3D environment objects of the respective environment objects, the synthetic moving picture reproduction application displays the at least one 3D environment object among the respective 3D environment objects on the display module A Computer Implementation Method for Composite Movie Playback through Object Selection.
제 11 항에 있어서,
상기 추출된 피사체 객체의 위치는 상기 원본동영상의 해당 프레임 상의 피사체 객체의 위치인 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
12. The method of claim 11,
Wherein the position of the extracted object object is a position of a subject object on a corresponding frame of the original moving image.
제 9 항에 있어서,
상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 피사체 객체의 크기를 추출하는 단계; 및
상기 합성동영상 재생 애플리케이션이 상기 선택된 3D 환경객체의 크기를 추출하는 단계;를 추가로 포함하여 수행하도록 구성되고,
상기 합성동영상을 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 선택된 원본동영상의 상기 피사체 객체를 상기 선택된 3D 환경객체의 피사체 객체 합성위치에 상기 선택된 3D 환경객체에 대한 상대적 크기가 맞도록 스케일하여 더 배치하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
10. The method of claim 9,
Extracting a size of a subject object of the selected original moving picture; And
Further comprising: extracting a size of the selected 3D environment object by the synthetic moving picture playback application,
The synthesized moving image playback application scales the subject object of the selected original moving image so that the relative size of the selected 3D environment object to the selected object of the 3D environment object matches the position of the selected object of the 3D environment object And selecting the real-time environment object based on the selection of the real-time environment object.
제 9 항에 있어서,
상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체의 해당 피사체 객체 합성위치에 배치한 상기 선택된 원본동영상의 상기 피사체 객체를 상기 디스플레이 모듈 상에 더 디스플레이하도록 구성되는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
10. The method of claim 9,
In the step of displaying each of the 3D environment objects, the composite moving picture playback application further displays on the display module the subject object of the selected original moving image arranged at a position of the corresponding object object in each of the 3D environment objects And selecting the real-time environment object.
제 9 항에 있어서,
상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.
10. The method of claim 9,
Wherein displaying the respective 3D environment objects causes the composite video playback application to render and display the respective 3D environment objects. ≪ Desc / Clms Page number 21 >
제 10 항에 있어서,
상기 각각의 3D 환경객체를 디스플레이하는 단계에서, 상기 합성동영상 재생 애플리케이션이 상기 각각의 3D 환경객체를 상기 선택된 원본동영상의 상기 카메라 워크 및 상기 선택된 원본동영상의 조명 데이터 중 적어도 어느 하나를 이용하여 렌더링하여 디스플레이하도록 하는 것을 특징으로 하는 실시간 환경객체 선택을 통한 합성동영상 재생을 위한 컴퓨터 구현 방법.11. The method of claim 10,
In the step of displaying the 3D environment objects, the synthetic moving picture reproduction application renders each of the 3D environment objects using at least one of the camera work of the selected original moving image and the illumination data of the selected original moving image And displaying the selected object in a real time environment object.
KR1020160179981A 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner KR101843024B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160179981A KR101843024B1 (en) 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160179981A KR101843024B1 (en) 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner

Publications (1)

Publication Number Publication Date
KR101843024B1 true KR101843024B1 (en) 2018-03-28

Family

ID=61901333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160179981A KR101843024B1 (en) 2016-12-27 2016-12-27 System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner

Country Status (1)

Country Link
KR (1) KR101843024B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021162366A1 (en) * 2020-02-10 2021-08-19 삼성전자 주식회사 Method and electronic device for arranging ar object

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295107A (en) 2000-03-14 2008-12-04 Fujifilm Corp Digital camera and method for processing image
US20110170008A1 (en) 2010-01-13 2011-07-14 Koch Terry W Chroma-key image animation tool

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008295107A (en) 2000-03-14 2008-12-04 Fujifilm Corp Digital camera and method for processing image
US20110170008A1 (en) 2010-01-13 2011-07-14 Koch Terry W Chroma-key image animation tool

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021162366A1 (en) * 2020-02-10 2021-08-19 삼성전자 주식회사 Method and electronic device for arranging ar object

Similar Documents

Publication Publication Date Title
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US9679369B2 (en) Depth key compositing for video and holographic projection
EP3327677B1 (en) An apparatus for spatial audio and associated method
KR20140082610A (en) Method and apaaratus for augmented exhibition contents in portable terminal
CN113064684B (en) Virtual reality equipment and VR scene screen capturing method
US20190156690A1 (en) Virtual reality system for surgical training
CN108986117B (en) Video image segmentation method and device
US20190155465A1 (en) Augmented media
KR101773891B1 (en) System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner
JP2019512177A (en) Device and related method
Langlotz et al. AR record&replay: situated compositing of video content in mobile augmented reality
CN110730340B (en) Virtual audience display method, system and storage medium based on lens transformation
WO2016031254A1 (en) Information processing device, information processing system, information processing method, and program
KR101843024B1 (en) System and Computer Implemented Method for Playing Compoiste Video through Selection of Environment Object in Real Time Manner
US20220165032A1 (en) Content distribution system, content distribution method, and content distribution program
KR102484840B1 (en) Method and system for providing realistic virtual exhibition space
JP2020102687A (en) Information processing apparatus, image processing apparatus, image processing method, and program
KR101221540B1 (en) Interactive media mapping system and method thereof
US20220207848A1 (en) Method and apparatus for generating three dimensional images
CN115129280A (en) Virtual reality equipment and screen-casting media asset playing method
CN111344744A (en) Method for presenting a three-dimensional object, and related computer program product, digital storage medium and computer system
KR102622709B1 (en) Method and Apparatus for generating 360 degree image including 3-dimensional virtual object based on 2-dimensional image
US20230326161A1 (en) Data processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
KR20200076234A (en) System for producing 3 dimension virtual reality content
NZ787202A (en) Color and lighting adjustment for immersive content production system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant