KR20180094427A - Apparatus, method and computer program for generating contents - Google Patents

Apparatus, method and computer program for generating contents Download PDF

Info

Publication number
KR20180094427A
KR20180094427A KR1020170020714A KR20170020714A KR20180094427A KR 20180094427 A KR20180094427 A KR 20180094427A KR 1020170020714 A KR1020170020714 A KR 1020170020714A KR 20170020714 A KR20170020714 A KR 20170020714A KR 20180094427 A KR20180094427 A KR 20180094427A
Authority
KR
South Korea
Prior art keywords
image
content
coordinate system
point
generating
Prior art date
Application number
KR1020170020714A
Other languages
Korean (ko)
Other versions
KR101904489B1 (en
Inventor
서현철
Original Assignee
(주)오비투유
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)오비투유 filed Critical (주)오비투유
Priority to KR1020170020714A priority Critical patent/KR101904489B1/en
Publication of KR20180094427A publication Critical patent/KR20180094427A/en
Application granted granted Critical
Publication of KR101904489B1 publication Critical patent/KR101904489B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T3/0068—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)

Abstract

According to the present specification, disclosed is a content generating method which comprises the steps of: receiving an image and an object by a content generating apparatus; obtaining stereoscopic information by analyzing the image; determining first and second points by using the stereoscopic image; calculating a distance between the first and second points; generating a coordinate system based on first and second reference points and a distance between the first and second reference points; correcting coordinate components of the coordinate system by considering the image; determining a corresponding vector corresponding to at least one among a position, a direction, and a movement of the object by using the image and the object; and generating content to which the image and the object are coupled after arranging the object on the image by utilizing the coordinate system and the corresponding vector.

Description

컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR GENERATING CONTENTS}[0001] APPARATUS, METHOD AND COMPUTER PROGRAM FOR GENERATING CONTENTS [0002]

본 발명은 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램에 관한 것으로, 보다 구체적으로는 간단한 조작으로 영상을 편집, 제작할 수 있는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램에 관한 것이다. The present invention relates to a content creating apparatus, a method, and a computer program, and more particularly, to a content creating apparatus, a method, and a computer program capable of editing and creating a video with a simple operation.

일반적으로 2D 기반의 동영상에 대한 저작/편집을 제공하거나 고가의 기계장치를 이용한 3D 객체 생성과 사용자 객체 추출/편집 기능을 제공하고 있다. 또한, 이들이 제공하는 저작 장치를 이용하기 위해서는 고도의 전문성이 요구되고 고가의 소프트웨어/하드웨어 장치를 구매하는 등의 어려움이 있기 때문에 일반 사용자들이 이들 장치를 이용하여 손쉽게 사용자 영상을 제작하는 것은 거의 불가능하다. Generally, it provides authoring / editing for 2D-based videos, and provides 3D object creation and user object extraction / editing using expensive mechanical devices. In addition, since it is difficult to use an authoring device provided by them and a high degree of expertise is required and an expensive software / hardware device is purchased, it is almost impossible for general users to easily make a user image using these devices .

국내 공개특허공보 제2015-0115694호Korean Patent Laid-Open Publication No. 2015-0115694

본 발명의 실시예들에 따르면, 입체적으로 촬영된 영상에 객체를 결합시켜 새로운 컨텐츠를 생성할 수 있는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램이 제공될 수 있다. According to embodiments of the present invention, a content generation apparatus, a method, and a computer program capable of generating new content by combining objects with stereoscopically captured images can be provided.

또한, 본 발명의 실시예들에 따르면, 영상의 입체 정보를 고려하여 영상과 대응되는 좌표계를 생성 할 수 있는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램이 제공될 수 있다.According to embodiments of the present invention, a content generation apparatus, a method, and a computer program capable of generating a coordinate system corresponding to an image in consideration of stereoscopic information of an image can be provided.

또한, 본 발명의 실시예들에 따르면, 좌표계의 좌표 간 거리를 영상의 실제적인 깊이감과 대응되도록 조절 할 수 있는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램이 제공될 수 있다.In addition, according to embodiments of the present invention, a content generation apparatus, a method, and a computer program capable of adjusting the distance between coordinates of a coordinate system to correspond to an actual depth of a video image can be provided.

또한, 본 발명의 실시예들에 따르면, 객체 및 객체의 벡터와 대응시켜 객체를 좌표계에 위치시킬 수 있는 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램이 제공될 수 있다.According to embodiments of the present invention, a content generation apparatus, a method, and a computer program capable of positioning an object in a coordinate system in correspondence with a vector of an object and an object can be provided.

본 발명의 실시예들에 따른 컨텐츠 생성 방법은 컨텐츠 생성 장치가 영상 및 객체를 수신하는 단계; 상기 영상을 분석하여 입체 정보를 획득하는 단계; 상기 입체 정보를 이용하여 제1 지점 및 제2 지점을 결정하는 단계; 상기 제1 및 제2 지점 사이의 거리를 산출하는 단계; 상기 제1 및 제2 기준점, 상기 제1 기준점과 제2 기준점 사이의 거리를 기초로 좌표계를 생성하는 단계; 상기 영상을 고려하여, 상기 좌표계의 좌표 성분들을 보정하는 단계; 상기 영상 및 상기 객체를 이용하여 객체의 위치, 방향, 움직임 중 적어도 하나와 대응되는 대응 벡터를 결정하는 단계; 및 상기 좌표계 및 상기 대응 벡터를 활용하여 객체를 영상 위에 배치시킨 후, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성하는 단계;를 포함할 수 있다. According to an embodiment of the present invention, there is provided a content generation method including: receiving a video and an object by a content generation apparatus; Analyzing the image to obtain stereoscopic information; Determining a first point and a second point using the stereoscopic information; Calculating a distance between the first and second points; Generating a coordinate system based on the first and second reference points, the distance between the first reference point and the second reference point; Correcting the coordinate components of the coordinate system in consideration of the image; Determining a corresponding vector corresponding to at least one of a position, a direction, and a motion of the object using the image and the object; And generating the content combined with the image after locating the object on the image using the coordinate system and the corresponding vector.

상기 좌표 성분들을 보정하는 단계는 기 설정된 기준 범위 안에 포함되도록 상기 좌표계의 좌표 성분들의 간격을 조절할 수 있다. The step of correcting the coordinate components may adjust the interval of the coordinate components of the coordinate system so as to be included within a preset reference range.

상기 컨텐츠를 생성하는 단계는 상기 영상 및 좌표계를 대비하여, 상기 대응 벡터와 대응되는 지점에 객체를 배치시키고, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성할 수 있다. The generating of the content may generate the content in which the image and the object are combined by arranging the object at a position corresponding to the corresponding vector, in contrast to the image and the coordinate system.

상기 컨텐츠를 생성하는 단계는 상기 영상 및 상기 객체의 방향이 서로 일치하도록 상기 객체의 방향을 조절한 컨텐츠를 생성할 수 있다. The generating of the content may generate content whose orientation is adjusted so that the directions of the image and the object coincide with each other.

본 발명의 실시예들에 따른 컨텐츠 생성 방법은 컨텐츠 생성 장치가 영상 및 객체를 수신하는 단계; 상기 영상을 분석하여 입체 정보를 획득하는 단계; 상기 입체 정보를 이용하여 제1 지점 및 제2 지점을 결정하는 단계; 상기 제1 및 제2 지점 사이의 거리를 산출하는 단계; 상기 제1 및 제2 기준점, 상기 제1 기준점과 제2 기준점 사이의 거리를 기초로 좌표계를 생성하는 단계; 상기 영상을 고려하여, 상기 좌표계의 좌표 성분들을 보정하는 단계; 상기 영상 및 상기 객체를 이용하여 객체의 위치, 방향, 움직임 중 적어도 하나와 대응되는 대응 벡터를 결정하는 단계; 및 상기 좌표계 및 상기 대응 벡터를 활용하여 객체를 영상 위에 배치시킨 후, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성하는 단계;를 포함할 수 있다. According to an embodiment of the present invention, there is provided a content generation method including: receiving a video and an object by a content generation apparatus; Analyzing the image to obtain stereoscopic information; Determining a first point and a second point using the stereoscopic information; Calculating a distance between the first and second points; Generating a coordinate system based on the first and second reference points, the distance between the first reference point and the second reference point; Correcting the coordinate components of the coordinate system in consideration of the image; Determining a corresponding vector corresponding to at least one of a position, a direction, and a motion of the object using the image and the object; And generating the content combined with the image after locating the object on the image using the coordinate system and the corresponding vector.

상기 좌표 성분들을 보정하는 단계는 기 설정된 기준 범위 안에 포함되도록 상기 좌표계의 좌표 성분들의 간격을 조절할 수 있다. The step of correcting the coordinate components may adjust the interval of the coordinate components of the coordinate system so as to be included within a preset reference range.

상기 컨텐츠를 생성하는 단계는 상기 영상 및 좌표계를 대비하여, 상기 대응 벡터와 대응되는 지점에 객체를 배치시키고, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성할 수 있다. The generating of the content may generate the content in which the image and the object are combined by arranging the object at a position corresponding to the corresponding vector, in contrast to the image and the coordinate system.

상기 컨텐츠를 생성하는 단계는 상기 영상 및 상기 객체의 방향이 서로 일치하도록 상기 객체의 방향을 조절한 컨텐츠를 생성할 수 있다. The generating of the content may generate content whose orientation is adjusted so that the directions of the image and the object coincide with each other.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 컨텐츠 생성 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다. A computer program according to an exemplary embodiment of the present invention may be stored in a medium using a computer to execute any one of the content generation methods according to an exemplary embodiment of the present invention.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다. In addition to this, another method for implementing the present invention, another system, and a computer-readable recording medium for recording a computer program for executing the method are further provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.Other aspects, features, and advantages other than those described above will become apparent from the following drawings, claims, and the detailed description of the invention.

본 발명의 실시예들에 따른 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램은 입체적으로 촬영된 배경 이미지에 객체를 결합시켜 새로운 컨텐츠를 생성할 수 있다. The content generation apparatus, method, and computer program according to embodiments of the present invention can create new content by combining an object with a three-dimensionally captured background image.

또한, 본 발명의 실시예들에 따른 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램은 배경 이미지의 공간 정보를 고려하여 배경 이미지와 대응되는 상대 좌표계를 생성 할 수 있다. In addition, the content generation apparatus, method, and computer program according to embodiments of the present invention can generate a relative coordinate system corresponding to a background image in consideration of spatial information of a background image.

또한, 본 발명의 실시예들에 따른 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램은 상대 좌표계의 좌표 간 거리를 영상의 실제적인 깊이감과 대응되도록 조절 할 수 있다. In addition, the content generation apparatus, method, and computer program according to the embodiments of the present invention can adjust the distance between the coordinates of the relative coordinate system to correspond to the actual depth of the image.

본 발명의 실시예들에 따른 컨텐츠 생성 장치, 방법 및 컴퓨터 프로그램은 객체 및 객체의 벡터와 대응시켜 객체를 좌표계에 위치시킬 수 있다. The content generation apparatus, method, and computer program according to embodiments of the present invention can position an object in a coordinate system in correspondence with a vector of an object and an object.

도 1은 본 발명의 실시예들에 따른 컨텐츠 생성 장치의 블록도이다.
도 2는 본 발명의 실시예들에 따른 컨텐츠 생성 방법의 흐름도이다.
도 3은 컨텐츠 생성 장치를 포함하는 사용자 단말의 블록도이다.
도 4는 컨텐츠 생성 장치에 의해 생성되는 좌표계를 설명하기 위한 도면이다.
도 5 및 도 6은 컨텐츠 생성 장치에 의해 생성되는 새로운 컨텐츠의 일 예들이다. 1 is a block diagram of a content generation apparatus according to embodiments of the present invention.
2 is a flowchart of a content generation method according to embodiments of the present invention.
3 is a block diagram of a user terminal including a content generation apparatus.
4 is a diagram for explaining a coordinate system generated by the content generation apparatus.
5 and 6 are examples of new contents generated by the content generation apparatus.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods of achieving them will be apparent with reference to the embodiments described in detail below with reference to the drawings. However, the present invention is not limited to the embodiments described below, but may be implemented in various forms.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout the drawings, and a duplicate description thereof will be omitted .

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. In the following embodiments, the terms first, second, and the like are used for the purpose of distinguishing one element from another element, not the limitative meaning.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는한, 복수의 표현을 포함한다. In the following examples, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서 상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징을 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. In the following embodiments, terms such as inclusive or possessed mean that a feature or element described in the specification is present, and does not exclude the possibility that one or more other features or components are added in advance.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다. If certain embodiments are otherwise feasible, the particular process sequence may be performed differently from the sequence described. For example, two processes that are described in succession may be performed substantially concurrently, and may be performed in the reverse order of the order described.

이하의 실시예에서, "회로"는, 예를 들어, 프로그램가능한 회로에 의해 실행되는 인스트럭션을 저장하는 하드와이어드 회로, 프로그램가능한 회로, 상태 머신 회로, 및/또는 펌웨어를 단독으로 또는 임의의 조합으로 포함할 수 있다. 애플리케이션은 호스트 프로세서 또는 다른 프로그램가능한 회로와 같은 프로그램가능한 회로 상에서 실행될 수 있는 코드 또는 인스트럭션으로서 구현될 수 있다. 본원의 임의의 실시예에서 사용되는 바와 같은, 모듈은,회로로서 구현될 수 있다. 회로는 집적 회로 칩과 같은 집적 회로로서 구현될 수 있다.In the following embodiments, the term "circuit" refers to any circuitry, circuitry, and / or circuitry, including, for example, hardwired circuitry, programmable circuitry, state machine circuitry, and / or firmware that stores instructions executed by a programmable circuit, either alone or in any combination . The application may be implemented as code or instructions that may be executed on a programmable circuit, such as a host processor or other programmable circuit. A module, as used in any of the embodiments herein, may be implemented as a circuit. The circuitry may be implemented as an integrated circuit, such as an integrated circuit chip.

이하의 실시예에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In the following embodiments, when a component is referred to as "comprising ", it means that it can include other components as well, without excluding other components unless specifically stated otherwise. Also, the terms " part, "" module," and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

본 발명의 실시예에 따른 컨텐츠 생성 장치는 간단한 조작으로 영상에 객체를 추가 시켜 새로운 컨텐츠를 생성할 수 있다. The content generation apparatus according to the embodiment of the present invention can create new content by adding an object to a video by a simple operation.

본 발명의 실시예에 따른 컨텐츠 생성 장치는 영상에서 복수의 지점들을 선택하고, 복수의 지점들 사이의 상대적인 차이를 기초로 좌표계를 생성할 수 있다. 이때, 좌표계는 촬영된 영상과 대응되도록 생성될 수 있다. 즉, 좌표계는 객관적인 위치 정보를 기준으로 생성될 수도 있으나, 영상에 포함된 입체적인 공간과 대응될 수 있다. 특히, 이렇게 생성된 좌표계는 특정 객체가 실제 영상 내에서의 소정의 위치를 선택하는 과정 없이도 추가될 수 있게 된다. 본 발명의 실시예에 따른 컨텐츠 생성 장치는 오브젝트의 위치를 정확하게 선택하지 않더라도 배경 이미지와 대응되는 상대 좌표계를 통해 오브젝트를 배치시킬 수 있다. The content generation apparatus according to the embodiment of the present invention may select a plurality of points from an image and generate a coordinate system based on a relative difference between the plurality of points. At this time, the coordinate system may be generated so as to correspond to the photographed image. That is, the coordinate system may be generated based on objective position information, but may correspond to a stereoscopic space included in the image. In particular, the coordinate system generated in this way can be added without a specific object selecting a predetermined position in the actual image. The content generation apparatus according to the embodiment of the present invention can arrange the object through the relative coordinate system corresponding to the background image without precisely selecting the position of the object.

도 1은 본 발명의 실시예에 따른 컨텐츠 생성 장치(110)을 나타내는 도면이다. 1 is a block diagram illustrating a content generation apparatus 110 according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 컨텐츠 생성 장치(110)은 데이터 수신부(111), 좌표계 생성부(112) 좌표계 보정부(113), 좌표 결정부(114), 컨텐츠 생성부(115)를 포함할 수 있다. 1, the content generation apparatus 110 includes a data reception unit 111, a coordinate system generation unit 112, a coordinate system correction unit 113, a coordinate determination unit 114, a content generation unit 115).

데이터 수신부(111)는 영상 및 객체를 수신할 수 있다. 데이터 수신부(111)는 컨텐츠 생성 장치(110)와 전기적으로 연결된 입력 장치를 통해서 영상 및 객체를 수신하거나 네트워크로 연결된 외부의 장치로부터 수신 받을 수 있다. 객체는 형식에 제한이 없는 시각적 데이터이며, 컴퓨터 그래픽, 실사 이미지, 실사 영상 등 일 수 있다. The data receiving unit 111 can receive images and objects. The data receiving unit 111 may receive an image and an object through an input device electrically connected to the content generating device 110 or may receive an external device connected to the network. An object is visual data having no format limitation, and can be a computer graphic, a real image, a real image, and the like.

좌표계 생성부(112)는 영상으로부터 입체 정보를 획득할 수 있다. 여기서, 입체 정보는 영상을 분석하여 획득되는 것으로, 영상에 포함된 객체들로부터 획득되게 된다. 입체 정보는 객체들 사이의 깊이감 또는 거리감에 따라 생성될 수 있다. 좌표계 생성부(112)는 획득된 입체 정보를 이용하여 상기 영상에 포함된 복수의 지점들을 결정할 수 있다. 좌표계 생성부(112)는 획득된 입체 정보를 이용하여 영상에 포함된 제1 지점 및 제2 지점을 결정할 수 있다. 좌표계 생성부(112)는 제1 지점 및 제2 지점 사이의 거리를 산출할 수 있다. 여기서, 거리는 평면적으로 산출된 거리가 될 수 있으나, 제1 지점 및 제2 지점 사이의 깊이감을 고려하여 산출된 거리가 될 수 있다. The coordinate system generation unit 112 can acquire stereoscopic information from the image. Here, the stereoscopic information is obtained by analyzing the image, and is obtained from the objects included in the image. The stereoscopic information can be generated according to the sense of depth or distance between the objects. The coordinate system generation unit 112 can determine a plurality of points included in the image by using the obtained stereoscopic information. The coordinate system generation unit 112 can determine the first point and the second point included in the image using the obtained stereoscopic information. The coordinate system generation unit 112 can calculate the distance between the first point and the second point. Here, the distance may be a distance calculated in a planar manner, but may be a distance calculated considering a depth sense between the first point and the second point.

좌표계 생성부(112)는 영상에 포함된 지점들 및 지점들 사이의 거리를 고려하여 좌표계를 생성할 수 있다. 보다 구체적으로 좌표계 생성부(112)는 제1 지점, 제2 지점, 및 제1 지점과 제2 지점 사이의 거리를 기초로 좌표계를 생성할 수 있다. 좌표계 생성부(112)는 제1 지점, 제2 지점 중 하나를 기준점으로 설정하고 기준점 외의 다른 지점을 최 외각 좌표로 설정할 수 있다. 좌표계 생성부(112)는 제1 지점 및 제2 지점 사이를 좌표계로 생성할 수 있다. 좌표계 생성부(112)는 제1 지점 및 제2 지점 사이를 균등하게 쪼개진 좌표계를 생성할 수 있다. 좌표계 생성부(112)는 제1 지점 및 제2 지점 사이의 깊이감을 고려하여 비균등하게 쪼개진 좌표계를 생성할 수 있다. 좌표계 생성부(112)에 의해 생성된 좌표계는 3차원적으로 배치된 좌표 성분들을 포함할 수 있다. 좌표성분들의 배치가 균일할 수도 있으나, 영상의 입체 정보를 고려하여 균일하지 않을 수 있다.The coordinate system generation unit 112 may generate a coordinate system by considering distances between points and points included in the image. More specifically, the coordinate system generation unit 112 can generate the coordinate system based on the first point, the second point, and the distance between the first point and the second point. The coordinate system generation unit 112 may set one of the first point and the second point as a reference point and set a point other than the reference point as the outermost coordinate. The coordinate system generation unit 112 may generate a coordinate system between the first point and the second point. The coordinate system generation unit 112 may generate a coordinate system that is evenly divided between the first point and the second point. The coordinate system generation unit 112 can generate a coordinate system that is unevenly divided in consideration of the depth sense between the first point and the second point. The coordinate system generated by the coordinate system generation unit 112 may include three-dimensionally arranged coordinate components. The arrangement of the coordinate components may be uniform, but it may not be uniform considering stereoscopic information of the image.

좌표계 보정부(113)는 입력된 영상의 깊이감을 고려하여 좌표계를 보정할 수 있다. 좌표계 보정부(113)는 좌표계에 포함된 좌표 성분을 보정할 수 있다. 좌표계 보정부(113)는 복수의 좌표 성분들은 조절될 수 있다. 좌표 성분들의 간격이 기 설정된 기준 범위를 벗어나는 경우에는 조절될 수 있다. 좌표 성분들의 간격은 기 설정된 기준 범위 안에 포함되도록 조절될 수 있다.The coordinate system correction unit 113 can correct the coordinate system in consideration of the depth of the input image. The coordinate system correction unit 113 can correct the coordinate components included in the coordinate system. The coordinate system correction unit 113 can adjust a plurality of coordinate components. It can be adjusted when the interval of the coordinate components deviates from the predetermined reference range. The interval of the coordinate components can be adjusted to be included within a preset reference range.

벡터 결정부(114)는 영상 및 객체의 입체 정보를 이용하여 객체의 위치, 방향, 움직임 등과 대응되는 대응 벡터를 결정할 수 있다. The vector determination unit 114 may determine a corresponding vector corresponding to the position, direction, motion, and the like of the object using the stereoscopic information of the image and the object.

컨텐츠 생성부(115)는 좌표계 생성부(112) 또는 좌표계 보정부(113)로부터 영상 및 좌표계를 수신하고, 영상 및 좌표계를 대비하여 객체를 배치시킨 후, 영상에 객체를 결합시킬 수 있다. 컨텐츠 생성부(115)는 좌표계를 활용하여 영상에 객체를 정렬시킬 수 있다. 컨텐츠 생성부(115)는 벡터 결정부(114)에 의해 결정된 대응 벡터 및 좌표계를 활용하여 객체를 배치시킬 수 있다. 객체는 좌표계에 추가된 대응 벡터에 따라 이동할 수 있다. 컨텐츠 생성부(115)는 객체를 추가, 삽입, 결합한 영상을 새로운 컨텐츠로 생성할 수 있다. The content generation unit 115 receives an image and a coordinate system from the coordinate system generation unit 112 or the coordinate system correction unit 113 and arranges the objects by comparing the images and the coordinate system. The content generation unit 115 may arrange an object on an image using a coordinate system. The content generation unit 115 may arrange the object using the corresponding vector and the coordinate system determined by the vector determination unit 114. The object can move according to the corresponding vector added to the coordinate system. The content generation unit 115 can generate an image in which objects are added, inserted, and combined into new contents.

컨텐츠 생성부(115)는 영상 및 객체의 방향이 서로 일치하도록 객체의 방향을 조절할 수 있다. 컨텐츠 생성부(115)는 영상으로부터 획득된 입체 정보를 이용하여 영상의 촬영 방향을 결정할 수 있다. 객체의 방향은 촬영 방향과 일치하도록 조절된다. The content generation unit 115 may adjust the direction of the object so that the directions of the image and the object coincide with each other. The content generation unit 115 can determine the shooting direction of the image using the stereoscopic information obtained from the image. The direction of the object is adjusted to coincide with the shooting direction.

컨텐츠 생성부(115)는 영상 및 객체의 크기가 확대 또는 축소 시킬 수 있다. 컨텐츠 생성부(115)는 좌표계를 확대 시키거나 축소 시킴에 따라 영상 및 객체의 크기가 조절될 수 있다. The content generation unit 115 may enlarge or reduce the size of the image and the object. The size of the image and the object may be adjusted by enlarging or reducing the coordinate system.

도 2는 본 발명의 실시예들에 따른 컨텐츠 생성 방법의 흐름도이다. 2 is a flowchart of a content generation method according to embodiments of the present invention.

도 2를 참조하면, 본 발명의 실시예들에 따른 컨텐츠 생성 방법은 영상 및 객체 컨텐츠를 수신하는 단계(S110), 공간 정보를 획득하는 단계(S111), 지점들을 결정하는 단계(S112), 거리를 산출하는 단계(S113), 상대 좌표계를 생성하는 단계(S114), 좌표 성분을 보정하는 단계(S115), 객체 이미지를 수신하는 단계(S120), 대응 좌표를 결정하는 단계(S121), 컨텐츠를 생성하는 단계(S130)를 포함할 수 있다. Referring to FIG. 2, a content generation method according to an exemplary embodiment of the present invention includes a step S110 of receiving image and object contents, a step S111 of obtaining spatial information, a step S112 of determining points, (S114), a coordinate component correction step (S115), an object image receiving step (S120), a corresponding coordinate determination step (S121), a step (S130). ≪ / RTI >

S110에서는 컨텐츠 생성 장치(100)는 영상을 수신할 수 있다. S111에서는 영상이 입체적으로 촬영된 동영상인 경우, 컨텐츠 생성 장치(100)는 영상을 분석하여 입체 정보를 획득할 수 있다. In S110, the content generation apparatus 100 can receive an image. In S111, when the video is a moving image that is three-dimensionally photographed, the content generating apparatus 100 can obtain stereoscopic information by analyzing the video.

S112에서는 컨텐츠 생성 장치(100)는 영상에 포함된 복수의 지점들을 결정할 수 있다. 컨텐츠 생성 장치(100)는 영상에 포함된 제1 지점 및 제2 지점을 선택할 수 있다. 제1 지점은 관찰자로부터 가장 멀리 떨어져 있는 지점(최원점)으로 선택될 수 있다. 이런 경우, 제2 지점은 제1 지점과의 거리, 길이, 깊이감 중 적어도 하나가 가장 큰 지점일 수 있다. 또는 제1 지점은 관찰자로부터 가장 가까운 지점(최근점)으로 선택될 수 있다. In S112, the content generation apparatus 100 may determine a plurality of points included in the image. The content generation apparatus 100 may select the first point and the second point included in the image. The first point may be selected as the point farthest from the observer (the maximum point). In this case, the second point may be the point where at least one of the distance, the length, and the depth from the first point is the greatest point. Or the first point may be selected as the nearest point (the latest point) from the observer.

S113에서는 컨텐츠 생성 장치(100)는 제1 지점 및 제2 지점 사이의 거리를 산출할 수 있다. 여기서, 거리는 평면적으로 산출된 거리가 될 수 있으나, 제1 지점 및 제2 지점 사이의 깊이감, 입체감을 고려하여 산출된 거리가 될 수 있다. 컨텐츠 생성 장치(100)는 영상에 포함된 입체 정보를 활용하여 제1 지점과 제2 지점 사이의 거리를 산출 할 수 있다. In step S113, the content generation apparatus 100 may calculate the distance between the first point and the second point. Here, the distance may be a distance calculated in a planar manner, but may be a distance calculated considering the depth sense and the cubic feeling between the first point and the second point. The content generation apparatus 100 may calculate the distance between the first point and the second point by using the stereoscopic information included in the image.

S114에서는 컨텐츠 생성 장치(100)는 지점들 및 지점들 사이의 거리를 기초로 좌표계를 생성할 수 있다. 컨텐츠 생성 장치(100)는 결정된 제1 지점, 제2 지점 및 제1 지점과 제2 지점 사이의 거리를 기초로 좌표계를 생성할 수 있다. 컨텐츠 생성 장치(100)는 제1 지점 및 제2 지점 중 적어도 하나를 기준점, 즉 (0,0,0) 좌표 성분으로 설정하고, 다른 하나의 지점을 최원점(x_max, y_max, z_max)으로 설정한 좌표계를 생성할 수 있다. S115에서는 컨텐츠 생성 장치(100)는 기준점과 최원점 사이를 x축 평면, y축 평면, z축 평면으로 좌표 성분을 균등하게 배치시킬 수 있다. 좌표 성분들은 균일하게 분포되기도 하지만, 영상의 입체 정보를 고려하여 균일하지 않을 수 있다. 추가적으로 컨텐츠 생성 장치(100)는 좌표계에 포함된 좌표 성분들을 보정할 수 있다. 좌표 성분들의 간격이 기 설정된 기준 범위 안에 포함되도록 변경, 조절될 수 있다. In S114, the content generation apparatus 100 may generate a coordinate system based on distances between points and points. The content generation apparatus 100 may generate a coordinate system based on the determined first point, the second point, and the distance between the first point and the second point. The content generation apparatus 100 sets at least one of the first point and the second point as a reference point, that is, a (0, 0, 0) coordinate component, and sets the other point as a maximum point (x_max, y_max, z_max) A coordinate system can be created. In S115, the content generation apparatus 100 can uniformly arrange the coordinate components in the x-axis plane, the y-axis plane, and the z-axis plane between the reference point and the maximum point. The coordinate components may be uniformly distributed, but may not be uniform considering the stereoscopic information of the image. In addition, the content generation apparatus 100 may correct the coordinate components included in the coordinate system. The interval of the coordinate components can be changed and adjusted so as to be included in the preset reference range.

S120에서는 컨텐츠 생성 장치(100)는 객체를 수신할 수 있다. 수신한 객체는 입체 객체 일 수 있고, 평면 객체 일 수도 있다. 객체는 이동, 변경 등의 효과를 포함할 수 있다.In S120, the content generation apparatus 100 can receive an object. The received object can be a solid object or a plane object. An object may include effects such as movement, change, and the like.

S121에서는 컨텐츠 생성 장치(100)는 객체의 입체 정보를 이용하여 객체의 최초 위치, 이동 방향, 최종 위치 등과 대응되는 대응 벡터를 결정할 수 있다. In step S121, the content generation apparatus 100 may determine a corresponding vector corresponding to an initial position, a moving direction, a final position, and the like of the object using the stereoscopic information of the object.

S130에서는 컨텐츠 생성 장치(100)는 영상과 대응되는 좌표계를 이용하여 객체를 영상에 추가시켜 새로운 컨텐츠를 생성할 수 있다. 컨텐츠 생성 장치(100)는 영상의 제1 지점 및 좌표계의 기준점을 대응시킨 후, 객체의 대응 벡터와 대응되는 좌표계 상의 지점 또는 영역을 결정할 수 있다. 컨텐츠 생성 장치(100)는 영상 위에 포함된, 결정된 지점 또는 영역에 객체를 추가할 수 있다. 컨텐츠 생성 장치(100)는 영상 및 좌표계를 수신하고, 영상 및 좌표계를 대비하여 객체를 영상 위에 배치시킨 후, 영상에 객체를 결합시킬 수 있다. In step S130, the content generation apparatus 100 may generate a new content by adding an object to an image using a coordinate system corresponding to the image. The content generation apparatus 100 may determine a point or an area on a coordinate system corresponding to the corresponding vector of the object after mapping the first point of the image and the reference point of the coordinate system. The content generation apparatus 100 may add an object to a determined point or area included in the image. The content generation apparatus 100 receives an image and a coordinate system, arranges the object on the image by comparing the image and the coordinate system, and then combines the object with the image.

도 3은 컨텐츠 생성 장치(100)를 포함하는 사용자 단말(10)의 구조를 나타내는 도면이다. 3 is a diagram showing the structure of a user terminal 10 including the content generation apparatus 100. As shown in FIG.

도 3을 참조하면, 사용자 단말(10)는 프로세서(11), 저장 매체(12), 입력부(16), 출력부(17), 통신부(18), 촬상부(19)를 포함할 수 있다. 사용자 단말(10)는 사용자의 퍼스널 컴퓨터일 수도 있고, 또는 사용자의 휴대용 단말 일 수도 있다.3, the user terminal 10 may include a processor 11, a storage medium 12, an input unit 16, an output unit 17, a communication unit 18, and an image pickup unit 19. The user terminal 10 may be a user's personal computer or a user's portable terminal.

프로세서(11)는 사용자 단말(10)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(11)는 저장 매체(12)에 탑재된 시스템 소프트웨어 뿐만 아니라 컨텐츠 생성 장치(110), 컨텐츠 표시 장치(120)를 실행하도록 제어할 수 있다. The processor 11 controls the overall operation of the user terminal 10. For example, the processor 11 can control not only the system software installed in the storage medium 12 but also the content generation apparatus 110 and the content display apparatus 120 to be executed.

프로세서(11)(processor)는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The processor 11 may be, for example, a data processing device embedded in hardware having circuitry physically structured to perform the functions represented by code or instructions contained within the program. As an example of the data processing apparatus built in hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC) circuit, and a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.

저장 매체(12)는 사용자 단말(10)와 전기적으로 연결된 저장 장치를 말한다. 저장 매체(12)는 사용자 단말(10)의 동작을 위한 복수의 모듈, 구성요소들을 저장할 수 있다. 저장 매체(12)는 사용자 단말(10)에 탑재된 다양한 기능의 애플리케이션들(컨텐츠 생성, 컨텐츠 표시 등)이 구동될 수 있도록 한다. The storage medium 12 refers to a storage device electrically connected to the user terminal 10. The storage medium 12 may store a plurality of modules, components, for operation of the user terminal 10. The storage medium 12 enables applications of various functions (content creation, content display, etc.) mounted on the user terminal 10 to be driven.

저장 매체(12)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 사용자 단말(10)은 인터넷(internet)상에서 저장 매체(12)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.The storage medium 12 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory) (Random Access Memory) SRAM (Static Random Access Memory), ROM (Read Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) A disk, and / or an optical disk. Also, the user terminal 10 may operate a web storage or a cloud server that performs a storage function of the storage medium 12 on the Internet.

저장 매체(12)는 컨텐츠 생성 장치(110) 및 컨텐츠 표시 장치(120)을 포함할 수 있다. The storage medium 12 may include a content generation apparatus 110 and a content display apparatus 120.

컨텐츠 생성 장치(110)은 영상이 촬영 당시에는 포함되어 있지 않은 객체를 영상에 결합시킨 컨텐츠를 생성할 수 있다. 컨텐츠 생성 장치(110)은 영상에 객체를 포함시키기 위해 구현된 데이터 수신부(111), 좌표 결정부(114), 좌표계 생성부(112), 좌표계 보정부(113), 컨텐츠 생성부(115)를 포함할 수 있다. 컨텐츠 생성 장치(110)은 통신망으로 연결된 외부의 서버로부터 수신 받은 설치 파일의 실행을 통해 설치될 수 있다. 또는 컨텐츠 생성 장치(110)은 전기적으로 연결된 저장 매체로부터 수신한 설치 파일의 실행을 통해 설치될 수도 있다. 컨텐츠 생성 장치(110)은 포함된 구성요소들의 일부 또는 전부를 업데이트함으로써, 버전 업그레이드 될 수 있다. The content generation apparatus 110 may generate content in which an object that is not included at the time of shooting is combined with an image. The content generation apparatus 110 includes a data reception unit 111, a coordinate determination unit 114, a coordinate system generation unit 112, a coordinate system correction unit 113, and a content generation unit 115, . The content generation apparatus 110 may be installed through execution of an installation file received from an external server connected to a communication network. Or the content generation apparatus 110 may be installed through execution of an installation file received from an electrically connected storage medium. The content generation apparatus 110 can be upgraded by updating some or all of the components included therein.

컨텐츠 표시 장치(120)은 영상에 객체가 추가된 컨텐츠를 재생하는 기능을 수행한다. 컨텐츠 표시 장치(120)은 영상에 객체가 추가된 컨텐츠에 입체적인 효과를 부여하기도 하며, 객체의 대응 벡터에 따라 객체를 이동시키기도 한다. 컨텐츠 표시 장치(120)은 사용자로부터 입력된 이벤트에 따라 객체가 이동하기도 한다. 즉, 컨텐츠 표시 장치(120)은 사용자로부터 입력된 이벤트에 따라 컨텐츠에 포함된 객체를 이동시키기도 하고, 컨텐츠에 포함된 객체를 다른 객체로 변경하기도 한다. 컨텐츠 표시 장치(120)은 사용자로부터 입력된 이벤트에 따라 컨텐츠를 재생하기도 한다. 컨텐츠 표시 장치(120)은 사용자로부터 입력된 이벤트에 따라 컨텐츠의 재생 시점을 예를 들어, 소정의 분기점으로 이동시키게 된다. 여기서, 소정의 분기점은 컨텐츠 생성 시에 설정되거나 컨텐츠와 연결된 속성 정보에 포함될 수 있다. The content display apparatus 120 performs a function of reproducing a content to which an object is added to an image. The content display apparatus 120 may also give stereoscopic effect to the content to which the object is added to the image, and move the object according to the corresponding vector of the object. The content display apparatus 120 also moves an object according to an event input from a user. That is, the content display apparatus 120 moves an object included in the content according to an event input from a user, and changes an object included in the content to another object. The content display apparatus 120 also plays back the content according to an event input from the user. The content display apparatus 120 moves the playback point of the content to a predetermined point, for example, in accordance with an event input from the user. Here, the predetermined branching point may be set at the time of content creation or included in attribute information connected with the content.

사용자 단말(10)은 입력부(16), 출력부(17), 통신부(18), 촬상부(19)를 포함할 수 있다. The user terminal 10 may include an input unit 16, an output unit 17, a communication unit 18, and an image pickup unit 19. [

입력부(16)는 사용자가 사용자 단말(10)을 제어하기 위한 데이터를 입력하는 기능을 수행한다. 예를 들어, 입력부(16)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The input unit 16 functions to input data for controlling the user terminal 10 by a user. For example, the input unit 16 may include a key pad, a dome switch, a touch pad (contact type capacitance type, pressure type resistive type, infrared ray detection type, surface ultrasonic wave conduction type, A measurement method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.

출력부(17)는 사용자 단말(10)에서 처리되는 정보를 출력한다. 예를 들어, 사용자에 의해 입력된 입력에 따라 특정 컨텐츠를 출력할 수 있다. 출력부(17)는 입체적인 효과를 주기 위해서, 2개의 컨텐츠를 동시에 재생시킬 수도 있으며, 2개의 컨텐츠 사이의 각도를 조절하기도 한다. The output unit 17 outputs information processed by the user terminal 10. For example, it is possible to output specific contents according to the input inputted by the user. The output unit 17 may simultaneously reproduce two contents or adjust the angle between the two contents in order to give stereoscopic effect.

통신부(18)는 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. The communication unit 18 includes a Bluetooth communication unit, a Bluetooth low energy communication unit, a near field communication unit, a WLAN communication unit, a Zigbee communication unit, an IrDA (infrared data association) communication unit, a WFD Wi-Fi Direct) communication unit, UWB (ultra wideband) communication unit, Ant + communication unit, and the like.

촬상부(19)는 주변을 촬영할 수 있다. 촬상부(19)에서 처리된 화상 프레임은 저장 매체(12)에 저장되거나 통신부(18)를 통하여 외부로 전송될 수 있다. 촬상부(19)는 단말의 구성 태양에 따라 2개 이상이 구비될 수 있다. The imaging section 19 can take a picture of the periphery. The image frame processed by the image pickup unit 19 can be stored in the storage medium 12 or transmitted to the outside through the communication unit 18. [ The image pickup section 19 may be provided in two or more according to the configuration of the terminal.

도 4에 도시된 바와 같이, 컨텐츠 생성 장치(100)에 의해 생성된 컨텐츠는 영상 및 좌표계를 포함할 수 있다. 컨텐츠 생성 장치(100)는 영상(401)을 분석하여 획득된 입체 정보를 이용하여 좌표계(402)를 생성할 수 있다. 컨텐츠 생성 장치(100)는 사용자로부터 입력된 추가해야 하는 객체(403)의 대응 벡터를 이용하여 영상에 추가시키게 된다. 이때, 컨텐츠 생성 장치(100)는 영상의 관찰 시점을 고려하여 객체의 방향을 회전시킬 수 있다. 도 4에 도시된 바와 같이, 컨텐츠 생성 장치(100)는 영상의 관찰 시점과 정면이 되도록 회전시키게 된다. As shown in FIG. 4, the content generated by the content generation apparatus 100 may include an image and a coordinate system. The content generation apparatus 100 may generate the coordinate system 402 using the stereoscopic information obtained by analyzing the image 401. [ The content generation apparatus 100 adds the input vector of the object 403, which is input from the user, to the image using the corresponding vector. At this time, the content generation apparatus 100 may rotate the direction of the object in consideration of the observation time of the image. As shown in FIG. 4, the content generating apparatus 100 is rotated so as to be in front of the viewing point of the image.

컨텐츠 생성 장치(100)는 영상에 광고 목적의 객체를 추가한 컨텐츠를 생성할 수 있다. 컨텐츠 생성 장치(100)는 3차원적으로 구현된 영상에 2차원으로 구현된 객체를 추가할 수 있다. 객체는 다양한 효과를 포함할 수 있다. 객체는 이동, 변경, 회전 등의 다양한 효과를 포함할 수 있다. 객체는 객체의 움직임과 대응되는 대응 벡터(vector)에 따라 이동하게 된다. 객체는 단순히 움직임을 만드는 외에 상태가 변할 수 있다. 객체의 상태가 변한다는 것은 객체가 다른 객체로 변화하는 것을 의미하며, 객체의 레벨이 달라지는 것 일 수 있다. 컨텐츠 생성 장치(100)는 2차원으로 구현 또는 촬영된 영상에 3차원의 객체가 추가될 수 있다. 물론, 컨텐츠 생성 장치(100)는 동일한 차원의 영상 및 객체를 결합시키기도 하지만, 다른 차원의 영상 및 객체를 결합시키기도 한다. The content generation apparatus 100 may generate content in which an object for advertisement is added to a video. The content generation apparatus 100 may add an object that is two-dimensionally implemented to the three-dimensionally implemented image. An object can contain various effects. An object can include various effects such as movement, modification, rotation, and the like. The object moves according to the corresponding vector corresponding to the motion of the object. An object can change its state in addition to simply making movements. Changing the state of an object means that the object changes to another object, and the level of the object may be changed. The content generation apparatus 100 may add a three-dimensional object to an image that is two-dimensionally imaged or photographed. Of course, the content generation apparatus 100 may combine images and objects of the same dimension, but may also combine images and objects of different dimensions.

도 5 내지 도 6은 컨텐츠 생성 장치(100)에 의해 생성된 컨텐츠의 일 예들이다. 5 to 6 are examples of the contents generated by the content generation apparatus 100. [

도 5에 도시된 바와 같이 컨텐츠 생성 장치(100)는 영화관에서 영화를 관람하는 장면을 촬영한 영상(VIDEO 1)에 객체(OBJECT 1)를 추가할 수 있다. 이때 객체는 상영되는 영화 일 수 있다. 컨텐츠 생성 장치(100)는 한번 촬영된 영상에 상영되는 영화를 객체로서 추가하게 됨으로써, 다양한 영화들을 영화관에서 관람하는 느낌을 가지는 영상을 개별적으로 제작할 수 있다. As shown in FIG. 5, the content generation apparatus 100 may add an object (OBJECT 1) to an image (VIDEO 1) of a scene of watching a movie in a movie theater. At this time, the object may be a movie to be displayed. The content generation apparatus 100 may separately produce a movie having a feeling of watching various movies in a movie theater by adding a movie displayed in the captured image as an object.

도 6에 도시된 바와 같이 컨텐츠 생성 장치(100)는 박물관 내부를 촬영한 영상(VIDEO 2)에 문화재, 작품 등에 해당하는 객체(OBJECT 2)를 추가할 수 있다. 컨텐츠 생성 장치(100)에 의해 사용자로부터 입력된 입력에 따라 박물관 내부를 이동하는 느낌의 영상이 생성될 수 있다. 컨텐츠 생성 장치(100)는 사용자의 입력에 최종 목적지와 대응되는 영상을 생성할 수 있다. 컨텐츠 생성 장치(100)는 또한 영상과 함께 영상과 대응되는 객체가 제공되도록 설정된 컨텐츠를 생성할 수 있다. As shown in FIG. 6, the content generating apparatus 100 may add an object (OBJECT 2) corresponding to a cultural asset, a work, etc. to a video (VIDEO 2) photographed inside a museum. The content generating apparatus 100 may generate an image of moving in the museum according to the input from the user. The content generation apparatus 100 may generate an image corresponding to the final destination at the input of the user. The content generation apparatus 100 may also generate content that is set to be provided with an object corresponding to an image together with the image.

이상 설명된 본 발명에 따른 실시예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. The embodiments of the present invention described above can be embodied in the form of a computer program that can be executed on various components on a computer, and the computer program can be recorded on a computer-readable medium. At this time, the medium may be a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical recording medium such as CD-ROM and DVD, a magneto-optical medium such as a floptical disk, , A RAM, a flash memory, and the like, which are specifically configured to store and execute program instructions.

한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.Meanwhile, the computer program may be designed and configured specifically for the present invention or may be known and used by those skilled in the computer software field. Examples of computer programs may include machine language code such as those produced by a compiler, as well as high-level language code that may be executed by a computer using an interpreter or the like.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.

본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.The use of the terms " above " and similar indication words in the specification of the present invention (particularly in the claims) may refer to both singular and plural. In addition, in the present invention, when a range is described, it includes the invention to which the individual values belonging to the above range are applied (unless there is contradiction thereto), and each individual value constituting the above range is described in the detailed description of the invention The same. Finally, the steps may be performed in any suitable order, unless explicitly stated or contrary to the description of the steps constituting the method according to the invention. The present invention is not necessarily limited to the order of description of the above steps. The use of all examples or exemplary language (e.g., etc.) in this invention is for the purpose of describing the present invention only in detail and is not to be limited by the scope of the claims, It is not. It will also be appreciated by those skilled in the art that various modifications, combinations, and alterations may be made depending on design criteria and factors within the scope of the appended claims or equivalents thereof.

10: 컨텐츠 생성 장치
11: 프로세서
12: 저장 매체
16: 입력부
17: 출력부
18: 통신부
19: 촬상부10: Content generation device
11: Processor
12: Storage medium
16:
17: Output section
18:
19:

Claims (9)

컨텐츠 생성 장치가 영상 및 객체를 수신하는 단계;
상기 영상을 분석하여 입체 정보를 획득하는 단계;
상기 입체 정보를 이용하여 제1 지점 및 제2 지점을 결정하는 단계;
상기 제1 및 제2 지점 사이의 거리를 산출하는 단계;
상기 제1 및 제2 기준점, 상기 제1 기준점과 제2 기준점 사이의 거리를 기초로 좌표계를 생성하는 단계;
상기 영상을 고려하여, 상기 좌표계의 좌표 성분들을 보정하는 단계;
상기 영상 및 상기 객체를 이용하여 객체의 위치, 방향, 움직임 중 적어도 하나와 대응되는 대응 벡터를 결정하는 단계; 및
상기 좌표계 및 상기 대응 벡터를 활용하여 객체를 영상 위에 배치시킨 후, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성하는 단계;를 포함하는 컨텐츠 생성 방법. Receiving a video and an object from a content generation apparatus;
Analyzing the image to obtain stereoscopic information;
Determining a first point and a second point using the stereoscopic information;
Calculating a distance between the first and second points;
Generating a coordinate system based on the first and second reference points, the distance between the first reference point and the second reference point;
Correcting the coordinate components of the coordinate system in consideration of the image;
Determining a corresponding vector corresponding to at least one of a position, a direction, and a motion of the object using the image and the object; And
And generating the content combined with the image after locating the object on the image using the coordinate system and the corresponding vector. 제1항에 있어서,
상기 좌표 성분들을 보정하는 단계는
기 설정된 기준 범위 안에 포함되도록 상기 좌표계의 좌표 성분들의 간격을 조절하는, 컨텐츠 생성 방법. The method according to claim 1,
The step of correcting the coordinate components
And adjusting an interval of coordinate components of the coordinate system so as to be included in a predetermined reference range. 제1항에 있어서,
상기 컨텐츠를 생성하는 단계는
상기 영상 및 좌표계를 대비하여, 상기 대응 벡터와 대응되는 지점에 객체를 배치시키고, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성하는, 컨텐츠 생성 방법. The method according to claim 1,
The step of generating the content
And arranging an object at a position corresponding to the corresponding vector, in contrast to the image and the coordinate system, and generating the combined content of the image and the object. 제3항에 있어서,
상기 컨텐츠를 생성하는 단계는
상기 영상 및 상기 객체의 방향이 서로 일치하도록 상기 객체의 방향을 조절한 컨텐츠를 생성하는, 컨텐츠 생성 방법.
The method of claim 3,
The step of generating the content
Wherein the content is generated by adjusting a direction of the object such that the directions of the image and the object coincide with each other.
컨텐츠 생성 장치가 영상 및 객체를 수신하는 단계;
상기 영상을 분석하여 입체 정보를 획득하는 단계;
상기 입체 정보를 이용하여 제1 지점 및 제2 지점을 결정하는 단계;
상기 제1 및 제2 지점 사이의 거리를 산출하는 단계;
상기 제1 및 제2 기준점, 상기 제1 기준점과 제2 기준점 사이의 거리를 기초로 좌표계를 생성하는 단계;
상기 영상을 고려하여, 상기 좌표계의 좌표 성분들을 보정하는 단계;
상기 영상 및 상기 객체를 이용하여 객체의 위치, 방향, 움직임 중 적어도 하나와 대응되는 대응 벡터를 결정하는 단계; 및
상기 좌표계 및 상기 대응 벡터를 활용하여 객체를 영상 위에 배치시킨 후, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성하는 단계;를 포함하는 컨텐츠 생성 방법. Receiving a video and an object from a content generation apparatus;
Analyzing the image to obtain stereoscopic information;
Determining a first point and a second point using the stereoscopic information;
Calculating a distance between the first and second points;
Generating a coordinate system based on the first and second reference points, the distance between the first reference point and the second reference point;
Correcting the coordinate components of the coordinate system in consideration of the image;
Determining a corresponding vector corresponding to at least one of a position, a direction, and a motion of the object using the image and the object; And
And generating the content combined with the image after locating the object on the image using the coordinate system and the corresponding vector. 제5항에 있어서,
상기 좌표 성분들을 보정하는 단계는
기 설정된 기준 범위 안에 포함되도록 상기 좌표계의 좌표 성분들의 간격을 조절하는, 컨텐츠 생성 방법. 6. The method of claim 5,
The step of correcting the coordinate components
And adjusting an interval of coordinate components of the coordinate system so as to be included in a predetermined reference range. 제5항에 있어서,
상기 컨텐츠를 생성하는 단계는
상기 영상 및 좌표계를 대비하여, 상기 대응 벡터와 대응되는 지점에 객체를 배치시키고, 상기 영상 및 상기 객체가 결합된 컨텐츠를 생성하는, 컨텐츠 생성 방법. 6. The method of claim 5,
The step of generating the content
And arranging an object at a position corresponding to the corresponding vector, in contrast to the image and the coordinate system, and generating the combined content of the image and the object. 제7항에 있어서,
상기 컨텐츠를 생성하는 단계는
상기 영상 및 상기 객체의 방향이 서로 일치하도록 상기 객체의 방향을 조절한 컨텐츠를 생성하는, 컨텐츠 생성 방법. 8. The method of claim 7,
The step of generating the content
Wherein the content is generated by adjusting a direction of the object such that the directions of the image and the object coincide with each other. 컴퓨터를 이용하여 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.A computer program stored on a medium for carrying out the method of any one of claims 1 to 4 using a computer.
KR1020170020714A 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents KR101904489B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170020714A KR101904489B1 (en) 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170020714A KR101904489B1 (en) 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents

Publications (2)

Publication Number Publication Date
KR20180094427A true KR20180094427A (en) 2018-08-23
KR101904489B1 KR101904489B1 (en) 2018-10-05

Family

ID=63454657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170020714A KR101904489B1 (en) 2017-02-15 2017-02-15 Apparatus, method and computer program for generating contents

Country Status (1)

Country Link
KR (1) KR101904489B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150115694A (en) 2015-09-18 2015-10-14 삼성전자주식회사 Content playing device having content forming function and method for forming content thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150115694A (en) 2015-09-18 2015-10-14 삼성전자주식회사 Content playing device having content forming function and method for forming content thereof

Also Published As

Publication number Publication date
KR101904489B1 (en) 2018-10-05

Similar Documents

Publication Publication Date Title
US11854149B2 (en) Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
US10586395B2 (en) Remote object detection and local tracking using visual odometry
JP6348574B2 (en) Monocular visual SLAM using global camera movement and panoramic camera movement
JP2019075082A (en) Video processing method and device using depth value estimation
US9325861B1 (en) Method, system, and computer program product for providing a target user interface for capturing panoramic images
US20160119537A1 (en) Method, system, and computer program product for gamifying the process of obtaining panoramic images
KR20200130472A (en) Self-supervised training of depth estimation models using depth hints
JP2018523326A (en) Full spherical capture method
US20140181630A1 (en) Method and apparatus for adding annotations to an image
US9361731B2 (en) Method and apparatus for displaying video on 3D map
KR20130116355A (en) Context aware augmentation interactions
CN109906600B (en) Simulated depth of field
JP7392105B2 (en) Methods, systems, and media for rendering immersive video content using foveated meshes
US20190166350A1 (en) Image merging method using viewpoint transformation and system therefor
JP7184748B2 (en) A method for generating layered depth data for a scene
US20190199992A1 (en) Information processing apparatus, method for controlling the same, and recording medium
CN116710968A (en) Physical keyboard tracking
CN108028904B (en) Method and system for light field augmented reality/virtual reality on mobile devices
EP2936442A1 (en) Method and apparatus for adding annotations to a plenoptic light field
US11410330B2 (en) Methods, devices, and systems for determining field of view and producing augmented reality
US11770551B2 (en) Object pose estimation and tracking using machine learning
US11481960B2 (en) Systems and methods for generating stabilized images of a real environment in artificial reality
JP6980802B2 (en) Methods, equipment and computer programs to provide augmented reality
CN107787507B (en) Apparatus and method for obtaining a registration error map representing a level of sharpness of an image
KR102161437B1 (en) Apparatus for sharing contents using spatial map of augmented reality and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right