KR101881295B1 - Video system based on layer mixer using augmented reality - Google Patents

Video system based on layer mixer using augmented reality Download PDF

Info

Publication number
KR101881295B1
KR101881295B1 KR1020170169249A KR20170169249A KR101881295B1 KR 101881295 B1 KR101881295 B1 KR 101881295B1 KR 1020170169249 A KR1020170169249 A KR 1020170169249A KR 20170169249 A KR20170169249 A KR 20170169249A KR 101881295 B1 KR101881295 B1 KR 101881295B1
Authority
KR
South Korea
Prior art keywords
augmented reality
data
image
layer
dimensional
Prior art date
Application number
KR1020170169249A
Other languages
Korean (ko)
Inventor
권오복
이정원
Original Assignee
(주)진명아이앤씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)진명아이앤씨 filed Critical (주)진명아이앤씨
Priority to KR1020170169249A priority Critical patent/KR101881295B1/en
Application granted granted Critical
Publication of KR101881295B1 publication Critical patent/KR101881295B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

The present invention relates to a video system based on a layer mixer using augmented reality, which extracts a three dimensional object by removing the background from an image captured by a depth camera, and mixes the extracted three dimensional object with a wanted specific layer among layers of each frame of virtual content used as the foreground or the background to enhance studio type broadcast production environment using conventional chromakey and to integrate a layer mixer image processing technology with the augmented reality such that realistic broadcast content can be produced and high value-added broadcast equipment can be provided.

Description

증강현실을 이용한 레이어 믹서 기반의 비디오 시스템{VIDEO SYSTEM BASED ON LAYER MIXER USING AUGMENTED REALITY}TECHNICAL FIELD [0001] The present invention relates to a video mixer-based video system using augmented reality,

본 발명은 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템에 관한 것으로, 더욱 상세하게는 뎁쓰(depth) 카메라로 촬영한 영상으로부터 배경이 삭제된 3차원 객체를 추출하고, 상기 추출한 3차원 객체를 전경이나 배경으로 사용하기 위한 가상 콘텐츠의 각 프레임별 레이어 중 원하는 특정 레이어에 믹싱하여 증강현실을 구현함으로써, 기존의 크로마키를 이용한 스튜디오방식의 방송제작환경을 개선하고, 레이어 믹서 영상처리 기술과 증강현실을 연계하여 보다 현실성 있는 방송 콘텐츠의 제작 및 고부가가치의 방송장비를 제공할 수 있도록 하는 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템에 관한 것이다.The present invention relates to a layer mixer-based video system using an augmented reality, and more particularly, to a video system based on a layered mixer using an augmented reality, which extracts a three-dimensional object from which backgrounds have been deleted from an image captured by a depth camera, By implementing the augmented reality by mixing with a desired layer among the layers of each frame of the virtual content for use as a background, it is possible to improve the broadcast production environment using the conventional chroma key, and to improve the layer mixer image processing technology and augmented reality And more particularly to a video mixer based on augmented reality, which enables a more realistic broadcast content to be produced and high-value broadcast equipment to be provided.

최근 들어 미래지식서비스 산업의 핵심으로 증강현실(Augmented Reality) 기술이 등장하였다. 미래창조과학부는 2016년도 기술영향평가 대상 기술로 가상ㅇ증강현실 기술을 선정하였으며, 한국기술과학평가원도 2015년 10대 미래유망기술로 가상현실 및 증강현실 구현 핵심기술 중 하나인 실감공간구현기술을 선정하였을 만큼 증강현실기술에 대한 국내외적인 관심이 급증되고 있다.Recently, augmented reality technology has emerged as the core of the future knowledge service industry. The Future Creation Science Department selected the virtual augmented reality technology as the target of technology impact evaluation in 2016. The Korea Technology & Science Evaluation and Consulting Service also selected the realistic space realization technology, one of the key technologies for realizing virtual reality and augmented reality, As a result, interest in the augmented reality technology has been increasing rapidly.

상기 증강현실은 실제 환경의 이미지나 배경에 컴퓨터를 이용하여 만들어낸 3차원의 가상 이미지를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기술로서, 현재 TV 자막이나 컴퓨터 그래픽 등에서 이미 광범위하게 사용 중에 있으며, 최근에는 모바일 게임에 적용되는 등 적용분야가 점차 증가하고 있는 추세이다.The augmented reality is a technique for synthesizing a virtual image of a three-dimensional image created by using a computer in an image of a real environment or a background and making it look like an object existing in the original environment. It is currently widely used in TV subtitles, Recently, application fields such as being applied to mobile games are increasing.

또한 상기 증강현실은 원격의료진단, 관광서비스, 제조공정관리, 교육분야 등에서 다양하게 활용되고 있으며, 그 밖의 많은 분야 특히 연예, 의학과 생물공학, 공학, 건축, 마케팅 분야에 응용될 수 있는 큰 잠재성을 지니고 있다.In addition, the augmented reality has been widely used in remote medical diagnosis, tourism service, manufacturing process control, education, and the like, and has a great potential to be applied to many other fields, especially entertainment, medical and biotechnology, engineering, .

지금까지는 객체, 배경, 환경 모두 현실이 아닌 가상의 이미지를 사용하는 가상현실(Virtual Reality)이 관련 산업의 성장을 주도하였으나, KT 경영연구소의 '현실과 가상 사이의 교량, 융합현실'보고서에 따르면 2017년 이후부터는 증강현실이 전체 시장의 성장을 주도할 것으로 예측하고 있으며, 2020년에는 전 세계의 가상현실 시장은 300억 달러, 증강현실 시장은 1,200억 달러 규모로 성장하여 증강현실 시장이 가상현실 시장보다 수 배 이상의 규모로 급속하게 확대될 것으로 예측하고 있다.Until now, Virtual Reality, which uses virtual imagery instead of reality, has led the growth of related industries. However, according to KT Management Research Institute's 'Bridge between reality and virtual reality' report From 2017 onwards, Augmented Reality is expected to lead the growth of the entire market. By 2020, the global virtual reality market will grow to $ 30 billion and the Augmented Reality market will grow to $ 120 billion, It is expected to expand rapidly to several times more than the market.

이처럼 상기 증강현실은 시장이 급속하게 커지면서 교육, 방송, 마케팅, 의료, 커뮤니티 등의 범위로 적용분야도 점차 확대되고 있으며, 가상현실의 가능성을 확장하여 융복합 산업의 고부가가치를 창출하는 동력이 요구되고 있다.As a market for such augmented reality is rapidly growing, application fields are increasingly extended to education, broadcasting, marketing, medical, community, and the like, and a power for creating a high value added value .

그러나, 상술한 바와 같은 종래의 증강현실 기술은 기존에 사용되었던 특정 단색배경의 대상을 촬영하고 단색배경의 키 값을 제거하여 가상배경과 믹싱하는 크로마키 방식을 이용한 제한적인 스튜디오형 기술에 머물러 있기 때문에 반드시 단색배경을 두고 촬영하여야 하고 실제 스튜디오 테이블을 포함한 각종 시설들이 미리 준비되어 있어야 하는 불편함이 있었다.However, the conventional augmented reality technology as described above has been limited to a studio-type technique using a chroma key method for shooting a target of a specific monochrome background and removing a key value of a monochrome background and mixing with a virtual background Therefore, it was inconvenient to shoot a scene with a solid color background and to prepare various facilities including the actual studio table in advance.

그러므로 보다 현실성 있는 가상 스튜디오 환경을 제공하기 위하여 가상 콘텐츠와 융합된 레이어 믹서 영상처리 기술과 증강현실을 기반으로 한 비디오믹서의 하드웨어 및 소프트웨어 기술개발이 시급한 실정이며, 방송시스템과 증강현실을 융합한다면 방송시장뿐 아니라 모의 훈련장치, 전시, 판매 설명회 등에 다양한 수준의 가상현실 기술이 사용될 수 있어 그 파급효과가 클 것으로 예상된다.Therefore, in order to provide a more realistic virtual studio environment, it is urgent to develop hardware and software technology of a video mixer based on augmented reality and a layer mixer image processing technology fused with virtual contents. If a broadcast system and augmented reality are fused, In addition to the market, virtual reality technology can be used at a variety of levels such as simulation training devices, exhibitions, and sales presentations.

또한 기존의 제한적인 스튜디오형 증강현실 기술을 개선하여 방송장비에 현재의 증강현실 트렌드를 적용한 비디오믹서의 개발을 통해 방송장비의 시장 선점 및 기업의 성장, 융복합 산업의 고부가가치 창출 등을 수행할 필요성이 점차 증대되고 있으며, 공공시설 및 문화시설등 대중화 시설에 대한 수요가 지속적으로 요구되고 사업성이 성장되고 있지만 아직 개별 소비자의 니즈에는 총족하지 못하는 실정이고 고가의 가격적인 문제와 열악한 콘텐츠환경도 개선해야 할 필요성이 있다.Also, by improving the existing limited studio augmented reality technology, the development of the video mixer applying the current augmented reality trend to the broadcasting equipment will lead to the market preemption of broadcasting equipment, growth of the enterprise, and creation of high added value The demand for popularized facilities such as public facilities and cultural facilities is continuously being demanded and the business performance is growing, but it is still not enough for the needs of the individual consumers, and the problem of expensive price and poor contents environment is improved There is a need to do.

따라서 본 발명에서는 뎁쓰 카메라로 촬영한 영상에서 깊이 정보를 통해 배경을 제거하여 3차원 객체를 추출하고, 상기 추출한 3차원 객체를 가상 콘텐츠의 특정 레이어에 믹싱하여 증강현실을 구현함으로써, 기존의 크로마키를 이용한 스튜디오방식의 방송제작환경을 개선하면서 보다 현실성 있는 방송 콘텐츠를 제작할 수 있는 방안을 제시하고자 한다.Accordingly, in the present invention, a three-dimensional object is extracted by removing the background through depth information from an image photographed by a depth camera, and the augmented reality is implemented by mixing the extracted three-dimensional object into a specific layer of the virtual content, This paper proposes a method for realizing more realistic broadcasting contents while improving the broadcasting environment of studio - based broadcasting.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.Next, a brief description will be given of the prior arts that exist in the technical field of the present invention, and technical matters which the present invention intends to differentiate from the prior arts will be described.

먼저 한국등록특허 제1733125호(2017.05.08.)는 배경스크린이 필요 없는 크로마키 영상 합성 방법에 관한 것으로, 일반적인 배경에서 객체를 촬영한 컬러 영상과 적외선 영상에서 객체를 추출하여 상기 컬러 영상의 객체를 상기 적외선 영상을 통해 보정하고 상기 적외선 영상의 객체 윤곽선을 상기 컬러 영상을 통해 보정한 후 서로 합성함으로써 배경스크린이 없는 환경에서도 크로마키 합성에 필요한 객체 영상을 보다 편리하고 정확하게 획득할 수 있도록 하는 것이다.Korean Patent No. 1733125 (Apr. 2017, 2015) discloses a chroma key image synthesis method that does not require a background screen. In this method, an object is extracted from a color image and an infrared image, Is corrected through the infrared image, the object contours of the infrared image are corrected through the color image, and then they are combined with each other, so that an object image necessary for chroma key composition can be acquired more conveniently and accurately even in an environment without a background screen .

하지만 본 발명은 뎁쓰 카메라로 촬영한 영상으로부터 깊이 정보를 활용하여 배경이 삭제된 3차원 객체를 추출하고, 상기 3차원 객체를 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어에 선택적으로 믹싱하여 증강현실을 구현하는 기술적 구성을 제시하고 있기 때문에, 상기 선행기술의 일반 영상으로부터 객체 영상을 추출함에 있어서 하나의 촬영된 영상으로부터 객체 영상을 추출하는 것이 아니라 배경에 객체가 포함되지 않은 제1영상과 배경에 객체가 포함된 제2영상을 조합하여 객체 영상을 획득하는 기술 구성과 비교해 볼 때 기술적 특징의 차이점이 분명하다.However, according to the present invention, a three-dimensional object whose background is deleted is extracted from an image photographed by a depth camera, and the three-dimensional object is extracted from at least one of a plurality of layers constituting each frame of the virtual content The present invention proposes a technique for realizing an augmented reality by selectively mixing an object image. Therefore, in extracting an object image from a general image of the prior art, instead of extracting an object image from one captured image, It is clear that the technical features are different from the technical structure of acquiring the object image by combining the first image and the second image including the object in the background.

또한 미국등록특허 US7720283호(2010.05.18.)는 영상 시퀀스에서 배경과 전경 영역에서의 콘트라스트를 보존하면서 카메라 이동, 조명 변경 및 물체의 움직임에 덜 민감하게 배경 이미지로부터 전경을 분할하고, 라이브 영상 내에서 분할된 전경과 대체 배경을 병합하는 것이다.US Patent No. 7720283 (May 18, 2010) divides the foreground from the background image while keeping the contrast in the background and foreground regions in the video sequence, while being less sensitive to camera movement, lighting changes, and object motion, Is to merge the split foreground with the alternate background.

하지만 본 발명은 뎁쓰 카메라로 촬영한 영상에서 추출한 3차원 객체를 전경이나 배경으로 사용하기 위한 가상 콘텐츠의 각 프레임별 레이어 중 원하는 특정 레이어에 믹싱하여 증강현실을 구현하는 기술적 구성을 제시하고 있기 때문에, 상기 선행기술의 영상 시퀀스에서 배경 이미지로부터 전경을 분할할 때 경의 경계에 해당하는 컨투어링을 추출하여 전경을 분할하는 기술 구성과 비교해 볼 때 기술적 구성이 전혀 다르다.However, since the present invention proposes a technical structure for realizing an augmented reality by mixing a three-dimensional object extracted from an image photographed by a depth camera into a desired one of layers of each frame of virtual contents for use as foreground or background, The technical configuration is completely different from the technology construction in which the foreground is divided by extracting the contour corresponding to the boundary of the oblique when dividing the foreground from the background image in the video sequence of the prior art.

즉 상기 선행기술들은 배경스크린이 없는 환경에서도 크로마키 합성에 필요한 객체 영상을 획득하는 구성, 영상 시퀀스에서 배경 이미지로부터 전경을 분할하고, 라이브 영상 내에서 분할된 전경과 대체 배경을 병합하는 구성을 제시하고 있지만, 본 발명의 기술적 특징인 뎁쓰 카메라로 촬영한 영상에서 깊이 정보를 활용하여 3차원 객체를 추출하고, 상기 3차원 객체를 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어에 선택적으로 믹싱하여 증강현실을 구현하는 구성에 대해서는 구체적인 기재가 없기 때문에 기술적 차이점이 분명한 것이다.That is, the above prior arts provide a configuration for obtaining an object image necessary for chroma key synthesis even in an environment without a background screen, a foreground division from a background image in an image sequence, and a configuration for merging divided foreground and background in a live image However, the present invention is characterized in that a three-dimensional object is extracted by using depth information in an image taken by a depth camera, and the three-dimensional object is divided into at least one of a plurality of layers constituting each frame of the virtual content There is no detailed description of the configuration for realizing the augmented reality, so the technical difference is obvious.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 뎁쓰 카메라로 촬영한 영상으로부터 깊이 정보를 활용하여 배경이 삭제된 3차원 객체를 추출할 수 있도록 하는 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템을 제공하는 것을 목적으로 한다.The object of the present invention is to provide a layer mixer-based video system using an augmented reality which is capable of extracting a three-dimensional object whose background is deleted by utilizing depth information from an image photographed by a depth camera And to provide the above objects.

또한 본 발명은 뎁쓰 카메라에서 촬영한 영상에서 추출한 3차원 객체를 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어에 선택적으로 믹싱하여 증강현실을 구현할 수 있도록 하는 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템을 제공하는 것을 다른 목적으로 한다.The present invention also relates to a method and a device for realizing an augmented reality by mixing a three-dimensional object extracted from an image photographed by a depth camera with at least one of a plurality of layers constituting each frame of a virtual content, It is another object to provide a mixer-based video system.

본 발명의 일 실시예에 따른 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템은, 카메라로 촬영한 영상 데이터에서 적어도 하나 이상의 3차원 객체를 추출하는 객체 추출부 및 상기 추출한 3차원 객체를 가상 콘텐츠와 믹싱하여 증강현실 데이터를 생성하는 증강현실 합성부를 포함하며, 상기 증강현실 합성부는 상기 3차원 객체를 상기 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어와 믹싱하여 증강현실을 구현하는 것을 특징으로 한다.A layer mixer-based video system using an augmented reality according to an exemplary embodiment of the present invention includes an object extraction unit that extracts at least one or more three-dimensional objects from image data captured by a camera, and an object extraction unit that extracts the extracted three- Wherein the augmented reality synthesis unit mixes the three-dimensional object with at least one of a plurality of layers constituting each frame of the virtual content to implement an augmented reality .

또한 상기 영상 데이터는 뎁쓰 카메라를 사용하여 촬영한 깊이 영상 정보가 포함된 영상 데이터이며, 상기 객체 추출부는 상기 깊이 영상 정보를 토대로 상기 영상 데이터에서 배경을 제외한 3차원 객체를 적어도 하나 이상 추출하는 것을 특징으로 한다.In addition, the image data is image data including depth image information photographed using a depth camera, and the object extracting unit extracts at least one or more three-dimensional objects excluding the background from the image data based on the depth image information .

또한 상기 가상 콘텐츠는 적어도 하나 이상의 레이어를 포함한 프레임을 시간의 흐름에 따라 연결하여 구성한 2차원, 3차원 또는 이들의 조합을 포함하는 영상으로서, 상기 3차원 객체의 각 프레임별 레이어 삽입 위치에 따라 상기 증강현실 데이터의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 한다.The virtual content is an image including two-dimensional, three-dimensional, or a combination of frames formed by connecting frames including at least one layer according to the passage of time, The background of the augmented reality data, the foreground, or a combination thereof.

또한 상기 증강현실 합성부는, 적어도 하나 이상 추출한 3차원 객체 각각의 상기 가상 콘텐츠의 각 프레임별 특정 레이어에서의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정하는 객체 위치 조정부 및 상기 객체 위치 조정부에서 위치가 조정된 상기 3차원 객체와 상기 가상 콘텐츠를 시간의 경과에 따라 각 프레임별로 렌더링하는 렌더링 처리부를 포함하는 것을 특징으로 한다.The augmented reality synthesis unit may further include an object position adjustment unit that adjusts an initial position and a position of the three-dimensional object extracted by the at least one extracted three-dimensional object, And a rendering processor for rendering the three-dimensional object and the virtual content adjusted for each frame according to the lapse of time.

또한 상기 비디오 시스템은, 상기 3차원 객체와 상기 가상 콘텐츠를 믹싱하여 생성한 상기 증강현실 데이터를 데이터베이스에 저장하여 관리하거나, 상기 증강현실 데이터를 부호화하여 압축된 영상 스트림을 생성한 후 네트워크를 통해 방송장비, 사용자 단말 또는 이들의 조합으로 송출하는 데이터 송출부를 더 포함하는 것을 특징으로 한다.Also, the video system may store the augmented reality data generated by mixing the three-dimensional object and the virtual content and store the augmented reality data in a database, or may generate a compressed video stream by encoding the augmented reality data, And a data transmission unit for transmitting the data to a user equipment, a user terminal, or a combination thereof.

아울러, 본 발명의 일 실시예에 따른 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 운영방법은, 비디오 시스템에서, 비디오 믹서 플랫폼을 통해 카메라로 촬영한 영상 데이터에서 적어도 하나 이상의 3차원 객체를 추출하는 객체 추출 단계 및 상기 추출한 3차원 객체를 가상 콘텐츠와 믹싱하여 증강현실 데이터를 생성하는 증강현실 합성 단계를 포함하며, 상기 증강현실 합성 단계는 상기 3차원 객체를 상기 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어와 믹싱하여 증강현실을 구현하는 것을 특징으로 한다.In addition, a method of operating a layer-mixer-based video system using an augmented reality according to an exemplary embodiment of the present invention includes a method of extracting at least one three-dimensional object from image data photographed by a camera through a video mixer platform Extracting the three-dimensional object and mixing the extracted three-dimensional object with the virtual content to generate augmented reality data, wherein the augmented reality synthesis step includes synthesizing the three-dimensional object into a plurality of And mixing the at least one layer with at least one specific layer to implement an augmented reality.

또한 상기 영상 데이터는 뎁쓰 카메라를 사용하여 촬영한 깊이 영상 정보가 포함된 영상 데이터이며, 상기 객체 추출 단계에서 상기 영상 데이터에 포함된 상기 깊이 영상 정보를 토대로 배경을 제외한 3차원 객체를 적어도 하나 이상 추출하는 것을 특징으로 한다.The image data is image data including depth image information photographed using a depth camera. In the object extracting step, at least one three-dimensional object excluding the background is extracted based on the depth image information included in the image data, .

또한 상기 가상 콘텐츠는 적어도 하나 이상의 레이어를 포함한 프레임을 시간의 흐름에 따라 연결하여 구성한 2차원, 3차원 또는 이들의 조합을 포함하는 영상으로서, 상기 3차원 객체의 각 프레임별 레이어 삽입 위치에 따라 상기 증강현실 데이터의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 한다.The virtual content is an image including two-dimensional, three-dimensional, or a combination of frames formed by connecting frames including at least one layer according to the passage of time, The background of the augmented reality data, the foreground, or a combination thereof.

또한 상기 증강현실 합성 단계는, 상기 비디오 믹서 플랫폼에서, 적어도 하나 이상 추출한 3차원 객체 각각의 상기 가상 콘텐츠의 각 프레임별 특정 레이어에서의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정하는 객체 위치 조정 단계 및 상기 객체 위치 조정 단계를 통해 위치가 조정된 상기 3차원 객체와 상기 가상 콘텐츠를 시간의 경과에 따라 각 프레임별로 렌더링하는 렌더링 처리 단계를 포함하는 것을 특징으로 한다.In the video mixer platform, the augmented reality synthesizing step may include a step of, in the video mixer platform, adjusting an initial position in a specific layer of each frame of the virtual content of each of the three- And a rendering processing step of rendering the 3D object and the virtual contents whose positions are adjusted through the object position adjusting step, for each frame according to the lapse of time.

또한 상기 비디오 시스템 운영방법은, 상기 비디오 믹서 플랫폼에서, 상기 3차원 객체와 상기 가상 콘텐츠를 믹싱하여 생성한 상기 증강현실 데이터를 데이터베이스에 저장하여 관리하거나, 상기 증강현실 데이터를 부호화하여 압축된 영상 스트림을 생성한 후 네트워크를 통해 방송장비, 사용자 단말 또는 이들의 조합으로 송출하는 데이터 송출 단계를 더 포함하는 것을 특징으로 한다.In the video system operating method, the video mixer platform stores the augmented reality data generated by mixing the three-dimensional object and the virtual content, and stores the augmented reality data in a database, or encodes the augmented reality data, And transmitting data to a broadcasting apparatus, a user terminal, or a combination thereof through a network.

이상에서와 같이 본 발명의 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템에 따르면, 뎁쓰 카메라로 촬영한 영상에서 추출한 3차원 객체를 가상 콘텐츠의 각 프레임별 레이어 중 원하는 특정 레이어에 믹싱하여 증강현실을 구현함으로써, 기존의 크로마키를 이용한 스튜디오방식의 고정적인 장소에서의 제작환경을 벗어나 교육, 의료, 스포츠, 종교행사, 문화행사 등의 콘텐츠에 따라 다양한 장소 및 분야에서 활용이 가능하므로 방송제작환경을 개선할 수 있으며, 방송제작 관련 종사자들에게 가상 콘텐츠와 연계된 방송 콘텐츠 제작의 편의를 제공할 수 있는 효과가 있다.As described above, according to the layer mixer-based video system using the augmented reality of the present invention, the three-dimensional object extracted from the image photographed by the depth camera is mixed with a desired one of the layers of each frame of the virtual content to realize an augmented reality , It can be used in various places and fields according to the contents such as education, medical, sports, religious events, cultural events, etc. outside the production environment in the fixed place of the studio system using the existing chroma key. And it is possible to provide the convenience of production of broadcasting contents linked with virtual contents to the workers related to broadcasting production.

또한 본 발명은 가상 콘텐츠와 융합한 레이어 믹서 영상처리 기술과 증강현실을 기반으로 한 비디오믹서의 장비 개발 및 적용을 통해 보다 현실성 있는 방송 콘텐츠를 제작할 수 있고, 고부가가치의 방송장비를 제공할 수 있으며, 증강현실 기술에 대한 자체 기술력의 확보는 물론, 기업브랜드이미지 강화, 수입대체, 매출성장, 고용창출 등의 효과를 얻을 수 있다.Further, the present invention can produce more realistic broadcast contents through the development and application of a video mixer based on a layer mixer image processing technique and augmented reality that are fused with virtual contents, and can provide high value-added broadcast equipment In addition to securing own technology for augmented reality technology, it can also enhance corporate brand image, import substitution, sales growth, and employment creation.

도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명이 적용된 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 운영과정을 설명하기 위한 개념도이다.
도 3은 도 1의 비디오 믹서 플랫폼의 구성을 보다 상세하게 나타낸 도면이다.
도 4는 본 발명에 적용된 3차원 객체와 가상 콘텐츠의 믹싱에 따른 증강현실 데이터의 생성 과정을 상세하게 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 운영방법의 동작과정을 상세하게 나타낸 순서도이다.1 is a diagram schematically illustrating a configuration of a layer mixer-based video system using an augmented reality according to an embodiment of the present invention.
2 is a conceptual diagram illustrating a process of operating a layer mixer-based video system using an augmented reality to which the present invention is applied.
Figure 3 is a more detailed view of the configuration of the video mixer platform of Figure 1;
4 is a diagram for explaining in detail a process of generating augmented reality data according to mixing of a 3D object and a virtual content according to an embodiment of the present invention.
FIG. 5 is a flowchart illustrating an operation of a layer mixer-based video system operating method using an augmented reality according to an embodiment of the present invention in detail.

이하, 첨부한 도면을 참조하여 본 발명의 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.Hereinafter, a preferred embodiment of a layer mixer-based video system using an augmented reality according to the present invention will be described in detail with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements. Furthermore, specific structural and functional descriptions for embodiments of the present invention are presented for the purpose of describing an embodiment of the present invention only, and, unless otherwise defined, all terms used herein, including technical or scientific terms Have the same meaning as commonly understood by those of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as ideal or overly formal in the sense of the art unless explicitly defined herein .

도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템의 구성을 개략적으로 나타낸 도면이며, 도 2는 본 발명이 적용된 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 운영과정을 설명하기 위한 개념도이다.FIG. 1 is a diagram schematically illustrating a configuration of a layer mixer-based video system using an augmented reality according to an embodiment of the present invention. FIG. 2 is a flowchart illustrating a process of operating a layer mixer-based video system using an augmented reality FIG.

도 1에 도시된 바와 같이, 본 발명의 비디오 시스템은 비디오 믹서 플랫폼(100), 카메라(200), 데이터베이스(300), 사용자 단말(400) 등으로 구성된다.1, the video system of the present invention comprises a video mixer platform 100, a camera 200, a database 300, a user terminal 400, and the like.

비디오 믹서 플랫폼(100)은 증강현실을 구현하기 위하여 종래에 사용하였던 크로마키를 이용한 스튜디오방식의 방송제작환경을 개선하고, 레이어 믹서 기반의 영상처리 기술을 증강현실과 연계하여 보다 현실감 있는 방송 콘텐츠를 제작하기 위한 고부가가치의 장비이다.The video mixer platform 100 improves the broadcasting production environment using the chroma key used in the past to implement the augmented reality and connects the layer mixer based image processing technology with the augmented reality to provide more realistic broadcast contents It is high value-added equipment for production.

상기 비디오 믹서 플랫폼(100)은 카메라(200)에서 촬영한 영상으로부터 증강현실로 구현할 3차원 객체를 추출하고, 상기 추출한 3차원 객체를 원하는 가상 콘텐츠와 믹싱하여 증강현실 데이터를 생성한다. 즉 카메라(200)에서 촬영한 영상으로부터 배경을 삭제하고 3차원 객체만을 적어도 하나 이상 추출한 후, 추출된 3차원 객체를 전경, 배경 또는 이들의 조합으로 사용하기 위한 가상 콘텐츠를 구성하는 각각의 프레임별 레이어 중 원하는 특정 레이어에 믹싱하여 증강현실을 구현하는 것이다.The video mixer platform 100 extracts a three-dimensional object to be implemented as an augmented reality from an image captured by the camera 200, and mixes the extracted three-dimensional object with a desired virtual content to generate augmented reality data. That is, the background is deleted from the image photographed by the camera 200, at least one or more three-dimensional objects are extracted, and then the extracted three-dimensional objects are displayed in the foreground, background, It is to implement augmented reality by mixing to a specific layer among layers.

이때 상기 비디오 믹서 플랫폼(100)은 상기 3차원 객체를 추출하기 위해 카메라(200)에서 촬영한 영상 데이터를 예로 설명하고 있으나 이에 한정되는 것은 아니며, 그 이외에 키넥트(kinect)와 같은 센서를 사용하여 3차원 객체를 추출하는 방식을 사용할 수 있음을 밝혀둔다.In this case, the video mixer platform 100 exemplifies the image data photographed by the camera 200 in order to extract the three-dimensional object, but the present invention is not limited thereto, and a sensor such as a kinect may be used It is noted that a method of extracting a three-dimensional object can be used.

또한 상기 비디오 믹서 플랫폼(100)은 상기 3차원 객체와 상기 가상 콘텐츠를 믹싱할 때, 작업자의 조작을 토대로 상기 3차원 객체가 믹싱될 상기 가상 콘텐츠의 각 프레임별 특정 레이어에서의 3차원 객체의 초기 위치는 물론, 시간의 경과에 따라 변화하는 각 프레임별 특정 레이어에서의 위치를 조정하여야 하며, 위치가 조정된 상기 3차원 객체와 상기 가상 콘텐츠를 시간의 경과에 따라 각 프레임별로 렌더링 처리를 수행함으로써, 증강현실 데이터를 생성한다.In addition, when mixing the three-dimensional object and the virtual content, the video mixer platform 100 may allow the three-dimensional object to be mixed with the three- The position of the 3D object and the virtual content whose position has been adjusted should be adjusted for each frame as time elapses as well as the position of the 3D object, , And generates the augmented reality data.

이렇게 생성되는 증강현실 데이터는 종래의 증강현실 기술과는 차이점이 있다. 예를 들어 종래의 증강현실 기술은 증강현실로 구현되는 객체가 가상 콘텐츠의 모든 프레임의 전경이나 배경의 임의의 위치에 중첩, 오버레이, 삽입 등의 방식으로 구현된다. 하지만 본 발명에서는 이와는 달리 증강현실로 구현되는 3차원 객체가 가상 콘텐츠의 각 프레임별 레이어 위치에 따라 변경하여 믹싱되는 레이어 믹서 기반의 기술로 구현되기 때문에 3차원 객체가 가상 콘텐츠의 전경에 위치한 상태에서 시간의 경과에 따라 배경에 위치하는 등 자유롭게 증강현실을 구현할 수 있는 것이다. 이는 본 발명에서 제시하는 주요 기술적 특징 중 하나로서, 종래의 증강현실 기술과 대비되는 차이점이다.The augmented reality data thus generated is different from the conventional augmented reality technology. For example, a conventional augmented reality technique is implemented by superimposing, overlaying, or inserting an object implemented as an augmented reality at an arbitrary position in the foreground or background of every frame of the virtual content. However, in the present invention, since a three-dimensional object implemented as an augmented reality is implemented by a layer mixer-based technique in which the three-dimensional object is changed and mixed according to the layer position of each frame of the virtual content, It is possible to freely implement augmented reality such as being positioned in the background as time elapses. This is one of the main technical features proposed in the present invention, and is a difference from the conventional augmented reality technology.

또한 상기 비디오 믹서 플랫폼(100)은 상기 3차원 객체와 상기 가상 콘텐츠의 믹싱을 통해 생성한 상기 증강현실 데이터를 압축하여 송출하는 기능을 추가로 수행한다. 즉 상기 증강현실 데이터를 데이터베이스(300)에 저장하여 관리하거나, 또는 데이터의 크기를 줄이고 전송의 효율을 높이기 위하여 상기 증강현실 데이터를 부호화하여 압축된 영상 스트림을 생성하고, 이를 네트워크를 통해 상기 비디오 믹서 플랫폼(100)과 접속된 다른 방송장비나 증강현실 데이터를 시청하는 사용자 단말(400)로 송출하는 것이다.The video mixer platform 100 further performs a function of compressing and transmitting the augmented reality data generated by mixing the three-dimensional object and the virtual content. That is, the augmented reality data is stored and managed in the database 300, or the augmented reality data is encoded to reduce the size of data and increase the efficiency of transmission, thereby generating a compressed video stream, To the user terminal 400 that views the other broadcasting equipment connected to the platform 100 or the augmented reality data.

한편 본 발명은 상기 비디오 믹서 플랫폼(100)에서 카메라에서 촬영한 영상 데이터로부터의 3차원 객체 추출, 증강현실에 사용할 가상 콘텐츠의 수집, 생성 및 선택, 믹싱 처리된 증강현실 데이터의 송출 등의 모든 기능을 수행하는 것을 예로 하여 설명하고 있으나, 이에 제한받지 않고 각각의 기능을 별개의 장치에서 수행하고, 상기 비디오 믹서 플랫폼(100)에서는 3차원 객체와 가상 콘텐츠의 믹싱 작업만을 수행하도록 구성할 수도 있다.The present invention can be applied to all functions such as extraction of a three-dimensional object from image data photographed by a camera in the video mixer platform 100, collection, generation and selection of a virtual content to be used in an augmented reality, and transmission of augmented reality data However, the present invention is not limited to this, and each function may be performed in a separate apparatus, and the video mixer platform 100 may be configured to perform only a mixing operation of a three-dimensional object and a virtual content.

카메라(200)는 뎁쓰 카메라 등으로서, 깊이 영상 정보가 포함된 영상의 촬영을 수행하고, 촬영한 영상 데이터를 상기 비디오 믹서 플랫폼(100)으로 제공한다. 이때 상기 카메라(200)에서 촬영한 영상 데이터는 네트워크를 통해 상기 비디오 믹서 플랫폼(100)으로 실시간으로 제공되거나, 데이터베이스(300)에 저장하여 관리할 수 있다.The camera 200 is a depth camera or the like and performs shooting of an image including depth image information, and provides the captured image data to the video mixer platform 100. The video data photographed by the camera 200 may be provided to the video mixer platform 100 through the network in real time or may be stored in the database 300 for management.

또한 상기 카메라(200)에서 촬영한 영상은 깊이 정보가 포함되어 있으므로 배경과 3차원 객체의 구분 및 분리가 용이하며, 이를 토대로 상기 비디오 믹서 플랫폼(100)에서 상기 영상 데이터의 깊이 정보를 통해 배경을 삭제함으로써, 적어도 하나 이상의 3차원 객체를 추출할 수 있다.In addition, since the image captured by the camera 200 includes depth information, it is easy to distinguish and separate the background and the three-dimensional object. Based on the depth information, the video mixer platform 100 determines the background Thereby extracting at least one or more three-dimensional objects.

데이터베이스(300)는 상기 비디오 믹서 플랫폼(100)에서 사용되는 증강현실 구현을 위한 각종 동작 프로그램을 저장하여 관리하며, 증강현실에 사용되는 각종 영상 데이터, 상기 영상 데이터로부터 추출한 3차원 객체 정보, 각종 가상 콘텐츠를 저장하여 관리한다.The database 300 stores and manages various operation programs for implementing an augmented reality used in the video mixer platform 100, and stores various image data used in the augmented reality, three-dimensional object information extracted from the image data, The content is stored and managed.

이때 상기 영상 데이터는 상기 비디오 믹서 플랫폼(100) 또는 상기 카메라(200)로부터 제공되며, 상기 가상 콘텐츠는 상기 비디오 믹서 플랫폼(100)으로부터 제공된다.Wherein the video data is provided from the video mixer platform 100 or the camera 200 and the virtual content is provided from the video mixer platform 100. [

또한 상기 가상 콘텐츠는 적어도 하나 이상의 레이어가 중첩되어 형성된 각각의 프레임을 시간의 흐름에 따라 연결하여 구성한 2차원, 3차원 또는 이들의 조합을 포함하는 일련의 영상 정보이다. 그리고 상기 가상 콘텐츠는 상기 비디오 믹서 플랫폼(100)에서 수행하는 증강현실 믹싱 작업에 의해 상기 3차원 객체의 각 프레임별 레이어 삽입 위치에 따라 상기 증강현실 데이터의 배경, 전경 또는 이들의 조합으로 사용된다.Also, the virtual content is a series of video information including two-dimensional, three-dimensional, or a combination of two or more frames formed by connecting each frame formed by superimposing at least one layer according to the passage of time. The virtual content is used as a background, a foreground, or a combination of the augmented reality data according to a layer insertion position for each frame of the 3D object by an augmented reality mixing operation performed in the video mixer platform 100. [

사용자 단말(400)은 공지의 텔레비전, 모니터, 스마트폰 등의 영상 데이터의 재생 출력을 수행하는 기기로서, 네트워크를 통해 상기 비디오 믹서 플랫폼(100)에서 생성한 증강현실 데이터를 수신하여 재생한다.The user terminal 400 receives and reproduces the augmented reality data generated by the video mixer platform 100 through a network, and reproduces and outputs video data of a known television, monitor, smart phone, and the like.

이러한 본 발명의 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템의 구동과정을 도 2를 참조하여 상세하게 설명하면 다음과 같다.The operation of the layer mixer-based video system using the augmented reality according to the present invention will be described in detail with reference to FIG.

먼저, 상기 비디오 믹서 플랫폼(100)은 증강현실 구현에 사용되는 각종 가상 콘텐츠를 다양한 경로를 통해 수집하거나 직접 생성하여 상기 데이터베이스(300)에 저장하여 관리하며, 이와 함께 카메라(200)로 촬영하거나 수집한 영상 데이터를 데이터베이스(300)에 저장하여 관리한다(①).First, the video mixer platform 100 collects or directly generates various virtual contents used in the augmented reality implementation through various paths, stores the virtual contents in the database 300 and manages them, One image data is stored in the database 300 and managed (1).

또한 증강현실로 구현할 3차원 객체가 포함된 영상은 상기 카메라(200)에서 촬영한 후, 네트워크를 통해 상기 비디오 믹서 플랫폼(100)으로 제공된다(②).Also, an image including a three-dimensional object to be implemented as an augmented reality is captured by the camera 200 and then provided to the video mixer platform 100 through a network (2).

상기 비디오 믹서 플랫폼(100)은 상기 카메라(200)에서 촬영한 영상 데이터에 포함된 깊이 정보를 토대로 배경을 삭제하고 적어도 하나 이상의 3차원 객체를 추출한다(③).The video mixer platform 100 deletes the background based on the depth information included in the image data photographed by the camera 200 and extracts at least one three-dimensional object (3).

또한 상기 비디오 믹서 플랫폼(100)은 상기 카메라(200)에서 촬영한 영상 데이터로부터 3차원 객체를 추출한 이후, 상기 3차원 객체가 증강현실로 구현될 특정 가상 콘텐츠를 선택한다(④).In addition, the video mixer platform 100 extracts a three-dimensional object from the image data photographed by the camera 200, and then selects the specific virtual content in which the three-dimensional object is to be implemented as an augmented reality (4).

그리고 상기 비디오 믹서 플랫폼(100)은 상기 3차원 객체와 상기 가상 콘텐츠를 믹싱하여 증강현실 데이터를 생성한다(⑤). 즉 상기 3차원 객체를 시간의 흐름에 따라 상기 가상 콘텐츠의 각각의 프레임별 레이어 중 특정 레이어에 삽입하여 증강현실을 구현하는 것이다. 이에 대한 처리과정을 후술되는 도 4에서 상세하게 설명하기로 한다.The video mixer platform 100 generates the augmented reality data by mixing the 3D object and the virtual content (step 5). That is, the 3D object is inserted into a specific layer among layers of each frame of the virtual content according to the flow of time, thereby realizing an augmented reality. The processing procedure will be described in detail with reference to FIG. 4, which will be described later.

이렇게 3차원 객체와 가상 콘텐츠를 믹싱하여 증강현실 데이터가 생성되면, 상기 비디오 믹서 플랫폼(100)은 상기 증강현실 데이터를 상기 데이터베이스(300)에 저장하여 관리하거나, 또는 상기 믹싱 처리된 증강현실 데이터를 부호화하여 압축하고, 이를 네트워크를 통해 사용자 단말(400)로 송출하여 사용자들이 증강현실 데이터를 시청할 수 있도록 한다(⑥).When the augmented reality data is generated by mixing the three-dimensional object and the virtual content, the video mixer platform 100 stores the augmented reality data in the database 300 and manages the augmented reality data, And transmits it to the user terminal 400 through the network so that users can view the augmented reality data (6).

도 3은 도 1의 비디오 믹서 플랫폼(100)의 구성을 보다 상세하게 나타낸 도면이다.3 is a more detailed view of the configuration of the video mixer platform 100 of FIG.

도 3에 도시된 바와 같이, 상기 비디오 믹서 플랫폼(100)은 데이터 입력부(110), 객체 추출부(120), 가상 콘텐츠 확인부(130), 증강현실 합성부(140), 저장부(150), 데이터 송출부(160), 제어부(170) 등으로 구성된다.3, the video mixer platform 100 includes a data input unit 110, an object extraction unit 120, a virtual content verification unit 130, an augmented reality synthesis unit 140, a storage unit 150, A data transmission unit 160, a control unit 170, and the like.

데이터 입력부(110)는 제어부(170)의 제어를 토대로 상기 카메라(200)로부터 증강현실로 구현될 객체가 포함된 영상 데이터를 입력받아 객체 추출부(120)로 제공하며, 상기 데이터베이스(300)로부터 각종 가상 콘텐츠를 입력받아 가상 콘텐츠 확인부(130)로 제공한다.The data input unit 110 receives image data including an object to be realized as an augmented reality from the camera 200 based on the control of the control unit 170 and provides the image data to the object extraction unit 120, And supplies the virtual content to the virtual content verification unit 130. [

이때 상기 카메라(200)로부터 제공받는 영상 데이터는 깊이 영상 정보가 포함된 영상으로서, 상기 카메라(200) 이외에 데이터베이스(300)로부터 제공받을 수 있다.At this time, the image data received from the camera 200 is an image including the depth image information and can be provided from the database 300 in addition to the camera 200.

또한 상기 데이터베이스(300)로부터 제공받는 가상 콘텐츠는 적어도 하나 이상의 레이어가 중첩, 오버레이 또는 삽입된 복수 개의 프레임을 시간의 흐름에 따라 결합한 2차원, 3차원 또는 이들의 조합을 포함하는 영상, 애니메이션 등의 데이터이다.In addition, the virtual content received from the database 300 may include at least one layer of two-dimensional, three-dimensional, or a combination of a plurality of frames overlapped, overlaid, or embedded in accordance with the flow of time, Data.

이때 상기 가상 콘텐츠는 상기 3차원 객체의 각각의 프레임별 레이어 삽입 위치에 따라 상기 증강현실 데이터의 배경, 전경 또는 이들의 조합으로 사용될 수 있다.At this time, the virtual content can be used as a background, a foreground, or a combination of the augmented reality data according to a layer insertion position for each frame of the three-dimensional object.

객체 추출부(120)는 상기 카메라(200)로 촬영한 영상 데이터에서 3차원 객체를 추출하여 상기 증강현실 합성부(140)로 제공한다.The object extracting unit 120 extracts a three-dimensional object from the image data photographed by the camera 200, and provides the extracted three-dimensional object to the augmented reality combining unit 140.

즉 상기 객체 추출부(120)는 상기 영상 데이터의 깊이 영상 정보를 확인하고, 확인된 결과정보를 토대로 배경이 되는 부분을 삭제하고 사람, 사물 등의 3차원 객체를 적어도 하나 이상 추출하는 것이다.That is, the object extraction unit 120 identifies the depth image information of the image data, deletes a background portion based on the confirmed result information, and extracts at least one or more three-dimensional objects such as a person or an object.

가상 콘텐츠 확인부(130)는 상기 데이터 입력부(110)로부터 제공받은 증강현실 구현에 사용할 각종 가상 콘텐츠를 확인하고, 특정 가상 콘텐츠를 선택하는 기능을 수행한다.The virtual content verification unit 130 identifies various virtual contents to be used in implementing the augmented reality provided from the data input unit 110 and selects a specific virtual content.

즉 상기 가상 콘텐츠 확인부(130)는 작업자의 조작을 토대로 증강현실 구현을 위해 사용할 배경이나 전경에 대한 각종 가상 콘텐츠를 확인하여 특정 가상 콘텐츠를 선택하고, 상기 선택한 가상 콘텐츠의 각각의 프레임별로 3차원 객체가 믹싱될 특정 레이어를 결정한 다음, 이에 대한 정보를 증강현실 합성부(140)로 제공하여 증강현실을 구현하도록 하는 것이다.That is, the virtual content determination unit 130 selects a specific virtual content by checking various background contents or foreground virtual contents to be used for implementing an augmented reality based on an operation of an operator, Determines the specific layer to which the object is to be mixed, and provides the information to the augmented reality combining unit 140 to implement the augmented reality.

증강현실 합성부(140)는 상기 객체 추출부(120)에서 추출한 3차원 객체와 상기 가상 콘텐츠 확인부(130)에서 선택한 특정 가상 콘텐츠를 믹싱하여 증강현실 데이터를 생성한다.The augmented reality synthesis unit 140 mixes the three-dimensional object extracted by the object extraction unit 120 and the specific virtual content selected by the virtual content determination unit 130 to generate augmented reality data.

즉 상기 증강현실 합성부(140)는 상기 3차원 객체를 상기 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어와 믹싱하여 증강현실을 구현하는 것이다.That is, the augmented reality composing unit 140 implements the augmented reality by mixing the three-dimensional object with at least one of the plurality of layers constituting each frame of the virtual content.

또한 상기 증강현실 합성부(140)는 적어도 하나 이상 추출한 3차원 객체 각각의 상기 가상 콘텐츠의 각 프레임별 특정 레이어에서의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정하는 객체 위치 조정부(142)와, 상기 객체 위치 조정부(142)에서 위치가 조정된 상기 3차원 객체와 상기 가상 콘텐츠를 시간의 경과에 따라 각 프레임별로 렌더링하는 렌더링 처리부(144)로 구성된다.The augmented reality synthesis unit 140 includes an object position adjustment unit 142 that adjusts an initial position of each of the three-dimensional objects extracted from at least one of the three-dimensional objects and a position of the three- And a rendering processor 144 that renders the 3D object and the virtual content whose position has been adjusted by the object position adjuster 142 for each frame according to the elapse of time.

저장부(150)는 상기 비디오 믹서 플랫폼(100)에서 사용하는 증강현실 구현을 위한 각종 동작 프로그램을 저장하고 있으며, 상기 데이터 입력부(110)로부터 입력되는 3차원 객체 추출을 위한 영상 데이터, 증강현실에 사용할 가상 콘텐츠를 임시로 저장하는 기능을 수행한다.The storage unit 150 stores various operation programs for realizing an augmented reality used in the video mixer platform 100. The storage unit 150 stores image data for extracting a three-dimensional object input from the data input unit 110, And temporarily stores the virtual content to be used.

또한 상기 저장부(150)는 상기 증강현실 합성부(140)에서 믹싱 처리된 증강현실 데이터와 상기 데이터 송출부(160)에서 부호화한 압축 데이터를 임시로 저장하는 기능을 수행한다.Also, the storage unit 150 temporarily stores the augmented reality data mixed in the augmented reality synthesis unit 140 and the compressed data coded in the data transmission unit 160.

데이터 송출부(160)는 상기 증강현실 합성부(140)에서 상기 3차원 객체와 상기 가상 콘텐츠를 믹싱하여 생성한 상기 증강현실 데이터를 부호화하여 압축된 영상 스트림을 생성한 후 네트워크를 통해 방송장비, 사용자 단말 또는 이들의 조합으로 송출하는 기능을 수행한다.The data transmitting unit 160 encodes the augmented reality data generated by mixing the 3D object and the virtual content in the augmented reality combining unit 140 to generate a compressed video stream, A user terminal, or a combination thereof.

또한 상기 데이터 송출부(160)는 상기 증강현실 합성부(140)에서 믹싱 처리한 증강현실 데이터를 상기 데이터베이스(300)로 제공하여 저장, 관리하도록 할 수 있다.Also, the data transmitter 160 may provide the augmented reality data, which has been mixed in the augmented reality composer 140, to the database 300 and store and manage the augmented reality data.

제어부(170)는 상기 비디오 믹서 플랫폼(100)의 동작을 총괄적으로 제어하는 구성으로서, 상기 데이터 입력부(110)에서의 3차원 객체 추출을 위한 영상 데이터 및 증강현실에 사용할 가상 콘텐츠의 입력을 제어하고, 상기 객체 추출부(120)에서의 상기 영상 데이터를 토대로 한 3차원 객체의 추출을 제어하며, 상기 가상 콘텐츠 확인부(130)에서의 증강현실 구현에 사용할 각종 가상 콘텐츠의 확인 및 선택을 제어한다.The control unit 170 controls the operation of the video mixer platform 100. The control unit 170 controls the input of the video data for extracting the three-dimensional object and the virtual content to be used for the augmented reality in the data input unit 110 Dimensional object based on the image data in the object extracting unit 120 and controls the selection and selection of various virtual contents to be used in implementing the augmented reality in the virtual content identifying unit 130 .

또한 상기 제어부(170)는 상기 증강현실 합성부(140)에서의 3차원 객체와 가상 콘텐츠의 믹싱을 통한 증강현실 데이터의 생성을 제어하며, 상기 데이터 송출부(160)에서의 상기 증강현실 데이터의 부호화 및 다른 방송장비나 사용자 단말(400)로의 송출, 상기 증강현실 데이터의 데이터베이스(300) 저장을 제어한다.The controller 170 controls the generation of the augmented reality data by mixing the three-dimensional object and the virtual content in the augmented reality composition unit 140 and controls the generation of the augmented reality data in the data transmission unit 160 Encoding and transmission to other broadcasting equipments or user terminals 400, and storage of the augmented reality data database 300.

도 4는 본 발명에 적용된 3차원 객체와 가상 콘텐츠의 믹싱에 따른 증강현실 데이터의 생성 과정을 상세하게 설명하기 위한 도면이다.4 is a diagram for explaining in detail a process of generating augmented reality data according to mixing of a 3D object and a virtual content according to an embodiment of the present invention.

먼저 상기 비디오 믹서 플랫폼(100)은 도 4a에서와 같이 상기 카메라(200)로부터 제공받은 영상 데이터의 깊이 정보를 토대로 배경과 3차원 객체를 확인한 다음, 배경을 삭제하고 3차원 객체를 추출한다.4A, the video mixer platform 100 extracts a background and a three-dimensional object based on the depth information of the image data received from the camera 200, and then deletes the background and extracts the three-dimensional object.

그리고 상기 비디오 믹서 플랫폼(100)은 상기 데이터베이스(300)로부터 증강현실 구현에 사용할 특정 가상 콘텐츠를 제공받은 후, 도 4b에서와 같이 t1 내지 tn의 시간 흐름에 따른 각각의 프레임별 레이어를 확인하여 도 4a에서 추출한 상기 3차원 객체를 믹싱할 특정 레이어를 결정한다.The video mixer platform 100 receives the specific virtual contents to be used for the augmented reality implementation from the database 300 and then checks each layer of each frame according to the time flow of t1 to tn as shown in FIG. And determines a specific layer to be mixed with the 3D object extracted from the 3D object.

예를 들어 프레임 #1에서는 첫 번째 레이어 L11을 3차원 객체가 믹싱될 레이어로 결정하고, 프레임 #2에서는 두 번째 레이어 L22를 3차원 객체가 믹싱될 레이어로 결정하고, 프레임 #n에서는 마지막 레이어 Lnn을 3차원 객체가 믹싱될 레이어로 결정하는 등 각각의 프레임별로 3차원 객체가 믹싱될 특정 레이어를 결정하는 것이다.For example, in the case of frame # 1, the first layer L11 is determined as a layer to which a three-dimensional object is to be mixed. In the frame # 2, a second layer L22 is determined as a layer to which a three-dimensional object is to be mixed. The 3D object is determined as a layer to be mixed, and a specific layer to be mixed with the 3D object is determined for each frame.

또한 상기 비디오 믹서 플랫폼(100)은 상기 3차원 객체가 믹싱될 각각의 프레임별 특정 레이어를 결정할 때, 상기 3차원 객체의 구체적인 위치 정보도 함께 결정한다.The video mixer platform 100 also determines specific location information of the 3D object when the 3D object determines a specific layer for each frame to be mixed.

이에 따라 상기 비디오 믹서 플랫폼(100)은 도 4b에서 결정한 정보를 토대로 상기 3차원 객체와 상기 가상 콘텐츠를 믹싱하여 도 4c에서와 같이 증강현실 데이터를 생성하고, 이를 데이터베이스(300)에 저장하여 관리하거나, 또는 네트워크를 통해 다른 방송장비나 사용자 단말(400) 등으로 송출한다.Accordingly, the video mixer platform 100 mixes the 3D object and the virtual content based on the information determined in FIG. 4B to generate augmented reality data as shown in FIG. 4C, stores it in the database 300 and manages it , Or to another broadcasting equipment or user terminal 400 through a network.

이와 같이 도 4b를 통해 시간의 흐름에 따라 각각의 프레임별로 3차원 객체가 믹싱될 특정 레이어가 결정한 정보를 토대로 도 4c와 같이 믹싱 처리를 수행하면, 시간 경과에 따라 상기 3차원 객체의 이동과정이 재생되며, 이 과정에서 상기 3차원 객체가 가상 콘텐츠의 전경에 위치한 상태에서 시간의 경과에 따라 배경에 위치하는 등 자유롭게 증강현실이 구현되는 것을 확인할 수 있다.4B, when the mixing process is performed as shown in FIG. 4C based on information determined by a specific layer to which a 3D object is to be mixed for each frame in accordance with the passage of time, the process of moving the 3D object with time In this process, it can be confirmed that the augmented reality is freely implemented such that the 3D object is positioned in the background with the lapse of time while the 3D object is positioned in the foreground of the virtual content.

다음에는, 이와 같이 구성된 본 발명에 따른 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 운영방법의 일 실시예를 도 5를 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.Hereinafter, a method of operating a layer mixer-based video system using the augmented reality according to the present invention will be described in detail with reference to FIG. At this time, each step according to the method of the present invention may be changed in the use environment or the order by a person skilled in the art.

도 5는 본 발명의 일 실시예에 따른 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템 운영방법의 동작과정을 상세하게 나타낸 순서도이다.FIG. 5 is a flowchart illustrating an operation of a layer mixer-based video system operating method using an augmented reality according to an embodiment of the present invention in detail.

우선, 상기 비디오 믹서 플랫폼(100)은 객체를 추출하기 위한 영상 데이터와 증강현실 구현에 사용되는 각종 가상 콘텐츠를 상기 데이터베이스(300)에 저장하여 관리한다(S100).First, the video mixer platform 100 stores and manages video data for extracting objects and various virtual contents used in augmented reality implementation in the database 300 (S100).

상기 S100 단계를 통해 증강현실 구현을 위해 사용되는 각종 영상 데이터 및 가상 콘텐츠를 수집, 관리하는 과정에서, 상기 비디오 믹서 플랫폼(100)은 작업자의 조작을 확인하여 증강현실 구현을 위한 믹싱작업이 선택되는지를 판단한다(S200).In the course of collecting and managing various image data and virtual contents used for implementing the augmented reality through the step S100, the video mixer platform 100 confirms the operation of the operator and selects a mixing operation for implementing the augmented reality (S200).

상기 S200 단계의 판단결과 작업자에 의해 증강현실 구현을 위한 믹싱작업이 선택되면, 상기 비디오 믹서 플랫폼(100)은 3차원 객체가 포함되어 있는 영상 데이터를 상기 카메라(200)로부터 제공받거나 상기 데이터베이스(300)로부터 제공받는다(S300).If the mixing operation for realizing the augmented reality is selected by the operator in step S200, the video mixer platform 100 receives the image data including the three-dimensional object from the camera 200, (S300).

이후 상기 비디오 믹서 플랫폼(100)은 상기 영상 데이터에 포함된 깊이 정보를 확인하고, 상기 확인한 깊이 정보를 토대로 배경 부분을 삭제하고 3차원 객체를 적어도 하나 이상 추출한다(S400).Thereafter, the video mixer platform 100 confirms the depth information included in the image data, deletes the background portion based on the determined depth information, and extracts at least one of the three-dimensional objects (S400).

상기 S400 단계를 통해 3차원 객체를 추출한 이후, 상기 비디오 믹서 플랫폼(100)은 상기 3차원 객체가 증강현실로 구현될 각종 가상 콘텐츠를 데이터베이스(300)로부터 제공받아 확인하고, 이 중에서 어느 하나의 특정 가상 콘텐츠를 선택한다(S500).After extracting the three-dimensional object through the step S400, the video mixer platform 100 receives and confirms various virtual contents to be realized as the augmented reality object from the database 300, and selects any one of the three The virtual content is selected (S500).

이제 상기 S400 단계 및 S500 단계를 통해 증강현실로 구현될 3차원 객체와 가상 콘텐츠가 결정되면, 상기 비디오 믹서 플랫폼(100)은 상기 3차원 객체와 상기 가상 콘텐츠를 믹싱하여 증강현실 데이터를 생성한다(S600).When the three-dimensional object and the virtual content to be realized as the augmented reality are determined through the steps S400 and S500, the video mixer platform 100 mixes the three-dimensional object and the virtual content to generate augmented reality data ( S600).

즉 상기 도 4에서 설명한 것과 같이 상기 3차원 객체를 시간의 흐름에 따라 상기 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어에 삽입하는 믹싱 작업을 수행하는 것이다. 이때 상기 비디오 믹서 플랫폼(100)은 믹싱 작업을 수행할 때, 상기 가상 콘텐츠의 각 프레임별 특정 레이어별로 3차원 객체의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정해 주면서 믹싱 작업을 수행한다.That is, as described with reference to FIG. 4, the 3D object is inserted into at least one of the plurality of layers constituting each frame of the virtual content according to the flow of time. At this time, when the mixing operation is performed, the video mixer platform 100 performs a mixing operation by adjusting the initial position of the three-dimensional object and the position varying with time according to each specific layer of each frame of the virtual content.

상기 S600 단계를 통해 상기 3차원 객체와 특정 가상 콘텐츠의 믹싱에 따라 증강현실 데이터가 생성되면, 상기 비디오 믹서 플랫폼(100)은 상기 증강현실 데이터를 데이터베이스(300)에 저장하여 관리하거나, 또는 상기 증강현실 데이터를 부호화하여 압축된 영상 스트림을 생성한 다음, 네트워크를 통해 다른 방송장비나 사용자 단말(400)로 송출함으로써, 사용자들이 증강현실 데이터를 시청할 수 있도록 한다(S700).If the augmented reality data is generated according to the mixing of the 3D object and the specific virtual content in step S600, the video mixer platform 100 stores the augmented reality data in the database 300 and manages the augmented reality data, The compressed video stream is generated by encoding the real data, and then transmitted to the other broadcasting equipment or the user terminal 400 through the network so that users can view the augmented reality data (S700).

또한 상기 비디오 믹서 플랫폼(100)은 작업자의 조작을 통해 현재 수행중인 믹싱 작업이 종료되는지를 판단하고(S800), 믹싱 작업이 종료될 때까지 3차원 객체와 가상 콘텐츠의 믹싱 작업을 수행하고 이를 송출하는 상기 S600 단계 이후를 반복하여 수행한다.Further, the video mixer platform 100 determines whether the mixing task currently being performed is terminated through an operation of an operator (S800), performs a mixing operation of the three-dimensional object and the virtual content until the mixing operation is completed, Is repeatedly performed after step S600.

이처럼, 본 발명은 기존의 크로마키를 이용한 스튜디오방식의 고정적인 장소에서의 제작환경을 벗어나 교육, 의료, 스포츠, 종교행사, 문화행사 등의 콘텐츠에 따라 다양한 장소 및 분야에서의 활용을 통해 방송제작환경을 개선할 수 있으며, 방송제작 종사자들에게 가상 콘텐츠와 연계된 방송 콘텐츠 제작의 편의를 제공할 수 있다.Thus, the present invention can be applied to a variety of places and fields, such as education, medical care, sports, religious events, cultural events, etc., outside the production environment at a fixed place using a conventional chroma key Environment can be improved, and it is possible to provide the broadcasting production personnel with convenience of producing broadcasting contents linked with virtual contents.

또한 본 발명은 레이어 믹서 영상처리 기술과 증강현실의 연계를 토대로 보다 현실성 있는 방송 콘텐츠를 제작할 수 있고, 고부가가치의 방송장비를 제공할 수 있으며, 증강현실 기술에 대한 자체 기술력의 확보, 기업브랜드이미지 강화, 매출성장, 고용창출을 수행할 수 있다.Further, the present invention can produce more realistic broadcast contents based on the linkage of the layer mixer image processing technology and augmented reality, can provide high value-added broadcasting equipment, can secure own technology for augmented reality technology, Strengthening, sales growth, and job creation.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is understandable. Accordingly, the technical scope of the present invention should be determined by the following claims.

100 : 비디오 믹서 플랫폼 110 : 데이터 입력부
120 : 객체 추출부 130 : 가상 콘텐츠 확인부
140 : 증강현실 합성부 142 : 객체 위치 조정부
144 : 렌더링 처리부 150 : 저장부
160 : 데이터 송출부 170 : 제어부
200 : 카메라 300 : 데이터베이스
400 : 사용자 단말100: video mixer platform 110: data input unit
120: object extraction unit 130: virtual content verification unit
140: augmented reality synthesis unit 142: object position adjustment unit
144: rendering processor 150:
160: Data transmitter 170:
200: camera 300: database
400: User terminal

Claims (10)

카메라로 촬영한 영상 데이터에서 적어도 하나 이상의 3차원 객체를 추출하는 객체 추출부; 및
상기 추출한 3차원 객체를 가상 콘텐츠와 믹싱하여 증강현실 데이터를 생성하는 증강현실 합성부;를 포함하며,
상기 증강현실 합성부는,
상기 3차원 객체를 상기 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어와 믹싱하여 증강현실을 구현하며,
상기 가상 콘텐츠는,
적어도 하나 이상의 레이어를 포함한 프레임을 시간의 흐름에 따라 연결하여 구성한 2차원, 3차원 또는 이들의 조합을 포함하는 영상으로서, 상기 3차원 객체의 각 프레임별 레이어 삽입 위치에 따라 상기 증강현실 데이터의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템.An object extraction unit for extracting at least one or more three-dimensional objects from image data photographed by a camera; And
And an augmented reality synthesizer for mixing the extracted 3D objects with virtual contents to generate augmented reality data,
Wherein the augmented reality synthesis unit comprises:
Wherein the augmented reality is implemented by mixing the 3D object with at least one of a plurality of layers constituting each frame of the virtual content,
Wherein the virtual content comprises:
Dimensional image or a combination of two or more images formed by connecting frames including at least one layer according to the passage of time, the image including a background of the augmented reality data according to a layer insertion position for each frame of the three- , Foreground, or a combination thereof. 청구항 1에 있어서,
상기 영상 데이터는,
뎁쓰 카메라를 사용하여 촬영한 깊이 영상 정보가 포함된 영상 데이터이며,
상기 객체 추출부는,
상기 깊이 영상 정보를 토대로 상기 영상 데이터에서 배경을 제외한 3차원 객체를 적어도 하나 이상 추출하는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템.The method according to claim 1,
The image data may include:
The image data including the depth image information photographed using the depth camera,
The object extracting unit extracts,
And extracts at least one of the three-dimensional objects excluding the background from the image data based on the depth image information. 삭제delete 청구항 1에 있어서,
상기 증강현실 합성부는,
적어도 하나 이상 추출한 3차원 객체 각각의 상기 가상 콘텐츠의 각 프레임별 특정 레이어에서의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정하는 객체 위치 조정부; 및
상기 위치 조정부를 통해 위치가 조정된 상기 3차원 객체와 상기 가상 콘텐츠를 시간의 경과에 따라 각 프레임별로 렌더링하는 렌더링 처리부;를 포함하는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템.The method according to claim 1,
Wherein the augmented reality synthesis unit comprises:
An object position adjustment unit for adjusting an initial position and a position of the three-dimensional object extracted by each of the at least one or more extracted three-dimensional objects in a specific layer of each frame according to a passage of time; And
And a rendering processor for rendering the 3D object and the virtual contents whose positions are adjusted through the position adjusting unit, for each frame according to the elapse of time. 청구항 1에 있어서,
상기 비디오 시스템은,
상기 생성한 증강현실 데이터를 데이터베이스에 저장하여 관리하거나, 상기 생성한 증강현실 데이터를 부호화하여 압축된 영상 스트림을 생성한 후 네트워크를 통해 방송장비, 사용자 단말 또는 이들의 조합으로 송출하는 데이터 송출부;를 더 포함하는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템.The method according to claim 1,
The video system includes:
A data transmission unit for storing the generated augmented reality data in a database and managing the generated augmented reality data, generating a compressed video stream by encoding the augmented reality data, and transmitting the generated augmented reality data to a broadcasting equipment, a user terminal, or a combination thereof through a network; Further comprising a layer-mixer-based video system. 비디오 시스템에서, 비디오 믹서 플랫폼을 통해 카메라로 촬영한 영상 데이터에서 적어도 하나 이상의 3차원 객체를 추출하는 객체 추출 단계; 및
상기 추출한 3차원 객체를 가상 콘텐츠와 믹싱하여 증강현실 데이터를 생성하는 증강현실 합성 단계;를 포함하며,
상기 증강현실 합성 단계는,
상기 3차원 객체를 상기 가상 콘텐츠의 각 프레임을 구성하는 복수의 레이어 중 적어도 하나 이상의 특정 레이어와 믹싱하여 증강현실을 구현하며,
상기 가상 콘텐츠는,
적어도 하나 이상의 레이어를 포함한 프레임을 시간의 흐름에 따라 연결하여 구성한 2차원, 3차원 또는 이들의 조합을 포함하는 영상으로서, 상기 3차원 객체의 각 프레임별 레이어 삽입 위치에 따라 상기 증강현실 데이터의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템 운영방법.An object extracting step of extracting at least one three-dimensional object from image data photographed by a camera through a video mixer platform in a video system; And
And augmented reality synthesis step of mixing the extracted three-dimensional object with virtual contents to generate augmented reality data,
The augmented reality synthesis step includes:
Wherein the augmented reality is implemented by mixing the 3D object with at least one of a plurality of layers constituting each frame of the virtual content,
Wherein the virtual content comprises:
Dimensional image or a combination of two or more images formed by connecting frames including at least one layer according to the passage of time, the image including a background of the augmented reality data according to a layer insertion position for each frame of the three- , A foreground, or a combination thereof. 청구항 6에 있어서,
상기 영상 데이터는,
뎁쓰 카메라를 사용하여 촬영한 깊이 영상 정보가 포함된 영상 데이터이며,
상기 객체 추출 단계에서 상기 깊이 영상 정보를 토대로 상기 영상 데이터에서 배경을 제외한 3차원 객체를 적어도 하나 이상 추출하는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템 운영방법.The method of claim 6,
The image data may include:
The image data including the depth image information photographed using the depth camera,
And extracting at least one of the three-dimensional objects excluding the background from the image data based on the depth image information in the object extracting step. 삭제delete 청구항 6에 있어서,
상기 증강현실 합성 단계는,
상기 비디오 믹서 플랫폼에서, 적어도 하나 이상 추출한 3차원 객체 각각의 상기 가상 콘텐츠의 각 프레임별 특정 레이어에서의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정하는 객체 위치 조정 단계; 및
상기 객체 위치 조정 단계에서 위치가 조정된 상기 3차원 객체와 상기 가상 콘텐츠를 시간의 경과에 따라 각 프레임별로 렌더링하는 렌더링 처리 단계;를 포함하는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템 운영방법.The method of claim 6,
The augmented reality synthesis step includes:
An object position adjustment step of adjusting an initial position and a position of the virtual object, which is varied in accordance with a lapse of time, in a specific layer of each frame of each of the at least one extracted three-dimensional object in the video mixer platform; And
And a rendering processing step of rendering the 3D object and the virtual content whose positions are adjusted in the object position adjusting step, for each frame according to passage of time. 청구항 6에 있어서,
상기 비디오 시스템 운영방법은,
상기 비디오 믹서 플랫폼에서, 상기 생성한 증강현실 데이터를 데이터베이스에 저장하여 관리하거나, 상기 생성한 증강현실 데이터를 부호화하여 압축된 영상 스트림을 생성한 후 네트워크를 통해 방송장비, 사용자 단말 또는 이들의 조합으로 송출하는 데이터 송출 단계;를 더 포함하는 것을 특징으로 하는 레이어 믹서 기반의 비디오 시스템 운영방법.The method of claim 6,
The video system operating method includes:
In the video mixer platform, the generated augmented reality data is stored and managed in a database, or the generated augmented reality data is encoded to generate a compressed video stream, and then transmitted through a network to a broadcasting equipment, a user terminal, And transmitting the data to the layer mixer.
KR1020170169249A 2017-12-11 2017-12-11 Video system based on layer mixer using augmented reality KR101881295B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170169249A KR101881295B1 (en) 2017-12-11 2017-12-11 Video system based on layer mixer using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170169249A KR101881295B1 (en) 2017-12-11 2017-12-11 Video system based on layer mixer using augmented reality

Publications (1)

Publication Number Publication Date
KR101881295B1 true KR101881295B1 (en) 2018-07-24

Family

ID=63059210

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170169249A KR101881295B1 (en) 2017-12-11 2017-12-11 Video system based on layer mixer using augmented reality

Country Status (1)

Country Link
KR (1) KR101881295B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543072A (en) * 2018-12-05 2019-03-29 深圳Tcl新技术有限公司 AR educational method, smart television, readable storage medium storing program for executing and system based on video
KR20200107273A (en) * 2019-03-07 2020-09-16 (주)테슬라시스템 Playing Method of Drone Moving Picture with Augment Reality Additional Information based on LOD
CN111915735A (en) * 2020-06-29 2020-11-10 浙江传媒学院 Depth optimization method for three-dimensional structure contour in video
KR102462863B1 (en) * 2022-02-04 2022-11-04 주식회사 제이디케이에이티 Method of operating open market platform that matches users with sellers who automatically recommend products to users based on artificial intelligence
WO2023141340A1 (en) * 2022-01-23 2023-07-27 Malay Kundu A user controlled three-dimensional scene

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238117A (en) * 2011-05-10 2012-12-06 Canon Inc Information processing apparatus, processing method and program thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238117A (en) * 2011-05-10 2012-12-06 Canon Inc Information processing apparatus, processing method and program thereof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543072A (en) * 2018-12-05 2019-03-29 深圳Tcl新技术有限公司 AR educational method, smart television, readable storage medium storing program for executing and system based on video
KR20200107273A (en) * 2019-03-07 2020-09-16 (주)테슬라시스템 Playing Method of Drone Moving Picture with Augment Reality Additional Information based on LOD
KR102178383B1 (en) * 2019-03-07 2020-11-12 (주)테슬라시스템 Playing Method of Drone Moving Picture with Augment Reality Additional Information based on LOD
CN111915735A (en) * 2020-06-29 2020-11-10 浙江传媒学院 Depth optimization method for three-dimensional structure contour in video
CN111915735B (en) * 2020-06-29 2023-08-22 浙江传媒学院 Depth optimization method for three-dimensional structure outline in video
WO2023141340A1 (en) * 2022-01-23 2023-07-27 Malay Kundu A user controlled three-dimensional scene
KR102462863B1 (en) * 2022-02-04 2022-11-04 주식회사 제이디케이에이티 Method of operating open market platform that matches users with sellers who automatically recommend products to users based on artificial intelligence

Similar Documents

Publication Publication Date Title
KR101881295B1 (en) Video system based on layer mixer using augmented reality
JP6599435B2 (en) System and method for limiting ambient processing by a 3D reconstruction system in 3D reconstruction of events occurring in an event space
CN107682688B (en) Video real-time recording method and recording equipment based on augmented reality
CN110176077B (en) Augmented reality photographing method and device and computer storage medium
CN103544441B (en) Mobile video generation device
US20140368495A1 (en) Method and system for displaying multi-viewpoint images and non-transitory computer readable storage medium thereof
CN106534757A (en) Face exchange method and device, anchor terminal and audience terminal
CN106231349A (en) Main broadcaster's class interaction platform server method for changing scenes and device, server
KR20150105058A (en) Mixed reality type virtual performance system using online
KR20150105069A (en) Cube effect method of 2d image for mixed reality type virtual performance system
KR20180032059A (en) 3-Dimensional Contents Providing System, Method and Computer Readable Recoding Medium
KR102081067B1 (en) Platform for video mixing in studio environment
KR20200013672A (en) Methods and systems for creating a virtualized projection of a customized view of a real world scene for inclusion in virtual reality media content
CN113781660A (en) Method and device for rendering and processing virtual scene on line in live broadcast room
KR100901111B1 (en) Live-Image Providing System Using Contents of 3D Virtual Space
Zerman et al. User behaviour analysis of volumetric video in augmented reality
JP2005020607A (en) Composite image output device and composite image output processing program
KR102337020B1 (en) Augmented reality video production system and method using 3d scan data
CN106231397A (en) Main broadcaster's class interaction platform main broadcaster's end method for changing scenes and device, Zhu Boduan
CN106254893A (en) Main broadcaster's class interaction platform client method for changing scenes and device, client
KR101752691B1 (en) Apparatus and method for providing virtual 3d contents animation where view selection is possible
KR102200239B1 (en) Real-time computer graphics video broadcasting service system
Méndez et al. New distributed virtual TV set architecture for a synergistic operation of sensors and improved interaction between real and virtual worlds
WO2022230718A1 (en) Information processing device, information processing method, and program
CN106231350A (en) Main broadcaster's class interaction platform method for changing scenes and device thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant