KR101225421B1 - Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer - Google Patents
Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer Download PDFInfo
- Publication number
- KR101225421B1 KR101225421B1 KR1020110056297A KR20110056297A KR101225421B1 KR 101225421 B1 KR101225421 B1 KR 101225421B1 KR 1020110056297 A KR1020110056297 A KR 1020110056297A KR 20110056297 A KR20110056297 A KR 20110056297A KR 101225421 B1 KR101225421 B1 KR 101225421B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- image
- processing
- virtual object
- chroma key
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Marketing (AREA)
- Computer Graphics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Circuits (AREA)
Abstract
본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로, 종래 증강현실 기반 크로마키 방법에서 사용자가 등록하는 배경을 단순히 정적인 가상공간이 아닌 인터랙션 기술을 활용한 가상객체의 조작으로 동적인 가상공간을 이용하며, 상기 가상공간에서 앞, 뒤쪽의 보여지는 순서를 효율적으로 지정하기 위해 중첩 레이어를 지원한다. 본 발명에서 증강현실 처리는 마커를 기반으로 가상객체를 증강시키며, 상기 가상객체의 크기, 이동, 회전 등의 인터랙션 처리를 통해 사용자가 원하는 형태로 조작하여 상기 가상공간에 배치시킨다. 중첩 레이어 처리는 검출되는 전경, 등록하는 배경, 증강되는 가상객체 등을 개별 레이어로서 동일한 x, y축 좌표 값으로 정합시키고 사용자가 z축 좌표 값을 기반으로 우선순위를 지정하는 것을 특징으로 한다.
본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.The present invention relates to an augmented reality-based chroma key method using an overlapping layer. In the conventional augmented reality-based chroma key method, a background registered by a user is not a static virtual space but a manipulation of a virtual object using an interaction technology. It uses a dynamic virtual space and supports overlapping layers to efficiently designate the order of front and rear views in the virtual space. In the present invention, the augmented reality processing augments a virtual object based on a marker, and manipulates the virtual object in a desired form through interaction processing such as size, movement, and rotation of the virtual object, and places the virtual object in the virtual space. The overlap layer processing is characterized by matching the detected foreground, the registered background, the augmented virtual object, etc. as individual layers with the same x and y axis coordinate values, and assigning a priority to the user based on the z axis coordinate values.
According to the present invention, since the chroma key processing is performed based on the augmented reality-based interaction and the overlapping layer, the user can configure various types of dynamic virtual studios in real time according to a desired shooting concept.
Description
본 발명은 증강현실 기반 크로마키 방법의 동적인 가상공간을 표현하는 과정에서 요구되는 가상객체와 레이어 순서를 제어하는 기술을 효과적으로 제공하기 위한 방법에 관한 것이다.The present invention relates to a method for effectively providing a technique for controlling virtual objects and layer order required in a process of representing a dynamic virtual space of an augmented reality based chroma key method.
종래 한국특허출원 제2008-0108757호(2008.11.04)에 게시된 삼차원 개인 광고 방송 서비스 제공 장치와 방법 및 인터넷 방송 수신 장치는 도 1에 도시한 바와 같이, 효율적인 광고 방송 서비스 제공을 위해 광고 상품을 표현하는데 있어 증강현실 기술을 기반으로 가상객체를 추가시켜 처리하는 것으로서, The apparatus and method for providing a three-dimensional personal advertisement service and an internet broadcast receiver disclosed in Korean Patent Application No. 2008-0108757 (2008.11.04), as shown in FIG. 1, provide an advertisement product to provide an efficient advertisement service. In expressing as a virtual object by adding a process based on augmented reality technology,
블루스크린 배경에서 촬영된 카메라 영상, 삼차원 가상 배경 영상, 광고 물품의 삼차원 광고 객체 영상, 및 광고 물품을 소개하는 이차원 영상을 입력받는 영상 입력부; 상기 입력된 영상들을 가지고 가상현실 기법과 증강현실(Augmented Reality) 기법을 이용하여 삼차원 광고 방송 콘텐츠를 생성하는 콘텐츠 생성부; 및 상기 콘텐츠 생성부에 의해 생성된 삼차원 광고 방송 콘텐츠를 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television)방송 채널을 통해 스트리밍 전송하는 영상 전송부;를 포함하며, 블루스크린 배경에서 촬영되어 입력된 카메라 영상에서 크로마키 기법을 이용하여 배경을 제거하고, 가상현실기법을 이용하여 상기 제거된 배경에 삼차원 가상 배경 영상을 삽입하고, 상기 삼차원 가상 배경 영상이 삽입된 영상에 광고 물품을 소개하는 이차원 영상을 배치하며, 상기 카메라 영상에서 영상 패턴을 인식하여 인식된 영상 패턴 위치에 광고 물품의 삼차원 광고 객체 영상을 매핑하여 삼차원 광고 방송 콘텐츠를 생성하는 단계; 광고 물품에 대한 상세 설명이 담긴 메타데이터를 입력받는 단계; 및 상기 생성된 삼차원 광고 방송 콘텐츠와 상기 광고 물품의 삼차원 광고 객체 영상 및 상기 입력된 메타데이터를 먹싱하여 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television) 방송 채널을 통해 스트리밍 전송하는 단계;를 포함하는 것을 특징으로 한다.An image input unit for receiving a camera image photographed on a blue screen background, a three-dimensional virtual background image, a three-dimensional advertisement object image of an advertisement article, and a two-dimensional image introducing the advertisement article; A content generator for generating 3D commercial content using the inputted images using a virtual reality technique and an augmented reality technique; And an image transmitter configured to stream the 3D commercial content generated by the content generator through an internet protocol television broadcast channel allocated exclusively, wherein the camera is photographed and input on a blue screen background. The background is removed from the image using a chroma key technique, a three dimensional virtual background image is inserted into the removed background using a virtual reality technique, and a two dimensional image is introduced to introduce the advertisement article to the image into which the three dimensional virtual background image is inserted. Generating a 3D commercial content by recognizing an image pattern in the camera image and mapping a 3D advertising object image of an advertisement article to a recognized image pattern position; Receiving metadata containing a detailed description of the advertisement product; And muxing the generated three-dimensional advertisement content, the three-dimensional advertisement object image of the advertisement article, and the input metadata, and streaming the same through an assigned Internet Protocol Television broadcast channel. It is characterized by.
그러나, 상기 종래기술을 이용한 서비스는 단순히 상품을 증강시켜 보여주기만 할 뿐 크기, 이동, 회전 등의 특정한 인터랙션이 지원되지 않고 있으며, 기존 증강현실 기술의 문제점으로 상기 증강된 상품 가상객체의 위치가 항상 앞쪽에만 지정될 수밖에 없다는 한계점이 있었다.However, the service using the conventional technology merely shows augmented products, and does not support specific interactions such as size, movement, and rotation, and the location of the augmented product virtual object is always due to the problem of the existing augmented reality technology. There was a limitation that it could only be specified in the front.
이에 대하여, 본 발명은 마커를 기반으로 증강되는 가상객체의 인터랙션과 레이어 순서를 제어하기 위하여 크기, 이동, 회전 등의 인터랙션 처리, 알파채널 기반의 중첩 레이어를 활용하여 각 레이어의 순서 조절을 통해 가상객체가 앞, 뒤쪽 등 사용자가 원하는 곳에 위치시킬 수 있도록 시스템을 구성한다. On the other hand, the present invention uses the interaction of the size, movement, rotation, etc. in order to control the interaction and layer order of the augmented virtual object based on the marker, the virtual layer by adjusting the order of each layer using the alpha channel-based overlapping layer Configure the system so that objects can be placed wherever you want, such as in the front and back.
본 발명은 상기 종래의 증강현실 기반 크로마키 방법의 한계점을 해결하기 위하여 안출된 것으로, 사용자가 가상객체를 증강시키고 원하는 형태로 조작할 수 있도록 크기, 이동, 회전 등의 인터랙션을 지원한다. 이는 정적인 가상공간이 아닌 동적인 가상공간을 지원할 수 있도록 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 제공하는데 그 목적이 있다.The present invention was devised to solve the limitations of the conventional augmented reality-based chroma key method, and supports interactions such as size, movement, and rotation so that a user can augment a virtual object and manipulate it in a desired form. The purpose is to provide an augmented reality-based chroma key method using overlapping layers to support dynamic virtual space, not static virtual space.
또한, 입력받는 영상에서 검출되는 전경, 사용자가 등록하는 배경 및 증강시키는 가상객체 등의 영상 데이터를 합성하는데 있어 알파채널을 기반으로 한 중첩 레이어를 통해 투명도와 앞, 뒤쪽의 순서를 지정할 수 있도록 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 제공하는데 다른 목적이 있다.In addition, in order to synthesize image data such as the foreground detected from the input image, the background registered by the user, and the augmented virtual object, the overlay layer based on the alpha channel can be specified so that the order of transparency and front and rear can be specified. Another purpose is to provide an augmented reality based chroma key method using layers.
본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로서, 증강현실 기반의 크로마키 방법에 있어서, 초기 처리 영상을 입력받는 영상입력, 조명, 그림자 등에 강인한 영상 확보를 위한 전처리, 입력받은 영상의 전/배경 분리에 따른 전경검출, 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출, 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리, 새로운 배경을 등록하는 배경등록, 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리, 처리된 영상을 출력하는 영상출력을 포함하여 처리를 진행하는 것을 특징으로 한다.The present invention relates to an augmented reality-based chroma key method using an overlapping layer. In the augmented reality-based chroma key method, a pre-processing and input for securing a robust image, such as an image input, an illumination, and a shadow, which receives an initial processed image, is input. Foreground detection based on the total separation of the received image and background, marker detection to check whether the marker is detected in the detected foreground image, augmented reality processing that augments and interacts with virtual objects when a marker is detected, and a new background. The background processing may include a background registration to be registered, an overlapping layer processing based on a priority value reference of the layer, and an image output to output the processed image.
본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.According to the present invention, since the chroma key processing is performed based on the augmented reality-based interaction and the overlapping layer, the user can configure various types of dynamic virtual studios in real time according to a desired shooting concept.
도 1은 종래기술에 의한 삼차원 개인 광고방송 서비스 제공 시스템의 구성도
도 2는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 전체 순서도
도 3은 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 증강현실 처리 순서도
도 4는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 중첩 레이어 처리 순서도1 is a block diagram of a three-dimensional personal commercial service providing system according to the prior art
2 is an overall flowchart of an augmented reality based chroma key method using an overlapping layer according to an embodiment of the present invention.
3 is an augmented reality processing flow chart of the augmented reality-based chroma key method using the overlap layer according to an embodiment of the present invention
4 is a flowchart illustrating a processing of overlapping layers of an augmented reality based chroma key method using an overlapping layer according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법을 상세히 설명한다.
Hereinafter, with reference to the accompanying drawings will be described in detail augmented reality based chroma key method using the overlap layer according to the present invention.
도 2는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 전체 순서도이다. 도 2에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법은, 웹캠으로부터 영상을 입력받는 영상입력(100), 조명, 그림자 등에 강인한 영상 확보를 위한 전처리(200), 입력받은 영상의 전/배경 분리에 따른 전경검출(300), 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출(400), 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리(500), 새로운 배경을 등록하는 배경등록(600), 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리(700), 처리된 영상을 출력하는 영상출력(800)으로 이루어진다.2 is an overall flowchart of an augmented reality based chroma key method using an overlapping layer according to an embodiment of the present invention. As shown in FIG. 2, the augmented reality-based chroma key method using an overlapping layer according to an embodiment of the present invention provides a robust image securing method such as
상기 마커검출(400)에서 마커가 검출되었을 경우에는 상기 증강현실 처리(500)를 거친 후, 상기 배경등록(600) 과정을 진행하며, 마커가 검출되지 않았을 경우에는 상기 마커검출(400) 과정을 반복하여 진행한다.When the marker is detected in the
상기 배경등록(600)은 사용자가 원하는 형태의 이미지를 배경DB를 통해 불러와 기본적인 배경으로 이용하며, 상기 중첩 레이어 처리(700)는 상기 전경검출(300)을 통해 검출된 전경과 상기 증강현실 처리(500)를 통해 증강되는 가상객체, 상기 배경등록(600)을 통해 등록된 배경 등을 중첩 레이어에 기반하여 처리한다.
The
도 3은 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 증강현실 처리 순서도이다. 도 3에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에서의 증강현실 처리는, 크게 마커를 인식하는 단계(510); 가상객체를 증강시키는 단계(520); 증강된 가상객체의 초기 위치를 제어하는 단계(530); 인터랙션 발생 여부를 확인하는 단계(540); 인터랙션을 처리하는 단계(550)로 구성되어 있으며, 각 단계의 처리에 대한 상세한 설명은 다음과 같다. 3 is an augmented reality processing flow chart of the augmented reality-based chroma key method using an overlapping layer according to an embodiment of the present invention. As shown in FIG. 3, the augmented reality processing in the augmented reality-based chroma key method using an overlapping layer according to an embodiment of the present invention includes:
상기 마커를 인식하는 단계(510)는 상기 마커검출(400)을 통해 검출 된 상기 마커내부의 이미지 패턴을 확인하기 위해 템플릿 매칭을 진행하는 단계로서 사용자가 사전에 등록시켜 놓은 마커패턴DB와 비교분석을 통해 인식을 진행한다. 상기 가상객체를 증강시키는 단계(520)는 상기 마커패턴DB와 비교분석을 통해 해당 패턴에 부합되는 가상객체를 사용자가 사전에 등록시켜 놓은 가상객체DB를 통해 확인하고 증강시킨다. 상기 증강된 가상객체의 초기 위치를 제어하는 단계(530)는 상기 증강된 가상객체를 사용자가 원하는 초기 증강 위치를 선정할 수 있도록 위치 값을 제어한다. 상기 인터랙션 발생 여부를 확인하는 단계(540)는 크기, 이동, 회전 등의 인터랙션 발생여부를 확인하고 인터랙션이 발생하였을 경우 인터랙션을 처리하는 단계(550)를 진행하며, 인터랙션이 발생되지 않았을 경우 배경등록(600) 과정을 진행한다. Recognizing the
즉, 상기 증강현실 처리는, 상기 증강현실 처리(500)에서 검출된 마커를 마커패턴DB를 통해 인식하는 단계(510); 상기 증강현실 처리(500)에서 인식된 마커에 부합하는 가상객체를 증강시키는 단계(520); 상기 증강현실 처리(500)에서 증강된 가상객체의 초기 위치를 제어하는 단계(530); 상기 증강현실 처리(500)에서 인터랙션 발생 여부를 확인하는 단계(540); 상기 증강현실 처리(500)에서 인터랙션을 처리하는 단계(550);를 포함하여 이루어진다.
That is, the augmented reality processing, the step of recognizing the marker detected in the augmented
도 4는 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법의 중첩 레이어 처리 순서도이다. 도 4에 도시한 바와 같이, 본 발명의 일실시예에 의한 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에서의 중첩 레이어 처리는, 크게 영상을 정합하는 단계(710); 중첩 레이어의 우선순위를 지정하는 단계(720); 영상을 합성하는 단계(730)로 구성되어 있으며, 각 단계의 처리에 대한 상세한 설명은 다음과 같다. 4 is a flowchart illustrating a process of processing overlap layers of an augmented reality based chroma key method using overlap layers according to an embodiment of the present invention. As shown in FIG. 4, the superimposed layer processing in the augmented reality based chroma key method using the superimposed layer according to an embodiment of the present invention may include:
상기 영상을 정합하는 단계는(710) 상기 검출된 전경, 상기 등록된 배경, 상기 증강된 가상객체를 각각의 개별 레이어로서 처리를 진행하며, 서로 다른 각 레이어의 좌표공간을 하나의 좌표공간으로서 정합시킨다. 상기 중첩 레이어의 우선순위를 지정하는 단계(720)는 상기 정합된 레이어의 좌표공간을 기반으로 z축의 좌표 값을 지정하여 각 레이어의 앞, 뒤쪽의 우선순위를 정하고 레이어를 중첩시킨다. In
상기 영상을 합성하는 단계(730)는 상기 순서가 정해진 중첩 레이어의 영상들을 합성시키기 위해 알파채널을 이용하며, 크게 알파채널 생성 단계(731); 레이어 마스크 생성 단계(732); 알파 값 설정 단계(733); 알파채널 믹서 단계(734);로 구성된다. 상기 알파 값 설정 단계(733)의 알파 값은 0에서 1까지의 실수 값을 가지며, 이는 영상간의 투명도를 설정하는데 이용된다.The synthesizing
즉, 상기 중첩 레이어 처리는, 상기 중첩 레이어 처리(700)에서 동일한 좌표 공간으로서 영상을 정합하는 단계(710); 상기 중첩 레이어 처리(700)에서 중첩 레이어의 우선순위를 지정하는 단계(720); 상기 중첩 레이어 처리(700)에서 알파채널 생성 단계(731); 레이어 마스크 생성 단계(732); 알파 값 설정 단계(733); 알파채널 믹서 단계(734)를 거쳐 영상을 합성하는 단계(730);를 포함하여 이루어진다.
That is, the overlapping layer processing may include: matching an image as the same coordinate space in the overlapping layer processing 700 (710); Assigning (720) the priority of the overlapping layer in the overlapping layer processing (700); Generating an alpha channel (731) in the overlap layer processing (700); Creating a layer mask (732); Alpha
따라서, 본 발명은 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로, 종래 증강현실 기반 크로마키 방법에서 사용자가 등록하는 배경을 단순히 정적인 가상공간이 아닌 인터랙션 기술을 활용한 가상객체의 조작으로 동적인 가상공간을 이용하며, 상기 가상공간에서 앞, 뒤쪽의 보여지는 순서를 효율적으로 지정하기 위해 중첩 레이어를 지원한다. 본 발명에서 증강현실 처리는 마커를 기반으로 가상객체를 증강시키며, 상기 가상객체의 크기, 이동, 회전 등의 인터랙션 처리를 통해 사용자가 원하는 형태로 조작하여 상기 가상공간에 배치시킨다. 중첩 레이어 처리는 검출되는 전경, 등록하는 배경, 증강되는 가상객체 등을 개별 레이어로서 동일한 x, y축 좌표 값으로 정합시키고 사용자가 z축 좌표 값을 기반으로 우선순위를 지정하는 것을 특징으로 한다.Accordingly, the present invention relates to an augmented reality-based chroma key method using an overlapping layer. In the conventional augmented reality based chroma key method, a user registers a background of a virtual object using an interaction technology rather than a static virtual space. It uses dynamic virtual space as operation, and supports overlapping layer to efficiently designate the order of front and rear view in the virtual space. In the present invention, the augmented reality processing augments a virtual object based on a marker, and manipulates the virtual object in a desired form through interaction processing such as size, movement, and rotation of the virtual object, and places the virtual object in the virtual space. The overlap layer processing is characterized by matching the detected foreground, the registered background, the augmented virtual object, etc. as individual layers with the same x and y axis coordinate values, and assigning a priority to the user based on the z axis coordinate values.
본 발명에 따르면, 증강현실 기반 인터랙션과 중첩 레이어를 기반으로 크로마키 처리가 이루어지기 때문에 사용자는 자신이 원하는 촬영 컨셉에 맞춰 다양한 형태의 동적인 가상스튜디오를 실시간으로 구성할 수 있다.
According to the present invention, since the chroma key processing is performed based on the augmented reality-based interaction and the overlapping layer, the user can configure various types of dynamic virtual studios in real time according to a desired shooting concept.
상기한 바와 같은 구성 및 작용은 하나의 실시예로서 본 발명의 청구범위를 제한하는 것은 아니며, 본 발명의 기술적 사상을 변경하지 아니하는 범위 내에서 다양한 변경과 수정이 가능함은 본 발명이 속하는 분야에 종사하는 자에게는 자명한 것이다.The configuration and operation as described above are not limited to the claims of the present invention as an embodiment, and various changes and modifications are possible within the scope of not changing the technical spirit of the present invention. It is obvious to those who are engaged.
100...영상입력
200...전처리
300...전경검출
400...마커검출
500...증강현실처리
600...배경등록
700...중첩 레이어 처리
800...영상출력100.Video Input
200 ... pretreatment
300. Foreground detection
400 ... Marker Detection
500 ... Augmented Reality Treatment
600 Background Registration
700 ... Nesting Layers
800.Video Out
Claims (3)
웹캠으로부터 영상을 입력받는 영상입력(100), 조명, 그림자 등에 강인한 영상 확보를 위한 전처리(200), 입력받은 영상의 전/배경 분리에 따른 전경검출(300), 검출된 전경 영상 내에서 마커검출 여부를 확인하는 마커검출(400), 마커가 검출되었을 시 가상객체의 증강 및 인터랙션 처리 과정을 진행하는 증강현실 처리(500), 새로운 배경을 등록하는 배경등록(600), 레이어의 우선순위 값 기준에 따른 중첩 레이어 처리(700), 처리된 영상을 출력하는 영상출력(800)을 포함하여 이루어지는 것을 특징으로 하는 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법In the augmented reality based chroma key method,
Image input (100) receiving the image from the webcam, pre-processing (200) to secure the image robust to lighting, shadow, etc., foreground detection (300) according to the front / background separation of the input image, marker detection in the detected foreground image Marker detection (400) for checking whether a marker is detected, augmented reality processing (500) for augmenting and interacting a virtual object when a marker is detected, a background registration (600) for registering a new background, and priority values of layers An augmented reality based chroma key method using an overlapping layer characterized in that it comprises a superimposed layer processing 700, an image output 800 for outputting the processed image
상기 증강현실 처리는,
마커를 인식하는 단계(510); 가상객체를 증강시키는 단계(520); 증강된 가상객체의 초기 위치를 제어하는 단계(530); 인터랙션 발생 여부를 확인하는 단계(540); 인터랙션을 처리하는 단계(550)로 구성되는 것을 특징으로 하는 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법The method of claim 1,
The augmented reality treatment,
Recognizing (510) a marker; Augmenting the virtual object (520); Controlling an initial position of the augmented virtual object (530); Checking (540) whether an interaction occurs; Augmented reality-based chroma key method using the overlap layer, characterized in that the step of processing the interaction (550)
상기 중첩 레이어 처리는,
영상을 정합하는 단계(710); 중첩 레이어의 우선순위를 지정하는 단계(720); 영상을 합성하는 단계(730)로 구성되는 것을 특징으로 하는 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법The method of claim 1,
The overlap layer processing,
Registering the image (710); Assigning a priority of the overlapping layer (720); Augmented reality-based chroma key method using an overlapping layer characterized in that the image is synthesized in step 730
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110056297A KR101225421B1 (en) | 2011-06-10 | 2011-06-10 | Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110056297A KR101225421B1 (en) | 2011-06-10 | 2011-06-10 | Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120137021A KR20120137021A (en) | 2012-12-20 |
KR101225421B1 true KR101225421B1 (en) | 2013-01-22 |
Family
ID=47904284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110056297A KR101225421B1 (en) | 2011-06-10 | 2011-06-10 | Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101225421B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101684139B1 (en) * | 2015-06-30 | 2016-12-08 | 주식회사 버츄얼스톰 | Augmented reality implementation method using multiple block layer light enviroment |
WO2022154256A1 (en) * | 2021-01-14 | 2022-07-21 | 삼성전자주식회사 | Electronic device and control method therefor |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015027114A1 (en) | 2013-08-21 | 2015-02-26 | Nantmobile, Llc | Chroma key content management systems and methods |
KR101688926B1 (en) * | 2015-05-28 | 2016-12-22 | (주)소셜네트워크 | Apparatus and method for making augmented reality video used chromakey |
KR101697163B1 (en) * | 2016-06-03 | 2017-01-17 | (주)지니트 | system and method for chroma-key composing for providing three-dimensional structure effect |
KR101940555B1 (en) * | 2017-09-01 | 2019-01-21 | (주)비버스팩토리 | System and Method for Inserting Virtual Contents in An Internet Broadcasting |
KR102086012B1 (en) * | 2018-06-21 | 2020-03-06 | 전자부품연구원 | Method for representing contents of augmented reality simulator |
KR102077394B1 (en) * | 2018-06-28 | 2020-02-13 | 한국과학기술원 | Overlay Design Method and System for the Virtual Environment |
US11450044B2 (en) | 2019-03-20 | 2022-09-20 | Kt Corporation | Creating and displaying multi-layered augemented reality |
KR102161437B1 (en) * | 2019-03-28 | 2020-10-08 | (주)스페이스포 | Apparatus for sharing contents using spatial map of augmented reality and method thereof |
KR102354918B1 (en) * | 2019-09-05 | 2022-01-21 | 라인플러스 주식회사 | Method, user device, server, and recording medium for creating composite videos |
KR102351980B1 (en) * | 2021-01-14 | 2022-01-14 | 성균관대학교산학협력단 | method and appratus for real time monitoring based on digital twin |
KR102342738B1 (en) * | 2021-07-16 | 2021-12-24 | (주)플랜아이 | Method and apparatus for generating mega size augmented reality image information |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060065159A (en) * | 2004-12-10 | 2006-06-14 | (주)제니텀 엔터테인먼트 컴퓨팅 | 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same |
KR20090056792A (en) * | 2007-11-30 | 2009-06-03 | 광주과학기술원 | Input interface for augmented reality, and augmented reality system therewith |
-
2011
- 2011-06-10 KR KR1020110056297A patent/KR101225421B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060065159A (en) * | 2004-12-10 | 2006-06-14 | (주)제니텀 엔터테인먼트 컴퓨팅 | 3 dimensional marker detection method and device and method for providing augmented reality and mixed reality using the same |
KR20090056792A (en) * | 2007-11-30 | 2009-06-03 | 광주과학기술원 | Input interface for augmented reality, and augmented reality system therewith |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101684139B1 (en) * | 2015-06-30 | 2016-12-08 | 주식회사 버츄얼스톰 | Augmented reality implementation method using multiple block layer light enviroment |
WO2022154256A1 (en) * | 2021-01-14 | 2022-07-21 | 삼성전자주식회사 | Electronic device and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
KR20120137021A (en) | 2012-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101225421B1 (en) | Authoring Method of Augmented Reality base Chroma-Key using Overlay Layer | |
JP6659187B2 (en) | Image processing apparatus, image processing method, and program | |
US8294557B1 (en) | Synchronous interpersonal haptic communication system | |
EP4329305A3 (en) | Technique for recording augmented reality data | |
US20130120365A1 (en) | Content playback apparatus and method for providing interactive augmented space | |
EP2584494A3 (en) | Method and device for identifying and extracting images of multiple users, and for recognizing user gestures | |
KR101096617B1 (en) | Spatial multi interaction-based 3d stereo interactive vision system and method of the same | |
KR100795552B1 (en) | 3D Virtual Studio Using VIDEO Texturing | |
JP6778163B2 (en) | Video synthesizer, program and method for synthesizing viewpoint video by projecting object information onto multiple surfaces | |
KR102382247B1 (en) | Image processing apparatus, image processing method, and computer program | |
US20140168216A1 (en) | 3d avatar output device and method | |
US20210166485A1 (en) | Method and apparatus for generating augmented reality images | |
KR20180032059A (en) | 3-Dimensional Contents Providing System, Method and Computer Readable Recoding Medium | |
CN213461894U (en) | XR-augmented reality system | |
WO2024087883A1 (en) | Video picture rendering method and apparatus, device, and medium | |
KR20180066702A (en) | Interactive high-quality video system based on real-time parallel rendering | |
EP3665656B1 (en) | Three-dimensional video processing | |
KR101609368B1 (en) | Multi-screen synchronization system for realtime 3D image | |
US20220207848A1 (en) | Method and apparatus for generating three dimensional images | |
Cho et al. | Real-time interactive AR system for broadcasting | |
KR101952989B1 (en) | Virtual Contents Creation Method and System with Space Matching Scheme | |
KR20180066704A (en) | Cyber model house experience system based on real-time parallel rendering | |
Kim et al. | Design and implementation of immersive media system based on dynamic projection mapping and gesture recognition | |
KR101229040B1 (en) | Interactive media art image forming device and method | |
JPH11261888A (en) | Composition system for television image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151223 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170109 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |