KR101688926B1 - 크로마키를 이용한 증강현실 영상 제작 장치 및 방법 - Google Patents

크로마키를 이용한 증강현실 영상 제작 장치 및 방법 Download PDF

Info

Publication number
KR101688926B1
KR101688926B1 KR1020150074994A KR20150074994A KR101688926B1 KR 101688926 B1 KR101688926 B1 KR 101688926B1 KR 1020150074994 A KR1020150074994 A KR 1020150074994A KR 20150074994 A KR20150074994 A KR 20150074994A KR 101688926 B1 KR101688926 B1 KR 101688926B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
content
chroma key
buffer
Prior art date
Application number
KR1020150074994A
Other languages
English (en)
Other versions
KR20160139681A (ko
Inventor
박수왕
김동욱
송성환
이봉규
Original Assignee
(주)소셜네트워크
제주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)소셜네트워크, 제주대학교 산학협력단 filed Critical (주)소셜네트워크
Priority to KR1020150074994A priority Critical patent/KR101688926B1/ko
Priority to PCT/KR2015/005443 priority patent/WO2016190472A1/ko
Publication of KR20160139681A publication Critical patent/KR20160139681A/ko
Application granted granted Critical
Publication of KR101688926B1 publication Critical patent/KR101688926B1/ko

Links

Images

Classifications

    • H04N13/004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H04N13/0007—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Circuits (AREA)
  • Processing Or Creating Images (AREA)

Abstract

크로마키를 이용한 증강현실 영상 제작 장치 및 방법이 개시된다.
크로마키를 이용한 증강현실 영상 제작 장치는 라이브 영상에 가상 객체를 포함하는 콘텐츠 영상을 합성하기 이전에 알파 채널을 포함하는 증강현실용 콘텐츠 영상을 생성하고, 미리 생성한 증강현실용 콘텐츠 영상에 라이브 영상을 합성하여 출력한다. 이에 따라, 알파 채널 합성에 의한 동기화 문제를 해결할 수 있다.

Description

크로마키를 이용한 증강현실 영상 제작 장치 및 방법{APPARATUS AND METHOD FOR MAKING AUGMENTED REALITY VIDEO USED CHROMAKEY}
본 발명은 크로마키를 이용한 증강현실 영상 제작 장치 및 방법에 관한 것으로, 보다 상세하게는 크로마키에 따른 가상과 증강의 비정합성을 줄일 수 있는 크로마키를 이용한 증강현실 영상 제작 장치 및 방법에 관한 것이다.
일반적으로 크로마키(chroma key) 기법은 가상의 공간에서 피사체를 촬영한 영상과 미리 설정되어 있는 배경 영상 또는 이미지를 합성하여 하나의 영상물을 생성하는 기법을 의미한다. 크로마키는 영상 합성을 위한 것으로, 특정한 색(chroma)을 키(key)로 지정한 후, 주 영상에서 키(key)에 해당하는 화소(pixel)를 다른 영상으로 대체한다.
크로마키를 증강현실에 적용하면, 사용자의 행동이나 입력 영상의 특징점에 의하여 실시간으로 크로마키 기법에 의해 증강현실에 합성된 콘텐츠의 위치 이동 등의 콘텐츠 변형이 발생한다. 이때, 영상에 콘텐츠 변형으로 인한 부자연스러움이 커버할 수 있도록 알파 채널이 합성된다.
그러나, 기존의 증강현실 크로마키 방식은 도 1a, 1b 와 같이 미리 마련된 컬러 채널과 알파 채널을 실시간으로 합성하므로 동기화 문제가 발생한다. 이러한 동기화 문제가 발생하면 도 1c 와 같이 보여야 할 부분이 보이지 않는다던가, 보이지 말아야 할 부분에 검은색의 음영이 보이게 되는 문제점이 있다. 또한, 1개의 출력 영상을 위해 2배의 공간(컬러 채널 및 알파 채널이 차지하는 공간) 필요하므로 저장공간의 낭비가 발생하는 문제점이 있다.
따라서, 알파 채널의 동기화 문제 및 저장 공간에 따른 문제점을 해결할 수 있는 증강현실 크로마키 방식이 필요한 상황이다.
본 발명의 일측면은 라이브 영상에 가상 객체를 포함하는 콘텐츠 영상을 합성하기 이전에 알파 채널을 포함하는 증강현실용 콘텐츠 영상을 생성하고, 미리 생성한 증강현실용 콘텐츠 영상에 라이브 영상을 합성하여 출력하는 크로마키를 이용한 증강현실 영상 제작 장치 및 방법을 제공한다.
본 발명의 일측면에 따른 크로마키를 이용한 증강현실 영상 제작 방법은, 크로마키 기법을 이용하여 미리 제작된 콘텐츠 영상의 배경 영역을 제거하고, 상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하고, 상기 컬러 채널과 상기 알파 채널을 합성하여 증강현실용 콘텐츠 영상을 생성하고, 미리 마련된 카메라를 통해 라이브 영상이 입력되면, 상기 증강현실용 콘텐츠 영상에 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성한다.
상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하는 것은, 상기 배경 영역이 제거된 콘텐츠 영상을 복수의 정지 이미지로 분리하고, 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 추출할 수 있다.
상기 증강현실용 콘텐츠 영상을 생성하는 것은, 상기 배경 영역이 제거된 콘텐츠 영상의 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 합성하여 복수 개의 결합 정지 이미지를 생성하고, 상기 복수 개의 결합 정지 이미지를 정렬하여 이미지 시퀀스를 생성할 수 있다.
상기 이미지 시퀀스에 포함된 각각의 결합 정지 이미지에 렌더링(rendering)을 수행하는 것을 더 포함할 수 있다.
상기 증강현실용 콘텐츠 영상을 생성한 후 사용자에 의해 증강현실 영상 출력 신호가 입력되면 상기 이미지 시퀀스에서 상기 증강현실 영상 제작 장치에 미리 마련된 버퍼의 크기에 대응하는 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함할 수 있다.
상기 증강현실 크로마키 영상을 생성하는 것은, 상기 버퍼에 상기 버퍼의 크기에 대응하는, 렌더링된 결합 정지 이미지가 로드되고 상기 라이브 영상이 입력되면, 상기 라이브 영상이 입력되면 상기 로드된, 렌더링된 결합 정지 이미지와 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성할 수 있다.
증강현실용 콘텐츠의 합성 위치 또는 크기 정보가 수신되면, 수신된 합성 위치 또는 크기 정보에 따라 상기 로드된, 렌더링된 결합 정지 이미지에 포함된 각각의 증강현실용 콘텐츠의 위치 또는 크기를 변경하고, 위치 또는 크기가 변경된 상기 로드된, 렌더링된 각각의 결합 정지 이미지에 상기 라이브 영상을 합성하여 상기 증강현실 크로마키 영상을 생성하는 것을 더 포함할 수 있다.
상기 증강현실 영상이 연속적으로 출력될 수 있도록 상기 버퍼에 로드된 마지막 결합 정지 이미지 번호와 현재 출력중인 프레임 번호의 차이를 산출하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만인지 여부를 확인하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만이면 상기 이미지 시퀀스에서 상기 산출한 차이에 대응하는 상기 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함할 수 있다.
본 발명의 일측면에 따른 크로마키를 이용한 증강현실 영상 제작 장치는 미리 제작된 콘텐츠 영상을 입력받기 위한 입력부, 상기 콘텐츠 영상에 크로마키 기법을 적용하여 상기 콘텐츠 영상의 배경 영역을 제거하고, 상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하고, 상기 컬러 채널과 상기 알파 채널을 합성하여 증강현실용 콘텐츠 영상을 생성하도록 제어하는 증강현실 제어부 및 미리 마련된 카메라를 통해 라이브 영상이 입력되면, 상기 증강현실용 콘텐츠 영상에 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성하도록 제어하는 크로마키 제어부를 포함한다.
상기 증강현실 제어부가 상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하는 것은, 상기 배경 영역이 제거된 콘텐츠 영상을 복수의 정지 이미지로 분리하고, 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 추출할 수 있다.
상기 증강현실 제어부가 상기 증강현실용 콘텐츠 영상을 생성하는 것은, 상기 배경 영역이 제거된 콘텐츠 영상의 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 합성하여 복수 개의 결합 정지 이미지를 생성하고, 상기 복수 개의 결합 정지 이미지를 정렬하여 이미지 시퀀스를 생성할 수 있다.
상기 증강현실 제어부는, 상기 이미지 시퀀스에 포함된 각각의 결합 정지 이미지에 렌더링(rendering)을 수행하는 것을 더 포함할 수 있다.
상기 증강현실 제어부는, 사용자에 의해 증강현실 영상 출력 신호가 입력되면 상기 이미지 시퀀스에서 상기 증강현실 영상 제작 장치에 미리 마련된 버퍼의 크기에 대응하는 상기 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함할 수 있다.
상기 크로마키 제어부는, 상기 증강현실 제어부에 의해 상기 버퍼에 상기 버퍼의 크기에 대응하는, 렌더링된 결합 정지 이미지가 로드되고 상기 라이브 영상이 입력되면, 상기 라이브 영상이 입력되면 상기 로드된, 렌더링된 결합 정지 이미지와 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성하고, 상기 증강현실 영상 제작 장치에 마련된 출력부를 통해 상기 증강현실 크로마키 영상을 출력할 수 있다.
상기 크로마키 제어부는, 상기 증강현실 제어부로부터 증강현실용 콘텐츠의 합성 위치 또는 크기 정보가 수신되면, 수신된 합성 위치 또는 크기 정보에 따라 상기 로드된, 렌더링된 결합 정지 이미지에 포함된 각각의 증강현실용 콘텐츠의 위치 또는 크기를 변경하고, 위치 또는 크기가 변경된 상기 로드된, 렌더링된 각각의 결합 정지 이미지에 상기 라이브 영상을 합성하여 상기 증강현실 크로마키 영상을 생성하는 것을 더 포함할 수 있다.
상기 증강현실 제어부는, 상기 증강현실 영상이 연속적으로 출력될 수 있도록 상기 버퍼에 로드된 마지막 결합 정지 이미지 번호와 현재 출력중인 프레임 번호의 차이를 산출하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만인지 여부를 확인하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만이면 상기 이미지 시퀀스에서 상기 산출한 차이에 대응하는 상기 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함할 수 있다.
상술한 본 발명의 일측면에 따르면, 알파 채널을 포함하는 증강현실용 콘텐츠 영상을 미리 제작해놓고, 이후 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성함으로써 알파 채널 합성에 의한 동기화 문제를 해결할 수 있으며, 알파 채널 합성에 따른 추가적인 저장 공간을 사용하여 저장 공간을 절약할 수 있다.
도 1a, 1b, 1c 는 종래의 알파 채널 합성 방법을 설명하기 위해 도시한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 크로마키를 이용한 증강현실 영상 제작 장치의 블록도이다.
도 3 은 컬러 채널과 알파 채널이 합성된 이미지를 도시한 도면이다.
도 4 는 도 3 에서 합성된 이미지의 시퀀스를 도시한 도면이다.
도 5 는 본 발명의 일 실시예에 따른 증강현실 영상 제작 방법에서 증강현실용 콘텐츠 영상을 생성하는 방법을 도시한 순서도이다.
도 6 은 도 5 에서 증강현실용 콘텐츠 영상을 버퍼에 로드하는 방법에 대한 상세 순서도이다.
도 7 은 본 발명의 일 실시예에 따른 증강현실 영상 제작 방법에서 증강현실 크로마키 영상을 생성 및 출력하는 방법을 도시한 순서도이다.
도 8 은 증강현실 크로마키 영상 재생중 버퍼에 증강현실용 콘텐츠 영상을 로드하는 방법을 도시한 순서도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 2 는 본 발명의 일 실시예에 따른 크로마키를 이용한 증강현실 영상 제작 장치의 블록도이며, 도 3 은 컬러 채널과 알파 채널이 합성된 이미지를 도시한 도면이며, 도 4 는 도 3 에서 합성된 이미지의 시퀀스를 도시한 도면이다.
본 발명의 일 실시예에 따른 크로마키를 이용한 증강현실 영상 제작 장치(이하, 증강현실 영상 제작 장치)는 알파 채널 합성에 따른 동기화 문제를 해결하기 위해, 알파 채널이 합성된 콘텐츠 영상을 미리 제작하고, 미리 제작한, 알파 채널이 합성된 콘텐츠 영상과 카메라를 통해 실시간으로 촬영되는 라이브 영상을 합성하여 증강현실 영상을 제작 및 출력할 수 있다.
도 2 를 참조하면, 본 발명의 일 실시예에 따른 증강현실 영상 제작 장치(1)는 입력부(100), 인터페이스부(200), 제어부(300), 출력부(400) 및 메모리부(500)를 포함할 수 있다.
입력부(100)는 증강현실 영상 제작을 위해 필요한 정보를 입력받을 수 있다. 이를 위해, 입력부(100)는 카메라부(110) 및 센서부(120)를 포함할 수 있다.
카메라부(110)는 증강현실 영상에 합성할 현실 환경 영상, 즉 라이브 영상을 촬영할 수 있다. 카메라부(110)는 촬영한 라이브 영상을 제어부(300)로 전달할 수 있다.
센서부(120)는 외부 환경에 대한 정보를 센싱할 수 있다. 예를 들어, 센서부(120)는 사용자의 움직임을 감지할 수 있고, 사용자에 의해 증강현실 영상 제작 장치(1)의 위치 변화를 감지할 수 있다. 센서부(120)는 센싱된 환경에 대한 정보를 제어부(300)로 전달할 수 있다.
인터페이스부(200)는 사용자로부터 입력되는 입력신호를 감지할 수 있다. 인터페이스부(200)는 증강현실 영상 제작 장치(1)에 연결되는 모든 외부기기와의 인터페이스 역할을 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전지 포트, 유/무선 데이터 포트, 메모리 카드 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output)포트, 비디오 I/O(Input/Output)포트, 이어폰 포트 등이 포함될 수 있다. 인터페이스부(200)는 사용자에 의해 입력된 입력신호 또는 연결된 외부기기로부터 입력 정보를 전송받아 제어부(300)로 전달할 수 있다.
제어부(300)는 알파 채널이 일체로 합성된 증강현실용 콘텐츠 영상을 생성할 수 있으며, 생성된 증강현실용 콘텐츠 영상을 라이브 영상과 합성하여 증강현실 크로마키 영상을 생성하고, 생성한 증강현실 크로마키 영상이 출력부(400)를 통해 끊김없이 출력될 수 있도록 생성한 크로마키 영상을 버퍼(buffer)에 로드할 수 있다. 이를 위해, 제어부(300)는 증강현실 제어부(310) 및 크로마키 제어부(320)를 포함할 수 있다.
증강현실 제어부(310)는 증강현실 영상을 합성할 증강현실용 콘텐츠 영상을 생성할 수 있다.
구체적으로, 증강현실 제어부(310)는 입력부(100), 인터페이스부(200) 또는 메모리부(500)로부터 증강현실 영상에 합성할 콘텐츠를 포함하는 콘텐츠 영상을 전달받을 수 있다. 증강현실 제어부(310)는 전달받은 콘텐츠 영상을 크로마키 기법을 이용하여 콘텐츠 영상에서 배경 영역을 제거할 수 있다. 이때, 콘텐츠 영상에서 제거된 배경 영역에 크로마키 제어부(320)에서 라이브 영상이 합성될 수 있다.
한편, 증강현실용 콘텐츠 영상은 사용자의 행동이나 입력 영상을 특징점에 의한 실시간 위치 이동 등에 의해 콘텐츠 영상 위치 변경, 콘텐츠 영상 크기 변경 등과 같은 콘텐츠 변경이 발생할 수 있다. 이러한 콘텐츠 변경이 발생시 자연스러운 영상을 출력하기 위해, 콘텐츠 영상에 그에 대응하는 알파 채널을 합성할 수 있다. 그러나, 배경기술에서 상술한 것과 같이 종래의 증강현실 영상 제작 장치는 실시간으로 알파 채널을 합성하기 때문에 동기화 문제가 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 증강현실 제어부(310)는 증강현실 크로마키 영상 출력시 알파 채널에 따른 동기화 문제가 발생하지 않도록 콘텐츠 영상에 미리 알파 채널을 합성하여 알파 채널을 포함하는 증강현실용 콘텐츠 영상을 생성할 수 있다.
구체적으로, 증강현실 제어부(310)는 배경 영역이 제거된 콘텐츠 영상을 복수 개의 정지 이미지로 분리할 수 있다. 증강현실 제어부(310)는 콘텐츠 영상의 각각의 정지 이미지에 대한 컬러 채널 및 알파 채널을 추출할 수 있다. 증강현실 제어부(310)는 도 3 과 같이, 추출한 컬러 채널 및 알파 채널을 일체로 합성하여 하나의 결합 정지 이미지를 생성할 수 있다. 이때, 컬러 채널과 알파 채널이 일체로 합성된 결합 정지 이미지는 PNG 파일 형식으로 형성될 수 있다. 증강현실 제어부(310)는 도 4 와 같이, 컬러 채널과 알파 채널이 합성된 복수의 결합 정지 이미지를 정렬하여 이미지 시퀀스를 생성할 수 있다. 이때, 영상은 연속된 정지 이미지를 의미하므로, 이미지 시퀀스 자체가 증강현실용 콘텐츠 영상일 수 있다.
증강현실 제어부(310)는 생성한 이미지 시퀀스를 미리 마련된 렌더러(renderer)로 전달하여 이미지 시퀀스에 포함되는 복수의 결합 정지 이미지에 렌더링(rendering)이 수행되도록 제어할 수 있다.
증강현실 제어부(310)는 입력부(100) 또는 인터페이스부(200)를 통해 증강현실 영상 출력 신호를 수신할 수 있다. 증강현실 제어부(310)는 증강현실 영상 출력 신호가 수신되면, 이미지 시퀀스에 포함된 결합 정지 이미지를 출력부(400)에 미리 마련된 버퍼(buffer)에 로드할 수 있다. 이때, 증강현실 제어부(310)는 버퍼의 크기를 확인할 수 있다. 증강현실 제어부(310)는 확인된 버퍼의 크기에 대응하는 결합 정지 이미지의 수를 산출할 수 있다. 증강현실 제어부(310)는 이미지 시퀀스에서 버퍼의 크기에 대응하는 결합 정지 이미지 수에 해당하는 결합 정지 이미지를 추출할 수 있다. 이때, 이미지 시퀀스에서 결합 정지 이미지를 추출하는 것은, 이미지 시퀀스에 정렬되어 있는 순서에 따라 차례대로 추출할 수 있다. 증강현실 제어부(310)는 추출한 결합 정지 이미지를 버퍼에 로드할 수 있다.
증강현실 제어부(310)는 증강현실 크로마키 영상이 연속적으로 출력될 수 있도록 버퍼에 로드된 결합 정지 이미지가 크로마키 제어부(320)에 의해 라이브 영상과 합성되어 출력되는 중에 그 다음 출력 순서의 결합 정지 이미지를 버퍼로 로드시킬 수 있다.
구체적으로, 증강현실 제어부(310)는 출력부(400)에 증강현실 크로마키 영상을 출력중인 것으로 확인되면, 렌더러로부터 타이밍 정보를 수신할 수 있다. 이때, 타이밍 정보는 재생되는 프레임의 출력 타이밍 정보를 포함할 수 있다. 증강현실 제어부(310)는 수신된 타이밍 정보를 이용하여 재생해야 할 현재 프레임 넘버(current frame number)를 산출할 수 있다. 한편, 증강현실용 콘텐츠 영상 정보에 사운드 정보가 포함되어 있을 경우, 현재 프레임 넘버와 함께 현재 사운드 넘버(current sound number)를 산출할 수 있다. 증강현실 제어부(310)는 현재 이미지 시퀀스에 포함되어 있는 결합 정지 이미지가 모두 출력되어 있는지 여부를 확인하기 위해 현재 프레임 넘버가 전체 프레임 넘버 미만인지 여부를 확인할 수 있다. 이때, 전체 프레임 넘버는 전체 프레임 수를 의미할 수 있다. 한편, 현재 프레임 넘버가 전체 프레임 넘버를 초과하는 경우는 발생하지 않으므로 배제하도록 한다. 증강현실 제어부(310)는 현재 프레임 넘버가 전체 프레임 넘버 미만인 것으로 확인되면, 버퍼에 현재 프레임에 해당하는 결합 정지 이미지가 로드되어 있는지 여부를 확인할 수 있다. 증강현실 제어부(310)는 현재 프레임에 해당하는 결합 정지 이미지가 로드되어 있지 않으면 현재 프레임에 해당하는 이미지를 이미지 시퀀스에서 추출하여 버퍼에 로드할 수 있다. 증강현실 제어부(310)는 현재 프레임에 해당하는 이미지를 로드한 후, 효율적인 로드를 위해 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00001
)를 산출할 수 있다. 증강현실 제어부(310)는 산출한, 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00002
)에 해당하는 이미지의 크기를 산출할 수 있다. 증강현실 제어부(310)는 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00003
)에 해당하는 이미지의 크기가 버퍼의 크기보다 작은지 여부를 확인할 수 있다. 이때, 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00004
)에 해당하는 이미지의 크기가 버퍼의 크기보다 작으면, 현재 버퍼에 로드될 수 있는 이미지의 수보다 적은 이미지가 버퍼에 로드되어 있는 것으로 판단하여 버퍼에 추가적으로 로드될 수 있는 이미지의 수, 즉 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00005
)에 대응하는 결합 정지 이미지를 이미지 시퀀스에서 추출할 수 있다. 증강현실 제어부(310)는 추출한 결합 정지 이미지를 버퍼에 로드할 수 있다. 증강현실 제어부(310)는 로드된 결합 정지 이미지가 크로마키 제어부(320)에 의해 라이브 영상과 합성되어 출력된 것으로 확인되면, 현재 프레임 넘버와 전체 프레임 넘버가 일치하는지 여부를 확인할 수 있다. 증강현실 제어부(310)는 현재 프레임 넘버와 전체 프레임 넘버가 일치하면 이미지 시퀀스에 포함된 모든 결합 정지 이미지가 출력된 것으로 인식하여 해당 이미지 시퀀스에 대한 제어를 초기화할 수 있다. 이때, 초기화시키는 것은 현재 프레임의 넘버를 0으로 세팅하거나 버퍼에 이미지를 로드하지 않는 것을 의미할 수 있다.
증강현실 제어부(310)는 입력부(100)에 의해 입력된 입력 영상을 분석하여 입력 영상 내에 콘텐츠가 합성할 영역을 검출할 수 있다. 예를 들어, 입력 영상 내에 사람이 존재하면, 사람의 손이 가르키는 부분이 콘텐츠를 합성할 영역일 수 있다. 증강현실 제어부(310)는 입력 영상 내에 콘텐츠가 합성될 영역의 위치 및 크기를 추적할 수 있다. 증강현실 제어부(310)는 추적한 콘텐츠가 합성될 영역의 추적 정보를 크로마키 제어부(320)로 전달할 수 있다. 이때, 추적 정보는 프레임 흐름에 따른 콘텐츠가 합성될 영역의 위치 정보 또는 크기 정보를 포함할 수 있다.
크로마키 제어부(320)는 카메라부(110)에 의해 라이브 영상이 입력되면, 증강현실 제어부(310)에 의해 버퍼에 로드된 결합 정지 이미지와 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성할 수 있다. 이때, 크로마키 제어부(320)는 버퍼에 로드된 각각의 결합 정지 이미지의 배경 영역에 라이브 영상을 합성할 수 있다. 이때, 결합 정지 이미지의 배경 영역은 증강현실 제어부(310)에서 크로마키 기법에 의해 제거된 부분으로 해당 영역을 키(key)로 설정하여 라이브 영상을 합성할 수 있다.
한편, 크로마키 제어부(320)는 증강현실 제어부(310)로부터 추적 정보가 전달되면, 추적 정보에 따라 증강현실용 콘텐츠 영상을 변환하고, 변환된 증강현실 콘텐츠 영상에 라이브 영상을 합성하여 출력할 수 있다. 이때, 추적 정보는 프레임 흐름에 따른 콘텐츠의 합성 위치 및 크기 정보를 포함할 수 있다. 구체적으로, 추적 정보가 전달되면, 크로마키 제어부(320)는 버퍼에 로드된 각각의 결합 정지 이미지마다 수신된 추적 정보에 따라 결합 정지 이미지에 포함된 콘텐츠를 변경할 수 있다. 이때, 크로마키 제어부(320)는 추적 정보에 포함된 시간에 따른 콘텐츠 위치 또는 크기 정보에 대응되도록 각각의 결합 정지 이미지를 변형시킬 수 있다. 예를 들어, 추적 정보는 프레임 별로 콘텐츠 위치 또는 크기 정보가 포함되어 있으므로, 크로마키 제어부(320)는 추적 정보에 포함되는 각 프레임에 대응되는 결합 정지 이미지를 검출하고, 검출된 결합 정지 이미지에 포함된 콘텐츠가 대응되는 추적 정보에 따라 변경되도록 제어할 수 있다.
출력부(400)는 크로마키 제어부(320)에 의해 생성된 증강현실 크로마키 영상을 출력할 수 있다. 출력부(400)는 증강현실 영상 제작 장치(1)에 미리 마련된 화면에 이미지를 출력할 수 있으며, 증강현실 영상 제작 장치(1)에 연결되어 있는 다른 디스플레이 장치에 이미지를 출력할 수 있다. 또한, 출력부(400)는 스피커를 더 구비할 수 있으며, 출력하려는 증강현실 크로마키 영상에 미리 음향 정보가 매칭되어 있으면, 해당 이미지를 출력하는 동시에 매칭된 음향을 출력할 수 있다.
메모리부(500)는 제어부(300)의 전반적인 제어를 위해 필요한 정보를 저장할 수 있다. 메모리부(500)는 증강현실 영상을 제작하기 위해 증강현실 영상에 합성되는 복수의 콘텐츠 영상을 저장할 수 있다. 메모리부(500)는 증강현실 제어부(310)에 의해 생성된 증강현실용 콘텐츠 영상을 임시 저장할 수 있다.
이하에서는, 도 5 를 통하여 본 발명의 일 실시예에 따른 증강현실 영상 제작 방법에서 증강현실용 콘텐츠 영상을 생성하는 방법을 설명한다.
먼저, 입력부(100), 인터페이스부(200) 또는 메모리부(500)로부터 콘텐츠 영상을 입력받고(610), 입력된 콘텐츠 영상을 복수의 정지 이미지로 분리한다(620).
이때, 입력된 콘텐츠 영상을 복수의 정지 이미지로 분리하는 것은, 콘텐츠 영상을 구성하는 복수의 정지 이미지를 콘텐츠 영상을 구성하는 순서에 따라 분리하는 것을 의미할 수 있다.
입력된 콘텐츠 영상을 복수의 정지 이미지로 분리(620)한 후, 분리된 각각의 정지 이미지에 대한 컬러 채널 및 알파 채널을 추출한다(630).
콘텐츠 영상의 각각의 정지 이미지에서 추출한 컬러 채널과 알파 채널을 합성하여 복수 개의 결합 정지 이미지를 생성한다(640).
이때, 알파 채널이 포함된 결합 정지 이미지를 생성하는 것은, 증강현실 영상 제작시 알파 채널을 실시간으로 합성하면 동기화 문제가 발생할 수 있으므로, 이러한 동기화 문제를 근본적으로 차단하기 위해 미리 알파 채널이 합성되어 있는 콘텐츠 영상을 생성하는 것이다.
생성한 복수 개의 결합 정지 이미지를 정렬하여 이미지 시퀀스를 생성(650)하고, 생성한 이미지 시퀀스를 렌더러로 전송하여 생성한 이미지 시퀀스에 포함된 각각의 결합 정지 이미지에 대해 렌더링을 수행하여 증강현실용 콘텐츠 영상을 생성한다(660).
증강현실용 콘텐츠 영상을 생성(660)한 후, 사용자에 의해 증강현실 영상 출력신호가 입력되는지 여부를 확인(670)하고, 증강현실 영상 출력신호가 입력되는 것으로 확인되면 버퍼에 증강현실용 콘텐츠 영상을 로드한다(680).
이때, 버퍼에 증강현실용 콘텐츠 영상을 로드하는 것은 도 6 을 통하여 자세히 기재한다.
이하에서는, 도 6 을 통하여 도 5 에서 증강현실용 콘텐츠 영상을 버퍼에 로드하는 방법을 설명한다.
증강현실 제어부(310)에 의해 증강현실용 콘텐츠 영상이 생성되면 이를 라이브 영상과 합성하여 출력하는데, 끊김없는 영상 출력을 위해 증강현실 제어부(310)는 버퍼에 증강현실용 콘텐츠 영상을 로드할 수 있다.
이를 위해, 먼저 버퍼에 로드할 수 있는 이미지 수를 확인할 수 있도록 버퍼의 크기에 대응하는 결합 정지 이미지의 수를 산출한다(681).
버퍼의 크기에 대응하는 결합 정지 이미지의 수를 산출(681)한 후, 이미지 시퀀스에서 산출된 결합 정지 이미지 수에 해당하는 결합 정지 이미지를 추출한다(682).
이때, 이미지 시퀀스에서 결합 정지 이미지를 추출하는 것은, 이미지 시퀀스에 정렬되어 있는 순서에 따라 차례대로 결합 정지 이미지를 추출할 수 있다.
추출한 결합 정지 이미지를 버퍼에 로드한다(683).
버퍼에 로드된 결합 정지 이미지가 크로마키 제어부(320)에 의해 라이브 영상과 합성되어 출력되는 동안 버퍼에 나마지 결합 정지 이미지를 로드하는 방법은 도 8 을 통해 자세히 기재하도록 한다.
도 7 은 본 발명의 일 실시예에 따른 증강현실 영상 제작 방법에서 증강현실 크로마키 영상을 생성 및 출력하는 방법을 도시한 순서도이다.
증강현실 제어부(310)에 의해 버퍼에 결합 정지 이미지가 로드되면, 입력부(100)를 통해 라이브 영상이 입력되는지 여부를 확인한다(710).
라이브 영상이 입력(710)되면, 버퍼에 로드된 결합 정지 이미지와 입력된 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성(720)하고, 생성한 증강현실 크로마키 영상을 출력부(400)를 통해 출력한다(730).
도 8 은 증강현실 크로마키 영상 재생중 버퍼에 증강현실용 콘텐츠 영상을 로드하는 방법을 도시한 순서도이다.
상술한 것과 같이, 본 발명의 일 실시예에 따른 증강현실 영상 제작 장치(1)는 버퍼의 크기에 대응하는 결합 정지 이미지를 버퍼에 로드하여 재생되는 동안 끊김없는 재생을 위해 버퍼에 나머지 결합 정지 이미지를 연쇄적으로 로드할 수 있다.
이를 위해, 먼저 출력부(400)를 통해 증강현실 크로마키 영상이 재생중인지 여부를 확인(810)하고, 현재 재생중이면 렌더러로부터 타이밍 정보를 수신한다(815).
이때, 렌더러는 증강현실용 콘텐츠 영상 제작시 증강현실 제어부(310)에 의해 증강현실용 콘텐츠 영상을 전달받고, 전달받은 증강현실용 콘텐츠 영상에 대해 렌더링을 수행하여 증강현실용 콘텐츠 영상에 대한 타이밍 정보를 획득할 수 있다.
수신된 타이밍 정보를 이용하여 재생해야 할 현재 프레임 넘버(current frame number)를 산출한다(820).
한편, 증강현실용 콘텐츠 영상 정보에 사운드 정보가 포함되어 있을 경우, 현재 프레임 넘버와 함께 현재 사운드 넘버(current sound number)를 산출할 수 있다.
현재 프레임 넘버를 산출(820)한 후, 현재 이미지 시퀀스에 포함되어 있는 결합 정지 이미지가 모두 출력되어 있는지 여부를 확인하기 위해, 현재 프레임 넘버가 전체 프레임 넘버 미만인지 여부를 확인한다(825).
이때, 전체 프레임 넘버는 전체 프레임 수를 의미할 수 있다. 한편, 현재 프레임 넘버가 전체 프레임 넘버를 초과하는 경우는 발생하지 않으므로 배제하도록 한다.
현재 프레임 넘버가 전체 프레임 넘버 미만인 것으로 확인(825)되면, 버퍼에 현재 프레임에 해당하는 결합 정지 이미지가 로드되어 있는지 여부를 확인한다(830).
현재 프레임에 해당하는 결합 정지 이미지가 로드되어 있지 않은 것으로 확인(830)되면, 현재 프레임에 해당하는 이미지를 이미지 시퀀스에서 추출하여 버퍼에 로드한다(835).
현재 프레임에 해당하는 이미지를 로드(835)한 후, 효율적인 로드를 위해 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00006
)를 산출한다(840).
버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00007
)에 해당하는 이미지의 크기가 버퍼의 크기 미만인지 여부를 확인(845)하고, 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00008
)에 해당하는 이미지의 크기가 버퍼의 크기 미만이면, 현재 버퍼에 로드될 수 있는 이미지의 수보다 적은 이미지가 버퍼에 로드되어 있는 것으로 인식하여 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00009
)에 대응하는 결합 정지 이미지를 이미지 시퀀스에서 추출하여 버퍼에 로드한다(850).
버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00010
)에 해당하는 이미지의 크기가 버퍼의 크기와 동일하면, 현재 버퍼가 가득찬 상태로 인식하고, 840 단계로 돌아간다. 이때, 버퍼에 로드된 결합 정지 이미지는 크로마키 제어부(320)에 의해 라이브 영상과 합성되어 출력되고, 출력된 결합 정지 이미지는 버퍼에서 삭제되므로 현재 프레임 넘버는 변경되며, 이에 따라 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00011
)는 시간에 따라 변경되므로, 이후 다시 버퍼에 로드된 마지막 이미지의 넘버와 현재 프레임 넘버와의 차이(
Figure 112015051473718-pat00012
)에 해당하는 이미지 크기가 버퍼의 크기 미만인지 여부를 확인하여 버퍼에 이미지를 로드할 수 있다.
결합 정지 이미지를 버퍼에 로드한 후, 현재 프레임 넘버와 전체 프레임 넘버가 일치하는지 여부를 확인한다(855).
현재 프레임 넘버와 전체 프레임 넘버가 일치하면 이미지 시퀀스에 포함된 모든 결합 정지 이미지가 출력된 것으로 인식하여 해당 이미지 시퀀스에 대한 제어를 초기화한다(860).
이때, 초기화시키는 것은 현재 프레임의 넘버를 0으로 세팅하거나 버퍼에 이미지를 로드하지 않는 것을 의미할 수 있다.
이와 같은, 크로마키를 이용하여 증강현실 영상을 제작하는 기술은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 크로마키를 이용한 증강현실 영상 제작 장치
100: 입력부
200: 인터페이스부
300: 제어부
310: 증강현실 제어부
320: 크로마키 제어부
400: 출력부
500: 메모리부

Claims (16)

  1. 크로마키 기법을 이용하여 미리 제작된 콘텐츠 영상의 배경 영역을 제거하고,
    상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하고, 상기 컬러 채널과 상기 알파 채널을 합성하여 증강현실용 콘텐츠 영상을 생성하고,
    미리 마련된 카메라를 통해 라이브 영상이 입력되면, 상기 증강현실용 콘텐츠 영상에 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성하며,
    상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하는 것은,
    상기 배경 영역이 제거된 콘텐츠 영상을 복수의 정지 이미지로 분리하고, 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 추출하는, 크로마키를 이용한 증강현실 영상 제작 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 증강현실용 콘텐츠 영상을 생성하는 것은,
    상기 배경 영역이 제거된 콘텐츠 영상의 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 합성하여 복수 개의 결합 정지 이미지를 생성하고, 상기 복수 개의 결합 정지 이미지를 정렬하여 이미지 시퀀스를 생성하는 크로마키를 이용한 증강현실 영상 제작 방법.
  4. 제 3 항에 있어서,
    상기 이미지 시퀀스에 포함된 각각의 결합 정지 이미지에 렌더링(rendering)을 수행하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 방법.
  5. 제 4 항에 있어서,
    상기 증강현실용 콘텐츠 영상을 생성한 후 사용자에 의해 증강현실 영상 출력 신호가 입력되면 상기 이미지 시퀀스에서 상기 증강현실 영상 제작 장치에 미리 마련된 버퍼의 크기에 대응하는 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 방법.
  6. 제 5 항에 있어서,
    상기 증강현실 크로마키 영상을 생성하는 것은,
    상기 버퍼에 상기 버퍼의 크기에 대응하는, 렌더링된 결합 정지 이미지가 로드되고 상기 라이브 영상이 입력되면, 상기 로드된, 렌더링된 결합 정지 이미지와 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성하는 크로마키를 이용한 증강현실 영상 제작 방법.
  7. 제 6 항에 있어서,
    증강현실용 콘텐츠의 합성 위치 또는 크기 정보가 수신되면, 수신된 합성 위치 또는 크기 정보에 따라 상기 로드된, 렌더링된 결합 정지 이미지에 포함된 각각의 증강현실용 콘텐츠의 위치 또는 크기를 변경하고, 위치 또는 크기가 변경된 상기 로드된, 렌더링된 각각의 결합 정지 이미지에 상기 라이브 영상을 합성하여 상기 증강현실 크로마키 영상을 생성하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 방법.
  8. 제 5 항에 있어서,
    상기 증강현실 크로마키 영상이 연속적으로 출력될 수 있도록 상기 버퍼에 로드된 마지막 결합 정지 이미지 번호와 현재 출력중인 프레임 번호의 차이를 산출하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만인지 여부를 확인하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만이면 상기 이미지 시퀀스에서 상기 산출한 차이에 대응하는 상기 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 방법.
  9. 미리 제작된 콘텐츠 영상을 입력받기 위한 입력부;
    상기 콘텐츠 영상에 크로마키 기법을 적용하여 상기 콘텐츠 영상의 배경 영역을 제거하고, 상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하고, 상기 컬러 채널과 상기 알파 채널을 합성하여 증강현실용 콘텐츠 영상을 생성하도록 제어하는 증강현실 제어부; 및
    미리 마련된 카메라를 통해 라이브 영상이 입력되면, 상기 증강현실용 콘텐츠 영상에 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성하도록 제어하는 크로마키 제어부를 포함하며,
    상기 증강현실 제어부가 상기 배경 영역이 제거된 콘텐츠 영상에 대한 컬러 채널과 알파 채널을 추출하는 것은,
    상기 배경 영역이 제거된 콘텐츠 영상을 복수의 정지 이미지로 분리하고, 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 추출하는, 크로마키를 이용한 증강현실 영상 제작 장치.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 증강현실 제어부가 상기 증강현실용 콘텐츠 영상을 생성하는 것은,
    상기 배경 영역이 제거된 콘텐츠 영상의 분리된 각각의 정지 이미지에 대한 컬러 채널과 알파 채널을 합성하여 복수 개의 결합 정지 이미지를 생성하고, 상기 복수 개의 결합 정지 이미지를 정렬하여 이미지 시퀀스를 생성하는 크로마키를 이용한 증강현실 영상 제작 장치.
  12. 제 11 항에 있어서,
    상기 증강현실 제어부는,
    상기 이미지 시퀀스에 포함된 각각의 결합 정지 이미지에 렌더링(rendering)을 수행하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 장치.
  13. 제 12 항에 있어서,
    상기 증강현실 제어부는,
    사용자에 의해 증강현실 영상 출력 신호가 입력되면 상기 이미지 시퀀스에서 상기 증강현실 영상 제작 장치에 미리 마련된 버퍼의 크기에 대응하는 상기 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 장치.
  14. 제 13 항에 있어서,
    상기 크로마키 제어부는,
    상기 증강현실 제어부에 의해 상기 버퍼에 상기 버퍼의 크기에 대응하는, 렌더링된 결합 정지 이미지가 로드되고 상기 라이브 영상이 입력되면, 상기 로드된, 렌더링된 결합 정지 이미지와 상기 라이브 영상을 합성하여 증강현실 크로마키 영상을 생성하고, 상기 증강현실 영상 제작 장치에 마련된 출력부를 통해 상기 증강현실 크로마키 영상을 출력하는 크로마키를 이용한 증강현실 영상 제작 장치.
  15. 제 14 항에 있어서,
    상기 크로마키 제어부는,
    상기 증강현실 제어부로부터 증강현실용 콘텐츠의 합성 위치 또는 크기 정보가 수신되면, 수신된 합성 위치 또는 크기 정보에 따라 상기 로드된, 렌더링된 결합 정지 이미지에 포함된 각각의 증강현실용 콘텐츠의 위치 또는 크기를 변경하고, 위치 또는 크기가 변경된 상기 로드된, 렌더링된 각각의 결합 정지 이미지에 상기 라이브 영상을 합성하여 상기 증강현실 크로마키 영상을 생성하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 장치.
  16. 제 13 항에 있어서,
    상기 증강현실 제어부는,
    상기 증강현실 크로마키 영상이 연속적으로 출력될 수 있도록 상기 버퍼에 로드된 마지막 결합 정지 이미지 번호와 현재 출력중인 프레임 번호의 차이를 산출하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만인지 여부를 확인하고, 상기 산출한 차이에 해당하는 이미지 크기가 상기 버퍼의 크기 미만이면 상기 이미지 시퀀스에서 상기 산출한 차이에 대응하는 상기 렌더링된 결합 정지 이미지를 추출하여 상기 버퍼에 로드하는 것을 더 포함하는 크로마키를 이용한 증강현실 영상 제작 장치.
KR1020150074994A 2015-05-28 2015-05-28 크로마키를 이용한 증강현실 영상 제작 장치 및 방법 KR101688926B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150074994A KR101688926B1 (ko) 2015-05-28 2015-05-28 크로마키를 이용한 증강현실 영상 제작 장치 및 방법
PCT/KR2015/005443 WO2016190472A1 (ko) 2015-05-28 2015-05-29 크로마키를 이용한 증강현실 영상 제작 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150074994A KR101688926B1 (ko) 2015-05-28 2015-05-28 크로마키를 이용한 증강현실 영상 제작 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160139681A KR20160139681A (ko) 2016-12-07
KR101688926B1 true KR101688926B1 (ko) 2016-12-22

Family

ID=57393288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150074994A KR101688926B1 (ko) 2015-05-28 2015-05-28 크로마키를 이용한 증강현실 영상 제작 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101688926B1 (ko)
WO (1) WO2016190472A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129311A (ko) 2017-05-26 2018-12-05 강다겸 웹기반 실시간 분산 스트리밍 및 크로마키 영상처리 시스템 및 방법
KR20200010909A (ko) 2018-07-23 2020-01-31 (주)지니트 파노라마 크로마키 합성 시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102101966B1 (ko) * 2018-10-19 2020-04-23 주식회사 산타 크로마키 합성장치 및 방법
GB2582917B (en) * 2019-04-05 2021-05-12 Holome Tech Limited Method and apparatus for generating three dimensional images
CN115086704A (zh) * 2022-08-19 2022-09-20 广州市千钧网络科技有限公司 一种直播中视频图像合成的方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719101B1 (ko) * 2005-08-05 2007-05-17 주식회사 오아시스미디어 실시간 다층영상 합성기록 시스템 및 방법, 그리고 그방법이 기록된 기록매체
KR100934471B1 (ko) * 2008-04-17 2009-12-30 (주)아이스타티브이 크로마키를 이용한 영상제작 장치 및 그 방법
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
KR101225421B1 (ko) * 2011-06-10 2013-01-22 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
KR101264838B1 (ko) * 2011-09-03 2013-05-15 (주)네오텍소프트 실시간 영상 합성 시스템
KR101414217B1 (ko) * 2012-05-04 2014-07-04 임윤호 실시간 영상합성 장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180129311A (ko) 2017-05-26 2018-12-05 강다겸 웹기반 실시간 분산 스트리밍 및 크로마키 영상처리 시스템 및 방법
KR20200010909A (ko) 2018-07-23 2020-01-31 (주)지니트 파노라마 크로마키 합성 시스템 및 방법

Also Published As

Publication number Publication date
KR20160139681A (ko) 2016-12-07
WO2016190472A1 (ko) 2016-12-01

Similar Documents

Publication Publication Date Title
KR101688926B1 (ko) 크로마키를 이용한 증강현실 영상 제작 장치 및 방법
EP2960905A1 (en) Method and device of displaying a neutral facial expression in a paused video
KR102113812B1 (ko) Rgb-d 영상을 이용한 실감형 증강현실 구현 장치 및 방법
WO2022250830A1 (en) 3d mesh generation on a server
US9148564B2 (en) Image pickup apparatus, information processing system and image data processing method
JP6060965B2 (ja) 画像処理装置と画像処理方法およびプログラム
RU2729601C1 (ru) Способ и система для визуализации объекта на виртуальном виде
KR102343325B1 (ko) 영상 압축 방법 및 영상 복원 방법
KR20110107545A (ko) 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치
KR20090023242A (ko) 화상합성장치, 화상합성방법 및 프로그램을 기억한 기록매체
US8189864B2 (en) Composite image generating apparatus, composite image generating method, and storage medium
KR102299565B1 (ko) 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치
US9600160B2 (en) Image processing device, image processing method, and program
KR20210056944A (ko) 이미지 변형 방법
JP6137910B2 (ja) 情報処理装置、情報処理方法及びプログラム
US8269858B2 (en) Image pickup device, image pickup method, and integrated circuit
CN114466145B (zh) 视频处理方法、装置、设备和存储介质
JP5894505B2 (ja) 画像コミュニケーションシステム、画像生成装置及びプログラム
JP6396932B2 (ja) 画像合成装置、画像合成装置の動作方法およびコンピュータプログラム
CN113973175A (zh) 一种快速的hdr视频重建方法
JP7065708B2 (ja) 録画再生装置及びプログラム
KR101803532B1 (ko) 증강현실 품질 제어 방법
JP2015191314A (ja) 画像処理装置、画像処理システム及び画像処理方法
JP2016129281A (ja) 画像処理装置
KR20140057451A (ko) 이미지와 이모티콘을 중첩하여 하나 이상의 메신저 서버에 등록하는 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191125

Year of fee payment: 4