KR20150105069A - 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법 - Google Patents

혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법 Download PDF

Info

Publication number
KR20150105069A
KR20150105069A KR1020140027265A KR20140027265A KR20150105069A KR 20150105069 A KR20150105069 A KR 20150105069A KR 1020140027265 A KR1020140027265 A KR 1020140027265A KR 20140027265 A KR20140027265 A KR 20140027265A KR 20150105069 A KR20150105069 A KR 20150105069A
Authority
KR
South Korea
Prior art keywords
image information
image
information
photographing
central
Prior art date
Application number
KR1020140027265A
Other languages
English (en)
Inventor
장순철
장석희
장순호
Original Assignee
장순철
장석희
장순호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장순철, 장석희, 장순호 filed Critical 장순철
Priority to KR1020140027265A priority Critical patent/KR20150105069A/ko
Publication of KR20150105069A publication Critical patent/KR20150105069A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 것으로, 보다 상세하게는 촬영되고 있는 촬영인물의 평면 영상정보에 가상 스튜디오의 영상을 합성하여 가상영상정보를 생성하는 경우, 촬영인물을 다방향에서 촬영하여 다 방향의 평면 영상정보를 생성하고, 다방향에서 촬영된 평면 영상정보를 합성하여 3차원 영상과 같이 입체감이 표현되도록 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 것이다.
그에 따른 본 발명의 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법은 촬영할 인물을 적어도 3방향 이상 촬영하여 복수 개의 동영상정보를 획득하고, 상기 동영상정보 각각에 포함된 이미지정보들에 촬영시간을 기록하는 동영상정보 촬영단계; 상기 복수 개의 동영상정보를 실시간으로 입력받고, 상기 복수 개의 동영상정보 각각의 이미지정보들 가운데 동일한 촬영시간에 해당하는 이미지정보들을 추출하는 동시간 촬영이미지 추출단계; 추출된 이미지정보들을 가상의 3차원 공간에 정렬시키되, 상기 동영상정보 촬영단계에서 촬영하는 방향의 각도와 동일한 각도로 상기 이미지정보들을 배치하고, 상기 이미지정보들 각각에 기준점좌표를 생성하며, 상기 기준점좌표가 일치되도록 상기 이미지정보들을 정렬시키는 이미지정보 정렬단계; 및, 가상의 3차원 공간상에 정렬된 이미지정보들 가운데, 중앙에 배치되는 중앙이미지정보를 기준으로 우측에 배치되는 우측이미지정보를 이용하여 중앙이미지정보의 우측영역을 굴곡시키고, 중앙에 배치되는 중앙이미지정보를 기준으로 좌측에 배치되는 좌측이미지정보를 이용하여 중앙이미지정보의 좌측영역을 굴곡시키는 이미지정보 굴곡단계; 를 포함한다.

Description

혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법{CUBE EFFECT METHOD OF 2D IMAGE FOR MIXED REALITY TYPE VIRTUAL PERFORMANCE SYSTEM}
본 발명은 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 것으로, 보다 상세하게는 촬영되고 있는 촬영인물의 평면 영상정보에 가상 스튜디오의 영상을 합성하여 가상영상정보를 생성하는 경우, 촬영인물을 다방향에서 촬영하여 다 방향의 평면 영상정보를 생성하고, 다방향에서 촬영된 평면 영상정보를 합성하여 3차원 영상과 같이 입체감이 표현되도록 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법에 관한 것이다.
일반적인 가상 스튜디오 기술은 크로마키공간내에 촬영인물이 위치한 상태에서 크로마키공간을 배경으로 촬영인물에 관한 동영상정보를 생성하고, 동영상정보내의 크로마키영상정보에 다른 영상이미지를 합성하는 기술을 말한다.
이러한 가상 스튜디오 기술과 관련된 종래 선행기술로써, 대한민국 등록특허 제10-0901111호인 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템은 차원 가상공간영상과, 삼차원 가상공간영상에 비디오 텍스쳐링(Texturing)하여 합성되는 부분영상과, 연출장면의 촬영영상을 크로마키(Chroma Key) 처리한 연출영상을 콘텐츠로서 저장하는 콘텐츠 데이터베이스(200); 연출영상 및 부분영상이 가상공간상에 위치하는 정보와 가상공간의 트랙정보를 나타내는 가상카메라 트랙정보를 포함하여 이루어지는 가상스튜디오형성정보를 저장하고, 지정된 연출영상에 대응하는 가상스튜디오형성정보에 따라 연출영상/가상공간영상/부분영상을 상기 콘텐츠 데이터베이스(200)에서 독출하고, 상기독출한 연출영상 및 부분영상을 상기 독출한 가상공간영상에 비디오 텍스쳐링(Texturing) 및 렌더링(Rendering)처리하여 가상스튜디오영상을 생성하고, 상기 생성된 가상스튜디오영상을 상기 독출한 오디오데이터와 함께 상기 통신망(400)을 통해 상기 원격단말기(500)에 전송하는 영상제공서버(100); 상기 영상제공서버(100)에 접속하며, 상기 영상제공서버(100)를 통해 가상공간영상 및 부분영상을 전달받고, 블루스크린을 배경으로 촬영한 연출장면을 크로마키(Chroma Key) 처리하여 연출영상을 생성한 후, 상기 생성된 연출영상과 상기 전송받은 가상공간영상 및 부분영상에 대응하는 가상스튜디오형성정보를 생성하여, 상기 생성된 연출영상 및 가상스튜디오형성정보를 상기 영상제공서버(100)에 전달하는 가상스튜디오장치(300);를 포함하여 구성된다.
이러한 종래 가상 스튜디오 기술은 상황설정에 따른 서로 다른 다수의 배경 영상을 삼차원 가상공간영상으로 데이터베이스화하고, 상황 설정에 따라 연출된 영상을 크로마키(Chroma Key) 처리하여 연출영상을 획득한 후 데이터베이스에서 선택한 상황 설정에 맞는 가상공간영상을 선택 합성하여 제공할 수 있는 이점을 제공하고 있다.
하지만, 이와 같은 종래 선행기술은 가상 스튜디오 공간 자체를 3차원하여 표현하고 있으나, 실제 촬영하고 있는 인물은 평면 영상만을 제공하기 때문에 촬영 인물의 입체감을 표현할 수 없는 문제점을 내포하고 있다.
한편, 다른 종래 선행기술로써, 대한민국 등록특허 제10-09118392호인 3D 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법에서는 3D 영상의 획득을 위해 고가의 기계 장치를 사용하는 대신에 일반 범용 카메라를 이용하여 3D 객체를 저작할 수 있는 기능을 제공하고, 증강 현실 구현과 자동적인 사용자 움직임 추출 기능을 통해 사용자와의 강건한 상호 작용성을 제공하고, 사용자가 원격지 서버로부터 컨텐츠 객체를 전송받을 수 있게 함으로써 다수의 사용자가 멀티미디어 컨텐츠 객체를 공유할 수 있는 이점을 제공하고 있다.
이러한 종래 선행기술은 전술한 바와 같이 촬영 인물까지도 입체감있게 표현되도록 하는 기술을 제공하기는 하나, 종래 선행기술은 하나의 평면 동영상정보에 가상 객체를 합성하는 방법이기 때문에 느낌상 실사이미지와는 많은 차이가 발생하고 있다.
이로 인해 종래 선행기술은 입체감이 실사이미지처럼 보이지 않아 시청자가 거부감을 느끼는 경우가 많이 발생하는 문제점을 내포하고 있다.
대한민국 등록특허 제10-0901111호(2009. 05. 29 등록) 대한민국 등록특허 제10-0918392호(2009. 09. 15 등록)
본 발명은 실제 촬영되고 있는 인물에 관한 동영상정보를 입체감 있게 표현하되, 실제 촬영된 동영상정보를 기반으로 입체감이 표현되도록 하여 시청자로부터 거부감이 들지 않도록 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법을 제공하는 데 있다.
상기한 기술적 과제를 달성하기 위한 본 발명의 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법은 촬영할 인물을 적어도 3방향 이상 촬영하여 복수 개의 동영상정보를 획득하고, 상기 동영상정보 각각에 포함된 이미지정보들에 촬영시간을 기록하는 동영상정보 촬영단계; 상기 복수 개의 동영상정보를 실시간으로 입력받고, 상기 복수 개의 동영상정보 각각의 이미지정보들 가운데 동일한 촬영시간에 해당하는 이미지정보들을 추출하는 동시간 촬영이미지 추출단계; 추출된 이미지정보들을 가상의 3차원 공간에 정렬시키되, 상기 동영상정보 촬영단계에서 촬영하는 방향의 각도와 동일한 각도로 상기 이미지정보들을 배치하고, 상기 이미지정보들 각각에 기준점좌표를 생성하며, 상기 기준점좌표가 일치되도록 상기 이미지정보들을 정렬시키는 이미지정보 정렬단계; 및, 가상의 3차원 공간상에 정렬된 이미지정보들 가운데, 중앙에 배치되는 중앙이미지정보를 기준으로 우측에 배치되는 우측이미지정보를 이용하여 중앙이미지정보의 우측영역을 굴곡시키고, 중앙에 배치되는 중앙이미지정보를 기준으로 좌측에 배치되는 좌측이미지정보를 이용하여 중앙이미지정보의 좌측영역을 굴곡시키는 이미지정보 굴곡단계; 를 포함한다.
이 경우, 상기 동영상정보 촬영단계에서는 상기 인물을 촬영하는 경우, 크로마키공간내에서 촬영하여 상기 인물의 배경에 관한 크로마키영상정보가 포함되도록 상기 동영상정보를 생성하며, 상기 이미지정보 굴곡단계 이후에, 상기 크로마키영상정보에 배경영상정보를 삽입하는 배경영상 삽입단계; 를 더 포함한다.
이 경우, 상기 이미지정보 굴곡단계에서는, 중앙에 배치되는 중앙이미지정보를 기준으로 우측에 배치되는 우측이미지정보를 이용하여 중앙이미지정보의 우측영역을 굴곡시키는 경우 기설정된 보간식에 의해 보간하여 굴곡시키며, 중앙에 배치되는 중앙이미지정보를 기준으로 좌측에 배치되는 좌측이미지정보를 이용하여 중앙이미지정보의 좌측영역을 굴곡시키는 경우, 기설정된 보간식에 의해 보간하여 굴곡시킬 수 있다.
또한, 상기 이미지정보 정렬단계세서 기준점좌표의 생성 방식은, 각각의 이미지정보들 각각의 영역의 외곽영역의 좌표값을 생성하고, 각각의 해당 영역의 면적을 연산한 상태에서 중점이나 질점을 생성하거나 또는, 각각의 이미지정보들의 픽셀정보값들 패턴 유사도를 분석하여 패턴 유사도의 비율이 가장 높은 영역을 찾아내고, 유사도의 비율이 가장 높은 영역의 픽셀정보값들 가운데 가장 희귀한 픽셀정보를 찾아내어 기준점좌표를 생성할 수 있다.
본 발명은 종래 선행기술에서 실사이미지를 이용하지 않고 인위적인 방식으로 입체감을 표현하여 시청자가 거부감을 느끼던 것과는 달리, 촬영하고 있는 인물의 실사이미지를 실제로 보는듯하게 입체감이 부여된 상태에서 가상의 공간에 있는듯한 시각효과를 구현하여 시청자로 하여금 거부감이 들지 않도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법의 순서도이다.
도 2는 도 1에 도시된 동영상정보 촬영단계에 의해 동영상을 촬영하는 예에 관한 구성도이다.
도 3은 도 1에 도시된 이미지정보 정렬단계에 의해 이미지들이 정렬된 예에 관한 구성도이다.
도 4는 도 1에 도시된 이미지정보 굴곡단계에 의해 중앙이미지정보의 좌측영역과 우측영역이 굴곡된 상태의 구성도이다.
도 5는 도 1에 도시된 배경영상 삽입단계에 의해 굴곡이 시행된 중앙이미지정보의 배경에 가상의 배경이미지를 삽입한 상태의 구성도이다.
이하, 상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는, 본 발명의 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법을 첨부된 도 1 내지 도 5를 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법의 순서도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법은 동영상정보 촬영단계(S10), 촬영이미지 추출단계(S20), 이미지정보 정렬단계(S30) 및, 이미지정보 굴곡단계(S40)를 포함한다.
이와 같은 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법 가운데 동영상정보 촬영단계(S10)는 카메라(2)의 촬영을 통해 이루어질 수 있으며, 촬영이미지 추출단계(S20), 이미지정보 정렬단계(S30) 및, 이미지정보 굴곡단계(S40)는 이미지프로세싱이 가능한 피씨와 같은 통신단말에 의해 이미지에 관한 연산이 이루어질 수 있다.
상기 동영상정보 촬영단계(S10)는 도 2에 도시된 바와 같이, 크로마키공간(1)내에 촬영 인물이 배치된 상태에서 3대의 카메라(2)를 이용하여 3방향 이상 다른 각도에서 인물을 촬영하게 된다. 이와 같은 상태에서 동영상정보 촬영단계(S10)를 진행하게 되면, 동영상정보 촬영단계(S10)에서는 촬영할 인물을 3방향 이상 촬영하여 복수 개의 동영상정보를 획득하게 된다. 또한, 동영상정보 촬영단계(S10)는 동영상정보뿐만 아니라, 동영상정보 각각에 포함된 이미지정보들에 촬영시간을 실시간으로 기록하게 된다.
상기 촬영이미지 추출단계(S20)는 전술한 동영상정보 촬영단계(S10)의 의해 생성된 적어도 3개의 동영상정보를 이미지 프로세싱 장치(미도시)에서 실시간으로 입력받고, 3개의 동영상정보 각각의 이미지정보들 가운데 동일한 촬영시간에 해당하는 이미지정보들을 추출하게 된다. 즉, 촬영이미지 추출단계(S20)에서는 동영상정보에 포함된 평면이미지들에 후술하는 입체감을 부여하기 위하여 동영상정보에 포함된 이미지들 각각을 추출하게 된다.
상기 이미지정보 정렬단계(S30)에서는 도 3에 도시된 바와 같이, 촬영이미지 추출단계(S20)에 의해 추출된 이미지정보들을 가상의 3차원 공간에 정렬시키되, 동영상정보 촬영단계(S10)에서 촬영하는 방향의 각도와 동일한 각도로 이미지정보들을 배치하게 된다. 여기서, 각각의 이미지정보들의 명칭은 중앙이미지정보(3a), 좌측이미지정보(3b) 및, 우측이미지정보(3c)라 지칭한다. 이때, 이미지정보 정렬단계(S30)에서는 이미지정보들(3a, 3b, 3c) 각각에 기준점좌표(1c)를 생성하며, 기준점좌표(1c)가 일치되도록 이미지정보들을 정렬시키게 된다. 여기서, 기준점좌표(1c)의 생성은 각각의 이미지정보들 각각의 영역의 외곽영역의 좌표값을 생성하고, 각각의 좌표값을 이용하여 해당 영역의 면적을 연산한 상태에서 중점이나 질점을 생성하여 구현될 수 있다. 또한, 기준점좌표(1c)의 생성에 관한 다른 방식으로는 각각의 이미지정보들의 픽셀정보값들 패턴 유사도를 분석하여 패턴 유사도의 비율이 가장 높은 영역을 찾아내고, 유사도의 비율이 가장 높은 영역의 픽셀정보값들 가운데 가장 희귀한(존재율이 가장 낮은) 픽셀정보를 찾아내고, 각각 이미지정보마다 가장 희귀한 픽셀정보에 기준점좌표(1c)를 생성할 수 있다. 예를 들어, 촬영될 인물의 옷에 구비된 단추의 색상이 다른 색상과 구분되어 희귀한 픽셀정보를 가질 때, 해당 픽셀정보 또는 해당 픽셀정보들의 중앙지점에 기준점좌표(1c)를 생성할 수 있다.
상기 이미지정보 굴곡단계(S40)는 이미지정보 정렬단계(S30)에서 3개의 이미지정보들이 기준점좌표(1c)를 기준으로 정렬된 상태인 경우, 정렬된 이미지정보들 가운데, 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)를 이용하여 중앙이미지정보(3a)의 우측영역을 굴곡시키게 된다. 이와 같은 중앙이미지정보(3a)의 우측영역 굴곡은 도 4에 도시된 바와 같다. 또한, 이와 같은 방식으로 도 5에 도시된 바와 같이, 이미지정보 굴곡단계(S40)에서는 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)를 이용하여 중앙이미지정보(3a)의 좌측영역을 굴곡시키게 된다. 여기서, 이미지정보의 굴곡은 특정필터(예; distort 필터)를 이용하여 이미지의 특정영역(점, 선, 면)을 기준으로 픽셀이미지가 모이거나 퍼지도록 하여 이미지정보의 밀집도를 조절하는 것을 말한다. 즉, 본 발명에서는 좌측이미지정보(3b)와 중앙이미지정보(3a)를 비교하여, 좌측이미지정보(3b)의 좌측영역에 관한 밀집도 정보를 중앙이미지정보(3a)의 좌측영역 밀집도에 반영되도록 하고, 우측영역에 관한 밀집도정보를 중앙이미지정보(3a)의 우측영역 밀집도에 반영되도록 하게 된다. 이 경우, 입체감의 효과를 보다 상승시키기 위하여 후술하는 보관과정을 진행할 수 있다. 또한, 이이지정보 굴곡단계에서는 전술한 바와 같이, 이미지정보 굴곡시에 중앙이미지정보(3a)의 중앙 수직선을 기준으로 좌측영역과 우측영역을 굴곡시키되, 추가적으로 상부영역과 하부영역도 전술한 바와 같은 굴곡과정을 통해 굴곡될 수 있으며, 본 실시예에서는 당업자가 용이하게 이해할 수 있도록 좌측영역과 우측영역이 굴곡된 것에 대한 예로 한정하여 설명하기로 한다.
이와 같은 이미지정보 굴곡단계(S40)를 거치게 되면, 도 4에 도시된 바와 같이, 중앙이미지정보(3a)는 좌측이미지정보(3b)와 우측이미지정보(3c)를 기준으로 굴곡되어 좌측영역과 우측영역이 각각 굴곡된 상태로 변하게 됨으로써, 입체감을 부여할 수 있게 된다.
이때, 입체감이 부여된 중앙이미지정보(3a)의 배경은 크로마키공간(1)내에서 촬영된 것이기 때문에 크로마키영상정보가 포함되어 있다.
이 경우, 크로마키영상정보에 배경영상정보(4)를 삽입하는 배경영상 삽입단계(S50)를 진행하게 되면, 도 5에 도시된 바와 같이, 가상의 배경이미지가 삽입된 영상이미지를 획득할 수 있게 된다.
상기한 바와 같이, 입체감이 부여된 중앙이미지정보(3a)들을 생성하기 위하여 전술한 동영상정보 촬영단계(S10), 촬영이미지 추출단계(S20), 이미지정보 정렬단계(S30), 이미지정보 굴곡단계(S40) 및, 배경영상 삽입단계(S50)를 계속적으로 진행하게 되면, 가상의 배경화면에서 입체감이 부여된 인물이 움직이는 동영상을 제작할 수 있게 된다.
따라서, 본 발명의 일 실시예에 따른 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법은 종래 선행기술에서 실사이미지를 이용하지 않고 인위적인 방식으로 입체감을 표현하여 시청자가 거부감을 느끼던 것과는 달리, 촬영하고 있는 인물의 실사이미지를 실제로 보는듯하게 입체감이 부여된 상태에서 가상의 공간에 있는듯한 시각효과를 구현하여 시청자로 하여금 거부감이 들지 않도록 하게 된다.
한편, 상기한 이미지정보 굴곡단계(S40)는 실사이미지와 동일한 굴곡을 위하여 다음과 같은 기술적 특징을 포함할 수 있다.
이를 위하여 이미지정보 굴곡단계(S40)에서는 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)의 밀집도를 중앙이미지정보(3a)의 우측영역에 반영하여 중앙이미지정보(3a)의 우측영역을 굴곡시키는 경우 기설정된 보간식을 감안하여 보간한 상태로 굴곡시키게 된다. 여기서, 보간식은 선형보간식을 이용할 수 있으며, 선형보간식 이외에 nearest, bilinear, bicubic, cubic convolution, lanczos3, lanczos8, sinc 가운데 선택되는 어느 하나의 보간법을 이용할 수 있다.
이와 유사하게, 이미지정보 굴곡단계(S40)에서는 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)의 밀집도를 중앙이미지정보(3a)의 좌측영역에 반영하여 중앙이미지정보(3a)의 우측영역을 굴곡시키는 경우, 기설정된 보간식을 감안하여 보간한 상태로 굴곡시킬 수 있다.
따라서, 중앙이미지정보(3a)는 보간법에 의해 굴곡의 정도가 조절되기 때문에, 인물을 보다 입체감 있게 표현할 수 있게 된다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
1 ; 크로마키공간 2 ; 카메라
4 ; 배경영상정보 5 ; 보간식
1c ; 기준점좌표 3a ; 중앙이미지정보
3b ; 좌측이미지정보 3c ; 우측이미지정보

Claims (4)

  1. 촬영할 인물을 적어도 3방향 이상 촬영하여 복수 개의 동영상정보를 획득하고, 상기 동영상정보 각각에 포함된 이미지정보들에 촬영시간을 기록하는 동영상정보 촬영단계(S10);
    상기 복수 개의 동영상정보를 실시간으로 입력받고, 상기 복수 개의 동영상정보 각각의 이미지정보들 가운데 동일한 촬영시간에 해당하는 이미지정보들을 추출하는 동시간 촬영이미지 추출단계(S20);
    추출된 이미지정보들을 가상의 3차원 공간에 정렬시키되, 상기 동영상정보 촬영단계(S10)에서 촬영하는 방향의 각도와 동일한 각도로 상기 이미지정보들을 배치하고, 상기 이미지정보들 각각에 기준점좌표(1c)를 생성하며, 상기 기준점좌표(1c)가 일치되도록 상기 이미지정보들을 정렬시키는 이미지정보 정렬단계(S30); 및,
    가상의 3차원 공간상에 정렬된 이미지정보들 가운데, 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)를 이용하여 중앙이미지정보(3a)의 우측영역을 굴곡시키고, 중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)를 이용하여 중앙이미지정보(3a)의 좌측영역을 굴곡시키는 이미지정보 굴곡단계(S40); 를 포함하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.
  2. 제1항에 있어서,
    상기 동영상정보 촬영단계(S10)에서는 상기 인물을 촬영하는 경우, 크로마키공간(1)내에서 촬영하여 상기 인물의 배경에 관한 크로마키영상정보가 포함되도록 상기 동영상정보를 생성하며,
    상기 이미지정보 굴곡단계(S40) 이후에, 상기 크로마키영상정보에 배경영상정보(4)를 삽입하는 배경영상 삽입단계(S50); 를 더 포함하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.
  3. 제1항에 있어서,
    상기 이미지정보 굴곡단계(S40)에서는,
    중앙에 배치되는 중앙이미지정보(3a)를 기준으로 우측에 배치되는 우측이미지정보(3c)를 이용하여 중앙이미지정보(3a)의 우측영역을 굴곡시키는 경우 기설정된 보간식에 의해 보간하여 굴곡시키며,
    중앙에 배치되는 중앙이미지정보(3a)를 기준으로 좌측에 배치되는 좌측이미지정보(3b)를 이용하여 중앙이미지정보(3a)의 좌측영역을 굴곡시키는 경우, 기설정된 보간식에 의해 보간하여 굴곡시키는 것을 특징으로 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.
  4. 제1항에 있어서,
    상기 이미지정보 정렬단계(S30)세서 기준점좌표(1c)의 생성 방식은,
    각각의 이미지정보들 각각의 영역의 외곽영역의 좌표값을 생성하고, 각각의 해당 영역의 면적을 연산한 상태에서 중점이나 질점을 생성하거나,
    각각의 이미지정보들의 픽셀정보값들 패턴 유사도를 분석하여 패턴 유사도의 비율이 가장 높은 영역을 찾아내고, 유사도의 비율이 가장 높은 영역의 픽셀정보값들 가운데 가장 희귀한 픽셀정보를 찾아내어 기준점좌표(1c)를 생성하는 것을 특징으로 하는 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법.
KR1020140027265A 2014-03-07 2014-03-07 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법 KR20150105069A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140027265A KR20150105069A (ko) 2014-03-07 2014-03-07 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140027265A KR20150105069A (ko) 2014-03-07 2014-03-07 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법

Publications (1)

Publication Number Publication Date
KR20150105069A true KR20150105069A (ko) 2015-09-16

Family

ID=54244573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140027265A KR20150105069A (ko) 2014-03-07 2014-03-07 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법

Country Status (1)

Country Link
KR (1) KR20150105069A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725166B1 (ko) * 2016-06-22 2017-04-12 주식회사 엑스콜로 2차원 이미지들을 이용하여 3차원 이미지를 재구성하는 방법 및 이를 위한 장치
US10552972B2 (en) 2016-10-19 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method with stereo image processing
KR102299565B1 (ko) * 2021-04-27 2021-09-08 (주)비코 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치
KR102320214B1 (ko) 2020-09-07 2021-11-02 김소현 증강 현실을 이용한 공연 영상 컨텐츠 제공장치 및 방법
KR20220073990A (ko) * 2020-11-27 2022-06-03 (주)올댓퍼포먼스아이앤씨 시각 효과를 지원하는 공연 컨텐츠 제작 시스템
KR102483905B1 (ko) 2022-06-13 2023-01-03 한국전자기술연구원 가상 공연 생성 방법 및 가상 공연 생성 시스템
CN116600063A (zh) * 2023-05-11 2023-08-15 深圳市天擎数字有限责任公司 一种虚拟现实融合演播室空间定位***及装置***

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101725166B1 (ko) * 2016-06-22 2017-04-12 주식회사 엑스콜로 2차원 이미지들을 이용하여 3차원 이미지를 재구성하는 방법 및 이를 위한 장치
US10552972B2 (en) 2016-10-19 2020-02-04 Samsung Electronics Co., Ltd. Apparatus and method with stereo image processing
KR102320214B1 (ko) 2020-09-07 2021-11-02 김소현 증강 현실을 이용한 공연 영상 컨텐츠 제공장치 및 방법
KR20220073990A (ko) * 2020-11-27 2022-06-03 (주)올댓퍼포먼스아이앤씨 시각 효과를 지원하는 공연 컨텐츠 제작 시스템
KR102299565B1 (ko) * 2021-04-27 2021-09-08 (주)비코 실시간 방송 영상에서 실시간으로 인물 객체를 인식하고 영상 처리하는 방법 및 이러한 방법을 수행하는 장치
KR102483905B1 (ko) 2022-06-13 2023-01-03 한국전자기술연구원 가상 공연 생성 방법 및 가상 공연 생성 시스템
CN116600063A (zh) * 2023-05-11 2023-08-15 深圳市天擎数字有限责任公司 一种虚拟现实融合演播室空间定位***及装置***

Similar Documents

Publication Publication Date Title
KR20150105069A (ko) 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
Zhang et al. 3D-TV content creation: automatic 2D-to-3D video conversion
EP2603834B1 (en) Method for forming images
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
US20140181630A1 (en) Method and apparatus for adding annotations to an image
CN106231349B (zh) 主播类互动平台服务器场景切换方法及其装置、服务器
CN109218630B (zh) 一种多媒体信息处理方法及装置、终端、存储介质
US8675042B2 (en) Image processing apparatus, multi-eye digital camera, and program
KR101723210B1 (ko) 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
KR101881295B1 (ko) 증강현실을 이용한 레이어 믹서 기반의 비디오 시스템
US20210166485A1 (en) Method and apparatus for generating augmented reality images
JP2004007395A (ja) 立体画像処理方法および装置
WO2014094874A1 (en) Method and apparatus for adding annotations to a plenoptic light field
WO2019050038A1 (ja) 画像生成方法および画像生成装置
WO2017021731A1 (en) 2d-to-3d video frame conversion
CN107862718A (zh) 4d全息视频捕捉方法
CN106231411B (zh) 主播类互动平台客户端场景切换、加载方法及装置、客户端
KR20080034419A (ko) 3ｄ 영상 생성 및 디스플레이 시스템
CN114449303A (zh) 直播画面生成方法和装置、存储介质及电子装置
US11019323B2 (en) Apparatus and method for 3D like camera system in a handheld mobile wireless device
JP2004221699A (ja) 立体画像処理方法および装置
US20220207848A1 (en) Method and apparatus for generating three dimensional images
Simone et al. Omnidirectional video communications: new challenges for the quality assessment community
JP5279078B2 (ja) 画像撮影・表示方法、画像撮影・表示装置、およびプログラム

Legal Events

Date Code Title Description
E601 Decision to refuse application