KR101031062B1 - 복합 현실 구현을 위한 영상 투사 방법 - Google Patents

복합 현실 구현을 위한 영상 투사 방법 Download PDF

Info

Publication number
KR101031062B1
KR101031062B1 KR1020100085055A KR20100085055A KR101031062B1 KR 101031062 B1 KR101031062 B1 KR 101031062B1 KR 1020100085055 A KR1020100085055 A KR 1020100085055A KR 20100085055 A KR20100085055 A KR 20100085055A KR 101031062 B1 KR101031062 B1 KR 101031062B1
Authority
KR
South Korea
Prior art keywords
image
projected
image data
background
color
Prior art date
Application number
KR1020100085055A
Other languages
English (en)
Inventor
전석
이호현
Original Assignee
(주)린소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)린소프트 filed Critical (주)린소프트
Priority to KR1020100085055A priority Critical patent/KR101031062B1/ko
Application granted granted Critical
Publication of KR101031062B1 publication Critical patent/KR101031062B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/26—Stereoscopic photography by simultaneous viewing using polarised or coloured light separating different viewpoint images
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • G03B35/20—Stereoscopic photography by simultaneous viewing using two or more projectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 입체배경에 투사되는 영상을 보정하여 영상의 왜곡을 최소화하는 영상 투사 방법에 관한 것이다. 본 발명에서는 영상 데이터를 투사할 입체배경을 삼차원 모델링하고, 흑백 패턴 이미지가 투사된 입체배경의 이미지를 획득하여 모델링한 입체배경 모델에 투영한 후, 획득된 이미지의 흑백 패턴의 형상과 밝기를 이용하여 입체배경 모델의 특징점들의 삼차원 좌표를 보정한다. 그리고 보정된 특징점들의 삼차원 좌표를 이용하여, 인접한 세 개의 특징점들이 구성하는 각각의 삼각형 면의 위치와 방향정보를 산출하여 각 삼각형 면에 투영될 영상 데이터의 화소를 결정하고, 각 삼각형 면에 투영될 화소의 명암을 보정한다. 이와 같은 본 발명에 의하면 입체배경에 투사되는 영상의 왜곡을 최소화함으로서, 보다 높은 수준의 복합 현실을 구현할 수 있으며, 입체배경의 특성을 손쉽게 파악하여 투사될 영상을 보정함으로서 영상 투사를 위한 준비과정에 소요되는 시간과 노동력, 비용을 절감할 수 있다는 장점이 있다.

Description

복합 현실 구현을 위한 영상 투사 방법{METHOD FOR PROJECTING VIDEO DATA FOR MATERIALIZING MIXED REALITY}
본 발명은 복합 현실 구현을 위한 영상 투사 방법에 관한 것으로, 보다 상세하게는 입체배경에 투사되는 영상을 보정하여 영상의 왜곡을 최소화하는 영상 투사 방법에 관한 것이다.
최근 실사 영상과 컴퓨터 그래픽 영상을 3차원에서 합성하는 복합 현실(Mixed Reality) 기술이 각광받고 있다. 일반적으로 복합 현실 기술은 컴퓨터 그래픽에 의한 삼차원 객체에 실사 배경을 합성하거나, 컴퓨터 그래픽에 의한 가상공간에 실사 객체를 합성하는 등의 방식으로 구현된다.
이와 같은 복합 현실 구현을 위한 시스템은 보다 그 대상 영역을 확장해가고 있는데, 최근에는 실사 영상을 촬영하여 이를 컴퓨터 상에서 가상의 객체나 배경과 합성하는 협의의 복합 현실 개념에서 벗어나, 실물 객체나 배경의 움직임이나 특성에 따라 능동적으로 제어되는 컴퓨터 그래픽을 실물 배경에 투사하는 광의의 개념으로 그 대상 영역이 확장되기에 이르렀다.
특히 구조물 등의 입체 실물 배경에 영상을 투영하여 복합 현실을 구현할 수 있는데, 예를 들어 시공 도중의 실물 구조물에 완성 구조물의 컴퓨터 그래픽이 겹쳐지도록 이미지를 투영함으로써, 실사와 컴퓨터 그래픽이 조합되는 복합 현실을 구현할 수 있다.
그러나 이를 위해서는 입체적인 구조를 갖는 건축물 등에 원하는 영상이 왜곡없이 투영되도록 하여야 한다. 도 1에 도시된 바와 같이 건축물이나 구조물 등은 그 외면이 일정하지 않고 입체적으로 구성될 뿐 아니라 각 면의 색상 또한 일정하지 않다.
이와 같은 입체 배경에 영상을 투사하기 위하여 건축물이나 구조물의 크기와 형상에 따라 적절한 수의 투사장치가 사용된다. 그러나 복잡한 기하물체나 색 또는 텍스쳐가 있는 현실공간에 원하는 영상을 색상이나 밝기, 형상 등의 왜곡 없이 이미지가 디스플레이되도록 하는 것은 매우 어려운 문제이다.
따라서 본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 입체배경에 투사되는 영상의 왜곡을 최소화할 수 있는 복합 현실 구현을 위한 영상 투사 방법을 제공하는 것이다.
본 발명의 다른 목적은 입체배경의 특성을 손쉽게 파악할 수 있는 복합 현실 구현을 위한 영상 투사 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 입체배경의 특성에 따라 투사되는 영상 데이터의 보정을 수행할 수 있는 복합 현실 구현을 위한 영상 투사 방법을 제공하는 것이다.
위와 같은 목적을 갖는 본 발명은 (A)영상 데이터를 투사할 입체배경을 삼차원 모델링하는 단계와; (B)상기 입체배경에 흑백 패턴 이미지를 투사한 후, 흑백 패턴 이미지가 투사된 입체배경의 이미지를 획득하는 단계와; (C) 상기 (B)단계에서 획득된 이미지를 상기 (A)단계에서 모델링한 입체배경 모델에 투영하는 단계와; (D) 상기 (B)단계에서 획득된 이미지의 흑백 패턴의 형상과 밝기를 이용하여 입체배경 모델의 특징점들의 삼차원 좌표를 보정하는 단계와; (E) 상기 (D)단계에서 보정된 특징점들의 삼차원 좌표를 이용하여, 인접한 세 개의 특징점들이 구성하는 각각의 삼각형 면의 위치와 방향정보를 산출하는 단계; 그리고 (F) 상기 (E)단계에서 산출된 삼각형 면의 위치와 방향정보를 이용하여, 각 삼각형 면에 투영될 영상 데이터의 화소를 결정하고, 각 삼각형 면에 투영될 화소의 명암을 보정하는 단계를 포함하여 수행된다.
이때 상기 영상 투사 방법은, (L) 상기 입체배경에 색상 패턴 이미지를 투사한 후, 색상 패턴 이미지가 투사된 입체배경의 이미지를 획득하는 단계와; (M) 상기 (L)단계에서 획득된 이미지를 이용하여, 상기 (E)단계에서 산출된 삼각형 면의 각각의 색상정보를 산출하는 단계; 그리고 (N) 상기 (M)단계에서 산출된 삼각형 면의 색상정보를 이용하여, 상기 (F)단계에서 각 삼각형 면에 투영되도록 결정된 화소들의 색상을 보정하는 단계를 더 포함하여 수행될 수도 있다.
그리고 상기 영상 투사 방법은, 상기 (F)단계와 상기 (N)단계에서 보정된 영상 데이터를 상기 입체배경으로 투사하는 단계를 더 포함하여 수행될 수도 있다.
나아가 상기 (F)단계는, 삼각형 면의 위치와 방향정보를 이용하여 산출된 각 삼각형 면에 투사될 화소의 명암 보정값을 보정 전의 영상 데이터의 각 화소의 명암값에 가감함으로써 수행되고, 상기 (N)단계는, 삼각형 면의 색상정보를 이용하여 산출된 각 삼각형 면에 투사될 화소의 색상 보정값을 보정 전의 영상 데이터의 각 화소의 색상값에 가감함으로써 수행될 수도 있다.
또한 상기 (F)단계와 상기 (N)단계는, 입체배경에 투사하고자 하는 영상 데이터가 동영상 데이터인 경우, 각 화소에 대한 상기 명암 보정값과 상기 색상 보정값을, 동영상 데이터에 포함된 각 영상 프레임의 동일한 위치의 모든 화소의 명암값과 색상값에 가감함으로써 수행될 수도 있다.
그리고 상기 (B)단계와 상기 (L)단계는, 보정된 영상 데이터가 투사되는 위치 및 각도와 동일한 각도 및 위치에서 수행될 수 있다.
여기서 상기 (B) 내지 (F) 및 (L) 내지 (M)는, 보정된 영상 데이터가 상기 입체배경에 대하여 복수의 지점에서 투사되는 경우, 보정된 영상 데이터가 투사되는 각각의 지점에 대하여 개별적으로 수행될 수도 있다.
또한 상기 영상 투사 방법은, 복수의 지점에서 투사되는 각 영상 데이터가 서로 겹치는 부분에 대해 점진적으로 이미지가 섞이도록 하는 엣지 블렌딩 처리를 수행하는 단계를 더 포함하여 수행될 수도 있다.
이상에서 상세히 설명한 바와 같이 본 발명에 의한 복합 현실 구현을 위한 영상 투사 방법에 의하면 다음과 같은 효과를 기대할 수 있다.
즉, 입체배경에 투사되는 영상의 왜곡을 최소화함으로서, 보다 높은 수준의 복합 현실을 구현할 수 있다는 장점이 있다.
또한 본 발명에 의한 복합 현실 구현을 위한 영상 투사 방법에서는 입체배경의 특성을 손쉽게 파악하여 투사될 영상을 보정함으로서 영상 투사를 위한 준비과정에 소요되는 시간과 노동력, 비용을 절감할 수 있다는 장점이 있다.
도 1은 영상 투사 시스템을 이용하여 입체배경에 영상을 투사하는 예를 도시한 예시도.
도 2a는 본 발명의 실시예에 의한 영상 투사 시스템의 구성을 도시한 블럭도.
도 2b는 본 발명의 다른 실시예에 의한 영상 투사 시스템의 구성을 도시한 블럭도.
도 3은 본 발명의 실시예에 의한 입체배경으로의 영상 투사 방법을 단계적으로 도시한 흐름도.
도 4a는 패턴 이미지를 입체배경에 투사한 예시도.
도 4b는 패턴 이미지의 투사거리에 따른 밝기 변화를 나타낸 예시도.
도 5는 입체배경의 색채에 따라 보정된 이미지를 투사한 예시도.
이하에서는 상기한 바와 같은 본 발명에 의한 영상 투사 시스템 및 이를 이용한 영상 투사 방법을 첨부된 도면을 참고하여 상세하게 설명한다.
도 2a는 본 발명의 실시예에 의한 영상 투사 시스템의 구성을 도시한 블럭도이며, 도 2b는 본 발명의 다른 실시예에 의한 영상 투사 시스템의 구성을 도시한 블럭도이다.
도 2a에 도시된 바와 같이 본 발명의 실시예에 의한 영상 투사 시스템(100)에는 전체 시스템의 동작을 제어하는 제어장치(10)가 구비된다. 상기 제어장치(10)는 사용자의 명령에 따라 입체배경에 영상을 투사하고, 투사된 영상을 보정하여 다시 보정된 영상을 투사하는 역할을 한다.
그리고 상기 제어장치에서 제공되는 영상 데이터는 분배장치(12)를 통해 복수의 투영장치(14)로 전달된다. 상기 분배장치(12)는 상기 제어장치(10)로부터 제공되는 영상 데이터 중 각각의 투영장치(14)에 할당된 데이터를 각각의 투영장치(14)로 분배한다.
그에 따라 상기 분배장치(12)로부터 데이터를 할당받은 상기 투영장치(14)는 각각의 위치에서 할당된 영상 데이터를 빔(Beam)으로 출력하여 입체배경에 투사한다.
이때 상기 투영장치(14)에 따라 각각 입체배경에 영상이 투사된 이미지를 실시간으로 감시하기 위한 모니터링 장치(16)가 각각의 투영장치(14)에 별도로 설치될 수 있다.
그리고 상기 투영장치(14)에서 출력되는 빔과 동일한 화각에서 각각 영상이 투사된 이미지를 실시간으로 획득하기 위하여 상기 투영장치(14)에는 각각 카메라가 구비될 수 있다.
그에 따라 상기 투영장치(14)에 각각 설치된 카메라에 의해 촬영된 이미지 또는 동영상을 상기 모니터링 장치(16)에 출력하여 입체배경에 영상 데이터가 원하는 바에 따라 투사되고 있는지 여부를 감시할 수 있게 된다.
사용자는 상기 모니터링 장치(16)를 통해 출력되는 영상을 확인하여 투사되는 영상 데이터의 투사각도나 영상 데이터의 색상, 밝기 등을 상기 제어장치(10)를 통해 실시간으로 보정할 수 있다.
한편 본 발명의 다른 실시예에 의한 영상 투사 시스템(100)은 도 2b에 도시된 바와 같이 입체 배경에 투사될 영상 데이터를 제공하는 서버(20)와 상기 서버(20)에서 제공되는 영상 데이터를 수신하여 각각의 투영장치(24)로 전달하는 제어장치(22)를 포함하여 구성된다.
상기 제어장치(22)는 각각의 투영장치(24)가 설치된 위치와 빔의 투사 각도에 맞게 수신된 영상 데이터를 처리하여 상기 투영장치(24)로 전달한다. 따라서 상기 제어장치(22)는 상기 투영장치(24)마다 각각 하나씩 구비될 수 있다.
그리고 상기 제어장치(22)에는 각각 상기 투영장치(24)에서 투사된 영상 데이터가 입체배경에 표시된 이미지나 동영상을 모니터링하기 위한 모니터링 장치가 각각 구비될 수 있다.
또한 마찬가지로 상기 투영장치(24)에는 상기 투영장치(14)에서 출력되는 빔과 동일한 화각에서 각각 영상이 투사된 입체배경의 이미지를 실시간으로 획득하기 위한 카메라가 각각 구비될 수 있다.
그에 따라 상기 투영장치(14)에 각각 설치된 카메라에 의해 촬영된 이미지 또는 동영상을 상기 제어장치(22)에서 확인할 수 있도록 한다.
위에서 설명한 바와 같은 영상 투사 시스템을 이용하여 입체배경에 영상 데이터를 출력함에 있어서, 복수의 투영장치(14, 24)로부터 출력되어 입체배경에 투사된 각각의 영상의 색상이나 질감, 밝기 등이 서로 통일되도록 하고, 입체배경의 형상이나 색상 등에 의한 영상의 왜곡을 최소화하기 위해서는 영상 데이터를 입체배경에 투사하기 전에, 투사될 영상 데이터를 입체배경의 속성에 따라 미리 보정하는 과정이 수행되어야 한다.
이하에서는 영상 데이터를 보정하여 입체 배경에 투사하는 과정을 도면을 참조하여 상세하게 설명한다.
도 3은 본 발명의 실시예에 의한 입체배경으로의 영상 투사 방법을 단계적으로 도시한 흐름도이고, 도 4a는 패턴 이미지를 입체배경에 투사한 예시도이며, 도 4b는 패턴 이미지의 투사거리에 따른 밝기 변화를 나타낸 예시도이다. 또한 도 5는 입체배경의 색채에 따라 보정된 이미지를 투사한 예시도이다.
도 3에 도시된 바와 같이 입체 배경으로의 영상 투사 시스템을 이용한 영상 투사 방법에서는 우선 CAD 등 삼차원 모델링을 수행하는 응용프로그램을 이용하여 영상을 투사하고자 하는 입체배경의 개략적인 형상을 모델링하는 제100단계(S100)로부터 시작된다.
제100단계에서는 건축물이나 구조물 등 입체배경의 설계도면이나 실측된 수치 등을 이용하여 개략적인 입체배경의 외관 형상만을 모델링한다.
그리고 상기 투영장치(14, 24)를 추후 영상 데이터를 투사할 위치와 동일한 위치와 각도 상에 설치한 후, 상기 투영장치(14, 24)를 통해 패턴 이미지를 입체배경에 투사하여, 패턴 이미지가 투사된 입체배경의 이미지를 획득하는 제110단계(S110)를 수행한다.
제110단계에서 상기 투영장치(14, 24)를 통해 투사하는 패턴 이미지는 예를 들어 흑백 사각형이 바둑판 모양으로 서로 교차하는 이미지와 이를 반전시킨 이미지를 포함하는 흑백 패턴 이미지와, 빨강, 초록, 파랑색을 포함하는 패턴이 포함되는 색채 패턴 이미지를 포함한다.
상기 투영장치(14, 24)는 이와 같이 흑백 패턴 이미지와 색상 패턴 이미지를 각각 입체배경에 복수회에 걸쳐 투사하고, 각각의 패턴 이미지가 투사된 입체배경의 이미지를 다시 획득한다. 여기서, 상기 흑백패턴 이미지와 색상 패턴이미지를 각각 투사하는 이유는 다음과 같다. 먼저, 상기 흑백패턴 이미지를 투사하는 이유는 투영장치(14)와 상기 투영장치(14)에 설치된 카메라의 위치를 맞추고, 또 실제공간의 카메라의 위치 값과 가상공간상의 가상 카메라의 위치를 맞추는 카메라 캘리브레이션(Camera Calibration)을 수행하고, 또 투영장치(14)에서 출력되는 빔이 맺히는 영역에 대한 x, y, z의 정보를 알기 위한 것이고, 또 실제 공간에서 빔이 맺히는 영역의 밝기 값을 알아보기 위한 것이다. 이렇게 하면, 이후 수행되는 보정과정에서 입체배경에 투사될 영상데이터의 화소를 결정하여 화소의 명암을 보정할 수 있게 된다. 또한 상기 색상패턴 이미지를 투사하는 이유는 영상 데이터가 투사되는 면의 색상 정보를 획득하여, 그 투사된 영상의 색상이나 질감, 밝기 등이 서로 통일되도록 하기 위한 것이다. 이렇게 하면 이후 수행되는 보정과정에서 입체배경에 투사되도록 결정된 화소들의 색상을 보정할 수 있게 된다.
이때 패턴 이미지가 투사된 입체배경의 이미지를 획득하기 위해서 상기 투영장치(14, 24)의 빔 투사 위치 및 각도와 동일한 위치와 각도에 상기 투영장치(14, 24)와 일체로 또는 별개로 구비되는 카메라 장치를 이용한다.
그에 따라 상기 제110단계에서 획득되는 이미지들은 모두 상기 투영장치(14, 24)가 추후 입체배경에 실제 투영하고자 하는 영상 데이터를 투사할 위치와 동일한 위치와 각도에서 획득된 것이다.
그리고나서 상기 제110단계에서 획득된 이미지를 제100단계에서 삼차원 모델링한 입체배경 모델에 투영하는 제120단계(S120)가 수행된다. 여기서, 상기 삼차원 모델링한 입체배경 모델에 투영되는 이미지는 상기 흑백패턴 이미지를 투사하여 획득한 이미지 및 상기 색상패턴 이미지를 투사하여 획득한 이미지를 순차적으로 투영되게 한다.
먼저, 상기 흑백패턴 이미지를 투사하여 획득한 이미지를 투영하는 것이다. 즉, 상기 제120단계에서 흑백 패턴 이미지가 투영된 입체 배경의 이미지를 상기 입체배경 모델에 투영한 결과로부터, 삼차원 모델링한 입체배경 모델의 복수의 특징점들의 각각의 좌표를 보정하는 제130단계(S130)가 수행된다.
여기서 상기 특징점들의 수는 사용자에 의해 적절하게 선택될 수 있다.
입체배경 모델에서 많은 특징점을 추출할수록 입체배경 모델이 실제 입체배경과 유사해져 투사되는 영상의 질도 높아진다는 이점이 있으나, 특징점이 과도하게 많이 추출되면 각각의 특징점들의 좌표를 산출하고, 그에 따라 투사될 영상을 보정하기 위하여 처리해야할 데이터의 양이 많아진다는 단점이 있으므로, 추출되는 특징점의 수는 사용자에 의하여 적절하게 선택될 수 있다.
그리고 상기 특징점들은 입체배경 모델의 특정 위치에 집중적으로 분포하지 않고, 입체배경 모델의 전체적인 영역에 골고루 분포되도록 할 수 있으며, 사용자에 의하여 그 위치가 선택될 수도 있다.
이때 좌표의 보정은, 일정한 흑백 패턴 이미지가 입체배경에 투사됨으로써 왜곡된 패턴의 형상과 변화된 밝기값을 이용하여 이루어진다.
도 4a에 도시된 바와 같이 예를 들어 직사각형 형상의 패턴을 입체 배경에 투사하면, 입체배경의 각 면이 이루는 각도에 따라 투사된 패턴이 왜곡된다.
따라서 각 패턴에 포함되는 점들의 위치 변화를 통해서 패턴이 투사된 입체 배경의 각 면이 이루는 각도를 산출할 수 있다.
나아가 도 4b에 도시된 바와 같이 동일한 패턴의 이미지를 빔으로 출력하더라도 이를 반사하는 입체배경의 거리에 따라 반사되는 패턴의 밝기가 달라지는데, 거리가 멀어질수록 반사도가 낮아져 패턴이 어둡게 표시된다.
따라서 제130단계에서는 흑백 패턴 이미지를 투사하여 획득한 이미지를 삼차원 모델링된 입체배경 모델에 투영한 후 각각의 특징점이 위치한 패턴의 형상이나 밝기값 등을 이용하여 특징점들의 삼차원 좌표를 보다 정확하게 보정한다.
또한 제140단계(S140)에서는 제130단계에서 보정된 각 특징점들의 삼차원 좌표값을 이용하여 인접한 세 개의 특징점이 이루는 삼각형 면의 방향 정보를 산출한다.
다음, 상기 색채패턴 이미지를 투사하여 획득한 이미지를 투영하는 것이다. 즉, 제150단계(S150)에서는 제110단계에서 획득된 복수의 이미지 중 색채 패턴 이미지를 입체 배경에 투사하여 획득한 이미지를 이용하여, 제140단계에서 방향 정보를 산출한 각각의 삼각형 면의 색상 정보를 산출한다.
즉, 각각의 삼각형 면의 빨강, 초록, 파랑색 광에 대한 채도를 산출한다.
상기 제150단계에서 색상 정보를 산출하는 것은, 입체배경이 하나의 일정한 색상을 띄지 않는 경우, 각각의 면의 색상 차이에 의하여 투사되는 영상에 색상이 왜곡되는 것을 방지하기 위함이다.
예를 들어 도 5에 도시된 바와 같이 바둑판 무늬의 입체배경에 영상을 투영하는 경우, 투영된 영상과 입체배경의 무늬가 합쳐져서 원하는 영상을 얻을 수 없게 된다.
따라서 투사하고자 하는 영상을 미리 복수의 단위로 나누어 채도를 보정함으로써 영상의 색상 왜곡을 최소화할 수 있다.
이에 따라 제140단계에서 산출된 각 삼각형 면의 방향 정보와, 제150단계에서 산출된 각 삼각형 면의 색상 정보를 이용하여 실제로 입체배경에 투사하고자 하는 영상 데이터의 밝기와 색상을 보정하는 제160단계(S160)가 수행된다.
제160단계에서는 투사될 영상 데이터를 특징점들이 이루는 각각의 삼각형 면에 투영될 화소를 결정하고, 각각의 삼각형 면의 각도와 색상을 고려하여 화소들의 밝기와 색상 등을 보정함으로써 이루어진다.
즉, 제140단계에서 산출된 각 삼각형 면의 위치와 방향에 따라 각 삼각형 면에 투영될 영상 데이터의 화소를 결정하고, 각각의 삼각형 면으로 투사되도록 결정된 화소들의 명암와 색상이 보정된다.
이때 각 삼각형 면에 투영될 영상 데이터의 화소를 결정함에 있어서, 삼각형 면의 위치와 함께 삼각형 면이 기울어진 정도에 따라 하나의 삼각형 면에 투영될 화소의 범위가 결정된다.
예를 들어 하나의 삼각형 면이 빔의 투사 방향에 수평한 방향으로 다소 기울어져 있는 경우, 동일한 넓이를 가진 빔의 투사 방향에 수직한 삼각형 면에 투사되는 화소보다 적은 수의 화소가 해당 삼각형 면으로 투사되도록 결정될 수 있다.
그리고 각 삼각형 면으로 투사되도록 결정된 화소들의 명암과 색상을 보정함에 있어서, 영상 데이터에 포함된 각각의 화소의 원래의 명암값과 색상값에 보정해야할 명암값과 색상값이 더해지거나 차감되도록 함으로써, 동영상과 같이 데이터 처리량이 많은 영상 데이터를 입체배경에 투영할 때도 입체배경의 특성에 따라 영상 데이터가 신속하게 보정될 수 있도록 한다.
그리고 패턴 이미지를 투사하고 획득한 위치 및 각도와 동일한 위치 및 각도에서 제160단계에서 보정된 영상 데이터를 입체배경에 투사하는 제170단계(S170)가 수행된다. 제170단계에서는, 투영되는 영상 데이터를 실시간으로 추가 보정하는 과정이 함께 수행될 수도 있다.
한편 실시예에 따라서는, 제170단계에서 입체배경에 보정된 영상 데이터를 투사하면서 상기 제어장치(10, 22)를 통해 투사되는 영상 데이터에 다양한 실시간 효과를 더할 수 있다.
즉 삼차원 모델링된 입체배경 모델에 실시간으로 특정 효과를 첨가하면 실제로 입체배경에 투사되는 영상 데이터에도 해당 효과가 반영되도록 할 수 있다.
예를 들어, 입체배경에 특정 방향으로 빛과 그림자가 형성되는 것과 같은 효과나, 컴퓨터 그래픽에 의한 가상 객체가 나타나거나 움직이도록 하는 효과, 실시간으로 핸드 드로잉되는 이미지가 입체배경에 투영되도록 하는 효과 등 다양한 부가적인 효과를 추가할 수 있다.
또한 제160단계에서 영상 데이터를 보정함에 있어서, 복수의 투영장치(14, 24)에서 투사되는 이미지가 겹치는 부분에 대해 점진적으로 이미지가 섞이도록 하는 그라데이션(Gradation) 효과를 이용한 엣지 블렌딩(Edge-Blending) 처리를 할 수도 있다. 이를 위해서는 미리 입체배경에 각각의 투영장치(14, 24)를 이용하여 영상을 투영한 후 겹치는 부분을 검출한 후, 이미지가 겹치는 부분으로 투영될 화소들의 명암과 색상들을 보정해야한다.
본 발명의 권리는 위에서 설명된 실시예에 한정되지 않고 청구범위에 기재된 바에 의해 정의되며, 본 발명의 분야에서 통상의 지식을 가진 자가 청구범위에 기재된 권리범위 내에서 다양한 변형과 개작을 할 수 있다는 것은 자명하다.
100: 영상 투사 시스템 10: 제어장치
12: 분배장치 14: 투영장치
16: 모니터링 장치 20: 서버
22: 제어장치 24: 투영장치

Claims (8)

  1. (A)영상 데이터를 투사할 입체배경을 삼차원 모델링하는 단계와;
    (B)상기 입체배경에 흑백 패턴 이미지를 투사한 후, 흑백 패턴 이미지가 투사된 입체배경의 이미지를 획득하는 단계와;
    (C) 상기 (B)단계에서 획득된 이미지를 상기 (A)단계에서 모델링한 입체배경 모델에 투영하는 단계와;
    (D) 상기 (B)단계에서 획득된 이미지의 흑백 패턴의 형상과 밝기를 이용하여 입체배경 모델의 특징점들의 삼차원 좌표를 보정하는 단계와;
    (E) 상기 (D)단계에서 보정된 특징점들의 삼차원 좌표를 이용하여, 인접한 세 개의 특징점들이 구성하는 각각의 삼각형 면의 위치와 방향정보를 산출하는 단계; 그리고
    (F) 상기 (E)단계에서 산출된 삼각형 면의 위치와 방향정보를 이용하여, 각 삼각형 면에 투영될 영상 데이터의 화소를 결정하고, 각 삼각형 면에 투영될 화소의 명암을 보정하는 단계를 포함하여 수행됨을 특징으로 하는 영상 투사 방법.
  2. 제1항에 있어서,
    상기 영상 투사 방법은,
    (L) 상기 입체배경에 색상 패턴 이미지를 투사한 후, 색상 패턴 이미지가 투사된 입체배경의 이미지를 획득하는 단계와;
    (M) 상기 (L)단계에서 획득된 이미지를 이용하여, 상기 (E)단계에서 산출된 삼각형 면의 각각의 색상정보를 산출하는 단계; 그리고
    (N) 상기 (M)단계에서 산출된 삼각형 면의 색상정보를 이용하여, 상기 (F)단계에서 각 삼각형 면에 투영되도록 결정된 화소들의 색상을 보정하는 단계를 더 포함하여 구성됨을 특징으로 하는 영상 투사 방법.
  3. 제2항에 있어서,
    상기 영상 투사 방법은,
    상기 (F)단계와 상기 (N)단계에서 보정된 영상 데이터를 상기 입체배경으로 투사하는 단계를 더 포함하여 수행됨을 특징으로 하는 영상 투사 방법.
  4. 제3항에 있어서,
    상기 (F)단계는,
    삼각형 면의 위치와 방향정보를 이용하여 산출된 각 삼각형 면에 투사될 화소의 명암 보정값을 보정 전의 영상 데이터의 각 화소의 명암값에 가감함으로써 수행되고,
    상기 (N)단계는,
    삼각형 면의 색상정보를 이용하여 산출된 각 삼각형 면에 투사될 화소의 색상 보정값을 보정 전의 영상 데이터의 각 화소의 색상값에 가감함으로써 수행되는 것을 특징으로 하는 영상 투사 방법.
  5. 제4항에 있어서,
    상기 (F)단계와 상기 (N)단계는,
    입체배경에 투사하고자 하는 영상 데이터가 동영상 데이터인 경우, 각 화소에 대한 상기 명암 보정값과 상기 색상 보정값을, 동영상 데이터에 포함된 각 영상 프레임의 동일한 위치의 모든 화소의 명암값과 색상값에 가감함으로써 수행되는 것을 특징으로 하는 영상 투사 방법.
  6. 제3항에 있어서,
    상기 (B)단계와 상기 (L)단계는,
    보정된 영상 데이터가 투사되는 위치 및 각도와 동일한 각도 및 위치에서 수행됨을 특징으로 하는 영상 투사 방법.
  7. 제6항에 있어서,
    상기 (B) 내지 (F) 및 (L) 내지 (M)는,
    보정된 영상 데이터가 상기 입체배경에 대하여 복수의 지점에서 투사되는 경우, 보정된 영상 데이터가 투사되는 각각의 지점에 대하여 개별적으로 수행됨을 특징으로 하는 영상 투사 방법.
  8. 제7항에 있어서,
    상기 영상 투사 방법은,
    복수의 지점에서 투사되는 각 영상 데이터가 서로 겹치는 부분에 대해 점진적으로 이미지가 섞이도록 하는 엣지 블렌딩 처리를 수행하는 단계를 더 포함하여 수행됨을 특징으로 하는 영상 투사 방법.
KR1020100085055A 2010-08-31 2010-08-31 복합 현실 구현을 위한 영상 투사 방법 KR101031062B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100085055A KR101031062B1 (ko) 2010-08-31 2010-08-31 복합 현실 구현을 위한 영상 투사 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100085055A KR101031062B1 (ko) 2010-08-31 2010-08-31 복합 현실 구현을 위한 영상 투사 방법

Publications (1)

Publication Number Publication Date
KR101031062B1 true KR101031062B1 (ko) 2011-04-25

Family

ID=44050548

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100085055A KR101031062B1 (ko) 2010-08-31 2010-08-31 복합 현실 구현을 위한 영상 투사 방법

Country Status (1)

Country Link
KR (1) KR101031062B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010944A1 (en) * 2012-07-12 2014-01-16 Cj Cgv Co., Ltd. Projection device management system
WO2014010940A1 (en) * 2012-07-12 2014-01-16 Cj Cgv Co., Ltd. Image correction system and method for multi-projection
CN103765311A (zh) * 2012-07-12 2014-04-30 Cjcgv株式会社 投射装置管理***
CN103901708A (zh) * 2014-04-11 2014-07-02 深圳大学 一种平面图面隐形的投影照明方法及投影照明设备
KR101455662B1 (ko) 2014-01-23 2014-10-28 씨제이씨지브이 주식회사 다면 상영을 위한 영상 보정 시스템 및 방법
WO2015030322A1 (en) * 2013-08-26 2015-03-05 Cj Cgv Co., Ltd. Guide image generation device and method using parameters
KR101553266B1 (ko) * 2015-02-26 2015-09-16 씨제이씨지브이 주식회사 파라미터를 이용하여 가이드 이미지를 생성하는 장치 및 방법
US9298071B2 (en) 2012-07-12 2016-03-29 Cj Cgv Co., Ltd. Multi-projection system
KR101793192B1 (ko) * 2016-01-28 2017-11-02 허상훈 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
WO2019124583A1 (en) * 2017-12-20 2019-06-27 Cj Cgv Co., Ltd. System and method for monitoring multi-projection theater

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040056489A (ko) * 2002-12-23 2004-07-01 한국전자통신연구원 임의의 영사면에 대한 화면 왜곡현상 보정 시스템 및 그방법
KR20080087038A (ko) * 2006-02-20 2008-09-29 마츠시다 덴코 가부시키가이샤 영상 신호 처리 장치 및 가상 현실감 생성 시스템
KR100943292B1 (ko) 2009-08-07 2010-02-23 (주)옴니레이저 영상 투사 시스템 및 그를 이용한 영상 투사 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040056489A (ko) * 2002-12-23 2004-07-01 한국전자통신연구원 임의의 영사면에 대한 화면 왜곡현상 보정 시스템 및 그방법
KR20080087038A (ko) * 2006-02-20 2008-09-29 마츠시다 덴코 가부시키가이샤 영상 신호 처리 장치 및 가상 현실감 생성 시스템
KR100943292B1 (ko) 2009-08-07 2010-02-23 (주)옴니레이저 영상 투사 시스템 및 그를 이용한 영상 투사 방법

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103765311B (zh) * 2012-07-12 2015-07-15 Cjcgv株式会社 投射装置管理***
WO2014010940A1 (en) * 2012-07-12 2014-01-16 Cj Cgv Co., Ltd. Image correction system and method for multi-projection
CN103765311A (zh) * 2012-07-12 2014-04-30 Cjcgv株式会社 投射装置管理***
KR101391380B1 (ko) * 2012-07-12 2014-05-07 씨제이씨지브이 주식회사 다면 상영을 위한 영상 보정 시스템 및 방법
KR101391377B1 (ko) * 2012-07-12 2014-05-07 씨제이씨지브이 주식회사 다면 상영 시스템
KR101391379B1 (ko) * 2012-07-12 2014-05-07 씨제이씨지브이 주식회사 투사 장치 관리 시스템
US9817305B2 (en) 2012-07-12 2017-11-14 Cj Cgv Co., Ltd. Image correction system and method for multi-projection
US9298071B2 (en) 2012-07-12 2016-03-29 Cj Cgv Co., Ltd. Multi-projection system
KR101470836B1 (ko) * 2012-07-12 2014-12-09 씨제이씨지브이 주식회사 고체 이외의 물질을 구비하는 투사면을 포함하는 다면 상영 시스템
US9134594B2 (en) 2012-07-12 2015-09-15 Cj Cgv Co., Ltd Projection device management system
WO2014010944A1 (en) * 2012-07-12 2014-01-16 Cj Cgv Co., Ltd. Projection device management system
KR101526294B1 (ko) * 2013-08-26 2015-06-05 씨제이씨지브이 주식회사 파라미터를 이용하여 가이드 이미지를 생성하는 장치 및 방법
WO2015030322A1 (en) * 2013-08-26 2015-03-05 Cj Cgv Co., Ltd. Guide image generation device and method using parameters
US9479747B2 (en) 2013-08-26 2016-10-25 Cj Cgv Co., Ltd. Guide image generation device and method using parameters
KR101455662B1 (ko) 2014-01-23 2014-10-28 씨제이씨지브이 주식회사 다면 상영을 위한 영상 보정 시스템 및 방법
CN103901708A (zh) * 2014-04-11 2014-07-02 深圳大学 一种平面图面隐形的投影照明方法及投影照明设备
KR101553266B1 (ko) * 2015-02-26 2015-09-16 씨제이씨지브이 주식회사 파라미터를 이용하여 가이드 이미지를 생성하는 장치 및 방법
KR101793192B1 (ko) * 2016-01-28 2017-11-02 허상훈 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
WO2019124583A1 (en) * 2017-12-20 2019-06-27 Cj Cgv Co., Ltd. System and method for monitoring multi-projection theater
US10452060B2 (en) 2017-12-20 2019-10-22 Cj Cgv Co., Ltd. System and method for monitoring multi-projection theater

Similar Documents

Publication Publication Date Title
KR101031062B1 (ko) 복합 현실 구현을 위한 영상 투사 방법
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
US7557812B2 (en) Multilevel texture processing method for mapping multiple images onto 3D models
JP7007348B2 (ja) 画像処理装置
JP3024145B2 (ja) テクスチャマッピング方法
JP7235875B2 (ja) リアルタイムの３ｄ可視化を備えた点群カラー化システム
US20150325044A1 (en) Systems and methods for three-dimensional model texturing
US11027201B2 (en) Composing an image
CN111369660B (zh) 一种三维模型的无接缝纹理映射方法
CN108076332B (zh) 数字黑电平混合的***和方法
US8698830B2 (en) Image processing apparatus and method for texture-mapping an image onto a computer graphics image
US11022435B2 (en) Pattern projection depth value 3D scanning device and method
US6297834B1 (en) Direction-dependent texture maps in a graphics system
CN115103134A (zh) 一种led虚拟拍摄切割合成方法
CN112770095B (zh) 全景投影方法、装置及电子设备
JPH0997344A (ja) テクスチャ生成方法およびテクスチャ生成システム
KR102576700B1 (ko) 워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치
JP2007272847A (ja) 照明シミュレーション方法及び画像合成方法
Zoido et al. Optimized methods for multi-projector display correction
Hanusch A new texture mapping algorithm for photorealistic reconstruction of 3D objects
WO2024034437A1 (ja) シミュレーション装置、シミュレーション方法及びコンピュータプログラム
US12020094B2 (en) Image processing device, printing system, and non-transitory computer-readable storage medium storing image processing program that render three dimensional (3D) object
US20240127018A1 (en) Image processing device, printing system, and non-transitory computer-readable storage medium storing image processing program
Kohtani et al. Displacement Projection Mapping: a Projection Method to Add Geometric Features beyond the Boundary of the Real Object
CN118160005A (zh) 用于投影映射的***和方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140417

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150609

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170818

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190318

Year of fee payment: 9

R401 Registration of restoration