KR101847996B1 - 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템 - Google Patents

곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템 Download PDF

Info

Publication number
KR101847996B1
KR101847996B1 KR1020160172310A KR20160172310A KR101847996B1 KR 101847996 B1 KR101847996 B1 KR 101847996B1 KR 1020160172310 A KR1020160172310 A KR 1020160172310A KR 20160172310 A KR20160172310 A KR 20160172310A KR 101847996 B1 KR101847996 B1 KR 101847996B1
Authority
KR
South Korea
Prior art keywords
projection
area
image
projection device
devices
Prior art date
Application number
KR1020160172310A
Other languages
English (en)
Inventor
장경윤
윤형진
Original Assignee
씨제이씨지브이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 씨제이씨지브이 주식회사 filed Critical 씨제이씨지브이 주식회사
Priority to KR1020160172310A priority Critical patent/KR101847996B1/ko
Priority to EP17880555.2A priority patent/EP3539289A4/en
Priority to JP2019532009A priority patent/JP2020507100A/ja
Priority to PCT/KR2017/011753 priority patent/WO2018110822A1/en
Priority to CN201780077188.1A priority patent/CN110089111A/zh
Application granted granted Critical
Publication of KR101847996B1 publication Critical patent/KR101847996B1/ko
Priority to IL267087A priority patent/IL267087A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

본 발명은 곡면의 투사영역 및 복수의 투사장치들이 구비된 상영관에서의 이미지 투사 방법 및 투사 시스템에 관한 것으로, 구체적으로는 복수 투사장치들의 투사영역 간 상대적인 변환정보를 연산함으로써 이들 투사장치들을 하나의 클러스터로 정의하고, 나아가 상기 클러스터 중 기준투사장치와 원본 이미지의 투사영역 사이 상대적인 관계를 정의함으로써 궁극적으로는 복수 투사장치들을 통해 하나의 이미지를 곡면 투사영역에 왜곡 없이 투사시킬 수 있는 이미지 투사 방법 및 투사 시스템에 관한 것이다.

Description

곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템{Image projection method for a curved projection area and projection system therefor}
본 발명은 곡면의 투사영역 및 복수의 투사장치들이 구비된 상영관에서의 이미지 투사 방법 및 투사 시스템에 관한 것으로, 구체적으로는 복수 투사장치들의 투사영역 간 상대적인 변환정보를 연산함으로써 이들 투사장치들을 하나의 클러스터로 정의하고, 나아가 상기 클러스터 중 기준투사장치와 원본 이미지의 투사영역 사이 상대적인 관계를 정의함으로써 궁극적으로는 복수 투사장치들을 통해 하나의 이미지를 곡면 투사영역에 왜곡 없이 투사시킬 수 있는 이미지 투사 방법 및 투사 시스템에 관한 것이다.
보다 입체감 있고 현실감 높은 상영환경을 제공하기 위해 최근에는 복수의 투사장치들을 이용해 하나의 영상을 구현하고자 하는 노력이 계속되고 있다. 특히 대형 스크린을 통한 영화 감상 수요가 증가하면서 복수의 투사장치들을 이용해 대형 스크린에 하나의 이미지를 투사하는 기술에 대해서도 많은 관심이 집중되고 있다.
한편, 종래에는 일반적으로 상영관 스크린으로 평면의 스크린을 사용하여 왔다. 또한 이 때 평면의 대형 스크린 상에 복수의 투사장치들을 이용해 하나의 영상을 구현하고자 할 때에 복수 투사장치들을 하나의 클러스터로 정의하고자 하는 시도가 존재해 왔으며, 이 때의 클러스터링은 대부분 투사면이 평면이라는 가정하에 호모그래피(Homography)를 이용하여 키스톤 보정 등을 하였다.
그러나 최근에는 평면 스크린에 비해 '곡면 스크린'이 입체감, 몰입감 형성에 더 유리하다는 효과가 알려지면서 투사면을 곡면으로 형성시키는 상영관이 증가하고 있는바, 이에 맞추어 곡면 투사면에도 복수의 투사장치들을 이용해 하나의 영상을 구현하고자 하는 노력이 이루어지고 있다.
한편, 종래에는 클러스터링 수행시 스크린이 평면이라는 가정하에 호모그래피를 이용하여 왔는데, 이를 곡면 투사면에 적용할 시에는 곡면이 만들어내는 복잡한 왜곡을 제거하지 못하는 문제가 존재해 왔으며, 후속적으로는 투사장치들 간 상대적인 관계가 정확하게 정의되지 않아 중첩영역에서의 초점이 안 맞는 문제, 에지 블렌딩이 부정확해지는 문제 등이 발생하였다.
이러한 문제를 해결하기 위해 소프트웨어적인 해결방안이 제시되기도 하였으나, 이들 해결방안들은 곡면의 형태를 돔, 원통 등 몇 개로 제한하여 보정 컨트롤러를 제공하는데 그쳐 임의의 곡면 투사면에서는 활용이 어렵다는 문제점이 존재한다.
본 발명은 이와 같이 임의의 곡면 투사면에 복수의 투사장치들을 이용해 이미지를 투사하기 위한 것으로 이상에서 살핀 기술적 요구를 충족시킴은 물론, 본 기술분야에서 통상의 지식을 가진 자가 용이하게 발명할 수 없는 추가적인 기술요소들을 제공하기 위해 발명되었다.
한국공개특허 10-2007-0061254 (2007.06.13. 공개)
본 발명은 복수의 투사장치를 이용해 곡면의 투사면에 영상을 구현하고자 함에 있어 복수의 투사장치들을 클러스터링하여 제어를 용이하게 하는 것을 목적으로 한다.
특히 본 발명은 종래 평면 투사면에의 이미지 투사를 전제로 하였던 투사장치 클러스터링과 달리 서브디비젼(subdivision)과 TPS(Thin Plate Spline) 기반의 워핑 기법을 기반으로 투사장치들 간 상대변환정보 연산 및 클러스터링을 함으로써 정형의 곡면이 아닌 투사면에 대하여도 왜곡 없이 이미지를 투사할 수 있는 투사장치 클러스터를 구현하는 것을 목적으로 한다.
또한 본 발명은 투사장치 클러스터에 의해 하나의 영상이 곡면 투사면에 왜곡 없이 구현될 수 있도록 곡면 투사면 상에 투사될 이미지를 배치하는 것을 목적으로 한다.
특히 이 때, 투사될 이미지의 원본과 곡면 투사면을 매칭할 시 원본 이미지에 가상의 제어점을 복수 개 설정하고 이들 제어점을 이동시킴으로써 곡면 투사면의 형상과 정확히 매칭되도록 하여 곡면에 의한 이미지 왜곡이 최소화 되도록 하는 것을 목적으로 한다.
일 양상에 따른 복수의 투사장치들을 이용하여 곡면에 이미지를 투사하는 방법에 있어서, (a) 투사관리장치가, 복수 투사장치들의 투사영역을 기초로 투사장치들 간 상대변환정보를 연산하고 상기 상대변환정보를 기초로 복수의 투사장치들을 그룹화 하여 투사장치 클러스터를 생성하는 단계; (b) 투사관리장치가, 투사장치 클러스터에 의해 투사될 이미지를 곡면의 투사영역에 매칭시키는 단계;를 포함한다.
다른 양상에 있어서, 상기 임의 투사장치가 곡면상에 투사 가능한 투사영역과 상기 임의 투사장치와 인접한 투사장치의 투사영역의 일부가 중첩되는 것을 특징으로 한다.
또 다른 양상에 있어서, 상기 투사장치 클러스터를 생성하는 단계는, (a-1) 복수의 투사장치들 중 임의의 투사장치를 기준투사장치로 설정하는 단계; (a-2) 기준투사장치와 상기 기준투사장치에 인접한 투사장치들 중 상기 투사장치 클러스터 내 포함된 투사장치 간 상대변환정보를 연산하는 단계;를 포함 한다.
또 다른 양상에 있어서, (a-2) 단계는, 상기 투사관리장치가, 기준투사장치의 투사영역과 상기 기준투사장치에 인접한 투사장치의 투사영역의 일부가 중첩되는 중첩영역 내에서 기준투사장치의 투사영역으로부터 대응점 Ci를 추출하고, 상기 기준투사장치에 인접한 투사장치의 투사영역으로부터 대응점 Cj를 추출하며, 상대변환수식에 대응점을 대입시켜 상대변환정보를 연산하는 것을 특징으로 한다.
또 다른 양상에 있어서, 상기 상대변환수식은
Figure 112017118355296-pat00027
xi: 기준투사장치의 픽셀위치, Cik: 대응점 메쉬의 버텍스 별 위치, wk: 가중치, A(xi) : global affine transformation인 것을 특징으로 한다.
삭제
또 다른 양상에 있어서, (a-3) 기준투사장치와 상기 기준투사장치에 인접한 투사장치들 중 상기 투사장치 클러스터 내 포함되지 않은 투사장치 간 상대변환정보를 연산하는 단계;를 더 포함하는 것을 특징으로 한다.
또 다른 양상에 있어서, 투사장치 클러스터에 의해 투사될 이미지를 곡면의 투사영역에 매칭시키는 단계는, (b-1) 투사장치 클러스터에 의해 투사될 이미지의 최외곽 중 임의 개수의 초기점을 추출하는 단계; (b-2) 상기 투사될 이미지 내 복수의 제어점을 배치하고, 상기 복수의 제어점을 연결하여 복수의 서브이미지 영역들로 구획하는 단계; (b-3) 초기점 및 제어점을 곡면의 투사영역 형상에 매칭시키는 단계;를 포함하는 것을 특징으로 한다.
또 다른 양상에 있어서, 상기 (b-3)단계는, 바이리니어 인터폴레이션(bilinear interpolation) 기법을 이용하는 것을 특징으로 한다.
또 다른 양상에 있어서, 초기점은 상기 투사될 이미지의 최외곽 꼭지점인 것을 특징으로 한다.
또 다른 양상에 있어서, 복수의 제어점은 균등한 간격으로 배치되는 것을 특징으로 한다.
또 다른 양상에 있어서, 곡면 이미지 투사 시스템은 상영관 내 구비된 복수의 투사장치들 간 상대변환정보를 연산하고, 상기 상대변환정보를 기초로복수의 투사장치들을 그룹화 하여 투사장치 클러스터를 생성하며, 상기 투사장치 클러스터에 의해 투사될 이미지를 상영관 내 투사영역에 매칭시키는 투사관리장치; 상영관 내 투사영역에 이미지를 투사하는 둘 이상의 투사장치;를 포함 한다.
또 다른 양상에 있어서, 상기 투사관리장치는, 상기 복수의 투사장치들 중 임의의 투사장치를 기준투사장치로 설정하고, 상기 기준투사장치에 인접한 투사장치 간 상대변환정보를 연산하는 것을 특징으로 한다.
또 다른 양상에 있어서, 상기 투사관리장치는, 기준투사장치의 투사영역과 상기 기준투사장치에 인접한 투사장치의 투사영역의 일부가 중첩되는 중첩영역 내에서 기준투사장치의 투사영역으로부터 대응점 Ci를 추출하고, 상기 기준투사장치에 인접한 투사장치의 투사영역으로부터 대응점 Cj를 추출하며, 상대변환수식에 상기 대응점을 대입시켜 상대변환정보를 연산하는 것을 특징으로 한다.
또 다른 양상에 있어서, 상기 투사관리장치는, 투사장치 클러스터에 의해 투사될 이미지를 곡면의 투사영역에 매칭시키되, 상기 투사장치 클러스터에 의해 투사될 이미지의 최외곽 중 임의 개수의 초기점을 추출하고, 상기 투사될 이미지 내 복수의 제어점을 배치하며, 상기 복수의 제어점을 연결하여 상기 이미지를 복수의 서브이미지 영역들로 구획하고, 상기 초기점 및 제어점을 곡면의 투사영역 형상에 매칭시키는 것을 특징으로 한다.
본 발명에 따르면 복수의 투사장치들을 하나의 클러스터로 묶어 제어할 수 있는 효과가 있다. 구체적으로 본 발명에 따르면 복수의 투사장치들을 클러스터 단위로 제어하여 이미지 영역배치, 이미지 보정 등의 작업을 수행할 수 있는데, 예를 들어 본 발명에 따르면 투사장치 클러스터 내 기준투사장치가 정의되어 있음으로 인해 기준투사장치를 기준으로 이미지 영역배치, 이미지 보정 등의 작업을 수행하는 경우 나머지 투사장치들에 대해서도 자동으로 이미지 영역배치, 이미지 보정이 이루어지므로 복수 투사장치들을 쉽게 제어할 수 있는 효과가 있다.
또한 본 발명에 따르면 투사장치 클러스터링 시 서브디비젼(subdivision) 및 TPS(Thin Plate Spline) 연산을 기초로 각 투사장치들 간 상대변환정보를 획득할 수 있어 종래 평면 투사면을 전제로 하였던 클러스터링과 달리 비정형의 곡면 투사면에 대하여도 투사장치들을 효과적으로 클러스터링 할 수 있는 효과가 있다.
또한 본 발명에 따르면 투사장치를 클러스터링 하는 단계 이후 이미지 영역배치 단계에 있어서도 서브디비젼(subdivision) 방식을 이용하여 비정형의 곡면에 효과적으로 이미지를 매칭시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 곡면 이미지 투사 방법을 순서에 따라 나타낸 것이다.
도 2는 복수의 투사장치들을 클러스터링하는 단계를 상세하게 나타낸 것이다.
도 3은 투사장치들의 투사영역이 겹쳐진 모습을 나타낸 것이다.
도 4는 투사장치들 사이의 상대변환정보를 이해하기 위한 도면이다.
도 5는 투사장치 클러스터에 의한 투사영역을 예시적으로 도시한 것이다.
도 6은 투사될 이미지를 곡면의 투사영역에 매칭시키는 단계를 상세하게 나타낸 것이다.
도 7 및 도 8은 이미지를 곡면 투사영역에 매칭시키는 단계를 도시한 것이다.
도 9 및 도 10은 본 발명에 따른 곡면 이미지 투사 시스템의 구성을 나타낸 것이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하의 상세한 설명에 의해 보다 명확하게 이해될 것이다. 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
본 명세서에서 개시되는 실시예들은 본 발명의 범위를 한정하는 것으로 해석되거나 이용되지 않아야 할 것이다. 이 분야의 통상의 기술자에게 본 명세서의 실시예를 포함한 설명은 다양한 응용을 갖는다는 것이 당연하다. 따라서, 본 발명의 상세한 설명에 기재된 임의의 실시예들은 본 발명을 보다 잘 설명하기 위한 예시적인 것이며 본 발명의 범위가 실시예들로 한정되는 것을 의도하지 않는다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한, 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록들 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성들의 조합일 수 있다.
또한, 어떤 구성요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 한다.
또한 이하에서 살펴볼 곡면 이미지 투사 방법은 다양한 하드웨어 및 소프트웨어의 연동 동작을 통해 구현될 수 있음을 이해해야 할 것이다. 예를 들어, 복수의 투사장치들 및 상기 투사장치들과 유선 또는 무선으로 연결되는 투사관리장치(서버)의 연동 동작을 통해 구현될 수 있으며, 이러한 연동 이외에도 다양한 하드웨어 및 소프트웨어 연동 동작에 의해 구현될 수 있다.
도 1은 곡면의 투사면 및 복수의 투사장치들이 구비된 상영관에서 곡면 상에 이미지를 투사하는 방법을 간략하게 나타낸 것이다.
도 1에 따르면 본 발명에 따른 곡면 이미지 투사 방법은 투사관리장치가 복수 투사장치들의 투사영역을 기초로 투사장치들 간 상대변환정보를 연산하고, 상기 상대변환정보를 기초로 복수 투사장치들을 클러스터링 하는 제1단계, 투사관리장치가 상기 투사장치 클러스터에 의해 투사될 이미지를 곡면의 투사영역에 매칭시키는 제2단계를 포함한다.
본 상세한 설명에서 투사장치들을 클러스터링하는 제1단계와 이미지를 곡면의 투사영역에 매칭시키는 제2단계를 나누어 설명하기로 한다.
먼저 도 2 내지 도 4를 참조하여 투사장치들을 클러스터링하는 제1단계에 대해 살펴본다.
도 2는 클러스터링 단계를 보다 세분화 한 것으로 이에 따르면 클러스터링 단계는 복수의 투사장치들 중 임의의 투사장치를 기준투사장치로 설정하는 S101단계, 기준투사장치와 상기 기준투사장치에 인접한 투사장치들 간 상대변환정보를 연산하는 S103단계를 포함한다.
S101, S103 단계에 대한 본격적인 설명에 앞서 먼저 본 단계는 클러스터링이 될 복수 투사장치들의 투사영역이 일부 중첩되도록 정렬되어 있을 것을 전제로 한다. 앞서도 언급하였듯 본 발명은 복수의 투사장치들이 하나의 투사면에 각각 이미지를 투사하도록 하되, 이들 투사된 이미지가 전체적으로 하나의 완성된 이미지를 구현하는 것을 목적으로 한다. 따라서 본 발명에서 언급되는 투사장치들은 도 3에서와 같이 복수개가 일부 투사영역이 중첩된 채 정렬되어 있을 것을 전제로 한다.
이 때 이웃하는 투사장치들의 투사영역은 바람직하게는 4개의 변, 4개의 꼭지점을 가지는 사각형의 형태로 중첩되는 것이 바람직하다. 투사장치들 간 상대변환정보를 연산하기 위해서는 적어도 4개 이상의 점 대응(correspondence) 정보가 필요한데 위와 같이 사각형의 형태로 중첩된 경우에는 점 대응 정보가 용이하게 추출될 수 있기 때문이다. 또한 겹쳐진 투사영역이 사각형인 경우 중첩영역이 비교적 명확하게 특정될 수 있으므로 해당 영역에 대한 이미지 보정(에지 블렌딩, 블랙 오프셋 등)이 용이하게 수행될 수 있다. 그러나 이웃하는 투사장치들의 투사영역은 반드시 특정 기하모양(직사각형)으로 한정되는 것은 아니며, 투사장치들의 배치상태에 따라 다양한 모양으로 중첩될 수 있다.
다시 S101단계에 대한 설명으로 돌아오면, 투사관리장치는 복수의 투사장치들 중 임의의 투사장치를 기준투사장치로 설정하게 되는데 이 때 기준투사장치는 특별한 조건에 의해 한정되는 것은 아니며 상기 복수의 투사장치들 중 자유롭게 설정될 수 있다.
기준투사장치를 설정하는 이유와 관련하여, 평면 투사면에서의 클러스터링인 경우 (도면 3의 투사면이 평면이라 가정할 때)인접한 P1과 P3, 그리고 P1과 P2의 대응점 맞추기를 수행하여 상대적인 호모그래피를 연산하면 연산된 두 개의 호모그래피를 결합해 P2와 P3 사이의 상대적인 관계를 자동적으로 얻을 수 있다. 그러나 곡면 투사면에서의 클러스터링인 경우 정확한 곡면의 기하 정보를 알 수 없기 때문에 반드시 인접해 있는 모든 투사장치 쌍에 대해서 대응점을 입력하여야 한다.
결과적으로 평면에서의 클러스터링과 다르게 곡면 클러스터링의 경우 순환하는 대응관계(예: P1↔P2↔P3)가 생성되는데, 어느 한 방향으로의 상대변환정보만 연산할 시, 즉 P1→P2의 상대변환정보 연산시에는 필연적으로 P2→P3의 연산결과에 영향을 받기 때문에 평면에서와 같이 독립적인 연산이 어려운 문제가 있다. 본 발명에서는 이를 해결하기 위해 기준투사장치를 선정한 후 모든 투사장치에 대해 차례대로 상대변환정보를 연산한다.
다음으로 S103단계는 기준투사장치와 인접한 투사장치들 간 상대변환정보를 연산하는 단계이다. 본 발명에서의 상대변환정보 연산은 TPS(Thin Plate Spline)를 사용하는데, TPS는 Scattered Data Interpolation을 위해 컴퓨터 그래픽 및 컴퓨터 비전에서 쓰이는 기법 중 하나이다. TPS는 Radial Basis Function(RBF)의 형태로 표현되기 때문에 프로젝터 중첩 영역에서 불규칙하게 생성되는 사용자의 대응점 입력(예: 4개 대응점 맞추기)을 효과적으로 처리하는 것이 가능하며, 또한 Global Affine Transformation도 함께 계산하기 때문에 중첩영역 외부의 나머지 투사영역에 대한 외삽(extrapolation)도 가능하다는 장점이 있다.
Global Affine Transformation은 n차원 공간상의 점 대응을 표현하는 함수로 물체의 움직임을 표현하는 하나의 모델이다. 2차원 공간에서의 Global Affine Transformation은 2*3 행렬로, 다음과 같이 정의 된다.
Figure 112016123533996-pat00002
2차원의 점에 적용되는 Global Affine Transformation을 이용하여 2차원 점 p=(x,y)를 p'=(x',y')로 이동시키는 경우 p'는 다음과 같다.
Figure 112016123533996-pat00003
즉, x'= a00*x + a01*y + a02이고, y'= a10*x + a11*y + a12인 p'=(x',y')로 이동된다. 전술한 방식과 같이 Global Affine Transformation을 이용하여 모든 픽셀들을 이동시키면 투사장치가 투사한 이미지가 변형되기 때문에 중첩영역 외부의 나머지 투사영역의 외삽, 즉 추정하여 계산하는 것이 가능하다.
도 4를 참조하여 투사관리장치가 실제 상대변환정보를 연산하는 과정에 대해 살펴보면, n개의 투사장치 중 기준투사장치와 이에 인접한 투사장치 간에는 중첩영역 내 Ci, Cj 가 대응점으로서 존재할 것이며, 당연히 이들 대응점의 개수는 m개로 동일하다. 한편 대응점의 개수와 관련하여, 곡면 클러스터링을 위해서는 종래 평면 클러스터링에서 4개의 대응점을 활용하였던 것과 달리 더 많은 수의 대응점을 요할 수 있다. 즉, 기존 4개의 대응점만으로는 TPS를 통한 곡면 기하 근사의 정확도가 다소 낮을 수 있는데, 이를 해결하기 위해 4개의 대응점에 더하여 서브디비젼(subdivision)을 통한 추가 대응점을 생성할 수 도 있다. 이 때 추가 대응점들의 좌표는 간단하게는 주변 점들의 평균값들을 취함으로써 투사영역의 구획(메쉬)가 부드럽게 유지되도록 한다.
이러한 상태에서 기준투사장치로부터 인접 투사장치로의 상대변환정보 연산 및 인접 투사장치로부터 기준투사장치로부터의 상대변환정보 연산은 다음의 수식에 따라 이루어진다.
수식 1
Figure 112016123533996-pat00004
상기 수식1에서 xi는 투사장치 pi의 픽셀들의 위치를 나타내며, Ci k는 대응점의 위치를 나타내고 TPS함수를 정의하는 센터값을 의미한다. 또한 wk는 각 센터값의 가중치를 나타낸다. TPS는 RBF 커널함수 Φ(r)로 r2log r을 사용한다.
한편 A(xi)는 global affine transformation을 나타내며 wk와 A는 Cj=TPSi→j(Ci)에 따라 연립 선형방정식을 구성한 뒤 최소자승법(least square solver)을 이용하여 계산한다. 최소자승법은 다수의 측정값으로부터 가장 정확한 값에 가까운 값을 구하는 방법으로서 오차의 제곱의 합이 가장 작도록 정하는 방법이다.
4개의 꼭지점을 가지는 대응점 메쉬는 다음과 같다.
Figure 112016123533996-pat00005
Cj=TPSi→j(Ci)에 따라 연립 선형방정식을 구성한 뒤 최소자승법(least square solver)을 이용하여 얻어진, 수식1의 Wk는 다음과 같다.
Figure 112016123533996-pat00006
Cj=TPSi→j(Ci)에 따라 연립 선형방정식을 구성한 뒤 최소자승법(least square solver)을 이용하여 얻어진, 수식1의 A는 다음과 같다.
Figure 112016123533996-pat00007
투사장치 pi의 xi가 (1043.01, 640.131)인 경우, 수식1을 통해 상대변환 정보인 xj 는 (2160.57, 611.839)로 산출된다.
한편, S103단계에 의해 기준투사장치와 인접한 투사장치들 간 상대변환정보가 연산된 이후 연산 결과 값인 TPSi→ref를 이용하여 대응점들을 기준투사장치의 좌표로 업데이트 한다. (S105)즉, 인접한 투사장치의 투사영역을 기준투사장치의 제어만으로 제어할 수 있도록 상대변환정보를 이용해 대응점을 기준투사장치에 적용시키는 것이다.
S101단계에서부터 S105단계까지는 기준투사장치 및 이에 바로 인접해 있는 투사장치들 간에 반복적으로 이루어진다. 즉, 기준투사장치를 중심으로 인접해 있는 투사장치들에 대해서 S103단계 및 S105단계가 반복된다.
도 5는 클러스터링 단계 이후 복수 투사장치들에 의한 투사영역을 예시적으로 나타낸 것이다. 살펴보면, 가장 좌측의 투사장치는 비교적 평면의 투사영역이되 우측으로 갈수록 곡면을 포함하며, 가장 우측의 투사장치는 주로 곡면을 많이 포함하는 투사영역을 가짐을 알 수 있고, 그 사이에는 가장 좌측 투사장치로부터 가장 우측 투사장치의 투사영역을 부드럽게 곡면으로 연결하는 투사장치들이 있음을 확인할 수 있다. 이와 같이 본 발명은 비정형의 곡면에 대해 복수 투사장치들의 투사영역을 기반으로 상대변환정보를 연산하며, 이를 통해 복수 투사장치들을 하나의 클러스터로 정의할 수 있다.
이상 도 2 내지 도 5를 참조하여 투사장치들을 클러스터링 하는 단계에 대해 살펴보았다.
이하에서는 도 6 내지 8을 참조하여 제2단계인 이미지를 곡면의 투사영역에 매칭시키는 단계에 대해 살펴보기로 한다.
도 6에 따르면 제2단계는 투사장치 클러스터에 의해 투사될 이미지의 최외곽 중 임의 개수의 초기점을 추출하는 S201단계, 투사될 이미지 내 복수의 제어점을 설정하고, 상기 복수의 제어점을 연결하여 복수의 서브이미지 영역들로 구획하는, 소위 서브디비전(subdivision)하는 S203단계, 초기점 및 제어점을 곡면의 투사영역 형상에 매칭되도록 위치를 조정하는 S205단계를 포함한다.
도 7은 종래 평면 투사면을 전제로 할 때의 이미지 영역배치 방식 및 본 발명에 따른 곡면 투사면에서의 이미지 영역배치 방식을 비교한 것이다. 도 7의 (a)에 따르면 평면에의 이미지 영역배치 시에는 4개의 점만을 이용하여 투사영역과 이미지를 매칭시키는 것이 가능하였으나, 곡면에서 이미지 영역을 지정하기 위해서는 평면에서처럼 4개점을 조정하는 것만으로는 부족하다. 4개 점을 통한 호모그래피 추정은 임의의 곡면 기하를 근사하지 못하기 때문이다. 따라서 이를 해결하기 위해서는 도면 7의 (b)에서와 같이 더 많은 점, 즉 제어점을 활용할 필요가 있다.
S201단계와 관련하여, 투사관리장치는 이미 클러스터링이 마쳐진 투사장치 클러스터에 대해 해당 클러스터의 투사영역 중 초기점을 우선적으로 파악한다.
도 7의 (b)를 살펴보면, 투사관리장치는 우선적으로 이미지 영역의 경계를 파악하기 위해 초기점을 선정하는데, 이 때 초기점은 바람직하게는 이미지의 최외곽을 이루는 선분 중에서 선정될 수 있으며, 더 바람직하게는 이미지 영역의 꼭지점들을 각각 초기점들로 선정할 수 있다. 이렇게 선정된 초기점들은 이미지 영역과 클러스터에 의한 투사영역을 매칭시키는 데에 기준이 되는 점들이다. 도 8의 (a)에는 곡면으로 된 클러스터의 투사영역과 이에 매칭시키기 위한 원본 이미지가 각각 도시되어 있는데, (b)에서도 볼 수 있듯 이미지 외곽의 초기점을 투사영역과 매칭되도록 조정한다.
S203단계와 관련하여, 투사관리장치는 투사될 이미지 영역 내 복수의 제어점을 배치하고, 상기 복수의 제어점을 연결하여 복수의 서브이미지 영역들로 구획한다. 이는 소위 서브디비젼(subdivision)을 의미하는 것으로, 일정 이미지 영역을 더 세분화 된 서브이미지 영역들로 구분하는 단계이다.
도 7의 (b)에는 이미지 내 가로, 세로로 가상의 줄을 그리고 그 위에 복수의 제어점을 배치한 실시예가 도시되어 있으며, 이 때 제어점들은 균등한 간격으로 배치됨이 바람직하다. 도 8의 (b)에는 복수의 제어점들이 클러스터의 투사영역, 즉 곡면의 투사영역과 매칭되도록 그 위치가 조정된 모습을 도시한 것이다. 이처럼 이미지 상에 배치된 초기점 및 제어점들은 클러스터의 투사영역과 매칭시키기 위해 그 위치가 조정될 수 있는 것이며, 초기점, 제어점의 개수가 많을수록 비정형의 곡면 형상에 맞추어 더 정확한 매칭이 가능하다.
한편, 투사관리장치는 초기점 또는 제어점의 위치를 조정함과 동시에 각 서브이미지(cell) 내 포함되는 내부 픽셀들의 좌표를 결정하게 되는데 이 때 좌표를 결정하기 위해서는 바이리니어 인터폴레이션(bilinear interpolation)기법을 이용함이 바람직하다. 정확한 곡면의 기하 형태를 모르는 상태에서 각 서브이미지 셀 단위는 linear할 것이라 가정하는 것이 여타의 인터폴레이션 기법에 비해 가장 안정적인 결과를 보이기 때문이다.
바이리니어 인터폴레이션 기법은 1차원의 선형 보간법(linear interpolation)을 2차원으로 확장한 것이다.
이상 도 6 내지 도 8을 참조하여 투사될 이미지 영역을 곡면의 투사영역에 매칭시키는 제2단계에 대해 살펴보았다.
한편, 본 발명에 따른 투사관리장치는 제1단계, 제2단계의 클러스터링 및 이미지 영역매칭 이후에도 추가적인 기능을 수행할 수 있는데, 예를 들어 투사장치 별 미세조정을 수행할 수 있다.
먼저 투사장치 별 미세조정 기능과 관련하여, 투사관리장치는 클러스터링 및 이미지 영역매칭 이후 대응점의 오차나 투사장치 렌즈 왜곡으로 인한 미세한 캘리브레이션 오차를 투사장치별로 보정할 수 있도록 미세조정 단계를 수행할 수 있다.
미세조정에 있어서도 평면 미세조정 및 곡면 미세조정은 그 방식이 다소 차이가있다.
평면 미세조정의 경우에는 4개의 초기점 또는 제어점이 초기값으로 주어지고 이를 조정하여 추가적인 호모그래피(homography)를 이용한 키스톤 조정이 가능하다. 한편, 키스톤 조정으로 수정이 어려운 렌즈 왜곡이나 국소적인 보정의 경우에는 서브디비젼을 통해 제어점의 수를 증가시켜 보정하게 된다. 특히 렌즈 왜곡과 같은 비선형 보정은 앞서 곡면 클러스터링에서 보았던 수식1을 이용하게 된다.
호모그래피는 3차원 평면의 회전과 크기의 변화를 표현할 수 있는 행렬로 투사장치가 빗겨서 투사할 때 발생하는 이미지의 왜곡을 보정할 때 사용된다. 호모그래피는 3*3의 행렬로, 다음과 같이 정의가 된다.
Figure 112016123533996-pat00008
2차원 점 p=(x,y)에 호모그라피를 이용하여 p=(x,y)를 p'=(x',y')로 이동시키는 경우 x' 및 y'는 다음과 같다.
Figure 112016123533996-pat00009
Figure 112016123533996-pat00010
p'= (x',y')은 호모그라피에 의해 변형된 점이다. 위와 같은 방식으로 모든 픽셀들에 적용하여 이동시키면 투사장치가 투사하는 이미지가 변형될 수 있다.
한편, 곡면 미세조정의 경우에는 투사관리장치가 보정용 제어점들을 이미 매칭되어 배치된 이미지 영역 상에 자동으로 생성시킨다. 이미지 영역에서의 보정용 제어점들이 연결되면 각 구획영역이 생기고 이들이 곧 그리드 메시를 구성하게 되는데, 이러한 그리드 메시는 앞서 설명하였던 '기준투사장치'를 기준으로 배치된 것이다. 따라서 그리드 메시 상의 보정용 제어점들의 위치는 다음 수식 2와 같이 구해질 수 있다.
수식 2
Figure 112016123533996-pat00011
TPSref→I (기준투사장치로부터 투사장치 Pi로의 매핑 함수)는 앞서 제1단계에서 살펴본 상대변환정보 연산 결과이다. 각 투사장치들에 대해서 개별 투사영역 내 서브디비젼에 의한 서브이미지 영역(cell)의 보정용 제어점들은 상기 수식 2에 의해 결정될 수 있다. 결과적으로 각 투사장치들에 대해서는 클러스터의 투사영역에 배치된 제어점(또는 그리드 메시) 중 일부를 보정용 제어점(또는 보정용 그리드 메시)으로 취하게 된다.
이상 투사관리장치가 곡면의 투사면에 이미지를 투사하기까지의 과정에 대해 살펴보았다. 이하에서는 도 9 내지 10을 참조하여 본 발명의 일 실시예에 따른 곡면 이미지 투사 시스템을 살펴본다.
이하에서 살펴볼 곡면 이미지 투사 시스템은, 이상에서 살펴본 '곡면 이미지 투사 방법'을 구현하기 위한 예시적인 시스템이며, 따라서 비록 카테고리는 상이하더라도, 상기 '곡면 이미지 투사 방법'과 관련하여 상술한 특징들은 이하에서 살펴볼 곡면 이미지 투사 시스템에도 당연히 유추 적용될 수 있다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 곡면 이미지 투사 시스템은 둘 이상의 투사장치 클러스터들, 상기 둘 이상의 투사장치 클러스터들의 동작을 제어하고 관리하는 투사관리장치를 포함할 수 있다.
상기 둘 이상의 투사장치 클러스터들은 상영관에 설치되는 다수의 투사장치들이 그룹화되어 형성되는 구성이다. 여기서 각 투사장치 클러스터는 각 집단별로 복수의 투사장치(100)들을 포함할 수 있다.
상기 상영관에 설치되는 다수의 투사장치들이 그룹화되는 과정은 다양한 방식으로 수행될 수 있지만, 바람직하게는 상기 상영관에 형성되는 투사면 정보를 바탕으로 그룹화될 수 있다. 예를 들어 상영관이 복수의 투사면을 포함하는 다면 상영관이고 상기 상영관 내부에 '정면 투사면, 좌측면 투사면, 우측면 투사면, 천장 투사면, 바닥 투사면'이 형성된다고 할 때, 상영관에 설치되는 다수의 투사장치들은 '정면 투사면에 영상을 투사하는 집단, 좌측면 투사면에 영상을 투사하는 집단, 우측면 투사면에 영상을 투사하는 집단, 천장 투사면에 영상을 투사하는 집단, 바닥 투사면에 영상을 투사하는 집단'으로 그룹화될 수 있다. 즉, 특정 투사면에 영상을 함께 투사하는 복수의 투사장치들이 하나의 집단(Cluster)으로 그룹화될 수 있다.
도 9는 상영관에 설치되는 다수의 투사장치들이 3개의 집단(Cluster A, Cluster B, Cluster C)으로 그룹화된 예시를 나타낸다. 이 경우 상기 3개의 집단은 다양한 방식으로 형성될 수 있지만, 바람직하게는 위에서 살펴본 것과 같이 상영관에 형성되는 투사면 정보를 바탕으로 형성될 수 있다. 예를 들어, Cluster A는 좌측 투사면에 영상을 투사하는 투사장치들이 그룹화되어 형성되고, Cluster B는 정면 투사면에 영상을 투사하는 투사장치들이 그룹화되어 형성되고, Cluster C는 우측 투사면에 영상을 투사하는 투사장치들이 그룹화되어 형성될 수 있다.
상기 투사관리장치는 상기 둘 이상의 투사장치 클러스터들을 제어하고 관리하는 구성이다. 구체적으로 상기 투사관리장치는 상영관에 설치되는 다수의 투사장치들을 집단(Cluster) 단위로 제어하거나, 각 투사장치를 개별적으로 제어할 수 있는 구성이다.
한편, 상기 투사관리장치는, 다양한 전자 장치의 형태로 구현될 수 있으며, 하나의 전자 장치로 구현되거나 여러 가지 전자 장치가 상호 연결된 형태로 구현될 수 있다. 예를 들어, 상기 투사관리장치는 하나의 서버(server) 장치를 포함하는 형태로 구현되거나, 2개 이상의 서버가 상호 연결된 형태로 구현될 수 있다. 또한, 상기 투사관리장치는 서버와 다른 전자 장치들이 상호 연결된 형태로 구현되거나, 서버 이외의 다른 전자 장치들에 의해 구현될 수 있다. 또한, 상기 투사관리장치는 사용자 인터페이스를 위한 입력 장치 출력 장치들을 포함하는 형태로도 구현될 수 있다.
이하, 도 10을 참조하여 상기 투사관리장치가 포함할 수 있는 세부구성들의 예시를 살펴본다.
도 10을 참조하면 상기 투사관리장치는, 연산부(1100), 저장부(1200), 투사장치 관리부(1300), 통신부(1400), 사용자 인터페이스부(1500), 카메라부(1600), 제어부(1700) 등의 구성을 포함할 수 있으며, 이러한 구성들 이외에도 투사장치 클러스터들을 관리하기 위한 다양한 구성들을 포함할 수 있다.
연산부(1100)는 상기 둘 이상의 투사장치 클러스터들에 대하여, 각 집단(Cluster)별로 투사장치들의 상대변환정보를 연산하고 관리하는 구성이다.
연산부(1100)는 각 집단(Cluster)에 대하여, 각 집단에 포함되는 복수의 투사장치들의 투사영역이 겹쳐진 상태에서 각 집단의 기준투사장치와 나머지 투사장치들 사이의 상대적인 변환정보를 연산할 수 있다.
각 투사장치들 간 상대변환정보를 연산하는 과정에 대해서는 앞서 서술하였으므로 본 단락에서는 자세한 설명을 생략하기로 한다.
상기 저장부(1200)는 본 발명에 따른 곡면 이미지 투사 시스템과 관련된 다양한 정보들을 저장하는 구성이다. 특히, 상기 저장부(1200)는 연산부(1100)가 생성하는 상대변환정보를 저장할 수 있으며 DB화할 수 있다. 이 경우, 상기 저장부(1200)는 집단(Cluster) 단위로 식별자를 부여하여 상대변환정보를 DB화 할 수 있으며, 각 집단에 포함되는 개별 투사장치에도 식별자를 부여하여 변환 정보를 DB화할 수 있다.
또한 상기 저장부(1200)는, 이상에서 살핀 다양한 데이터들을 일시적 또는 영구적으로 저장할 수 있으며, 다양한 종류의 메모리(Memory) 소자를 포함하는 형태로 구성될 수 있다.
상기 투사장치 관리부(1300)는, 상기 둘 이상의 투사 장치 집단에 포함되는 다수의 투사장치들의 동작을 제어하는 구성이다. 구체적으로, 상기 투사장치 관리부(1300)는 상영관에 설치된 각 투사 장치의 렌즈, 몸체 등을 조절할 수 있으며, 이러한 조절을 통해 각 투사장치의 투사 방향을 제어하는 구성이다.
위에서 살펴본 것처럼 상기 연산부(1100)가 각 집단(Cluster)에 대하여 상대적인 변환 정보를 연산하기 위해서는 각 집단에 포함되는 투사장치들의 투사영역이 서로 겹쳐진 상대로 배치(이웃하는 투사 장치들의 투사 영역이 바람직하게는 사각형의 형태로 겹쳐진 상태로 배치)되어야 하는데 상기 투사장치 관리부(1300)의 동작을 통해 이러한 배치 상태가 제어될 수 있다.
한편, 상기 투사장치 관리부(1300)는, 다양한 정보를 기초로 각 집단(Cluster)에 포함되는 투사장치들을 제어할 수 있다. 예를 들어, 상기 투사장치 관리부(1300)는 상기 사용자 인터페이스부(1500)를 통해 입력되는 정보, 상기 카메라부(1600)가 생성하는 정보, 상기 통신부(240)를 통해 전달되는 정보 등을 기초로 상기 투사장치의 동작을 제어할 수 있다. 또한, 상기 투사장치 동작 관리부(1300)는 이러한 정보들을 복합적으로 고려하여 투사장치들의 투사 방향을 제어할 수도 있으며, 이러한 동작을 통해 제어의 정확성을 더욱 높일 수도 있다.
상기 통신부(1400)는, 시스템의 운영과 관련된 다양한 정보들을 송수신하기 위한 구성이다. 상기 투사관리장치는, 이러한 통신부(1400)를 통해, 상영관에 설치되는 다수의 투사장치들, 다수의 상영 장비, 사용자 단말기, 외부의 서버 장치 등과 유선 또는 무선으로 연결될 수 있으며, 시스템의 운영에 필요한 다양한 정보들을 송수신할 수 있다.
한편, 상기 통신부(1400)는, 다양한 종류의 유선 또는 무선 송수신 모듈(Transceiver)을 포함할 수 있으며, 다양한 통신 규격의 유선 통신망 또는 무선 통신망을 통해 데이터를 송수신할 수 있다.
상기 사용자 인터페이스부(1500)는, 사용자와 인터페이스할 수 있는 환경을 구현하는 구성이다. 이러한 상기 사용자 인터페이스부(1500)는, 다양한 입력 장치, 디스플레이 장치, 음성 출력 장치 등을 포함할 수 있으며, 사용자로부터 시스템의 제어에 기초가 되는 정보를 입력받거나, 시스템과 관련된 다양한 정보를 제공할 수 있다.
한편, 상기 투사장치 관리부(1300)가, 상기 사용자 인터페이스를 통해 입력되는 정보를 바탕으로 투사장치들의 동작을 제어하는 경우, 상기 사용자 인터페이스부(1500)는, 겹쳐진 투사영역의 식별에 도움을 줄 수 있는 다양한 시각적인 기능을 구현할 수 있다. 예를 들어, 상기 사용자 인터페이스부(1500)는, 겹쳐진 투사영역을 형성하는 2개의 이웃하는 투사장치들의 투사영역만을 표시하고 나머지 투사 장치들의 투사영역은 표시하지 않는 기능, 이웃하는 투사장치들의 투사영역을 서로 다른 색상(예컨대, 파랑, 빨강)으로 표시하는 기능, 겹쳐진 투사영역의 대응점들을 시각적으로 표시하는 기능 등의 기능을 구현할 수 있다.
상기 카메라부(1600)는, 상영관 내부에 설치되어서 상영관 내부의 다양한 시각 정보를 감지(Sensing)하거나, 감지된 시각 정보를 영상화하는 구성이다. 이러한 상기 카메라부(1600)는, 다양한 카메라 모듈을 포함할 수 있다.
특히, 상기 카메라부(1600)는, 상영관에 설치되는 각 투사장치가 투사하는 투사영역을 인식할 수 있으며, 둘 이상의 이웃하는 투사장치들이 형성하는 겹쳐진 투사영역을 시각적으로 인식할 수 있다. 또한, 이러한 정보를 상기 투사장치 관리부(1300)에 전달하여, 투사장치 동작 제어의 기초 정보로써 활용될 수 있게 한다.
상기 제어부(1700), 상기 연산부(1100), 상기 저장부(1200), 상기 투사장치 관리부(1300), 상기 통신부(1400), 상기 사용자 인터페이스부(1500), 상기 카메라부(1600)를 포함하는 상기 투사관리장치의 다양한 구성들의 동작을 개별적 또는 복합적으로 제어하는 구성이다.
이러한 상기 제어부(1700)는 적어도 하나의 연산 수단을 포함할 수 있는데, 여기서 상기 연산 수단은 범용적인 중앙연산장치(CPU)일 수 있으나, 특정 목적에 적합하게 구현된 프로그래머블 디바이스 소자(CPLD, FPGA)나 주문형 반도체 연산장치(ASIC) 또는 마이크로 컨트롤러 칩일 수 있다.
위에서 설명된 본 발명의 실시예들은 예시의 목적을 위해 개시된 것이며, 이들에 의하여 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 대한 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 사상과 범위 안에서 다양한 수정 및 변경을 가할 수 있을 것이며, 이러한 수정 및 변경은 본 발명의 범위에 속하는 것으로 보아야 할 것이다.
100: 투사장치
151a~151e: 투사장치 별 투사영역
200: 투사장치 클러스터
1000: 투사관리장치
1100: 연산부 1200: 저장부
1300: 투사장치 관리부 1400: 통신부
1500: 사용자 인터페이스부 1600: 카메라부
1700: 제어부

Claims (15)

  1. 투사관리장치가 복수의 투사장치들을 이용하여 투사면에 이미지를 투사하는 방법에 있어서,
    (a) 복수 투사장치들의 투사영역을 기초로 투사장치들 간 상대변환정보를 연산하고 상기 상대변환정보를 기초로 복수의 투사장치들을 그룹화 하여 투사장치 클러스터를 생성하는 단계; 및
    (b) 투사장치 클러스터에 의해 투사될 이미지를 곡면의 투사영역에 매칭시키는 단계;
    를 포함하되,
    상기 투사면은 곡면을 포함하고,
    상기 복수의 투사장치들 중 임의 투사장치의 투사영역과 상기 임의 투사장치와 인접한 투사장치의 투사영역의 일부가 중첩되며,
    상기 (a)단계는,
    (a-1) 상기 복수의 투사장치들 중 임의의 투사장치를 기준투사장치로 설정하는 단계; 및
    (a-2) 상기 기준투사장치와 상기 기준투사장치에 인접한 투사장치들 중 상기 투사장치 클러스터 내 포함된 투사장치 간 상대변환정보를 연산하는 단계;
    를 포함하고,
    상기 (a-2) 단계는,
    상기 기준투사장치의 투사영역과 상기 기준투사장치에 인접한 투사장치의 투사영역의 일부가 중첩되는 중첩영역 내에서 상기 기준투사장치의 투사영역으로부터 대응점 Ci를 추출하고, 상기 기준투사장치에 인접한 투사장치의 투사영역으로부터 대응점 Cj를 추출하여 상대변환수식에 상기 대응점들을 대입시켜 상대변환정보를 연산하며,
    상기 대응점들은 4개 이상이고, 4개를 초과하는 대응점들을 서브디비젼에 의해 생성하며,
    상기 상대변환수식은,
    TPS(Thin Plate Spline)와 Global Affine Transformation을 이용하는 것을 특징으로 하는 곡면 이미지 투사 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 상대변환수식은
    Figure 112017118355296-pat00028

    xi: 기준투사장치의 픽셀위치, Ci k: 대응점 메쉬의 버텍스 별 위치, wk: 가중치
    A(xi) : global affine transformation 인 것을 특징으로 하는 곡면 이미지 투사 방법.
  6. 제1항에 있어서,
    상기 (a)단계는,
    (a-3) 상기 기준투사장치와 상기 기준투사장치에 인접한 투사장치들 중 상기 투사장치 클러스터 내 포함되지 않은 투사장치 간 상대변환정보를 연산하는 단계;
    를 더 포함하는 것을 특징으로 하는 곡면 이미지 투사 방법.
  7. 제1항에 있어서,
    상기 (b)단계는,
    (b-1) 상기 투사장치 클러스터에 의해 투사될 이미지의 최외곽 중 임의 개수의 초기점을 추출하는 단계;
    (b-2) 상기 투사될 이미지 내 복수의 제어점을 배치하고, 상기 복수의 제어점을 연결하여 복수의 서브이미지 영역들로 구획하는 단계;
    (b-3) 상기 초기점 및 상기 제어점을 곡면의 투사영역 형상에 매칭시키는 단계;
    를 포함하는 것을 특징으로 하는 곡면 이미지 투사 방법.
  8. 제 7항에 있어서,
    상기 (b-3)단계는,
    바이리니어 인터폴레이션(bilinear interpolation) 기법을 이용하는 것을 특징으로 하는 곡면 이미지 투사 방법.
  9. 제 7항에 있어서,
    상기 초기점은 상기 투사될 이미지의 최외곽 꼭지점인 것을 특징으로 하는 곡면 이미지 투사 방법.
  10. 제 7항에 있어서,
    상기 복수의 제어점은 균등한 간격으로 배치되는 것을 특징으로 하는 곡면 이미지 투사 방법.
  11. 상영관 내 구비된 복수의 투사장치들 간 상대변환정보를 연산하고, 상기 상대변환정보를 기초로 복수의 투사장치들을 그룹화 하여 투사장치 클러스터를 생성하며, 상기 투사장치 클러스터에 의해 투사될 이미지를 상영관 내 투사영역에 매칭시키는 투사관리장치; 및
    상영관 내 투사영역에 이미지를 투사하는 둘 이상의 투사장치;
    를 포함하며,
    상기 투사영역은 곡면을 포함하고,
    상기 복수의 투사장치들 중 임의 투사장치의 투사영역과 상기 임의 투사장치와 인접한 투사장치의 투사영역의 일부가 중첩되며,
    상기 투사관리장치는, 상기 복수의 투사장치들 중 임의의 투사장치를 기준투사장치로 설정하고, 상기 기준투사장치에 인접한 투사장치 간 상대변환정보를 연산하되,
    상기 기준투사장치의 투사영역과 상기 기준투사장치에 인접한 투사장치의 투사영역의 일부가 중첩되는 중첩영역 내에서 상기 기준투사장치의 투사영역으로부터 대응점 Ci를 추출하고, 상기 기준투사장치에 인접한 투사장치의 투사영역으로부터 대응점 Cj를 추출하여 상대변환수식에 상기 대응점들을 대입시켜 상대변환정보를 연산하며,
    상기 투사장치 클러스터에 의해 투사될 이미지를 곡면의 투사영역에 매칭시키되,
    상기 투사장치 클러스터에 의해 투사될 이미지의 최외곽 중 임의 개수의 초기점을 추출하고, 상기 투사될 이미지 내 복수의 제어점을 배치하며, 상기 복수의 제어점을 연결하여 상기 이미지를 복수의 서브이미지 영역들로 구획하고, 상기 초기점 및 제어점을 곡면의 투사영역 형상에 매칭시키며,
    상기 대응점들은 4개 이상이고, 4개를 초과하는 대응점들을 서브디비젼에 의해 생성하며,
    상기 상대변환수식은,
    TPS(Thin Plate Spline)와 Global Affine Transformation을 이용하는 것을 특징으로 하는 곡면 이미지 투사 시스템.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서,
    상기 상대변환수식은
    Figure 112017118355296-pat00029

    xi: 기준투사장치의 픽셀위치, Ci k: 대응점 메쉬의 버텍스 별 위치, wk: 가중치
    A(xi) : global affine transformation 인 것을 특징으로 하는 곡면 이미지 투사 시스템.
  15. 삭제
KR1020160172310A 2016-12-16 2016-12-16 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템 KR101847996B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020160172310A KR101847996B1 (ko) 2016-12-16 2016-12-16 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템
EP17880555.2A EP3539289A4 (en) 2016-12-16 2017-10-24 PROCESS FOR IMAGE PROJECTION ON A CURVED PROJECTION AREA, AND ASSOCIATED PROJECTION SYSTEM
JP2019532009A JP2020507100A (ja) 2016-12-16 2017-10-24 曲面投影領域へのイメージ投影方法およびそのための投影システム
PCT/KR2017/011753 WO2018110822A1 (en) 2016-12-16 2017-10-24 Method of projecting image onto curved projection area and projection system therefor
CN201780077188.1A CN110089111A (zh) 2016-12-16 2017-10-24 将图像投影到弯曲投影区域上的方法和用于该方法的投影***
IL267087A IL267087A (en) 2016-12-16 2019-06-04 Method of projecting image onto curved projection area and projection system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160172310A KR101847996B1 (ko) 2016-12-16 2016-12-16 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템

Publications (1)

Publication Number Publication Date
KR101847996B1 true KR101847996B1 (ko) 2018-04-12

Family

ID=61969154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160172310A KR101847996B1 (ko) 2016-12-16 2016-12-16 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템

Country Status (6)

Country Link
EP (1) EP3539289A4 (ko)
JP (1) JP2020507100A (ko)
KR (1) KR101847996B1 (ko)
CN (1) CN110089111A (ko)
IL (1) IL267087A (ko)
WO (1) WO2018110822A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365041A (zh) * 2021-02-24 2021-09-07 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215749A (zh) * 2020-04-30 2021-01-12 北京的卢深视科技有限公司 基于柱面投影的图像拼接方法、***、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113176A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 映像表示システムの調整システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7306341B2 (en) * 2005-02-28 2007-12-11 Hewlett-Packard Development Company, L.P. Multi-projector geometric calibration
US9282335B2 (en) * 2005-03-15 2016-03-08 Hewlett-Packard Development Company, L.P. System and method for coding image frames
US20070291184A1 (en) * 2006-06-16 2007-12-20 Michael Harville System and method for displaying images
KR20140048073A (ko) * 2010-11-15 2014-04-23 스케일러블 디스플레이 테크놀로지스, 인크. 수동 및 반자동 기법을 사용하여 디스플레이 시스템을 교정하는 시스템 및 방법
KR101208767B1 (ko) * 2011-04-22 2012-12-05 한국과학기술원 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
DE102011076083A1 (de) * 2011-05-18 2012-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projektionsdisplay und Verfahren zum Anzeigen eines Gesamtbildes für Projektionsfreiformflächen oder verkippte Projektionsflächen
WO2014000159A1 (zh) * 2012-06-26 2014-01-03 Yan Tao 校正多通道视景投影***的投影仪的方法及设备
CN104036475A (zh) * 2013-07-22 2014-09-10 成都智慧星球科技有限公司 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法
KR101515368B1 (ko) * 2013-08-26 2015-04-27 씨제이씨지브이 주식회사 투사 장치 클러스터링 방법, 이를 이용한 관리 장치 및 관리 시스템
KR102160839B1 (ko) * 2014-09-15 2020-09-28 한국과학기술원 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008113176A (ja) * 2006-10-30 2008-05-15 Hitachi Ltd 映像表示システムの調整システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113365041A (zh) * 2021-02-24 2021-09-07 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
EP3539289A1 (en) 2019-09-18
WO2018110822A1 (en) 2018-06-21
IL267087A (en) 2019-08-29
JP2020507100A (ja) 2020-03-05
CN110089111A (zh) 2019-08-02
EP3539289A4 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
CN111095923B (zh) 校准装置、校准***和校准方法
JP6569742B2 (ja) 投影システム、画像処理装置、投影方法およびプログラム
JP4435145B2 (ja) 幾何情報を校正してパノラマ映像を提供する方法および装置
JP6299124B2 (ja) 投影システム、画像処理装置、投影方法およびプログラム
CN110300292B (zh) 投影畸变校正方法、装置、***及存储介质
CN109074773B (zh) 针对曲面显示器屏幕的透视校正
US20200357128A1 (en) Image reconstruction for virtual 3d
US20120057807A1 (en) Hybrid system for multi-projector geometry calibration
JP6747292B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20140100656A (ko) 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
CN108028900A (zh) 投影设备、投影方法和程序存储介质
JP6568854B2 (ja) 多面上映館の映像の生成方法とその記憶媒体およびこれを用いた映像管理装置
KR20150015680A (ko) 특징점의 생성을 이용한 이미지 보정 방법 및 장치
JP4965967B2 (ja) 映像表示システムの調整システム
CN111694528A (zh) 显示墙的排版辨识方法以及使用此方法的电子装置
KR101847996B1 (ko) 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템
EP3606061B1 (en) Projection device, projection system and an image calibration method
JPWO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
WO2019155903A1 (ja) 情報処理装置および方法
JP2019525509A (ja) 水平視差ステレオパノラマ取込方法
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
US11189081B2 (en) Image generation apparatus, image generation method and storage medium
JP2017215706A (ja) 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。
US20230009413A1 (en) Analysis apparatus, communication system, non-transitory computer readable medium
JP6984583B2 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant