KR102160839B1 - 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법 - Google Patents
멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법 Download PDFInfo
- Publication number
- KR102160839B1 KR102160839B1 KR1020150128469A KR20150128469A KR102160839B1 KR 102160839 B1 KR102160839 B1 KR 102160839B1 KR 1020150128469 A KR1020150128469 A KR 1020150128469A KR 20150128469 A KR20150128469 A KR 20150128469A KR 102160839 B1 KR102160839 B1 KR 102160839B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pattern image
- structured light
- projectors
- camera
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
-
- H04N5/225—
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
본 발명은 하나의 카메라를 이용하여 멀티 프로젝션 시스템을 구축하는 다수의 프로젝터 각각을 자동 캘리브레이션할 수 있도록 하는 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법에 관한 것으로,
상기 방법은 퍼펙트 서브맵을 기반으로 구조화 광 패턴 이미지를 생성한 후, 상기 구조화 광 패턴 이미지의 색상을 모두 달리하여 상기 다수의 프로젝터 각각에 제공하는 단계; 상기 다수의 프로젝터를 통해 구조화 광 패턴 이미지를 동시 투사하면서, 상기 카메라를 통해 상기 구조화 광 패턴 이미지의 중첩 영역을 촬영하여 적어도 하나의 촬영 이미지를 획득하는 단계; 상기 촬영 이미지 각각에 포함된 다수의 구조화 광 패턴 이미지를 복원함과 동시에 색상 기반으로 상기 복원된 이미지 각각에 대응되는 프로젝터를 식별하고, 상기 복원된 이미지간 대응성을 기반으로 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하는 단계; 및 상기 카메라와 상기 다수의 프로젝터간 호모그래피와 상기 촬영 이미지에 포함된 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출하고, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 결정하는 단계를 포함할 수 있다.
상기 방법은 퍼펙트 서브맵을 기반으로 구조화 광 패턴 이미지를 생성한 후, 상기 구조화 광 패턴 이미지의 색상을 모두 달리하여 상기 다수의 프로젝터 각각에 제공하는 단계; 상기 다수의 프로젝터를 통해 구조화 광 패턴 이미지를 동시 투사하면서, 상기 카메라를 통해 상기 구조화 광 패턴 이미지의 중첩 영역을 촬영하여 적어도 하나의 촬영 이미지를 획득하는 단계; 상기 촬영 이미지 각각에 포함된 다수의 구조화 광 패턴 이미지를 복원함과 동시에 색상 기반으로 상기 복원된 이미지 각각에 대응되는 프로젝터를 식별하고, 상기 복원된 이미지간 대응성을 기반으로 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하는 단계; 및 상기 카메라와 상기 다수의 프로젝터간 호모그래피와 상기 촬영 이미지에 포함된 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출하고, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 결정하는 단계를 포함할 수 있다.
Description
본 발명은 다수의 프로젝터를 이용해 대형의 디스플레이 시스템을 구축하는 경우, 대형 디스플레이 구축에 소요되는 비용과 공간을 최소화할 수 있도록 하는 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법에 관한 것이다.
공간 몰입형 디스플레이는 보다 향상된 몰입감과 실제감을 사용자에게 제공할 수 있으며, 엔터테인먼트, 과학 시각화, 의료 영상, 항공 우주 공학, 가상 현실 등과 같은 다양한 분야로 그 적용 분야가 급속히 향상되고 있다.
몰입감은 주로 넓은 시야각과 높은 해상도의 디스플레이에 의해 생성되므로, 공간 몰입형 디스플레이는 다수의 프로젝터를 통해 하나의 대형 디스플레이를 구현하는 멀티 프로젝션 시스템의 사용을 필요로 한다.
다만 다수의 프로젝터를 통해 하나의 가상 디스플레이를 생성하기 위하여 복잡한 프로젝터 캘리브레이션 과정을 수반하는 단점이 있다. 프로젝터 캘리브레이션 과정은 기하 캘리브레이션 과정과 색상 캘리브레이션 과정을 필요로 하는 데, 이러한 두 캘리브레이션 단계를 수행하는 사용자는 디스플레이의 구성 및 유지 보수를 수행하기 위해 전문 지식을 보유해야만 한다.
이에 최근에 들어서는 사용자 개입을 최소화하기 위해 카메라를 사용한 자동 캘리브레이션 기법이 제안되고 있었으나, 이는 카메라와 능동 구조 광 기술(active structured light technique)과 카메라 피드백 시스템을 통해 카메라와 프로젝터 사이의 관계를 확립해야 하며, 카메라가 전체 투사 영역을 관찰해야 하는 단점이 있다.
또한, 필요로 하는 카메라 개수가 증가함에 따라 디스플레이의 확장이 필요하는 데, 이러한 경우 방과 같은 작은 공간에서, 다 평면 디스플레이의 일부를 차단하지 않고 다수의 카메라 설치하는 것이 곤란해지는 문제가 발생한다.
최근 연구자들은 컴퓨터 제어 방식의 팬 틸트 장치(PTU) 카메라를 통해 카메라의 필요 개수를 감소시켜 주는 방안을 제안하였으나, PTU 카메라의 제조는 추가 하드웨어 및 구현 비용을 초래하는 추가적으로 단점을 가지게 된다. 또한, PTU 카메라는 카메라 회전 가능 각도 이내에서 투사 영역 전체를 관찰할 수 있는 위치에 배치되어야 하므로, 기기의 설치가 연관된 문제를 가진다. 즉, 카메라와 스크린이 충분한 거리를 확보하기가 어려운 작은 공간에서 멀티 프로젝션 시스템을 구축하고, 멀티 프로젝터 캘리브레이션하는 것은 여전히 전형적인 단일 프로젝터 설치에 비해 어려운 실정이다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 대형 디스플레이를 형성하는 다수 프로젝터의 기하 왜곡을 보다 효율적으로 보정함으로써, 대형 디스플레이 구축에 소요되는 비용과 공간을 최소화할 수 있도록 하는 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따른 다수의 프로젝터와 카메라를 구비한 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법은, 퍼펙트 서브맵을 기반으로 구조화 광 패턴 이미지를 생성한 후, 상기 구조화 광 패턴 이미지의 색상을 모두 달리하여 상기 다수의 프로젝터 각각에 제공하는 단계; 상기 다수의 프로젝터를 통해 구조화 광 패턴 이미지를 동시 투사하면서, 상기 카메라를 통해 상기 구조화 광 패턴 이미지의 중첩 영역을 촬영하여 적어도 하나의 촬영 이미지를 획득하는 단계; 상기 촬영 이미지 각각에 포함된 다수의 구조화 광 패턴 이미지를 복원함과 동시에 색상 기반으로 상기 복원된 이미지 각각에 대응되는 프로젝터를 식별하고, 상기 복원된 이미지간 대응성을 기반으로 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하는 단계; 및 상기 카메라와 상기 다수의 프로젝터간 호모그래피와 상기 촬영 이미지에 포함된 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출하고, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 결정하는 단계를 포함할 수 있다.
상기 구조화 광 패턴 이미지는 퍼펙트 서브맵에 포함된 다수의 엘리멘트 각각의 수학성 속성을 반영하는 다수의 심볼들로 구성된 코드 패턴 이미지를 생성한 후, 상기 코드 패턴 이미지와 바둑판 패턴 이미지에 대한 배타적 논리합 연산을 수행함으로써 생성되는 것을 특징으로 한다.
상기 다수의 심볼은 상기 엘리멘트의 값이 "0"이면, 블랭크(blank) 표시되고, 그렇지 않다면 흰색 및 검은색 동심원이 교대로 배치되는 동심원을 적어도 하나 구비할 수 있으며, 상기 동심원의 반경은 로 결정되는 것을 특징으로 하며, 상기 ρ은 가장 바깥쪽에 위치되는 동심원의 반경이며, 상기 는 상기 엘리먼트의 값인 것을 특징으로 한다.
상기 퍼퍽트 서브맵의 크기는 ""의 식에 따라 결정되며, 상기 r는 퍼펙트 서브맵의 행 크기, 상기 s는 퍼펙트 서브맵의 열 크기, 상기 u는 퍼펙트 서브맵에 대응되는 서브 어레이의 행 크기, 상기 v는 퍼펙트 서브맵에 대응되는 열 크기, 상기 σh는 프로젝터 화면의 가로 비율, 상기 σv는 프로젝터 화면의 세로 비율, 상기 ta(양의 실수)와 ts(양의 정수, 2 ≤ ts ≤ 2min(r,s))는 패턴 해상도와 각 대응점의 식별을 위해 필요한 최소 패턴 영역을 결정하기 위해 사용자로부터 입력되는 스케일링 팩터인 것을 특징으로 하며, 상기 바둑판 패턴 이미지는 상기 퍼퍽트 서브맵의 크기에 따라 능동 조절된 개수의 바둑판 패턴을 가지는 것을 특징으로 한다.
상기 복원된 이미지는 상기 촬영 이미지와 복원용 바둑판 패턴 이미지에 대한 배타적 논리합 연산을 수행함으로써 획득되는 것을 특징으로 한다.
상기 복원용 바둑판 패턴은 상기 촬영 이미지에서 네 개의 사각형이 만나는 점을 초기 점으로 획득한 후 상기 초기 점에 인접 위치하는 이웃 점들을 파악하고, 상기 촬영 이미지의 에지 성분을 추출하여 에지 이미지를 생성한 후, 상기 이웃 점들중에서 상기 에지 이미지의 브레젠함 라인 상에 위치한 이웃 점만을 선별하여 유효 이웃점들을 파악하고, 상기 유효 이웃점들을 기반으로 상기 촬영 이미지의 바둑판 형상을 분석함으로써 획득되는 것을 특징으로 한다.
상기 대형 디스플레이 영역을 결정하는 단계는 상기 카메라 이미지들의 에지 성분을 기반으로 다수의 라인 세그먼트를 추출하는 단계; 상기 라인 세그먼트들과 상기 라인 세그먼트들의 교차 정보를 기반으로 대형 디스플레이 영역을 구성하는 각 평면의 소실점, 수직 및 수평 벡터를 계산하는 단계; 상기 각 평면의 소실점, 수직 및 수평 벡터를 기반으로 상기 각 평면의 디스플레이 영역을 파악하는 단계; 및 상기 각 평면의 디스플레이 영역의 크기를 평가한 후, 가장 작은 디스플레이 영역의 높이와 넓이로 상기 대형 디스플레이 영역의 높이와 넓이를 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 멀티 프로젝션 시스템은, 대형 디스플레이 영역으로 이미지를 투사하는 다수의 프로젝터; 상기 대형 디스플레이 영역에 투사된 이미지를 촬영하는 카메라; 및 퍼펙트 서브맵을 기반의 구조화 광 패턴 이미지를 상기 다수의 프로젝터를 통해 동시 투사하면서 상기 카메라를 통해 상기 구조화 광 패턴 이미지의 중첩 영역을 촬영하고, 상기 촬영 이미지 각각에 포함된 다수의 구조화 광 패턴 이미지를 복원 및 분석하여 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하고, 상기 카메라와 상기 다수의 프로젝터간 호모그래피와 상기 촬영 이미지의 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출한 후, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 결정하는 프로세서를 포함할 수 있다.
이와 같이 본 발명은 새로운 방식의 구조화 광 패턴을 제안하고, 이를 통해 멀티 프로젝션 시스템을 구축하는 다수의 프로젝터의 기하 왜곡을 캘리브레이션할 수 있도록 한다.
이에 PTU 카메라를 대신에 휴대 가능한 일반 카메라를 활용하여 프로젝터 캘리브레이션 동작을 수행할 수 있으므로, 멀터 프로젝션 시스템에 소요되는 비용과 공간이 획기적으로 감소될 수 있도록 한다. 또한 다수의 프로젝터의 캘리브레이션이 일괄 수행될 수 있도록 함으로써, 캘리브레이션에 소요되는 시간도 획기적으로 감소될 수 있도록 해준다.
도1는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템을 설명하기 위한 도면이다.
도2은 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법을 개략적으로 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 구조화 광 패턴 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도4은 본 발명의 일 실시예에 따른 퍼펙트 서브맵의 각 엘리먼트를 코드 패턴 이미지(Icode)의 심볼로 변환하는 원리를 설명하기 위한 도면이다.
도5은 본 발명의 일 실시예에 따른 카메라 이미지로부터 코드 패턴 이미지를 복원하는 원리를 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 카메라 이미지로부터 대응점 식별 원리를 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 카메라와 프로젝터간 호모그래피 계산 원리를 설명하기 위한 도면이다.
도8과 도9는 본 발명의 일 실시예에 따른 대형 디스플레이 영역을 결정하는 방법을 설명하기 위한 도면이다.
도2은 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법을 개략적으로 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 구조화 광 패턴 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도4은 본 발명의 일 실시예에 따른 퍼펙트 서브맵의 각 엘리먼트를 코드 패턴 이미지(Icode)의 심볼로 변환하는 원리를 설명하기 위한 도면이다.
도5은 본 발명의 일 실시예에 따른 카메라 이미지로부터 코드 패턴 이미지를 복원하는 원리를 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 카메라 이미지로부터 대응점 식별 원리를 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 카메라와 프로젝터간 호모그래피 계산 원리를 설명하기 위한 도면이다.
도8과 도9는 본 발명의 일 실시예에 따른 대형 디스플레이 영역을 결정하는 방법을 설명하기 위한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1는 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템을 설명하기 위한 도면이다.
도1을 참고하면, 본 발명의 대형 디스플레이 시스템은 대형 디스플레이 영역(10)의 전방에 배치되는 다수의 프로젝터(21,22)와 단일 카메라(30), 그리고 프로세서(40) 등을 포함할 수 있다.
본 발명이 적용되는 대형 디스플레이 영역(10)은 대형의 평면 하나로 구현되는 일반적 형태일 수 있으나, 중앙 영역과 양측면 영역을 가지는 입체 형태로 구현될 수도 있을 것이다. 물론, 이러한 대형 디스플레이 구현 형태도 차후 사용자 필요에 따라 다양하게 변화될 수 있음은 당연할 것이다.
다수의 프로젝터(21,22)는 프로세서(40)로부터 제공되는 이미지를 대형 디스플레이 영역(10)에 투사한다.
단일 카메라(30)는 프로세서(40)의 제어하에 대형 디스플레이 영역(10)을 촬영하도록 한다. 다만, 본 발명의 단일 카메라(30)는 범용적으로 사용되는 휴대 가능한 일반 카메라 소형 카메라, 별도의 PTU 기능을 필요로 하지 않는 카메라일 수 있다.
프로세서(40)는 단일 카메라(30) 기반으로 다수의 프로젝터(21,22)의 캘리브레이션 동작을 수행한 후, 캘리브레이션 완료된 다수의 프로젝터(21,22)를 통해 사용자가 필요로 하는 콘텐츠를 대형 디스플레이 영역으로 투사시키도록 한다.
특히, 다수의 프로젝터를 동시 캘리브레이션하기 위해, 본 발명의 프로세서(40)는 퍼펙트 서브맵을 기반으로 서로 상이한 색상을 가지는 구조화 광 패턴 이미지를 생성하도록 한다. 그리고 다수의 프로젝터(21,22)를 통해 구조화 광 패턴 이미지를 동시 투사하면서, 카메라(30)를 통해 구조화 광 패턴 이미지의 중첩 영역을 촬영 및 분석하여 프로젝터 각각에 대응되는 구조화 광 패턴 이미지를 파악하고, 이들의 대응성을 기반으로 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하도록 한다. 그리고 다수의 프로젝터간 호모그래피와 촬영 이미지에 포함된 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출한 후, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 최종 결정하도록 한다.
즉, 본 발명은 퍼펙트 서브맵을 기반으로 생성되는 구조화 광 패턴 이미지를 새로이 제안함으로써, 범용적으로 사용되는 휴대 가능한 일반 카메라 하나만을 이용하여 멀티 프로젝션 시스템을 구축하는 다수의 프로젝터를 소프트웨어적으로 캘리브레이션할 수 있도록 해준다.
그 결과 멀티 프로젝터 시스템 구축에 소요되는 비용과 공간이 획기적으로 감소되고, 이에 따라 멀티 프로젝터 시스템의 적용 분야가 더욱 확장될 수 있도록 한다.
도2은 본 발명의 일 실시예에 따른 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법을 개략적으로 설명하기 위한 도면이다.
도2에 도시된 바와 같이, 본 발명의 프로젝터 캘리브레이션 방법은 크게 퍼펙트 서브맵을 기반으로 구조화 광 패턴 이미지를 생성한 후, 상기 구조화 광 패턴 이미지의 색상을 모두 달리하여 상기 다수의 프로젝터 각각에 제공하는 단계(S10), 상기 다수의 프로젝터를 통해 구조화 광 패턴 이미지를 동시 투사하면서, 상기 카메라를 통해 상기 구조화 광 패턴 이미지의 중첩 영역을 촬영하여 적어도 하나의 촬영 이미지를 획득하는 단계(S20), 상기 촬영 이미지 각각에 포함된 다수의 구조화 광 패턴 이미지를 복원함과 동시에 색상 기반으로 상기 다수의 구조화 광 패턴 이미지 각각에 대응되는 프로젝터를 식별하고, 상기 다수의 구조화 광 패턴 이미지간 대응성을 기반으로 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하는 단계(S30), 및 상기 다수의 프로젝터간 호모그래피와 상기 촬영 이미지에 포함된 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출하고, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 결정하는 단계(S40), 그리고 기하학적 정보 기반의 알파 블렌딩 알고리즘을 통해 프로젝터간 밝기값 차이를 보정하는 단계(S50) 등을 포함할 수 있다.
참고로, 본 발명에서 사용하고자 하는 구조화 광 패턴 이미지는 다음의 조전을 만족시켜야 한다.
(1) 공간 패턴 기반의 퍼펙트 서브맵 : 공간 패턴 기반의 퍼펙트 서브맵은 주로 패턴 폐색(pattern occlusion) 및 객체 음영 처리 범위의 분야에서 사용되나, 본 발명에서는 범용 소형 카메라를 통해 멀티 프로젝션 시스템을 캘리브레이션하기 위해 퍼펙트 서브맵 기반 패턴을 채용한다.
이는 퍼펙트 서브맵의 수학적 특성을 이용하는 경우, 패턴 일부만이 카메라 뷰내 포획되어 있더라도 프로젝터와 카메라간 호모그래피(Homography)를 추정할 수 있으며, 퍼펙트 서브맵 기반의 패턴의 인코딩된 코드 워드는 프로젝터 좌표의 위치 정보를 포함하는 특징이 있다. 따라서, 이러한 공간 구조화 기법은 부분적으로 캡쳐된 이미지를 이용하여 전체 패턴을 추정할 수 있도록 한다.
더하여, 퍼펙트 맵 이론은 M-배열(arrays), 의사 랜덤 배열(pseudorandom array) 또는 드 브루이진 토리(De Bruijin tori) 등에 의해 제안된 것으로, 이는 고유한 수학적 속성을 가짐으로 인해 스페이셜 코디피게이션 스키마(spatial codification scheme)에 널리 사용된다. 퍼펙트 맵은 알파벳 크기 k의 심볼들을 가지는 r×s 크기(r은 퍼펙트 맵의 가로값, s는 퍼펙트 맵은 세로값)의 2 차원의 주기적인 배열로, u×v(u은 서브 어레이의 가로값, r는 서브 어레이의 세로값) 크기의 서브 어레이는 전체 어레이내에서 단 한번만 발생하도록 한다. 퍼펙트 맵은 0으로 채워진 서브 어레이를 제외한 모든 종류의 서브 어레이를 포함하며, 퍼펙트 서브맵은 어레이내에서 u×v 크기의 서브어레이 모두가 고유한 r×s 크기를 가지는 비주기적 배열이다.
(2) 이진 패턴에 기반한 기하학적 원형(geometric primitive): 멀티 프로젝션 시스템에서는, 대형 디스플레이를 만들기 위해 다수의 프로젝터의 투사 영역이 서로 중첩되도록 한다. 이에 종래의 프로젝터 캘리브레이션 동작은 다수의 프로젝터 각각이 순차적으로 패턴 이미지를 투사되도록 하고, 이에 따라 다수의 프로젝터 각각의 캘리브레이션도 순차적으로 수행되도록 한다. 그러나 본 발명은 모든 프로젝터가 스크린 상에 고유한 패턴을 가지는 이미지를 동시 투사하도록 한 후, 모든 프로젝터를 일시 캘리브레이션될 수 있도록 해준다.
즉, 본 발명은 알파벳에 따라 서로 다른 기하학적 형태를 가지는 이진 패턴 이미지를 사용한다. 프로젝터 각각이 투사하는 패턴의 색상을 달리함으로써, 패턴 기반으로 서로 인접 프로젝터를 구별할 수 있도록 한다.
(3) 유연한 퍼펙트 서브맵 : 구조화 광 패턴을 설계하는 경우, 일반적으로, 패턴의 해상도는 발광 장치의 해상도, 카메라의 분해능, 및 캡처 거리와 같은 고려 사항에 기반하여 결정된다.
구조화 광 패턴 기반의 퍼펙트 서브맵의 경우, 패턴 해상도와 대응점 식별을 위해 카메라 뷰내에 캡쳐되어야 할 필요가 있는 최소 패턴 영역은 퍼펙트 서브맵의 크기 r×s와 퍼펙트 서브맵내 서브 어레이의 크기 u×v 에 의해 결정될 수 있다.
하기의 조건을 만족하는 불규칙한 퍼펙트 맵은 패턴 이미지로 변환된다.
퍼펙트 서브맵의 조건 또한 상기의 조건으로부터 획득될 수 있으며, 많은 퍼펙트 서브맵은 이 조건을 만족시킴으로써, 다양한 환경 변수를 가지는 파라메터 r, s, u, v, k를 어렵게 결정할 수 있도록 한다.
그리고 구조화 광 패턴은 3차원 스캐너와 같이 장면내 객체의 깊이를 이용하는 데 주로 쓰이며. 이를 위한 촬영 거리를 다소 일정한 특징이 있다. 이에 많은 사람들은 고정된 k 알파벳 크기과 디스플레이 환경에 따라 미리 설정된 파라메터 r, s, u, v를 가지는 공간 패턴에 기반하여 퍼펙트 서브맵을 작성한다.
본 발명에서와 같이 구조화 광 패턴에 기반한 퍼펙트 서브맵을 통해 멀티 프로젝터를 캘리브레이션하는 기술은 처음으로 진행되는 것입니다.
고정된 값을 가지는 파라미터를 사용하는 종래의 방법은 다양한 소형 카메라를 통해 패턴을 촬영하며, 스크린과 카메라간 거리가 수시로 변화되는 디스플레이 환경에서는 적용될 수 없는 한계를 가진다. 예를 들어, 저해상도 카메라가 고해상도 패턴을 포착하는 경우, 인식 정확도가 낮아질 수 있다. 스크린에 너무 가까이 배치된 카메라가 저해상도 패턴을 획득하는 경우, 대응점들의 개수가 불충분해질 수 있다. 따라서, 본 발명에서는 디스플레이 환경에 따라 결정되는 퍼펙트 서브맵의 크기 변화 상관없이 일치되는 패턴에 대한 코디피케이션 스키마(codification scheme)를 필요로 한다.
이하, 도3 내지 도9를 참고하여 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법의 각 단계를 보다 상세히 설명하면 다음과 같다.
도3은 본 발명의 일 실시예에 따란 구조화 광 패턴 이미지를 생성하는 과정을 설명하기 위한 도면이다.
도3에 도시된 바와 같이, 본 발명은 퍼펙트 서브맵의 수학성 특성을 반영한 코드 패턴 이미지(Icode)를 생성한 후, 수학식1에 따라 생성된 코드 패턴 이미지를 흰색 사각형과 검은색 사각형이 교차 배치된 바둑판 패턴 이미지(Ichecker)와 배타적 OR 연산시켜 구조화 광 패턴 이미지(Icombined)를 생성하도록 한다. 그리고 다수의 프로젝터 총 개수에 따라 구조화 광 패턴 이미지의 색상 또한 다양화시킨 후, 서로 상이한 색상을 가지는 다수의 구조화 광 패턴 이미지를 다수의 프로젝터 각각에 제공하도록 한다.
[수학식 1]
코드 패턴 이미지(Icode)는 점 대응을 위한 수학적 속성을 제공하고, 바둑판 패턴 이미지(Ichecker)는 인접된 바둑판 사각형에 의해 공유되는 정점을 가지는 대응점의 정확한 위치를 제공한다.
퍼펙트 서브맵의 크기는 바둑판 패턴 이미지(Ichecker)에서 바둑판 패턴의 개수를 결정하며, 본 발명에서는 프로젝터의 화면 비율(σh:σv)을 고려하여 r×s를 결정한 후, 소형의 서브 어레이가 될 u×v과 알파벳 크기(k=)를 계산하도록 한다.
[수학식 2]
이때, r는 퍼펙트 서브맵의 행 크기 , s는 퍼펙트 서브맵의 열 크기, u는 퍼펙트 서브맵에 대응되는 서브 어레이의 행 크기, v는 퍼펙트 서브맵에 대응되는 서브 어레이의 열 크기, σh는 프로젝터 화면의 가로 비율, σv는 프로젝터 화면의 세로 비율, ta(양의 실수)와 ts(양의 정수, 2≤ ts ≤ 2min(r,s))는 패턴 해상도와 각 대응점의 식별을 위해 필요한 최소 패턴 영역을 조정하는 스케일링 팩터이다.
이에 본 발명에서는 사용자가 파라미터 r, s, u, v, 및 k 대신에, 패턴의 정확한 인식을 확인하고, 최적의 패턴 이미지를 생성하기 위한 ta와 ts만을 조정함으로써, 퍼펙트 서브맵의 크기(r×s), 서브 어레이의 크기(u×v), 그리고 알파벳 크기(k)가 자동 계산될 수 있도록 한다.
즉, 사용자에 의해 패턴 해상도와 각 대응점의 식별을 위한 최소 영역 크기가 사용자 파라미터 ta와 ts 에의해 결정되면, 브루토-포스 알고리즘(brute-force algorithm) 등을 이용하여 퍼펙트 서브맵을 생성할 수 있다(R. A. Morano, C. Ozturk, R. Conn, S. Dubin, S. Zietz, and J. Nissanov. Structured light using pseudorandom codes. IEEE Transactions on Pattern Analysis and Machine Intelligence, 21,22(3):322-327, 1998. 참고).
도4은 본 발명의 일 실시예에 따른 퍼펙트 서브맵의 각 엘리먼트를 코드 패턴 이미지(Icode)의 심볼로 변환하는 원리를 설명하기 위한 도면이다. 이때, 퍼펙트 서브맵의 각 엘리먼트 로 표현된다.
도4에 도시된 바와 같이, 본 발명에서는 공간 패턴이 대응점을 중심으로 동심원을 포함하도록 한다. 이들 원은 코드 패턴 이미지(Icode)의 심볼을 나타낸다. 동심원의 반경들은 가 "0" 보다 크다면, 로 결정되며, 이때 ρ은 가장 바깥쪽에 위치되는 동심원의 반경이다. 가 "0" 인 경우에는 블랭크(blank) 표시되고, 인접된 심볼들이 오버랩핑되는 것을 방지하기 위해 로 설정하도록 한다. 이때, W/H는 프로젝터 해상도의 너비/ 높이이다. 더하여 심볼은 도4에서와 같이 흰색 및 검은색 동심원이 교대로 배치되는 형태인 것이 바람직할 것이다. 이 방식은 k 값에 따라 다양한 요소들을 유연하게 설명할 수 있도록 한다.
도5은 본 발명의 일 실시예에 따른 카메라 이미지로부터 코드 패턴 이미지를 복원하는 원리를 설명하기 위한 도면이다.
[수학식 3]
이는 퍼펙트 서브맵에 기반한 코드 패턴 이미지(Icode)는, 카메라를 통해 촬영된 이미지와 바둑판 패턴 이미지(Ichecker)에 대한 배타적 논리합 연산을 통해 복원될 수 있음을 의미한다. 그러나 바둑판 패턴 이미지(Ichecker)를 모르는 상태에서도 촬영된 결합 패턴 이미지로부터 복원할 수 있어야 하기 때문에 이하의 수학식 4가 도출될 수 있다.
[수학식 4]
이때, Icapture는 카메라를 통해 촬영된 이미지, I'checker는 알려지지 않은 바둑판 패턴 이미지이고, I'code는 Icapture를 이용하여 복원된 코드 패턴 이미지이다.
이에 본 발명에서는 Icapture로부터 I'checker를 획득한 후, Icapture와 I'checker의 두 이미지로부터 I'code를 복원하고, 복원된 코드 패턴 이미지(I'code)를 기반으로, 패턴 이미지를 투사하는 프로젝터와 패턴 이미지를 포함하는 카메라 시야 사이의 상관관계를 파악할 수 있다.
심볼 중심에 위치한 점 대응들로부터 복원용 바둑판 패턴 이미지(I'checker)를 획득할 수 있다. 바둑판 패턴의 사각형 모서리에 일치되는 중심들을 리콜한 후, Shi-Tomasi 코너 검출 알고리즘 등을 통해 복원용 바둑판 패턴 이미지(I'checker)에서 만나는 네 개의 사각형이 만나는 점을 찾아 초기 점 집합(P)를 형성한다. 그리고 도6의 (a)와 같이 초기 점 집합(P)에 속하는 i번째 점(pi)에 인접 위치한 이웃 점(pj)들을 추출하여 이웃 점 집합()을 형성한다. 다만, 본 발명에서는 계산 부하를 감소하기 위해, 를 임계 거리 d로 선택함으로써, i번째 점(pi)로부터 너무 가깝거나 먼 점들은 이웃 점(pj)에서 제외시키도록 한다.
구조화 광 패턴은 이진 이미지임을 고려하여 수학식 5와 같은 형태적 이미지 연산을 통해 에지 이미지(Iedge)를 획득하도록 한다.
[수학식 5]
그리고 도6의 (b)에서와 같이 두 지점이 에지 이미지의 에지에 의해 연결되어 있는지를 파악하기 위해, 두 개의 끝점을 있는 라인 드로잉에 주로 이용되는 브레젠함(Bresenham) 라인을 기반으로, 이웃 점 집합(Ni)에서 i번째 점(pi)와 에지 라인으로 연결되는 이웃 점(pj)만을 선별하여 유효 이웃점 집합(Mi)을 획득하도록 한다.
수학식 6은 브레젠함 라인 산출식이다.
[수학식 6]
수학식 6의 Ωij 는 i번째 점(pi)과 이웃 점(pj)간 경로상에 위치한 픽셀을, n은 경로상에 위치한 픽셀의 개수를 의미한다. Ni에 속하는 pj 중에서, 의 조건을 만족시키는 점만을 Mi로 유지하도록 한다. 이때, 임계값 λ은 0.8으로 설정될 수 있을 것이다.
그리고 수학식7으로 표현되는 유효 함수 V(pi)를 기반으로 P에서 대응점 P'를 추출하도록 한다.
[수학식 7]
유효 이웃점 집합(Mi)내 모든 점이 직선 라인에 있다면, pi에서 Mi내 점을 향하는 모든 벡터는 동일 직선상에 있고 공선 함수(C(pi,pj))의 합이 0이어야 한다. 그렇지 않으면, 벡터는 두 개의 서로 다른 배향을 가지며, pi는 대응점으로서 간주될 수 있다. 오차 값(e)은 공선성(collinearity)을 확인하도록 0.1으로 설정되도록 한다.
복원용 바둑판 패턴 이미지(I'checker)는 촬영 이미지(Icapture)내 4개 대응점이 흰색 또는 검은 색 사각형을 형성하는지를 확인함으로써 획득될 수 있다. 두 대각선 점 사이의 중간점은 바둑판의 사각형 각각의 흰색 또는 검은 색을 결정한다.
그리고 획득된 복원용 바둑판 패턴 이미지(I'checker)를 통해 수학식 4를 해독하여, 복원된 코드 패턴 이미지(I'code)를 생성한다. 다만, 복원용 바둑판 패턴 이미지(I'checker)와 촬영 이미지(Icapture)간 정렬 불량에 의해 발생되는 잘못된 에지는 복원된 코드 패턴 이미지(I'code)에 잔존하게 되나, 이러한 에지들은 형태학 개방 연산(morphological opening operation)에 의해 손쉽게 제거 가능하다.
그리고 복원된 코드 패턴 이미지(I'code)를 이용하여 컨투어 이미지(Icontour)를 산출한다. 퍼펙트 서브맵의 각 엘리먼트(cij)는 앞서 설명된 바와 같이 동심원 형태의 심볼로 변환되므로, 이들 앨리먼트는 각 대응점을 둘러싸는 원형 윤곽선의 개수에 따라 도출된다. 그리고 코드 패턴 이미지(Icode)에서 사용한 퍼펙트 서브맵의 코드워드를 이용하여 이들 엘리멘트들의 u×v 서브 어레이를 비교함으로써, 카메라와 프로젝터 간의 점 대응성을 계산하도록 한다.
단일 카메라 뷰에서 관찰되는 두 개 패턴의 대응성을 이용하여, 본 발명은 유사-단일 뷰를 생성하고 디스플레이 영역을 결정하기 위한 카메라와 프로젝터간의 호모그래피를 산출한다.
이하의 수학식9은 RANSAC(RANdom SAmple Consensus) 로버스트 추정 방법을 이용하여 호모그래피 매트릭스 Hi,j를 계산하는 수학식이다.
[수학식 9]
이때, i는 카메라 뷰의 인덱스, j는 프로젝터의 인덱스이다. 카메라 뷰는 프로젝터 좌표를 다음 프로젝터 좌표로 변환하기 위한 연결고리로 작용한다. 반대로, 패턴은 수학식 9에서와 같이 두 개의 카메라 뷰간 변환을 가능하게 하는 연결고리로 사용될 수 있다.
도7에 도시된 바와 같이, 모든 프로젝터 노드와 뷰 노드간 변환은 하나의 호모그래피 매트릭스 H로 표현될 수 있고, 그 역방향은 H-1로 표현될 수 있다.
H에 의해, 점 x의 변환은 x′ = Hx으로 표현될 수 있으며, 직선 방정식 을 만족시키는 의 라인의 변환은 l'= 로 표현될 수 있다. 이때, a, b, c 는 2차원 직선 방정식의 계수이다.
도8과 도9는 본 발명의 일 실시예에 따른 대형 디스플레이 영역을 결정하는 방법을 설명하기 위한 도면이다.
참고로, 벽, 천장, 및 바닥에 대한 에지는 필요한 기하학적 정보를 추출하는 단서를 제공한다. 공간 기하는 유사-단일(pseudo-single) 영상의 에지 집합으로부터 얻어지는 소실점을 이용하여 추정될 수 있다. 각 벽면은 사각형이라고 가정하고, 상단에지와 하단에지가 만나는 수평 소실점은 으로 설정하면, 상단 에지와 하단에지를 통과하는 벡터는 와 로 표현되고, 이들 두 벡터 사이의 각도는 로 표현된다. 동일하게, 수직 소실점이 이며, 좌측 에지와 우측 에지를 통과하는 벡터는 각각 및 로, 이들 두 벡터 사이의 각도는 로 표현될 수 있다.
이에 본 발명은 캐니 에지 검출기(Canny edge detector) 등을 이용하여, 벽면 교차 지점과 패턴 각각에 대응되는 에지를 추출한다. 그러면 각 채널 이미지에서 추출된 감산 패턴 영역은 기하학적 구조를 가지는 필수 에지들을 가지게 된다. 그리고 허프 변환을 이용하여 이들 에지 성분에 대응되는 완벽한 라인 세그먼트를 추출하도록 한다. 각 평면의 소실점 ω, 벡터 및 는 추출된 라인 세그먼트들과 이들의 교차 정보를 기반으로 계산될 수 있다.
특히, 본 발명에서는 카메라 이미지의 X 축이 지면에 평행되게 정렬하지 않아도 되며, 디스플레이 환경의 기하로부터 추출된 소실점 덕분에, 기준 마커들을 배치하거나 틸트센서를 부착하지 않고도 멀티 평면 디스플레이에 손쉽게 적용될 수 있는 장점을 가진다.
[수학식 10]
이때, U는 벡터 를 포함하는 벡터 집합으로, 이는 소실점 ω에서 투사 이미지 상단 에지의 끝점을 향하는 벡터들의 집합이다. 끝 점 중 인접한 투사 이미지 안에 놓여져 있거나, 벽면 바깥 쪽에 위치한 점은 인접한 투사 이미지 혹은 벽면의 경계선과의 교차점(도9에서 주황색 점으로 표시됨)으로 대체 된다. 벡터 집합 V는 벡터 와 투사 이미지의 바닥 에지의 끝점을 이용하여 같은 방식으로 정의된다.
각 평면의 최대 디스플레이 영역의 크기를 평가한 후, 평면 디스플레이 높이는 가장 작은 디스플레이 영역의 높이로 설정된다. 이어서, 변환 행렬 HL,R을 사용하여, 디스플레이들의 넓이를 서로 비교한 후, 가장 작은 것을 대형 디스플레이 영역(V)의 넓이로 설정하도록 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (8)
- 다수의 프로젝터와 카메라를 구비한 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법에 있어서,
퍼펙트 서브맵을 기반으로 구조화 광 패턴 이미지를 생성한 후, 상기 구조화 광 패턴 이미지의 색상을 모두 달리하여 상기 다수의 프로젝터 각각에 제공하는 단계;
상기 다수의 프로젝터를 통해 구조화 광 패턴 이미지를 동시 투사하면서, 상기 카메라를 통해 상기 구조화 광 패턴 이미지의 중첩 영역을 촬영하여 적어도 하나의 촬영 이미지를 획득하는 단계;
상기 촬영 이미지 각각에 포함된 다수의 구조화 광 패턴 이미지를 복원함과 동시에 색상 기반으로 상기 복원된 이미지 각각에 대응되는 프로젝터를 식별하고, 상기 복원된 이미지간 대응성을 기반으로 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하는 단계; 및
상기 카메라와 상기 다수의 프로젝터간 호모그래피와 상기 촬영 이미지에 포함된 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출하고, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 결정하는 단계를 포함하고,
상기 구조화 광 패턴 이미지는
퍼펙트 서브맵에 포함된 다수의 엘리멘트 각각의 수학성 속성을 반영하는 다수의 심볼들로 구성된 코드 패턴 이미지를 생성한 후, 상기 코드 패턴 이미지와 바둑판 패턴 이미지에 대한 배타적 논리합 연산을 수행함으로써 생성되는
멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법.
- 삭제
- 제1항에 있어서, 상기 퍼펙트 서브맵의 크기는
""의 식에 따라 결정되며,
상기 r는 퍼펙트 서브맵의 행 크기, 상기 s는 퍼펙트 서브맵의 열 크기, 상기 u는 퍼펙트 서브맵에 대응되는 서브 어레이의 행 크기, 상기 v는 퍼펙트 서브맵에 대응되는 열 크기, 상기 σh는 프로젝터 화면의 가로 비율, 상기 σv는 프로젝터 화면의 세로 비율, 상기 ta(양의 실수)와 ts(양의 정수, 2 ≤ ts ≤ 2min(r,s))는 패턴 해상도와 각 대응점의 식별을 위해 필요한 최소 패턴 영역을 결정하기 위해 사용자로부터 입력되는 스케일링 팩터인 것을 특징으로 하며,
상기 바둑판 패턴 이미지는 상기 퍼펙트 서브맵의 크기에 따라 능동 조절된 개수의 바둑판 패턴을 가지는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법. - 제1항에 있어서, 상기 복원된 이미지는
상기 촬영 이미지와 복원용 바둑판 패턴 이미지에 대한 배타적 논리합 연산을 수행함으로써 획득되는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법. - 제5항에 있어서, 상기 복원용 바둑판 패턴은
상기 촬영 이미지에서 네 개의 사각형이 만나는 점을 초기 점으로 획득한 후 상기 초기 점에 인접 위치하는 이웃 점들을 파악하고,
상기 촬영 이미지의 에지 성분을 추출하여 에지 이미지를 생성한 후, 상기 이웃 점들중에서 상기 에지 이미지의 브레젠함 라인 상에 위치한 이웃 점만을 선별하여 유효 이웃점들을 파악하고,
상기 유효 이웃점들을 기반으로 상기 촬영 이미지의 바둑판 형상을 분석함으로써 획득되는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법. - 제1항에 있어서, 상기 대형 디스플레이 영역을 결정하는 단계는
상기 카메라 이미지들의 에지 성분을 기반으로 다수의 라인 세그먼트를 추출하는 단계;
상기 라인 세그먼트들과 상기 라인 세그먼트들의 교차 정보를 기반으로 대형 디스플레이 영역을 구성하는 각 평면의 소실점, 수직 및 수평 벡터를 계산하는 단계;
상기 각 평면의 소실점, 수직 및 수평 벡터를 기반으로 상기 각 평면의 디스플레이 영역을 파악하는 단계; 및
상기 각 평면의 디스플레이 영역의 크기를 평가한 후, 가장 작은 디스플레이 영역의 높이와 넓이로 상기 대형 디스플레이 영역의 높이와 넓이를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 프로젝션 시스템의 프로젝터 캘리브레이션 방법. - 대형 디스플레이 영역으로 이미지를 투사하는 다수의 프로젝터;
상기 대형 디스플레이 영역에 투사된 이미지를 촬영하는 카메라; 및 퍼펙트 서브맵을 기반의 구조화 광 패턴 이미지를 상기 다수의 프로젝터를 통해 동시 투사하면서 상기 카메라를 통해 상기 구조화 광 패턴 이미지의 중첩 영역을 촬영하고, 상기 촬영 이미지 각각에 포함된 다수의 구조화 광 패턴 이미지를 복원 및 분석하여 상기 카메라와 상기 다수의 프로젝터간 호모그래피를 산출하고, 상기 카메라와 상기 다수의 프로젝터간 호모그래피와 상기 촬영 이미지의 에지 정보를 기반으로 디스플레이 환경을 구성하는 적어도 하나의 평면 각각에 대한 수직 및 수평 소실점을 산출한 후, 상기 산출된 수직 및 수평 소실점을 기반으로 대형 디스플레이 영역을 결정하는 프로세서를 포함하고,
상기 구조화 광 패턴 이미지는
퍼펙트 서브맵에 포함된 다수의 엘리멘트 각각의 수학성 속성을 반영하는 다수의 심볼들로 구성된 코드 패턴 이미지를 생성한 후, 상기 코드 패턴 이미지와 바둑판 패턴 이미지에 대한 배타적 논리합 연산을 수행함으로써 생성되는
멀티 프로젝션 시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140122179 | 2014-09-15 | ||
KR20140122179 | 2014-09-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160031967A KR20160031967A (ko) | 2016-03-23 |
KR102160839B1 true KR102160839B1 (ko) | 2020-09-28 |
Family
ID=55645282
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150128468A KR20160031966A (ko) | 2014-09-15 | 2015-09-10 | 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법 |
KR1020150128469A KR102160839B1 (ko) | 2014-09-15 | 2015-09-10 | 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150128468A KR20160031966A (ko) | 2014-09-15 | 2015-09-10 | 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법 |
Country Status (1)
Country | Link |
---|---|
KR (2) | KR20160031966A (ko) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102002531B1 (ko) * | 2016-11-25 | 2019-07-22 | 한국전자통신연구원 | 영상 보정 장치 및 방법 |
KR101820905B1 (ko) | 2016-12-16 | 2018-01-22 | 씨제이씨지브이 주식회사 | 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템 |
KR101847996B1 (ko) * | 2016-12-16 | 2018-04-12 | 씨제이씨지브이 주식회사 | 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템 |
KR102030294B1 (ko) * | 2017-11-20 | 2019-10-08 | 한국과학기술원 | 360도 카메라 캘리브레이션 방법 |
EP3775809B1 (en) * | 2018-03-28 | 2022-03-09 | Koninklijke Philips N.V. | Method and system to assess teeth shade in an uncontrolled environment |
KR102260044B1 (ko) * | 2018-11-09 | 2021-06-03 | 한국과학기술원 | 카메라 캘리브레이션 방법 및 장치 |
KR102176322B1 (ko) * | 2018-12-19 | 2020-11-09 | 주식회사 팀제파 | 멀티 프로젝터 제어 시스템 및 방법 |
KR200490946Y1 (ko) | 2019-07-03 | 2020-01-28 | 리얼타임비쥬얼(주) | 단일 프로젝터을 이용한 하프돔 스크린 프로젝션 시스템 |
KR20210034253A (ko) | 2019-09-20 | 2021-03-30 | 삼성전자주식회사 | 위치 추정 장치 및 방법 |
KR102348429B1 (ko) | 2019-12-23 | 2022-01-10 | 서경대학교 산학협력단 | 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 |
KR102460361B1 (ko) * | 2020-12-29 | 2022-11-01 | 광주과학기술원 | 캘리브레이션 시스템 및 방법 |
KR20230063234A (ko) * | 2021-11-01 | 2023-05-09 | 삼성전자주식회사 | 카메라의 캘리브레이션을 위한 전자 장치 및 방법 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009046114B4 (de) * | 2009-10-28 | 2011-09-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erzeugen einer kalibrierten Projektion |
JP5631025B2 (ja) * | 2010-03-10 | 2014-11-26 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
-
2015
- 2015-09-10 KR KR1020150128468A patent/KR20160031966A/ko not_active Application Discontinuation
- 2015-09-10 KR KR1020150128469A patent/KR102160839B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20160031966A (ko) | 2016-03-23 |
KR20160031967A (ko) | 2016-03-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102160839B1 (ko) | 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법 | |
CN111095923B (zh) | 校准装置、校准***和校准方法 | |
US10699476B2 (en) | Generating a merged, fused three-dimensional point cloud based on captured images of a scene | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
US11290704B2 (en) | Three dimensional scanning system and framework | |
US20070031063A1 (en) | Method and apparatus for generating a composite image from a set of images | |
CN113841384B (zh) | 校准装置,用于校准的图表和校准方法 | |
JP2005326247A (ja) | 校正装置及び校正方法並びに校正プログラム | |
KR101275823B1 (ko) | 복수의 카메라를 이용한 3차원 물체 검출장치 및 방법 | |
WO2018102990A1 (en) | System and method for rectifying a wide-angle image | |
US11022435B2 (en) | Pattern projection depth value 3D scanning device and method | |
CN104537627B (zh) | 一种深度图像的后处理方法 | |
JP6088864B2 (ja) | キャリブレーションシステム、およびキャリブレーション方法 | |
US20190213753A1 (en) | Three-dimensional measurement apparatus and three-dimensional measurement method | |
TWI402768B (zh) | 產生高解析度影像之方法 | |
CN116912331A (zh) | 标定数据生成方法、装置、电子设备及存储介质 | |
US10089726B2 (en) | Image processing apparatus, image processing method, and storage medium, relating to generating an image corresponding to a predetermined three-dimensional shape by transforming a captured image | |
JP2005277732A (ja) | 矩形画像の四隅検出方法及び装置及びプログラム及び矩形画像の四隅検出プログラムを格納した記憶媒体 | |
CN109493387B (zh) | 一种多摄像头光轴对齐的方法和装置 | |
JP2005234698A (ja) | 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置 | |
Park et al. | Auto-calibration of multi-projector displays with a single handheld camera | |
JP2011113177A (ja) | 被写体3次元モデルを構築する方法およびプログラム | |
CN117889789B (zh) | 一种建筑墙面平整度检测方法和*** | |
CN114615478B (zh) | 投影画面校正方法、***、投影设备和存储介质 | |
Andersson | Seamless Automatic Projector Calibration of Large Immersive Displays using Gray Code |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |