KR20170017586A - 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치 - Google Patents

3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치 Download PDF

Info

Publication number
KR20170017586A
KR20170017586A KR1020150111744A KR20150111744A KR20170017586A KR 20170017586 A KR20170017586 A KR 20170017586A KR 1020150111744 A KR1020150111744 A KR 1020150111744A KR 20150111744 A KR20150111744 A KR 20150111744A KR 20170017586 A KR20170017586 A KR 20170017586A
Authority
KR
South Korea
Prior art keywords
pattern
display
image
camera
parameter
Prior art date
Application number
KR1020150111744A
Other languages
English (en)
Other versions
KR102415501B1 (ko
Inventor
황효석
남동경
장현성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150111744A priority Critical patent/KR102415501B1/ko
Priority to US15/138,627 priority patent/US10271041B2/en
Priority to EP16183097.1A priority patent/EP3128484B1/en
Priority to CN201610634605.5A priority patent/CN106447727B/zh
Priority to JP2016154403A priority patent/JP6875081B2/ja
Publication of KR20170017586A publication Critical patent/KR20170017586A/ko
Application granted granted Critical
Publication of KR102415501B1 publication Critical patent/KR102415501B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/0402—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H04N13/0203—
    • H04N13/0235—
    • H04N13/042—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치가 개시된다. 일 실시예에 따른 방법은 디스플레이에 표시된 영상 및 반사체에 의해 반사된 영상에 기초하여, 카메라 및 상기 디스플레이 사이의 변환 파라미터를 추정하는 단계를 포함한다.

Description

3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치{METHOD FOR ASSUMING PARAMETER OF 3D DISPLAY DEVICE AND 3D DISPLAY DEVICE THEREOF}
아래 실시예들은 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치에 관한 것이다.
입체 영상을 인지하기 위한 요인 중 가장 지배적인 요인은 사용자의 양 눈에 보여지는 영상의 차이이다. 사용자의 양 눈에 서로 다른 영상을 보여주기 위한 방법으로 편광을 이용한 분할, 시분할, 원색(primary color)의 파장을 다르게 한 파장 분할 등을 원하는 영상을 필터링(Filtering)하는 안경 방식과, 패럴렉스 배리어(parallax barrier), 렌티큘러 렌즈(lenticular lens), 또는 방향성 백라이트 유닛(directional BLU) 등 3차원 변환 장치를 이용하여 각 영상을 특정 공간에서만 볼 수 있도록 하는 무안경 방식이 있다.
무안경 방식의 경우, 안경 착용의 불편을 덜 수 있다는 장점이 있다. 무안경 방식에서 3차원 영상의 크로스 톡(crosstalk)을 억제하기 위해서는 사용자의 양 눈에 3차원 영상을 정확히 조사할 필요가 있다. 사용자의 양 눈의 위치를 검출하는 과정에서 오차가 발생하거나, 사용자의 양 눈의 위치를 검출하기 위한 카메라, 3차원 디스플레이 장치 및 3차원 변환 장치의 생산 과정 또는 설치 과정 등에서 설계 값과 상이한 오차가 발생하는 경우, 영상 품질이 저하될 수 있다.
일 측에 따른 디스플레이 장치의 파라미터 추정 방법은 제1 패턴을 포함하는 제1 영상을 디스플레이에 표시하는 단계; 상기 디스플레이와 결합된 카메라를 이용하여, 상기 제1 영상이 반사체에 의하여 서로 다른 각도로 반사된 복수의 제2 영상들을 캡쳐하는 단계; 및 상기 제1 영상 및 상기 복수의 제2 영상들에 기초하여, 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하는 단계를 포함한다.
상기 제1 변환 파라미터는 상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 회전 매트릭스, 및 상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 이동 벡터 중 적어도 하나를 포함할 수 있다.
상기 제1 변환 파라미터를 추정하는 단계는 상기 제1 패턴 및 상기 복수의 제2 영상들에 대응하는 가상 패턴들 사이의 투영 오차가 최소화되도록, 상기 제1 변환 파라미터를 결정하는 단계를 포함할 수 있다.
상기 제1 변환 파라미터를 추정하는 단계는 상기 복수의 제2 영상들에 대응하여, 상기 디스플레이 및 상기 반사체 사이의 기하학적 관계들을 추정하는 단계; 상기 기하학적 관계들에 기초하여, 상기 제1 패턴 및 상기 복수의 제2 영상들에 대응하는 가상 패턴들 사이의 투영 오차를 계산하는 단계; 및 상기 투영 오차가 감소되도록 상기 제1 변환 파라미터를 갱신하는 단계를 포함할 수 있다.
상기 제1 패턴 및 상기 복수의 제2 영상들 중 적어도 하나에 기초하여, 상기 카메라의 내부 파라미터를 추정하는 단계; 및 상기 제1 영상에 포함된 제2 패턴 및 상기 복수의 제2 영상들 중 적어도 하나에 기초하여, 상기 디스플레이 및 상기 디스플레이와 결합된 광학 레이어 사이의 제2 변환 파라미터를 추정하는 단계 중 적어도 하나를 더 포함할 수 있다.
상기 제2 변환 파라미터를 추정하는 단계는 상기 제2 패턴의 주기, 상기 적어도 하나의 제2 영상에 포함된 제3 패턴의 주기, 및 상기 제3 패턴의 기울기에 기초하여 제2 변환 파라미터를 추정하는 단계를 포함할 수 있다.
상기 디스플레이의 서브 픽셀 구조에 기초하여, 상기 제2 패턴의 주기를 획득하는 단계; 및 상기 제3 패턴이 주파수 변환된 푸리에 공간에서 상기 제3 패턴의 주기 및 상기 제3 패턴의 기울기를 획득하는 단계 중 적어도 하나를 더 포함할 수 있다.
상기 내부 파라미터는 상기 카메라의 초점 거리, 상기 카메라의 중심 좌표, 및 상기 카메라의 기울기(skewness) 중 적어도 하나를 포함할 수 있다.
상기 제2 변환 파라미터는 상기 광학 레이어의 피치, 및 상기 광학 레이어와 상기 디스플레이 사이의 회전 각도 중 적어도 하나를 포함할 수 있다.
상기 제2 패턴은 동일한 밝기의 연속된 선이 미리 정해진 간격으로 배치되는 패턴; 및 색상과 밝기가 동일한 영역을 포함하는 패턴 중 적어도 하나를 포함할 수 있다.
상기 제1 패턴은 미리 정해진 형태가 반복되는 패턴을 포함할 수 있다. 상기 가상 패턴들 각각은 해당 각도에 따라 상기 제1 패턴이 상기 반사체 속에 맺히는 허상일 수 있다. 상기 제2 패턴은 상기 제1 패턴에서 반복되는 형태 내 포함될 수 있다.
일 측에 따른 3차원 디스플레이 장치는 시점 추적을 위한 카메라; 3차원 영상을 표시하는 디스플레이; 및 제1 패턴을 포함하는 제1 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 제1 영상이 반사체에 의하여 서로 다른 각도로 반사된 복수의 제2 영상들을 캡쳐하도록 상기 카메라를 제어하며, 상기 제1 영상 및 상기 복수의 제2 영상들에 기초하여 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하고, 상기 제1 변환 파라미터에 기초하여 상기 사용자의 시점을 추적하며, 상기 추적된 시점에 기초하여 상기 3차원 영상을 렌더링하는 프로세서를 포함한다.
일 측에 따른 디스플레이 장치의 파라미터 추정 방법은 제1 패턴 및 제2 패턴을 포함하는 제1 영상을 디스플레이에 표시하는 단계; 상기 디스플레이와 결합된 카메라를 이용하여, 상기 제1 영상이 반사체에 반사된 제2 영상을 캡쳐하는 단계; 상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여, 상기 카메라의 파라미터를 추정하는 단계; 상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여, 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하는 단계; 및 상기 제2 영상 내 상기 제2 패턴에 대응하는 영역에 기초하여, 상기 디스플레이 및 상기 디스플레이와 결합된 광학 레이어 사이의 제2 변환 파라미터를 추정하는 단계를 포함한다.
일 측에 따른 디스플레이 장치는 제1 패턴 및 제2 패턴을 포함하는 제1 영상을 표시하는 디스플레이; 상기 디스플레이와 결합되고, 상기 제1 영상이 반사체에 반사된 제2 영상을 캡쳐하는 카메라; 및 상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여 상기 카메라의 파라미터를 추정하고, 상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하며, 상기 제2 영상 내 상기 제2 패턴에 대응하는 영역에 기초하여 상기 디스플레이 및 상기 디스플레이와 결합된 광학 레이어 사이의 제2 변환 파라미터를 추정하는 프로세서를 포함한다.
도 1은 일 실시예에 따른 파라미터들의 관계를 설명하기 위한 도면.
도 2a 및 도 2b는 일 실시예에 따른 파라미터들의 추정 과정을 설명하는 동작 흐름도.
도 3은 일 실시예에 따른 캡쳐 영상의 획득을 설명하기 위한 도면.
도 4는 실시예들에 따른 패턴의 종류를 나타낸 도면.
도 5는 일 실시예에 따른 복수의 캡쳐 영상들의 획득을 설명하기 위한 도면.
도 6은 일 실시예에 따른 특징점을 설명하는 도면.
도 7은 일 실시예에 따른 제1 변환 파라미터의 계산 과정을 설명하는 도면.
도 8은 일 실시예에 따른 가상 패턴의 좌표를 설명하는 도면.
도 9는 일 실시예에 따라 복원된 가상 패턴들을 도시한 도면.
도 10a는 일 실시예에 따른 가상 패턴들, 디스플레이 및 반사체 사이의 기하학적 관계들을 설명하는 도면.
도 10b는 일 실시예에 따른 가상 평면들을 통해 제1 변환 파라미터 값을 추정하는 과정을 설명하는 도면.
도 11은 일 실시예에 따른 제1 변환 파라미터 값을 추정하는 과정을 설명하는 동작 흐름도.
도 12는 일 실시예에 따른 제2 변환 파라미터를 추정하는 과정을 설명하는 동작 흐름도.
도 13은 일 실시예에 따른 추출된 영역을 변환하는 과정을 설명하는 동작 흐름도.
도 14는 일 실시예에 따른 제2 패턴의 출력 과정을 설명하는 도면.
도 15a 내지 도 15c는 일 실시예에 따른 제3 패턴의 영상과 제2 변환 파라미터 사이의 기하학적 관계를 설명하는 도면들.
도 16은 일 실시예에 따른 제2 패턴의 한 주기에 대응하는 광학 레이어의 원소 수 및 광학 레이어의 회전 각도 사이의 관계를 도시한 도면.
도 17는 일 실시예에 따른 제3 패턴의 영상을 퓨리에 변환하여 제3 패턴의 기울기에 대응하는 계수 및 제3 패턴의 주기에 대응하는 계수를 측정하는 기법을 설명하는 도면.
도 18 및 도 19은 일 실시예에 따른 복수의 카메라들이 있는 경우 파라미터들의 추정 과정을 설명하는 도면들.
도 20 및 도 21은 일 실시예에 따른 카메라가 구비된 디스플레이 장치의 파라미터들의 추정 과정을 설명하는 도면들.
도 22는 일 실시예에 따른 전자 시스템을 도시하는 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 하기에서 설명될 실시예들은 카메라가 탑재된 디스플레이 장치, 3차원 디스플레이 장치 및 카메라가 탑재된 3차원 디스플레이 장치에 적용될 수 있다. 예를 들어, 무안경 방식의 3차원 디스플레이 장치에서 영상 품질을 높이기 위해 사용될 수 있다.
도 1은 일 실시예에 따른 파라미터들의 관계를 설명하기 위한 도면이다.
도 1을 참조하면, 3차원 디스플레이 시스템은 카메라(100), 디스플레이(200) 및 3차원 변환 장치(300)를 포함한다. 카메라(100)는 사용자의 오른쪽 눈(21)과 왼쪽 눈(22)을 검출한다. 3차원 변환 장치(300)는 렌즈 어레이(lens array), 패럴렉스 배리어(parallax barrier), 또는 방향성 백라이트 유닛(directional back light unit)과 같은 광학 레이어를 포함할 수 있다. 3차원 변환 장치(300)는 디스플레이(200)에서 출력되는 영상을 오른쪽 눈(21)에 대응되는 광선(11)과 왼쪽 눈(22)에 대응되는 광선(12)으로 분할한다. 광선(11)과 광선(12)는 각각 오른쪽 눈(21)과 왼쪽 눈(22)으로 조사된다. 사용자는 분할된 광선(11)과 광선(12)을 통해 안경 없이 3차원 영상을 시청할 수 있다.
3차원 영상의 영상 품질을 높이기 위해서는 오른쪽 눈(21)과 왼쪽 눈(22)의 위치를 정확히 검출하고, 오른쪽 눈(21)과 왼쪽 눈(22)에 광선(11)과 광선(12)을 정확히 조사하는 것이 필요하다. 이러한 영상 품질에는 2D 영상과 3D 영상의 변환 과정에서의 오차 및 각각의 장치들의 생산 및 설치 과정에서 발생하는 설계 값과 상이한 오차 등의 요인이 영향을 미칠 수 있다. 이러한 요인은 크로스 톡(Cross-Talk)을 발생될 수 있다. 크로스 톡이 발생되면, 사용자는 흐려진 영상을 보거나 오차가 심할 경우 어지러움 등을 유발 할 수 있는 일그러진 영상을 보게 된다.
이러한 요인은 카메라(100)의 파라미터 Pc, 카메라(100)와 디스플레이(200) 사이의 자세 파라미터 Tcp, 3차원 변환 장치(300)의 파라미터 Pb 등에 의해 조절될 수 있다. 다시 말해, 이러한 파라미터들의 조절을 통해 3차원 영상의 품질이 향상될 수 있다.
카메라(100)는 3차원 공간의 객체를 2차원 영상으로 표현하므로 3차원 공간을 2차원 영상으로 변환하는 과정에서 오차가 발생할 수 있다. 일 예로, 카메라(100) 내부의 이미지 센서나 렌즈에 의해 오차가 발생할 수 있다. 3차원 공간과 2차원 영상 사이의 대응 관계는 카메라 파라미터 Pc를 통해 추정될 수 있다. 카메라 파라미터 Pc는 내부 파라미터와 외부 파라미터를 포함한다. 3차원의 현실 공간을 나타내는 월드 좌표계와 카메라 좌표계 Cc는 카메라 파라미터 Pc를 통해 서로 변환될 수 있다. 따라서, 카메라(100)에 의한 오차는 카메라 파라미터 Pc를 통해 조절될 수 있다.
카메라(100)와 디스플레이(200)는 서로 다른 좌표축을 이용한다. 카메라 파라미터 Pc를 통해 추정된 사용자의 눈(21, 22)의 위치는 카메라 좌표계 Cc를 기준으로 하므로, 카메라 좌표계 Cc를 디스플레이 좌표계 Cp로 변환할 필요가 있다. 카메라(100)와 디스플레이(200) 사이의 자세 파라미터 Tcp는 카메라 좌표계 Cc와 디스플레이 좌표계 Cp 사이의 변환 관계(예를 들어, 회전, 이동)를 나타낸다. 자세 파라미터 Tcp를 통해 카메라 좌표계 Cc를 디스플레이 좌표계 Cp로 변환할 수 있다. 이하 편의상 자세 파라미터 Tcp를 제1 변환 파라미터로 지칭한다.
디스플레이(200)에서 출력된 광선(11, 12)은 3차원 변환 장치(300)를 통해 사용자에게 전달되므로, 3차원 변환 장치(300)의 설계 상의 오차에 의해 크로스 톡이 발생될 수 있다. 실제 광선(11, 12)의 방향과 설계된 방향(designed direction) 사이에 오차가 발생하는 경우, 크로스 톡이 발생될 수 있다. 예를 들어, 이러한 오차는 치수(size) 오차 및 자세(pose) 오차를 포함할 수 있다. 치수 오차는 광학 레이어의 치수가 설계 값과 다른 것을 의미하고, 자세 오차는 광학 레이어의 자세가 설계 값과 다른 것을 의미한다. 치수 오차 및 자세 오차는 3차원 변환 장치(300)의 파라미터 Pb를 통해 조절될 수 있다.
파라미터 Pb는 3차원 변환 장치(300)의 치수 및 자세를 포함한다. 치수의 대표적인 예로 광학 레이어의 피치(pitch)가 이용될 수 있다. 광학 레이어의 피치는 광학 원소들 사이의 거리일 수 있다. 또한, 포즈의 대표적인 예로 광학 레이어와 패널 사이의 회전 각도(rotation angle)가 이용될 수 있다. 광학 레이어에 포함된 렌즈 또는 배리어는 기울어져(slanted) 있을 수 있다. 회전 각도는 광학 레이어에 포함된 렌즈 또는 배리어가 기울어진 각도(slanted angle)일 수 있다. 이하 편의상 3차원 변환 장치(300)의 파라미터 Pb를 제2 변환 파라미터로 지칭한다.
일 실시예에 따르면, 회전 각도는 광학 레이어가 제조될 때 결정되는 기울어진 각도뿐 아니라, 광학 레이어가 패널에 부착되는 높이, 각도 등에 의하여도 달라질 수 있다. 자세 오차는 3차원 변환 장치(300)의 파라미터 Pb뿐 아니라 디스플레이(200)와 3차원 변환 장치(300) 사이의 자세 파라미터 Cb를 통하여도 조절될 수 있다. 이 경우, 제2 변환 파라미터는 3차원 변환 장치(300)의 파라미터 Pb 및 디스플레이(200)와 3차원 변환 장치(300) 사이의 자세 파라미터 Cb를 포함하는 개념으로 이해될 수 있다.
실시예들은 한번의 영상 또는 영상 세트를 촬영하여, 카메라(100)의 내부 파라미터, 제1 변환 파라미터 및 제2 변환 파라미터를 모두 획득할 수 있다.
도 2a는 일 실시예에 따른 파라미터들의 추정 과정을 설명하는 동작 흐름도이다. 도 2a를 참조하면, 단계(1010)에서, 제1 영상이 디스플레이에 표시된다. 제1 영상은 제1 패턴을 포함할 수 있다. 단계(1020)에서, 제1 영상이 반사체에 의하여 서로 다른 각도로 반사된 제2 영상들이 캡쳐된다. 제2 영상들은 디스플레이와 결합된 카메라를 이용하여 캡쳐될 수 있다. 카메라는 디스플레이에 표시된 영상이 반사체에 반사된 영상을 캡쳐할 수 있다. 반사체에 반사된 영상을 캡쳐할 경우, 디스플레이에 표시된 영상의 z 좌표 값을 0으로 설정하는 것에 신뢰성이 생긴다. 또한, 카메라와 디스플레이 사이의 자세를 추정하기 위해 디스플레이에 출력된 영상을 이용하는 것이 유용해진다. 반사체를 통한 캡쳐 영상의 획득 과정은 도 3을 참조하여 보다 상세하게 설명한다. 단계(1040)에서, 카메라의 외부 파라미터에 기초하여 제1 변환 파라미터가 계산될 수 있다. 제1 변환 파라미터의 계산 과정은 도 7을 참조하여 설명한다.
도 3은 일 실시예에 따른 캡쳐 영상의 획득을 설명하기 위한 도면이다. 도 3을 참조하면, 카메라(100)는 디스플레이(200)에 출력된 제1 영상(210)이 반사체(400)에 의해 반사된 제2 영상(410)을 캡쳐할 수 있다. 반사체(400)는 거울을 포함할 수 있다. 제1 영상(210)이 반사체(400)에 반사될 경우, 제1 영상(210)이 반사체(400)의 뒤에 위치하는 것으로 보이게 된다. 반사체(400) 속에 맺힌 제2 영상(410)은 허상일 수 있다. 제1 영상(210) 및 제2 영상(410)은 파라미터의 추정을 위한 특정한 패턴을 포함한다. 이하 제2 영상(410)에 포함된 패턴은 가상 패턴으로 지칭될 수 있다. 패턴의 종류에 관해서는 도 4를 참조하여 보다 상세하게 설명한다.
도 4는 실시예들에 따른 패턴의 종류를 나타낸 도면이다. 앞서 설명된 것처럼, 제1 영상 및 제2 영상은 특정한 패턴을 포함할 수 있다. 패턴은 파라미터의 추정을 위한 반복적인 형태를 가질 수 있다. 예컨대, 패턴은 패턴(210-1)과 같은 체스 보드 형태, 패턴(210-2)와 같은 점 배열 패턴, 패턴(210-3)과 같은 동심원 패턴 및 패턴(210-4)와 같은 변형 패턴일 수 있다. 이하 패턴(210-1, 210-2, 210-3, 210-4)과 같이 단일의 반복적인 형태를 갖거나, 단일의 반복적인 형태가 변형된 패턴을 제1 패턴으로 지칭할 수 있다.
제1 패턴은 내부에 다른 패턴을 포함할 수 있다. 예컨대, 제1 패턴은 내부에 패턴(211-1, 211-2)를 포함할 수 있다. 이하 제1 패턴에 포함된 패턴을 제2 패턴으로 지칭할 수 있다. 제2 패턴은 패턴(211-1)과 같이 제1 패턴으로부터 구분된 영역에 포함되거나, 패턴(211-2)와 같이 제1 패턴을 형성하는 부분 영역들 안에 포함될 수 있다. 제2 패턴은 패턴(211-1)과 같이 색상과 동일한 밝기의 연속된 영역을 포함하는 패턴, 또는 패턴(211-2)와 같이 동일한 밝기의 연속된 선이 미리 정해진 간격으로 배치되는 패턴 등을 포함할 수 있다.
일측에 따르면, 제1 패턴은 카메라 파라미터 Pc 및 제1 변환 파라미터의 추정에 이용될 수 있고, 제2 패턴은 제2 변환 파라미터의 추정에 이용될 수 있다. 따라서, 제1 패턴과 제2 패턴을 동시에 이용할 경우 한번의 영상 또는 영상 세트를 촬영하여, 카메라 파라미터 Pc, 제1 변환 파라미터 및 제2 변환 파라미터를 모두 획득할 수 있다.
도 5는 일 실시예에 따른 복수의 캡쳐 영상들의 획득을 설명하기 위한 도면이다. 도 5를 참조하면, 디스플레이(200)는 제1 패턴(210) 및 제2 패턴(211)을 출력한다. 제1 패턴(210) 및 제2 패턴(220)은 반사체(400)에 의해 반사될 수 있다. 카메라(100)는 반사체(400)에 의해 반사된 가상 패턴을 캡쳐할 수 있다. 카메라(100)는 반사체(400)의 움직임에 의해 복수의 캡쳐 영상들을 획득할 수 있다. 예컨대, 반사체(400)는 회전하거나 이동할 수 있고, 카메라(100)는 다양한 각도 및 위치의 캡쳐 영상들을 획득할 수 있다. 도면에 도시하지 않았으나, 디스플레이(200) 및 카메라(100)가 모바일 기기에 포함되는 경우, 복수의 캡쳐 영상들을 획득하기 위하여 고정된 반사체(400) 앞에서 디스플레이(200) 및 카메라(100)가 이동 또는 회전될 수 있다.
도 6은 일 실시예에 따른 특징점을 설명하는 도면이다. 도 6을 참조하면, 제1 패턴(210), 제2 패턴(211) 및 제1 패턴의 특징점(212)이 도시되어 있다. 제1 패턴(210)은 특징점(212)을 포함할 수 있다. 특징점(212)은 패턴의 교차 점 또는 원의 중심에 위치할 수 있다. 특징점(212)은 코너 검출(corner detection) 및 원 검출(circle detection) 등의 방식을 통해 검출될 수 있다. 특징점(212)은 파라미터의 추정에 이용될 수 있다. 특징점(212)을 이용함에 따라 파라미터의 추정에 소요되는 시간이 단축될 수 있다.
이하, 도 2b를 참조하여, 파라미터들의 추정 과정을 상세하게 설명한다.
단계(1030)에서, 캡쳐 영상에 기초하여 카메라 파라미터 Pc가 계산될 수 있다. 앞서 설명된 것처럼, 카메라 파라미터 Pc는 내부 파라미터와 외부 파라미터를 포함한다. 내부 파라미터는 카메라(100)의 초점 거리(focal length), 중심 좌표(center position) 및 기울기(skewness)를 포함한다. 외부 파라미터는 회전(rotation) 파라미터와 이동(translation) 파라미터를 포함한다. 내부 파라미터는 수학식 1과 같이 나타낼 수 있다.
Figure pat00001
수학식 1에서 K는 내부 파라미터이다. fx는 카메라의 x축에 대한 초점 거리이고, fy는 카메라의 y축에 대한 초점 거리이다. uc와 vc는 카메라의 광축(principle axis) 또는 카메라 좌표의 z축과 이미지 평면(image plane)이 만나는 좌표의 x 값 및 y 값이다. s는 픽셀의 기울기 값이다. 월드 좌표계의 점(X)과 이미지 평면에 투영된 점(x)의 관계는 수학식 2로 나타낼 수 있다.
Figure pat00002
수학식 2에서 R은 회전 파라미터이고, t는 이동 파라미터이다. 수학식 2는 수학식 3 및 수학식 4로 나타낼 수 있다.
Figure pat00003
Figure pat00004
수학식 3에서 패턴이 n 번 캡쳐된 경우, i 번째 캡쳐 영상에서 특징점에 대한 m 개의 대응점들 중, j 번째 대응점은 수학식 5로 나타낼 수 있다. 여기서, 대응점은 디스플레이에 출력된 패턴의 특징점에 대한 카메라의 캡쳐 영상에 대응되는 점을 의미한다.
Figure pat00005
n 번의 캡쳐 영상의 m 개의 대응점을 모두 투영시켰을 때 투영 오차가 최소가 되는 카메라 파라미터 Pc를 수학식 6을 통해 추정할 수 있다.
Figure pat00006
수학식 6에서 f(X)는 X를 투영한 값으로,
Figure pat00007
로 나타낼 수 있다. 수학식 6에서 f(X)는 왜곡을 포함하고 있다. 일측에 따르면, 카메라 파라미터 Pc는 반경 오차(radial distortion)를 포함할 수 있다. 반경 오차를 통해 카메라 파라미터 Pc의 정확도를 향상시킬 수 있다. 반경 오차를 고려할 경우, 수학식 6은 수학식 7로 나타낼 수 있다.
Figure pat00008
수학식 7에서 k는 반경 오차이다. 수학식 7의 f´(X)는
Figure pat00009
로 나타낼 수 있다. k를 고려할 경우, k, r 및 uu, vu 사이의 관계식은 수학식 8과 같이 나타낼 수 있다. 계산량을 줄이기 위해, 카메라 렌즈의 왜곡이 크지 않은 경우 수학식 6을 통해 카메라 파라미터 Pc를 구할 수 있다.
Figure pat00010
단계(1040)에서, 카메라의 외부 파라미터에 기초하여 제1 변환 파라미터가 계산될 수 있다. 제1 변환 파라미터의 계산 과정은 도 7을 참조하여 설명한다.
도 7은 일 실시예에 따른 제1 변환 파라미터의 계산 과정을 설명하는 도면이다. 도 7을 참조하면, 단계(1210)에서, 제2 영상들에 대응하는 가상 패턴들의 위치가 결정된다. 가상 패턴들의 위치는 수학식 9를 통해 결정될 수 있다.
Figure pat00011
수학식 9에서 Xij는 i 번째 영상에서 j 번째 대응점의 위치를 나타낸다. Ri및 ti는 각각 i 번째 영상의 회전 파라미터 및 이동 파라미터를 나타낸다. 회전 파라미터 및 이동 파라미터는 카메라의 외부 파라미터로부터 결정될 수 있다. tj는 j 번째 특징점의 좌표를 의미한다. tj는 도 8을 참조하여 상세하게 설명한다.
도 8은 일 실시예에 따른 패턴의 좌표를 설명하는 도면이다. 도 8을 참조하면, 패턴의 좌표축(213)과, 좌표축(213)에 따른 네 점의 위치가 도시되어 있다. 도 8에서 d는 체스 패턴에 포함된 사각형의 한 변의 길이를 나타낸다. tj는 도 8에 도시된 것처럼, j 번째 대응 점의 좌표를 나타내는 1x3 행렬일 수 있다.
다시 도 7을 참조하면, 수학식 9를 통해 n 개의 영상에 대응하는 가상 패턴들을 복원할 수 있다. 도 9는 일 실시예에 따라 복원된 가상 패턴들을 도시한 도면이다.
단계(1220)에서, 가상 패턴들, 디스플레이 및 반사체 사이의 기하학적 관계들이 추정된다. 단계(1220)는 도 10a를 참조하여 설명한다.
도 10a는 일 실시예에 따른 가상 패턴들, 디스플레이 및 반사체 사이의 기하학적 관계들을 설명하는 도면이다. 도 10a를 참조하면, 추정된 가상 패턴(410), 디스플레이(200) 및 반사체(400) 사이의 기하학적 관계가 도시되어 있다. 디스플레이(200)의 위치는 제1 변환 파라미터의 초기 값에 따라 정해질 수 있다. 제1 변환 파라미터의 초기 값은 설계된 제1 변환 파라미터 값 또는 임의의 제1 변환 파라미터 값으로 설정될 수 있다. 제1 변환 파라미터는 수학식 10과 같이 나타낼 수 있다.
Figure pat00012
수학식 10에서, Tcp는 제1 변환 파라미터를 나타내고, Rcp는 카메라 좌표 Cc에 대한 디스플레이 좌표 Cp의 회전 파라미터를 나타내고, tcp는 카메라 좌표 Cc에 대한 디스플레이 좌표 Cp의 이동 파라미터를 나타낸다.
제1 변환 파라미터의 초기 값이 설정되어 디스플레이(200)의 위치가 설정됨에 따라, 제1 패턴의 특징점을 가상 패턴(410)의 대응점으로 투영할 수 있다. 제1 변환 파라미터가 참 값에 가까울수록 제1 변환 파라미터에 따라 투영된 특징점과 가상 패턴(410)의 대응점의 거리는 가까워진다. 추정된 제1 변환 파라미터가 참 값에서 멀어질수록 제1 변환 파라미터에 따라 투영된 특징점과 가상 패턴(410)의 대응점의 거리는 멀어진다.
이하 제1 변환 파라미터에 의해 설정된 디스플레이(200)의 특징점을 가상 패턴(410)으로 투영하는 방법을 설명한다. 디스플레이(200)의 j 번째 특징점을 수학식 11로 나타낼 수 있다.
Figure pat00013
수학식 11에서
Figure pat00014
는 디스플레이(200)의 j 번째 특징점을 나타내고, tj는 디스플레이(200)의 원점에 대한 j 번째 특징점의 이동 위치이다. 나머지 파라미터들은 수학식 10에서와 같다. 모든 특징점들은 동일 평면에 존재하기 때문에, 동일한 노말 벡터를 가진다. 디스플레이(200)의 노말 벡터
Figure pat00015
은 Rcp의 3 번째 열에 해당하며, 수학식 12와 같이 나타낼 수 있다.
Figure pat00016
가상 패턴(410)과 카메라(100)의 자세는 카메라(100)의 외부 파라미터를 통해 알고 있으므로, 카메라(100)와 가상 패턴(410)의 위치를 특정할 수 있다. 디스플레이(200)의 위치는 제1 변환 파라미터의 초기 값에 따라 설정되고, 디스플레이(200)와 가상 패턴(410)의 중앙에 반사체(400)의 위치를 설정할 수 있다. 반사체(400)와 디스플레이(200)가 이루는 각도와 반사체(400)와 가상 패턴(410)이 이루는 각도는 동일하다. 따라서, 앞서 설명된 방법에 따라, 가상 패턴(410), 디스플레이(200) 및 반사체(400) 사이의 기하학적 관계가 추정될 수 있다.
다시 도 7을 참조하면, 단계(1230)에서 제1 패턴 및 가상 패턴들 사이의 투영 오차가 최소화된다. 특징점의 투영 과정 및 특징점의 투영 오차를 계산하는 과정을 도 10a를 참조하여 설명한다. 디스플레이(200)의 정규화된 노말 벡터 nmi는 수학식 13으로 나타낼 수 있다.
Figure pat00017
수학식 13에서
Figure pat00018
은 디스플레이(200)의 노말 벡터이고, ni는 가상 패턴(410)의 노말 벡터이다. 도 6과 같이, 디스플레이(200)의 특징점
Figure pat00019
를 반사체(400)의 노말 방향인 nmi로 dij만큼 이동할 경우,
Figure pat00020
는
Figure pat00021
의 위치로 투영된다. dij는 수학식 14와 같이 나타낼 수 있다.
Figure pat00022
또한, 앞서 설명된 특징점의 투영은 수학식 15와 같이 나타낼 수 있다.
Figure pat00023
투영 오차는 설정된 디스플레이(200)의 특징점
Figure pat00024
를 투영한 tij(
Figure pat00025
)와 대응되는 i 번째 가상 패턴의 특징점
Figure pat00026
와의 유클리디언 거리를 나타낸다. 특징점
Figure pat00027
를 모든 가상 패턴들에 투영한 오차의 평균 EM은 수학식 16으로 나타낼 수 있다.
Figure pat00028
제1 변환 파라미터의 초기 값에서 임의로 값을 변경하여 얻은 Em이 초기 값에 의한 Em에 비해 작으면, 제1 변환 파라미터는 임의로 변경한 값으로 업데이트될 수 있다. 제1 변환 파라미터 값의 변동이 발생하지 않을 때까지 이와 같은 과정을 변경하여 최종적인 제1 변환 파라미터 값을 구할 수 있다.
도 10b는 일 실시예에 따른 가상 평면들을 통해 제1 변환 파라미터 값을 추정하는 과정을 설명하는 도면이다. 도 10b에서, 디스플레이(200), 반사체들(401, 402, 403) 및 가상 평면들(411, 412, 413)에 기초하여 구해진
Figure pat00029
,
Figure pat00030
및
Figure pat00031
와
Figure pat00032
의 오차가 가장 적은 제1 변환 파라미터가 최종적인 제1 변환 파라미터로 결정될 수 있다.
도 11은 일 실시예에 따른 제1 변환 파라미터 값을 추정하는 과정을 설명하는 동작 흐름도이다. 도 11을 참조하면, 단계(1310)에서 가상 패턴의 회전(R)과 이동(t)에 기초하여 가상 패턴의 좌표가 계산된다. 가상 패턴의 회전(R)과 이동(t)은 카메라의 외부 파라미터로부터 획득될 수 있다. 단계(1320)에서 제1 변환 파라미터 Tcp가 설정된다. 최초 이터레이션에서는 초기 Tcp로 설정되며, 이터레이션이 진행됨에 따라 수정된 제1 변환 파라미터 Tcp로 설정될 수 있다.
단계(1330)에서, 가상 패턴의 영상을 지시하는 인덱스 i를 이용하여 각 가상 패턴에 대응하는 노말 벡터 nmi가 설정된다. 단계(1340)에서, 각 가상 패턴 내 특징점을 지시하는 인덱스 j를 이용하여 특징점 사이의 거리가 계산된다. 예를 들어, 디스플레이에 표시된 특징점과 가상 패턴 내 특징점 사이의 거리가 계산될 수 있다. 단계(1360)에서, 투영 오차 Em이 계산된다. 예를 들어, 각 가상 패턴에 대응하여 계산된 특징점 사이의 거리가 누적 합산되어 투영 오차 Em이 계산될 수 있다.
모든 가상 패턴을 고려한 투영 오차 Em이 계산된 이후, 단계(1370)에서 투영 오차 Em이 이전 투영 오차 Ep보다 작은지 여부가 판단된다. 이전 투영 오차 Ep는 이전 이터레이션에서 계산된 투영 오차로, 최초 이터레이션에서는 충분히 큰 값으로 설정될 수 있다.
투영 오차 Em이 이전 투영 오차 Ep보다 작은 경우, 단계(1380)에서 이전 투영 오차 Ep가 갱신되고, 단계(1390)에서 제1 변환 파라미터 Tcp가 수정될 수 있다. 투영 오차 Em이 이전 투영 오차 Ep보다 크거나 같은 경우, 단계(1400)에서 이전 투영 오차 Ep와 투영 오차 Em 사이의 차이가 임계치 ε보다 작은지 여부가 판단된다.
이전 투영 오차 Ep와 투영 오차 Em 사이의 차이가 임계치 ε보다 크거나 같은 경우, 단계(1390)에서 제1 변환 파라미터 Tcp가 수정될 수 있다. 이전 투영 오차 Ep와 투영 오차 Em 사이의 차이가 임계치 ε보다 작은 경우, 단계(1410)에서 제1 변환 파라미터 Tcp가 확정된다. 확정되는 제1 변환 파라미터 Tcp는 이전 이터레이션에서 수정된 제1 변환 파라미터 Tcp일 수 있다.
다시 도 2b를 참조하면, 단계(1050)에서, 캡쳐 영상에 기초하여 제2 변환 파라미터가 계산될 수 있다. 제2 변환 파라미터의 계산 과정은 도 12 내지 도 17를 참조하여 설명한다.
도 12는 일 실시예에 따른 제2 변환 파라미터를 추정하는 과정을 설명하는 동작 흐름도이다. 도 12를 참조하면, 가상 패턴을 지시하는 인덱스 i를 이용하여 단계(2210)에서 각 가상 패턴 내 제2 패턴에 대응하는 영역이 추출된다. 디스플레이에 표시되는 제2 패턴은 동일한 색과 밝기의 영역(예를 들어, 흰색 배경)일 수 있다. 일 예로, 광학 레이어로 기울어진 배리어(Slanted Barrier)를 사용할 경우, 흰색 배경이 모니터에 디스플레이 되었을 때 거울을 통해 촬영된 영상은 기울어진 배리어에 대응하는 패턴을 포함한다. 도 4의 패턴(210-5) 및 패턴(211-1)을 참조하면, 패턴(210-5)는 카메라 파라미터 및 제1 변환 파라미터를 추정하는 데 이용되고, 패턴(211-1)은 제2 변환 파라미터를 추정하는 데 이용될 수 있다.
다른 예로, 광학 레이어로 기울어진 렌즈(Slanted Lens)를 사용하는 경우, 렌즈의 직접적인 관찰이 불가하므로, 디스플레이에 표시되는 제2 패턴은 동일한 밝기의 연속된 선들이 미리 정해진 간격으로 배치된 패턴(단색 스트라이프 패턴)이 사용될 수 있다. 도 4의 패턴(210-6) 및 패턴(211-2)를 참조하면, 패턴(210-6)은 카메라 파라미터 및 제1 변환 파라미터를 추정하는 데 이용되고, 패턴(211-2)는 제2 변환 파라미터를 추정하는 데 이용될 수 있다.
단계(2220)에서, 추출된 영역이 변환된다. 제2 변환 파라미터를 추정하기 위하여 추출된 영역은 투영된 영역이므로, 본래의 크기와 모양과는 다르다. 따라서, 추출된 영역을 본래의 크기와 모양으로 변환시키는 과정이 필요하다. 도 13은 일 실시예에 따른 추출된 영역을 변환하는 과정을 설명하는 동작 흐름도이다.
도 13을 참조하면, 촬영된 영상은 거울을 통해 반사된 영상이므로, 단계(2310)에서 촬영된 영상은 좌우 반전된다. 단계(2320)에서, 좌우 반전된 영상으로부터 제2 패턴에 대응하는 영역이 추출되고, 추출된 영역의 코너가 검출된다. 추출된 영역의 코너 점들은 각각 p1, p2, p3, p4로 정의될 수 있다. 여기서, p1은 상-좌측 코너, p2는 상-우측 코너, p3은 하-좌측 코너, p4는 하-우측 코너일 수 있다.
각각의 코너점들은 수학식 17과 같은 관계를 가질 수 있다.
Figure pat00033
여기서, w는 제2 패턴의 실제 가로의 길이이고, h는 제2 패턴의 실제 세로의 길이이다. pnx는 pn의 x좌표이고, pny는 pn의 y좌표이다. H[]는 호모그래피 연산자이다.
단계(2330)에서 수학식 17을 만족시키는 호모그래피 H가 계산된 후, 단계(2340)에서 추출된 영역 S 내부에 속하는 모든 픽셀 pi에 H를 적용함으로써 영역이 변환된다. 영역 변환은 영역 와핑(warping)이라고 지칭될 수 있으며, 와핑된 픽셀 pi'는 수학식 18과 같이 표현될 수 있다.
Figure pat00034
다시 도 12를 참조하면, 단계(2230)에서 변환된 영역에 포함된 패턴의 기울기가 계산되고, 단계(2240)에서 변환된 영역에 포함된 패턴의 피치가 계산된다. 만일 광학 레이어가 기울어진 배리어를 사용하고, 제2 패턴으로 흰색 배경이 사용되는 경우, 변환된 영상으로부터 기울기 및 피치가 직접 도출될 수 있다. 예를 들어, 변환된 영상에서 흰색으로 표시되는 부분은 광학 레이어의 슬릿에 해당하므로, 흰색으로 표시되는 패턴의 기울기를 측정함으로써 광학 레이어가 기울어진 각도를 획득할 수 있다.
슬릿과 슬릿 사이의 거리를 ph (pixel)라고 할 때, 광학 레이어의 피치 p는 수학식 19와 같이 계산될 수 있다.
Figure pat00035
여기서, sp는 픽셀의 크기를 의미한다.
변환된 영상의 콘트라스트(contrast)가 낮거나, 변환된 영상에 잡음이 많은 경우 등에는 변환된 영상으로부터 제2 변환 파라미터를 직접 추출하기 어렵다. 이 경우, 변환된 영상을 주파수 도메인으로 변환한 뒤, 수학식 20 및 수학식 21을 이용하여 제2 변환 파라미터를 추출할 수 있다.
Figure pat00036
여기서, δ는 주파수 도메인의 영상에서 인텐시티가 가장 높은 점들을 연결하는 선과 수직선 사이의 각도이고, θ는 광학 레이어가 기울어진 각도이다.
Figure pat00037
여기서, ρ는 주파수 도메인의 영상에서 인텐시티가 가장 높은 점들 사이의 수평 방향 거리이고, p는 광학 레이어의 피치이다.
모든 가상 패턴에서 기울기 및 피치가 계산되면, 단계(2250)에서 기울기의 평균 및 피치의 평균이 산출된다.
이하, 도 14 내지 도 17을 참조하여, 광학 레이어가 기울어진 렌즈를 사용하고, 제2 패턴이 스트라이프 패턴을 포함하는 경우, 제2 변환 파라미터를 계산하는 동작을 설명한다.
도 14는 일 실시예에 따른 제2 패턴의 출력 과정을 설명하는 도면이다. 도 14를 참조하면, 제2 패턴의 영상(1421)은 스트라이프 패턴일 수 있다. 제2 패턴의 영상(1421)은 광학 레이어(1423)를 통과하면서 제3 패턴의 영상(1430)과 같이 재생될 수 있다. 제3 패턴의 영상(1430)은 광학 레이어(1423)의 중심점(렌즈의 중심 축, 슬릿 등)을 통과하는 광선 이미지(ray image)일 수 있다. 제3 패턴의 영상(1430)은 복수의 점들을 포함하는 선이 일정한 간격으로 배치된 패턴을 포함할 수 있다. 예를 들어, 제3 패턴의 영상(1430)은 하나의 주 방향을 가지는 반복적인 선들을 포함할 수 있다.
제3 패턴의 영상(1430)에 포함된 선들 각각의 기울기는 제2 패턴의 영상(1421)에 포함된 선들 각각의 기울기와 다르다. 예를 들어, 제2 패턴의 영상(1421)에 포함된 선들은 수직선들이고, 제3 패턴의 영상(1430)에 포함된 선들은 기울어진 선들일 수 있다. 또한, 제3 패턴의 영상(1430)에 포함된 선들 사이의 간격은 제2 패턴의 영상(1421)에 포함된 선들 사이의 간격과 다르다.
이하, 아래에서 상세히 설명하겠으나, 프로세서는 제3 패턴의 영상(1430)에 포함된 선들 중 인접한 두 선(1431, 1432)을 분석함으로써 3차원 디스플레이 장치(1420)를 위한 제2 변환 파라미터를 결정할 수 있다. 예를 들어, 프로세서는 선(1431)와 선(1432)의 기울기, 및 선(1431)과 선(1432) 사이의 간격을 이용하여 제2 변환 파라미터를 결정할 수 있다. 전술한 바와 같이, 제2 변환 파라미터는 광학 레이어(1423)의 포즈와 피치를 포함할 수 있다.
도 15a 내지 도 15c는 일 실시예에 따른 제3 패턴의 영상과 제2 변환 파라미터 사이의 기하학적 관계를 설명하는 도면들이다. 도 15a을 참조하면, 제3 패턴의 영상은 선(1731)과 선(1732)을 구성하는 복수의 점들을 포함할 수 있다. 프로세서는 제3 패턴의 영상으로부터 제3 패턴의 기울기에 대응하는 계수 α를 측정할 수 있다. 예를 들어, 제3 패턴의 기울기에 대응하는 계수 α는 선(1732)의 기울기일 수 있다. 또한, 프로세서는 제3 패턴의 영상으로부터 제3 패턴의 주기에 대응하는 계수 c를 측정할 수 있다. 예를 들어, 제3 패턴의 주기에 대응하는 계수 c는 선(1731)과 선(1732)이 수직 방향으로 이격된 간격에 대응할 수 있다.
선(1711)과 선(1712)은 제2 패턴의 영상에 포함된 선들이다. 프로세서는 3차원 디스플레이 장치의 패널에 관한 정보를 사전에 알고 있을 수 있다. 예를 들어, 프로세서는 패널의 서브 픽셀 구조, 패널의 해상도, 패널의 크기 등을 알고 있을 수 있다. 패널의 서브 픽셀 구조는 패널 내 제2 패턴에 이용되는 색상의 서브 픽셀들 사이의 간격을 포함할 수 있다. 프로세서는 패널에 관한 정보에 기초하여 제2 패턴의 주기에 대응하는 계수 g를 획득할 수 있다. 예를 들어, 제2 패턴의 주기에 대응하는 계수 g는 선(1711)과 선(1712) 사이의 간격일 수 있다.
제2 패턴의 영상은 패널에 디스플레이 되고 제3 패턴의 영상은 임의의 시점에서 캡쳐되므로, 패널에 디스플레이 되는 선들 사이의 실제 간격과 제3 패턴의 영상 위에 가상적으로 도시된 선들(1711, 1712) 사이의 간격은 상이할 수 있다. 프로세서는 패널의 크기와 제3 패턴의 영상의 크기의 비율을 고려하여 선(1711)과 선(1712) 사이의 간격을 획득할 수 있다.
프로세서는 제2 패턴 및 제3 패턴에 기초하여, 3차원 디스플레이 장치를 위한 제2 변환 파라미터를 결정한다. 예를 들어, 프로세서는 제3 패턴의 기울기에 대응하는 계수 α, 제3 패턴의 주기에 대응하는 계수 c, 및 제2 패턴의 주기에 대응하는 계수 g에 기초하여, 제2 변환 파라미터를 결정할 수 있다. 제2 변환 파라미터는 광학 레이어의 치수와 관련된 계수 p 및 광학 레이어의 포즈와 관련된 계수 θ를 포함할 수 있다.
광학 레이어의 치수와 관련된 계수 p는 광학 레이어의 피치일 수 있다. 광학 레이어의 피치는 광학 레이어에 포함된 원소들 사이의 간격으로, 예를 들어 제1 렌즈의 중심축(1721)과 제2 렌즈의 중심축(1722) 사이의 최단 간격일 수 있다. 광학 레이어의 포즈와 관련된 계수 θ는 광학 레이어의 회전 각도일 수 있다. 광학 레이어의 회전 각도는 패널을 기준으로 광학 레이어가 회전된 각도로, 예를 들어 제3 렌즈의 중심축(1723)과 패널에 표시되는 선(1712) 사이의 각도일 수 있다.
도 15b를 참조하면, 제1 렌즈의 중심축(1721)과 제2 렌즈의 중심축(1722)이 수평 방향으로 이격된 간격 (이하, '수평 간격'이라고 함)은 p/cosθ 이다. p/cosθ 는 광학 레이어의 수평 피치일 수 있다. 제1 렌즈의 중심축(1721)과 제2 렌즈의 중심축(1722) 사이의 수평 간격은 제2 렌즈의 중심축(1722)과 제3 렌즈의 중심축(1723) 사이의 수평 간격과 동일하다. 따라서, 제1 렌즈의 중심축(1721)과 제3 렌즈의 중심축(1723) 사이의 수평 간격은 2·p / cosθ 이다.
직각 삼각형(1760)을 참조하면, 밑변의 길이는 2·p / cosθ - g 이고, 높이는 g·tanα 이며, 한 예각의 크기는 θ 이다. 직각 삼각형(1760)의 두 변의 길이와 한 예각의 크기에 기초하여 수학식 22가 도출될 수 있다.
Figure pat00038
수학식 22는 수학식 23과 같이 정리될 수 있다.
Figure pat00039
여기서, g는 제2 패턴의 주기에 대응하는 계수이고, α는 제3 패턴의 기울기에 대응하는 계수이다. θ는 광학 레이어와 패널 사이의 회전 각도이고, p는 광학 레이어의 피치이다. n은 제2 패턴의 한 주기에 대응하는 광학 레이어의 원소 수로, 예를 들어 제3 패턴의 영상에 포함된 인접 선들 사이에 존재하는 렌즈의 수일 수 있다.
도 15c를 참조하면, 제1 렌즈의 중심축(1721)과 제2 렌즈의 중심축(1722)이 수직 방향으로 이격된 간격 (이하, '수직 간격'이라고 함)은 p / sinθ 이다. 직각 삼각형(910)을 참조하면, 밑변의 길이는 p이고, 한 예각의 크기는 θ 이다. 직각 삼각형(910)의 두 변의 길이와 한 예각의 크기에 기초하여 수학식 24이 도출될 수 있다.
Figure pat00040
여기서, c는 제3 패턴의 주기에 대응하는 계수이고, p는 광학 레이어의 피치이며, θ는 광학 레이어와 패널 사이의 회전 각도이다. 프로세서는 수학식 23 및 수학식 24에 기초하여, 광학 레이어의 피치 p 및 광학 레이어와 패널 사이의 회전 각도 θ 를 결정할 수 있다.
설명의 편의를 위하여, 도 15a 내지 도 15c는 n이 2인 경우를 가정하고 설명하였으나, n에 따라 광학 레이어의 피치 p 및 광학 레이어와 패널 사이의 회전 각도 θ 가 다양하게 변경될 수 있다. 일 예로, 도 10a를 참조하면, 제2 패턴과 제3 패턴이 주어진 상황에서, n이 1인 경우(1010) 수학식 23 및 수학식 24를 만족하는 광학 레이어의 피치 p 및 광학 레이어와 패널 사이의 회전 각도 θ 가 계산될 수 있다. 다른 예로, 제2 패턴과 제3 패턴이 주어진 상황에서, n이 3인 경우(1020) 수학식 23 및 수학식 24를 만족하는 광학 레이어의 피치 p 및 광학 레이어와 패널 사이의 회전 각도 θ 가 계산될 수 있다.
수학식 23 및 수학식 24에서, 미지수는 n, p, θ 로 총 세 개이다. 미지수의 개수가 방정식의 개수보다 많으므로, 수학식 23 및 수학식 24를 만족하는 복수의 해가 존재할 수 있다. 예를 들어, 제2 패턴의 한 주기에 대응하는 광학 레이어의 원소 수 n 및 광학 레이어의 회전 각도 θ 사이의 관계는 도 16의 그래프와 같이 표현될 수 있다.
제2 패턴의 한 주기에 대응하는 광학 레이어의 원소 수 n은 1 이상의 양의 정수이고, 광학 레이어의 회전 각도 θ 는 - 90˚ 이상 + 90˚ 이하이므로, 도 16의 그래프로부터 후보 해들이 추출될 수 있다. 예를 들어, n은 1, 2, 3, 또는 4인 경우 θ 는 각각 23.2735˚, 11.9920˚, 8.0214˚, 또는 6.0218˚ 일 수 있다. θ 를 알면, 수학식 24에 따라 p가 계산될 수 있다.
만약 3차원 디스플레이 장치의 초기 파라미터가 알려진 경우, 초기 파라미터를 이용하여 후보 해들 중 최적 해가 선택될 수 있다. 초기 파라미터는 3차원 디스플레이 장치의 설계 값일 수 있다. 예를 들어, 3차원 디스플레이 장치의 광학 레이어의 피치가 0.5mm로 설계된 경우, 후보 해들 중 피치 p가 설계 값 0.5mm와 가장 근사한 n = 2인 후보 해가 최종적으로 선택될 수 있다. 또는, 3차원 디스플레이 장치의 광학 레이어의 회전 각도가 12˚로 설계된 경우, 후보 해들 중 회전 각도 θ 가 설계 값 12˚와 가장 근사한 n = 2인 후보 해가 최종적으로 선택될 수 있다. 실시예들은 광학 레이어의 회전 각도와 광학 레이어의 피치를 동시에 결정하는 기술을 제공할 수 있다.
도 17는 일 실시예에 따른 제3 패턴의 영상을 퓨리에 변환하여 제3 패턴의 기울기에 대응하는 계수 및 제3 패턴의 주기에 대응하는 계수를 측정하는 기법을 설명하는 도면이다. 실시예들은 노이즈에 강인하고, 캡쳐된 영상의 기울기에 무관하게 계수들을 측정하는 기술을 제공할 수 있다.
제3 패턴의 영상에 포함된 패턴은 노이즈를 포함하거나, 불규칙적일 수 있다. 이에 따라, 제3 패턴의 영상에서 직접 제3 패턴의 기울기 및/또는 제3 패턴의 간격을 측정하는 경우 오차가 발생될 수 있다. 실시예들은 제3 패턴의 영상을 퓨리에 변환하여 주파수 도메인에서 제3 패턴의 기울기에 대응하는 계수 및 제3 패턴의 주기에 대응하는 계수를 정확하게 측정하는 기술을 제공할 수 있다.
도 17를 참조하면, 영상(2120)은 제3 패턴의 영상(2110)을 퓨리에 변환한 결과이다. 제3 패턴의 영상(2110)과 달리 영상(2120)에는 패턴의 기울기와 주기가 명확하게 표시되며, 제3 패턴의 영상(2110)에 노이즈가 포함되더라도 영상(2120)에는 동일한 기울기 및 주기가 표시될 수 있다.
프로세서는 영상(2120)을 이용하여 제3 패턴의 기울기에 대응하는 계수 및 제3 패턴의 주기에 대응하는 계수를 측정할 수 있다. 벡터 b는 영상(2120)의 중심으로부터 수평 방향으로 가까운 점을 연결하는 선이다. 벡터 b는 제3 패턴의 영상에서 수직 방향의 주파수 성분을 나타낸 것으로, 제3 패턴의 영상 자체의 기울어짐을 나타낼 수 있다. 프로세서는 벡터 b를 이용하여 나머지 기울기들을 보정할 수 있다. 벡터 a는 영상(2120) 내 가장 인텐시티(intensity)가 높은 점들을 연결하는 선이다. 벡터 a의 기울기는 제3 패턴의 기울기와 직교한다. 영상(2130)은 영상(2120) 내 일부 영역의 인텐시티를 도시한다. 영상(2130)의 x축과 y축은 영상(2120)의 x축과 y축에 대응하며, 영상(2130)의 z축의 값은 영상(2120)에서 밝기로 표시될 수 있다.
프로세서는 수학식 25를 이용하여 제3 패턴의 기울기에 대응하는 계수를 측정할 수 있다.
Figure pat00041
여기서, α는 제3 패턴의 기울기에 대응하는 계수이고, b는 영상(2120)의 x축과 벡터 a가 이루는 각도이며, a는 영상(2120)의 x축과 벡터 b가 이루는 각도이다.
프로세서는 영상(2120)의 전체 높이를 높이로 나누어, 제3 패턴의 영상 내 동일한 기울기 또는 주 방향을 가지는 선들이 포함된 개수를 계산할 수 있다. 여기서, 높이는 영상(2120)에서 가장 인텐시티가 높은 점들 사이의 높이 차이, 또는 영상(2120)의 가장 인텐시티가 높은 점들 중 영상(2120)의 원점과 가장 가까운 점의 높이일 수 있다.
프로세서는 3차원 디스플레이 장치에 표시되는 제2 패턴의 영상의 높이를 계산된 개수로 나눔으로써, 제3 패턴의 주기에 대응하는 계수를 계산할 수 있다. 이 경우, 프로세서는 패널에 디스플레이 되는 제2 패턴의 선들 사이의 실제 간격으로, 제2 패턴의 주기에 대응하는 계수를 계산할 수 있다.
또는, 프로세서는 캡쳐된 제3 패턴의 영상의 높이를 계산된 개수로 나눔으로써, 제3 패턴의 주기에 대응하는 계수를 계산할 수 있다. 이 경우, 프로세서는 패널의 크기와 제3 패턴의 영상의 크기의 비율을 고려하여, 패널에 디스플레이 되는 제2 패턴의 선들 사이의 실제 간격을 조절함으로써 제2 패턴의 주기에 대응하는 계수를 계산할 수 있다.
프로세서는 전술한 과정들을 반복 수행함으로써 3차원 디스플레이 장치를 위한 제2 변환 파라미터를 더 정확하게 결정할 수 있다. 예를 들어, 프로세서는 반복 수행 결과 도출된 제2 변환 파라미터들의 통계를 이용하여 최종 제2 변환 파라미터를 결정할 수 있다. 또는, 프로세서는 제2 변환 파라미터들 중 표준 분포에서 벗어난 제2 변환 파라미터를 배제하고 최종 제2 변환 파라미터를 결정할 수도 있다. 프로세서는 반복 수행 결과 도출된 제2 변환 파라미터들을 이용하여 최종 제2 변환 파라미터를 결정함으로써, 단일 이터레이션(single iteration)의 결과에 포함 가능한 오류로 인하여 최종 제2 변환 파라미터가 부정확해지는 정도를 최소화시킬 수 있다.
도 18 및 도 19는 일 실시예에 따른 복수의 카메라들이 있는 경우 파라미터들의 추정 과정을 설명하는 도면이다.
도 18을 참조하면, 좌측 카메라(101) 및 우측 카메라(102)가 결합된 디스플레이(200), 및 디스플레이(200)의 3차원 변환 장치(300)가 도시되어 있다. 복수의 카메라들(101, 102) 각각은 카메라 좌표축 Clc 및 Crc를 갖는다. 디스플레이(200)는 디스플레이 좌표축 Cp를 갖는다. 도 19을 참조하면, 단계(2510)에서 캡쳐 영상에 기초하여 우측 카메라 파라미터가 계산된다. 단계(2510)에서, 캡쳐 영상에 기초하여 우측 카메라 파라미터가 계산된다. 단계(2530)에서 외부 파라미터에 기초하여 제1 변환 파라미터가 계산된다. 외부 파라미터는 좌측 카메라(101)에 대해 계산된 제1 외부 파라미터 및 우측 카메라(102)에 대해 계산된 제2 외부 파라미터를 포함할 수 있다. 제1 외부 파라미터에 대한 제1 변환 파라미터와 제2 외부 파라미터에 대한 제2 외부 파라미터가 각각 계산될 수 있다. 단계(2540)에서 캡쳐 영상에 기초하여 우측 카메라 파라미터가 계산된다. 이상 카메라가 두 개인 경우의 실시예를 설명하였으나, 카메라가 세 개 이상인 경우에도 앞서 설명된 것과 유사하게 파라미터들을 추정할 수 있다.
도 20 및 도 21은 일 실시예에 따른 카메라가 구비된 디스플레이 장치의 파라미터들의 추정 과정을 설명하는 도면이다.
도 20를 참조하면, 태블릿 컴퓨터의 카메라(103)와 디스플레이(203), TV나 모니터의 카메라(104)와 디스플레이(204), 및 휴대폰의 카메라(105)와 디스플레이가 도시되어 있다. 도 21을 참조하면, 단계(2710)에서, 캡쳐 영상에 기초하여 카메라 파라미터가 계산된다. 단계(2720)에서, 외부 파라미터에 기초하여 제1 변환 파라미터가 계산된다. 제1 변환 파라미터를 통해 각각의 전자 기기들은 카메라와 디스플레이의 자세를 추정할 수 있다. 앞서 설명된 내용은 태블릿 컴퓨터, TV, 모니터 및 휴대폰 이외에도 디스플레이와 카메라가 결합된 전자 장치에 적용될 수 있다.
도 22는 일 실시예에 따른 일 실시예에 따른 전자 시스템을 도시하는 블록도이다. 도 22를 참조하면, 전자 시스템은 카메라(2820), 프로세서(2810) 및 디스플레이(2830)를 포함한다. 카메라(2820), 프로세서(2810), 및 디스플레이(2830)는 버스(2840)를 통하여 서로 통신할 수 있다.
카메라(2820)는 잘 알려진 방식(예를 들어, 광학 이미지를 전기 신호로 변환하는 방식 등)으로 영상을 캡쳐할 수 있다. 캡쳐된 영상은 프로세서(2810)로 출력된다. 프로세서(2810)는 도 1 내지 도 23을 통하여 전술한 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 23을 통하여 전술한 적어도 하나의 방법을 수행할 수 있다. 예를 들어, 프로세서(2810)는 도 2에서 설명된 각 단계들을 수행할 수 있다. 디스플레이(2830)는 제1 패턴 및 제2 패턴을 포함하는 제1 영상을 표시할 수 있다.
도면에 도시되지 않았으나, 전자 시스템은 메모리를 더 포함할 수 있다. 메모리는 각종 패턴들, 카메라(2820)에 의하여 캡쳐된 영상들, 및/또는 프로세서(2810)에 의하여 계산된 파라미터 등을 저장할 수 있다. 메모리는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.
프로세서(2810)는 프로그램을 실행하고, 전자 시스템을 제어할 수 있다. 프로세서(2810)에 의하여 실행되는 프로그램 코드는 메모리에 저장될 수 있다. 전자 시스템은 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 데이터를 교환할 수 있다.
전자 시스템은 이동 전화, 스마트 폰, PDA, 태블릿 컴퓨터, 랩톱 컴퓨터 등 모바일 장치, 퍼스널 컴퓨터, 태블릿 컴퓨터, 넷북 등 컴퓨팅 장치, 또는 텔레비전, 스마트 텔레비전, 게이트 제어를 위한 보안 장치 등 전자 제품 등 다양한 전자 시스템들을 포함할 수 있다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (35)

  1. 제1 패턴을 포함하는 제1 영상을 디스플레이에 표시하는 단계;
    상기 디스플레이와 결합된 카메라를 이용하여, 상기 제1 영상이 반사체에 의하여 서로 다른 각도로 반사된 복수의 제2 영상들을 캡쳐하는 단계; 및
    상기 제1 영상 및 상기 복수의 제2 영상들에 기초하여, 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하는 단계
    를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  2. 제1항에 있어서,
    상기 제1 변환 파라미터는
    상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 회전 매트릭스, 및 상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 이동 벡터 중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  3. 제1항에 있어서,
    상기 제1 변환 파라미터를 추정하는 단계는
    상기 제1 패턴 및 상기 복수의 제2 영상들에 대응하는 가상 패턴들 사이의 투영 오차가 최소화되도록, 상기 제1 변환 파라미터를 결정하는 단계
    를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  4. 제3항에 있어서,
    상기 가상 패턴들 각각은
    해당 각도에 따라 상기 제1 패턴이 상기 반사체 속에 맺히는 허상인, 디스플레이 장치의 파라미터 추정 방법.
  5. 제1항에 있어서,
    상기 제1 변환 파라미터를 추정하는 단계는
    상기 복수의 제2 영상들에 대응하여, 상기 디스플레이 및 상기 반사체 사이의 기하학적 관계들을 추정하는 단계;
    상기 기하학적 관계들에 기초하여, 상기 제1 패턴 및 상기 복수의 제2 영상들에 대응하는 가상 패턴들 사이의 투영 오차를 계산하는 단계; 및
    상기 투영 오차가 감소되도록 상기 제1 변환 파라미터를 갱신하는 단계
    를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  6. 제1항에 있어서,
    상기 제1 패턴은
    미리 정해진 형태가 반복되는 패턴을 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  7. 제1항에 있어서,
    상기 제1 패턴 및 상기 복수의 제2 영상들 중 적어도 하나에 기초하여, 상기 카메라의 내부 파라미터를 추정하는 단계; 및
    상기 제1 영상에 포함된 제2 패턴 및 상기 복수의 제2 영상들 중 적어도 하나에 기초하여, 상기 디스플레이 및 상기 디스플레이와 결합된 광학 레이어 사이의 제2 변환 파라미터를 추정하는 단계
    중 적어도 하나를 더 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  8. 제7항에 있어서,
    상기 제2 변환 파라미터를 추정하는 단계는
    상기 제2 패턴의 주기, 상기 적어도 하나의 제2 영상에 포함된 제3 패턴의 주기, 및 상기 제3 패턴의 기울기에 기초하여 제2 변환 파라미터를 추정하는 단계
    를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  9. 제8항에 있어서,
    상기 디스플레이의 서브 픽셀 구조에 기초하여, 상기 제2 패턴의 주기를 획득하는 단계; 및
    상기 제3 패턴이 주파수 변환된 푸리에 공간에서 상기 제3 패턴의 주기 및 상기 제3 패턴의 기울기를 획득하는 단계
    중 적어도 하나를 더 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  10. 제7항에 있어서,
    상기 내부 파라미터는
    상기 카메라의 초점 거리, 상기 카메라의 중심 좌표, 및 상기 카메라의 기울기(skewness) 중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  11. 제7항에 있어서,
    상기 제2 변환 파라미터는
    상기 광학 레이어의 피치, 및 상기 광학 레이어와 상기 디스플레이 사이의 회전 각도 중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  12. 제7항에 있어서,
    상기 제2 패턴은
    동일한 밝기의 연속된 선이 미리 정해진 간격으로 배치되는 패턴; 및
    색상과 밝기가 동일한 영역을 포함하는 패턴
    중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  13. 제7항에 있어서,
    상기 제2 패턴은
    상기 제1 패턴에서 반복되는 형태 내 포함되는, 디스플레이 장치의 파라미터 추정 방법.
  14. 하드웨어와 결합되어 제1항 내지 제13항 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  15. 시점 추적(eye tracking)을 위한 카메라;
    3차원 영상을 표시하는 디스플레이; 및
    제1 패턴을 포함하는 제1 영상을 표시하도록 상기 디스플레이를 제어하고, 상기 제1 영상이 반사체에 의하여 서로 다른 각도로 반사된 복수의 제2 영상들을 캡쳐하도록 상기 카메라를 제어하며, 상기 제1 영상 및 상기 복수의 제2 영상들에 기초하여 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하고, 상기 제1 변환 파라미터에 기초하여 상기 사용자의 시점을 추적하며, 상기 추적된 시점에 기초하여 상기 3차원 영상을 렌더링하는 프로세서
    를 포함하는, 3차원 디스플레이 장치.
  16. 제15항에 있어서,
    상기 제1 변환 파라미터는
    상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 회전 매트릭스, 및 상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 이동 벡터 중 적어도 하나를 포함하는, 3차원 디스플레이 장치.
  17. 제15항에 있어서,
    상기 프로세서는
    상기 제1 패턴 및 상기 복수의 제2 영상들에 대응하는 가상 패턴들 사이의 투영 오차가 최소화되도록, 상기 제1 변환 파라미터를 결정하는, 3차원 디스플레이 장치.
  18. 제15항에 있어서,
    상기 프로세서는
    상기 복수의 제2 영상들에 대응하여 상기 디스플레이 및 상기 반사체 사이의 기하학적 관계들을 추정하고, 상기 기하학적 관계들에 기초하여 상기 제1 패턴 및 상기 복수의 제2 영상들에 대응하는 가상 패턴들 사이의 투영 오차를 계산하며, 상기 투영 오차가 감소되도록 상기 제1 변환 파라미터를 갱신하는, 3차원 디스플레이 장치.
  19. 제15항에 있어서,
    상기 프로세서는
    상기 제1 영상에 포함된 제2 패턴 및 상기 복수의 제2 영상들 중 적어도 하나에 기초하여 상기 디스플레이 및 상기 디스플레이와 결합된 광학 레이어 사이의 제2 변환 파라미터를 추정하고, 상기 제2 변환 파라미터에 기초하여 상기 3차원 영상을 렌더링하는, 3차원 디스플레이 장치.
  20. 제19항에 있어서,
    상기 제2 변환 파라미터는
    상기 광학 레이어의 피치, 및 상기 광학 레이어와 상기 디스플레이 사이의 회전 각도 중 적어도 하나를 포함하는, 3차원 디스플레이 장치.
  21. 제19항에 있어서,
    상기 프로세서는
    상기 제2 패턴의 주기, 상기 적어도 하나의 제2 영상에 포함된 제3 패턴의 주기, 및 상기 제3 패턴의 기울기에 기초하여 제2 변환 파라미터를 추정하는, 3차원 디스플레이 장치.
  22. 제15항에 있어서,
    상기 프로세서는
    상기 제1 패턴 및 상기 복수의 제2 영상들 중 적어도 하나에 기초하여 상기 카메라의 내부 파라미터를 추정하고, 상기 내부 파라미터 및 상기 제1 변환 파라미터에 기초하여 상기 사용자의 시점을 추적하는, 3차원 디스플레이 장치.
  23. 제22항에 있어서,
    상기 내부 파라미터는
    상기 카메라의 초점 거리, 상기 카메라의 중심 좌표, 및 상기 카메라의 기울기(skewness) 중 적어도 하나를 포함하는, 3차원 디스플레이 장치.
  24. 제15항에 있어서,
    상기 제1 패턴은
    미리 정해진 형태가 반복되는 패턴을 포함하는, 3차원 디스플레이 장치.
  25. 제19항에 있어서,
    상기 제2 패턴은
    동일한 밝기의 연속된 선이 미리 정해진 간격으로 배치되는 패턴; 및
    색상과 밝기가 동일한 영역을 포함하는 패턴
    중 적어도 하나를 포함하는, 3차원 디스플레이 장치.
  26. 제25항에 있어서,
    상기 제2 패턴은
    상기 제1 패턴에서 반복되는 형태 내 포함되는, 3차원 디스플레이 장치.
  27. 제1 패턴 및 제2 패턴을 포함하는 제1 영상을 디스플레이에 표시하는 단계;
    상기 디스플레이와 결합된 카메라를 이용하여, 상기 제1 영상이 반사체에 반사된 제2 영상을 캡쳐하는 단계;
    상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여, 상기 카메라의 파라미터를 추정하는 단계;
    상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여, 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하는 단계; 및
    상기 제2 영상 내 상기 제2 패턴에 대응하는 영역에 기초하여, 상기 디스플레이 및 상기 디스플레이와 결합된 광학 레이어 사이의 제2 변환 파라미터를 추정하는 단계
    를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  28. 제27항에 있어서,
    상기 카메라의 파라미터는
    상기 카메라의 초점 거리, 상기 카메라의 중심 좌표, 및 상기 카메라의 기울기 중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  29. 제27항에 있어서,
    상기 제1 변환 파라미터는
    상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 회전 매트릭스, 및 상기 카메라의 좌표와 상기 디스플레이의 좌표 사이를 변환하는 이동 벡터 중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  30. 제27항에 있어서,
    상기 제2 변환 파라미터는
    상기 광학 레이어의 피치, 및 상기 광학 레이어와 상기 디스플레이 사이의 회전 각도 중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  31. 제27항에 있어서,
    상기 디스플레이 장치는
    사용자의 눈의 위치를 추적하여 3차원 영상을 재생하는 장치인, 디스플레이 장치의 파라미터 추정 방법.
  32. 제27항에 있어서,
    상기 제1 패턴은
    미리 정해진 형태가 반복되는 패턴을 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  33. 제27항에 있어서,
    상기 제2 패턴은
    동일한 밝기의 연속된 선이 미리 정해진 간격으로 배치되는 패턴; 및
    색상과 밝기가 동일한 영역을 포함하는 패턴
    중 적어도 하나를 포함하는, 디스플레이 장치의 파라미터 추정 방법.
  34. 제33항에 있어서,
    상기 제2 패턴은
    상기 제1 패턴에서 반복되는 형태 내 포함되는, 디스플레이 장치의 파라미터 추정 방법.
  35. 제1 패턴 및 제2 패턴을 포함하는 제1 영상을 표시하는 디스플레이;
    상기 디스플레이와 결합되고, 상기 제1 영상이 반사체에 반사된 제2 영상을 캡쳐하는 카메라; 및
    상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여 상기 카메라의 파라미터를 추정하고, 상기 제2 영상 내 상기 제1 패턴에 대응하는 영역에 기초하여 상기 카메라 및 상기 디스플레이 사이의 제1 변환 파라미터를 추정하며, 상기 제2 영상 내 상기 제2 패턴에 대응하는 영역에 기초하여 상기 디스플레이 및 상기 디스플레이와 결합된 광학 레이어 사이의 제2 변환 파라미터를 추정하는 프로세서
    를 포함하는, 디스플레이 장치.
KR1020150111744A 2015-08-07 2015-08-07 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치 KR102415501B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020150111744A KR102415501B1 (ko) 2015-08-07 2015-08-07 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US15/138,627 US10271041B2 (en) 2015-08-07 2016-04-26 Method of estimating parameter of three-dimensional (3D) display device and 3D display device using the method
EP16183097.1A EP3128484B1 (en) 2015-08-07 2016-08-05 Method of estimating parameter of three-dimensional (3d) display device and 3d display device using the method
CN201610634605.5A CN106447727B (zh) 2015-08-07 2016-08-05 估计3d显示装置的参数的方法和使用其的3d显示装置
JP2016154403A JP6875081B2 (ja) 2015-08-07 2016-08-05 ディスプレイ装置のパラメータ推定方法及びその方法を用いた装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150111744A KR102415501B1 (ko) 2015-08-07 2015-08-07 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20170017586A true KR20170017586A (ko) 2017-02-15
KR102415501B1 KR102415501B1 (ko) 2022-07-01

Family

ID=57017949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150111744A KR102415501B1 (ko) 2015-08-07 2015-08-07 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치

Country Status (5)

Country Link
US (1) US10271041B2 (ko)
EP (1) EP3128484B1 (ko)
JP (1) JP6875081B2 (ko)
KR (1) KR102415501B1 (ko)
CN (1) CN106447727B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066882A (ko) * 2017-12-06 2019-06-14 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
US10997455B2 (en) 2018-04-26 2021-05-04 Electronics And Telecommunications Research Institute Apparatus and method of correcting 3D image distortion
WO2024072000A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
CN106254845B (zh) * 2015-10-20 2017-08-25 深圳超多维光电子有限公司 一种裸眼立体显示的方法、装置及电子设备
US10424117B2 (en) * 2015-12-02 2019-09-24 Seiko Epson Corporation Controlling a display of a head-mounted display device
EP3264360A1 (en) * 2016-06-28 2018-01-03 Dassault Systèmes Dynamical camera calibration
KR102401168B1 (ko) 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
CN108108021A (zh) * 2017-12-25 2018-06-01 上海玮舟微电子科技有限公司 人眼跟踪***外参数校正治具及校正方法
CA3116887A1 (en) * 2018-10-18 2020-04-23 Jand, Inc. Fixtureless lensmeter system
US11012750B2 (en) * 2018-11-14 2021-05-18 Rohde & Schwarz Gmbh & Co. Kg Method for configuring a multiviewer as well as multiviewer
US10890918B2 (en) 2019-04-24 2021-01-12 Innovation First, Inc. Performance arena for robots with position location system
TWI709130B (zh) 2019-05-10 2020-11-01 技嘉科技股份有限公司 自動調整顯示畫面的顯示裝置及其方法
EP3886046A1 (en) * 2020-03-26 2021-09-29 Sony Group Corporation Multi-view positioning using reflections
WO2021251240A1 (ja) * 2020-06-11 2021-12-16 ソニーグループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2022086580A (ja) * 2020-11-30 2022-06-09 セイコーエプソン株式会社 投写方法、及びプロジェクター

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182083A1 (en) * 2012-01-12 2013-07-18 Seefront Gmbh Calibration of an autostereoscopic display system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4764624B2 (ja) * 2004-12-07 2011-09-07 株式会社 日立ディスプレイズ 立体視表示装置及び立体視用画像生成方法
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP5673008B2 (ja) 2010-08-11 2015-02-18 ソニー株式会社 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法
JP5656059B2 (ja) * 2010-08-25 2015-01-21 Ｎｌｔテクノロジー株式会社 実装精度検査方法及びその検査方法を用いる検査装置
US8994714B2 (en) 2010-09-23 2015-03-31 Dolby Laboratories Licensing Corporation Method and system for display calibration with feedback determined by a camera device
US8743214B2 (en) 2011-05-11 2014-06-03 Intel Corporation Display screen for camera calibration
JP5185424B1 (ja) * 2011-09-30 2013-04-17 株式会社東芝 キャリブレーション方法および映像表示装置
JP5711104B2 (ja) 2011-12-14 2015-04-30 株式会社東芝 画像表示装置、方法、プログラム、及び画像処理装置
JP5732424B2 (ja) 2012-04-02 2015-06-10 日本電信電話株式会社 ３次元形状計測装置とそのキャリブレーション方法
US9341859B2 (en) * 2012-07-06 2016-05-17 Innolux Corporation 3D image based alignment method
CN104700382B (zh) * 2012-12-16 2018-08-28 吴凡 一种多聚焦图像文件处理方法
US10257506B2 (en) * 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
KR102139698B1 (ko) * 2013-11-14 2020-07-31 삼성디스플레이 주식회사 표시 패널의 영상 보정 방법
KR102370062B1 (ko) * 2014-11-24 2022-03-04 삼성전자주식회사 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
KR102329814B1 (ko) 2014-12-01 2021-11-22 삼성전자주식회사 3d 디스플레이를 위한 양안 거리 인식 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182083A1 (en) * 2012-01-12 2013-07-18 Seefront Gmbh Calibration of an autostereoscopic display system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190066882A (ko) * 2017-12-06 2019-06-14 삼성전자주식회사 가상 스크린의 파라미터 추정 방법 및 장치
US10997455B2 (en) 2018-04-26 2021-05-04 Electronics And Telecommunications Research Institute Apparatus and method of correcting 3D image distortion
WO2024072000A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법

Also Published As

Publication number Publication date
JP2017038366A (ja) 2017-02-16
US20170041592A1 (en) 2017-02-09
EP3128484B1 (en) 2018-06-13
EP3128484A3 (en) 2017-04-26
CN106447727A (zh) 2017-02-22
JP6875081B2 (ja) 2021-05-19
KR102415501B1 (ko) 2022-07-01
CN106447727B (zh) 2022-01-14
EP3128484A2 (en) 2017-02-08
US10271041B2 (en) 2019-04-23

Similar Documents

Publication Publication Date Title
KR102415501B1 (ko) 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
KR102370062B1 (ko) 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US20130335535A1 (en) Digital 3d camera using periodic illumination
US10540784B2 (en) Calibrating texture cameras using features extracted from depth images
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
US20130208083A1 (en) Panoramic stereo catadioptric imaging
US10783607B2 (en) Method of acquiring optimized spherical image using multiple cameras
KR20160021968A (ko) 영상 처리 방법 및 장치
EP3144894B1 (en) Method and system for calibrating an image acquisition device and corresponding computer program product
WO2020215257A1 (zh) 图像立体匹配的方法和辅助驾驶装置
KR20180057294A (ko) 사용자의 눈을 위한 3d 렌더링 방법 및 장치
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
KR102668245B1 (ko) 3차원 깊이 측정 장치 및 방법
US9948926B2 (en) Method and apparatus for calibrating multiple cameras using mirrors
US10812691B2 (en) Image capturing apparatus and image capturing method
US12015755B2 (en) Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
Li et al. Depth-assisted demosaicing for light field data in layered object space
KR20150079393A (ko) 동공 추적 장치 및 방법
Eisemann et al. Reconstruction of Dense Correspondences.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant