KR101639065B1 - 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치 - Google Patents

가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치 Download PDF

Info

Publication number
KR101639065B1
KR101639065B1 KR1020150088254A KR20150088254A KR101639065B1 KR 101639065 B1 KR101639065 B1 KR 101639065B1 KR 1020150088254 A KR1020150088254 A KR 1020150088254A KR 20150088254 A KR20150088254 A KR 20150088254A KR 101639065 B1 KR101639065 B1 KR 101639065B1
Authority
KR
South Korea
Prior art keywords
image
coordinate system
display
sensor
coordinates
Prior art date
Application number
KR1020150088254A
Other languages
English (en)
Inventor
김영용
김준식
박정민
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020150088254A priority Critical patent/KR101639065B1/ko
Priority to US15/180,904 priority patent/US9838587B2/en
Application granted granted Critical
Publication of KR101639065B1 publication Critical patent/KR101639065B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명의 일 실시예에 따른 공간 정합 시스템은, 디스플레이 좌표계와 센서 좌표계를 정합하는 공간 정합 시스템으로서, 스크린에 영상을 출력하여 가상 공간을 형성하는 디스플레이 장치; 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 영상 센서; 상기 디스플레이 장치와 상기 영상 센서를 제어하는 프로세서; 및 상기 스크린에 출력되는 영상(“디스플레이 영상”)을 거울면에 비추고, 상기 거울면에 투영된 상기 디스플레이 영상(“반사 영상”)을 상기 영상 센서가 촬영할 수 있도록 배치되는 평면 거울을 포함하고, 상기 디스플레이 장치는 가상 공간의 좌표를 정의하는 고유의 디스플레이 좌표계를 가지며, 상기 영상 센서는 실제 공간의 좌표를 정의하는 고유의 센서 좌표계를 가지고, 거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 상기 센서 좌표계와 상기 디스플레이 좌표계의 변환 관계식을 유추하고, 상기 센서 좌표계에 대한 상기 반사 영상의 좌표(“비교 좌표”)와 기지의 상기 센서 좌표계에 대한 상기 반사 영상의 좌표(“기준 좌표”)를 비교하여 상기 센서 좌표계와 상기 디스플레이 좌표계의 변환 관계식을 조정한다.

Description

가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치{SYSTEM FOR REGISTRATION OF VIRTUAL SPACE AND REAL SPACE, METHOD FOR REGISTERING DISPLAY APPARATUS AND IMAGE SENSOR, AND ELECTRONIC DEVICE REGISTERED USING THE METHOD}
본 발명은 가상 공간과 실제 공간을 정합하기 위한 시스템에 관한 것이며, 더욱 상세하게는 디스플레이 장치에 의해 형성되는 가상 공간과 영상 센서에 의해 촬영되는 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법에 관한 것이다.
스마트폰과, 스마트 TV 등의 기기가 폭넓게 보급됨에 따라 사용자의 움직임을 기반으로 하는 사용자 인터페이스에 대한 연구가 활발히 이루어지고 있다.
사용자 움직임을 기반으로 하는 현재의 사용자 인터페이스의 입력 방법으로는, 사용자가 스크린 상에 손가락 등을 직접 접촉하는 접촉식 센싱 방법과, 사용자가 스크린에 접촉하지 않고 카메라 센서와 같은 영상 센서로써 취득한 정보를 이용하는 비접촉식 센싱 방법이 있다.
비접촉식 센싱 방법과 관련하여, 3차원 디스플레이 장치 상에서 사용자에게 보다 실감나는 인터페이스 환경을 제공하기 위하여, 사용자가 영상 자체에 직접 손을 댄 것과 같이 느끼게 해주는 일종의 시각적인 "착시 효과"를 제공하는 방법들이 다양하게 연구되어 왔다.
이러한 착시 효과를 제공하기 위해서는 디스플레이 장치와 영상 센서가 서로 정합되는 것이 요구된다. 예를 들어, 종래의 정합 방법으로는, 영상 센서를 이용해 디스플레이 장치의 스크린에 출력되는 영상과 사용자를 동시에 관찰하여, 사용자에 맞게 교정하는 방법들이 있다.
그러나, 현재 보급되는 스마트폰이나 스마트 TV 등에 구비되는 영상 센서는 스크린을 마주하는 사용자나 물체를 관찰할 수 있도록 디스플레이 장치의 스크린과 동일한 방향으로 배치된다. 따라서, 영상 센서가 스크린의 영상을 직접 관찰할 수 없는 기기 환경에서는 종래의 정합 방법이 적용되기 어려운 문제점이 있었다.
한편, 3차원 평면 디스플레이를 이용하여 물리법칙에 근거한 가상 공간 사용자 인터페이스 장치의 경우, 가상 공간과 사용자가 실재하는 실제 공간 사이에 위치적인 연관 관계가 존재해야 한다. 따라서, 단순히 사용자의 움직임만을 거시적으로 파악하는 것을 넘어, 실제 공간과 사용자 신체 각 부분의 위치, 움직임을 정확히 파악하고, 이를 가상 공간에 정확하게 반영하는 것이 중요하다.
그러나, 종래의 정합 방법의 경우 가상 공간과 실제 공간 각각에서의 위치 사이의 변환 관계를 파악하여 디스플레이 장치와 영상 센서의 정합을 시도하였으나, 이러한 과정에서 상당한 오차가 문제점이 있다.
특허공개공보 제10-2015-0040580호 (2015.4.15)
본 발명은 가상 공간과 실제 공간을 정합시키고자 안출된 것으로, 하나 이상의 디스플레이 장치에 의한 가상 공간과 하나 이상의 영상 센서에 의해 촬영되는 실제 공간 사이의 위치 관계를 추정하고, 추정된 결과와 실제 값 간의 오차를 최소화하도록 조정할 수 있는 가상 공간과 실제 공간을 정합하기 위한 방법 및 시스템과, 그 방법을 이용해 정합된 전자 장치를 제공함에 그 목적이 있다.
본 발명의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 공간 정합 시스템은, 가상 공간과 실제 공간을 정합하는 공간 정합 시스템으로서, 스크린에 영상을 출력하여 가상 공간을 형성하는 디스플레이 장치; 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 영상 센서; 상기 디스플레이 장치와 상기 영상 센서를 제어하는 프로세서; 및 상기 스크린에 출력되는 영상(디스플레이 영상)을 거울면에 비추고, 상기 거울면에 투영된 상기 디스플레이 영상(반사 영상)을 상기 영상 센서가 촬영할 수 있도록 배치되는 평면 거울을 포함하고, 상기 디스플레이 장치는 가상 공간의 좌표를 정의하는 고유의 디스플레이 좌표계를 가지며, 상기 영상 센서는 실제 공간의 좌표를 정의하는 고유의 센서 좌표계를 가지고, 상기 프로세서는, 거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 상기 센서 좌표계와 상기 디스플레이 좌표계의 변환 관계식을 유추하고, 상기 디스플레이 좌표계에 대한 상기 반사 영상의 좌표를 계산하며, 유추된 변환 관계식을 통해 상기 디스플레이 좌표계에 대한 상기 반사 영상의 좌표를 상기 센서 좌표계에 대한 좌표(비교 좌표)로 변환하고, 상기 비교 좌표를 기지의 상기 센서 좌표계에 대한 상기 반사 영상의 좌표(기준 좌표)와 비교하여 그 오차가 최소화되도록 상기 센서 좌표계와 상기 디스플레이 좌표계의 변환 관계식을 조정한다.
본 발명의 다른 실시예에 따르면, 스크린에 영상을 출력하여 가상 공간을 형성하는 d개의 디스플레이 장치(d>1); 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 c개의 영상 센서(c>1); 상기 d개의 디스플레이 장치와 상기 c개의 영상 센서를 제어하는 프로세서; 및 상기 d개의 디스플레이 장치 중 i번째 디스플레이 장치(i는 1 이상 d 이하인 임의의 정수)의 스크린에 출력되는 영상(제 i 디스플레이 영상)을 거울면에 비추고, 상기 거울면에 투영된 상기 제 i 디스플레이 영상(제 i 반사 영상)을 상기 c개의 영상 센서 중 j번째 영상 센서(j는 1 이상 c 이하인 임의의 정수)가 촬영할 수 있도록 배치되는 평면 거울을 포함하고, 상기 i번째 디스플레이 장치는 가상 공간의 좌표를 정의하는 고유의 제 i 디스플레이 좌표계를 가지며, 상기 j번째 영상 센서는 실제 공간의 좌표를 정의하는 고유의 제 j센서 좌표계를 가지고, 상기 프로세서는, 거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 상기 제 i 디스플레이 좌표계와 상기 제 j 센서 좌표계의 변환 관계식을 유추하고, 상기 제 i 디스플레이 좌표계에 대한 상기 제 i 반사 영상의 좌표를 계산하며, 유추된 변환 관계식을 통해 상기 제 i 디스플레이 좌표계에 대한 상기 제 i 반사 영상의 좌표를 상기 제 j 센서 좌표계에 대한 좌표(i-j 비교 좌표)로 변환하고, 수학식
Figure 112016003708199-pat00041
에서, 상기 i-j 비교 좌표 p'ij를 기지의 상기 제 j 센서 좌표계에 대한 상기 제 i 반사 영상의 좌표(i-j 기준 좌표) pij와 비교하여 그 차이가 최소화되도록 상기 제 i 디스플레이 좌표계와 상기 제 j 센서 좌표계의 변환 관계식을 조정한다.
본 발명의 일 실시예에 따르면, 상기 프로세서는 상기 수학식에서, 상기 i-j 비교 좌표 p'ij를 상기 i-j 기준 좌표 pij와 비교하여 그 차이가 최소화 되도록 상기 d개의 디스플레이 장치 각각의 디스플레이 좌표계들 사이의 변환 관계식 (예를 들면, 제 i 디스플레이 좌표계와 제 i+1 디스플레이 좌표계 사이의 변환 관계식)을 조정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 프로세서는, 상기 수학식에서, 상기 i-j 비교 좌표 p'ij를 상기 i-j 기준 좌표 pij와 비교하여 그 차이가 최소화 되도록 상기 c개의 영상 센서 각각의 센서 좌표계들 사이의 변환 관계식 (예를 들면, 제 j 센서 좌표계와 제 j+1 센서 좌표계 사이의 변환 관계식)을 조정할 수 있다.
상기 과제 해결을 위한 본 발명의 다른 실시예에 따른 정합 방법은, 스크린에 영상을 출력하여 가상 공간을 형성하는 디스플레이 장치와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 영상 센서를 구비하며, 상기 디스플레이 장치는 가상 공간의 좌표를 정의하는 고유의 디스플레이 좌표계를 가지고, 상기 영상 센서는 실제 공간의 좌표를 정의하는 고유의 센서 좌표계를 가지는 전자장치에서, 디스플레이 좌표계와 센서 좌표계를 정합하는 정합 방법으로서, 디스플레이 장치의 스크린에 영상(디스플레이 영상)을 출력하는 단계 (a); 영상 센서의 촬영 가능 범위 내에서 소정 각도 및 위치로 평면 거울을 배치하는 단계 (b); 상기 영상 센서로써 상기 평면 거울의 거울면에 투영된 상기 디스플레이 영상(반사 영상)을 촬영하는 단계 (c); 상기 거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 상기 센서 좌표계와 상기 디스플레이 좌표계의 변환 관계식을 유추하고, 상기 디스플레이 좌표계에 대한 상기 반사 영상의 좌표를 계산하는 단계 (d); 유추된 변환 관계식을 통해 상기 디스플레이 좌표계에 대한 상기 반사 영상의 좌표를 상기 센서 좌표계에 대한 좌표(비교 좌표)로 변환하는 단계 (e); 및 상기 비교 좌표를 기지의 상기 센서 좌표계에 대한 상기 반사 영상의 좌표(기준 좌표)와 비교하여 그 오차가 최소화되도록 상기 센서 좌표계와 상기 디스플레이 좌표계의 변환 관계식을 조정하는 단계 (f)를 포함한다.
본 발명의 다른 실시예에 따르면, 스크린에 영상을 출력하여 가상 공간을 형성하는 d개의 디스플레이 장치(d>1)와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 c 개의 영상 센서(c>1)를 구비하며, 상기 d개의 디스플레이 장치 중 i번째 디스플레이 장치(i는 1 이상 d 이하의 임의의 정수)는 가상 공간의 좌표를 정의하는 고유의 제 i 디스플레이 좌표계를 가지고, 상기 c개의 영상 센서 중 j번째 영상 센서는 실제 공간의 좌표를 정의하는 고유의 제 j 센서 좌표계를 가지는 전자장치에서, i번째 디스플레이 장치의 스크린에 영상(제 i 디스플레이 영상)을 출력하는 단계 (a); j번째 영상 센서의 촬영 가능 범위 내에서 소정 각도 및 위치로 평면 거울을 배치하는 단계 (b); 상기 j번째 영상 센서로써 상기 평면 거울의 거울면에 투영된 상기 제 i 디스플레이 영상(제 i 반사 영상)을 촬영하는 단계 (c);를 포함하고, 상기 (a) 내지 (c) 단계는 상기 d개의 디스플레이 장치 각각과 상기 c개의 영상 센서 각각을 통하여 수행되며, 상기 제 j 센서 좌표계와 상기 제 i 디스플레이 좌표계의 변환 관계식을 유추하고, 상기 제 i 디스플레이 좌표계에 대한 상기 제 i 반사 영상의 좌표를 계산하는 단계 (d); 유추된 변환 관계식을 통해 상기 제 i 디스플레이 좌표계에 대한 제 i 상기 반사 영상의 좌표를 상기 제 j 센서 좌표계에 대한 좌표(i-j 비교 좌표)로 변환하는 단계 (e); 및 수학식
Figure 112016003708199-pat00042
에서, 상기 i-j 비교 좌표 p'ij를 기지의 상기 제 j 센서 좌표계에 대한 상기 제 i 반사 영상의 좌표(i-j 기준 좌표) pij와 비교하여 그 차이가 최소화되도록 상기 제 i 디스플레이 좌표계와 상기 제 j 센서 좌표계의 변환 관계식을 조정하는 단계 (f)를 포함한다.
본 발명의 일 실시예에 따르면, 상기 단계 (f)는, 상기 수학식에서 상기 i-j 비교 좌표 p'ij를 상기 i-j 기준 좌표 pij와 비교하여 그 차이가 최소화 되도록 상기 d개의 디스플레이 장치 각각의 디스플레이 좌표계들 사이의 변환 관계식 (예를 들면, 제 i 디스플레이 좌표계와 제 i+1 디스플레이 좌표계 사이의 변환 관계식)을 조정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 (f)단계는, 상기 수학식에서 상기 i-j 비교 좌표 p'ij를 상기 i-j 기준 좌표 pij와 비교하여 그 차이가 최소화 되도록 상기 c개의 영상 센서 각각의 센서 좌표계들 사이의 변환 관계식 (예를 들면, 제 j 센서 좌표계와 제 j+1 센서 좌표계 사이의 변환 관계식)을 조정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 (c)단계는, 상기 j번째 영상 센서로써 d개의 디스플레이 장치 각각에 의한 d개의 반사 영상을 동시에 촬영함으로써 수행될 수 있다.
본 발명의 일 실시예에 따르면, 상기 (f)단계는, 제 1 디스플레이 좌표계를 기준으로 하여, 상기 제 1 디스플레이 좌표계와 제 j 센서 좌표계의 변환 관계식, 및 상기 제 1 디스플레이 좌표계와 나머지 제 i 디스플레이 좌표계의 변환 관계식을 조정하여 수행될 수 있다.
본 발명의 일 실시예에 따르면, 상기 디스플레이 영상은 격자 무늬의 패턴의 영상일 수 있다.
상기 과제 해결을 위한 본 발명의 다른 실시예에 따른 전자장치는, 스크린에 영상을 출력하여 가상 공간을 형성하는 디스플레이 장치와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 영상 센서를 구비한 전자장치로서, 상기 제5 항에 따른 정합 방법에 의해 디스플레이 좌표계와 센서 좌표계가 정합된다.
본 발명의 일 실시예에 따르면, 상기 영상 센서는 상기 디스플레이 장치에 고정 결합될 수 있다.
본 발명의 일 실시예에 따르면, 상기 디스플레이 장치는 3차원 영상을 출력할 수 있는 3차원 디스플레이 장치일 수 있다.
본 발명의 일 실시예에 따르면, 상기 영상 센서는 RGBD 센서일 수 있다.
도 1은 본 발명의 일 실시예에 따른 공간 정합 시스템의 개략적인 구성도이다.
도 2는 본 발명의 다른 실시예에 따른 공간 정합 방법의 각 단계를 도시한 흐름도이다.
도 3은 도 1의 공간 정합 시스템을 개략적으로 도시한 구성도이다.
도 4는 도 1의 공간 정합 시스템을 개략적으로 도시한 구성도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
도 1을 참조하면, 가상 공간과 실제 공간을 정합하기 위한 공간 정합 시스템(10)은 디스플레이 장치(110)와, 영상 센서(120)와, 프로세서(130)와, 평면 거울(140)을 포함한다.
디스플레이 장치(110)는 영상을 출력하기 위한 스크린(111)을 구비한다. 디스플레이 장치(110)는 스크린(111)에 출력되는 영상(이하, “디스플레이 영상”이라 지칭함)으로써 가상 공간을 형성한다. 디스플레이 영상은 사용자가 입체감을 느낄 수 있는 3차원의 가상 공간에 대한 영상일 수 있다. 예를 들어, 디스플레이 장치(110)는 스테레오스코픽(stereoscopic) 방법 또는 오토스테레오스코픽 (autostereoscopic) 방법 등으로 3차원 영상을 출력할 수 있다.
디스플레이 장치(110)는 가상 공간의 좌표를 정의하는 고유의 디스플레이 좌표계를 가진다. 즉, 디스플레이 영상은 정보 처리의 기준이 되는 디스플레이 좌표계 상에 좌표 정보를 포함한다. 이러한 좌표 정보는 스크린(111) 상의 각각의 픽셀에 대응하는 좌표 정보일 수 있으며, 디스플레이 영상의 각각의 픽셀에 대응하여 형성되는 가상 공간 상의 좌표 정보일 수 있다.
공간 정합 시스템(10)은 복수의 디스플레이 장치(110)를 포함할 수 있다. 가상 공간은 복수의 디스플레이 장치(110) 각각에서 출력되는 각각의 디스플레이 영상에 의해 형성될 수 있다. 예를 들면, 제1 디스플레이 장치(110a)의 제1 디스플레이 영상에 의해 제1 가상 공간이 형성되고, 제2 디스플레이 장치(110b)의 제2 디스플레이 영상에 의해 제2 가상 공간이 형성되며, 제1 가상 공간과 제2 가상 공간이 하나의 전체 가상 공간을 이룰 수 있다. 이와 같이, 복수의 디스플레이 장치(110)를 사용함으로써 사용자의 가상 환경에서의 작업 공간을 확대시킬 수 있다.
복수의 디스플레이 장치(110) 각각은 가상 공간의 좌표를 정의하는 고유의 디스플레이 좌표계를 개별적으로 가질 수 있다. 즉, 복수의 디스플레이 장치(110)에서 각각 출력되는 디스플레이 영상마다 각각의 디스플레이 좌표계를 가지며, 각각의 디스플레이 좌표계 상에 좌표 정보를 포함할 수 있다. 예를 들면, 제1 디스플레이 장치(110a)에서 출력되는 제1 디스플레이 영상은 제1 디스플레이 좌표계 상에 좌표 정보를 포함할 수 있으며, 제2 디스플레이 장치(110a)에서 출력되는 제2 디스플레이 영상은 제2 디스플레이 좌표계 상에 좌표 정보를 포함할 수 있다. 이러한 각각의 디스플레이 좌표계는 스크린(111)이 배향되는 각도 및 각각의 디스플레이 장치(110)들이 배치되는 위치에 따라 달라진다.
이러한 복수의 디스플레이 장치(110)를 통하여 하나의 전체 가상 공간을 형성하기 위해서는, 각각의 디스플레이 장치(110)가 형성하는 가상 공간의 좌표 정보들을 하나의 좌표계 상으로 통합시키는 것이 좋다. 이로써, 동일한 위치임에도 각각의 디스플레이 영상에서 다른 위치인 것처럼 어긋나거나 상호 간의 위치 관계가 변경되는 것을 방지할 수 있다. 이를 위하여, 각각의 가상 공간 상의 좌표 정보들 간의 관계를 파악할 수 있도록, 각각의 디스플레이 좌표계들 간의 변환 관계를 구하는 것이 필요하며, 이에 대해서는 상세히 후술된다.
영상 센서(120)는 카메라형 센서로서 실제 공간, 또는 실제 공간 상의 사용자나 물체를 촬영한다. 영상 센서(120)는 스크린(111)에 출력되는 디스플레이 영상을 직접 관찰할 수 없는 위치에 배치되며, 스크린(111)과 마주하는 실제 공간을 촬영한다. 영상 센서(120)는 실제 공간으로부터 이미지를 획득하는 것뿐만 아니라, 실제 공간에서 해당 픽셀에 그 이미지를 생성시킨 광원 또는 반사체까지의 거리를 파악할 수 있다. 영상 센서(120)로는 마이크로소프트 사의 키넥트(Kinect) 또는 아수스 사의 액션 프로(XtionPro)와 같은 RGBD 센서가 사용될 수 있다.
영상 센서(120)는 실제 공간의 좌표를 정의하는 고유의 센서 좌표계를 가진다. 즉, 영상 센서(120)가 실제 공간을 촬영하여 생성하는 실제 공간에 대한 영상은 정보 처리의 기준이 되는 센서 좌표계 상에 좌표 정보를 포함한다. 실제 공간에 대한 영상에 포함되는 좌표 정보는 센서 좌표계 상의 임의의 기준 위치에 대하여 영상의 각각의 픽셀마다 촬영된 실제 공간 상의 위치 정보일 수 있다.
한편, 공간 정합 시스템(10)은 복수의 영상 센서(120)를 포함할 수 있다. 이때, 실제 공간에 대한 영상은 복수의 영상 센서(120) 각각에 의해 생성된다. 예를 들면, 제1 영상 센서(120a)에 의해 하나의 실제 공간에 대한 영상이 생성되고, 제2 영상 센서(120b)에 의해 실제 공간에 대한 또 다른 영상이 생성될 수 있다. 이와 같이, 복수의 영상 센서(120)를 사용함으로써 실제 공간을 더 자세하고 넓게 관찰하여 복수의 디스플레이 장치(110)와의 상호작용을 극대화시킬 수 있다.
복수의 영상 센서(120)들은 실제 공간의 좌표를 정의하는 각각의 센서 좌표계를 가질 수 있다. 또한, 복수의 영상 센서(120)에서 각각 생성되는 실제 공간에 대한 영상들은 각각의 센서 좌표계 상에 좌표 정보를 포함할 수 있다. 예를 들면, 제1 영상 센서(120a)에서 생성되는 실제 공간에 대한 영상은 제1 센서 좌표계 상에 좌표 정보를 포함할 수 있으며, 제2 영상 센서(120a)에서 생성되는 또 다른 영상은 제2 센서 좌표계 상에 좌표 정보를 포함할 수 있다. 이러한 각각의 센서 좌표계는 복수의 영상 센서(120) 각각이 배치되는 위치 및 촬영 각도에 따라 달라진다.
이러한 복수의 영상 센서(120)를 통하여 실제 공간에 대한 복수의 영상이 생성되는 경우, 각각의 영상에 포함된 좌표 정보들을 하나의 좌표계 상으로 통합시킬 수 있다. 즉, 각각의 영상 센서들(120)을 통해 상이한 각도로 또는 상이한 거리를 두고 촬영되더라도, 실제 공간 상의 동일한 위치에 대응하는 각 영상의 좌표 정보들 간의 관계를 파악함으로써, 실제 공간을 더욱 정확하게 파악할 수 있다. 이를 위하여, 각 영상 센서(120)들의 센서 좌표계들 간의 변환 관계를 구하는 것이 필요하며, 이에 대해서는 상세하게 후술된다.
프로세서(130)는 디스플레이 장치(110)와 영상 센서(120)를 제어한다.
프로세서(130)는 디스플레이 장치(110)로 출력시키려는 영상을 송신할 수 있다. 이때, 프로세서(130)는 송신되는 디스플레이 영상에 포함된 좌표 정보를 파악할 수 있다. 즉, 디스플레이 영상에 의해 형성되는 가상 공간에 대한 좌표 정보 및 그 좌표 정보가 포함되는 디스플레이 좌표계를 파악할 수 있다.
프로세서(130)는 영상 센서(120)가 실제 공간을 촬영하여 영상을 생성하도록 제어할 수 있다. 또한, 프로세서(130)는 영상 센서(120)가 촬영한 실제 공간에 대한 영상을 수신할 수 있다. 프로세서(130)는 수신된 영상으로부터 영상 센서(120)에 의해 촬영된 실제 공간의 좌표 정보 및 그 좌표 정보가 포함되는 센서 좌표계를 파악할 수 있다.
프로세서(130)는 파악한 디스플레이 좌표계와 센서 좌표계 간의 변환 관계식을 유추할 수 있다. 유추과정은 상세히 후술된다. 또한, 프로세서(130)는 유추된 변환 관계를 통하여 좌표 정보가 포함되는 좌표계를 변환하는 계산을 수행할 수 있다. 예를 들면, 프로세서(130)는 디스플레이 좌표계에 대한 좌표 정보를 변환 관계를 통한 계산으로써 센서 좌표계에 대한 좌표 정보로 변환시킬 수 있으며, 그 반대도 가능하다.
한편, 프로세서(130)는 임의의 두 좌표 간의 오차를 구하는 관계식에서 지정된 변수에 대한 최적화 과정을 통하여 상기 오차를 최소화하도록 지정된 변수를 조정할 수 있다. 이와 관련된 상세한 설명은 후술된다.
평면 거울(140)은 디스플레이 장치(110)의 스크린과 마주하고 영상 센서(120)의 촬영 범위 내에 배치된다. 평면 거울(140)은 위치 및 각도 조절이 용이한 받침대 상에 고정되는 것이 좋다.
평면 거울(140)은 디스플레이 장치(110)로부터 출력되는 디스플레이 영상을 반사시켜 영상 센서(120)로 전달한다. 평면 거울(140)은 복수의 디스플레이 장치(110)에서 출력되는 영상을 영상 센서(120)로 한번에 반사시킬 수 있을 만큼 넓은 것이, 각각의 디스플레이 장치(110)에 대해 개별적으로 촬영하는 동작을 줄일 수 있는 면에서 바람직하다.
디스플레이 장치(110)의 스크린(111)을 통해 디스플레이 영상을 감상하는 사용자가 손을 뻗어 영상에 직접 손을 댄 것과 같이 느낄 수 있는 일종의 시각적인 "착시 효과"를 느끼기 위해서는, 예를 들어 영상 센서(120)에 의해 촬영된 사용자의 신체 위치에 맞추어 스크린(111)의 출력되는 디스플레이 영상의 위치 등을 적절히 교정할 필요가 있다. 구체적으로는, 사용자의 눈 위치를 촬영하고 이를 기초로 하여 영상 속 투시도를 설정할 수도 있다. 또한, 사용자의 손 위치, 움직임을 촬영하고 이를 영상 속의 물건의 위치, 움직임에 반영하는 것도 가능하다.
이러한 동작을 신속하고 용이하게 수행하기 위해서는, 센서 좌표계와 디스플레이 좌표계가 상호 변환 가능하게 정합될 필요가 있다. 즉, 센서 좌표계와 디스플레이 좌표계 사이의 변환 관계를 구함으로써, 실제 공간의 물체를 가상 공간에 1:1로 등록하여 가상 공간에서의 물리적 상호 작용을 유도하고, 가상 공간의 정보를 사용자의 시야에 제시할 수 있다.
센서 좌표계와 디스플레이 좌표계의 변환 관계를 파악하고, 이러한 변환 관계를 구하고 최적화 시키는 방법에 대하여 이하에서 상세히 설명된다.
도 2를 참조하면, 본 발명의 일 실시예에 따른, 가상 공간과 실제 공간을 정합하기 위한 방법은, 디스플레이 장치(110)의 스크린(111)에 디스플레이 영상을 출력하는 단계 (S110); 영상 센서(120)의 촬영 가능 범위 내에서 소정 각도 및 위치로 평면 거울(140)을 배치하는 단계 (S120); 영상 센서(120)로써 평면 거울(140)의 거울면에 투영된 디스플레이 영상(이하 “반사 영상”이라 지칭함)을 촬영하는 단계 (S130); 거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 센서 좌표계와 디스플레이 좌표계의 변환 관계식을 유추하고, 디스플레이 좌표계에 대한 반사 영상의 좌표를 계산하는 단계 (S140); 유추된 변환 관계식을 통해 디스플레이 좌표계에 대한 반사 영상의 좌표를 센서 좌표계에 대한 좌표로 변환하는 단계 (S150); 및 비교 좌표를 기지의 센서 좌표계에 대한 반사 영상의 좌표와 비교하여 그 오차가 최소화되도록 센서 좌표계와 디스플레이 좌표계의 변환 관계식을 조정하는 단계 (S160)를 포함한다.
먼저, 디스플레이 장치(110)의 스크린(111)에 디스플레이 영상을 출력한다 (S110). 디스플레이 장치(110)에 소정의 패턴을 포함하는 영상을 출력할 수 있다(S110).
디스플레이 영상에 포함되는 패턴은 도 1에 도시된 바와 같이 흑백의 교번하는 격자 무늬의 패턴일 수 있다. 이때, 디스플레이 영상은 격자 무늬의 교차점에 대응하는 좌표 정보를 포함한다. 이로써, 프로세서(130)는 디스플레이 장치(110)에서 출력되는 디스플레이 영상에 포함된 좌표 정보를 파악할 수 있다.
복수의 디스플레이 장치(110)에서 패턴을 포함하는 디스플레이 영상이 각각의 디스플레이 장치(110a, 110b)를 통해 개별적으로 출력될 수 있다. 또한, 복수의 디스플레이 장치(110) 각각은 패턴 상의 격자점에 대한 좌표를 정의하는 고유의 디스플레이 좌표계를 가질 수 있다. 예를 들면, 제1 디스플레이 장치(110a)는 제1 디스플레이 좌표계를 가지고, 제2 디스플레이 장치(110b)는 제2 디스플레이 좌표계를 가질 수 있다.
프로세서(130)는 복수의 디스플레이 장치(110)에서 패턴을 포함하는 디스플레이 영상이 출력되도록 제어할 수 있다. 또한, 각각의 디스플레이 영상에서 각각의 디스플레이 좌표계 상에 포함되는 좌표 정보를 파악할 수 있다.
그 다음으로, 영상 센서(120)의 촬영 가능 범위 내에서 소정 각도 및 위치로 평면 거울(140)을 배치한다 (S120).
평면 거울(140)은, 도 1에 도시된 바와 같이 디스플레이 장치(110)의 스크린(111) 상의 영상이 평면 거울(140)에 반사되어 영상 센서(120)에 의해 촬영될 수 있도록 배치된다. 이로써, 영상 센서(120)로써 디스플레이 영상을 직접 촬영하지 못하더라도 평면 거울(140)를 통해 간접적으로 촬영할 수 있다.
한편, 영상 센서(120)의 촬영 가능 범위 내에서 서로 상이한 각도 및 위치를 갖도록 평면 거울(140)을 복수의 자세로 배치함으로써 최적화하는 동안 변환 관계 상의 오차를 더욱 감소시킬 수 있다.
그 다음으로, 영상 센서(120)로써 평면 거울(140)의 거울면에 투영된 디스플레이 영상(이하 “반사 영상”이라 지칭함)을 촬영한다 (S130).
영상 센서(120)에 촬영되는 반사 영상은 디스플레이 장치(110)에서 출력되는 디스플레이 영상을 직접 촬영할 경우의 영상과 좌우가 교차되도록 촬영된다. 또한, 디스플레이 장치(110)로부터 평면 거울(140)까지의 거리와 평면 거울(140)로부터 영상 센서(120)까지의 거리의 영향으로, 반사 영상은 디스플레이 장치(110)에서 출력되는 디스플레이 영상에 비해 작은 비율로 촬영된다.
본 단계(S130)에서, 프로세서(130)는 촬영된 반사 영상을 통하여 평면 거울(140)이 배치된 위치 및 각도를 파악할 수 있다. 또한, 프로세서(130)는 디스플레이 장치(110), 영상 센서(120) 및 평면 거울(140) 사이의 위치 및 각도 관계를 파악할 수 있다.
도 3을 참조하면, 실제 영상 센서(120)의 위치 C와, 디스플레이 좌표계에서 평면 거울(140)를 통해 반사되는 영상 센서(120)의 거울상의 위치 C'와, 평면 거울(140)의 거울면의 법선 벡터 n과, 영상 센서(120)와 평면 거울(140) 간의 거리 l를 통해 아래와 같은 관계식을 도출할 수 있다.
Figure 112016003708199-pat00043
한편, 상기 수학식 3을 통하여 벡터 C'-C가 벡터 n과 평행함을 알 수 있다. 임의의 벡터 rk(k=1, 2, 3)에 대하여, 입사각과 반사각이 동일한 성질을 통해 반사된 벡터 rk'과의 관계에 대한 아래와 같은 관계식을 도출할 수 있다.
Figure 112015060032898-pat00004
Figure 112015060032898-pat00005
Figure 112015060032898-pat00006
또한, 본 단계(S130)에서 반사 영상을 촬영하여 센서 좌표계 상의 좌표 정보를 획득함으로써, 디스플레이 좌표계와 평면 거울(140)에 의해 반전된 센서 좌표계 사이의 변환 관계
Figure 112015060032898-pat00007
로부터 C'T와 rk'에 대해 계산하는 것이 가능하다. 이때, 평면 거울(140)에 의한 반사를 고려하여
Figure 112015060032898-pat00008
를
Figure 112015060032898-pat00009
로 변환하는 것이 가능하며, 아래와 같은 관계식을 도출할 수 있다.
Figure 112015060032898-pat00010
Figure 112015060032898-pat00011
그 다음으로, 거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 센서 좌표계와 디스플레이 좌표계의 변환 관계식을 유추하고, 디스플레이 좌표계에 대한 반사 영상의 좌표를 계산한다 (S140).
본 단계(S140)에서, 프로세서(130)는 디스플레이 장치(110), 영상 센서(120) 및 평면 거울(140) 사이의 위치 및 각도 관계와 상기 수학식 4과 수학식 5로써 아래와 같은 선형 방정식을 얻고, 이를 통하여 디스플레이 좌표계와 센서 좌표계 사이의 변환 관계식을 유추할 수 있다. 또한, 프로세서(130)는 디스플레이 좌표계에 대한 반사 영상의 좌표 정보를 구할 수 있다.
Figure 112015060032898-pat00012
그 다음으로, 유추된 변환 관계식을 통해 디스플레이 좌표계에 대한 반사 영상의 좌표를 센서 좌표계에 대한 좌표(이하, “비교 좌표”라 지칭함)로 변환한다 (S150).
도 4를 참조하면, 디스플레이 좌표계에 대한 반사 영상의 좌표 정보
Figure 112015060032898-pat00013
는 영상 센서(120)와 평면 거울(140) 간의 거리 a와 디스플레이 장치(110)와 평면 거울(140) 간의 거리 b의 비율
Figure 112015060032898-pat00014
에 따라 평면 거울(140) 상의 좌표
Figure 112015060032898-pat00015
로 변환될 수 있다. m은 평면 거울(140)가 배치되는 각각의 자세를 나타내며, n은 격자 무늬 상의 각각의 교차점을 나타낸다
Figure 112015060032898-pat00016
Figure 112015060032898-pat00017
또한, 영상 센서(120)의 초점 거리 등의 내부 파라미터(intrinsic parameter) K와 상기 단계(S140)에서 유추된 변환 관계를 이용하여 디스플레이 좌표계 상의 상기 좌표 정보
Figure 112015060032898-pat00018
를 센서 좌표계 상의 비교 좌표
Figure 112015060032898-pat00019
로 변환시킬 수 있다.
Figure 112015060032898-pat00020
그 다음으로, 비교 좌표를 기지의 센서 좌표계에 대한 반사 영상의 좌표(이하, “기준 좌표”라 지칭함)와 비교하여 그 오차가 최소화되도록 센서 좌표계와 디스플레이 좌표계의 변환 관계식을 조정한다 (S160).
본 단계(S160)에서 수행되는 비선형 최적화는 평면 거울(140)에 의한 재투영 오차(reprojection error)를 최소화하기 위한 것이며, 비선형 최적화를 위한 코스트 함수(Cost function)는 센서 좌표계 및 디스플레이 좌표계의 변환 관계를 변수로 하고, 기준 좌표
Figure 112015060032898-pat00021
와 디스플레이 좌표계에 대한 반사 영상의 좌표 정보
Figure 112015060032898-pat00022
을 주어진 값으로 한다. 이때, 기준 좌표
Figure 112015060032898-pat00023
와, 변환된 비교 좌표
Figure 112015060032898-pat00024
간의 오차에 대한 관계식은 다음과 같다.
Figure 112016003708199-pat00044
프로세서(130)는 수학식 9의 오차를 최소화하도록 디스플레이 좌표계와 센서 좌표계 사이의 변환 관계를 조정함으로써, 최적화된 변환 관계식을 구할 수 있다. 변수들을 최적화하기 위해 사용하는 방법으로는 LM 알고리즘(Levenberg Marquardt algorithm), 그레디언트 방법(Gradient Descent) 등이 있다.
복수의 디스플레이 장치(110)와 복수의 영상 센서(120)의 경우, 상기 단계들(S110 내지 S130)을 복수의 디스플레이 장치(110) 각각에 대하여 복수의 영상 센서(120) 각각을 통하여 개별적으로 수행함으로써, 각각의 디스플레이 장치(110), 각각의 영상 센서(120) 및 평면 거울(140) 사이의 위치 및 각도 관계를 파악할 수 있다.
또한, 상기 수학식 9은 복수의 디스플레이 장치(110)와 복수의 영상 센서(120)에 대한 아래의 식으로 확장될 수 있다.
Figure 112016003708199-pat00045
상기 수학식 10에서, i, j는 각각 개별 디스플레이 장치(110)와 개별 영상 센서(120)를 나타내며, c는 영상 센서의 갯수(c는 1 이상의 자연수), d는 디스플레이 장치의 갯수(d는 1 이상의 자연수)를 나타낸다.
이때, 상기 수학식 10에 포함된 변수들 간의 관계를 살펴보면 다음과 같다.
Figure 112015060032898-pat00027
Figure 112015060032898-pat00028
Figure 112015060032898-pat00029
Figure 112015060032898-pat00030
상기 수학식 11은, 어느 하나의 디스플레이 장치(110)가 가지는 좌표계를 기준 좌표계로 설정한 것이다.
상기 수학식 11을 살펴보면, 상기 단계(S140)에서 유추된 기준 디스플레이 좌표계와 어느 하나의 센서 좌표계 간의 변환 관계
Figure 112015060032898-pat00031
뿐만 아니라, (1) 기준 디스플레이 좌표계와 다른 센서 좌표계들 간의 변환 관계
Figure 112015060032898-pat00032
, (2) 센서 좌표계들 간의 변환 관계
Figure 112015060032898-pat00033
, (3) 디스플레이 좌표계 간의 변환 관계
Figure 112015060032898-pat00034
가 변수로서 모두 수학식 11에 포함될 수 있음을 알 수 있다.
각각의 디스플레이 장치(110), 각각의 영상 센서(120) 및 평면 거울(140) 사이의 위치 및 각도 관계 및 수학식 11의 변환 관계들을 가지고, 상기 단계(S160)를 수행하여 각각의 변환 관계를 최적화시킬 수 있다.
이와 같이, 수학식 10에 포함된 각각의 변환 관계에 대한 변수들은 오차를 최소화하는 조정 과정을 통하여 더욱 정확한 값으로 얻어질 수 있게 된다. 또한, 개별적으로 구할 필요 없이, 하나의 관계식 상에서 최적화됨으로써, 직관적인 방법으로 더욱 정확한 변환 관계를 구할 수 있다.
상술한 바와 같은, 본 발명의 일 실시예에 따른 공간 정합 방법에 의하면, 복수의 디스플레이 좌표계와 복수의 센서 좌표계 간의 보다 정확한 변환 관계를 알 수 있으며, 간접적으로 센서 좌표계들 간의 변환 관계 및 디스플레이 좌표계 간의 변환 관계도 구할 수 있다. 따라서, 각각의 관계를 개별적으로 구하고 통합시켜 정확성이 떨어지고 과정이 복잡하던 기존의 방식에 비해 훨씬 정확하고 수월하게 최적화된 변환 관계를 구할 수 있다.
이로써, 실제 공간에서의 위치 정보와, 가상 공간에서의 위치 정보가 상호 변환 가능하도록 하나의 기준 좌표계로부터 통합되어 처리됨에 따라, 보다 빠른 반응 속도와 보다 정확한 가상 공간 상의 물리적 움직임을 구현할 수 있다.
한편, 본 발명의 일 실시예와 같이, 영상 센서(120)가 디스플레이 장치(110)에 고정 설치되는 경우, 제조 과정에서 영상 센서(120)와 디스플레이 장치(110)를 정합하는 것으로 족하며, 사용 장소에서 영상 센서(120)와 디스플레이 장치(110)를 재정합하는 등의 불필요한 작업을 생략할 수 있다.
본 발명에 따른 공간 정합 방법은, 평면형 3D 디스플레이를 이용한 가정용 가상 현실 환경, 물체 접촉 기반의 차세대 내츄럴 유저 인터페이스(NUI), 스마트폰 등의 소형 가전기기를 통한 가상 현실 환경 등에 널리 응용될 수 있을 것이다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110 : 디스플레이 장치
111 : 스크린
120 : 영상 센서
130 : 프로세서
140 : 평면 거울
10 : 공간 정합 시스템

Claims (15)

  1. 가상 공간과 실제 공간을 정합하는 공간 정합 시스템으로서,
    스크린에 영상을 출력하여 가상 공간을 형성하는 d개의 디스플레이 장치(d는 1 이상의 자연수);
    상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 c개의 영상 센서(c는 1 이상의 자연수);
    상기 디스플레이 장치와 상기 영상 센서를 제어하는 프로세서; 및
    상기 스크린에 출력되는 영상(“디스플레이 영상”)을 거울면에 비추고, 상기 거울면에 투영된 상기 디스플레이 영상(“반사 영상”)을 상기 영상 센서가 촬영할 수 있도록 배치되는 평면 거울을 포함하고,
    상기 d개의 디스플레이 장치 중 i번째 디스플레이 장치(i는 1 이상 d 이하인 임의의 정수)는 스크린에 영상(“제 i 디스플레이 영상”)을 출력하고,
    상기 평면 거울은 상기 c개의 영상 센서 중 j번째 영상 센서(j는 1 이상 c 이하인 임의의 정수)에 의해 상기 거울면에 투영된 상기 제 i 디스플레이 영상(“제 i 반사 영상”)이 촬영되도록 배치되며,
    상기 i번째 디스플레이 장치는 가상 공간의 좌표를 정의하는 고유의 제 i 디스플레이 좌표계를 가지며, 상기 j번째 영상 센서는 실제 공간의 좌표를 정의하는 고유의 제 j 센서 좌표계를 가지고,
    상기 프로세서는,
    거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 상기 제 j 센서 좌표계와 상기 제 i 디스플레이 좌표계의 변환 관계식을 유추하고, 상기 제 i 디스플레이 좌표계에 대한 상기 제 i 반사 영상의 좌표를 계산하며,
    유추된 변환 관계식을 통해 상기 제 i 디스플레이 좌표계에 대한 상기 제 i 반사 영상의 좌표를 상기 제 j 센서 좌표계에 대한 좌표(“i-j 비교 좌표(p'ij)”)로 변환하고,
    상기 i-j 비교 좌표(p'ij)를 기지의 상기 제 j 센서 좌표계에 대한 상기 제 i 반사 영상의 좌표(“i-j 기준 좌표(pij)”)와 비교하여 그 오차가 최소화되도록 상기 제 j 센서 좌표계와 상기 제 i 디스플레이 좌표계의 변환 관계식을 조정하는 것을 특징으로 하는 공간 정합 시스템.
  2. 제1 항에 있어서,
    상기 i-j 비교 좌표 (p'ij)를 상기 i-j 기준 좌표(pij)와 비교하여, 하기 수학식 1에서 그 차이가 최소화되도록 상기 제 i 디스플레이 좌표계와 상기 제 j 센서 좌표계의 변환 관계식을 조정하는 것을 특징으로 하는 공간 정합 시스템.
    [수학식 1]
    Figure 112016003708199-pat00046
  3. 제2 항에 있어서,
    상기 i-j 비교 좌표 (p'ij)를 상기 i-j 기준 좌표 (pij)와 비교하여, 상기 수학식 1에서 그 차이가 최소화 되도록 상기 d개의 디스플레이 장치 각각의 디스플레이 좌표계들 사이의 변환 관계식 (예를 들면, 제 i 디스플레이 좌표계와 제 i+1 디스플레이 좌표계 사이의 변환 관계식)을 조정하는 것을 특징으로 하는 공간 정합 시스템.
  4. 제2 항에 있어서,
    상기 i-j 비교 좌표 (p'ij)를 상기 i-j 기준 좌표 (pij)와 비교하여, 상기 수학식 1에서 그 차이가 최소화 되도록 상기 c개의 영상 센서 각각의 센서 좌표계들 사이의 변환 관계식 (예를 들면, 제 j 센서 좌표계와 제 j+1 센서 좌표계 사이의 변환 관계식)을 조정하는 것을 특징으로 하는 공간 정합 시스템.
  5. 스크린에 영상을 출력하여 가상 공간을 형성하는 d개의 디스플레이 장치(d는 1 이상의 자연수)와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 c개의 영상 센서(c는 1 이상의 자연수)를 구비하며, 상기 d개의 디스플레이 장치 중 i번째 디스플레이 장치(i는 1 이상 d 이하의 임의의 정수)는 가상 공간의 좌표를 정의하는 고유의 제 i 디스플레이 좌표계를 가지고, 상기 c개의 영상 센서 중 j번째 영상 센서(j는 1 이상 c 이하의 임의의 정수)는 실제 공간의 좌표를 정의하는 고유의 제 j 센서 좌표계를 가지는 전자장치에서, 상기 제 i 디스플레이 좌표계와 상기 제 j 센서 좌표계를 정합하는 방법으로서,
    i번째 디스플레이 장치의 스크린에 영상(“제 i 디스플레이 영상”)을 출력하는 단계 (a);
    j번째 영상 센서의 촬영 가능 범위 내에서 소정 각도 및 위치로 평면 거울을 배치하는 단계 (b);
    상기 j번째 영상 센서로써 상기 평면 거울의 거울면에 투영된 상기 제 i 디스플레이 영상(“제 i 반사 영상”)을 촬영하는 단계 (c);
    상기 거울면에 대한 빛의 입사각과 반사각의 대칭성을 이용해, 상기 제 j 센서 좌표계와 상기 제 i 디스플레이 좌표계의 변환 관계식을 유추하고, 상기 제 i 디스플레이 좌표계에 대한 상기 제 i 반사 영상의 좌표를 계산하는 단계 (d);
    유추된 변환 관계식을 통해 상기 제 i 디스플레이 좌표계에 대한 상기 제 i 반사 영상의 좌표를 상기 제 j 센서 좌표계에 대한 좌표(“i-j 비교 좌표(p'ij)”)로 변환하는 단계 (e); 및
    상기 i-j 비교 좌표(p'ij)를 기지의 상기 제 j 센서 좌표계에 대한 상기 제 i 반사 영상의 좌표(“i-j 기준 좌표(pij)”)와 비교하여 그 오차가 최소화되도록 상기 제 j 센서 좌표계와 상기 제 i 디스플레이 좌표계의 변환 관계식을 조정하는 단계 (f)를 포함하는 정합 방법.
  6. 제5 항에 있어서,
    상기 (f) 단계는, 상기 i-j 비교 좌표 (p'ij)를 상기 i-j 기준 좌표(pij)와 비교하여, 하기 수학식 2에서 그 차이가 최소화되도록 상기 제 i 디스플레이 좌표계와 상기 제 j 센서 좌표계의 변환 관계식을 조정하는 단계를 포함하는 것을 특징으로 하는 정합 방법.
    [수학식 2]
    Figure 112016003708199-pat00047
  7. 제6 항에 있어서,
    상기 단계 (f)는, 상기 i-j 비교 좌표 (p'ij)를 상기 i-j 기준 좌표 (pij)와 비교하여, 상기 수학식 2에서 그 차이가 최소화 되도록 상기 c개의 영상 센서 각각의 센서 좌표계들 사이의 변환 관계식 (예를 들면, 제 j 센서 좌표계와 제 j+1 센서 좌표계 사이의 변환 관계식)을 조정하는 단계를 포함하는 것을 특징으로 하는 정합 방법.
  8. 제6 항에 있어서,
    상기 (f)단계는, 상기 i-j 비교 좌표 (p'ij)를 상기 i-j 기준 좌표 (pij)와 비교하여, 상기 수학식 2에서 그 차이가 최소화 되도록 상기 d개의 디스플레이 장치 각각의 디스플레이 좌표계들 사이의 변환 관계식 (예를 들면, 제 i 디스플레이 좌표계와 제 i+1 디스플레이 좌표계 사이의 변환 관계식)을 조정하는 단계를 포함하는 것을 특징으로 하는 정합 방법.
  9. 제6 항에 있어서,
    상기 (c)단계는, 상기 j번째 영상 센서로써 d개의 디스플레이 장치 각각에 의한 d개의 반사 영상을 동시에 촬영함으로써 수행되는 것을 특징으로 하는 정합 방법.
  10. 제7 항에 있어서,
    상기 (f)단계는, 제 1 디스플레이 좌표계를 기준으로 하여, 상기 제 1 디스플레이 좌표계와 제 j 센서 좌표계의 변환 관계식, 및 상기 제 1 디스플레이 좌표계와 나머지 제 i 디스플레이 좌표계의 변환 관계식을 조정하여 수행되는 것을 특징으로 하는 정합 방법.
  11. 제5 항에 있어서,
    상기 디스플레이 영상은 격자 무늬의 패턴의 영상인 것을 특징으로 하는 정합 방법.
  12. 스크린에 영상을 출력하여 가상 공간을 형성하는 d개의 디스플레이 장치(d는 1 이상의 자연수)와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주하는 실제 공간을 관찰하는 c개의 영상 센서(c는 1 이상의 자연수)를 구비하며, 상기 d개의 디스플레이 장치 중 i번째 디스플레이 장치(i는 1 이상 d 이하의 임의의 정수)는 가상 공간의 좌표를 정의하는 고유의 제 i 디스플레이 좌표계를 가지고, 상기 c개의 영상 센서 중 j번째 영상 센서(j는 1 이상 c 이하의 임의의 정수)는 실제 공간의 좌표를 정의하는 고유의 제 j 센서 좌표계를 가지는 전자장치로서,
    상기 제5 항에 따른 정합 방법에 의해 디스플레이 좌표계와 센서 좌표계가 정합되는 것을 특징으로 하는 전자 장치.
  13. 제12 항에 있어서,
    상기 영상 센서는 상기 디스플레이 장치에 고정 결합되는 것을 특징으로 하는 전자장치.
  14. 제12 항에 있어서,
    상기 디스플레이 장치는 3차원 영상을 출력할 수 있는 3차원 디스플레이 장치인 것을 특징으로 하는 전자장치.
  15. 제12 항에 있어서,
    상기 영상 센서는 RGBD 센서인 것을 특징으로 하는 전자장치.
KR1020150088254A 2015-06-22 2015-06-22 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치 KR101639065B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150088254A KR101639065B1 (ko) 2015-06-22 2015-06-22 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
US15/180,904 US9838587B2 (en) 2015-06-22 2016-06-13 System for registration of virtual space and real space, method for registering display apparatus and image sensor, and electronic device registered using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150088254A KR101639065B1 (ko) 2015-06-22 2015-06-22 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치

Publications (1)

Publication Number Publication Date
KR101639065B1 true KR101639065B1 (ko) 2016-07-13

Family

ID=56505740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150088254A KR101639065B1 (ko) 2015-06-22 2015-06-22 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치

Country Status (2)

Country Link
US (1) US9838587B2 (ko)
KR (1) KR101639065B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208851A1 (ko) * 2018-04-27 2019-10-31 주식회사 딥픽셀 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
WO2022092983A1 (ko) * 2020-10-30 2022-05-05 주식회사 크리에이츠 가상 골프 시뮬레이션을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809786B (zh) * 2017-06-20 2023-10-27 索尼互动娱乐股份有限公司 校准装置、校准图表、图表图案生成装置和校准方法
HU4982U (hu) * 2017-07-05 2019-05-28 Aimotive Kft Tartószerkezet
CN107749981B (zh) * 2017-11-15 2024-01-30 歌尔光学科技有限公司 摄像头视场角测量方法及***
EP4328783A1 (en) * 2022-08-25 2024-02-28 Nokia Technologies Oy An apparatus, method, computer program for displaying content to a user

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496441B1 (ko) * 2013-11-01 2015-02-27 한국과학기술연구원 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치
KR20150040580A (ko) 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6527395B1 (en) 2001-12-10 2003-03-04 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating a projector with a camera
JP3906194B2 (ja) * 2002-11-29 2007-04-18 株式会社東芝 キャリブレーション方法、キャリブレーション支援装置、キャリブレーション装置およびカメラシステムの製造方法
US20070115361A1 (en) * 2005-06-24 2007-05-24 Fakespace Labs, Inc. Dual camera calibration technique for video projection systems
US8390677B1 (en) * 2009-07-06 2013-03-05 Hewlett-Packard Development Company, L.P. Camera-based calibration of projectors in autostereoscopic displays
JP5453352B2 (ja) 2011-06-30 2014-03-26 株式会社東芝 映像表示装置、映像表示方法およびプログラム
US20130063560A1 (en) 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
KR101960897B1 (ko) 2013-02-06 2019-07-16 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 표시 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040580A (ko) 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
KR101496441B1 (ko) * 2013-11-01 2015-02-27 한국과학기술연구원 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JS Kim, JM Park, "Sensor-Display Registration for 3D Physical User Interaction using a Flat-Panel Display," In the Proc. of the ICPR, pp.1675-1680, 2014. *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019208851A1 (ko) * 2018-04-27 2019-10-31 주식회사 딥픽셀 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
US11170535B2 (en) 2018-04-27 2021-11-09 Deepixel Inc Virtual reality interface method and apparatus for providing fusion with real space
WO2022092983A1 (ko) * 2020-10-30 2022-05-05 주식회사 크리에이츠 가상 골프 시뮬레이션을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
US20160371889A1 (en) 2016-12-22
US9838587B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
KR101639065B1 (ko) 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
CN106550228B (zh) 获取三维场景的深度图的设备
US10334240B2 (en) Efficient augmented reality display calibration
JP5915981B2 (ja) 注視点検出方法及び注視点検出装置
JP6168577B2 (ja) マイクロレンズアレイを有する画像化システムの基準線を調節するシステムおよび方法
US20140132501A1 (en) Method and apparatus for projecting patterns using structured light method
US10878285B2 (en) Methods and systems for shape based training for an object detection algorithm
JP2006329842A (ja) ３次元形状データの位置合わせ方法および装置
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
US9990739B1 (en) Method and device for fisheye camera automatic calibration
US11587254B2 (en) Raycast calibration for artificial reality head-mounted displays
JP6452235B2 (ja) 顔検出方法、顔検出装置、及び顔検出プログラム
CN113691788A (zh) 投影机***的投影方法
WO2018154634A1 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
JP4193342B2 (ja) ３次元データ生成装置
KR101496441B1 (ko) 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치
CN115272466A (zh) 手眼标定方法、视觉机器人、手眼标定设备和存储介质
CN108141560A (zh) 图像投影
KR20130130283A (ko) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
CN106919928A (zh) 手势识别***、方法及显示设备
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
JP6266580B2 (ja) ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP2006197036A (ja) 立体画像表示装置および立体画像表示方法
US11144194B2 (en) Interactive stereoscopic display and interactive sensing method for the same
US20160295187A1 (en) Information processing device and projection apparatus

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190702

Year of fee payment: 4