KR101496441B1 - 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치 - Google Patents

평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치 Download PDF

Info

Publication number
KR101496441B1
KR101496441B1 KR20130132079A KR20130132079A KR101496441B1 KR 101496441 B1 KR101496441 B1 KR 101496441B1 KR 20130132079 A KR20130132079 A KR 20130132079A KR 20130132079 A KR20130132079 A KR 20130132079A KR 101496441 B1 KR101496441 B1 KR 101496441B1
Authority
KR
South Korea
Prior art keywords
coordinate system
camera
sensor
panel
display
Prior art date
Application number
KR20130132079A
Other languages
English (en)
Inventor
김준식
박정민
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR20130132079A priority Critical patent/KR101496441B1/ko
Priority to US14/293,189 priority patent/US8938131B1/en
Priority to JP2014223021A priority patent/JP5923588B2/ja
Application granted granted Critical
Publication of KR101496441B1 publication Critical patent/KR101496441B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

평면 스크린을 구비하는 디스플레이 장치와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되며 상기 스크린과 마주한 물체를 관찰하는 영상 센서를 구비한 전자 장치에서, 센서 좌표계와 디스플레이 좌표계의 변환 관계를 구하여 상기 센서 좌표계와 상기 디스플레이 좌표계를 상호 변환 가능하게 정합시키기 위한 정합 보조 장치 및 정합 방법이 제공되고, 그 방법을 이용해 센서 좌표계와 상기 디스플레이 좌표계가 정합된 전자 장치가 제공된다.

Description

평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치{Apparatus and Method for registration of flat panel display device and imaging sensor, and Electronic device having flat panel display device and imaging sensor which are registered using the method}
본 발명은 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법에 관한 것이며, 더욱 상세하게는 사용자에게 영상을 제공하는 평면 디스플레이 장치와 사용자의 정보를 취득하는 영상 센서를 서로 정합하기 위한 장치 및 방법에 관한 것이다.
스마트폰과, 스마트 TV 등의 스마트 기기가 보급됨에 따라 사용자의 제스처에 기반한 인터페이스 방법에 대한 활발한 연구가 이루어지고 있다.
현재의 사용자의 제스처 기반 인터페이스 방법은, 사용자가 스크린에 손가락 등을 직접 접촉하는 접촉식 센싱 방법과, 사용자가 스크린에 접촉하지 않고도 예를 들어 카메라 센서 등의 영상 센서를 이용해 취득한 정보를 이용하는 비접촉식 센싱 방법이 있다.
하지만, 현재의 비접촉식 센싱 방법을 이용한 인터페이스 방법은, 사용자의 움직임을 단순히 분석하여 스크린에 제시되는 별도의 포인터를 이동시키고 아이콘을 선택하는 그래피컬 유저 인터페이스(GUI)의 단순한 확장에 그치는 것이 일반적이다.
최근 3D TV 등과 같이 사용자에게 3차원 정보를 제공하는 3차원 디스플레이 장치가 보급되고 있다.
3차원 디스플레이 장치를 이용해 사용자에게 보다 실감나는 인터페이스 환경을 제공하기 위해서는, 포인터 등을 매개로 하는 것이 아닌, 사용자가 아이콘 등의 영상에 직접 손을 댄 것과 같이 느끼게 해주는 일종의 시각적인 "착시 효과"가 제공될 필요가 있으며, 그를 위한 방법이 다양하게 강구되고 있다.
하지만, 종래 기술에 따르면, 영상 센서를 이용해 디스플레이 장치의 스크린에 출력되는 영상과 사용자를 동시에 관찰하여, 사용자에 맞게 영상을 교정하는 방법 등이 제공되고 있다.
하지만, 현재 보급되는 스마트폰이나 스마트 TV 등에 구비되는 영상 센서는 스크린에 마주하는 사용자나 물체를 관찰할 수 있도록 디스플레이 장치의 스크린과 동일 방향으로 배향되어 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되는 것이 일반적이다.
이와 같이, 영상 센서가 스크린의 영상을 직접 관찰할 수 없는 기기 환경에서는 종래 기술에 따른 방법이 적용되기는 어려우며, 영상을 출력하는 디스플레이 장치와, 사용자나 물체를 관찰하는 영상 센서 간의 위치 관계 설정이 필수적이다.
미국 특허 제6527395호
본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 평면 스크린을 구비하는 디스플레이 장치와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되며 상기 스크린과 마주한 물체를 관찰하는 영상 센서를 구비한 전자 장치에서, 상기 영상 센서에서 데이터 처리의 기준이 되는 상기 영상 센서의 고유 좌표계("센서 좌표계")와 상기 스크린의 영상 출력의 기준이 되는 상기 디스플레이 장치의 고유 좌표계("디스플레이 좌표계")의 변환 관계를 구하여 상기 센서 좌표계와 상기 디스플레이 좌표계를 상호 변환 가능하게 정합시키기 위한 장치 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일 측면에 따르면 평면 스크린을 구비하는 디스플레이 장치와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되며 상기 스크린과 마주한 물체를 관찰하는 영상 센서를 구비한 전자 장치에서, 센서 좌표계와 디스플레이 좌표계의 변환 관계를 구하여 상기 센서 좌표계와 상기 디스플레이 좌표계를 상호 변환 가능하게 정합시키기 위한 정보를 제공할 수 있도록, 카메라와, 상기 카메라와 결합되며 소정의 제1 패턴이 도식된 패널을 포함하고, 상기 카메라가 상기 스크린에 출력된 영상을 촬영하여 상기 카메라에서 촬영된 영상 데이터의 처리 기준이 되는 상기 카메라의 고유 좌표계("카메라 좌표계")와 상기 디스플레이 좌표계의 변환 관계를 제공하고, 상기 영상 센서가 상기 제1 패턴을 촬영하여 상기 패널 상에 임의 설정된 상기 패널의 고유 좌표계("패널 좌표계")와 상기 센서 좌표계의 변환 관계를 제공하는 정합 보조 장치가 제공된다.
일 실시예에 따르면, 상기 카메라는 상기 패널에 대해 각도 변경이 가능하도록 형성되어, 상기 패널에 대한 자세를 변경할 수 있다.
본 발명의 다른 측면에 따르면, 상기 정합 보조 장치를 이용하여 상기 센서 좌표계와 상기 디스플레이 좌표계를 상호 변환 가능하게 정합시키기 위한 정합 방법으로서, 상기 스크린에 소정의 제2 패턴의 영상을 출력하는 단계 (a)와, 상기 카메라와 상기 패널의 상대 위치를 유지한 채 상기 정합 보조 장치를 상기 영상 센서의 촬영 가능 범위 내에서 복수의 위치로 이동시키는 단계 (b)와, 상기 복수의 위치 각각에서 상기 카메라를 이용해 상기 제2 패턴을 촬영하고, 상기 영상 센서를 이용해 상기 제1 패턴을 촬영하는 단계 (c)와, 상기 카메라를 이용해 촬영한 상기 제2 패턴에 대한 정보를 이용해 상기 복수의 위치 각각에서의 상기 카메라 좌표계와 상기 디스플레이 좌표계의 변환 관계를 구하는 단계 (d)와, 상기 영상 센서를 이용해 촬영한 상기 제1 패턴에 대한 정보를 이용해 상기 복수의 위치 각각에서의 상기 패널 좌표계와 상기 센서 좌표계의 변환 관계를 구하는 단계 (e)와, 상기 센서 좌표계, 상기 패널 좌표계, 상기 카메라 좌표계 및 상기 디스플레이 좌표계의 연쇄적 변환 관계를 이용하여 상기 패널 좌표계와 상기 카메라 좌표계의 고정된 변환 관계와, 상기 카메라 좌표계와 상기 디스플레이 좌표계의 변환 관계, 상기 센서 좌표계와 상기 패널 좌표계의 변환 관계 및 상기 디스플레이 좌표계와 상기 센서 좌표계의 고정된 변환 관계에 대한 관계식을 제공하는 단계 (f)와, 상기 단계 (d)와 단계 (e)에서 구해진 상기 복수의 위치 각각에서의 상기 카메라 좌표계와 상기 디스플레이의 변환 관계 및, 상기 복수의 위치 각각에서의 상기 패널 좌표계와 상기 센서 좌표계의 변환 관계를 상기 관계식에 대입하여 상기 디스플레이 좌표계와 상기 센서 좌표계의 고정된 변환 관계를 구하는 단계 (g)를 포함하는 정합 방법이 제공된다.
일 실시예에 따르면, 상기 단계 (a) 내지 (g)는 복수 회 반복되며, 상기 정합 방법은 그러한 반복 과정에서 얻어진 모든 정보를 이용한 비선형 최적화 방법을 통해 최적화된 상기 디스플레이 좌표계와 상기 센서 좌표계의 변환 관계식을 구하는 단계 (h)를 더 포함할 수도 있다.
상기 단계 (b)에서는 정합 보조 장치가 3개 이상의 위치로 이동되는 것이 바람직하다.
또한, 상기 단계 (b)를 수행하기 앞서, 상기 패널이 상기 센서를 향하도록 배치되어 상기 제1 패턴이 상기 센서에 의해 관찰되도록 하고, 상기 카메라가 상기 디스플레이 장치의 스크린상의 상기 제2 패턴을 관찰 가능하도록 상기 카메라와 상기 패널의 자세를 조정하여 고정하는 단계를 더 포함할 수도 있다.
본 발명의 또 다른 측면에 따르면, 평면 스크린을 구비하는 디스플레이 장치와, 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주한 물체를 관찰하는 영상 센서를 구비한 전자 장치로서, 상기 정합 방법을 이용해 상기 센서 좌표계와 상기 디스플레이 좌표계가 상호 변환 가능하게 정합된 전자 장치가 제공된다.
일 실시예에 따르면, 상기 영상 센서는 상기 디스플레이 장치에 고정 결합된다.
또한, 상기 디스플레이 장치는, 사용자가 실제 입체감을 느낄 수 있는 3차원 영상을 제공하는 3차원 디스플레이 장치일 수 있다.
도 1은 본 발명에 따른 디스플레이 장치와 영상 센서를 정합하기 위한 시스템을 설명하기 위한 개략도이다.
도 2는 도 1의 시스템을 이용해 디스플레이 장치와 영상 센서를 정합하는 방법을 설명하기 위한 개략도이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 하나의 실시예로서 설명되는 것이며, 이것에 의해 본 발명의 기술적 사상과 그 핵심 구성 및 작용은 제한되지 않는다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치(10)와 영상 센서(20)를 정합하기 위한 시스템을 설명하기 위한 개략도이고, 도 2는 도 1의 시스템을 이용해 디스플레이 장치(10)와 영상 센서(20)를 정합하는 방법을 설명하기 위한 개략도이다.
디스플레이 장치(10)는 영상을 출력하기 위한 평면 스크린(11)을 구비한다. 디스플레이 장치(10)에는 스크린(11)에 출력되는 영상의 기준이 되는 임의의 원점(ODis)을 가지는 디스플레이 장치의 고유 좌표계("디스플레이 좌표계")가 설정되어 있다.
디스플레이 장치(10)는 사용자가 실제 입체감을 느낄 수 있는 3차원 영상을 제공하는 3차원 TV일 수 있다.
영상 센서(20)는 카메라 형 센서로서 사용자나 물체를 촬영하여 사용자나 물체에 대한 정보를 수집한다.
본 실시예에 따른 영상 센서(20)에는 임의의 원점(OSec)을 가지는 영상 센서의 고유 좌표계("센서 좌표계")가 설정되어 있으며, 영상 센서에서 취득되는 사용자나 물체에 대한 위치 데이터는 센서 좌표계를 기준으로 처리된다.
영상 센서(20)는 스크린(11)과 마주한 사용자나 물체를 관찰할 수 있도록 배향되어 있어, 스크린(11)에 출력되는 영상을 직접 관찰할 수 없도록 배치되어 있다.
도 1 및 도 2에서는 영상 센서(20)가 디스플레이 장치(10)와 분리되어 있으나, 영상 센서(20)는 스크린(11)과 동일한 방향으로 배향되도록 디스플레이 장치(10)에 고정 설치될 수도 있음이 이해되어야 할 것이다.
디스플레이 장치(10)의 스크린(11)에 출력되는 영상을 감상하는 사용자가 손을 뻗어 영상을 직접 손을 댄 것과 같이 느낄 수 있는 일종의 시각적인 "착시 효과"를 제공하기 위해서는, 예를 들어 영상 센서(11)에 의해 관찰된 사용자의 위치 데이터에 맞추어 스크린(11)의 출력되는 영상의 위치 등을 적절히 교정할 필요가 있다.
이를 위해서는 센서 좌표계와 디스플레이 좌표계에서 처리되는 데이터가 상호 변환 가능하게 정합될 필요가 있다. 즉, 센서 좌표계와 디스플레이 좌표계의 변환 관계를 구할 것이 요구된다.
본 실시예에 따르면, 센서 좌표계와 디스플레이 좌표계의 변환 관계를 구하기 위한 정보를 제공하기 위해 정합 보조 장치(30)가 이용된다.
도 1에 도시된 바와 같이, 정합 보조 장치(30)는 카메라(31)와, 상기 카메라(31)와 결합되는 패널(32)을 포함한다.
도시하지 않았지만, 카메라(31)와 패널(32)은 지지대를 통해 바닥에 지지될 수 있으며, 필요에 따라 여러 위치로 이동될 수 있다(도 2 참조).
카메라(31)는 패널(32)에 대해 각도 변경이 가능하여, 패널(32)에 대해 다양한 자세를 취할 수 있다.
카메라(31)에는 그 촬영된 영상 데이터의 처리 기준이 되는 원점(OCam)을 가지는 카메라의 고유 좌표계("카메라 좌표계")가 설정되어 있다.
패널(32)의 전면부에는 정사각형의 흑백 격자로 이루어진 제1 패턴이 도식되어 있다. 제1 패턴과 후술하는 제2 패턴은 좌표 산출 등의 편의를 위해 흑백 격자를 가지지만 반드시 이에 한정될 필요는 없다. 격자는 원형 등 다양한 형태로 구현하더라도 원하는 효과를 얻을 수 있다는 점이 당업자에게 이해될 수 있을 것이다.
사용자는 패널(32) 상에 임의 설정된 원점(OPat)(예를 들어 제1 패턴의 격자의 코너점 중 임의의 하나)를 가지는 패널의 고유 좌표계("패널 좌표계")를 임의로 설정하여 패널 좌표계에서의 제1 패턴의 격자의 각 코너점의 위치를 좌표화할 수 있다.
도 1에 도시된 바와 같이, 정합 보조 장치(30)는 디스플레이 장치(10)와 영상 센서(20)의 전면에서 카메라(31)는 디스플레이 장치(10)의 스크린(11)을 촬영하고, 패널(32)의 제1 패턴이 영상 센서(20)에 의해 촬영될 수 있도록 배치된다.
정합 보조 장치(30)는, 카메라(31)를 이용해 스크린(11)에 출력된 영상(제2 패턴)을 촬영하여 카메라 좌표계와 상기 디스플레이 좌표계의 변환 관계를 제공하고, 영상 센서(20)가 상기 제1 패턴을 촬영하도록 함으로써 패널 좌표계와 상기 센서 좌표계의 변환 관계를 제공함으로써, 센서 좌표계와 디스플레이 좌표계를 상호 변환 가능하게 정합시키기 위한 정보를 제공한다.
이하, 도 2를 참조하여 정합 보조 장치(30)를 이용한 정합 방법을 더 구체적으로 설명한다.
먼저, 디스플레이 장치(10)의 스크린(11)에 소정의 제2 패턴의 영상을 출력한다(단계 (a)). 제2 패턴은 제1 패턴과 마찬가지로 정사각형의 흑백 격자로 이루어진다. 제2 패턴의 격자의 각 코너점의 위치는 디스플레이 좌표계 상에서 좌표화되어 있다.
정합 보조 장치(30)의 카메라(31)와 패널(32)를 소정의 자세로 고정한 뒤, 카메라(31)와 패널(32)의 상대 위치를 유지한 채 정합 보조 장치(31)를 영상 센서의 촬영 가능 범위 내에서 복수의 위치(A 내지 D)로 이동시키면서(단계 (b)), 복수의 위치(A 내지 D) 각각에서 카메라(31)를 이용해 상기 제2 패턴을 촬영하고, 영상 센서(20)를 이용해 상기 제1 패턴을 촬영한다(단계 (c)).
상술한 바와 같이, 카메라(31)는 패널(32)에 대해 각도 변경이 가능하여, 패널(32)에 대해 다양한 자세를 취할 수 있다. 따라서, 예를 들어 도 1에 도시된 바와 같이, 센서(20)가 디스플레이 장치(10)이 좌측에 전방을 지향하여 위치하고 있는 경우, 패널(32)은 센서(20)를 향하도록 배치되어 그 제1 패턴이 센서(20)에 의해 더 쉽게 관찰되도록 조정하고, 카메라(31)는 패널(32)과의 각도를 적절히 변경하여 디스플레이 장치(10)를 쉽게 관찰할 수 있는 자세로 조정될 수 있다.
만일 센서(20)가 디스플레이 장치(10)의 상단에서 아래쪽을 향하도록 지향하고 있다면, 패널(32)는 도 1과 달리 전방을 향하면서 센서(20)를 바라보도록 조정될 수 있다.
이와 같이 카메라(31)는 패널(32)에 대해 각도 변경이 가능하여, 패널(32)에 대해 다양한 자세를 취할 수 있도록 정합 보조 장치(31)를 구성함으로써, 카메라(31)와 패널(32)의 상호 자세 정보를 미리 알지 못하는 상황에서도 다양한 디스플레이-센서 간의 위치 관계 획득에 유연하게 대처할 수 있게 된다.
도 1은 참조하면, 카메라 좌표계로부터 패널 좌표계로의 변환식, 디스플레이 좌표계로부터 카메라 좌표계로의 변환식, 패널 좌표계로부터 센서 좌표계로의 변환식, 및 센서 좌표계로부터 디스플레이 좌표계로의 변환식은 각각 행렬식 TPat _ Cam, TCam_Dis, TSen _ Pat, TDis _ Sen로 나타낼 수 있다. 각 변환식에서 밑 첨자의 위치를 바꾸면 그 역 방향으로의 변환을 의미한다. 예를 들어, 디스플레이 좌표계로부터 센서 좌표계로의 변환식은 TSen _ Dis로 나타낼 수 있다
본 실시예는 도 1에서 박스로 표시된 바와 같이, 디스플레이 좌표계의 센서 좌표계에 대한 변환 관계(TDis _ Sen)를 구하고자 하는 것이다.
다시 도 2를 참조하면, 카메라(31)를 이용해 촬영한 상기 제2 패턴에 대한 정보를 이용해 복수의 위치(A 내지 D) 각각에서의 카메라 좌표계와 디스플레이 좌표계의 변환 관계를 구한다(단계 (d)).
카메라 좌표계와 디스플레이 좌표계의 변환 관계는 평면 격자인 제2 패턴의 코너 대응점 추출 방법에 의해 구해진다. 평면 격자 패턴의 코너 대응점 추출에 의해 카메라를 캘리브레이션(Calibration)하여 카메라의 내부 변수(intrinsic parameter) 및 왜곡 변수(distortion parameter)를 추정하고 평면 격자 패턴의 좌표계(본 단계에서는 디스플레이 좌표계)와 카메라 좌표계의 변환 관계를 구하는 방법은 이미 공지된 것이므로 여기서는 자세한 설명을 생략한다.
다음으로, 영상 센서(20)를 이용해 촬영한 상기 제1 패턴에 대한 정보를 이용해 복수의 위치(A 내지 D) 각각에서의 패널 좌표계와 센서 좌표계의 변환 관계를 구한다(단계 (e)). 패널 좌표계와 센서 좌표계의 변환 관계는 평면 격자인 제1 패턴의 코너 대응점 추출 방법에 의해 구해진다.
다시 도 1을 참조하면, 좌표계 연쇄변환으로부터, 각 좌표계의 변환 관계는 하기 [수학식 1]을 만족하는 것을 알 수 있다.
[수학식 1]
Figure 112013099579614-pat00001
Figure 112013099579614-pat00002

영상 센서(20)는 디스플레이 장치(10)에 대해, 카메라(31)는 패널(32)에 대해 위치 고정된 상태이므로, 상기 [수학식 1]에서 TDis _ Sen와 TPat _ Cam은 고정된 미지수이다.
따라서, 상기 [수학식 1]은 하기 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
Figure 112013099579614-pat00003

상기 [수학식 2]를 정리하면, 하기 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
Figure 112013099579614-pat00004

각 변환은 모두 유클리디안 변환이므로, 상기 [수학식 3]은 하기 [수학식 4] 형태의 유클리디안 방정식으로 표현할 수 있다.
[수학식 4]
Figure 112013099579614-pat00005

상기 단계 (d)와 단계 (e)를 통해 최소 세 개의 위치에 대한 카메라 좌표계와 디스플레이 좌표계의 변환 관계(즉, TCam _ Dis)와 패널 좌표계와 센서 좌표계의 변환 관계(즉, TSen _ Pat)를 알고 있다면, 상기 [수학식 4]와 같은 유클리디안 방정식으로 정리되는 상기 [수학식 3]에서 디스플레이 좌표계와 센서 좌표계에 대한 변환 관계(즉, TDis _ Sen)를 구하는 해법은 이미 알려져 있다.
즉, 정합 보조 장치(30)를 최소 3개의 위치로 이동시키면 디스플레이 좌표계와 센서 좌표계에 대한 변환 관계를 구할 수 있다.
정리하면, 센서 좌표계, 패널 좌표계, 카메라 좌표계 및 디스플레이 좌표계의 연쇄적 변환 관계를 이용하여 각 좌표계의 변환 관계에 대한 관계식(수학식 3)을 제공하고(단계 (f)), 상기 단계 (d)와 단계 (e)에서 구해진 복수의 위치 (A 내지 D) 각각에서의 구해진 카메라 좌표계와 디스플레이의 변환 관계 및, 패널 좌표계와 서 좌표계의 변환 관계를 그 관계식에 대입하여 디스플레이 좌표계와 센서 좌표계의 변환 관계를 구할 수 있다(단계 (g)).
본 실시예에 따르면, 정합의 신뢰성 유지를 위해, 상기 단계 (a) 내지 (g)를 복수 회 반복 실행하며, 반복 과정에서 얻어진 모든 정보를 이용한 비선형 최적화 방법을 통해 최적화된 디스플레이 좌표계의 센서 좌표계에 대한 변환 관계를 구할 수도 있다(단계 (h)).
비선형 최적화는 카메라에 의한 재투영 오차(reprojecion error)를 최소화하기 위한 것이며, 비선형 최적화를 위한 코스트 함수(Cost Function)는 카메라의 자세(TCam _ Dis)와, 영상 센서 및 디스플레이의 변환 관계(TDis _ Sen) 및 카메라와 패널의 변환(TCam _ Pat)을 변수로 하고, 카메라와 영상 센서의 내부 변수 및 왜곡 변수, 카메라와 영상 센서의 3d-2d 대응점(카메라(31)은 Xj cami <-> xj cami ; 영상 센서는 Xj Seni <-> xj Seni )을 주어진 값으로 하여 하기 [수학식 5]와 같이 주어진다.
[수학식 5]
Figure 112013099579614-pat00006

또한, 본 실시예에 따르면, 정합 보조 장치를 이용해 영상 센서와 디스플레이 장치를 일단 정합시키면 영상 센서와 디스플레이 장치를 사용함에 있어 사용자에게 시각적 "착시 효과"를 주기 위한 다른 별도의 장치가 필요하지 않게 된다.
따라서, 발명의 일 실시예와 같이, 영상 센서가 디스플레이 장치에 고정 설치되는 경우, 제조 과정에서 영상 센서와 디스플레이 장치를 정합하는 것으로 족하며, 사용 장소에서 영상 센서와 디스플레이 장치를 재정합하는 등의 불필요한 작업을 생략할 수 있다.
본 실시예에 따른 정합 방법은, 평면형 디스플레이를 이용한 가정용 가상 현실 환경, 물체 접촉 기반의 차세대 내츄럴 유저 인터페이스(NUI), 스마트폰 등의 소형 가전기기를 통한 가상 현실 환경에 널리 응용될 수 있을 것이다.

Claims (9)

  1. 평면 스크린을 구비하는 디스플레이 장치와; 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되며 상기 스크린과 마주한 물체를 관찰하는 영상 센서를 구비한 전자 장치에서, 상기 영상 센서에서 데이터 처리의 기준이 되는 상기 영상 센서의 고유 좌표계("센서 좌표계")와 상기 스크린의 영상 출력의 기준이 되는 상기 디스플레이 장치의 고유 좌표계("디스플레이 좌표계")의 변환 관계를 구하여 상기 센서 좌표계와 상기 디스플레이 좌표계를 상호 변환 가능하게 정합시키기 위한 정보를 제공할 수 있는 정합 보조 장치로서,
    카메라와,
    상기 카메라와 결합되며 소정의 제1 패턴이 도식된 패널을 포함하고,
    상기 카메라가 상기 스크린에 출력된 영상을 촬영하여 상기 카메라에서 촬영된 영상 데이터의 처리 기준이 되는 상기 카메라의 고유 좌표계("카메라 좌표계")와 상기 디스플레이 좌표계의 변환 관계를 제공하고,
    상기 영상 센서가 상기 제1 패턴을 촬영하여 상기 패널 상에 임의 설정된 상기 패널의 고유 좌표계("패널 좌표계")와 상기 센서 좌표계의 변환 관계를 제공하는 것을 특징으로 하는 정합 보조 장치.
  2. 제1항에 있어서,
    상기 카메라는 상기 패널에 대해 각도 변경이 가능하도록 형성되어, 상기 패널에 대한 자세를 변경할 수 있는 것을 특징으로 하는 정합 보조 장치.
  3. 청구항 제1항에 따른 정합 보조 장치를 이용하여 상기 센서 좌표계와 상기 디스플레이 좌표계를 상호 변환 가능하게 정합시키기 위한 정합 방법으로서,
    상기 스크린에 소정의 제2 패턴의 영상을 출력하는 단계 (a);
    상기 카메라와 상기 패널의 상대 위치를 유지한 채 상기 정합 보조 장치를 상기 영상 센서의 촬영 가능 범위 내에서 복수의 위치로 이동시키는 단계 (b);
    상기 복수의 위치 각각에서 상기 카메라를 이용해 상기 제2 패턴을 촬영하고, 상기 영상 센서를 이용해 상기 제1 패턴을 촬영하는 단계 (c);
    상기 카메라를 이용해 촬영한 상기 제2 패턴에 대한 정보를 이용해 상기 복수의 위치 각각에서의 상기 카메라 좌표계와 상기 디스플레이 좌표계의 변환 관계를 구하는 단계 (d);
    상기 영상 센서를 이용해 촬영한 상기 제1 패턴에 대한 정보를 이용해 상기 복수의 위치 각각에서의 상기 패널 좌표계와 상기 센서 좌표계의 변환 관계를 구하는 단계 (e);
    상기 센서 좌표계, 상기 패널 좌표계, 상기 카메라 좌표계 및 상기 디스플레이 좌표계의 연쇄적 변환 관계를 이용하여 상기 패널 좌표계와 상기 카메라 좌표계의 고정된 변환 관계와, 상기 카메라 좌표계와 상기 디스플레이 좌표계의 변환 관계, 상기 센서 좌표계와 상기 패널 좌표계의 변환 관계 및 상기 디스플레이 좌표계와 상기 센서 좌표계의 고정된 변환 관계에 대한 관계식을 제공하는 단계 (f);
    상기 단계 (d)와 단계 (e)에서 구해진 상기 복수의 위치 각각에서의 상기 카메라 좌표계와 상기 디스플레이의 변환 관계 및, 상기 복수의 위치 각각에서의 상기 패널 좌표계와 상기 센서 좌표계의 변환 관계를 상기 관계식에 대입하여 상기 디스플레이 좌표계와 상기 센서 좌표계의 고정된 변환 관계를 구하는 단계 (g)를 포함하는 것을 특징으로 하는 정합 방법.
  4. 제3항에 있어서,
    상기 단계 (a) 내지 (g)는 복수 회 반복되며,
    반복 과정에서 얻어진 모든 정보를 이용한 비선형 최적화 방법을 통해 최적화된 상기 디스플레이 좌표계와 상기 센서 좌표계의 변환 관계식을 구하는 단계 (h)를 더 포함하는 것을 특징으로 하는 정합 방법.
  5. 제3항에 있어서,
    상기 정합 보조 장치는 3개 이상의 위치로 이동되는 것을 특징으로 하는 정합 방법.
  6. 제3항에 있어서,
    상기 카메라의 상기 패널에 대해 각도 변경이 가능하도록 형성되고,
    상기 단계 (b)를 수행하기 앞서, 상기 패널이 상기 센서를 향하도록 배치되어 상기 제1 패턴이 상기 센서에 의해 관찰되도록 하고, 상기 카메라가 상기 디스플레이 장치의 스크린상의 상기 제2 패턴을 관찰 가능하도록 상기 카메라와 상기 패널의 자세를 조정하여 고정하는 단계를 더 포함하는 것을 특징으로 하는 정합 방법.
  7. 평면 스크린을 구비하는 디스플레이 장치와; 상기 스크린에 출력되는 영상을 직접 관찰할 수 없는 위치에 배치되어 상기 스크린과 마주한 물체를 관찰하는 영상 센서를 구비한 전자 장치로서,
    상기 제3항 내지 제6항 중 어느 한 항에 따른 정합 방법에 의해 상기 센서 좌표계와 상기 디스플레이 좌표계가 상호 변환 가능하게 정합된 것을 특징으로 하는 전자 장치.
  8. 제7항에 있어서,
    상기 영상 센서는 상기 디스플레이 장치에 고정 결합된 것을 특징으로 하는 전자 장치.
  9. 제7항에 있어서,
    상기 디스플레이 장치는, 사용자가 실제 입체감을 느낄 수 있는 3차원 영상을 제공하는 3차원 디스플레이 장치인 것을 특징으로 하는 전자 장치.
KR20130132079A 2013-11-01 2013-11-01 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치 KR101496441B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR20130132079A KR101496441B1 (ko) 2013-11-01 2013-11-01 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치
US14/293,189 US8938131B1 (en) 2013-11-01 2014-06-02 Apparatus and method for registration of flat panel display device and imaging sensor, and electronic device having flat panel display device and imaging sensor which are registered using the method
JP2014223021A JP5923588B2 (ja) 2013-11-01 2014-10-31 フラットパネルディスプレイ装置と画像センサを整合するための装置および方法と、その方法を用いて整合されたフラットパネルディスプレイ装置と画像センサを備える電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130132079A KR101496441B1 (ko) 2013-11-01 2013-11-01 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치

Publications (1)

Publication Number Publication Date
KR101496441B1 true KR101496441B1 (ko) 2015-02-27

Family

ID=52301725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130132079A KR101496441B1 (ko) 2013-11-01 2013-11-01 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치

Country Status (3)

Country Link
US (1) US8938131B1 (ko)
JP (1) JP5923588B2 (ko)
KR (1) KR101496441B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639065B1 (ko) * 2015-06-22 2016-07-13 한국과학기술연구원 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
WO2022092983A1 (ko) * 2020-10-30 2022-05-05 주식회사 크리에이츠 가상 골프 시뮬레이션을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341225B1 (en) 2021-06-04 2022-05-24 EyeVerify Inc. Automated positional adaptive spoofing
US11334755B1 (en) * 2021-06-04 2022-05-17 EyeVerify Inc. Automated spoofing transformation
US11341778B1 (en) 2021-06-04 2022-05-24 EyeVerify Inc. Automated adaptive displayed spoofing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013015324A (ja) 2011-06-30 2013-01-24 Toshiba Corp 映像表示装置、映像表示方法およびプログラム
JP2013076667A (ja) 2011-09-30 2013-04-25 Toshiba Corp キャリブレーション方法および映像表示装置
KR20140144633A (ko) * 2013-06-11 2014-12-19 삼성메디슨 주식회사 영상 정합 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6527395B1 (en) 2001-12-10 2003-03-04 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating a projector with a camera
US8279168B2 (en) * 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
JP5316118B2 (ja) * 2009-03-12 2013-10-16 オムロン株式会社 ３次元視覚センサ
JP4754005B2 (ja) * 2009-03-12 2011-08-24 任天堂株式会社 ゲームプログラムおよびゲーム装置
US8384770B2 (en) * 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395474A3 (en) * 2010-06-11 2014-03-26 Nintendo Co., Ltd. Storage medium having image recognition program stored therein, image recognition apparatus, image recognition system, and image recognition method
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
JP2012150636A (ja) * 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US20140193037A1 (en) * 2013-01-08 2014-07-10 John Fleck Stitzinger Displaying an Image on Multiple Dynamically Located Displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013015324A (ja) 2011-06-30 2013-01-24 Toshiba Corp 映像表示装置、映像表示方法およびプログラム
JP2013076667A (ja) 2011-09-30 2013-04-25 Toshiba Corp キャリブレーション方法および映像表示装置
KR20140144633A (ko) * 2013-06-11 2014-12-19 삼성메디슨 주식회사 영상 정합 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101639065B1 (ko) * 2015-06-22 2016-07-13 한국과학기술연구원 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
US9838587B2 (en) 2015-06-22 2017-12-05 Center Of Human-Centered Interaction For Coexistence System for registration of virtual space and real space, method for registering display apparatus and image sensor, and electronic device registered using the method
WO2022092983A1 (ko) * 2020-10-30 2022-05-05 주식회사 크리에이츠 가상 골프 시뮬레이션을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
JP5923588B2 (ja) 2016-05-24
JP2015088193A (ja) 2015-05-07
US8938131B1 (en) 2015-01-20

Similar Documents

Publication Publication Date Title
KR101496441B1 (ko) 평면 디스플레이 장치와 영상 센서를 정합하기 위한 장치 및 방법과, 그 방법을 이용해 정합된 평면 디스플레이 장치와 영상 센서를 구비한 전자 장치
JP6883608B2 (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
US9384551B2 (en) Automatic rectification of stereo imaging cameras
KR101381928B1 (ko) 포인터를 사용하지 않는 가상 터치 장치 및 방법
CN106454311B (zh) 一种led三维成像***及方法
JP2023111962A (ja) 画像処理装置、画像処理方法、及びプログラム
US9230330B2 (en) Three dimensional sensing method and three dimensional sensing apparatus
CN106256124B (zh) 结构化立体
US9503703B1 (en) Approaches for rectifying stereo cameras
CN104656893B (zh) 一种信息物理空间的远程交互式操控***及方法
US9838587B2 (en) System for registration of virtual space and real space, method for registering display apparatus and image sensor, and electronic device registered using the method
CN104360729A (zh) 基于Kinect和Unity3D的多交互方法与装置
CN110969658A (zh) 利用来自多个设备的图像进行定位和标测
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
US20130187852A1 (en) Three-dimensional image processing apparatus, three-dimensional image processing method, and program
He et al. Research on 3D point-cloud registration technology based on Kinect V2 sensor
US9503677B1 (en) Rectifying camera pairs
WO2018195973A1 (zh) 利用手持终端进行光标定位的方法、手持终端和电子设备
KR20160093769A (ko) 공간 매칭 기법을 적용한 가상 콘텐츠 생성 방법 및 시스템
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법
JP6103942B2 (ja) 画像データ処理装置及び画像データ処理プログラム
Pokorny et al. A database for reproducible manipulation research: CapriDB–Capture, Print, Innovate
CN104616246B (zh) 一种处理图像的方法、装置及终端设备
KR101472314B1 (ko) 단일 카메라를 이용한 ３차원 입력장치 및 방법
JP6700539B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 6