KR20140068927A - 사용자 인터페이스 표시 장치 - Google Patents

사용자 인터페이스 표시 장치 Download PDF

Info

Publication number
KR20140068927A
KR20140068927A KR1020147005969A KR20147005969A KR20140068927A KR 20140068927 A KR20140068927 A KR 20140068927A KR 1020147005969 A KR1020147005969 A KR 1020147005969A KR 20147005969 A KR20147005969 A KR 20147005969A KR 20140068927 A KR20140068927 A KR 20140068927A
Authority
KR
South Korea
Prior art keywords
fingertip
image
optical
user interface
light
Prior art date
Application number
KR1020147005969A
Other languages
English (en)
Inventor
노리유키 주니
Original Assignee
닛토덴코 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛토덴코 가부시키가이샤 filed Critical 닛토덴코 가부시키가이샤
Publication of KR20140068927A publication Critical patent/KR20140068927A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

결상 기능을 갖는 렌즈 등의 광학 패널(O)을, 그 광축(Q)이 조작자를 기준으로 하는 가상 수평면(P)과 직교하도록 이 가상 수평면(P)과 평행하게 배치하고, 표시 기능을 갖는 플랫 패널 디스플레이(D)를, 가상 수평면(P)에 대하여 표시면(Da)을 정해진 각도(θ) 기울인 상태로, 광학 패널(O)의 하측에, 그 표시면을 위로 향하게 하여 오프셋 배치한다. 또, 광학 패널(O)의 상측에 결상하는 공간 이미지(I')의 하측 또는 상측에, 손끝(H)을 향해서 광을 투사하는 광원(L)과, 이 손끝(H)에 의한 광의 반사를 촬영하는 광학적 촬상 수단(카메라(C))을 배치한다. 이에 따라, 공간에 투영되는 공간 이미지의 주위에 조작의 장애가 되는 구조물이 없어, 조작자의 손끝을 이용한 공간 이미지와의 인터렉션을 자연스러운 형태로 행할 수 있는 사용자 인터페이스 표시 장치를 제공한다.

Description

사용자 인터페이스 표시 장치{USER INTERFACE DISPLAY DEVICE}
본 발명은, 공간 이미지의 주위에 배치된 손끝을 움직이는 것에 의해, 이 손끝의 움직임과 쌍방향으로 연계되도록(인터랙티브하게) 상기 공간 이미지를 변화시키는 사용자 인터페이스 표시 장치에 관한 것이다.
공간에 영상을 표시하는 방식으로는, 이안 방식, 다안 방식, 공간 이미지 방식, 체적 표시 방식, 홀로그램 방식 등이 알려져 있고, 최근에는 영상을 표시하는 표시 장치에 있어서, 공간에 표시된 2차원 영상 또는 3차원 영상(공간 이미지)을 손끝이나 손가락 등을 이용하여 직감적으로 조작할 수 있어, 이 공간 이미지와 인터렉션 가능한 표시 장치가 제안되어 있다.
이러한 표시 장치에서의 손끝이나 손가락 등의 인식 입력 수단(사용자 인터페이스)으로서, 다수의 LED나 램프 등에 의해 검지 영역(평면)에 종횡의 광의 격자를 형성하고, 이 광의 격자의 입력체에 의한 차폐를 수광 소자 등으로 검지하여, 그 입력체(손끝)의 위치나 좌표 등을 검출하는 시스템이 제안되어 있다(특허문헌 1, 2를 참조).
특허문헌 1 : 일본 특허 공개 제2005-141102호 공보 특허문헌 2 : 일본 특허 공개 제2007-156370호 공보
그러나, 상기와 같이, 검지 영역(평면)에 형성한 광의 격자의 차폐를 검지하여 입력체의 위치나 좌표 등을 검출하는 사용자 인터페이스를 갖는 표시 장치는, 상기 LED나 수광 소자의 설치에 이용되는 프레임이, 공간 이미지의 전방 위치(조작자측)에 반드시 배치되고, 이 프레임이 조작자의 시야에 들어와 장애물로서 의식되어 버리기 때문에, 조작자의 손의 움직임이 부자연스러워지거나 매끄럽지 않게 되는 경우가 있다.
본 발명은, 이러한 사정을 감안하여 이루어진 것으로, 공간에 투영되는 공간 이미지의 주위에 조작의 장애가 되는 구조물이 없어, 조작자의 손끝을 이용한 공간 이미지와의 인터렉션을 자연스러운 형태로 행할 수 있는 사용자 인터페이스 표시 장치의 제공을 그 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명의 사용자 인터페이스 표시 장치는, 플랫 패널 디스플레이의 표시면에 표시된 영상을, 결상 기능을 갖는 광학 패널을 이용하여 정해진 거리 떨어진 공간 위치에 결상시키고, 이 공간 이미지의 주위에 위치하는 손끝의 움직임에 관련하여, 상기 플랫 패널 디스플레이의 영상을 인터랙티브하게 제어하는 사용자 인터페이스 표시 장치로서, 상기 광학 패널은, 그 광축이 조작자를 기준으로 하는 가상 수평면과 직교하도록 이 가상 수평면과 평행하게 배치되고, 상기 플랫 패널 디스플레이는, 상기 가상 수평면에 대하여 표시면을 정해진 각도 기울인 상태로, 상기 광학 패널의 하측에, 그 표시면을 위로 향하게 하여 오프셋 배치되어 있고, 상기 광학 패널의 상측에 결상하는 공간 이미지의 하측 또는 상측에, 상기 손끝을 향해서 광을 투사하는 광원과, 이 손끝에 의한 상기 광의 반사를 촬영하는 하나의 광학적 촬상 수단이 쌍을 이루어 배치되어 있는 구성을 채택한다.
즉, 본 발명자는, 상기 과제를 해결하기 위해 예의 연구를 거듭하여, 손끝을 이용한 입력시의 조작자의 심리적 부담을 경감하기 위해, 공간 이미지에서 떨어진 위치로부터 적은 대수의 카메라로 손끝을 촬영하는 것을 착상했다. 그리고, 카메라로 촬영했을 때의 손끝의 움직임(화상)에 착안하여 더욱 연구를 거듭한 결과, 디스플레이와 이 디스플레이의 표시를 결상시키는 광학 패널을 정해진 위치 관계에 배치하여, 상기 광학 패널의 상측 공간에 디스플레이의 표시(공간 이미지)를 투영하고, 상기 공간 이미지의 근방에 들어오는 손끝을, 이 공간 이미지의 하측 또는 상측에 배치된 카메라 등의 광학적 촬상 수단으로 촬영하고, 이 화상에 기초하여 상기 손끝의 위치나 좌표를 식별함으로써, 카메라 1대라는 심플한 구성으로도 입력체로서의 손끝의 움직임을 충분히 검출할 수 있는 것을 발견하여, 본 발명에 도달했다.
본 발명은, 이상과 같은 지견에 기초하여 이루어진 것으로, 본 발명의 사용자 인터페이스 표시 장치는, 영상을 표시하는 플랫 패널 디스플레이와, 영상을 공간에 투영하는 렌즈 등의 광학 패널을 포함하고, 상기 광학 패널이, 그 광축이 조작자를 기준으로 하는 가상 수평면과 직교하도록 이 가상 수평면과 평행하게 배치되고, 상기 플랫 패널 디스플레이가, 상기 광학 패널의 하측에, 그 표시면을 위로 향하게 하여 기울인 상태로 배치되고, 상기 광학 패널의 하측 또는 상측에, 광원 및 하나의 광학적 촬상 수단이 쌍을 이루어 배치되어 있다. 이에 따라, 본 발명의 사용자 인터페이스 표시 장치는, 조작자가 입력체의 위치나 좌표 등을 검출하는 시스템을 의식하지 않고, 손끝을 이용한 상기 공간 이미지와의 인터렉션(상호작용적 대화)을 자연스러운 형태로 행할 수 있는 사용자 친화적인 표시 장치로 할 수 있다.
또한, 본 발명의 사용자 인터페이스 표시 장치는, 상기와 같이 하나의 광학적 촬상 수단만 있으면 되기 때문에, 간단한 설비 및 저비용으로 손끝의 움직임을 검출하는 사용자 인터페이스 표시 장치를 구성할 수 있다는 장점이 있다. 더구나, 상기 광학적 촬상 수단(카메라 등)의 배치의 자유도가 향상되기 때문에, 이 카메라 등을 조작자가 의식하지 않는 위치에 배치하는(숨기는) 것도 가능하다.
또, 본 발명의 사용자 인터페이스 표시 장치 중에서도, 특히 상기 광원과 광학적 촬상 수단이 상기 광학 패널의 주위에 인접하여 배치되고, 이 광학적 촬상 수단이, 상기 광학 패널의 상측에 위치하는 손끝에 의한 광의 반사를 촬영하도록 되어 있는 것은, 상기 각 광학 부품을 일체로 유닛화하는 것이 가능하고, 이들 광학 부품의 배치의 자유도가 보다 향상되며, 사용자 인터페이스 표시 장치의 구성의 간소화와 저비용화를 진행시킬 수 있다.
그리고, 본 발명의 사용자 인터페이스 표시 장치는, 그 중에서도, 상기 광원과 상기 광학적 촬상 수단 및 플랫 패널 디스플레이를 제어하는 제어 수단과, 상기 광원으로부터 손끝을 향하여 투사된 광의 반사를 2차원 화상으로서 취득하고, 이 2차원 화상을 연산에 의해 2치화하여 손끝의 형상을 인식하는 형상 인식 수단과, 정해진 시간 간격 전후로 상기 손끝의 위치를 비교하고, 이 손끝의 움직임에 기초하여, 상기 플랫 패널 디스플레이의 영상을, 상기 손끝의 움직임에 대응한 영상으로 갱신하는 표시 갱신 수단을 포함하는 구성을 바람직하게 채택한다. 이에 따라, 본 발명의 사용자 인터페이스 표시 장치는, 하나의 광학적 촬상 수단만을 이용하여, 그 화상 해석으로부터, 사람의 손끝의 움직임을 고감도로 검출할 수 있다. 또, 상기 검출에 기초하여, 상기 플랫 패널 디스플레이의 영상을, 상기 손끝의 움직임에 대응한 영상으로 갱신하는(변화시키는) 것에 의해, 공간 이미지와 조작자의 손끝의 인터렉션이 가능해진다.
도 1은 본 발명의 사용자 인터페이스 표시 장치의 구성의 개요를 설명하는 도면이다.
도 2의 (a), (b)는, 본 발명의 제1 실시형태에서의 사용자 인터페이스 표시 장치의 구성을 나타내는 도면이다.
도 3의 (a)∼(c)는, 제1 실시형태의 사용자 인터페이스 표시 장치에서의 손끝의 좌표(XY 방향)의 검출 방법을 설명하는 도면이다.
도 4는 제1 실시형태의 사용자 인터페이스 표시 장치에서의 손끝의 움직임의 일례를 나타내는 도면이다.
도 5의 (a), (b)는 모두, 제1 실시형태의 사용자 인터페이스 표시 장치에서의 손끝의 움직임의 검출 방법을 나타내는 도면이다.
도 6은 본 발명의 제2 실시형태에서의 사용자 인터페이스 표시 장치의 구성을 나타내는 도면이다.
도 7은 제2 실시형태의 사용자 인터페이스 표시 장치에서의 공간 이미지의 투영 방법을 설명하는 도면이다.
도 8은 제2 실시형태의 사용자 인터페이스 표시 장치의 광학 패널에 이용되는 결상 광학 소자의 구조를 설명하는 도면이다.
도 9는 상기 광학 패널에 이용되는 결상 광학 소자의 상세 구조를 설명하는 단면도이다.
도 10은 제2 실시형태에서의 사용자 인터페이스 표시 장치의 다른 구성을 나타내는 도면이다.
도 11은 제2 실시형태에서의 사용자 인터페이스 표시 장치의 또 다른 구성을 나타내는 도면이다.
도 12는 본 발명의 제3 실시형태에서의 사용자 인터페이스 표시 장치의 구성을 나타내는 도면이다.
도 13은 제3 실시형태의 사용자 인터페이스 표시 장치의 광학 패널에 이용되는 결상 광학 소자의 구조를 설명하는 도면이다.
도 14는 상기 결상 광학 소자의 구성을 설명하는 분해 사시도이다.
도 15는 제3 실시형태의 사용자 인터페이스 표시 장치의 광학 패널에 이용되는 결상 광학 소자의 다른 구조를 설명하는 도면이다.
도 16은 상기 다른 구조의 결상 광학 소자의 구성을 설명하는 분해 사시도이다.
도 17은 제3 실시형태의 사용자 인터페이스 표시 장치의 광학 패널에 이용되는 결상 광학 소자의 또 다른 구조를 설명하는 도면이다.
도 18은 상기 또 다른 구조의 결상 광학 소자의 구성을 설명하는 분해 사시도이다.
도 19는 제3 실시형태의 사용자 인터페이스 표시 장치의 광학 패널에 이용되는 별도의 구조의 결상 광학 소자의 구성을 설명하는 도면이다.
다음으로, 본 발명의 실시형태를 도면에 기초하여 자세히 설명한다. 단, 본 발명은 이 실시형태에 한정되는 것은 아니다.
도 1은, 본 발명의 사용자 인터페이스 표시 장치의 구성을 원리적으로 설명하는 도면이다.
본 발명의 사용자 인터페이스 표시 장치는, 손끝(H)의 후방에 위치하는 조작자(도시 생략)의 눈앞에, 플랫 패널 디스플레이(D)에 비춰진 영상을 2차원적인 공간 이미지(I')로서 투영ㆍ표시하는 것이며, 상기 조작자(의 감각)를 기준으로 하는 가상 수평면(P)에 평행하게 배치된 광학 패널(O)과, 이 광학 패널(O)로부터 떨어진 위치의 하측에, 그 표시면(Da)을 위로 향하게 하여 정해진 각도(θ) 기울인 상태로 배치된 플랫 패널 디스플레이(D)를 포함한다. 그리고, 상기 사용자 인터페이스 표시 장치는, 상기 손끝(H)을 향해서 광을 투사하는 적어도 하나의 광원(L)과, 이 손끝(H)에 의한 반사광을 촬영하기 위한 광학적 촬상 수단(카메라(C))이, 상기 광학 패널(O)에 의해 투영되는 공간 이미지(I')의 하측에 쌍을 이루어 배치되어 있다. 이것이, 본 발명의 사용자 인터페이스 표시 장치의 특징이다.
상기 사용자 인터페이스 표시 장치의 구성을 보다 자세히 설명하면, 상기 광학 패널(O)에는 광학적으로 이미지를 결상시킬 수 있는 프레넬, 렌티큘러, 플라이아이 등의 렌즈나 렌즈 어레이, 미러, 마이크로 미러 어레이, 프리즘 등의 광학 부품(결상 광학 소자)이 사용되고 있고, 그 중에서도 본 실시형태에서는, 선명한 공간 이미지(I')를 결상하는 것이 가능한 마이크로 미러 어레이가 바람직하게 채택되고 있다. 또한, 이 광학 패널(O)은, 도 1과 같이, 그 광축(Q)이 조작자를 기준으로 하는 가상 수평면(P)과 직교하는 상태가 되도록, 즉, 이 패널(O)의 표면 또는 이면이 상기 가상 수평면(P)과 평행해지도록 배치되어 있다.
또, 상기 플랫 패널 디스플레이(D)에는, 액정 디스플레이(LCD), 유기 EL 디스플레이, 플라즈마 디스플레이(PDP) 등의 평판형의 자발광 디스플레이가 바람직하게 채택된다. 이 플랫 패널 디스플레이(D)는, 광학 패널(O)로부터 떨어진 위치의 하측에, 그 표시면(Da)을 위로 향하게 하여, 상기 가상 수평면(P)에 대하여 정해진 각도(θ) 기울인 상태로 배치된다. 또한, 상기 플랫 패널 디스플레이(D)의 가상 수평면(P)에 대한 각도(θ)는 10∼85°로 설정된다. 또, 상기 플랫 패널 디스플레이(D)로서, 외부 광원에 의해 반사광으로 발색하는 디스플레이나, 브라운관식의 디스플레이를 이용하는 것도 가능하다.
상기 카메라(C)는, CMOS 혹은 CCD 등의 이미지 센서를 포함하는 것이며, 상기 공간 이미지(I')의 하측에, 그 촬영 방향을 위를 향하게 하여 1대만 배치된다. 또, 광원(L)은, 상기 공간 이미지(I')에 대하여 상기 카메라(C)와 동일한 쪽(이 예에서는 하측)에 배치되는 것이며, 이 광원(L)으로는, 예컨대 LED나 반도체 레이저(VCSEL) 등, 입력하는 조작자의 시계를 방해하지 않도록, 가시광 이외의 영역의 광(예컨대, 파장 700∼1000 nm 정도의 적외광)을 발하는 발광체 또는 램프 등이 사용된다. 또한, 상기 카메라(C)와 광원(L)은, 양자를 쌍으로(셋트로) 하여 공간 이미지(I')(손끝(H))의 상측에 배치해도 좋다. 또한, 본 발명의 사용자 인터페이스 표시 장치에서 사용하는 광학적 촬상 수단으로는, 상기 CMOS 이미지 센서 또는 CCD 이미지 센서를 이용한 카메라(C) 외에, 포토다이오드, 포토트랜지스터, 포토 IC, 포토리플렉터, CdS 등의 광전 변환 소자를 이용한 각종 광학식 센서를 이용할 수 있다.
다음으로, 본 발명의 사용자 인터페이스 표시 장치의 보다 구체적인 실시형태에 관해 설명한다. 도 2의 (a)는, 제1 실시형태의 사용자 인터페이스 표시 장치의 개략 구성을 나타내는 도면이고, 도 2의 (b)는, 이 사용자 인터페이스 표시 장치의 광학 패널(1) 주변의 평면도이다.
이 실시형태에서의 사용자 인터페이스 표시 장치에서는, 광학 패널(1)로서, 평볼록형의 프레넬 렌즈(외형 : 사방 170 mm, 초점 거리 : 305 mm)를 2장 겹친 것을 사용하고 있다. 또한, 카메라(2)로서 1/4인치 CMOS 카메라(아사히전자연구소 제조 NCM03-S)를 사용하고, 광원(3)으로서 적외 LED(파장 : 850 nm, 출력 : 8 mW, Thorlab 제조 LED851W)를 사용하고, 플랫 패널 디스플레이(D)로서 액정 디스플레이(파나소닉사 제조 12인치 TFT 디스플레이)를 사용하고 있다.
또한, 도시는 생략했지만, 상기 사용자 인터페이스 표시 장치에는, 상기 광원(3)과 카메라(2) 및 플랫 패널 디스플레이(D)를 제어하는 제어 수단과, 상기 광원(3)으로부터 손끝(H)을 향하여 투사된 광의 반사를 2차원 화상(H')으로서 취득하고, 이 2차원 화상을 연산에 의해 2치화(H")하여 손끝(H)의 형상을 인식하는 형상 인식 수단과, 정해진 시간 간격 전후로 상기 손끝(H)의 위치를 비교하고, 이 손끝(H)의 움직임에 기초하여, 상기 플랫 패널 디스플레이(D)의 영상을, 상기 손끝(H)의 움직임에 대응한 영상으로 갱신하는 표시 갱신 수단의 각 기능을 갖춘 컴퓨터가 배치되어 있다. 또, 상기 플랫 패널 디스플레이(D)의 광학 패널(1)(가상 수평면(P))에 대한 각도(표시면(Da)의 각도)(θ)는, 이 예에서는 45°로 설정되어 있다.
다음으로, 상기 사용자 인터페이스 표시 장치의 공간 이미지(I') 주변(검지 영역 내)에 넣은 손끝(H)의 위치의 특정과, 그 움직임을 검출하는 방법을, 그 과정(단계)마다 순서대로 설명한다.
상기 손끝(H)의 위치(좌표)의 특정은, 우선 도 3의 (a)에 나타낸 바와 같이, 손끝(H)의 하측에 배치된 각 광원(3)으로부터 이 손끝(H)을 향해서 광을 투사한다. 또한, 이 투광은 간헐 발광이어도 좋다〔투광 단계〕. 이어서, 광을 투사한 상태로, 상기 손끝(H)에 대하여 광원(3)과 동일한 쪽(이 예에서는 하측)에 배치된 카메라(2)에 의해 이 손끝(H)을 촬영하고, 그 손끝(H)에 의한 상기 광의 반사(반사광 혹은 반사 이미지)를, 도 3의 (b)에 나타낸 바와 같이, 서로 직교하는 XY 방향의 좌표축을 갖는 2차원 화상(H')(상기 가상 수평면(P)에 평행한 가상 촬영 평면(P') 위의 화상)으로서 취득한다〔촬상 단계〕.
다음으로, 얻어진 상기 2차원 화상(H')을 임계값에 기초하여 2치화한 후, 도 3의 (c)에 나타낸 바와 같이, 그 2치화 화상(H") 안으로부터, 상기 손끝(H)의 외형 형상(도면 중의 사선 부분)을 인식한 후, 예컨대 주먹으로부터 돌출된 손가락을 식별하여, 그 선단 위치에 해당하는 좌표(손가락끝 좌표(T))를 연산에 의해 산출한다. 그리고, 이 손가락끝 좌표(T)를 제어 수단(컴퓨터) 등의 기억 수단에 기억한다〔좌표 특정 단계〕.
상기 손끝(H)의 움직임을 검출하는 과정은, 상기 특정된 손가락끝 좌표(T)를 이용한다. 그 방법은 우선, 결정된 시간 간격으로 상기 광을 투사하는 단계〔투광 단계〕와, 2차원 화상을 취득하는 단계〔촬상 단계〕와, 손가락끝 좌표(T)를 산출하는 단계〔좌표 특정 단계〕를 반복하고, 이 반복후의 손가락끝 좌표(T)를 다시 계측한다〔계측 단계〕.
그리고, 상기 반복의 경과 전후의 손가락끝 좌표(T)(Xm, Yn)의 값을 이용하여, 상기 손가락끝 좌표(T)의 이동 거리와 방향을 산출하고, 그 결과에 기초하여, 플랫 패널 디스플레이(D)의 영상, 즉 공간 이미지(I')를 상기 손끝(H)의 움직임에 대응한 영상으로 갱신한다〔표시 갱신 단계〕.
예컨대, 도 4에 나타낸 바와 같이, 손끝(입력체)이 수평 방향으로 슬라이드 이동(H0→H1)한 경우, 앞서 설명한 손가락끝 좌표(T)는, 도 5의 (a)의 2치화 화상(H0"→H1")과 같이 이동한다. 즉, 상기 손가락끝 좌표(T)는, 이동전의 최초의 위치(좌표(T0))로부터, 실선으로 나타내는 이동후의 위치(좌표(T1))까지 이동한다. 이 때, 상기 계측 단계의 반복에 의해, 그 전후의 좌표(X0, Y0) 및 좌표(X1, Y1)의 값을 이용하여 상기 손끝의 이동 거리와 방향을 산출할 수 있다.
또한, 상기 손끝(H)의 움직임을 검출할 때, 도 5의 (b)에 나타낸 바와 같이, XY 방향의 좌표축을 갖는 가상 촬영 평면(P') 상에, 손가락끝 좌표(T)의 움직임(T0→T2)을 영역마다 4개의 방향〔X(+), X(-), Y(+), Y(-)〕에 할당하는 식별 영역을 설정해 두어도 좋다. 이와 같이 구성하면, 상기 손끝(H)을, 컴퓨터에서의 마우스 장치나 태블릿 장치 등과 같이, 손가락끝 좌표(T)의 이동에 의해 4방향(XY 각각의 +- 방향)의 신호를 간이적으로 출력하는 포인팅 디바이스로서 취급할 수 있다. 즉, 상기 판정 단계에 의한 손끝(H)의 움직임의 검출과 동시에, 상기 플랫 패널 디스플레이(D)의 표시를, 손끝(H)의 움직임에 대응하여 실시간으로 갱신할 수 있다. 또한, 상기 식별 영역에서의 영역의 설정 각도 α나 형상, 배치 등은, 상기 신호를 출력하는 기기나 애플리케이션 등에 따라서 설정하면 된다.
상기와 같이, 본 발명의 제1 실시형태의 사용자 인터페이스 표시 장치에 의하면, 심플하고 또한 저비용인 구성으로, 손끝(H)의 위치나 좌표를 특정할 수 있다. 더구나, 이 사용자 인터페이스 표시 장치는, 공간에 투영되는 공간 이미지(I')의 주위에 조작의 장애가 되는 구조물이 없어, 조작자의 손끝(H)을 이용한 공간 이미지(I')와의 인터렉션을 자연스러운 형태로 행할 수 있다.
다음으로, 본 발명의 제2 실시형태의 사용자 인터페이스 표시 장치에 관해 설명한다.
도 6, 도 10, 도 11은, 본 발명의 제2 실시형태에서의 사용자 인터페이스 표시 장치의 구성을 나타내는 도면이고, 도 7은, 이 사용자 인터페이스 표시 장치에서의 공간 이미지(I')의 투영 방법을 설명하는 도면이다. 또한, 각 도면에서 일점쇄선으로 나타내는 평면(P)은, 상기 제1 실시형태와 마찬가지로, 조작자의 감각을 기준으로 하는 「가상 수평면」(광학 소자 내에서는 「소자면」)이며, 일점쇄선으로 나타내는 평면(P' 및 P")은, 제1 실시형태의 카메라(2)에 의한 가상 촬영 평면(P')(도 3∼도 5 참조)에 해당하는 「가상 촬영 평면」이다.
본 실시형태에서의 사용자 인터페이스 표시 장치도, 플랫 패널 디스플레이(D)의 표시면(Da)에 표시된 영상(화상(I))을, 결상 기능을 갖는 광학 패널(마이크로 미러 어레이(10))을 이용하여 패널 상측의 공간 위치에 결상(공간 이미지(I'))시키는 것이며, 상기 플랫 패널 디스플레이(D)는, 조작자를 기준으로 하는 가상 수평면(P)에 대하여, 표시면(Da)을 정해진 각도(θ) 기울인 상태로, 상기 마이크로 미러 어레이(10)의 하측에, 그 표시면(Da)을 위로 향하게 하여 오프셋 배치되어 있다. 그리고, 상기 마이크로 미러 어레이(10)에 의해 투영되는 공간 이미지(I')의 하측(도 6, 도 10) 또는 상측(도 11)에, 조작자의 손끝(H)을 향해서 광을 투사하는 광원(3)과, 이 손끝(H)에 의한 광의 반사를 촬영하는 광학적 촬상 수단(PSD, 부호 4)이, 쌍을 이루어 배치되어 있다.
상기 제2 실시형태의 사용자 인터페이스 표시 장치가, 구성상 제1 실시형태의 사용자 인터페이스 표시 장치와 상이한 점은, 광학적으로 이미지를 결상시킬 수 있는 결상 광학 소자로서, 다수의 볼록형 코너 리플렉터(단위 광학 소자)를 갖는 마이크로 미러 어레이(10)가 이용되고, 손끝(H)에 의한 광의 반사를 촬영하는 광학적 촬상 수단으로서, PSD(Position Sensitive Detector)가 사용되고 있는 점이다.
상기 마이크로 미러 어레이(볼록형 코너 리플렉터 어레이)(10)에 관해 자세히 설명하면, 이 마이크로 미러 어레이(10)는, 도 8에 나타낸 바와 같이, 기판(기반)(11)의 하면(도 6, 도 7에서의 광학 패널의 하면측)에, 아래로 볼록한 다수의 미소한 사각기둥형 단위 광학 소자(12)(코너 리플렉터)가, 비스듬하게 바둑판형으로 나란히 배열되어 있다〔도 8은 어레이를 하측으로부터 올려다 본 도면이다〕.
상기 마이크로 미러 어레이(10)의 각 사각기둥형의 단위 광학 소자(12)는, 그 단면을 도 9에 나타낸 바와 같이, 코너 리플렉터를 구성하는 한쌍(2개)의 광반사면(사각기둥 측방의 제1 측면(12a), 제2 측면(12b))이 각각, 「기판 표면 방향의 가로폭(폭 w)에 대한 기판 두께 방향의 세로길이(높이 v)의 비」〔애스펙트비(v/w)〕가 1.5 이상인 직사각형으로 형성되어 있다.
또, 각각의 단위 광학 소자(12)는, 각 코너(12c)를 구성하는 한쌍의 광반사면(제1 측면(12a), 제2 측면(12b))이, 조작자 시점의 방향(도 6, 도 7에서의 손끝(H)의 밑동측)을 향하도록 되어 있다. 또한, 이 마이크로 미러 어레이(10)와 그 주위를 위로부터 본 경우, 도 7과 같이, 상기 어레이(10)는, 그 외측 가장자리(외측변)를 조작자의 정면(손끝(H)의 방향)에 대하여 45° 회전시켜 배치되어 있고, 마이크로 미러 어레이(10)의 하측의 화상(I)이, 이 어레이(10)에 대하여 면대칭의 위치(광학 패널의 상측)에 투영되어, 공간 이미지(I')가 결상하도록 되어 있다. 또한, 도 7에서 부호 3은, 상기 마이크로 미러 어레이(10)의 주위에 배치되어 손끝(H)을 비추는 광원이다.
또, 상기 손끝(H)을 검출하는 PSD(부호4)는, 도 7과 같이, 마이크로 미러 어레이(10)의 전방측(조작자측)이자 이 손끝(H)의 하측의 위치에 배치되어 있고, 상기 각 광원(3)으로부터 투사된 적외광 등의 반사를 검출 가능한 위치에 배치되어 있다. 이 PSD(4)는, 손끝(H)에 의한 광반사(반사광 또는 반사 이미지)를 인식하여, 이 손끝(H)까지의 거리를 위치 신호로서 출력하는 것이며, 미리 거리와 위치 신호(전압)의 상관(레퍼런스)을 취득해 두는 것에 의해, 입력체까지의 거리를 정밀하게 계측하는 것이 가능하다. 상기 PSD(4)로서 2차원 PSD를 사용하는 경우는, 그대로 상기 카메라(2) 대신에 이 2차원 PSD를 배치하면 된다. 또, 1차원 PSD를 사용하는 경우는, 2개 이상의 1차원 PSD를, 상기 손끝(H)의 좌표를 삼각측량에 의해 계측 가능한 복수의 위치에 분산하여 배치하면 된다. 이들 PSD(또는 유닛화된 PSD 모듈)를 사용함으로써, 손끝(H)의 위치 검출 정밀도를 향상시킬 수 있다.
또한, 도 6, 도 7에서는, 공간 이미지(I')의 하측이자 마이크로 미러 어레이(10)의 주위의 위치에, 각 광원(3) 및 PSD(4)를 배치한 예를 나타냈지만, 이들 배치 위치는 특별히 한정되는 것은 아니고, 예컨대, 도 10과 같이, 손끝(H)에 의한 광반사를 인식하는 PSD(4)를, 마이크로 미러 어레이(10)로부터 떨어진 하측의 위치(이 예에서는 손끝(H)의 하측의 위치)에 배치해도 좋다. 또, 도 11과 같이, 상기 각 광원(3) 및 PSD(4)를, 공간 이미지(I') 및 손끝(H)의 상측에 배치해도 좋다. 어느 경우든, 상기 각 광원(3) 및 PSD(4)는, PSD(4)가 광원(3)으로부터 투사되어 손끝(H)에서 반사한 광을, 마이크로 미러 어레이(10)의 그림자(사각(死角))가 되지 않고 수광할 수 있는 위치 관계에 배치된다.
또한, 상기 플랫 패널 디스플레이(D)에는, 제1 실시형태와 마찬가지로, 액정 디스플레이(LCD), 유기 EL 디스플레이, 플라즈마 디스플레이(PDP) 등의 평판형의 자발광 디스플레이가 바람직하게 채택되고, 마이크로 미러 어레이(10)의 하측에, 그 표시면(Da)을 위로 향하게 하여, 상기 가상 수평면(P)에 대하여 정해진 각도(θ)(이 예에서는 10∼85°) 기울인 상태로 배치된다.
또, 광원(3)으로는, 예컨대 LED나 반도체 레이저(VCSEL) 등, 입력하는 조작자의 시계를 방해하지 않도록, 가시광 이외의 영역의 광(예컨대 파장 700∼1000 nm 정도의 적외광)을 발하는 발광체 또는 램프 등이 사용된다.
그리고, 상기 구성의 제2 실시형태의 사용자 인터페이스 표시 장치에서도, 공간 이미지(I')의 주변(검지 영역 내)에 들어온 손끝(H)의 위치의 특정과, 그 움직임을 검출하는 방법은, 제1 실시형태와 동일한 단계로 행해진다(도 3∼도 5와, 상기 투광 단계-촬상 단계-좌표 특정 단계-계측 단계-표시 갱신 단계를 참조). 또한, 상기 PSD(4)를 이용한 경우는, 상기 촬상 단계와 좌표 특정 단계가 PSD(4)의 내부 처리로서 일관적으로 행해지고, 결과의 좌표만이 출력된다.
상기 제2 실시형태의 사용자 인터페이스 표시 장치에 의해서도, 심플하고 또한 저비용인 구성으로 손끝(H)의 위치나 좌표를 특정할 수 있다. 더구나, 이 사용자 인터페이스 표시 장치도, 공간에 투영되는 공간 이미지(I')의 주위에 조작의 장애가 되는 구조물이 없어, 조작자의 손끝(H)을 이용한 공간 이미지(I')와의 인터렉션을 자연스러운 형태로 행할 수 있다는 효과를 나타낸다.
다음으로, 본 발명의 제3 실시형태의 사용자 인터페이스 표시 장치에 관해 설명한다.
도 12는, 본 발명의 제3 실시형태에서의 사용자 인터페이스 표시 장치의 구성을 나타내는 도면이고, 도 13, 도 15, 도 17, 도 19는, 이 사용자 인터페이스 표시 장치에서 이용되고 있는 마이크로 미러 어레이(20, 30, 40, 50)의 사시도이다. 또한, 제1, 제2 실시형태와 마찬가지로, 각 도면에서 일점쇄선으로 나타내는 평면(P)은, 조작자의 감각을 기준으로 하는 「가상 수평면」(광학 소자 내에서는 「소자면」)이며, 일점쇄선으로 나타내는 평면(P')은, 제1 실시형태의 카메라(2) 및 제2 실시형태의 PSD(4)에 의한 가상 촬영 평면(P')(도 3∼도 5 참조)에 해당하는 「가상 촬영 평면」이다.
본 실시형태에서의 사용자 인터페이스 표시 장치도, 플랫 패널 디스플레이(D)의 표시면(Da)에 표시된 영상(화상(I))을, 결상 기능을 갖는 광학 패널(마이크로 미러 어레이(20, 30, 40, 50))을 이용하여 패널 상측의 공간 위치에 결상(공간 이미지(I'))시키는 것이며, 상기 플랫 패널 디스플레이(D)는, 조작자를 기준으로 하는 가상 수평면(P)에 대하여, 표시면(Da)을 정해진 각도(θ) 기울인 상태로, 상기 마이크로 미러 어레이(20)(30,40, 50)의 하측에, 그 표시면(Da)을 위로 향하게 하여 오프셋 배치되어 있다. 그리고, 상기 마이크로 미러 어레이(20)(30,40, 50)에 의해 투영되는 공간 이미지(I')의 하측(도 12) 또는 상측(도시 생략)에, 조작자의 손끝(H)을 향해서 광을 투사하는 광원(3)과, 이 손끝(H)에 의한 광의 반사를 촬영하는 광학적 촬상 수단(PSD, 부호 4)이, 쌍을 이루어 배치되어 있다.
상기 제3 실시형태의 사용자 인터페이스 표시 장치가, 구성상 상기 제2 실시형태의 사용자 인터페이스 표시 장치와 상이한 점은, 광학적으로 이미지를 결상시킬 수 있는 결상 광학 소자(광학 패널)로서, 평판형의 투명 기판의 표면에, 회전날을 이용한 다이싱 가공에 의해, 서로 평행한 복수개의 직선형 홈이 정해진 간격으로 형성된 2장 또는 1장의 광학 소자를 이용한 마이크로 미러 어레이(20, 30, 40, 50) 중의 어느 것을 사용하고 있는 점이다.
이들 마이크로 미러 어레이(20, 30, 40, 50)는, 표면에 복수개의 평행 홈이 형성된 2장의 광학 소자(기판) 중 하나를 90° 회전시킨 상태로 서로 겹치거나(도 14, 도 16, 도 18), 혹은, 1장의 평판형 기판의 표리면 각각에, 평면에서 볼 때 서로 직교하는 복수개의 평행 홈이 형성되어 있는(도 19) 것에 의해, 기판 표리 방향(상하 방향)에서 본 경우, 한쪽 평행 홈 그룹과 다른쪽 평행 홈 그룹이 평면에서 볼 때 직교하는 교차 개소(격자의 교점)에, 각각 한쪽 평행 홈 그룹의 광반사성의 수직면(벽면)과 다른쪽 평행 홈 그룹의 광반사성의 수직면(벽면)으로 이루어진 코너 리플렉터가 형성되도록 되어 있다.
또한, 상기 코너 리플렉터를 구성하는, 상기 한쪽 기판의 평행 홈 그룹의 광반사성의 벽면과 다른쪽 기판의 평행 홈 그룹의 광반사성의 벽면은, 입체적(3차원적)으로 본 경우, 소위 「스큐(skew)」 관계에 있다. 또, 상기 각 평행 홈 및 그 광반사성의 벽면이, 회전날을 이용한 다이싱 가공에 의해 형성되어 있기 때문에, 상기 코너 리플렉터에서의 광반사면의 애스펙트비〔높이(기판 두께 방향의 길이)/폭(기판 수평 방향의 폭)의 비〕를 높게 하는 등, 광학 소자의 광학 성능의 조정을 비교적 간단히 행할 수 있다는 점에서 유리하다.
상기 각 마이크로 미러 어레이의 구조를 개별적으로 보다 자세히 설명하면, 도 13, 도 14에 나타내는 마이크로 미러 어레이(20)는, 이것을 구성하는 각 광학 소자(21, 21')가, 투명한 평판형의 기판(21, 21')의 상측의 표면(21a, 21'a)에, 회전날을 이용한 다이싱 가공에 의해, 서로 평행한 직선형의 홈(21g) 및 홈(21'g)이 정해진 간격으로 각각 복수개 형성되어 있다. 그리고, 상기 마이크로 미러 어레이(20)(도 13)는, 이들 동일한 형상의 2장의 광학 소자(기판(21, 21'))를 이용하여, 각 기판(21, 21') 상에 형성된 각 홈(21g)과 홈(21'g)의 연속 방향이 평면에서 볼 때 서로 직교하도록, 상측의 한쪽 기판(21')을 하측의 다른쪽 기판(21)에 대하여 회전시킨 상태로, 하측의 기판(21)에서의 홈(21g)이 형성된 표면(21a)에, 상측의 기판(21')의 이면(21'b)(홈(21'g)이 형성되어 있지 않음)을 접촉시켜, 이들 기판(21, 21')끼리 상하로 서로 겹쳐서 고정함으로써, 1조의 어레이(20)로서 구성되어 있다.
마찬가지로, 도 15에 나타내는 마이크로 미러 어레이(30)는, 상기와 동일한 형상ㆍ제법의 2장의 광학 소자(기판(21, 21'))를 이용하여, 도 16과 같이, 상측의 한쪽 기판(21')을 표리 반전시키고, 이 기판(21')을 하측의 다른쪽 기판(21)에 대하여 90° 회전시킨 상태로, 상측의 기판(21')에서의 홈(21'g)이 형성된 표면(21'a)을, 하측의 기판(21)에서의 홈(21g)이 형성된 표면(21a)에 접촉시키고, 이들 기판(21, 21')끼리 상하로 서로 겹쳐서 고정함으로써, 각 기판(21, 21') 상에 형성된 각 홈(21g)과 홈(21'g)의 연속 방향이 평면에서 볼 때 서로 직교하는 1조의 어레이(30)로서 구성되어 있다.
또한, 도 17에 나타내는 마이크로 미러 어레이(40)는, 상기와 동일한 형상ㆍ제법의 2장의 광학 소자(기판(21, 21'))을 이용하여, 도 18과 같이, 하측의 한쪽 기판(21')을 표리 반전시키고, 이 기판(21')을 상측의 다른쪽 기판(21)에 대하여 90° 회전시킨 상태로, 상측의 기판(21)의 이면(21b)과 하측의 기판(21')의 이면(21'b)을 맞대어, 이들 기판(21, 21')끼리 상하로 서로 겹쳐서 고정함으로써, 각 기판(21, 21') 상에 형성된 각 홈(21g)과 홈(21'g)의 연속 방향이 평면에서 볼 때 서로 직교하는 1조의 어레이(40)로서 구성되어 있다.
그리고, 도 19에 나타내는 마이크로 미러 어레이(50)는, 투명한 평판형의 기판(51)의 상측의 표면(51a) 및 하측의 이면(51b)에, 각각 회전날을 이용한 다이싱 가공에 의해, 서로 평행한 직선형의 홈(51g) 및 홈(51g')이 정해진 간격으로 복수개 형성되어 있고, 이들 표면(51a)측의 각 홈(51g)과 이면(51b)측의 각 홈(51g')은, 그 형성 방향(연속 방향)이 평면에서 볼 때 서로 직교하도록 형성되어 있다.
또한, 상기 각 마이크로 미러 어레이(20, 30, 40, 50)를 이용한 제3 실시형태의 사용자 인터페이스 표시 장치에서도, 광원(3), PSD(4), 플랫 패널 디스플레이(D) 등의 구성이나 배치는, 상기 제2 실시형태와 동일한 것이 적용되고, 공간 이미지(I')의 주변(검지 영역 내)에 들어온 손끝(H)의 위치의 특정과, 그 움직임을 검출하는 방법은, 제1 실시형태와 동일한 단계로 행해진다(도 3∼도 5를 참조).
상기 구성의 제3 실시형태의 사용자 인터페이스 표시 장치에 의해서도, 심플하고 또한 저비용인 구성으로 손끝(H)의 위치나 좌표를 특정할 수 있다. 더구나, 이 사용자 인터페이스 표시 장치도, 공간에 투영되는 공간 이미지(I')의 주위에 조작의 장애가 되는 구조물이 없어, 조작자의 손끝(H)을 이용한 공간 이미지(I')와의 인터렉션을 자연스러운 형태로 행할 수 있다는 효과를 나타낸다. 더구나, 상기 제3 실시형태의 사용자 인터페이스 표시 장치는, 그 사용하는 마이크로 미러 어레이(20, 30, 40, 50)가 저가이기 때문에, 장치 전체의 비용을 저감할 수 있다는 이점이 있다.
상기 실시예에서는 본 발명에서의 구체적인 형태에 관해 나타냈지만, 상기 실시예는 단순한 예시에 지나지 않으며, 한정적으로 해석되는 것은 아니다. 당업자에게 분명한 여러가지 변형은, 본 발명의 범위내인 것이 의도되어 있다.
본 발명의 사용자 인터페이스 표시 장치는, 1대의 광학적 촬상 수단으로, 사람의 손끝의 위치나 좌표를 원격으로 인식ㆍ검출할 수 있다. 이에 따라, 조작자는 입력 시스템의 존재를 의식하지 않고, 공간 이미지를 직감적으로 조작할 수 있다.
C : 카메라 D : 플랫 패널 디스플레이
Da : 표시면 H : 손끝
L : 광원 O : 광학 패널
P : 가상 수평면 P', P" : 가상 촬영 평면
Q : 광축 I : 화상
I' : 공간 이미지 T : 손가락끝 좌표
1 : 광학 패널 2 : 카메라
3 : 광원 4 : PSD
10 : 마이크로 미러 어레이 11 : 기판
12 : 단위 광학 소자 12a, 12b : 측면
12c : 코너 20, 30, 40 : 마이크로 미러 어레이
21, 21' : 기판 21a, 21'a : 표면
21b, 21'b : 이면 21g, 21'g : 홈
50 : 마이크로 미러 어레이 51 : 기판
51a : 표면 51b : 이면
51g, 51g' : 홈

Claims (3)

  1. 플랫 패널 디스플레이의 표시면에 표시된 영상을, 결상 기능을 갖는 광학 패널을 이용하여 정해진 거리 떨어진 공간 위치에 결상시키고, 이 공간 이미지의 주위에 위치하는 손끝의 움직임에 관련하여, 상기 플랫 패널 디스플레이의 영상을 인터랙티브하게 제어하는 사용자 인터페이스 표시 장치로서, 상기 광학 패널은, 그 광축이 조작자를 기준으로 하는 가상 수평면과 직교하도록 이 가상 수평면과 평행하게 배치되고, 상기 플랫 패널 디스플레이는, 상기 가상 수평면에 대하여 표시면을 정해진 각도 기울인 상태로, 상기 광학 패널의 하측에, 그 표시면을 위로 향하게 하여 오프셋 배치되어 있고, 상기 광학 패널의 상측에 결상하는 공간 이미지의 하측 또는 상측에, 상기 손끝을 향해서 광을 투사하는 광원과, 이 손끝에 의한 상기 광의 반사를 촬영하는 하나의 광학적 촬상 수단이 쌍을 이루어 배치되어 있는 것을 특징으로 하는, 사용자 인터페이스 표시 장치.
  2. 제1항에 있어서, 상기 광원과 광학적 촬상 수단이, 상기 광학 패널의 주위에 인접하여 배치되고, 이 광학적 촬상 수단이, 상기 광학 패널의 상측에 위치하는 손끝에 의한 광의 반사를 촬영하도록 되어 있는, 사용자 인터페이스 표시 장치.
  3. 제1항 또는 제2항에 있어서, 상기 광원과 상기 광학적 촬상 수단 및 플랫 패널 디스플레이를 제어하는 제어 수단과, 상기 광원으로부터 손끝을 향하여 투사된 광의 반사를 2차원 화상으로서 취득하고, 이 2차원 화상을 연산에 의해 2치화하여 손끝의 형상을 인식하는 형상 인식 수단과, 정해진 시간 간격 전후로 상기 손끝의 위치를 비교하고, 이 손끝의 움직임에 기초하여, 상기 플랫 패널 디스플레이의 영상을, 상기 손끝의 움직임에 대응한 영상으로 갱신하는 표시 갱신 수단을 포함하는, 사용자 인터페이스 표시 장치.
KR1020147005969A 2011-09-07 2012-08-24 사용자 인터페이스 표시 장치 KR20140068927A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011194937 2011-09-07
JPJP-P-2011-194937 2011-09-07
PCT/JP2012/071455 WO2013035553A1 (ja) 2011-09-07 2012-08-24 ユーザインタフェース表示装置

Publications (1)

Publication Number Publication Date
KR20140068927A true KR20140068927A (ko) 2014-06-09

Family

ID=47832003

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147005969A KR20140068927A (ko) 2011-09-07 2012-08-24 사용자 인터페이스 표시 장치

Country Status (5)

Country Link
US (1) US20140240228A1 (ko)
JP (1) JP2013069272A (ko)
KR (1) KR20140068927A (ko)
TW (1) TW201324259A (ko)
WO (1) WO2013035553A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5509391B1 (ja) * 2013-06-07 2014-06-04 株式会社アスカネット 再生画像の指示位置を非接触で検知する方法及び装置
CN105264470B (zh) * 2013-06-07 2018-06-22 亚斯卡奈特股份有限公司 非接触地检测再现图像的指示位置的方法及装置
CN105579929B (zh) 2013-10-29 2019-11-05 英特尔公司 基于手势的人机交互
JP6278349B2 (ja) 2013-11-05 2018-02-14 日東電工株式会社 携帯型情報機器用ケースおよび映像表示装置のケース
JP5947333B2 (ja) * 2014-05-29 2016-07-06 日東電工株式会社 表示装置
US20180011605A1 (en) * 2015-01-15 2018-01-11 Asukanet Company, Ltd. Apparatus and method for contactless input
CN107111383B (zh) * 2015-02-16 2020-03-24 亚斯卡奈特股份有限公司 非接触输入装置及方法
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
TWM617658U (zh) * 2021-03-31 2021-10-01 全台晶像股份有限公司 浮空影像觸控顯示裝置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3544739B2 (ja) * 1994-04-13 2004-07-21 株式会社東芝 情報入力装置
JPH09190278A (ja) * 1996-01-09 1997-07-22 Mitsubishi Motors Corp 機器の操作系選択装置
JP4417440B2 (ja) * 1996-02-16 2010-02-17 大日本印刷株式会社 拡散ホログラムタッチパネル
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
EP1649309A4 (en) * 2003-07-03 2011-03-09 Holo Touch Inc HOLOGRAPHIC HUMAN MACHINE INTERFACES
JP4606750B2 (ja) * 2004-02-17 2011-01-05 アルパイン株式会社 空間操作系生成システム
JP4347112B2 (ja) * 2004-03-31 2009-10-21 アルパイン株式会社 仮想インタフェース制御装置
WO2005098534A1 (ja) * 2004-03-31 2005-10-20 Pioneer Corporation 立体的二次元画像表示装置
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP4608326B2 (ja) * 2005-01-26 2011-01-12 株式会社竹中工務店 指示動作認識装置及び指示動作認識プログラム
US9160996B2 (en) * 2008-06-27 2015-10-13 Texas Instruments Incorporated Imaging input/output with shared spatial modulator
KR20100030404A (ko) * 2008-09-10 2010-03-18 김현규 스크린 상에서의 상황 인지적 인식을 통한 사용자 정보 입력방법
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치

Also Published As

Publication number Publication date
WO2013035553A1 (ja) 2013-03-14
JP2013069272A (ja) 2013-04-18
US20140240228A1 (en) 2014-08-28
TW201324259A (zh) 2013-06-16

Similar Documents

Publication Publication Date Title
KR20140068927A (ko) 사용자 인터페이스 표시 장치
KR20120013400A (ko) 광학적 위치 검출 장치
US8971565B2 (en) Human interface electronic device
KR20120030455A (ko) 광학식 위치 검출 장치
KR101109834B1 (ko) 감지 모듈과 이를 구비한 광학 감지 시스템
US7868281B2 (en) Optical navigation system and method of estimating motion with optical lift detection
JP6721875B2 (ja) 非接触入力装置
US8922526B2 (en) Touch detection apparatus and touch point detection method
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
US20100207909A1 (en) Detection module and an optical detection device comprising the same
JP2007052025A (ja) 光学的に透明な層を通してナビゲーション情報を生成するように構成された、滑動機能を有する光ナビゲーションデバイスのためのシステム及び方法
CN102792249A (zh) 使用光学部件在图像传感器上成像多个视场的触摸***
US10499039B2 (en) Path detection system and path detection method generating laser pattern by diffractive optical element
US20240019715A1 (en) Air floating video display apparatus
CN112639687B (zh) 使用反向偏置发光二极管器件的眼睛跟踪
JP2011090242A (ja) 位置検出機能付き投射型表示装置
JP2014170136A (ja) プロジェクタおよびプロジェクタ機能を有する電子機器
JP5987395B2 (ja) 表示装置
CN102063228B (zh) 光学侦测***及应用该光学侦测***的触摸屏
TW201339921A (zh) 光學觸控系統及光學觸控位置檢測方法
WO2024079832A1 (ja) インタフェース装置
JP2022048040A (ja) 指示入力装置、及び電子機器
JP2022188689A (ja) 空間入力システム
TWI476664B (zh) 多點觸控光學輸入裝置及方法
JP2023180053A (ja) 空中像インタラクティブ装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid