KR20230021618A - 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법 - Google Patents

라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법 Download PDF

Info

Publication number
KR20230021618A
KR20230021618A KR1020220097462A KR20220097462A KR20230021618A KR 20230021618 A KR20230021618 A KR 20230021618A KR 1020220097462 A KR1020220097462 A KR 1020220097462A KR 20220097462 A KR20220097462 A KR 20220097462A KR 20230021618 A KR20230021618 A KR 20230021618A
Authority
KR
South Korea
Prior art keywords
holo
data processing
image
sensor data
touch
Prior art date
Application number
KR1020220097462A
Other languages
English (en)
Inventor
임성현
Original Assignee
주식회사 애니랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 애니랙티브 filed Critical 주식회사 애니랙티브
Publication of KR20230021618A publication Critical patent/KR20230021618A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법에 관한 것으로, 더욱 상세하게는 라인레이저 센서를 이용하여 다양한 형태의 디스플레이 장치에서 표출된 이미지를 홀로터치하는 디스플레이 시스템 및 그에 대한 구현 방법에 관한 것이다.
이를 위해 본 발명의 라인레이저 센서기반의 홀로터치 디스플레이 시스템은 에어 상으로 2D 이미지 또는 3D 이미지를 표출하는 디스플레이 장치; 라인레이저를 조사하며, 표출된 2D 이미지 또는 3D 이미지 상에서 터치한 지점의 좌표값을 산출하는 적어도 2개의 홀로터치 센서; 상기 각 홀로터치 센서에 각각 연결되며, 연결된 홀로터치 센서에서 산출한 좌표값을 제공받는 적어도 2개의 싱글센서 데이터 처리보드로 구성된 다중센서 연결처리 시스템; 및 상기 적어도 2개의 싱글센서 데이터 처리보드 중 어느 하나의 싱글센서 데이터 처리보드와 연결되며, 연결된 싱글센서 데이터 처리보드로부터 터치한 지점에 대한 좌표값을 제공받는 메인 제어보드;를 포함한다.

Description

라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법{Holo-touch display system based on line laser sensor and manufacturing method therefor}
본 발명은 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법에 관한 것으로, 더욱 상세하게는 라인레이저 센서를 이용하여 다양한 형태의 디스플레이 장치에서 표출된 이미지를 홀로터치하는 디스플레이 시스템 및 그에 대한 구현 방법에 관한 것이다.
멀티미디어가 발달하면서 사용자와 기기가 편리하게 소통 할 수 있도록 중간 매개 역할을 하는 유저 인터페이스(UI, User Interface) 또한 점차 발달해왔다. 이러한 UI의 발달을 통해 사용자는 보다 쉽고 편리하게 기기와 소통을 할 수 있게 되었다. UI의 입력 방식은 전통적인 키보드나 마우스에서 시작하여 최근에는 신체가 곧바로 입력장치가 되는, 바야흐로 신체의 인터페이스화 시대가 되었다.
NUI란 마우스나 키보드 등 별도의 장치 없이 사람의 감각이나 행동, 인지능력을 통해 자연스럽게 디지털 기기를 제어하는 환경을 말한다. NUI 기술은 멀티터치, 증강 현실, 상황인식 컴퓨팅 등으로 발전하고 있다.
특히 차량에서 AR NUI(Natural User Interface)를 위한 공간제스처, 음성인식, 터치 기반 상호작용 분석이 요구된다. 즉, 음성/시선 인식 기반 인터랙션은 제스처 인식을 이용한 인터랙션 방법보다 인식의 정확도가 낮으며 음성의 경우 주변의 소음과 시선의 경우 햇빛의 영향을 강하게 받는 제약이 있다. 제스처 인식의 정확도는 음성과 시선 인식을 기반으로 한 방법보다는 인식 정확도가 다소 높으며 에어 제스처보다는 터치 제스처의 인식 정확도가 더 높다. 따라서 인터랙션을 위해 인식 정확도가 높은 터치 제스처를 기반으로 하는 인터랙션 기법을 개발하는 것이 효율적이다.
모든 운전자 개개인의 특성을 고려하면서도 효율적인 인터랙션을 위해서는 운전자와 차량이 인터랙션할 수 있는 집중된 공간에서의 인터랙션을 하는 것이 필요하다.
한국등록특허 제10-1676155호 한국등록특허 제10-2342536호
본 발명이 해결하고자 하는 과제는 사용자의 터치 제스처를 정확하게 판단하는 방안을 제안함에 있다.
본 발명이 해결하고자 하는 다른 과제는 사용자의 터치 지점을 정확하게 판단하는 방안을 제안함에 있다.
본 발명이 해결하고자 하는 또 다른 과제는 복수의 홀로터치 센서를 이용하여 사용자의 터치 제스처를 정확하게 판단하는 방안을 제안함에 있다.
본 발명이 해결하고자 하는 또 다른 과제는 다양한 형태의 디스플레이를 이용하여 사용자의 터치 제스처를 판단하는 방안을 제안함에 있다.
이를 위해 본 발명의 라인레이저 센서기반의 홀로터치 디스플레이 시스템은 에어 상으로 2D 이미지 또는 3D 이미지를 표출하는 디스플레이 장치; 라인레이저를 조사하며, 표출된 2D 이미지 또는 3D 이미지 상에서 터치한 지점의 좌표값을 산출하는 적어도 2개의 홀로터치 센서; 상기 각 홀로터치 센서에 각각 연결되며, 연결된 홀로터치 센서에서 산출한 좌표값을 제공받는 적어도 2개의 싱글센서 데이터 처리보드로 구성된 다중센서 연결처리 시스템; 및 상기 적어도 2개의 싱글센서 데이터 처리보드 중 어느 하나의 싱글센서 데이터 처리보드와 연결되며, 연결된 싱글센서 데이터 처리보드로부터 터치한 지점에 대한 좌표값을 제공받는 메인 제어보드;를 포함한다.
본 발명에 따른 라인레이저 센서기반의 홀로터치 디스플레이 시스템은 사용자의 터치 제스처를 이용하여 에어 상에 표출된 이미지에 대응되는 동작을 수행하도록 함으로써 터치에 의해 디스플레이 장치가 훼손되는 것을 차단할 수 있다. 특히, 본 발명은 에어 상에 표출된 이미지를 터치함으로써 장갑이나 더러운 손으로도 원하는 기능을 수행하도록 할 수 있다.
또한, 본 발명은 디스플레이 장치를 원하는 지점에 다양하게 설치 가능함으로써 디스플레이 장치의 설치 공간에 제약이 없다. 이외에도 본 발명은 복수의 홀로터치 센서를 이용하는 것이 가능하므로, 원하는 크기의 이미지를 표출하거나 다양한 유형의 이미지를 표출할 수 있다.
특히 본 발명은 다중 직교반사 마이크로셀 기반의 aerial display 장치, 무안경식 3D 디스플레이로 라이트필드, 렌티큘라 등으로 구현되는 디스플레이 장치 및 AR 글라스를 포함하는 다양한 형태의 디스플레이 장치를 활용할 수 있는 효과가 있다.
도 1은 본 발명의 일실시 예에 따른 라인레이저 센서기반의 홀로터치 디스플레이 시스템을 도시하고 있다.
도 2는 본 발명의 일실시 예에 따른 홀로터치 센서를 도시하고 있다.
도 3은 멀티 센서 앱 연동 영역별 데이터 보정 엔진의 동작을 도시하고 있다.
도 4는 본 발명의 일실시 예에 따른 햅틱 피드백 기능이 포함된 홀로터치 디스플레이를 도시하고 있다.
도 5는 본 발명의 일실시 예에 따른 홀로 디스플레이 플레이트 구조를 도시하고 있다.
도 6은 본 발명의 일실시 예에 따른 홀로그램 이미지를 표출하는 예를 도시하고 있다.
도 7은 본 발명의 일실시 예에 따른 3개의 홀로터치 센서를 이용한 라인레이저 센서기반의 홀로터치 디스플레이 시스템을 도시하고 있다.
전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시 예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명의 이러한 실시 예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일실시 예에 따른 라인레이저 센서기반의 홀로터치 디스플레이 시스템을 도시하고 있다. 이하 도 1을 이용하여 본 발명의 일실시 예에 따른 라인레이저 센서기반의 홀로터치 디스플레이 시스템에 대해 상세하게 알아보기로 한다.
도 1에 의하면, 홀로터치 디스플레이 시스템(100)은 홀로터치 센서(110), 다중센서 연결처리 시스템(120), 통신망(130), 메인 제어보드(140)를 포함한다. 메인 제어보드(140)는 ECU 또는 멀티센서 제어 소프트웨어가 설치된다. 물론 상술한 구성 이외에 다른 구성이 본 발명에서 제안하는 홀로터치 디스플레이 시스템에 포함될 수 있다.
홀로터치 센서(110)는 다양한 형태의 디스플레이 장치에서 표출되는 이미지 상에서 사용자가 터치하는 지점을 센싱한다. 부연하여 설명하면, 홀로터치 센서(110)는 디스플레이 장치에서 표출되는 이미지 상에서 사용자에 의해 터치되는 지점((X, Y)좌표값)을 산출한다. 이에 대해서는 도 2를 이용하여 설명하기로 한다.
도 2는 본 발명의 일실시 예에 따른 홀로터치 센서를 도시하고 있다. 이하 도 2를 이용하여 본 발명의 일실시 예에 따른 홀로터치 센서의 동작에 대해 상세하게 알아보기로 한다.
도 2에 의하면 홀로터치 센서는 라인으로 레이저를 조사하는 라인레이저를 기반으로 하며, 사용자가 표출된 이미지 상의 특징 지점을 터치하면, 터치한 지점의 좌표값을 산출한다. 또한. 상술한 바와 같이 홀로터치 센서는 라인레이저를 기반으로 하기 때문에 사용자가 터치한 지점에 대한 (X, Y)좌표값을 산출한다. 물론 복수의 라인레이저를 적층 형태로 구현하는 경우에는 3차원 좌표인 (X, Y, Z)좌표값을 산출하는 것도 가능하다.
부연하여 설명하면 홀로터치 센서는 단방향 라인레이저로 구현되므로 한쪽 면에서 레이저의 투광 및 수광이 이루어진다.
홀로터치 센서(110)는 산출한 좌표값을 다중처리 연결처리 시스템(120)으로 제공한다. 도 1은 하나의 홀로터치 센서(110)를 도시하고 있으나, 이에 한정되는 것은 아니다. 즉, 본 발명은 적어도 2개의 홀로터치 센서를 구성할 수 있으며, 이 경우 각 홀로터치 센서는 고유한 식별자(인덱스) 및 설치된 지점에 대한 위치값 및 터치 인식범위를 포함한 고유한 값이 지정된다.
다중센서 연결처리 시스템(120)은 외부로 다양한 형태의 이미지를 표출하도록 디스플레이 장치를 제어한다. 다중센서 연결처리 시스템(120)은 2D 이미지뿐만 3D 이미지를 표출할 수 있으며, 상술한 바와 같이 홀로그램을 포함한 다양한 형태의 이미지를 표출하는 것이 가능하다.
다중센서 연결처리 시스템(120)은 홀로터치 센서로부터 제공받은 사용자가 터치한 지점에 대한 좌표값에 표출한 이미지(아이콘)를 확인하며, 확인된 이미지에 대응되는 이벤트를 수행하도록 지시한다. 즉, 확인된 이미지가 음악 재생 이미지라면 이미지 프로세서는 음악을 재생하며, 확인된 이미지가 네비게이션 이미지라면 네비게이션 모드로 전환을 지시한다.
본 발명과 관련하여 다중센서 연결처리 시스템은 멀티 센서 앱 연동 영역별 데이터 보정 엔진이 탑재되며, 앱 연동을 위한 가상 버튼 제어 기능을 수행한다. 이외에도 다중센서 연결처리 시스템은 버튼 이벤트 서버 기능을 수행하며, HMI 구동부 연동 디바이스 접속관리 기능을 수행한다.
본 발명에서 제안하는 센서가 터치 센서이기 때문에 터치 영역과 앱에 의해 디스플레이되는 이미지의 좌표영역에 대한 맵핑이 필요하며, 좌표 영역 맵핑을 위해 멀티 센서 앱 연동 영역별 데이터 보정 엔진이 탑재된다. 센서는 원시 데이터만 가지고 있으므로 디스플레이된 이미지에 표시된 버튼(아이콘)이 있는 위치마다 화면 비율에 따른 좌표값 보정이 필수적으로 요구된다. 부연하여 설명하면, 멀티 센서 앱 연동 영역별 데이터 보정 엔진은 디스플레이된 화면 비율에 따른 터치되는 버튼의 좌표값을 보정하는 기능을 수행한다.
이에 대해 구체적으로 살펴보면, 실제 터치 인식이 되는 영역의 기울기를 고려하여 터치 인식 영역을 복수 개의 레이어로 구분하고(인식 영역보정), 터치 인식 영역에 디스플레이되는 버튼(오브젝트, 입력 컨텐츠)를 3D 모델링 공간에서 동일한 각도로 변경(이미지 보정)한다. 이와 같이 본 발명은 인식영역 보정과 이미지 보정을 통해 맵핑 과정을 수행한다.
도 3은 멀티 센서 앱 연동 영역별 데이터 보정 엔진의 동작을 도시하고 있다. 도 3(a)는 인식 영역보정을 도시하고 있으며, 도 3(b)는 이미지 보정을 도시하고 있다. 인식 영역 보정은 실제 터치 인식되는 영역의 기울기를 고려하여 터치 인식 영역을 복수 개의 레이어로 구분하고 있으며, 이미지 보정은 입력 컨텐츠를 3D 모델링 상에서 동일한 각도(실제 터치 인식되는 영역의 기울기와 동일한 각도)로 변경한다.
앱 연동을 위한 가상 버튼 제어 및 버튼 이벤트 서버 기능은 센서가 디스플레이된 이미지의 가상 영역 상에서 특정 지점을 터치하도록 하며, 터치된 특정 지점과 연동된 이벤트가 실행될 수 있도록 제어수단에 제어 명령을 전달한다. 즉, '터치 센서에 의해 감지되는 영역 설정 -> 가상 영역의 좌표값 보정 -> 터치한 영역에 대응되는 버튼에 연동된 이벤트 전달(데이터 패킷 전달) -> 전달된 이벤트(공조, 음량, 조명) 등을 제어하는 제어수단에 제어명령 전달 ' 순으로 이루어진다.
HMI(Human Machine Interface) 구동부 연동 디바이스 접속관리 기능은 HMI에 실제 구동 가능한 디바이스가 접속될 수 있기 때문에 이에 대한 연결접속(공조, 음량, 조명과의 가상영역 버튼과의 맵핑 정보, 재접속 시도, 에러상태 전달 등)을 관리하는 기능이다.
또한, 본 발명의 다중센서 연결처리 시스템(120)은 디스플레이 장치로 이미지를 표출하도록 지시하는 이미지 프로세서를 포함할 수 있다.
통신망(130)은 다중센서 연결처리 시스템(120)과 메인 제어보드(140)를 연결하며, 다중센서 연결처리 시스템(120)의 정보를 메인 제어보드(140)로 제공하거나, 메인 제어보드(140)의 정보를 다중센서 연결처리 시스템(120)으로 제공한다.
메인 제어보드(140)는 상술한 바와 같이 ECU 또는 멀티센서 제어 소프트웨어가 설치된다. 멀티센서 제어 소프트웨어는 복수의 홀로터치 센서의 구동을 제어하는 프로그램이다.
메인 제어보드(140)는 라인레이저 센서기반의 홀로터치 디스플레이 시스템의 모든 기능을 제어한다. 메인 제어보드(140)는 다중센서 연결처리 시스템(120)의 동작을 제어하며, 다중센서 연결처리 시스템(120)이 본 발명에서 제안하는 에어 상에 이미지 표출 및 사용자가 터치한 지점에 대응되는 동작 수행 등 다양한 동작을 수행하도록 지시한다. 물론 메인 제어보드(140)는 다중센서 연결처리 시스템(120)의 동작을 수행한 후 이에 대한 결과를 다중센서 연결처리 시스템(120)으로 제공할 수 있다. 즉, 메인 제어보드(140)는 사용자가 터치한 지점에 대응되는 이미지를 확인하고, 이를 수행하도록 다른 모듈로 지시한다.
또한, 메인 제어보드(140)는 홀로터치 센서(110)가 배치된 위치 값을 저장하며, 특히 복수의 홀로터치 센서가 배치된 경우에는 각 홀로터치 센서의 고유값(인덱스), 사용자의 터치인식 범위 등 본 발명의 구현하는데 필요한 다양한 정보를 저장 및 관리한다.
본 발명에서 제안하는 디스플레이 장치는 다중 직교반사 마이크로셀 기반의 aerial display 장치, 무안경식 3D 디스플레이로 라이트필드, 렌티큘라 등으로 구현되는 디스플레이 장치 및 AR 글라스를 포함한다. 물론 본 발명은 상술한 디스플레이 장치 이외에 다양한 형태의 디스플레이 장치가 본 발명에서 제안하는 디스플레이 장치에 포함될 수 있다. 즉, 평면 형태, 입체 형태 또는 에어 상에 표출하는 형태 등 다양한 형태로 디스플레이 장치의 구현이 가능하다.
도 4는 본 발명의 일실시 예에 따른 햅틱 피드백 기능이 포함된 홀로터치 디스플레이를 도시하고 있다. 이하 도 4를 이용하여 본 발명의 일실시 예에 따른 햅틱 피드백 기능이 포함된 홀로터치 디스플레이에 대해 상세하게 알아보기로 한다.
도 4에 의하면 홀로터치 디스플레이(300)는 홀로 디스플레이 플레이트(310), 홀로터치 센서(320) 및 초음파 어레이 모듈(330)을 포함한다. 물론 상술한 구성 이외에 다른 구성이 본 발명에서 제안하는 홀로터치 디스플레이에 포함될 수 있다.
홀로 디스플레이 플레이트(310)는 에어 상에 홀로그램을 표출하는 플레이트이다. 도 5에 도시된 바와 같이 홀로 디스플레이 플레이트(310)는 두 개의 광학 레이어(optical layer)가 결합되어 있으며, 특히 각 광학 레이어는 수직으로 배치된 거울이 서로 붙어 있으며, 상단의 광학 레이어와 하단의 광학 레이어는 직교한다. 이 구조에 의하면 입사각과 반사각은 모두 동일한 반사각을 가지므로 에어 상에서 동일한 크기의 이미지가 표출된다.
홀로터치 센서(320)는 라인레이저를 송출하며, 송출된 라인레이저 상에 사용자가 터치한 좌표값을 산출한다. 산출한 좌표값은 상술한 바와 같이 이미지 프로세서로 제공된다.
초음파 어레이 모듈(330)은 초음파 생성 모듈을 포함하며, 사용자가 표출된 이미지 상의 특정 지점을 터치하면 초음파를 송출하여 사용자에게 터치에 대한 피드백을 제공한다. 즉, 초음파 어레이 모듈(330)은 사용자가 표출된 이미지 상의 특정 지점을 터치하면 해당 지점으로 초음파를 송출하며 사용자가 특정 지점을 터치하였음을 인식하도록 한다.
이와 같이 본 발명은 햅틱 피드백 기능이 포함된 홀로터치 디스플레이를 이용하여 사용자가 특정 지점을 터치하였음을 직관적으로 인식하도록 한다.
도 6은 본 발명의 일실시 예에 따른 홀로그램 이미지를 표출하는 예를 도시하고 있다. 도 6에 의하면 홀로그램 이미지를 표출하는 방법은 정면에 홀로그램 이미지를 표출하는 방법, 아래에 홀로그램 이미지를 표출하는 방법, 측면에 홀로그램 이미지를 표출하는 방법 및 위에 홀로그램 이미지를 표출하는 방법이 있다. 이외에도 본 발명은 다양한 형태로 홀로그램 이미지를 표출할 수 있다.
이하에서는 적어도 두 개의 홀로터치 센서를 장착하여 사용하는 경우에 대해 알아보기로 한다. 상술한 바와 같이 홀로터치 센서는 하나만 장착하여 사용할 수 있으며, 필요에 의해 복수의 홀로터치 센서를 장착하여 사용하는 것이 가능하다.
도 7은 본 발명의 일실시 예에 따른 3개의 홀로터치 센서를 이용한 라인레이저 센서기반의 홀로터치 디스플레이 시스템을 도시하고 있다. 이하 도 7을 이용하여 본 발명의 일실시 예에 따른 3개의 홀로터치 센서를 이용한 라인레이저 센서기반의 홀로터치 디스플레이 시스템에 대해 알아보기로 한다.
도 7에 도시된 바와 같이 홀로터치 센서는 제1 홀로터치 센서 내지 제3 홀로터치 센서를 포함한다. 홀로터치 센서에서 수행되는 동작은 앞서 설명한 바와 같다. 홀로터치 센서에서 측정한 좌표값은 릴레이 서버를 경유하여 메인 프로세서로 전달된다. 메인 프로세서는 상술한 바와 같은 동작을 수행하며, 특히 사용자가 터치한 지점에 표출된 이미지에 대응되는 동작을 수행하도록 타 모듈의 동작을 제어한다.
이를 위해 메인 프로세서는 이미지 프로세서에 의해 표출된 전체 이미지 및 전체 이미지 내에서 특정 이미지의 좌표값을 저장한다. 또한, 메인 프로세서는 각 홀로터치 센서의 인덱스 정보 및 각 홀로터치 센서에 제공한 사용자가 터치한 지점에 대응되는 이미지를 확인한다. 이외에도 메인 프로세서는 본 발명을 구현할 수 있도록 다양한 동작을 수행한다.
또한, 메인 프로세서, 릴레이 서버는 싱글센서 데이터 처리보드 상에 구현되어 있는 것으로 도시되어 있으나, 통신망 또는 하드웨어 인터페이스로 연결된 장치라면 메인 프로세서, 릴레이 서버에서 수행되는 프로그램이 설치될 수 있다.
이하에서는 본 발명을 구현할 수 있는 프로그램을 설치 및 동작하는 방안에 대해 알아보기로 한다.
본 발명에서 제안하는 프로그램을 설치하기 위해 메모리카드를 준비하며, 에이전트를 설치하기 이전에 시스템용 프로그램을 업데이트하고 설치한다. 시스템용 프로그램은 외부 레포지토리에서 다운받아 설치하므로 인터넷에 설치되어 있어야 한다. 시스템용 프로그램의 설치가 완료되면, 본 발명에서 제안하는 복수의 홀로터치 센서를 구현할 수 있는 멀티터치 에이전트를 메모리카드에 설치한다. 메모리카드에 멀티터치 에이전트를 설치하는 과정은 다음과 같다.
이하에서는 제1 홀로터치 센서에 연결된 보드를 제1 싱글센서 데이터 처리보드, 제2 홀로터치 센서에 연결된 보드를 제2 싱글센서 데이터 처리보드 및 제3 홀로터치 센서에 연결된 보드를 제3 싱글센서 데이터 처리보드라 한다. 제1 싱글센서 데이터 처리보드 내지 제3 싱글센서 데이터 처리보드는 다중센서 연결처리 시스템을 구성하며, 특히 제1 싱글센서 데이터 처리보드가 연결된 제2 싱글 데이터 처리 보드 및 제3 싱글 데이터 처리 보드의 데이터를 처리한다.
제1 싱글센서 데이터 처리보드 내지 제3 싱글센서 데이터 처리보드는 순차적으로 멀티터치 에이전트를 다운로드받아 설치한다.
이후 본 발명은 제1 싱글센서 데이터 처리보드의 IP주소를 확인하며, 제2 싱글센서 데이터 처리보드 및 제3 싱글센서 데이터 처리보드의 설정파일 열고 저장한다. 이후 제1 싱글센서 데이터 처리보드의 디바이스 아이디는 '0'으로 설정하며, 제2 싱글센서 데이터 처리보드의 디바이스 아이디는 '1'로 설정하며, 제3 싱글센서 데이터 처리보드의 디바이스 아이디는 '2'로 설정하며, 서비스 IP는 제1 싱글센서 데이터 처리보드의 IP를 입력한다. 이후 각 보드를 재부팅한다.
멀티터치 에이전트는 각 보드에서 설정된 텍스트가 표시되면 정상 실행된 상태이며, 클라이언트 프로그램에서 IP를 '제1 싱글센서 데이터 처리보드'로 설정하고, 설정된 포트번호로 접속하여 테스트를 실행한다.
싱글센서 데이터 처리보드에서는 연결된 홀로터치 센서의 상태를 확인할 수 있다. 즉, 연결된 홀로터치의 상태가 설정된 상태이면 정상적으로 홀로터치 센서가 싱글센서 데이터 처리보드에 연결되었다고 판단한다.
또한, 싱글센서 데이터 처리보드는 로그가 '물리적 연결이 끊긴 상태'를 의미하는 경우에는 홀로터치 센서가 물리적 연결이 끊어졌다가 다시 연결된 상태이므로 시스템을 재부팅하면 서비스가 정상 동작하게 된다. 물리적 연결이 끊겨서 재부팅된 싱글센서 데이터 처리보드가 메인 싱글센서 데이터 처리보드인 제1 싱글센서 데이터 처리보드이면 제2 싱글센서 데이터 처리보드, 제3 싱글센서 데이터 처리보드에 설치된 응용 프로그램들은 자동으로 재접속하게 되어 있으므로 정상 동작하게 된다.
각 싱글센서 데이터 처리보드에서 홀로터치 센서가 물리적 연결이 끊어졌다가 다시 연결된 상태에서도 설정된 시간 간격으로 프로세서를 확인하여 자동으로 정상화하는 과정을 수행한다. 물론 물리적 연결이 끊어진 상태가 아닌 다른 원인에 의해 연결이 끊어진 경우에는 수동으로 해당 동작을 수행한다.
또한, 본 발명은 물리적 연결이 끊어진 경우, 각 원인에 따른 재시작하는 로그를 제공하여 사용자로 하여금 수동으로 해당 동작을 원활하게 수행하도록 한다.
본 발명은 도면에 도시된 일실시 예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
100: 홀로터치 디스플레이 시스템 110:홀로터치 센서
120: 다중센서 연결처리 시스템 130: 통신망
140: 메인 제어보드 300: 홀로터치 디스플레이
310: 홀로 디스플레이 플레이트
320: 홀로터치 센서 330: 초음파 어레이 모듈

Claims (9)

  1. 에어 상으로 2D 이미지 또는 3D 이미지를 표출하는 디스플레이 장치;
    라인레이저를 조사하며, 표출된 2D 이미지 또는 3D 이미지 상에서 터치한 지점의 좌표값을 산출하는 적어도 2개의 홀로터치 센서;
    상기 각 홀로터치 센서에 각각 연결되며, 연결된 홀로터치 센서에서 산출한 좌표값을 제공받는 적어도 2개의 싱글센서 데이터 처리보드로 구성된 다중센서 연결처리 시스템; 및
    상기 적어도 2개의 싱글센서 데이터 처리보드 중 어느 하나의 싱글센서 데이터 처리보드와 연결되며, 연결된 싱글센서 데이터 처리보드로부터 터치한 지점에 대한 좌표값을 제공받는 메인 제어보드;를 포함함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  2. 제 1항에 있어서, 상기 적어도 2개의 싱글센서 데이터 처리보드는,
    상기 메인 제어보드와 연결된 메인 싱글센서 데이터 처리보드;
    상기 메인 싱글센서 데이터 처리보드에 연결되며, 연결된 홀로터치 센서로부터 제공받은 터치한 지점에 대한 좌표값을 제공하는 서브 싱글센서 데이터 처리보드;를 포함함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  3. 제 2항에 있어서,
    상기 메인 싱글센서 데이터 처리보드가 물리적 연결이 끊어지면, 상기 메인 싱글센서 데이터 처리보드가 재부팅된 이후에 상기 서브 싱글센서 데이터 처리보드가 재부팅됨을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  4. 제 3항에 있어서, 홀로터치 디스플레이를 서비스하는 시스템의 서비스 IP는 메인 싱글센서 데이터 처리보드의 IP로 설정함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  5. 제 1항에 있어서, 디스플레이 장치는,
    에어 상으로 홀로그램 이미지를 표출하는 홀로 디스플레이 플레이트; 및
    에어 상으로 초음파를 송출하는 초음파 어레이 모듈을 포함함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  6. 제 5항에 있어서, 상기 홀로 디스플레이 플레이트는
    수직으로 배치된 거울이 서로 붙어 있는 상단 광학 레이어; 및
    상기 상단 광학 레이어의 하단에서 상단 광학 레이어에 직교하며, 수직으로 배치된 거울이 서로 붙어 있는 하단 광학 레이어를 포함함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  7. 제 1항에 있어서, 상기 메인 제어보드는,
    상기 디스플레이 장치에서 표출하는 전체 이미지의 좌표값과 전체 이미지 내에서 특정 이미지의 좌표값에 대한 정보를 저장하며,
    상기 메인 싱글센서 데이터 처리보드로부터 제공받은 사용자가 터치한 좌표값에 대응되는 이미지를 확인함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  8. 제 7항에 있어서, 상기 메인 제어보드는,
    확인된 상기 이미지에 대응되는 동작을 수행하도록 다른 모듈로 지시함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
  9. 제 1항에 있어서, 상기 다중센서 연결처리 시스템은,
    상기 디스플레이 장치를 통해 에어 상에 표출되는 이미지를 생성하도록 제어하는 이미지 프로세서를 포함함을 특징으로 하는 라인레이저 센서기반의 홀로터치 디스플레이 시스템.
KR1020220097462A 2021-08-05 2022-08-04 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법 KR20230021618A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210103463 2021-08-05
KR1020210103463 2021-08-05

Publications (1)

Publication Number Publication Date
KR20230021618A true KR20230021618A (ko) 2023-02-14

Family

ID=85154657

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220097462A KR20230021618A (ko) 2021-08-05 2022-08-04 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법

Country Status (2)

Country Link
KR (1) KR20230021618A (ko)
WO (1) WO2023014167A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101676155B1 (ko) 2012-11-16 2016-11-14 시아오미 아이엔씨. 사용자 인터페이스의 관리방법, 장치, 프로그램 및 기록매체
KR102342536B1 (ko) 2021-06-02 2021-12-22 양창준 홀로그램 터치 디스플레이 장치 및 홀로그램 터치 동작 제어 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105264443B (zh) * 2013-06-06 2019-05-31 视瑞尔技术公司 用于计算全息图的数据的装置和方法
KR101527396B1 (ko) * 2014-06-10 2015-06-09 서울대학교산학협력단 레이저 홀로그래픽 리소그래피 장치 및 이를 이용한 점진적으로 크기가 변화하는 나노패턴의 제조방법
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
KR102395288B1 (ko) * 2017-05-18 2022-05-09 현대자동차주식회사 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템
KR20200087005A (ko) * 2019-01-10 2020-07-20 동서대학교 산학협력단 홀로그램 메뉴 시스템을 이용한 인터렉션 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101676155B1 (ko) 2012-11-16 2016-11-14 시아오미 아이엔씨. 사용자 인터페이스의 관리방법, 장치, 프로그램 및 기록매체
KR102342536B1 (ko) 2021-06-02 2021-12-22 양창준 홀로그램 터치 디스플레이 장치 및 홀로그램 터치 동작 제어 방법

Also Published As

Publication number Publication date
WO2023014167A1 (ko) 2023-02-09

Similar Documents

Publication Publication Date Title
US10290152B2 (en) Virtual object user interface display
CN108475120B (zh) 用混合现实***的远程设备进行对象运动跟踪的方法及混合现实***
KR102413936B1 (ko) 스위치를 갖는 디스플레이를 포함하는 전자장치
JP6046729B2 (ja) 全方向ジェスチャー入力
US10950205B2 (en) Electronic device, augmented reality device for providing augmented reality service, and method of operating same
US9649938B2 (en) Method for synchronizing display devices in a motor vehicle
US20160217614A1 (en) Method and System for Receiving Gesture Input Via Virtual Control Objects
US20110260965A1 (en) Apparatus and method of user interface for manipulating multimedia contents in vehicle
US20060226298A1 (en) Graphical method and system for model vehicle and accessory control
CN109416825B (zh) 用于设备的双重存在的现实到虚拟现实门户
JP2015516624A (ja) 有効インターフェース要素の強調のための方式
CN111416756B (zh) 协议测试方法、装置、计算机设备及存储介质
US11325473B2 (en) Electronic device including display and operating method thereof
KR102494101B1 (ko) 터치 입력 처리 방법 및 이를 지원하는 전자 장치
US11194402B1 (en) Floating image display, interactive method and system for the same
JP7133742B2 (ja) カスタマイズ可能なプリセットを備えたコントローラアドオンデバイス
CN110075519A (zh) 虚拟现实中的信息处理方法及装置、存储介质及电子设备
CN110673810B (zh) 显示设备及其显示方法、装置、存储介质和处理器
US11103774B2 (en) Method for providing customized button mapping pre-sets
CN116009519A (zh) 仿真测试方法、装置、设备和存储介质
KR102513752B1 (ko) 전자 장치 및 전자 장치의 제어 방법
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
KR102411283B1 (ko) 사용자 인터페이스의 입력 검출 영역을 설정하기 위한 방법 및 그 전자 장치
KR20230021618A (ko) 라인레이저 센서기반의 홀로터치 디스플레이 시스템 및 그에 대한 구현 방법
CN104820489A (zh) 管理低延时直接控制反馈的***和方法