KR101019255B1 - wireless apparatus and method for space touch sensing and screen apparatus using depth sensor - Google Patents
wireless apparatus and method for space touch sensing and screen apparatus using depth sensor Download PDFInfo
- Publication number
- KR101019255B1 KR101019255B1 KR1020080133931A KR20080133931A KR101019255B1 KR 101019255 B1 KR101019255 B1 KR 101019255B1 KR 1020080133931 A KR1020080133931 A KR 1020080133931A KR 20080133931 A KR20080133931 A KR 20080133931A KR 101019255 B1 KR101019255 B1 KR 101019255B1
- Authority
- KR
- South Korea
- Prior art keywords
- depth
- spatial
- touch
- depth sensor
- wireless terminal
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치에 관한 것으로, 특히 디스플레이장치와 떨어진 자유 공간 상에서의 사용자 터치를 감지하고, 감지한 터치 위치를 토대로 사용자의 명령을 실행할 수 있도록 한 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치에 관한 것이다.The present invention relates to a spatial touch wireless terminal of a depth sensor method, a data processing method and a screen device thereof, and in particular, detects a user's touch in a free space away from the display device, and executes a user's command based on the detected touch position. The present invention relates to a spatial touch wireless terminal having a depth sensor method, a data processing method thereof, and a screen device.
본 발명의 깊이 센서 방식의 공간 터치 무선단말기는 스크린 상의 감지공간 내로 사용자 지시수단이 진입하는 깊이를 감지하는 깊이 센서; 상기 사용자 지시수단이 상기 감지공간 내에 진입한 위치의 공간 좌표를 계산하는 공간좌표 계산부; 및 상기 공간좌표 계산부에 의해 계산된 공간 좌표를 무선주파수신호로 변환하여 송신하는 무선송신부를 포함하여 이루어진다.Depth sensor type space touch wireless terminal of the present invention is a depth sensor for detecting the depth to enter the user indicating means into the sensing space on the screen; A spatial coordinate calculator configured to calculate spatial coordinates of a position where the user indicating means enters the sensing space; And a wireless transmitter converting the spatial coordinates calculated by the spatial coordinate calculator into radio frequency signals and transmitting the radio frequency signals.
깊이 센서, 이미지 센서, 공간 터치, 무선, 터치, 스크린 Depth sensor, image sensor, space touch, wireless, touch, screen
Description
본 발명은 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치에 관한 것으로, 특히 디스플레이장치와 떨어진 자유 공간 상에서의 사용자 터치를 감지하고, 감지한 터치 위치를 토대로 사용자의 명령을 실행할 수 있도록 한 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치에 관한 것이다.The present invention relates to a spatial touch wireless terminal of a depth sensor method, a data processing method and a screen device thereof, and in particular, detects a user's touch in a free space away from the display device, and executes a user's command based on the detected touch position. The present invention relates to a spatial touch wireless terminal having a depth sensor method, a data processing method thereof, and a screen device.
최근, 키보드를 사용하지 않고, 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록 화면에서 직접 입력을 받을 수 있게 한 터치스크린이 널리 사용되고 있다.Recently, when a person's hand or an object touches a character or a specific location displayed on the screen (screen) without using a keyboard, the user can grasp the location and receive input directly on the screen so that specific processing can be performed by the stored software. Touch screens are widely used.
터치 스크린은 기능에 해당하는 문자나 그림 정보를 다양하게 표시할 수 있어 사용자의 기능 인지를 용이하게 한다. 때문에, 지하철, 백화점, 은행 등의 장소에서 안내용 기기, 점포의 판매용 단말기 및 일반 업무용 기기 등에 적용되어 다양 하게 활용되고 있다.The touch screen may display a variety of text or picture information corresponding to a function, thereby facilitating user's recognition of the function. Therefore, it is used in a variety of applications such as guide devices, stores for sale terminals and general business equipment in places such as subways, department stores, banks.
종래의 터치스크린은 모니터의 화면에 터치 패널(Touch Panel)을 덧붙여서 손끝이나 기타 물체가 소정영역에 접촉할 때 해당 영역의 특성이 변화하는 것을 인지하여 사용자 입력의 발생을 감지하였다.The conventional touch screen detects the occurrence of user input by adding a touch panel to the screen of the monitor and recognizing that the characteristics of the corresponding area change when a fingertip or other object contacts a predetermined area.
도 1은 종래의 터치스크린 장치의 구성도이다.1 is a block diagram of a conventional touch screen device.
도 1에 도시된 바와 같이, 종래의 터치스크린 장치는 일반 모니터의 화면에 터치 패널(Touch Panel)을 덧붙여서 손끝이나 기타 물체가 소정영역에 접촉할 때 해당 영역의 특성이 변화하는 것으로 사용자 입력을 인지하였다.As shown in FIG. 1, a conventional touch screen device recognizes a user input by adding a touch panel to a screen of a general monitor and changing characteristics of the corresponding area when a fingertip or other object contacts a predetermined area. It was.
종래의 터치스크린은 전체 화면을 2차원 격자 형태로 구분하여 접촉된 위치를 해석하였으며, 이는 정전용량, 초음파, 적외선, 저항막, 음파인식 등을 이용하여 인식하는 인터페이스 방식이다.The conventional touch screen analyzes the contact position by dividing the entire screen into a two-dimensional lattice form, which is an interface method for recognizing it using capacitance, ultrasonic waves, infrared rays, resistive films, and sonic recognition.
즉, 종래의 터치스크린은 디스플레이 화면과 터치 패널이 동일한 면에 위치하는 2차원 형태로 구성되기 때문에, 디스플레이와 떨어진 자유공간을 터치하는 가상터치스크린 방식은 불가능하였다.That is, the conventional touch screen has a two-dimensional shape in which the display screen and the touch panel are positioned on the same surface, and thus, a virtual touch screen method of touching a free space away from the display is impossible.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 사용자가 스크린 상의 감지공간 내로 터치하게 되면, 이를 감지하고 감지한 터치 위치를 토대로 사용자의 명령을 처리하도록 한 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치를 제공함을 목적으로 한다.The present invention has been made to solve the above-described problems, when the user touches into the sensing space on the screen, the depth touch type spatial touch wireless terminal to detect the user and process the user's command based on the detected touch position, An object thereof is to provide a data processing method and a screen device.
전술한 목적을 달성하기 위해 본 발명의 깊이 센서 방식의 공간 터치 무선단말기는 스크린 상의 감지공간 내로 사용자 지시수단이 진입하는 깊이를 감지하는 깊이 센서; 상기 사용자 지시수단이 상기 감지공간 내에 진입한 위치의 공간 좌표를 계산하는 공간좌표 계산부; 및 상기 공간좌표 계산부에 의해 계산된 공간 좌표를 무선주파수신호로 변환하여 송신하는 무선송신부를 포함하여 이루어진다.In order to achieve the above object, the depth sensor type space touch wireless terminal of the present invention comprises: a depth sensor for detecting a depth at which a user indicating means enters a sensing space on a screen; A spatial coordinate calculator configured to calculate spatial coordinates of a position where the user indicating means enters the sensing space; And a wireless transmitter converting the spatial coordinates calculated by the spatial coordinate calculator into radio frequency signals and transmitting the radio frequency signals.
또한, 본 발명의 깊이 센서 방식의 공간 터치 무선단말기는 이동이 자유로울 수 있도록 전원 공급을 위한 배터리를 더 포함하여 이루어진 것이 바람직하다.In addition, the depth sensor-type spatial touch wireless terminal of the present invention preferably further comprises a battery for power supply to be free to move.
또한, 본 발명의 깊이 센서 방식의 공간 터치 무선단말기는, 상기 사용자 지시수단이 상기 스크린으로 근접하는 정도를 상기 깊이 센서가 감지할 수 있도록 디스플레이장치에 부착 가능한 것이 바람직하다.In addition, the depth sensor-type spatial touch wireless terminal of the present invention, it is preferable that the depth sensor can be attached to the display device so that the depth sensor can detect the degree of proximity to the screen.
또한, 상기 공간좌표 계산부의 세부적인 구성은, 상기 감지된 깊이에 대응되는 로우 데이터를 픽셀 단위로 취득하는 깊이정보 취득부; 상기 로우 데이터를, 상기 감지된 깊이가 임계 깊이 이상인 픽셀과 이하인 픽셀로 구분하는 데이터 분할 부; 상기 임계 깊이 이상인 픽셀에 대해 라벨링을 수행하는 라벨링부; 상기 라벨링된 영역들 중에서 임계 영역 이상인 영역을 상기 사용자 지시수단의 진입 위치로 결정하는 위치 결정부; 및 상기 진입 위치로 결정된 영역의 무게 중심을 검출하여 공간 좌표로 변환하는 좌표 검출부를 포함하여 이루어질 수 있다. 여기서, 무게 중심은 영상 처리 분야에서 통용되는 다양한 기법을 이용하여 검출할 수 있을 것이다.In addition, a detailed configuration of the spatial coordinate calculation unit may include: a depth information acquisition unit obtaining row data corresponding to the sensed depth in units of pixels; A data dividing unit which divides the raw data into pixels having a detected depth greater than or equal to a threshold depth and pixels less than or equal to a pixel; A labeling unit for labeling pixels greater than or equal to the threshold depth; A position determination unit that determines an area of the labeled area that is greater than or equal to a threshold area as an entry position of the user indicating means; And a coordinate detector configured to detect the center of gravity of the area determined as the entry position and convert the gravity center into spatial coordinates. Here, the center of gravity may be detected using various techniques commonly used in the image processing field.
다음으로, 본 발명의 데이터 처리 방법은 깊이 센서를 구비한 공간 터치 무선단말기에 의해 수행되며, 스크린 상의 감지공간 내로 사용자 지시수단이 진입하는지 여부를 감지하는 단계; 상기 사용자 지시수단이 상기 감지공간 내에 진입한 위치의 공간 좌표를 계산하는 단계; 및 상기 계산된 공간 좌표를 무선주파수신호로 변환하여 송신하는 단계를 포함하여 이루어진다.Next, the data processing method of the present invention is performed by a spatial touch wireless terminal having a depth sensor, detecting whether the user indicating means enters into the sensing space on the screen; Calculating, by the user indicating means, spatial coordinates of a position entered into the sensing space; And converting the calculated spatial coordinates into a radio frequency signal and transmitting the same.
또한, 본 발명의 데이터 처리 방법은 배터리를 구비한 공간 터치 무선단말기에 의해 수행되는 것이 바람직하다.In addition, the data processing method of the present invention is preferably performed by a spatial touch wireless terminal with a battery.
또한, 본 발명의 데이터 처리 방법은 디스플레이장치에 부착 가능한 공간 터치 무선단말기에 의해 수행되는 것이 바람직하다.In addition, the data processing method of the present invention is preferably performed by a spatial touch wireless terminal attachable to the display device.
또한, 상기 공간 좌표 계산 단계의 세부적인 구성는, 상기 감지된 깊이에 대응되는 로우 데이터를 픽셀 단위로 취득하는 단계; 상기 로우 데이터를, 상기 감지된 깊이가 임계 깊이 이상인 픽셀과 이하인 픽셀로 구분하는 단계; 상기 임계 깊이 이상인 픽셀에 대해 라벨링을 수행하는 단계; 상기 라벨링된 영역들 중에서 임계 영역 이상인 영역을 상기 사용자 지시수단의 진입 위치로 결정하는 단계; 및 상기 진입 위치로 결정된 영역의 무게 중심을 검출하여 공간 좌표로 변환하는 단계를 포함하여 이루어질 수 있다.The detailed configuration of the spatial coordinate calculation step may include obtaining row data corresponding to the sensed depth in units of pixels; Dividing the raw data into pixels whose sensed depth is greater than or equal to a threshold depth and pixels less than or equal to; Labeling pixels that are greater than or equal to the threshold depth; Determining an area which is equal to or larger than a critical area among the labeled areas as an entry position of the user indicating means; And detecting and converting the center of gravity of the area determined as the entry position into spatial coordinates.
다음으로, 본 발명의 깊이 센서 방식의 스크린장치는 영상을 표시하기 위한 스크린; 상기 스크린 상의 감지공간 내에 사용자 지시수단이 진입하는 깊이를 감지하는 깊이 센서; 상기 사용자 지시수단이 상기 감지공간 내에 진입한 위치의 공간 좌표를 계산하는 공간좌표 계산부; 및 상기 공간좌표 계산부에 의해 계산된 공간 좌표를 무선주파수신호로 변환하여 송신하는 무선송신부를 포함하여 이루어진다.Next, the depth sensor type screen device of the present invention comprises a screen for displaying an image; A depth sensor for detecting a depth at which a user indicating means enters a sensing space on the screen; A spatial coordinate calculator configured to calculate spatial coordinates of a position where the user indicating means enters the sensing space; And a wireless transmitter converting the spatial coordinates calculated by the spatial coordinate calculator into radio frequency signals and transmitting the radio frequency signals.
본 발명의 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치는 사용자들에게 보다 실감나는, 인터렉티브(interactive)한 사용자 인터페이스를 제공할 수 있고, 사용자에게 재미와 편리함을 줄 수 있는 효과가 있다. 따라서, 가까운 장래에 본 발명이 적용된 키오스크들은 이러한 실감형 사용자 인터페이스를 사용하게 될 것이다.The depth sensor-type spatial touch wireless terminal, the data processing method and the screen device of the present invention can provide users with a more realistic, interactive user interface, and can provide fun and convenience to the user. There is. Therefore, in the near future, kiosks to which the present invention is applied will use such a realistic user interface.
이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치에 대해서 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the spatial sensor wireless terminal, the data processing method and the screen device of the depth sensor method according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기의 블록 구성도이고, 도 4는 본 발명에 따른 깊이 센서 방식의 공간 터치 무선단말기의 설치 위치를 예시한 개념도이다.2 is a block diagram of a spatial touch wireless terminal of the depth sensor method according to an embodiment of the present invention, Figure 4 is a conceptual diagram illustrating an installation position of the spatial touch wireless terminal of the depth sensor method according to the present invention.
도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기(100)는 스크린 상의 감지공간(10) 내에 사용자 지시수단 예컨대, 손끝이나 터치 펜이 진입하는 깊이를 감지하는 깊이 센서(110)와, 사용자 지시수단이 감지공간(10) 내에 진입한 위치의 공간 좌표를 계산하는 공간좌표 계산부(120)와, 공간좌표 계산부(120)에 의해 계산된 공간 좌표를 무선주파수신호로 변환하여 송신하는 무선송신부(130)를 포함하여 이루어진다.As shown in FIG. 2, the depth sensor-type spatial touch
전술한 구성에서, 깊이 센서(110; depth sensor)는 감지공간(10)의 외부에서 내부로의 사용자 지시수단의 진입 깊이를 감지하는 이미지 센서 일명, 3D 카메라일 수 있다.In the above-described configuration, the
여기서, 감지 공간(10)은 스크린 상의 3차원 공간으로서, 깊이 센서(110)가 사용자 지시수단의 진입 여부를 감지하는 영역이다. 또한, 감지 공간(10)은 스크린(20)의 크기 혹은 깊이 센서(110)의 감지 가능 범위 등에 의해 결정될 수 있다. 또한, 감지 공간(10)은 도 4에 도시한 바와 같이, 스크린(20) 예컨대, 직사각형인 스크린의 형태에 대응되는 직육면체 형태로 구성되는 것이 바람직하다.Here, the
한편, 깊이 센서(110)가 감지 공간(10) 내로 진입하는 물체의 깊이를 256 단계로 감지한다면, 깊이 센서(110)는 감지 공간(10)의 일 측면을 0 단계(스크린에 대해 최대거리)로 감지 공간(10)의 타 측면을 255 단계(스크린에 대해 최단거리)로 인지하는 것이다.On the other hand, if the
공간좌표 계산부(120)는 사용자 지시수단이 감지공간(10) 내 진입한 위치에 대응되는 스크린의 위치 좌표를 계산한다. 공간좌표 계산부(120)의 세부 구성요소 에 대하여는 도 5를 참조하여 후술한다.The
이때, 스크린(20)은 다수의 픽셀을 구비하며 픽셀 단위로 해석 가능하므로, 공간좌표 계산부(120)도 픽셀 단위로 위치 좌표를 계산하는 것이 바람직하다. 여기서, 위치 좌표는 스크린(20)의 한 모서리를 기준으로, X축, Y축으로 해석되는 2차원 좌표일 수 있다.In this case, since the
본 발명의 일 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기(100)는 전원 공급을 위한 배터리(140)를 더 포함하여 이루어진 것이 바람직하다. 이에 따라, 본 발명의 일 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기(100)는 이동이 가능하고 일반 TV나 디스플레이장치에 부착하여 자유롭게 사용할 수 있다.Depth sensor type space touch
도 3은 본 발명의 다른 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기의 블록 구성도이다.3 is a block diagram of a spatial touch wireless terminal of a depth sensor method according to another embodiment of the present invention.
도 3에 도시한 바와 같이, 본 발명의 다른 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기(100)는 깊이센서(110), 공간좌표 계산부(120), 이벤트 발생부(150), 무선송신부(130) 및 배터리(140)를 포함하여 이루어진다.As shown in FIG. 3, the depth touch method of the spatial touch
여기서, 이벤트 발생부(140)는 계산된 위치 좌표에 해당하는 기능 실행 이벤트(예컨대, 마우스 이벤트)를 발생시킨다. 이에 따라, 무선송신부(130)는 기능 실행 이벤트를 무선주파수신호로 변환하여 송신하게 된다. 한편, 다른 구성의 기능은 전술한 바와 동일하므로 그 설명은 생략한다.Here, the
도 5는 본 발명의 일 실시예에 따른 공간좌표 계산부(120)의 세부 구성도이다.5 is a detailed configuration diagram of the spatial
도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 공간좌표 계산부(120)는 깊이정보 취득부(121), 데이터 분할부(122), 라벨링부(123), 위치 결정부(124) 및 좌표 검출부(125)를 포함하여 이루어진다.As shown in FIG. 5, the spatial
전술한 구성에서, 깊이정보 취득부(121)는 감지된 깊이에 대응되는 로우 데이터(raw data)를 픽셀 단위로 취득하는 것이다. 다시 말해, 깊이정보 취득부(121)는 깊이센서(110)로부터 깊이 맵(depth map)을 로우 데이터 형태로 추출한다. In the above-described configuration, the depth
여기서, 로우 데이터는 소정 목적을 위한 처리가 되지 않은, 미가공 데이터로서 소정 주기 예컨대, 1초 단위로 업데이트되어 목적 달성을 위한 정보를 제공해 주는 것이다. 본 발명에 따른 로우 데이터는 감지공간(10) 내로 진입한 물체의 진입 깊이와 그에 대응되는 스크린의 위치 등의 정보를 제공한다. 또한, 위치 좌표가 스크린을 구성하는 픽셀 단위로 추출되므로, 로우 데이터도 픽셀 단위로 추출되는 것이 바람직하다.Here, the raw data is raw data that has not been processed for a predetermined purpose, and is updated in a predetermined period, for example, in units of 1 second, to provide information for achieving the purpose. The raw data according to the present invention provides information such as an entry depth of an object entering the
데이터 분할부(122)는 로우 데이터를, 감지된 깊이가 임계 깊이 이상인 픽셀과 이하인 픽셀로 구분한다. 즉, 데이터 분할부(122)는 픽셀이 나타내는 깊이값이 미리 정해 놓은 임계 깊이 이상이면 1로 표시하고, 임계 깊이 미만이면 0으로 표시하는 이진화 처리를 하는 것이다.The
라벨링부(123)는 임계 깊이 이상인 픽셀에 대해 라벨링(labeling) 연산을 수행한다. 다시 말해, 라벨링부(123)는 예컨대, 8-근방화소 라벨링 기법을 이용하여 1로 표시되는 영역들에 대해 각각 다른 번호를 붙여 이진 영상을 재구성한다. 여기서, 라벨링 연산은 영상처리 분야에서 널리 사용되는 기법이므로, 구체적인 설명은 생략한다.The
위치 결정부(124)는 라벨링된 영역들 중에서 임계 영역 이상인 영역을 사용자 지시수단의 진입 위치로 결정한다.The position determiner 124 determines an area of the labeled area that is greater than or equal to the threshold area as the entry position of the user indicating means.
구체적으로, 위치 결정부(124)는 라벨링된 영역들 중에서 임계 영역 이하인 영역(오브젝트)은 노이즈인 것으로 간주하여 제거하고, 임계 영역 이상인 오브젝트를 가상터치스크린을 터치한 손가락이나 사물로 간주하는 것이다.In detail, the location determiner 124 removes the area (object) that is less than or equal to the threshold area among the labeled areas as noise and regards the object that is greater than or equal to the critical area as a finger or an object touching the virtual touch screen.
좌표 검출부(125)는 진입 위치로 결정된 영역의 무게 중심을 검출하여 공간 좌표로 변환하는 것이다. 여기서, 무게 중심은 다양한 검출 방식을 사용하여 검출할 수 있다.The
예컨대, 좌표 검출부(125)는 위치 결정부(124)에 의해 터치로 인식하고자 하는 오브젝트가 정해지면, 오브젝트의 X,Y 최소값과 X,Y 최대값의 중간값을 무게중심으로 잡아서 터치의 해당좌표로 정한다. 본 발명에 따른 깊이 센서 방식의 공간 터치 무선단말기(100)는 이렇게 정해진 좌표로 마우스 이벤트를 만들어서 PC의 윈도우와 같은 운영체제를 기반으로 하는 공간터치 응용프로그램에 연동시키게 된다.For example, when the object to be recognized as a touch is determined by the
도 6 및 도 7은 본 발명의 일 실시예에 따른 깊이 센서(110) 및 공간좌표 계산부(120)가 감지한 사용자 지시수단을 도시한 사진이다.6 and 7 are photographs showing the user indicating means sensed by the
도 6에서는 깊이 센서(110)로 이미지 센서를 사용하였을 때의 이미지 센서에 의한 촬영 영상을 도시하였다. 예컨대, 이미지 센서는 감지공간(10) 내에 촬영된 물체의 선명도 등으로 감지공간(10) 내 물체의 진입 깊이를 해석할 수 있다.6 illustrates a photographed image by the image sensor when the image sensor is used as the
도 7에서는 공간좌표 연산부(120)에 의해 사용자 지시수단이 진입한 영역으 로 판단된 픽셀 영역을 도시하였다. 이때, 도 7의 사진은 도 6의 사진의 분석을 통해 소정 깊이 이상 진입한 것으로 감지되어 사용자 지시수단이 진입한 영역으로 판단된 픽셀 영역을 도시하였다.In FIG. 7, a pixel area determined as a region into which the user indicating means enters by the spatial coordinate
도 8은 본 발명의 일 실시예에 따른 깊이 센서 방식의 스크린 장치의 블록 구성도이다.8 is a block diagram of a depth sensor type screen device according to an embodiment of the present invention.
도 8에 도시한 바와 같이, 본 발명의 일 실시예에 따른 깊이 센서 방식의 스크린 장치(200)는 영상 예컨대, 다수의 기능 실행 메뉴를 표시하기 위한 스크린(210)과, 스크린(210) 상의 감지공간 내에 사용자 지시수단이 진입하는 깊이를 감지하는 깊이 센서(220)와, 사용자 지시수단이 감지공간 내에 진입한 위치의 공간 좌표를 계산하는 공간좌표 계산부(230)와, 공간좌표 계산부(230)에 의해 계산된 공간 좌표를 무선주파수신호로 변환하여 송신하는 무선송신부(250)를 포함하여 이루어진다.As shown in FIG. 8, the depth sensor
이외에도, 본 발명의 일 실시예에 따른 깊이 센서 방식의 스크린 장치(200)는 계산된 위치 좌표에 해당하는 기능 실행 이벤트를 발생시키는 이벤트 발생부(240)를 더 포함하여 이루어질 수 있다. 그렇다고 한다면, 무선송신부(130)는 기능 실행 이벤트를 무선주파수신호로 변환하여 송신하게 된다.In addition, the depth sensor
공간좌표 계산부(230)의 세부적인 구성은 본 발명에 따른 깊이 센서 방식의 공간 터치 무선단말기의 공간좌표 계산부(120)와 동일할 수 있음을 밝혀둔다.It is noted that the detailed configuration of the spatial coordinate
도 9는 본 발명의 일 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기에 의해 수행되는 데이터 처리 방법을 설명하기 위한 흐름도이고, 도 10은 도 9에 서 공간좌표 계산 단계의 세부적인 과정을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a data processing method performed by a spatial touch wireless terminal of a depth sensor method according to an embodiment of the present invention, and FIG. 10 illustrates a detailed process of calculating a spatial coordinate in FIG. 9. It is a flowchart for doing this.
도 9에 도시한 바와 같이, 먼저 단계 S10에서는 스크린(20)의 감지공간(10) 내로 사용자 지시수단이 진입하는지 여부를 판단한다.As shown in FIG. 9, first, in step S10, it is determined whether the user indicating means enters into the
단계 S10에서의 판단 결과, 사용자 지시수단이 진입한 것으로 인식되는 경우에는 단계 S20으로 진행하여 공간좌표를 계산한다. 여기서, 공간좌표의 구체적인 계산방법은 후술한다. As a result of the determination in step S10, if it is recognized that the user indicating means has entered, the flow advances to step S20 to calculate the spatial coordinates. Here, a specific calculation method of the spatial coordinates will be described later.
다음으로, 단계 S30에서는 계산된 공간 좌표(혹은 그에 대응되는 기능 실행 이벤트)를 무선주파수신호로 변환하여 송신한다.Next, in step S30, the calculated spatial coordinates (or corresponding function execution events) are converted into a radio frequency signal and transmitted.
한편, 도 10에 도시한 바와 같이 공간좌표 계산방법에 대해 구체적으로 설명하자면, 먼저, 단계 S21에서는 깊이 맵(depth map)을 로우 데이터 형태로 추출한다. 다시 말해, 단계 S21에서는 감지된 깊이에 대응되는 로우 데이터를 픽셀 단위로 취득한다.Meanwhile, as shown in FIG. 10, the spatial coordinate calculation method will be described in detail. First, in step S21, a depth map is extracted in the form of a row data. In other words, in step S21, row data corresponding to the sensed depth is acquired in units of pixels.
그 다음 단계 S22로 진행하여서는 로우 데이터를, 감지된 깊이가 임계 깊이 이상인 픽셀과 이하인 픽셀로 구분하는 이진화 처리를 수행한다.Proceeding to step S22, binarization processing is performed to classify the raw data into pixels having a sensed depth greater than or equal to a threshold depth and pixels less than or equal to.
다음으로, 단계 S23에서는 임계 깊이 이상인 픽셀에 대해 라벨링(labeling) 연산을 수행한다.Next, in step S23, a labeling operation is performed on pixels greater than or equal to the threshold depth.
다음으로, 단계 S24에서는 라벨링된 영역들 중에서 임계 영역 이상인 영역을 사용자 지시수단의 진입 위치로 결정한다.Next, in step S24, a region that is greater than or equal to the threshold region among the labeled regions is determined as the entry position of the user indicating means.
마지막으로, 단계 S25에서는 진입 위치로 결정된 영역의 무게 중심을 검출하여 공간 좌표로 변환한다. 여기서, 무게 중심은 다양한 검출 방식을 사용하여 검출 할 수 있다.Finally, in step S25, the center of gravity of the area determined as the entry position is detected and converted into spatial coordinates. Here, the center of gravity can be detected using various detection methods.
한편, 전술한 데이터 처리 방법은 배터리를 구비한 공간 터치 무선단말기에 의해 수행되는 것이 바람직하다. 더 나아가, 디스플레이장치에 부착 가능한 공간 터치 무선단말기에 의해 수행되는 것이 바람직할 것이다.On the other hand, the above-described data processing method is preferably performed by a spatial touch wireless terminal with a battery. Furthermore, it may be desirable to perform the touch-sensitive wireless terminal attachable to the display device.
본 발명의 깊이 센서 방식의 공간 터치 무선단말기, 이의 데이터 처리 방법 및 스크린장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다. 따라서, 본 발명의 보호 범위는 전술한 실시 예에 구한되어서는 아니되며, 이하의 특허 청구범위의 기재에 의하여 정해져야 할 것이다.The spatial touch wireless terminal, the data processing method, and the screen apparatus of the depth sensor method of the present invention are not limited to the above-described embodiments, and various modifications can be made within the range allowed by the technical idea of the present invention. Therefore, the protection scope of the present invention should not be determined by the above-described embodiments, but should be determined by the description of the following claims.
도 1은 종래의 터치스크린 장치의 구성도이다.1 is a block diagram of a conventional touch screen device.
도 2는 본 발명의 일 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기의 블록 구성도이다.2 is a block diagram of a spatial touch wireless terminal of a depth sensor method according to an embodiment of the present invention.
도 3은 본 발명의 다른 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기의 블록 구성도이다.3 is a block diagram of a spatial touch wireless terminal of a depth sensor method according to another embodiment of the present invention.
도 4는 본 발명에 따른 깊이 센서 방식의 공간 터치 무선단말기의 설치 위치를 예시한 개념도이다.4 is a conceptual diagram illustrating an installation position of a depth touch type spatial touch wireless terminal according to the present invention.
도 5는 본 발명의 일 실시예에 따른 공간좌표 계산부(120)의 세부 구성도이다.5 is a detailed configuration diagram of the spatial coordinate
도 6 및 도 7은 본 발명의 일 실시예에 따른 깊이 센서(110) 및 공간좌표 계산부(120)가 감지한 사용자 지시수단을 도시한 사진이다.6 and 7 are photographs showing the user indicating means sensed by the
도 8은 본 발명의 일 실시예에 따른 깊이 센서 방식의 스크린 장치의 블록 구성도이다.8 is a block diagram of a depth sensor type screen device according to an embodiment of the present invention.
도 9는 본 발명의 일 실시예에 따른 깊이 센서 방식의 공간 터치 무선단말기에 의해 수행되는 데이터 처리 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a data processing method performed by a spatial touch wireless terminal of a depth sensor method according to an embodiment of the present invention.
도 10은 도 9에서 공간좌표 계산 단계의 세부적인 과정을 설명하기 위한 흐름도이다.FIG. 10 is a flowchart illustrating a detailed process of calculating a spatial coordinate in FIG. 9.
*** 도면의 주요 부분에 대한 부호의 설명 ****** Explanation of symbols for the main parts of the drawing ***
100: 깊이 센서 방식의 공간 터치 무선단말기100: Depth sensor space touch wireless terminal
110: 깊이 센서 120: 공간좌표 계산부110: depth sensor 120: spatial coordinate calculation unit
121: 깊이정보 취득부 122: 데이터 분할부121: depth information acquisition unit 122: data division unit
123: 라벨링부 124: 위치 결정부123: labeling unit 124: positioning unit
125: 좌표 검출부 130: 무선송신부125: coordinate detection unit 130: wireless transmission unit
140: 배터리 150: 이벤트발생부140: battery 150: event generator
200: 깊이 센서 방식의 스크린장치200: depth sensor type screen device
210: 스크린 220: 깊이센서210: screen 220: depth sensor
230: 공간좌표 계산부 240: 이벤트 발생부230: spatial coordinate calculator 240: event generator
250: 무선송신부250: wireless transmitter
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080133931A KR101019255B1 (en) | 2008-12-24 | 2008-12-24 | wireless apparatus and method for space touch sensing and screen apparatus using depth sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020080133931A KR101019255B1 (en) | 2008-12-24 | 2008-12-24 | wireless apparatus and method for space touch sensing and screen apparatus using depth sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100075282A KR20100075282A (en) | 2010-07-02 |
KR101019255B1 true KR101019255B1 (en) | 2011-03-04 |
Family
ID=42637670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080133931A KR101019255B1 (en) | 2008-12-24 | 2008-12-24 | wireless apparatus and method for space touch sensing and screen apparatus using depth sensor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101019255B1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101330531B1 (en) * | 2011-11-08 | 2013-11-18 | 재단법인대구경북과학기술원 | Method of virtual touch using 3D camera and apparatus thereof |
KR101296365B1 (en) * | 2011-11-17 | 2013-08-14 | 재단법인대구경북과학기술원 | hologram touch detection method using camera |
US9222767B2 (en) | 2012-01-03 | 2015-12-29 | Samsung Electronics Co., Ltd. | Display apparatus and method for estimating depth |
KR101483741B1 (en) * | 2014-02-10 | 2015-01-27 | 전남대학교산학협력단 | Method of touch gesture recognition using depth slice pattern image and system thereof |
KR101644739B1 (en) * | 2015-02-13 | 2016-08-10 | 계명대학교 산학협력단 | Apparatus for 3D printing auxiliary using the 3D printing pen and Method thereof |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020041327A1 (en) * | 2000-07-24 | 2002-04-11 | Evan Hildreth | Video-based image control system |
-
2008
- 2008-12-24 KR KR1020080133931A patent/KR101019255B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020041327A1 (en) * | 2000-07-24 | 2002-04-11 | Evan Hildreth | Video-based image control system |
Also Published As
Publication number | Publication date |
---|---|
KR20100075282A (en) | 2010-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105229582B (en) | Gesture detection based on proximity sensor and image sensor | |
US8086971B2 (en) | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications | |
CN107621893B (en) | Content creation using electronic input devices on non-electronic surfaces | |
KR101872426B1 (en) | Depth-based user interface gesture control | |
EP2860611A1 (en) | User interface method and apparatus based on spatial location recognition | |
US20140237401A1 (en) | Interpretation of a gesture on a touch sensing device | |
US20140237408A1 (en) | Interpretation of pressure based gesture | |
KR101019254B1 (en) | apparatus having function of space projection and space touch and the controlling method thereof | |
US20140237422A1 (en) | Interpretation of pressure based gesture | |
US20130215027A1 (en) | Evaluating an Input Relative to a Display | |
EP2790089A1 (en) | Portable device and method for providing non-contact interface | |
US20130241832A1 (en) | Method and device for controlling the behavior of virtual objects on a display | |
KR20100108116A (en) | Apparatus and method for recognizing touch gesture | |
KR20140016987A (en) | Method and electronic device for virtual handwritten input | |
CN108027656B (en) | Input device, input method, and program | |
US20120019460A1 (en) | Input method and input apparatus | |
KR101019255B1 (en) | wireless apparatus and method for space touch sensing and screen apparatus using depth sensor | |
US20130257809A1 (en) | Optical touch sensing apparatus | |
US9347762B2 (en) | Near-surface object sensing device and sensing method | |
US20150009136A1 (en) | Operation input device and input operation processing method | |
WO2015060932A1 (en) | Ghost suppression using hybrid capacitive sensing | |
KR20090116544A (en) | Apparatus and method for space touch sensing and screen apparatus sensing infrared camera | |
KR100983051B1 (en) | Apparatus and Method for Space Touch Sensing and Screen Apparatus using Depth Sensor | |
US9235338B1 (en) | Pan and zoom gesture detection in a multiple touch display | |
WO2015064991A2 (en) | Smart device enabling non-contact operation control and non-contact operation control method using same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20131231 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150109 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160819 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170216 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20180221 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20190225 Year of fee payment: 9 |