KR101500098B1 - 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법 - Google Patents

터치스크린을 구비한 유저인터페이스 제어 장치 및 방법 Download PDF

Info

Publication number
KR101500098B1
KR101500098B1 KR1020130079071A KR20130079071A KR101500098B1 KR 101500098 B1 KR101500098 B1 KR 101500098B1 KR 1020130079071 A KR1020130079071 A KR 1020130079071A KR 20130079071 A KR20130079071 A KR 20130079071A KR 101500098 B1 KR101500098 B1 KR 101500098B1
Authority
KR
South Korea
Prior art keywords
image data
touch
touch screen
screen
expected
Prior art date
Application number
KR1020130079071A
Other languages
English (en)
Other versions
KR20150005296A (ko
Inventor
진상은
방현우
윤기홍
조성민
송준봉
윤경원
백동엽
이병주
배재혁
정정만
Original Assignee
현대자동차주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 서울대학교산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020130079071A priority Critical patent/KR101500098B1/ko
Priority to US14/059,892 priority patent/US9235284B2/en
Priority to DE102013221548.7A priority patent/DE102013221548A1/de
Priority to CN201310652200.0A priority patent/CN104281381B/zh
Publication of KR20150005296A publication Critical patent/KR20150005296A/ko
Application granted granted Critical
Publication of KR101500098B1 publication Critical patent/KR101500098B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법에 관한 것으로, 터치스크린을 구비하는 입출력부, 입출력부와 이격되어 설치되고, 터치스크린의 전방에서 임계거리 이내의 공간에 대한 적어도 하나의 영상데이터를 획득하는 카메라, 영상데이터의 분석결과, 공간에 객체의 움직임이 감지되면 객체의 터치예상 위치를 확인하고, 위치에 해당하는 영역을 확대하여 출력하도록 입출력부를 제어하는 제어부를 포함한다.

Description

터치스크린을 구비한 유저인터페이스 제어 장치 및 방법{Apparatus and Method for Controlling of User Interface equipped Touch Screen}
본 발명은 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로 깊이인식 카메라를 구비하여 터치스크린에 터치가 발생하기 이전에 터치가 발생될 영역을 확인하고, 확인된 영역의 화면을 확대하여 출력하는 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법에 관한 것이다.
일반적으로 터치스크린을 이용한 휴대장치에서의 문자입력 방식은 수기입력(Handwriting recognition) 방식과 가상 키보드(Virtual keyboard) 입력 방식 등이 있다. 수기입력 방식은 터치스크린이 사람의 수기를 인식하여 데이터 코드로 변환시켜 주는 방식이고, 가상 키보드 입력 방식은 휴대장치에서 키보드와 마우스의 휴대성 문제를 극복하기 위해 터치스크린에 키보드 형태의 입력창을 띄워 손가락이나 펜 등과 같은 터치가 가능한 터치 기구의 터치에 따른 선택 정보를 입력받는 방식이다.
이러한 터치스크린을 구비하는 단말기의 예로는 전지수첩, 이동통신 단말기, PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), 네비게이션 등이 있다.
그러나 가상 키보드 입력 방식의 경우, 문자 입력창과 가상 키보드를 동시에 화면에 표시하여야 하므로 가상 키보드 키의 크기가 작다. 이로 인해, 가상 키보드의 키를 터치하는 과정에서 옆의 키를 터치하여 오타가 자주 발생하는 문제점이 있다. 특히, 터치 면적이 넓은 터치 기구로 키를 선택하는 경우나 작은 화면에 가상 키보드가 표시된 경우일수록 터치 오류에 대한 입력 오류가 자주 발생한다.
또한, 네비게이션에 터치스크린이 구비된 경우, 운전자가 운전 중에 네비게이션을 조작하는 경우가 많이 발생하기 때문에, 운전자의 집중력이 저하되어 사고가 발생하는 경우가 많이 존재한다.
이러한 종래의 문제점들을 해결하기 위한 본 발명의 목적은 깊이인식 카메라를 구비하여 터치스크린에 터치가 발생하기 이전에 터치가 발생될 영역을 확인하고, 확인된 영역의 화면을 확대하여 출력하는 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법을 제공하는 것이다.
이러한 목적들을 달성하기 위하여 본 발명에 따른 터치스크린을 구비한 유저인터페이스 제어 장치는 터치스크린을 구비하는 입출력부, 상기 입출력부와 이격되어 설치되고, 상기 터치스크린의 전방에서 임계거리 이내의 공간에 대한 적어도 하나의 영상데이터를 획득하는 카메라, 상기 영상데이터의 분석결과, 상기 공간에 객체의 움직임이 감지되면 상기 객체의 터치예상 위치를 확인하고, 상기 위치에 해당하는 영역을 확대하여 출력하도록 상기 입출력부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 카메라는 깊이인식 카메라인 것을 특징으로 한다.
또한, 상기 제어부는 상기 임계거리 이내의 공간에서 일정 간격마다 획득되는 적어도 하나의 영상데이터를 분석하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 영상데이터를 분석하여 상기 공간에 상기 객체의 움직임이 확인되면, 상기 영상데이터를 배경영상데이터와 객체영상데이터로 분리하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 객체영상데이터를 형성하는 다수의 픽셀 중에서 상기 객체의 위치에 대한 픽셀을 확인하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 확인된 객체영상데이터의 픽셀과 상기 터치스크린에 출력된 화면을 형성하는 픽셀을 매핑시켜 상기 객체가 터치할 터치예상 위치를 상기 터치스크린에서 확인하는 것을 특징으로 한다.
또한, 상기 제어부는 상기 확인된 터치예상 위치에 해당하는 영역에 표시된 화면을 특정 비율로 확대하여 표시하고, 상기 확대된 화면에 터치가 발생되면 상기 확대된 화면에 해당하는 입력신호를 생성하는 것을 특징으로 한다.
아울러, 본 발명에 따른 터치스크린을 구비한 유저인터페이스 제어 방법은 제어부가 터치스크린을 구비한 입출력부로부터 수신된 신호에 의거하여 카메라를 구동하는 단계, 상기 카메라로부터 수신된 상기 터치스크린의 전방에서 임계거리 이내의 공간에 대한 적어도 하나의 영상데이터를 분석하는 단계, 상기 분석결과, 상기 공간에 객체의 움직임이 감지되면 상기 객체의 터치예상 위치를 확인하는 단계, 상기 터치예상 위치에 해당하는 영역을 확대하여 출력하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 영상데이터를 분석하는 단계는 상기 임계거리 이내의 공간에서 일정 간격마다 획득되는 적어도 하나의 영상데이터를 분석하는 단계인 것을 특징으로 한다.
또한, 상기 영상데이터를 분석하는 단계는 상기 공간에 상기 객체의 움직임이 확인되면, 상기 영상데이터를 배경영상데이터와 객체영상데이터로 분리하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 객체의 터치예상 위치를 확인하는 단계는 상기 객체영상데이터를 형성하는 다수의 픽셀 중에서 상기 객체의 위치에 대한 픽셀을 확인하는 단계, 상기 확인된 객체영상데이터의 픽셀과 상기 터치스크린을 형성하는 픽셀을 매핑시켜 상기 객체가 터치할 터치예상 위치를 상기 터치스크린에서 확인하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 터치예상 위치에 해당하는 영역을 확대하여 출력하는 단계는 상기 확인된 터치예상 위치에 해당하는 영역에 표시된 화면을 특정 비율로 확대하여 표시하는 단계인 것을 특징으로 한다.
이와 같이, 본 발명은 깊이인식 카메라를 구비하여 터치스크린에 터치가 발생하기 이전에 터치가 발생될 영역을 확인하고, 확인된 영역의 화면을 확대하여 출력함으로써, 입력오류를 최소화시킬 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어 장치를 나타낸 도면
도 2는 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어 장치의 구성요소를 나타낸 블록도
도 3은 본 발명의 실시예에 따른 터치가 예상되는 영역을 추출하는 방법을 설명하기 위한 도면
도 4는 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어 방법을 설명하기 위한 순서도
도 5는 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어화면을 나타낸 예시도
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고, 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다.
도 1은 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어 장치를 나타낸 도면이다. 도 2는 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어 장치의 구성요소를 나타낸 블록도이다. 도 3은 본 발명의 실시예에 따른 터치가 예상되는 영역을 추출하는 방법을 설명하기 위한 도면이다.
도 1 내지 도 3을 참조하면, 터치스크린을 구비한 유저인터페이스 제어 장치(이하, 제어장치(100)라 함)는 카메라(10), 입출력부(20), 제어부(30), 저장부(40)를 포함한다.
카메라(10)는 깊이인식 카메라가 사용되는 것이 바람직하다. 카메라(10)는 도 1에서와 같이 입출력부(20)의 위쪽에 설치되어 입출력부(20)에 접근하는 객체의 영상데이터를 획득한다. 카메라(10)는 입출력부(20) 특히, 입력부인 터치스크린의 정면에서 임계거리가 이격된 또는 임계거리 이내의 공간에 대한 영상데이터를 실시간으로 획득하여 제어부(30)로 제공한다. 이때, 카메라(10)는 임계거리 이내의 공간에서 일정 간격에 해당하는 영역의 영상데이터를 실시간으로 획득하여 제어부(30)로 제공할 수 있다.
입출력부(20)는 입력부와 출력부를 포함할 수 있다. 입력부는 사용자의 입력을 감지하여 이에 대응되는 입력신호를 생성한 후 제어부(30)로 제공한다. 입력부는 도 1 및 도 3에서와 같이 터치스크린으로 형성되는 것이 바람직하며, 그 외에 키패드, 터치패드 등의 장치를 추가적으로 구비할 수 있다.
출력부는 제어부(30)의 제어에 의해 제어장치(100) 작동에 따른 다양한 정보를 출력한다. 출력부는 액정 디스플레이(LCD; Liquid Crystal display), 박막 트랜지스터 액정 디스플레이(TFT LCD; Thin Film Transistor Liquid Crystal Display), 유기 발광 다이오드(OLED; Organic Light Emitting Diode), 플렉서블 디스플레이(Flexible Display) 등의 출력장치가 사용될 수 있고, 입력부가 터치스크린인 경우, 터치스크린의 출력부 역할을 수행하는 것이 바람직하다.
제어부(30)는 카메라(10)로부터 획득된 영상데이터를 분석하여 터치스크린의 전방에서 임계거리 이내의 공간에 객체의 움직임이 감지되면 객체의 터치예상 위치를 확인하고, 위치에 해당하는 영역을 확대하여 출력한다.
보다 구체적으로, 제어장치(100)에 구비된 카메라(10)는 깊이인식 카메라이므로, 제어부(30)는 카메라(10)에서 획득된 영상데이터를 구성하는 각 픽셀들과 터치스크린이 이격된 거리를 확인할 수 있다. 즉, 제어부(30)는 터치스크린의 전방에 객체의 움직임이 존재하지 않는 경우의 영상데이터를 배경 영상데이터로 설정하여 저장부(40)에 저장한다. 제어부(30)는 카메라(10)로부터 실시간으로 획득되는 영상데이터와 배경 영상데이터를 비교하여 배경 영상데이터와 다른 영상데이터가 확인되면, 확인된 영상데이터에 객체의 움직임이 존재하는 것으로 인지한다. 제어부(30)는 확인된 영상데이터를 배경 영상데이터와 객체 영상데이터로 분리하고, 객체 영상데이터를 구성하는 가로/세로 픽셀을 확인하여 터치스크린 전방에서 임계거리 이내의 공간을 가로지르는 객체의 공간 정보를 획득한다.
또한, 제어부(30)는 카메라(10)로부터 임계거리 이내의 공간에서 일정 간격에 해당하는 영역의 영상데이터가 수신되면 터치스크린에서 가장 멀리에 위치한 영역의 영상데이터부터 터치스크린에서 가장 가까이 위치한 영역의 영상데이터까지 순차적으로 분석한다. 이를 통해, 제어부(30)는 객체의 진행방향을 보다 정확하게 예측할 수 있다.
저장부(40)는 제어부(30)의 제어에 의해 배경 영상데이터를 저장하고, 제어장치(100)를 제어하기 위한 다양한 프로그램들을 저장한다.
도 3을 참조하면, 제어부(30)는 도 3의 slit array에 표시된 바와 같이 객체(O)의 움직임이 감지된 해당 행이 나타내는 공간상 평면 내의 거리정보를 영상데이터에 대한 값 배열로 획득한다. 이 배열을 도식화하면 도 3의 slit array data와 같이 나타낼 수 있다. 즉, 도 3의 scene에 객체(O)가 접근하면, 객체가 접근한 지점은 slit array data의 P지점과 같이 나타낼 수 있다. 이때, P지점은 터치스크린의 전방에서 임계거리 이내의 공간을 가로지르는 객체(O)의 위치에 대한 공간 정보가 된다.
제어부(30)는 획득된 객체(O)의 공간 정보에 의거하여 이를 터치예상 위치로 확인한다. 제어부(30)는 확인된 터치 예상 위치에 대한 픽셀과 터치스크린에 표시된 화면을 형성하는 픽셀을 매핑시켜 객체(O)가 터치할 터치예상 위치를 추출한다. 제어부(30)는 추출된 터치예상 위치에 해당하는 영역에 표시된 화면을 특정 비율로 확대하여 출력한다. 이때, 객체(O)는 사용자의 손가락일 수 있고, 터치펜 등 터치가 가능한 물체인 것이 바람직하다.
아울러, 도 3에서는 하나의 slit array를 분석하는 것으로 기재하고 있으나, 제어부(30)는 카메라(10)로부터 수신된 적어도 하나의 영상데이터 중에서 터치스크린에서 가장 멀리에 위치한 영역의 영상데이터부터 터치스크린에서 가장 가까이 위치한 영역의 영상데이터까지 순차적으로 분석한다. 이 경우는 객체가 터치스크린에서 멀리 떨어져 있을 때부터 객체의 움직임을 순차적으로 확인할 수 있기 때문에 도 3에서와 같이 하나의 slit array를 분석하는 것보다 신속하게 객체의 진행방향을 확인할 수 있다.
또한, 본 발명의 실시예에서 카메라(10)는 입출력부(20)의 위에 위치하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니며, 운전자의 취향에 따라 위치에 관계없이 설치될 수 있다.
도 4는 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어 방법을 설명하기 위한 순서도이다. 도 5는 본 발명의 실시예에 따른 터치스크린을 구비한 유저인터페이스 제어화면을 나타낸 예시도이다.
도 4 및 도 5를 참조하면, S11단계에서 제어부(30)는 외부로부터의 입력에 따라 유저인터페이스 제어모드로 진입하여 카메라(10)를 구동시킨다.
S13단계에서 제어부(30)는 카메라(10)로부터 수신된 영상데이터를 분석하여 영상데이터에 객체의 움직임이 존재하는지 확인한다. 보다 구체적으로, 제어부(30)는 카메라(10)에서 획득된 영상데이터를 구성하는 각 픽셀들과 터치스크린이 이격된 거리를 확인할 수 있다. 제어부(30)는 터치스크린의 전방에 객체의 움직임이 존재하지 않을 때의 영상데이터를 지속적으로 누적하여 배경 영상데이터로 설정한다. 아울러, 제어부(30)는 카메라(10)로부터 실시간으로 획득되는 영상데이터와 배경 영상데이터를 비교하여 획득 영상데이터에 배경 영상데이터와 다른 점이 확인되면, 객체의 움직임이 존재하는 것으로 인지하여 S15단계로 진행한다.
제어부(30)는 획득된 영상데이터를 배경 영상데이터와 객체 영상데이터로 분리하고, 객체 영상데이터를 구성하는 가로/세로 픽셀을 확인하여 터치스크린 전방에서 임계거리 이내의 공간을 가로지르는 객체의 공간 정보를 획득한다. 이때, 객체의 공간 정보를 획득하는 것은 도 1 내지 도 3에서 상세히 설명하였으므로 생략한다.
이어서, S15단계에서 제어부(30)는 분리된 객체 영상데이터를 분석하여 객체가 존재하는 위치에 대한 픽셀을 확인함으로써 터치 예상 위치를 확인한다.
S17단계에서 제어부(30)는 확인된 터치 예상 위치에 대한 픽셀과 터치스크린에 표시된 화면을 형성하는 픽셀을 매핑시켜 객체가 터치할 터치예상 위치를 추출한다.
S19단계에서 제어부(30)는 추출된 터치예상 위치에 해당하는 영역에 표시된 화면을 특정 비율로 확대하여 출력한다. 이는 도 5와 같이 나타낼 수 있다.
상기와 같이, 본 발명은 운전자의 손가락 또는 터치펜 등의 물체가 터치스크린에 도달하기 이전에 운전자가 터치하고자 하는 영역을 확대하여 출력함으로써, 운전자의 집중력 저하를 방지할 수 있고, 운전자가 운전 중에 네비게이션 조작으로 인한 사고의 발생률을 최소화할 수 있는 현저한 효과가 발생한다.
지금까지 실시예를 통하여 본 발명에 따른 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법에 대하여 설명하였다. 본 명세서와 도면에서는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 상기에 기재된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100: 유저인터페이스 제어 장치 10: 카메라
20: 입출력부 30: 제어부
40: 저장부

Claims (12)

  1. 터치스크린을 구비하는 입출력부;
    상기 입출력부와 이격되어 설치되고, 상기 터치스크린의 전방에서 임계거리 이내의 공간에 대한 적어도 하나의 영상데이터를 획득하는 카메라;
    상기 임계거리 이내의 공간에서 일정 간격마다 획득되는 적어도 하나의 영상데이터를 분석하여 상기 공간에 객체의 움직임이 감지되면 상기 영상데이터를 배경영상데이터와 객체영상데이터로 분리하고, 상기 객체영상데이터를 기준으로 상기 객체의 터치예상 위치를 확인하고, 상기 위치에 해당하는 영역을 확대하여 출력하도록 상기 입출력부를 제어하는 제어부;
    를 포함하는 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어장치.
  2. 제1항에 있어서,
    상기 카메라는
    깊이인식 카메라인 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어 장치.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서,
    상기 객체영상데이터를 형성하는 다수의 픽셀 중에서 상기 객체의 위치에 대한 픽셀을 확인하는 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어장치.
  6. 제5항에 있어서,
    상기 제어부는
    상기 확인된 객체영상데이터의 픽셀과 상기 터치스크린에 출력된 화면을 형성하는 픽셀을 매핑시켜 상기 객체가 터치할 터치예상 위치를 상기 터치스크린에서 확인하는 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어 장치.
  7. 제6항에 있어서,
    상기 제어부는
    상기 확인된 터치예상 위치에 해당하는 영역에 표시된 화면을 특정 비율로 확대하여 표시하고, 상기 확대된 화면에 터치가 발생되면 상기 확대된 화면에 해당하는 입력신호를 생성하는 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어 장치.
  8. 제어부가 터치스크린을 구비한 입출력부로부터 수신된 신호에 의거하여 카메라를 구동하는 단계;
    상기 카메라로부터 수신된 상기 터치스크린의 전방에서 임계거리 이내의 공간에서 일정간격마다 획득되는 적어도 하나의 영상데이터를 분석하여 상기 공간에 객체의 움직임이 감지되면 상기 영상데이터를 배경영상데이터와 객체영상데이터로 분리하는 단계;
    상기 객체영상데이터를 분석하여 상기 객체의 움직임 감지여부에 따라 상기 객체의 터치 예상 위치를 확인하는 단계;
    상기 터치예상 위치에 해당하는 영역을 확대하여 출력하는 단계;
    를 포함하는 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 객체의 터치예상 위치를 확인하는 단계는
    상기 객체영상데이터를 형성하는 다수의 픽셀 중에서 상기 객체의 위치에 대한 픽셀을 확인하는 단계;
    상기 확인된 객체영상데이터의 픽셀과 상기 터치스크린을 형성하는 픽셀을 매핑시켜 상기 객체가 터치할 터치예상 위치를 상기 터치스크린에서 확인하는 단계;
    를 포함하는 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어방법.
  12. 제11항에 있어서,
    상기 터치예상 위치에 해당하는 영역을 확대하여 출력하는 단계는
    상기 확인된 터치예상 위치에 해당하는 영역에 표시된 화면을 특정 비율로 확대하여 표시하는 단계인 것을 특징으로 하는 터치스크린을 구비한 유저인터페이스 제어 방법.
KR1020130079071A 2013-07-05 2013-07-05 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법 KR101500098B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020130079071A KR101500098B1 (ko) 2013-07-05 2013-07-05 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법
US14/059,892 US9235284B2 (en) 2013-07-05 2013-10-22 Apparatus and method for controlling of user interface equipped touch screen
DE102013221548.7A DE102013221548A1 (de) 2013-07-05 2013-10-23 Gerät und verfahren zum steuern einer mit einem touchscreen ausgestatteten benutzerschnittstelle
CN201310652200.0A CN104281381B (zh) 2013-07-05 2013-12-05 控制配备有触摸屏的用户界面的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130079071A KR101500098B1 (ko) 2013-07-05 2013-07-05 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150005296A KR20150005296A (ko) 2015-01-14
KR101500098B1 true KR101500098B1 (ko) 2015-03-06

Family

ID=52106343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130079071A KR101500098B1 (ko) 2013-07-05 2013-07-05 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법

Country Status (4)

Country Link
US (1) US9235284B2 (ko)
KR (1) KR101500098B1 (ko)
CN (1) CN104281381B (ko)
DE (1) DE102013221548A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200061084A (ko) 2018-11-23 2020-06-02 현대자동차주식회사 하이브리드 차량 제어 장치 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102347248B1 (ko) * 2014-11-26 2022-01-04 삼성전자주식회사 터치 제스쳐 인식 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020157A (ko) * 2007-08-22 2009-02-26 엘지전자 주식회사 터치스크린에서 화면 줌 방법 및 이를 이용한 단말기
KR20100000070A (ko) * 2008-06-24 2010-01-06 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080029028A (ko) 2006-09-28 2008-04-03 삼성전자주식회사 터치 스크린을 갖는 단말기의 문자 입력 방법
KR20090017828A (ko) 2007-08-16 2009-02-19 엘지전자 주식회사 인터페이스 제어 방법 및 인터페이스 제어 장치
CN101539838A (zh) * 2009-05-04 2009-09-23 深圳华为通信技术有限公司 一种触摸屏用户输入的方法和装置
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP2012212240A (ja) 2011-03-30 2012-11-01 Aisin Aw Co Ltd タッチパネルシステム
CN102799344B (zh) * 2011-05-27 2014-11-19 株式会社理光 虚拟触摸屏***以及方法
US8884928B1 (en) * 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090020157A (ko) * 2007-08-22 2009-02-26 엘지전자 주식회사 터치스크린에서 화면 줌 방법 및 이를 이용한 단말기
KR20100000070A (ko) * 2008-06-24 2010-01-06 엘지전자 주식회사 근접 터치 감지 기능을 갖는 휴대 단말기

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
깊이 인식 카메라를 이용한 멀티 터치 인터페이스(배재혁, 서울대학교 석사학위 논문. 2012.08.) *
깊이 인식 카메라를 이용한 멀티 터치 인터페이스(배재혁, 서울대학교 석사학위 논문. 2012.08.)*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200061084A (ko) 2018-11-23 2020-06-02 현대자동차주식회사 하이브리드 차량 제어 장치 및 그 방법
US10981561B2 (en) 2018-11-23 2021-04-20 Hyundai Motor Company Apparatus and method for controlling hybrid electric vehicle

Also Published As

Publication number Publication date
US20150009153A1 (en) 2015-01-08
US9235284B2 (en) 2016-01-12
KR20150005296A (ko) 2015-01-14
CN104281381A (zh) 2015-01-14
DE102013221548A1 (de) 2015-01-08
CN104281381B (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
US10001838B2 (en) Feature tracking for device input
US9746934B2 (en) Navigation approaches for multi-dimensional input
EP2839357B1 (en) Rapid gesture re-engagement
US9477315B2 (en) Information query by pointing
KR101898202B1 (ko) 필기 인식을 위한 필기 입력 가이드 장치 및 방법
CN103473012A (zh) 截屏方法、装置和终端设备
US20150355740A1 (en) Touch panel system
CN104137034A (zh) 基于手势位置的输入模式
US20150205483A1 (en) Object operation system, recording medium recorded with object operation control program, and object operation control method
US20160034027A1 (en) Optical tracking of a user-guided object for mobile platform user input
US10162501B2 (en) Terminal device, display control method, and non-transitory computer-readable recording medium
KR101500098B1 (ko) 터치스크린을 구비한 유저인터페이스 제어 장치 및 방법
US8355599B2 (en) Methods and devices for detecting changes in background of images using multiple binary images thereof and hough transformation
JP6290003B2 (ja) 電子機器及び方法
CN110737417B (zh) 一种演示设备及其标注线的显示控制方法和装置
KR20130015978A (ko) 차선 인식 장치 및 그 방법
KR101809278B1 (ko) 사용자의 움직임을 감지하여 문자를 입력하는 장치 및 방법
US20160012286A1 (en) Electronic apparatus, method and storage medium
CN103999019A (zh) 基于手势的输入命令
KR102010796B1 (ko) 터치 인식 장치 및 터치 인식 방법
US20130194186A1 (en) Pointing device having directional sensor and non-directional sensor, and pointing data input method using it
KR20230122711A (ko) 제스처 입력 기능을 구비한 증강현실 투명 표시장치 및 구현 방법
JP2009042297A (ja) 液晶表示装置
JP2017058817A (ja) 情報処理装置、プログラム及び記録媒体
KR20140016483A (ko) 터치방식 휴대용 단말기 및 그 구동 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 6