KR20090060888A - 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법 - Google Patents

적응형 온 스크린 키보드 제공 장치 및 그 제공 방법 Download PDF

Info

Publication number
KR20090060888A
KR20090060888A KR1020070127867A KR20070127867A KR20090060888A KR 20090060888 A KR20090060888 A KR 20090060888A KR 1020070127867 A KR1020070127867 A KR 1020070127867A KR 20070127867 A KR20070127867 A KR 20070127867A KR 20090060888 A KR20090060888 A KR 20090060888A
Authority
KR
South Korea
Prior art keywords
user
touch
keyboard
screen
keypad
Prior art date
Application number
KR1020070127867A
Other languages
English (en)
Other versions
KR101352994B1 (ko
Inventor
이현정
박준아
욱 장
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070127867A priority Critical patent/KR101352994B1/ko
Priority to US12/076,944 priority patent/US8345008B2/en
Publication of KR20090060888A publication Critical patent/KR20090060888A/ko
Application granted granted Critical
Publication of KR101352994B1 publication Critical patent/KR101352994B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 터치 스크린을 이용하여 제공되는 온 스크린 키보드(on-screen keyboard)에 관한 것으로, 본 발명에 따른 적응형 온 스크린 키보드 제공 장치는, 터치 스크린에 대한 사용자의 터치 동작을 감지하는 감지부와, 감지된 사용자의 터치 동작을 이용하여 사용자의 터치 패턴을 인식하는 패턴 인식부와, 인식된 사용자의 터치 패턴에 기초하여 터치 스크린을 통해 제공할 온 스크린 키보드의 키패드 배치를 재구성하는 재배치 처리부와, 재구성된 키패드의 배치 정보에 기초하여 온 스크린 키보드를 디스플레이하는 디스플레이부를 포함하여 구성됨으로써, 온 스크린 키보드의 사용자 편의성을 높일 수 있다.
온 스크린 키보드, 사용자 적응, 터치

Description

적응형 온 스크린 키보드 제공 장치 및 그 제공 방법{Apparatus and method for providing an adaptive on-screen keyboard}
본 발명은 사용자 인터페이스에 관한 것으로 특히, 터치 스크린을 이용하여 제공되는 온 스크린 키보드(on-screen keyboard)에 관련된다.
통상, 온 스크린 키보드(on-screen keyboard)는 터치 스크린과 같은 디스플레이를 겸한 입력 장치에서 스크린으로 가상의 키 입력 장치(즉, 키보드)를 제공하고 스크린을 통해서 터치된 위치의 키 값을 직접 입력을 받는 장치이다.
일반적으로, 노트북 PC, UMPC(Ultra Mobile PC), PMP, 네비게이션 시스템, 휴대폰 등 터치 스크린이 적용되어 문자입력이 이루어지는 모든 장치에 적용될 수 다. 이러한 온 스크린 키보드는 펜 기반 혹은 손가락 기반으로 입력이 이루어지도록 구성된다.
본 발명은 온 스크린 키보드의 사용자 편의성을 높이기 위한 사용자 적응형 온 스크린 키보드 제공 장치 및 방법을 제안한다.
전술한 목적을 달성하기 위하여 본 발명은, 터치 스크린에 대한 사용자의 터 치 동작을 감지하는 감지부와, 감지된 사용자의 터치 동작을 이용하여 사용자의 터치 패턴을 인식하는 패턴 인식부와, 인식된 사용자의 터치 패턴에 기초하여 터치 스크린을 통해 제공할 온 스크린 키보드의 키패드 배치를 재구성하는 재배치 처리부 및 재구성된 키패드의 배치 정보에 기초하여 온 스크린 키보드를 디스플레이하는 디스플레이부를 포함하는 적응형 온 스크린 키보드 제공 장치를 제공한다.
여기서, 감지부는 멀티 터치 센서를 이용하여 사용자의 터치 동작에 따른 적어도 하나의 접점의 위치 및 면적을 감지하는 것이 바람직하며, 패턴 인식부는 감지된 적어도 하나의 접점의 위치 및 면적을 이용하여 각 접점이 어떤 영역의 어떤 문자키에 해당하는지를 파악함으로써 사용자의 터치 패턴을 인식하는 것이 바람직하고, 재배치 처리부는 감지된 적어도 하나의 접점의 위치 및 면적을 기초로 키패드를 구성하는 복수의 키들의 위치와 크기를 조정하여 사용자의 터치 패턴에 적응적으로 키패드 배치를 재구성하는 것이 바람직하다.
또한, 본 발명에 따른 적응형 온 스크린 키보드 제공 장치는, 감지된 적어도 하나의 접점의 위치 및 면적을 포함하는 사용자의 터치 패턴과 이에 대응하는 키패드 배치 정보를 저장한 저장부를 더 포함하며, 전술한 재배치 처리부는 사용자의 터치 패턴 정보와 재구성된 키패드 배치 정보를 저장부에 저장하여 추후의 키패드 배치에 반영하는 것이 특히 바람직하다.
나아가, 감지부는 사용자에게 적어도 하나의 기준 손가락을 제시하고 제시된 적어도 하나의 기준 손가락을 터치 스크린에 접촉하도록 하여 적어도 하나 이상의 접점을 감지하거나, 또는 사용자에게 일정한 단어를 제시하고 제시된 단어를 사용 자가 입력하도록 하여 적어도 하나 이상의 접점을 감지할 수 있다.
재배치 처리부는 감지된 적어도 하나 이상의 접점의 중심점을 지나는 곡선을 구하고 곡선을 기준으로 일정한 곡선 영역에 키패드 배치를 재구성할 수 있다.
한편, 본 발명의 다른 양상에 따르면 전술한 목적은, 터치 스크린으로부터 사용자의 터치 동작을 감지하는 단계와, 감지된 사용자의 터치 동작으로부터 적어도 하나의 접점을 추출하고 적어도 하나의 접점을 이용하여 사용자의 터치 패턴을 인식하는 단계와, 인식된 사용자의 터치 패턴에 기초하여 터치 스크린을 통해 제공할 온 스크린 키보드의 키패드 배치를 재구성하는 단계와, 상기 재구성된 키패드의 배치 정보에 기초하여 온 스크린 키보드를 디스플레이하는 단계를 포함하는 적응형 온 스크린 키보드 제공 방법에 의해 달성된다.
여기서, 터치 동작을 감지하는 단계는, 사용자에게 적어도 하나의 기준 손가락을 제시하고 제시된 적어도 하나의 기준 손가락을 터치 스크린에 접촉하도록 하여 적어도 하나 이상의 접점을 감지하거나, 또는 사용자에게 일정한 단어를 제시하고 제시된 단어를 사용자가 입력하도록 하여 적어도 하나 이상의 접점을 감지할 수 있다.
터치 패턴을 인식하는 단계는, 감지된 적어도 하나의 접점의 위치 및 면적을 이용하여 각 접점이 어떤 영역의 어떤 문자키에 해당하는지를 파악함으로써 사용자의 터치 패턴을 인식하는 것이 바람직하며,
키패드 배치를 재구성하는 단계는, 감지된 적어도 하나의 접점의 위치 및 면적을 기초로 키패드를 구성하는 복수의 키들의 위치와 크기를 조정하여 사용자의 터치 패턴에 적응적으로 키패드 배치를 재구성하는 것이 바람직하다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 멀티 터치 센서(multi-touch sensor) 기반의 온 스크린 키보드에 관한 것이다. 일반적으로 온 스크린 키보드는 터치 스크린 화면에 키 패드 이미지를 제공하고 제공된 키패드 이미지상에서 사용자가 특정 키 영역을 터치함으로써 문자를 입력받는다. 이때, 키 영역을 터치하기 위하여 터치 스크린의 방식이나 키 영역의 크기에 따라 펜 형태의 스타일러스(stylus)이나 손가락을 이용하게 된다.
스타일러스를 이용하여 입력하는 경우, 펜 팁(Pen tip)은 상대적으로 작아서 그 크기에 따라 특정 키 영역을 터치하는 데 차이가 없다. 그러나, 손가락을 이용하여 입력하는 경우에는, 입력하는 사용자의 손가락의 크기나 손의 크기에 상관없이 일정한 키 패드 이미지를 제공하기 때문에 손가락의 크기 등에 따라 온 스크린 키보드의 에러율이나 사용 편의성에 차이가 발생하게 된다.
전술한 문제는 사용자의 입장에서는 해당 기기를 선택하는 기준이 될 수 있 으므로, 본 발명의 실시예에서는 사용자의 손가락 크기나 사용자가 편하게 느끼는 키패드 위치를 고려하여 사용자 적합한 적응형 온 스크린 키보드를 제공하는 장치 및 방법을 제안하고자 한다.
실제로 PC 상에서 물리적인 QWERTY 키보드를 사용할 때, “f”, “j” 위치가 키보드에 손을 얹을 때 기준 위치가 되고 해당 키에는 별도의 표시가 되어 있다. 따라서, 키보드에 익숙한 사람들은 키보드의 자판을 보지 않고도 “f”,”j”의 촉각적인 느낌으로 기준 위치를 쉽게 찾을 수 있다. 이러한 점에 착안하여 온 스크린 키보드를 사용할 때에도 사용자가 터치한 첫 접점들을 기준으로 키패드를 배치하여, PC의 물리적인 QWERTY 키보드처럼 온 스크린 키보드의 사용 편의성을 높일 수 있다.
즉, 사용자가 온 스크린 키보드를 이용하여 문자를 입력할 때, 화면을 보지 않고 스크린에 손을 얹으면 손 얹은 위치를 기준으로 온 스크린 키 패드가 배치되고, 이러한 사용자에 적응적인 키 패드를 통해서 사용자의 손가락 크기나 손 모양에 맞추어 편리하게 문자를 입력할 수 있게 된다.
본 발명의 일 실시예에 따른 사용자 적응형 온 스크린 키보드를 제공하는 장치는, 사용자가 문자 입력을 위해 화면에 손가락을 터치하면, 손가락의 위치 및 접점의 넓이를 인식하고, 인식된 손가락의 위치에 맞게 키들의 위치를 정하고, 손가락의 접촉 넓이에 맞는 크기의 키로 재구성된다. 또한, 사용자가 본 발명의 일 실시예에 따른 적응형 온 스크린 키보드 제공 장치를 사용함에 따라 사용자의 문자 입력 관련 키 터치 패턴(위치, 크기)을 저장하여 추후의 키보드 배치에 반영한다.
보다 구체적으로, 도 1은 본 발명에 따른 적응형 온 스크린 키보드 제공 장치의 구성의 일 예이다.
도 1을 참조하면, 본 발명에 따른 적응형 온 스크린 키보드 제공 장치는, 터치 감지부(11), 터치 패턴 인식부(12), 키보드 재배치 처리부(14) 및 키보드 디스플레이부(15)를 구비한다. 또한, 사용자 입력 패턴 데이터베이스(16)를 더 포함할 수 있다.
터치 감지부(11)는 터치 스크린에 대한 사용자의 터치 동작을 감지한다. 터치 감지부(11)는 멀티 터치 센서를 이용하여 사용자의 터치 동작에 따른 적어도 하나의 접점의 위치 및 면적을 감지한다. 이때 사용자에게 적어도 하나의 기준 손가락을 제시하고 제시된 적어도 하나의 기준 손가락을 터치 스크린에 접촉하도록 하여 적어도 하나 이상의 접점을 감지하거나, 또는 사용자에게 일정한 단어를 제시하고 제시된 단어를 사용자가 입력하도록 하여 적어도 하나 이상의 접점을 감지할 수 있다.
예를 들어, 첫번 째 사용자의 손가락 위치의 선정을 위해서 특정 단어를 제시하여, 이를 사용자가 입력하게 함으로써 이를 기준으로 키보드를 배치할 수 있다. 사용자가 제시된 단어를 키보드 영역의 화면을 보지 않고, 물리적인 qwerty 키보드가 화면에 있다고 생각하고 예전의 습관대로 화면에 문자를 입력하면, 입력된 위치를 기준으로 키보드를 배치하고 사용자가 그 상태에서 문자 입력을 수행할 수 있게 되는 것이다.
터치 패턴 인식부(12)는 감지된 사용자의 터치 동작을 이용하여 사용자의 터 치 패턴을 인식한다. 터치 패턴 인식부(12)는 감지된 적어도 하나의 접점의 위치 및 면적을 이용하여 각 접점이 어떤 영역의 어떤 문자키에 해당하는지를 파악함으로써 사용자의 터치 패턴을 인식한다.
키보드 재배치 처리부(14)는 인식된 사용자의 터치 패턴에 기초하여 터치 스크린을 통해 제공되는 온 스크린 키보드의 키패드 배치를 재구성한다. 즉, 키보드 재배치 처리부(14)는 감지된 적어도 하나의 접점의 위치 및 면적을 기초로 키패드를 구성하는 복수의 키들의 위치와 크기를 조정하여 사용자의 터치 패턴에 적응적으로 키패드 배치를 재구성한다.
본 발명의 다른 실시예로서, 키보드 재배치 처리부(14)는 감지된 적어도 하나 이상의 접점의 중심점을 지나는 곡선을 구하고 곡선을 기준으로 일정한 곡선 영역에 키패드 배치를 재구성할 수 있다.
키보드 디스플레이부(15)는 재구성된 키패드의 배치 정보에 기초하여 온 스크린 키보드를 디스플레이한다.
또한, 본 발명에 따른 적응형 온 스크린 키보드 제공 장치는, 감지된 적어도 하나의 접점의 위치 및 면적을 포함하는 사용자의 터치 패턴과 이에 대응하는 키패드 배치 정보를 저장한 사용자 입력 패턴 데이터베이스(16)를 더 포함한다. 터치 패턴 인식부(12)를 통해 인식된 사용자의 터치 패턴을 키보드 재배치 처리부(14)에 의해 재구성된 키패드 배치 정보와 함께 저장한다. 이는 사용자의 키 입력에 대한 전체 패턴을 얻어내기 위한 것으로, 이 경우 키보드 재배치 처리부(14)는 사용자 입력 패턴 데이터 베이스(16)로부터의 사용자 터치 패턴 정보에 따라 사용자의 터 치 패턴에 따른 키패드를 재구성할 수 있게 된다. 또한, 키보드 재배치 처리부(14)는 사용자의 터치 패턴 정보와 재구성된 키패드 배치 정보를 사용자 입력 패턴 데이터베이스(16)에 저장하여 추후의 키패드 배치에 반영할 수 있다.
본 발명의 실시예에 따른 사용자 적응적인 온 스크린 키보드를 제공하는 장치는 사용자가 스크린에 문자 입력 자세를 취하면 터치 감지부(11)를 통해 터치된 접점의 위치와 면적을 감지한다. 이때, 터치된 접점의 위치 및 면적을 감지하는 방법은 도 2a 및 도 2b에서 예시한다.
도 2 는 본 발명의 실시예에서 입력되는 손가락 터치 신호로부터 손가락의 형태를 얻어내기 위한 예시도이다.
도 2a에 도시된 바와 같이, 터치 감지부(11)는 터치 스크린(20)에 사용자의 손가락 입력(21)이 있는 경우, 도 2b에 도시된 바와 같이 접촉 면(22)으로부터 x축과 y축 상에서의 접점의 위치 및 면적 값을 얻는다.
터치 패턴 인식부(12)는 감지된 접점이 어떤 영역의 어떤 키에 해당하는지를 파악한다. 이 경우 접촉면(22)이 여러 영역의 입력키에 걸쳐서 있는 상황이 발생하게 된다. 이러한 상황에서 어떤 입력키로 파악할 것인지에 대해서는 다양한 태양이 있을 수 있으나, 본 발명의 일 실시예는 설명의 편의를 위하여 그에 대한 상세한 알고리즘에 대해서는 고려하지 않고, 단지, 접촉면(22)의 가장 많은 영역을 포함하는 입력키를 그 접점값으로 하는 경우를 예시하여 설명한다.
키보드 재배치 처리부(14)는 접점의 위치 및 면적에 맞추어 입력키들이 배치될 수 있도록 입력키들의 좌표, 놓이는 방향, 면적 등을 계산하여 키패드를 재구성 한다. 키보드 디스플레이부(15)는 키패드 배치 정보에 따라 적응적으로 입력키 이미지를 디스플레이한다.
전술한 터치 패턴 인식부(12)와 키보드 재배치 처리부(14)에서 생성한 사용자 입력 패턴 정보나 키패드 배치 정보는 사용자 입력 패턴 데이터베이스(16)에 저장되어 추후의 키 배치를 위한 참고 정보로 사용된다.
이상에서 살펴본 본 발명의 일 실시예에 따른 적응형 온 스크린 키보드 제공 장치의 구성을 바탕으로 그 동작을 구체적으로 살펴본다.
우선, 터치 감지부(11)는 터치 스크린(20)에 대하여 적어도 하나 이상의 사용자 손가락의 접점 위치 및 면적을 감지한다.
일반적으로, 1개 접점을 가진 터치 스크린의 경우, 터치가 발생한 영역의 위치 P(x, y)의 값을 제공하고, 터치 영역의 면적 값은 x, y 축 기준으로 신호값의 변화 모양을 통해 얻을 수 있다. 즉, 도 2b에서 x축, y축 각각에 대한 신호값 중 접점의 발생으로 높은 값을 지니는 접촉면(22)의 변 길이를 얻어, 이 길이로 접촉면(22)의 면적 A(lx ly)를 산출한다.
한편, 복수의 접점을 가진 터치 스크린의 경우, 접점들의 위치 값(x, y)들을 제공한다. 접촉된 면적은 접점들을 인접한 것끼리 그룹핑하여 얻을 수 있다. 터치 감지부(11)는 처음 사용의 일정 시간 동안 발생한 터치 접점들을 인식하여 각 손가락의 위치 및 접촉 면적을 계산한다. 그리고 일정 시간 내에 입력된 좌표값들을 인접되어 있는 것끼리 그룹을 만들고, 그룹을 이룬 접점들에 대해서 중심점 및 면적 을 계산한다. 이렇게 하여 각 입력키의 기준 위치가 되는 중심점 및 그 접촉면의 면적을 얻을 수 있다.
이와 같이, 터치 감지부(11)는 터치 스크린과 입력을 위한 도구(예컨대, 손가락)의 적어도 하나 이상의 접점들의 좌표값들과 그 접촉면의 면적 데이터를 터치 패턴 인식부(12)에 제공한다.
한편, 터치 패턴 인식부(12)는 터치 감지부(11)로부터 입력된 터치 신호 값(예를 들면, 터치스크린과 입력을 위한 도구의 접점들의 좌표값(들)과 그 접촉면의 면적 데이터)을 기준으로 접촉면의 위치 및 손가락 크기를 계산한다. 즉, 터치된 영역이 어떤 손가락에 의한 접촉 영역인지 판단하여 이 정보를 키보드 재배치 처리부(14))에 전달한다. 또한, 터치 패턴 인식부(12)는 터치 감지부(11)로부터 입력되는 모든 터치 신호의 값을 인식하여, 문자 입력 신호로 제공한다. 이와 같이 문자 입력 신호로 제공하기 위해서, 키보드 재배치 처리부(14)에서 처리된 재배치 정보를 사용자 터치 패턴 데이터베이스(16)로부터 전달받게 된다.
도 3a 내지 도 3c는 본 발명에 따라 감지된 접점의 수에 따른 적응형 온 스크린 키보드의 실시예들을 도시한다. 터치된 영역이 어떤 손가락에 의한 접촉 영역인지를 판단하는 과정을 예시하면 다음과 같다.
도 3a는 한 개의 접점(1-point)을 가진 터치 스크린의 경우를 예시한다. 하단 좌측은 접점의 위치와 면적을 반영하여 적응적으로 재구성한 키패드 배치를 제공하는 예를 도시하며, 하단 우측은 접점의 위치만을 고려하여 기본 키패드 배치를 제공하는 예를 도시한다.
(1) 1개 접점을 가진 터치 스크린의 키보드 기준 위치 인식 알고리즘
도 3a를 참조하면, 터치 패턴 인식부(12)는 첫번째 터치 접점을 키보드 재배치의 기준이 되는 검지의 위치 값으로 제공한다. 이 접점이 터치 스크린의 좌/우 영역으로 양분되었을 경우, 왼쪽 영역에 있으면 왼손의 검지(“f”)로 인식하고, 오른쪽 영역에 있으면 오른손 검지(“j”)로 인식한다.
이때, 키보드 기준위치를 판단하는 알고리즘은 다음과 같이 표현할 수 있다.
P(Xp, Yp) :입력으로 들어온 접점의 좌표 스크린 좌표계-왼쪽 하단을 (0.0) If Xp< Screen_Width/2 //왼쪽 영역의 터치 P는 “f” 키의 위치로 설정 Else //오른쪽 영역의 터치 P는 “j” 키의 위치로 설정
(2) 2개 접점을 가진 터치 스크린의 키보드 기준 위치 인식 알고리즘
한편, 다른 실시예로서, 도 3b는 두 개의 접점을 가진(2-point) 터치 스크린의 경우를 예시하며, 두 손가락의 검지를 키보드의 위치의 기준 좌표로 설정하여 키패드 배치를 재구성할 수 있다.
이때, 키보드 기준위치를 판단하는 알고리즘은 다음과 같이 표현할 수 있다.
Pn(Xpn, Ypn) : n번째 입력으로 들어온 접점의 좌표 If Xp1 < Xp2 P1(Xp1, Yp1)를 “f” 키의 위치로 세팅 P2(Xp2, Yp2)를 “j” 키의 위치로 세팅 else P1(Xp1, Yp1)를 “j” 키의 위치로 세팅 P2(Xp2, Yp2)를 “f” 키의 위치로 세팅
(3) 순차적으로 접점을 입력받는 경우의 키보드 기준 위치 인식 알고리즘
한편, 본 발명의 또 다른 실시예로서, 사용자 설정에 따라서 각 손가락의 위치를 한 접점씩 순차적으로 입력받을 수 있다. 예를 들어 왼손의 새끼 손가락부터 스크린에 접촉한 후, 하나씩 손가락을 바꾸면서 엄지 손가락까지 입력하고, 마찬가지로, 오른손도 실시하여 10개의 손가락의 위치를 모두 등록할 수 있다.
이때, 키보드 기준위치를 판단하는 알고리즘은 다음과 같이 표현할 수 있다.
Pn(Xpn, Ypn) : n번째 입력으로 들어온 접점의 좌표 i=0,1,2,3,…, 8,9에 해당하는 키는 a,s,d,f,g,h,j,,k,l,;임 [10손가락의 좌표 세팅의 경우] For( i=0; i<10 ; i++) i번째 손가락 터치 입력 요청 If Pi(Xpi, Ypi) 터치 입력 발생 Pi(Xpi, Ypi) 를 i번째 손가락 키로 키의 위치로 세팅 i번째 손가락 터치 off 발생 확인 후 다음 진행
(4) 복수의 접점을 가진 터치 스크린의 키보드 기준 위치 인식 알고리즘
한편, 본 발명의 다른 실시예로서, 도 3c는 복수의 접점(multi-point)을 가진 터치 스크린의 경우를 예시한다. 터치 패턴 인식부(12)는 처음으로 발생한 터치 접점들(사용자가 손가락을 얹어 놓고 n초 동안 움직이지 않을 때까지 첫 터치 접점이 발생한 후에, 일정시간 동안 손가락을 얹어 놓음)을 인식하여 각 접점의 위치 및 면적을 계산한다. 계산된 정보는 열 손가락에 해당하는 기준 키의 위치를 결정하는데 사용된다 (예컨대 a,s,d,f,g,h,j,k,l... 와 같다.).
보다 구체적으로 터치 패턴 인식부(12)는 터치 감지부(11)로부터 복수의 접점의 위치 및 면적에 대한 정보를 전달받아, 먼저 터치 스크린 전체에서 각 그룹의 중심점의 위치를 비교하여 해당 손가락과 매칭한다. 다음으로 터치 패턴 인식부(12)는 손가락 접촉 면적과 해당 손가락의 위치를 기준으로 키패드 배치 정보를 생성한다. 이때, 사용자 입력 패턴 데이터베이스(16)에 저장되어 있는 사용자 손가락의 터치 면적에 따른 적합한 키 크기 정보를 참조하여 사용자의 손가락 크기에 맞는 적응형 온 스크린 키보드를 제공할 수 있다.
이후 발생하는 접점의 정보는 키패드 배치 정보를 기준으로 어떤 키의 입력인지를 판별한다. 키패드 배치 정보는 사용자 입력 패턴 데이터베이스B(16)에 저장될 수 있다.
이때, 키보드 기준위치를 인식하는 알고리즘은 다음과 같이 표현할 수 있다.
Pn(Xpn, Ypn) : 각 터치 그룹의 중심점 좌표 [10개의 터치 그룹의 경우] Pi(Xpi, Ypi)를 x값이 증가하는 순서로 sorting --> P’i(Xpi, Ypi) For( i=0; i<10 ; i++) P’i(Xpi, Ypi)를 i번째 손가락 키로 키의 위치로 setting [10개 미만의 터치 그룹의 경우] Pi(Xpi, Ypi)를 x값이 증가하는 순서로 sorting --> P’i(Xpi, Ypi) 사용자 패턴 DB에 기본 키보드 패턴 fetch 키보드 패턴과, P’i(Xpi, Ypi) 들의 위치를 비교하여 키 위치 setting
이상에서 상술한 바와 같이 터치 패턴 인식부(12)에서 키보드 기준위치를 인식하기 위한 접점들의 인식과정이 끝나면, 키보드 재배치 처리부(14)에서 키패드의 배치가 결정되고, 키패드 배치 정보를 기준으로 다음으로 들어오는 접점에 대해서 어떤 문자가 입력되었는지를 인식할 수 있다. 즉, 사용자가 문자 입력을 실시함에 따라 터치 감지부(11)에서 어떤 면적으로 입력되었는지를 알고 그 면적의 중심점을 얻어 키 배치 좌표와 비교하고, 해당 키를 인식한다. 각각의 키 입력이 발생할 때마다 입력된 키 좌표는 사용자 입력 패턴 데이터베이스(16) 에 저장하여 추후에 키보드 재배치 계산에 반영할 수 있다.
한편, 사용자 입력 패턴 데이터베이스(16)는 손가락 접촉 크기별 적합한 키의 크기(size) 범위, 사용자의 입력에 따른 각 문자별 터치 입력 접점의 위치 좌표 및 각 문자 키 위치를 저장한 입력 위치들의 평균 값, 면적을 고려하지 않고 접점의 기준위치만을 고려한 기본키 배치 정보 등 적응적 키보드 제공을 위하여 필요한 키패드의 배치 정보를 저장할 수 있다.
여기서, 사용자의 손가락 접촉 크기별로 적합한 키의 크기 범위는 사전에 여러 사람들의 손가락 크기에 대한 정보를 수집하고 각각의 사람이 스크린에 접촉했을 때의 접촉 면적 정보에 기초하여 정의할 수 있다. 수집된 접촉 면적의 크기를 상/중/하, 혹은 n단계의 크기 레벨로 분류하여 각각의 경우에 가장 적합한 키의 크기 범위를 정의하고 이를 사용자 입력 패턴 데이터베이스(16)에 저장할 수 있다.
또한, 각각의 손가락 접촉 크기별로 입력키의 최소, 최대 크기를 미리 정의해 놓을 수 있다. 이때, 입력 키의 크기는 디스플레이 화면의 크기를 고려해서 결정되며, 접촉 면적이 너무 크거나 작은 경우에는 키의 크기를 미리 정의된 최소 또는 최대 크기로 설정할 수 있다. 또한 키패드가 일정한 범위를 벗어나는 경우에는 기본 키패드 배치 정보로 정의된 디폴트(default) 키보드를 제공할 수 있다.
한편, 키보드 재배치 처리부(14)는 손가락 접점의 위치 및 면적에 대한 인식 결과에 따라, 그 면적에 해당하는 크기의 키들을 손가락 위치에 맞게 배치한다. 이때, 사용자 입력 패턴 데이터베이스(16)에 저장된 키 패드 배치 정보를 이용할 수 있다. 또한 접점의 위치 및 면적에 대한 인식 결과를 기초로 각 입력키들을 중심 좌표를 기준으로 해당 접촉면적에 맞는 입력키를 배치한다. 만약 시작 위치에서 키 패드 배치가 불가능하면 이를 표시하거나, 미리 설정된 기본 키보드를 제공한다.
보다 구체적으로 각각의 터치 스크린 종류에 따른 키패드 배치의 실시예들을 살펴보면 다음과 같다.
우선, 1개의 접점을 가진 터치 스크린의 경우(도 3a 참조), 왼손/오른손을 구별하여 한 손의 검지 위치를 기준으로 키 패드의 위치를 정한다. 즉, 배치되는 키보드의 패턴은 사용자 입력 패턴 데이터베이스(16)에 저장된 키보드 패턴이나 디폴트로 지정된 키보드의 패턴을 읽어들여(fetch) 지정된 접점의 위치에 “f”또는”j”가 놓이도록 한다. 그 지점을 중심으로 키 패드 전체가 화면에 보이지 않으면, 키보드 배치 불가능이라 판단한다.
한편, 2개의 접점을 가진 터치 스크린의 경우(도 3b 참조), “f”,”j”사이의 거리(lfj)가 “g”, “h”가 놓일 영역으로 부족하면 키보드 배치 불가능이라 판단하고, 그렇지 않으면 c(lfj-key_width)/2 (c는 상수) 값을 “f”,”j” 영역 사이의 키들(“g”,”h”,”y”,”b”)의 크기로 적용하여 키 배치에 적용한다. 나머지는 1개의 접점을 가진 터치스크린의 경우와 같은 방법으로 계산된다.
한편, 복수의 접점을 가진 터치 스크린의 경우, 터치 패턴 인식부(12)에서 얻은 좌표들을 기준으로 키패드 배치를 정한다. 즉, 10 개의 위치 좌표를 기준으로 좌표를 계산한다. 우선 기준이 되는 “a”,”s”,”d”,”f”,”g”,”h”,”j”,”k”,”l”,”;”의 10개의 키 위치를 잡는 방법은 다음과 같다.
① 각 점들 사이의 간격이 c*key_width(c는 상수) 이상인지 체크하고 이를 만족하지 않으면 배치 오류 메시지를 전송한다.
② 각 키의 중심점을 기준으로 키를 배치한다. 만약 인접된 두 점 사이의 간 격이 키 간격보다 큰 경우, k(l-key_width)/2 (l은 인접된 두 점의 거리, k는 상수)의 길이만큼 너비를 확대하여 배치한다.
③ 겹쳐지는 영역이 일정 한도를 넘는지 체크해서 해당 영역이 일정 한도를 넘지 않도록 배치한다.
도 4는 본 발명의 다른 실시예로서 곡선을 이용한 키패드 배치의 예이다. 즉, ②와 다른 실시예로서 도 4에 도시된 바와 같이, 각 중심점을 지나는 곡선(예컨대 spline, Bezier 등의 곡선 알고리즘 사용)을 구하고, 이를 y축으로 ∠y, -∠y씩 변환하여 두 곡선의 영역을 만들고, 각각의 키의 중심점에서 key_width와 인접한 점 사이의 간격을 기준으로 키 영역을 나눌 수 있다. 그 밖의 나머지 키들은, 중심 10개의 키가 배치된 후 각각의 키에 대한 위치 관계를 고려하여 자동으로 배치된다. 이를 위하여 사용자 입력 패턴 데이터베이스(16)에 각각의 키별 상대 위치 관계를 저장해 놓고 이를 이용할 수도 있다.
이와 같은 키보드 배치를 위한 과정이 종료되면, 재구성된 키패드의 배치 정보를 사용자 입력 패턴 데이터베이스(16)에 저장한다. 이는 터치 패턴 인식부(12)에서 문자 입력에 대한 키를 분별하는 정보로 사용될 수 있다.
또한, 재배치된 키보드를 사용함에 따라, 사용자가 입력하는 접점의 위치를 사용자 입력 패턴 데이터베이스(16)에 기록하고, 그 기록된 데이터를 기반으로 추후에 사용자의 키보드 배치를 재계산할 때, 이 정보를 통해 각각의 키에 대한 위치 관계를 결정할 수 있다. 이렇게 되면, 사용자가 많이 입력하는 위치를 기준으로 그 키가 위치될 확률이 높아지므로 문자입력의 정확도를 높일 수 있다.
이제 키보드 디스플레이부(15)는 키보드 재배치 처리부(14)로부터 받은 키패드 배치 정보에 따라 온 스크린 키보드를 디스플레이한다. 이때, 각각의 키에 대한 위치 및 크기 정보를 이용해서 배치한다. 만약, 키보드 배치가 불가능할 경우, 이를 화면에 표시하거나 디폴트로 정의된 키보드를 표시한다.
또한, 키보드 디스플레이부(15)는 온 스크린 키보드의 사용 편의성을 높이기 위해서 사용자가 키를 입력할 때 해당 키를 다른 키들과 구별하게 하는 피드백(feedback)을 사용자에게 제공할 수 있다.
도 5a 내지 도 5d는 본 발명에 따라 적응형 온 스크린 키보드를 제공하는 방법을 설명하기 위한 일 실시예들이다. 도시된 바와 같이 사용자에게 피드백을 제공하여 사용자에게 적응적인 온 스크린 키보드를 제공할 수 있다.
이상에서 상술한 적응형 온 스크린 키보드 제공 장치의 동작을 정리하며, 도 6과 같다. 도 6은 본 발명의 일 실시예에 따른 적응형 온 스크린 키보드 제공 방법을 도시한 흐름도이다.
도 6을 참조하면, 사용자 적응적인 온 스크린 키보드를 제공하는 방법은, 문자 입력 시스템이 실행된 후(601 단계), 터치 입력이 있으면(602 단계) 터치 접점과 그 터치 영역의 면적을 인식한다(603 단계). 그리고 인식된 터치 접점과 그 터치 영역의 면적을 이용해서 키패드 배치 정보를 계산한다(604 단계).
계산 결과 키보드의 배치가 가능한 경우(605 단계)에는 해당 키보드를 디스플레이하고(607 단계), 계산 결과 키보드의 배치가 불가능한 경우(605 단계)에는 재시도 요청을 하고(606 단계) 602 단계로 진행한다.
한편, 키패드 재배치가 이루어진 후(607 단계), 문자 입력이 있는 경우(608 단계 및 609 단계), 예를 들면, 문자 입력 창에 마우스 커서를 올려놓으면 자동으로 문자 입력용 온 스크린 프로그램이 실행되고 사용자에게 키보드 위치 지정을 요청한다(도 5a 참조). 이때, 요청에 대해서 응답한 사용자의 손가락의 위치가 화면 안에 키보드를 배치할 수 없는 값이면 오류 메시지를 사용자에게 표시한다. 그리고 요청에 대해서 응답한 사용자의 손가락의 위치가 화면 안에 키보드를 배치할 수 있는 경우에는 사용자의 손가락 위치에 맞는 키보드 배치를 계산하여(610 단계) 이를 화면에 디스플레이할 수 있게 된다(611 단계).
이상에서 상세히 살펴본 바와 같이, 본 발명의 일 실시예에 따르면, 온 스크린 키보드의 사용자 편의성을 높이기 위한 사용자 적응형 온 스크린 키보드 제공 장치 및 방법이 제안된다. 즉, 사용자가 원하는 자세에 맞추어 키보드가 적응적으로 재배치됨으로써 사용자의 개성을 존중하고 사용 편의성을 향상시킬 수 있다.
또한, 사용자의 손가락 접촉 크기에 맞는 터치 기반의 입력 키의 크기가 자동으로 제안되고, 사용자의 사용 습관을 기억하여 사용자에게 적합한 위치로 키의 배치가 변형될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위 에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명에 따른 적응형 온 스크린 키보드 제공 장치의 구성의 일 예,
도 2a 및 도 2b는 본 발명에 따라 사용자 터치 패턴을 추출하는 방법의 일 예를 설명하기 위한 참고도,
도 3a 내지 도 3c는 본 발명에 따라 감지된 접점의 수에 따른 적응형 온 스크린 키보드의 실시예들,
도 4는 본 발명의 다른 실시예로서 곡선을 이용한 키패드 배치의 예,
도 5a 내지 도 5d는 본 발명에 따라 적응형 온 스크린 키보드를 제공하는 방법을 설명하기 위한 일 실시예,
도 6은 본 발명의 일 실시예에 따른 적응형 온 스크린 키보드 제공 방법을
도시한 흐름도이다.

Claims (13)

  1. 터치 스크린에 대한 사용자의 터치 동작을 감지하는 감지부;
    상기 감지된 사용자의 터치 동작을 이용하여 사용자의 터치 패턴을 인식하는 패턴 인식부;
    상기 인식된 사용자의 터치 패턴에 기초하여 터치 스크린을 통해 제공할 온 스크린 키보드의 키패드 배치를 재구성하는 재배치 처리부; 및
    상기 재구성된 키패드의 배치 정보에 기초하여 상기 온 스크린 키보드를 디스플레이하는 디스플레이부를 포함하는 적응형 온 스크린 키보드 제공 장치.
  2. 제1항에 있어서,
    상기 감지부는 멀티 터치 센서를 이용하여 사용자의 터치 동작에 따른 적어도 하나의 접점의 위치 및 면적을 감지하는 적응형 온 스크린 키보드 제공 장치.
  3. 제2항에 있어서,
    상기 패턴 인식부는 상기 감지된 적어도 하나의 접점의 위치 및 면적을 이용하여 각 접점이 어떤 영역의 어떤 문자키에 해당하는지를 파악함으로써 상기 사용자의 터치 패턴을 인식하는 적응형 온 스크린 키보드 제공 장치.
  4. 제2항에 있어서,
    상기 재배치 처리부는 상기 감지된 적어도 하나의 접점의 위치 및 면적을 기초로 키패드를 구성하는 복수의 키들의 위치와 크기를 조정하여 상기 사용자의 터치 패턴에 적응적으로 키패드 배치를 재구성하는 적응형 온 스크린 키보드 제공 장치.
  5. 제2항에 있어서,
    상기 감지된 적어도 하나의 접점의 위치 및 면적을 포함하는 사용자의 터치 패턴과 이에 대응하는 키패드 배치 정보를 저장한 저장부를 더 포함하며,
    상기 재배치 처리부는 상기 사용자의 터치 패턴 정보와 상기 재구성된 키패드 배치 정보를 상기 저장부에 저장하여 추후의 키패드 배치에 반영하는 적응형 온 스크린 키보드 제공 장치.
  6. 제1항에 있어서,
    상기 감지부는 사용자에게 적어도 하나의 기준 손가락을 제시하고 상기 제시된 적어도 하나의 기준 손가락을 터치 스크린에 접촉하도록 하여 적어도 하나 이상의 접점을 감지하는 적응형 온 스크린 키보드 제공 장치.
  7. 제1항에 있어서,
    상기 감지부는 사용자에게 일정한 단어를 제시하고 상기 제시된 단어를 사용자가 입력하도록 하여 적어도 하나 이상의 접점을 감지하는 적응형 온 스크린 키보 드 제공 장치.
  8. 제1항에 있어서,
    상기 재배치 처리부는 상기 감지된 적어도 하나 이상의 접점의 중심점을 지나는 곡선을 구하고 상기 곡선을 기준으로 일정한 곡선 영역에 키패드 배치를 재구성하는 적응형 온 스크린 키보드 제공 장치.
  9. 터치 스크린으로부터 사용자의 터치 동작을 감지하는 단계;
    상기 감지된 사용자의 터치 동작으로부터 적어도 하나의 접점을 추출하고 상기 적어도 하나의 접점을 이용하여 사용자의 터치 패턴을 인식하는 단계;
    상기 인식된 사용자의 터치 패턴에 기초하여 상기 터치 스크린을 통해 제공할 온 스크린 키보드의 키패드 배치를 재구성하는 단계; 및
    상기 재구성된 키패드의 배치 정보에 기초하여 상기 온 스크린 키보드를 디스플레이하는 단계를 포함하는 적응형 온 스크린 키보드 제공 방법.
  10. 제9항에 있어서,
    상기 터치 동작을 감지하는 단계는, 사용자에게 적어도 하나의 기준 손가락을 제시하고 상기 제시된 적어도 하나의 기준 손가락을 터치 스크린에 접촉하도록 하여 적어도 하나 이상의 접점을 감지하는 적응형 온 스크린 키보드 제공 방법.
  11. 제9항에 있어서,
    상기 터치 동작을 감지하는 단계는, 사용자에게 일정한 단어를 제시하고 상기 제시된 단어를 사용자가 입력하도록 하여 적어도 하나 이상의 접점을 감지하는 적응형 온 스크린 키보드 제공 방법.
  12. 제9항에 있어서,
    상기 터치 패턴을 인식하는 단계는, 상기 감지된 적어도 하나의 접점의 위치 및 면적을 이용하여 각 접점이 어떤 영역의 어떤 문자키에 해당하는지를 파악함으로써 상기 사용자의 터치 패턴을 인식하는 적응형 온 스크린 키보드 제공 방법.
  13. 제9항에 있어서,
    상기 키패드 배치를 재구성하는 단계는, 상기 감지된 적어도 하나의 접점의 위치 및 면적을 기초로 키패드를 구성하는 복수의 키들의 위치와 크기를 조정하여 상기 사용자의 터치 패턴에 적응적으로 키패드 배치를 재구성하는 적응형 온 스크린 키보드 제공 방법.
KR1020070127867A 2007-12-10 2007-12-10 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법 KR101352994B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070127867A KR101352994B1 (ko) 2007-12-10 2007-12-10 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US12/076,944 US8345008B2 (en) 2007-12-10 2008-03-25 Apparatus and method for providing adaptive on-screen keyboard

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070127867A KR101352994B1 (ko) 2007-12-10 2007-12-10 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법

Publications (2)

Publication Number Publication Date
KR20090060888A true KR20090060888A (ko) 2009-06-15
KR101352994B1 KR101352994B1 (ko) 2014-01-21

Family

ID=40721127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070127867A KR101352994B1 (ko) 2007-12-10 2007-12-10 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법

Country Status (2)

Country Link
US (1) US8345008B2 (ko)
KR (1) KR101352994B1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011078632A2 (ko) * 2009-12-26 2011-06-30 Kim Ki Ju 터치스크린 상에서 터치 버튼의 멀티터치 인식방법, 문자 입력 방법 및 객체 변형 방법
KR20110128536A (ko) * 2010-05-24 2011-11-30 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101115467B1 (ko) * 2009-09-30 2012-02-24 주식회사 팬택 가상 키보드 제공 단말 및 그 방법
KR101147730B1 (ko) * 2011-08-01 2012-05-25 주식회사 팬택 가상 키보드 제공 단말 및 그 방법
KR101364881B1 (ko) * 2009-06-16 2014-02-19 인텔 코오퍼레이션 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
KR101411569B1 (ko) * 2013-06-05 2014-06-27 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법
US8830198B2 (en) 2010-09-13 2014-09-09 Zte Corporation Method and device for dynamically generating touch keyboard
KR20140116785A (ko) * 2010-11-30 2014-10-06 클린키, 인크. 동적으로 위치되는 온스크린 키보드
US9069390B2 (en) 2008-09-19 2015-06-30 Typesoft Technologies, Inc. Systems and methods for monitoring surface sanitation
US9104260B2 (en) 2012-04-10 2015-08-11 Typesoft Technologies, Inc. Systems and methods for detecting a press on a touch-sensitive surface
US9110590B2 (en) 2007-09-19 2015-08-18 Typesoft Technologies, Inc. Dynamically located onscreen keyboard
US9195818B2 (en) 2009-06-16 2015-11-24 Intel Corporation Adaptive virtual keyboard for handheld device
US9454270B2 (en) 2008-09-19 2016-09-27 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US9489086B1 (en) 2013-04-29 2016-11-08 Apple Inc. Finger hover detection for improved typing
US10126942B2 (en) 2007-09-19 2018-11-13 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8018440B2 (en) 2005-12-30 2011-09-13 Microsoft Corporation Unintentional touch rejection
US20110102335A1 (en) * 2008-06-02 2011-05-05 Kensuke Miyamura Input device, input method, program, and storage medium
KR101061512B1 (ko) * 2008-07-25 2011-09-02 삼성전자주식회사 터치 스크린을 구비한 휴대 단말기 및 그 휴대 단말기에서키패드 설정 방법
WO2010029599A1 (en) * 2008-09-11 2010-03-18 Thomson Licensing Touch panel device
JP4964210B2 (ja) * 2008-09-26 2012-06-27 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置の制御方法及びプログラム
US8284170B2 (en) 2008-09-30 2012-10-09 Apple Inc. Touch screen device, method, and graphical user interface for moving on-screen objects without using a cursor
US8704775B2 (en) * 2008-11-11 2014-04-22 Adobe Systems Incorporated Biometric adjustments for touchscreens
US9041660B2 (en) * 2008-12-09 2015-05-26 Microsoft Technology Licensing, Llc Soft keyboard control
US20100156793A1 (en) * 2008-12-19 2010-06-24 Ozias Orin M System and Method For An Information Handling System Touchscreen Keyboard
JP2013505493A (ja) * 2009-09-21 2013-02-14 エクストリーム リアリティー エルティーディー． 電子機器とのヒューマン・マシン・インタフェーシングの為の方法、回路、装置及びシステム
US8627224B2 (en) * 2009-10-27 2014-01-07 Qualcomm Incorporated Touch screen keypad layout
KR20110064336A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 휴대용 단말기에서 자판 레이아웃 배열을 위한 장치 및 방법
CN101710269A (zh) * 2009-12-16 2010-05-19 深圳华为通信技术有限公司 调整软键盘布局的方法及移动终端
JP2011150489A (ja) * 2010-01-20 2011-08-04 Sony Corp 情報処理装置及びプログラム
US9411504B2 (en) 2010-01-28 2016-08-09 Microsoft Technology Licensing, Llc Copy and staple gestures
US8261213B2 (en) 2010-01-28 2012-09-04 Microsoft Corporation Brush, carbon-copy, and fill gestures
US9519356B2 (en) 2010-02-04 2016-12-13 Microsoft Technology Licensing, Llc Link gestures
TWI401591B (zh) * 2010-02-11 2013-07-11 Asustek Comp Inc 可攜式電子裝置
US9310994B2 (en) * 2010-02-19 2016-04-12 Microsoft Technology Licensing, Llc Use of bezel as an input mechanism
US9965165B2 (en) 2010-02-19 2018-05-08 Microsoft Technology Licensing, Llc Multi-finger gestures
US9367205B2 (en) 2010-02-19 2016-06-14 Microsoft Technolgoy Licensing, Llc Radial menus with bezel gestures
US9454304B2 (en) 2010-02-25 2016-09-27 Microsoft Technology Licensing, Llc Multi-screen dual tap gesture
US9261913B2 (en) 2010-03-30 2016-02-16 Hewlett-Packard Development Company, L.P. Image of a keyboard
US8593418B2 (en) * 2010-08-08 2013-11-26 Qualcomm Incorporated Method and system for adjusting display content
US8514190B2 (en) * 2010-10-06 2013-08-20 Sony Corporation Displays for electronic devices that detect and respond to the contour and/or height profile of user input objects
WO2012048380A1 (en) * 2010-10-14 2012-04-19 University Of Technology, Sydney Virtual keyboard
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
JP5561089B2 (ja) * 2010-10-15 2014-07-30 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JPWO2012070682A1 (ja) * 2010-11-24 2014-05-19 日本電気株式会社 入力装置及び入力装置の制御方法
TW201224857A (en) * 2010-12-15 2012-06-16 Inst Information Industry Electrical device with touch screen, method for adjusting touch positions of software keyboard and computer readable storage medium thereof
KR20120067445A (ko) * 2010-12-16 2012-06-26 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5692796B2 (ja) * 2011-03-07 2015-04-01 埼玉日本電気株式会社 情報端末、入力方法及びプログラム
CN102736822B (zh) * 2011-04-01 2016-01-20 深圳富泰宏精密工业有限公司 提高手持装置触碰键盘辨识率的***和方法
TWI505173B (zh) * 2011-04-01 2015-10-21 Fih Hong Kong Ltd 提高手持裝置觸碰鍵盤辨識率的系統和方法
US9430145B2 (en) * 2011-04-06 2016-08-30 Samsung Electronics Co., Ltd. Dynamic text input using on and above surface sensing of hands and fingers
NO332634B1 (no) * 2011-04-18 2012-11-26 Rune Forshaug Videreutvikling av tradisjonelt pc-tastatur, ved en styringsenhet i kombinasjon med en tastaturskjerm
US9389764B2 (en) * 2011-05-27 2016-07-12 Microsoft Technology Licensing, Llc Target disambiguation and correction
US8754861B2 (en) * 2011-07-06 2014-06-17 Google Inc. Touch-screen keyboard facilitating touch typing with minimal finger movement
US9588679B2 (en) * 2011-09-12 2017-03-07 Microsoft Technology Licensing, Llc Virtual viewport and fixed positioning with optical zoom
US20130113714A1 (en) * 2011-11-06 2013-05-09 Dun Dun (Duncan) Mao Electronic Device Having Single Hand Multi-Touch Surface Keyboard and Method of Inputting to Same
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.
US9448651B2 (en) 2012-01-09 2016-09-20 Google Inc. Intelligent touchscreen keyboard with finger differentiation
US9519419B2 (en) 2012-01-17 2016-12-13 Microsoft Technology Licensing, Llc Skinnable touch device grip patterns
US20130215037A1 (en) * 2012-02-20 2013-08-22 Dun Dun Mao Multi-touch surface keyboard with multi-key zones on an adaptable home line and method of inputting to same
US20130222247A1 (en) * 2012-02-29 2013-08-29 Eric Liu Virtual keyboard adjustment based on user input offset
US10216286B2 (en) 2012-03-06 2019-02-26 Todd E. Chornenky On-screen diagonal keyboard
WO2014003796A1 (en) * 2012-06-30 2014-01-03 Hewlett-Packard Development Company, L.P. Virtual hand based on combined data
US9548012B1 (en) * 2012-08-29 2017-01-17 Amazon Technologies, Inc. Adaptive ergonomic keyboard
US9582122B2 (en) 2012-11-12 2017-02-28 Microsoft Technology Licensing, Llc Touch-sensitive bezel techniques
US10048861B2 (en) * 2012-11-27 2018-08-14 Thomson Licensing Adaptive virtual keyboard
JP2015535628A (ja) 2012-11-27 2015-12-14 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 適応的な仮想キーボード
EP2770421A3 (en) * 2013-02-22 2017-11-08 Samsung Electronics Co., Ltd. Electronic device having touch-sensitive user interface and related operating method
US20140267049A1 (en) * 2013-03-15 2014-09-18 Lenitra M. Durham Layered and split keyboard for full 3d interaction on mobile devices
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US9477337B2 (en) 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
US20150261405A1 (en) * 2014-03-14 2015-09-17 Lynn Jean-Dykstra Smith Methods Including Anchored-Pattern Data Entry And Visual Input Guidance
US10175882B2 (en) * 2014-07-31 2019-01-08 Technologies Humanware Inc. Dynamic calibrating of a touch-screen-implemented virtual braille keyboard
US20160085440A1 (en) * 2014-09-19 2016-03-24 Qualcomm Incorporated Systems and methods for providing an anatomically adaptable keyboard
CN107077221A (zh) * 2014-09-29 2017-08-18 惠普发展公司有限责任合伙企业 虚拟键盘
US10248311B2 (en) * 2015-07-06 2019-04-02 Samsung Electronics Co., Ltd. Electronic device supporting virtual keyboard and method for configuring the virtual keyboard
US10963159B2 (en) * 2016-01-26 2021-03-30 Lenovo (Singapore) Pte. Ltd. Virtual interface offset
US20190107944A1 (en) * 2017-10-06 2019-04-11 Microsoft Technology Licensing, Llc Multifinger Touch Keyboard
EP3776161B1 (en) 2018-07-27 2024-01-24 Samsung Electronics Co., Ltd. Method and electronic device for configuring touch screen keyboard
CN110297592B (zh) * 2019-06-28 2021-06-15 联想(北京)有限公司 一种处理方法及电子设备
EP3994559A4 (en) 2020-07-24 2023-08-16 Agilis Eyesfree Touchscreen Keyboards Ltd. ADAPTABLE TOUCHSCREEN KEYBOARDS FEATURING A DEAD ZONE

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5971636A (en) * 1991-10-23 1999-10-26 Mensick; John Ergonomically improved standard keyboard
US6121960A (en) 1996-08-28 2000-09-19 Via, Inc. Touch screen systems and methods
US6433774B1 (en) * 1998-12-04 2002-08-13 Intel Corporation Virtualization of interactive computer input
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
JP4828826B2 (ja) * 2002-07-04 2011-11-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動的に適応可能な仮想キーボード
KR20050016691A (ko) 2002-07-04 2005-02-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 자동으로 적응 가능한 가상 키보드
JP3630153B2 (ja) 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
KR20080106265A (ko) * 2006-02-16 2008-12-04 에프티케이 테크놀로지스 리미티드 컴퓨팅 시스템에 데이터를 입력하는 시스템 및 방법

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10908815B2 (en) 2007-09-19 2021-02-02 Apple Inc. Systems and methods for distinguishing between a gesture tracing out a word and a wiping motion on a touch-sensitive keyboard
US10126942B2 (en) 2007-09-19 2018-11-13 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US10203873B2 (en) 2007-09-19 2019-02-12 Apple Inc. Systems and methods for adaptively presenting a keyboard on a touch-sensitive display
US9110590B2 (en) 2007-09-19 2015-08-18 Typesoft Technologies, Inc. Dynamically located onscreen keyboard
US9454270B2 (en) 2008-09-19 2016-09-27 Apple Inc. Systems and methods for detecting a press on a touch-sensitive surface
US9069390B2 (en) 2008-09-19 2015-06-30 Typesoft Technologies, Inc. Systems and methods for monitoring surface sanitation
US9195818B2 (en) 2009-06-16 2015-11-24 Intel Corporation Adaptive virtual keyboard for handheld device
US9851897B2 (en) 2009-06-16 2017-12-26 Intel Corporation Adaptive virtual keyboard for handheld device
KR101364881B1 (ko) * 2009-06-16 2014-02-19 인텔 코오퍼레이션 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
US10133482B2 (en) 2009-06-16 2018-11-20 Intel Corporation Adaptive virtual keyboard for handheld device
KR101115467B1 (ko) * 2009-09-30 2012-02-24 주식회사 팬택 가상 키보드 제공 단말 및 그 방법
WO2011078632A2 (ko) * 2009-12-26 2011-06-30 Kim Ki Ju 터치스크린 상에서 터치 버튼의 멀티터치 인식방법, 문자 입력 방법 및 객체 변형 방법
WO2011078632A3 (ko) * 2009-12-26 2011-12-01 박나래 터치스크린 상에서 터치 버튼의 멀티터치 인식방법, 문자 입력 방법 및 객체 변형 방법
KR20110128536A (ko) * 2010-05-24 2011-11-30 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
KR101471267B1 (ko) * 2010-09-13 2014-12-09 지티이 코포레이션 터치 키보드의 동적 생성 방법 및 장치
US8830198B2 (en) 2010-09-13 2014-09-09 Zte Corporation Method and device for dynamically generating touch keyboard
KR20140116785A (ko) * 2010-11-30 2014-10-06 클린키, 인크. 동적으로 위치되는 온스크린 키보드
KR101147730B1 (ko) * 2011-08-01 2012-05-25 주식회사 팬택 가상 키보드 제공 단말 및 그 방법
US9104260B2 (en) 2012-04-10 2015-08-11 Typesoft Technologies, Inc. Systems and methods for detecting a press on a touch-sensitive surface
US9489086B1 (en) 2013-04-29 2016-11-08 Apple Inc. Finger hover detection for improved typing
KR101411569B1 (ko) * 2013-06-05 2014-06-27 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법
US9916044B2 (en) 2013-06-05 2018-03-13 Korea University Research And Business Foundation, Sejong Campus Device and method for information processing using virtual keyboard
WO2014196779A1 (ko) * 2013-06-05 2014-12-11 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법
US10289302B1 (en) 2013-09-09 2019-05-14 Apple Inc. Virtual keyboard animation
US11314411B2 (en) 2013-09-09 2022-04-26 Apple Inc. Virtual keyboard animation

Also Published As

Publication number Publication date
US8345008B2 (en) 2013-01-01
KR101352994B1 (ko) 2014-01-21
US20090146957A1 (en) 2009-06-11

Similar Documents

Publication Publication Date Title
KR101352994B1 (ko) 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
JP4828826B2 (ja) 自動的に適応可能な仮想キーボード
US9261913B2 (en) Image of a keyboard
US8941600B2 (en) Apparatus for providing touch feedback for user input to a touch sensitive surface
US20110012856A1 (en) Methods for Operation of a Touch Input Device
TWI291161B (en) Automatic switching for a dual mode digitizer
US9430145B2 (en) Dynamic text input using on and above surface sensing of hands and fingers
EP2332023B1 (en) Two-thumb qwerty keyboard
KR101007045B1 (ko) 접촉센서 장치 및 이 장치의 포인팅 좌표 결정 방법
TWI478041B (zh) 於觸控面板上識別手掌區域方法及其更新方法
JP4876982B2 (ja) 表示装置および携帯情報機器
US20110216015A1 (en) Apparatus and method for directing operation of a software application via a touch-sensitive surface divided into regions associated with respective functions
US20050122313A1 (en) Versatile, configurable keyboard
US8760429B2 (en) Detection of a rolling motion or sliding motion of a body part on a surface
JP2005531861A5 (ko)
US9430092B2 (en) Event generation based on print portion identification
EP2474890A1 (en) Virtual keyboard configuration putting fingers in rest positions on a multitouch screen, calibrating key positions thereof
JP2004341813A (ja) 入力装置表示制御方法及び入力装置
US10956030B2 (en) Multi-touch based drawing input method and apparatus
KR101601268B1 (ko) 휴대용 단말기 및 그 사용자 인터페이스 제어 방법
KR20100028465A (ko) 포인터의 드래그 방향에 따른 문자 또는 메뉴입력 방법
EP2410416B1 (en) Input device and control method thereof
US11604578B2 (en) Touch control method and touch control system applying ihe same
US20170371481A1 (en) Enhanced touchscreen
KR20090009184A (ko) 전자기기의 문자 입력 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 7