KR20000035912A - 터치 스크린 시스템과 방법 - Google Patents

터치 스크린 시스템과 방법 Download PDF

Info

Publication number
KR20000035912A
KR20000035912A KR1019997001648A KR19997001648A KR20000035912A KR 20000035912 A KR20000035912 A KR 20000035912A KR 1019997001648 A KR1019997001648 A KR 1019997001648A KR 19997001648 A KR19997001648 A KR 19997001648A KR 20000035912 A KR20000035912 A KR 20000035912A
Authority
KR
South Korea
Prior art keywords
image
key
main image
keyboard
peripheral system
Prior art date
Application number
KR1019997001648A
Other languages
English (en)
Other versions
KR100627378B1 (ko
Inventor
데비드더블유.캐롤
제임스엘.캐롤
스티븐브이.케이스
Original Assignee
데이비드 윌리엄 캐롤
비아, 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=27362393&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20000035912(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 데이비드 윌리엄 캐롤, 비아, 인크 filed Critical 데이비드 윌리엄 캐롤
Publication of KR20000035912A publication Critical patent/KR20000035912A/ko
Application granted granted Critical
Publication of KR100627378B1 publication Critical patent/KR100627378B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Push-Button Switches (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

본 발명의 실시예에 따른 스크린 주변 시스템은, 주 이미지를 생성하는 컴퓨터 장치와; 사용자가 볼 수 있는 복합 이미지(110)를 생성하고 디스플레이하는 터치감응식 입력 장치(105)를 포함한다. 상기 복합 이미지(110)는 입력 기능을 활성화하기 위한 적어도 하나의 키 표시, 이를테면 QWERTY 키보드와, 컴퓨터 장치에 의해 제공된 주 이미지를 동시에 포함한다. 상기 키보드 표시(105)는 상기 주 이미지 위에 놓이는 것이 바람직하다. 한 실시예에 따르면, 상기 주 이미지는 상기 컴퓨터가 실행하고 있는 응용 프로그램에 의해 생성되는 출력 이미지이다. 또한 기타 터치 스크린 시스템과 방법도 논의된다.

Description

터치 스크린 시스템과 방법{TOUCH SCREEN SYSTEMS AND METHODS}
터치감응식 입력 디스플레이 장치에서, 컴퓨터로 수행되는 응용 프로그램에 의하여 출력되는 이미지에 키보드를 겹치는 기술, 즉 "가상(phantom)" 키보드의 형성은 종래의 기술로 알려져 있다. 예를들면 미국 특허 제5,581,243 (Ouellette 등)호는 전 내용이 후에 소개되는 참고문헌에 포함되어 있으며, 아래 깔린 응용 출력 (application output) 이미지를 가리지 않고 터치감응식 디스플레이 상에 가상 키보드를 디스플레이하는 시스템에 관해 설명하고 있다. 출력 이미지는 생성되면, 기결정된 지속성을 갖는 최초의 빛나는 방사 강도로 처음에 디스플레이 된다. 가상 키보드 이미지가 생성되면, 기결정된 지속성을 갖는 더 낮은 방사 강도로 잠시동안 디스플레이 된다. 키보드와 출력 이미지는 교대로 생성되는데, 각각의 디스플레이되는 시간이 조절되어 두 이미지는 계속적으로 환영을 창조해 낸다.
그러나 Ouellette등에 의해 설명된 시스템은 많은 단점을 제공한다고 믿어진다. 첫째로, 응용 출력 이미지와 키보드 스크린 사이의 번쩍거림(flashing)은 참고문헌에서 나타내었듯이 지속적으로 디스플레이 되는 응용 출력(또는 키보드) 이미지에 관해 달성할 수 있는 리프레시 속도(refresh rate)를 주목할만하게 감소시킬 수 있다. 이러한 감소는 보는 이에게 상당한 해을 끼칠 수 있고, 잠재적으로 보여진 설명적 특징을 혼란시킬 수 있다. 둘째로, 키보드와 응용 출력을 교대로 보여주는 것은 적당한 기능수행을 위한 부가적인 하드웨어적인 특성, 예를들면 스크린 사이에서 앞뒤로 스위칭하여 디스플레이 하기 위한 보조 프레임 버퍼(a second frame buffer) 등이 요구된다. 게다가 하기 특성은 Ouellette 문헌에서 개시되거나 확실하게 눈여겨 보여지지 않으나, 무선 전송(이를테면 RF) 환경, 이를테면 착용가능한 컴퓨터 등에서 Ouellette 고안물을 사용할 경우, 무선으로의 전송을 위해서 2배의 정보가 필요하므로 필요한 밴드폭도 상당히 증가할 것이다.
본 발명의 주제는 1996.8.28에 제출된 미국 가출원 제 60/024,780호, 1996.10.9에 제출된 미국 가출원 제 60/028,028호, 1997.1.21 제출된 미국 가출원 제 60/036,195호의 주제와 관련된 것이며, 가출원은 모두 참고문헌 및 미국특허 법전에 35 제 199조(e)에 의한 우선권으로 포함되어 있다.
본 발명은 터치감응식 입력 및 출력 장치 (touch-sensitive input and output devices)에 관한 것으로, 좀더 상세하게는 배경 이미지에 동시에 겹쳐지는 키보드 타입 이미지를 디스플레이할 수 있는 터치 스크린에 관한 것이다. 본 발명은 또한 터치감응식 입력/출력 장치의 다른 특징들에 관한 것이다. 본 발명의 실시예들은 착용가능한(wearble) 컴퓨터 장치 및 환경에 대한 특정 적용예를 나타낸 것이지만 비착용성(non-wearable) 실시예들도 또한 고려될 수 있다.
본 발명의 실시예는 도면을 참고하여 설명될 것이며, 동일한 참고문헌 숫자들은 동일한 구성요소들을 나타낸다.
도 1은 본 발명의 실시예에 따른 착용가능한 컴퓨터 환경의 사시도,
도 2는 본 발명의 실시예에 따른 키보드 표시 도면,
도 3은 본 발명의 실시예에 따른 주 이미지 도면,
도 4는 본 발명의 실시예에 따른 복합 이미지 도면,
도 5는 본 발명의 실시예에 따른 두번째 복합 이미지 도면,
도 6은 본 발명의 실시예에 따른 조작상의 과정을 보여주는 순서도,
도 7은 축소키 키보드 도면,
도 8은 본 발명의 실시예에 따른 터치 스크린,
도 9, 도 10, 도 11, 도12, 도 13은 본 발명의 실시예에 따른 손잡이가 달린 터치 스크린.
상기한 내용과 기타 단점들의 극복을 위해서 본 발명의 실시예에 따른 스크린 주변 시스템은 주 이미지(main image)를 제공하기 위한 컴퓨터 장치와 사용자에게 보여질 수 있는 복합 이미지(composite image)를 생성하고 디스플레이하기 위한 터치감응식 입력 장치를 포함한다. 복합 이미지는 적어도 하나의 키 표시, 예를 들어 입력 기능을 활성화시키기 위한 QWERTY 키보드 이미지와 컴퓨터 장치에 의해 제공되는 주 이미지를 동시에 포함한다. 이 키보드 표시는 주 이미지 위에 놓이는 것이 바람직하다.
이 시스템은 키보드 표시와 주 이미지 표시를 형성하는 가변 픽셀 제어 (variable-pixel control)를 구비하는데, 키보드 표시를 위해 선택된 픽셀들과 주 이미지 형성을 위해 선택되는 픽셀들은 상호 의존적으로 선택 제어된다. 다시 말하면, 키보드 표시 픽셀은 주 이미지 픽셀과 독립적이지 않다. 한 실시예에 따라, 주 이미지는 컴퓨터 장치에 의해 수행되고 있는 응용 프로그램에 의해 생성되는 출력 이미지이다.
다양한 이미지 조정 (image-adjustment), 모드 스위칭 (mode-switching), 줌업/줌다운 (zoom-up/zoom down)과 다른 발명과 관련된 실시예들 또한 동일한 방법으로 묘사되어 있다.
본 발명의 실시예는 착용가능한 컴퓨터 장치에 특히 응용할 수 있는데 미네소타주 노스필드에 있는 ViA Inc.에서 나온 장치들이 있다. 또한 다음의 미국 특허를 보면, 각각은 이후에 소개되는 참고문헌에 포함되며 전부 ViA,Inc.의 소유이다: 5,581,492; 5,572,401; 5,555,490; 5,491,651과 5,285,398.
본 발명의 실시예는 많은 컴퓨터 환경에서 다양하게 응용된다. 본 발명은 특히 상기한 바와 같이 착용 가능한 컴퓨터 환경에 응용할 수 있으며 휴대가능과 소형성을 기본적으로 고려하고 있다. 본 발명은 또한 많은 다른 입력/출력 장치에도 응용될 수 있다. 예를 들어 본 발명의 실시예들은 완전하거나 부분적인 또는 감소된 키를 갖거나, 영문자나 비영문자나 숫자 키보드를 가진 입력/출력 장치를 고려하고 있다. 이러한 키보드는 하나 이상의 "키", "버튼", "접촉 지역 (contact zones)"이나 유사한 것으로 구성되어 있다. 또한 본 발명은 단지 사용자의 손가락등에 의한 직접적이고 수동적인 접촉을 요구하는 스크린이 아닌 사용자가 손이나 음성으로 어떠한 키를 활성화시켜 지시할 수 있는 많은 입력 장치를 고려한다. 본 발명의 실시예는 접근이나 글자 또는 음성에 기초한 입력 기능을 포함한다. 그러므로 각각의 실시예들이 터치 스크린과 키보드, 접촉에 의한 입력에 관해 설명할지라도, 본 발명은 필요에 따라 광범위하에 해석될 수 있고 반드시 특수한 실시예에 한정되는 것은 아니다.
본 발명의 실시예에 따라 다양한 이미지가 결합되거나 겹쳐질 수 있다. 첫번째 실시예에서 겹쳐진 이미지는 예를들어 키보드에서는 적어도 하나의 키에 의한 것이다. 배경 이미지는 개인이나 상업적, 군사적, 공공 서비스 분야나 기타 분야에서 사용되는 그래픽, 스프레드쉬트, 워드프로세싱 등과 같은 컴퓨터 장치에 의해 실행되는 응용 프로그램에 의한 출력이다. 그러나, 배경 이미지나 겹쳐진 이미지는 서로 다른 형태일 수 있다. 예를 들면 배경 이미지 또는 두 개의 이미지 모두 응용 프로그램 대신에 시스템 속의 프로세서나 저장 장치에 의해 제공될 수 있는데, 각각 또는 두 이미지는 서로 다른 크기의 구성요소를 갖는 복합 이미지의 제공을 위해 확대나 축소 과정을 거칠 수 있다. 또한 둘 이상의 이미지는 본 발명에 따라 합쳐질 수 있다. 즉, 복합된 응용물, 키보드 또는 다른 이미지들은 복합 이미지 내에서 합쳐질 수 있다. 그러므로 비록 이후의 특수한 실시예가 응용 출력 이미지, 키보드 등과 관련되어 설명될지라도 본 발명은 필요에 따라서 광범위하게 해석될 수 있고 반드시 구체적 실시예에 한정되는 것은 아니다.
본 발명의 실시예에 따르면 터치 스크린 키보드 오버레이 (touch screen keyboard overlays)는, 예를들면 착용 가능한 개인 컴퓨터와 같은 개인 컴퓨터 장치의 사용자에 의해 선택적으로 켜거나 끌 수 있다. 후술되듯이 키보드 표시는 터치 스크린 상의 주 이미지 위에 놓이는데, 주 이미지는 주 응용 소프트웨어와 관련되어 형성되는 것이 바람직하다. 본 발명에 따른 키보드 오버레이 (keyboard overlay)는 물리적 키보드를 제거하며, 예를들면 하단 부분에는 터치 키보드를 그리고 남은 상단 부분에는 주 이미지을 압착해 놓은 분리된 화면을 가질 필요가 없게 된다. 또한 본 발명에 따른 키보드 오버레이는 응용 출력 이미지의 중요한 부분으로써 겹쳐진 키보드가 디스플레이 스크린과 동일한 위치를 차지할 때 일어날 수 있는 공간 경쟁 문제를 줄이거나 없앨 수 있다.
본 발명에 따르면 키보드 오버레이는 특히 아주 작은 화면용으로 좋다. 이는 키보드 뒤로 모든 데이타를 볼 수 있는 동시에, 상대적으로 크고 접근하기 쉬운 "버튼"(키)이 겹쳐서 제공되기 때문이다.
본 발명의 실시예들은 특히 음성에 기반한 입력이 바람직하지 않은 상태에서 매우 유용하다. 비록 음성 인식 기술이 주목할 정도로 진보하고 있기는 하나, 일례로, 필요한 음성 입력 과정이 회의 중에는 방해가 될 수 있다. 언어입력은 또한 잠재적으로는 가청범위의 모든 사람에게 정확한 메모를 알리는 것이다. 따라서 본 발명의 실시예에 따라 사용자는 침묵 속에서 기계에 직접 입력할 수 있다. 그러나, 음성-기초 입력은 많은 경우에 바람직하므로 음성 입력과 키보드 오버레이 입력을 임의로 선택할 수 있는 스위치 역시 고려되고 있다. 이것은 터치 스크린이나 관련 장치의 옆이나 표면에 있는 물리적 버튼이나 키보드에 의해 활성화되며, 스크린 자체내 접촉에 의한 버튼이나 키 또는 음성에 의해서도 활성화된다.
본 발명의 실시예에 따르면 키보드 오버레이는 많은 형태로 나타날 수 있는데, 일례로 각 키의 외곽을 형성하는 실선 (solid line)이나 점선 (dashed/dotted line)의 오버레이를 들 수 있다. 사용자에 의해 양자택일적, 선택적으로 선택되었을때 또는 x's나 도트 (dots)등과 같은 중재마커 (intervening markers) 사이의 문자영역 지역 (letter-area zone)에서 각 키는 도트에 의해 표시될 수 있다. 이상적으로, 키보드의 표시는 표준 스크린에서 흐릿하게 제공되어서 주 프로그램으로부터의 데이타나 이미지을 동시에 볼 수 있다. 이후 좀더 상세히 설명될 가변 픽셀 제어들은 키보드 표시의 두께, 휘도 (brightness), dot-ness를 변화시킬 수 있다. 많은 경우에 키보드 오버레이는 극도로 흐릿할 수 있다.
각 키나 지역에 해당하는 문자들과 같은 키보드 자체 내의 특성들은 만일 사용자가 키보드 배치를 기억하고 있다면 꺼질 수도 있다. 즉, 키보드의 키나 구역의 표시를 보지 않고도 효율적으로 타이핑을 할 수 있는 사용자를 위해 키보드 내의 특성이 전혀 보이지 않는 상태로도 활성화될 수 있다.
콘트라스트 조정 버튼은 터치 스크린 상에 표시되는 것이 바람직하다고 고려되나, 키보드와 주 이미지간의 콘트라스크 조정을 위해서 가능한 콘트라스크 버튼을 터치 스크린을 바치는 틀에 표시한다. 또한 키보드의 온오프 버튼도 상기와 같이 적용된다. 한편, 상기 특성들은 음성에 의해서도 조정될 수 있다.
가변 픽셀 제어
본 발명의 실시예에 따르면, 소프트웨어에 기초한 가변 픽셀 제어는 키보드 표시를 디스플레이하기 위해 사용되는 터치 스크린 픽셀과 주 이미지를 디스플레이 하기 위한 픽셀들을 결정하고 조정하도록 제공된다. 몇몇의 경우 각각의 스크린 픽셀은 키보드나 주 이미지를 100 % 구성한다. 또 다른 경우에, 터치 스크린 픽셀들은 키보드와 주 이미지의 혼합 효과("blended" effect)를 생성하는데 기여할 수 있다.
본 발명에 따르면 가상 키보드의 이미지와 일반적인 출력 이미지와의 병합은 다양한 방법과 프로그래밍 과정에 의해 일어난다. 그러나 대부분의 비디오 그래픽 제어기의 사용시, 이미지의 병합을 수행할 수 있는 가장 유효한 방법은 비트-블럭 또는 비트-블럭-형태 (bit-block-type) 전송 작동, 즉 비트블트 작동 (BitBlt operations)이라고 믿어진다.
비트블트 작동은 라스터-기초 디스플레이 장치에서 3가지 픽셀세트의 논리적 결합을 수행하는 효율적인 방법을 제공한다. 본 발명의 실시예에 따르면, 비트블트 작동은 다음의 3가지 픽셀 세트에 사용된다.
(1) 디스플레이 상의 본래의 픽셀들, 즉 가상 키보드가 없을 때 제공하는 이미지.
(2) 가상 키보드의 이미지를 나타내는 픽셀들
(3) 가상 키보드 내의 픽셀들이 본래의 디스플레이 픽셀들과 병합시 조정을 담당하는 이미지 마스크 (image mask).
비트블트 작동의 사용시, 가상 키보드는 다양한 효과를 사용하는 디스플레이와 합쳐질 수 있다. 다음의 표 1은 수행 가능한 작동을 요약화한 것이다.
Source (S)Destination (D)Mask (M) 1 1 0 0 1 1 0 01 0 1 0 1 0 1 01 1 1 1 0 0 0 0 BooleanOperation Operation
Result 0 0 0 0 0 0 0 00 0 0 1 0 0 0 10 0 1 1 0 0 1 10 1 0 0 0 1 0 00 1 0 1 0 1 0 10 1 0 1 1 0 1 00 1 1 0 0 1 1 01 0 0 0 1 0 0 01 0 1 1 1 0 1 11 1 0 0 0 0 0 01 1 0 0 1 1 0 01 1 1 0 1 1 1 01 1 1 1 0 0 0 01 1 1 1 1 0 1 11 1 1 1 1 1 1 1 0~ (S|D)~ SS & ~ D~ DM ^ DS ^ DS & D~ S|DM&SSS|DMM|~ S|D1 BlacknessNot source eraseNot soource copySource eraseDestination invertMask invertSource invertSource andMerge paintMerge copySource copySource paintMask copyMask paintWhiteness
이후 설명되는 논리적 작동들 각각은 서로 다른 혼합 효과 (blending effect) 또는 병합효과 (merging effect)를 갖는다. 비록 논리적 작동들의 일부가 예를들면, 목적물 (destination) 내로 원본 (source)을 복사하거나 또는 0이나 1로 채워 원본이나 목적물이 가지고 있는 것은 무시하는 일 등의 실체적 효과 (substantive effect)를 갖지 않을지라도, 이러한 작동의 대부분은 키보드 이미지과 응용 출력 이미지가 함께 맞물리는 방법을 결정하기 위한 많은 다른 효과를 창조하는데 사용될 수 있다. 또한 다양한 논리적 작동들은 나머지 이미지를 고려하여 하나의 이미지의 거친 정도/조도 (harshness/intensity)와 같은 다양한 시각적 효과를 생산하기 위해 필요시 합쳐질 수 있다.
본 발명에 따라 고려된 무수히 많은 맞물림 (meshing) 가능성 중 두 가지로 예를들어 설명하겠다. 첫번째 예로, 키보드를 표시하는 픽셀의 25 %와 기본적인 디스플레이 이미지를 표시하는 픽셀의 75 %를 사용하여, 키보드와 본래의 디스플레이 응용 출력 이미지를 혼합한다. 두번째 예로, 두 이미지로 구성된 마지막 복합 디스플레이 이미지의 각각의 픽셀과 함께 두 이미지가 좀 더 정확하게 혼합된다. 두번째 예에서, 합성이 완료된 이미지는 본래 이미지로부터 혼합된 음영 (blended shadow)처럼 나타날 수도 있다. 두개의 예 모두에서, 한 실시예에 따르면 컴퓨터 시스템의 그래픽 제어기가 픽셀마다 256칼라를 가진 대부분의 전형적인 개인용 컴퓨터인 8비트×8비트 평면 (8-bit bit plane)을 사용하는 것으로 추측되어 진다. 물론 현재 및 미래의 그래픽 제어기들과 비트 평면의 상기 사용례는 쉽게 적용될 것이다.
첫번째 예에서, 키보드는 키보드를 표시하는 픽셀의 25 %와 본래의 디스플레이 이미지를 표시하는 픽셀의 75 %를 사용하여 디스플레이와 함께 혼합될 수 있으며 각각의 디스플레이 갱신은 세 과정 내로 수행되는 것이 바람직하다. 첫번째 과정은 볼 수 없는 키보드 이미지부분, 즉 키보드 이미지의 75 %를 제거하는 것이다. 두번째 과정은 볼 수 없는 주 이미지부분, 즉 주 디스플레이 이미지의 25 %를 제거하는 것이다. 다음의 가코드 (pseudocode)는 이러한 예에 따라 사용된 프로세싱과 관련된 한 실시예를 보여준다.
reduced_kbd : = BitBlt (source => keyboard image,
destination => keyboard image,
mask => [0xF0, 0x00, 0x00, 0x00,
0xF0, 0x00, 0x00,x0x00, ...]
operation => merge copy) ;
reduced_display : = BitBlt ( source => original display image,
destination => original display image,
mask => [0x00, 0xF0, 0xF0, 0xF0,
0x00, 0xF0, 0xF0, 0xF0, ...]
operation => merge copy) ;
display : = BitBlt (source => reduced_kbd,
destination => reduced_display,
mask => null,
operation => source paint) ;
첫번째 예에서는, 실행시 최초의 비트블트는 일단 준비동작이 수행되면 그 다음에 미래의 디스플레이 갱신시의 재사용을 위해 저장된다. 본질적으로 이 과정을 통해 사용자에게 보여지는 단 하나의 마지막 복합 이미지에 적합하지 않는 픽셀들은 두 이미지로부터 제거된다. 이러한 방법으로 어떠한 이미지도 겹치는 픽셀을 포함하지 않게 되는 것이다. 그럼므로 합성된 이미지에 있어서 각각의 픽셀은 키보드나 디스플레이 중 하나만을 100 % 구성하며 둘다 구성하지는 않는다.
두번째 예에서는 한 실시예에 따라 하나의 비트블트를 사용하여 두 이미지을 논리적으로 합성한다. 다음의 가코드 (pseudocode)는 이러한 예에 따라 사용된 프로세싱과 관련된 한 실시예를 보여준다.
display : = BitBlt (source => keyboard image,
destination => original display image,
mask => null,
operation => source paint) ;
본 발명의 현재 실시예는 수행이유에 대해 다음과 같이 가정한다. 본 발명의 실시예는 전형적으로 이용가능한 작동 시스템에 대한 것인데, 이 시스템은 멀티태스킹을 지지하며 자체의 조정한계를 갖는 각각의 응용 프로그램을 갖고 있다. 이러한 작동 시스템 (operating systems)들의 예는 마이크로소프트 윈도우 (Microsoft Windows) 95, 마이크로소프트 윈도우 NT, SCO Unix, Sun's Solaris 작동 시스템이 있다. 또한 본 발명의 실시예는 전형적인 비디오 그래픽 제어기에 관한 것이다. 이 제어기는 비트-블럭 전송 (BitBlt) 동작과 프로세서 메모리와 비디오 메모리 사이의 DMA를 지지한다. Chips and Technologies, S3, NeoMagic, Trident 및 기타 회사의 그래픽 컨트롤러가 상기의 작동을 지원하는 기타 회사 제품들의 예이다.
본 발명의 실시예는 하드웨어와 소프트웨어의 기술의 발전과 같은 이러한 가정들에 필히 의지하지 않고도 사용할 수 있어야 한다. 심지어 현재도, 비록 적어도 몇몇 환경에 있어서의 수행이 좀 더 복잡하고 더 느린 작동에 속해있다 할지라도, 본 발명에 따른 상기에서 설명된 것들 이상의 환경에서의 수행이 고려되고 있다.
이와 같이 본 발명의 실시예에 따르면, 도 1-5가 보여주는 바와 같이 본 발병의 실시예에 따라 스크린 시스템 5는, 응용 소프트웨어를 실행하는 컴퓨터 장치 10과 스크린 주변 시스템 5의 사용자 20이 볼 수 있는 복합 이미지를 생산하고 디스플레이 하는 터치감응식 입력장치 15를 포함한다. 한 실시예에 따르면, 복합 이미지는 키보드 입력 기능과 같은 입력기능을 활성화하기 위해 적어도 하나의 키 표시를 포함한다. 또한 복합 이미지는 주 디스플레이 이미지를 포함하는데, 예로 컴퓨터 장치 10에 의해 수행되는 응용 소프트웨어에 의해 생산되는 출력 이미지를 들 수 있다. 적어도 하나의 키 표시는 응용 소프트웨어에 의해 생산되는 주 이미지 상에 놓인다.
도 1은 착용가능한 컴퓨터 환경에서 스크린 주변 시스템 5를 나타낸 것이다. 이는 앞에서 설명되었듯이 특히 본 발명의 실시예에 잘 부합된다. 본 발명의 실시예는 또한 사용자에게 근접성에 기초한 선택적 제어를 가능케하는 소형, 저출력, 광스펙트럼 "바디랜" 타입 시스템 (a miniature, low-power, spread-spectrum "bodyLAN'-type system)과 관련되어 사용될 수 있다. 이러한 시스템과 더불어 터치-감응 입력 장치 15는, 컴퓨터 장치 10와 LANs, WANs 같은 기타 장치/시스템 중 단독으로 또는 혼합하여 사용시 상기 두 장치의 유선 또는 무선 통신수단이 된다. 유선과 무선 통신의 실시예는 비착용성 컴퓨터 장치의 사용시에도 고려된다. 상기 입력 장치와 착용성 컴퓨터 또는 기타 컴퓨터 사이를 잇거나, 시스템의 다른 구성요소들 사이를 잇는 광학섬유, 전기, 적외선 및 기타 데이타 전송 설계에 고려된다. 본 별명의 실시예는 특히 테이블-형태의 터치 스크린과 다른 소형의 휴대가능하거나 포켓 속에 넣을 수 있는 입력/출력 장치에 유효하다.
또한 본 발명의 실시예는 heads-up 디스플레이 장치; 및 body-worn 디스플레이 장치; 혹은 각각과 관련되어 있다. 듀얼 스크린 스테레오 디스플레이와 같은 것이 상기 두 장치의 예이다. 본 발명에 따라, 키보드 오버레이와 음성-감응 키보드 오버레이 및 음성-조정 키보드 오버레이는 양자 동시에 혹은 독립적으로 디스플레이 상에 나타나기 때문에, 사용자가 내려다 보지 않고 데이타를 입력할 수 있다.
스크린 주변 시스템 5는 적어도 하나의 키 표시와 예시로써 상기 설명된 방법에 따른 출력 이미지를 형성하는 가변 픽셀 제어를 구비한다. 가변 픽셀 제어의 작용은, 예시로써 상기 설명된 방법에 따라, 적어도 하나의 키 표시에 사용되는 픽셀과 출력 이미지 형성에 사용된 픽셀이 직접적으로 상호 의존하도록 유도하는 것이다. 다시 말하면, 상기에서 밝혀진 Ouellette 참고문헌과는 달리 상기 이미지 표시를 위해 선택된 픽셀들은 독립적이지 않다.
가변 픽셀 제어는 적어도 하나의 키 표시와 소프트웨어 응용에 의해 생성된 출력 이미지 사이의 콘트라스트 조정을 제공할 수 있다. 콘트라스트 조정은 두께, 휘도 및 적어도 하나의 키를 표시하는 dotted-ness 중 최소 하나를 포함한다.
상기에서 언급한 바와 같이, 한 예에 따르면 컴퓨터 장치 5는 적어도 하나의 키 표시의 전체 픽셀로부터 복합 이미지에서 볼 수 없는 키보드 영역을 표시하는 X %를 제거한다. 비록 X가 특수한 디스플레이나 목적에 적합한 다양한 값을 가질 수 있다 할지라도, 상기 설명한 첫번째 예에서 X=75이다. 또한 컴퓨터 장치 5는 전체 응용 출력 이미지 중의 픽셀의 (100-X) %를 제거한다. 여기서 (100-X) %는 복합 이미지에서는 볼 수 없는 응용 출력 이미지 영역을 나타낸다. 예를 들어 상기에서 설명된 경우는 25 %이다. 컴퓨터 장치 5는 픽셀이 제거된 키 표시와 픽셀이 제거된 주 이미지를 병합하여 복합 이미지를 형성한다. 양자택일적 및/또는 부가적으로, 상기에서 설명된 두 번째 예에서처럼, 복합 이미지는 적어도 하나의 키 표시 음영과 주 이미지를 포함할 수 있다. 한 실시예에 따르면, 컴퓨터 장치 5는 적어도 하나의 키 표시 픽셀과 주 이미지 픽셀의 혼합을 조절함으로써 혼합된 음영의 명암 정도를 조절할 수 있다. 복합 이미지의 키보드 영역과 같은 복합 이미지 픽셀의 암도 (darkness)를 변화시킴으로써, 키보드가 다른 이미지 속에 물려서 나타나게 할 수 있다. 따라서, 키보드는 주 이미지로부터 픽셀을 적절하게 "도용"하거나 주 이미지 픽셀을 선택된 방법으로 가려서 키보드 이미지를 생산하는 것이다.
본 기술 분야에서 통상적으로 이해될 수 있도록, 상기에서 설명된 장치와 시스템에 부합되는 방법을 기술하겠다.
본 발명의 실시예에 따르면, 도 2~5는 이미지와 복합 스크린의 예를 설명하고 있다. 도 2는 적어도 하나의 키 표시에 대한 설명이며, 여기에서는 몇몇의 펑션/옵션 키/버튼을 갖춘 완전한 QWERTY 키보드를 예로 든다. 도 3은 컴퓨터 장치에 의해 생성되는 주 이미지를 보여준다. 출력 이미지가 주 이미지인 상황, 또는 컴퓨터 장치의 프로세서나 다른 구성요소가 실행하는 응용 프로프램의 이미지가 주 이미지인 상황을 도 3이 보여주는 것으로도 보아야 할 것이다. 도 4는 상기의 첫번째 예와 관련하여 형성된 복합 이미지를 보여주며, 도 5는 상기 두번째 예와 관련되어 형성된 복합 이미지를 보여준다.
본 발명의 실시예에 따르면, 도 6은 가상 키보드가 정상적 디스플레이 위에 겹쳐질 수 있도록 일반화된 프로세싱을 정의하는 순서도를 설명한 것이다. 이 프로세싱은 가상 키보드와 디스플레이되고 있는 정보의 나머지가 일치되도록 유지한다.
시작 과정 100 이후, 가상 키보드 이미지는 105 단계에서 창조된다. 키보드는 110 단계에서 현재의 디스플레이에 겹쳐서 쓰여지고, 이는 115 단계에서 대기상태가 된다. 120 단계에서 터치시 접촉된 가상키는 125 단계로 결정되고 키보드는 130 단계에서 진행중인 태스크/윈도우 (task/window)로 보내진다. 그 다음 115 단계에서 대기 상태가 된다.
본 발명의 실시예에 따라, 만일 120 단계에서 어떠한 터치도 없다면, 적절한 윈도우가 다시 작성되는가의 여부는 135 단계에서 결정된다. 만일 그렇다면, 재작성된 스크린 영역이 140 단계로 결정되고, 재작성된 스크린 영역이 키보드 이미지와 겹쳐질지의 여부는 145 단계에서 결정된다. 만일 그렇지 않다면, 그 다음은 115 단계에서 대기상태가 된다. 만일 그렇다면, 키보드는 110 단계에서 진행중인 디스플레이 위에 겹치도록 (재)작성된다. 또한, 윈도우가 삭제되는지의 여부는 150 단계에서, 윈도우가 창조되는지의 여부는 155 단계에서 결정된다. 만일 대답이 예라면, 상기에서 설명된 바와 같이 140 단계, 145 단계를 거쳐 110 단계 또는 115 단계가 된다. 만일 대답이 아니오라면, (여전히) 115 단계에서 대기 상태가 된다.
모드 스위칭 (mode switching)
한 실시예에 따라, 만약 하나의 키나 버튼의 표시가 설정된 시간, 이를테면 1초동안 눌러져 있다면, 커서가 눌린 키 지점에서 보이고 키보드의 나머지 부분은 (선택적으로) 사라진다. 사용자는 상기 터치 스크린을 따라 손가락을 드래그하여 (drag), 커서를 원하는 위치로 이동시킬 수 있다. 한 실시예에 따르면, 커서 모드로 들어가면서 수많은 새로운 키/버튼(혹은 상기한 대로 상기 키/버튼로부터 생기는 표시들)은 스크린의 한쪽 면에 나타난다. 적절히 위치한 마우스 버튼 역시 상기 스크린 위, 이를테면 스크린의 코너에서 사용자의 엄지손가락으로 액서스된다. 사용자의 엄지손가락이 쉽게 액서스할 수 있도록 만드는 통상적인 스크린 고정 메카니즘을 아래에 기술하기로 한다.
사용자는 원하는 시간동안 상기 키보드 오버레이 상에 타이핑하고 나서 설정된 시간동안 한 손가락을 눌러 키보드 모드를 빠져나가 커서 모드로 들어간다. 터치 스크린의 한쪽 면이나 구석에 있는 상기 마우스 버튼을 이용하여, 선택된 텍스트가 강조화될 (highlighted) 수 있으며, 이후에 상기 커서는 드래그되어 컷 버튼 혹은 기타 원하는 버튼 상에 떠다닐 수 있다. 사용자의 손가락이 제자리에 고정되어 있을 때에는 사용자의 손가락 동작이 마우스의 동작과 일치되며, 마우스의 터치 버튼이 스크린의 구석에 있어서 사용자의 엄지손가락이 마우스 터치 버튼에 액서스할 수 있다. 상기 커서 모드를 빠져 나오면서 사용자의 손가락은 다시 타이핑에 사용된다.
축소키 (reduced-key)
키보드 오버레이의 실시예에 따라, 가상 QUERTY 키보드의 키 갯수는 이를테면 12개로 줄일 수 있는데, 이 때 12개 중 9개는 문자키이고 나머지 3개는 shift 키, delete 키, select 키가 된다. 도 7은 일종의 축소키 키보드 200을 보여주고 있다. 각 문자 키는 이를테면 3개의 문자나 문자 조합 같은 다수의 문자를 표시한다. 단어 인식 프로그램이 단어를 구별해 내는 방법의 예는, select 키 또는 space 키를 누르면서 문자 키를 타이핑하는 것이다. 축소키 키보드 패턴에 의해, 본 발명에 따른 소형화 (miniaturation)가 강화될 뿐 아니라 다른 장점들이 제공된다.
발명의 실시예에 따라 도 8에서처럼, 축소키 키보드는 표준 터치 스크린/슬라이드 패드 마우스 (touch screen/slidepad mouse) 220 상에 가상적 (virtual) 또는 물리적 (physical) 터치 레이아웃 (touch layout) 210으로서 통합된다. 프로그램은 터치 스크린 220을 지속적으로 감시하면서, 가상 옵션 버튼 230이나 물리적 옵션 버튼 240이 선택되어 조작 모드가 표준 터치패드 마우스 ("상대적" 모드)에서 키보드 입력 터치패드 ("절대적" 모드)로 전환되는 때를 프로그램이 탐지한다. 키보드 모드로 들어가면, 본 발명에 따른 키 패턴 오버레이 (key pattern overlay, 예를 들면 문자 키보드, 숫자판, 그리고/또는 개별 키)는 터치스크린 상에 직접 표시되는 동시에; 관련된 스크린 상에 표시되거나, 혹은 터치스크린이나 관련된 스크린 중 어느 한 쪽에 표시된다. 그 다음에 사용자가 문자/단어 혹은 기타 입력을 만들어 내기 위해 키보드에서 어떤 키를 두드리는지 탐지된다. 위에서 언급한 모드 스위칭으로 축소키 키보드를 표준 터치패드 마우스와 연결하여 사용하면, 상당한 소형화, 속도 및 기타 장점이 제공된다.
또다른 실시예에 따르면 다양한 조작 서브모드를 빠져나가거나 들어가기 위해서 가상 혹은 물리적 선택 버튼이나 기타 버튼 230, 240을 여러번 누를 수 있다. 첫 번째 터치는 상대적 모드에서 절대적 모드로 전환되도록 할 수 있으며, 그 이후의 터치는 영문자, 숫자, 구두점 및 기타 서브-모드와 같은 절대적 서브모드로의 전환을 일으킬 수 있다. 예를 들면, 만약 표준 상대적 마우스 모드에 있는 동안 구두점을 입력하고자 한다면, 사용자는 적당한 버튼을 두드리거나 두번 버튼을 두드리면 된다. 즉, 처음에는 절대적 모드로 들어간 다음 구두점 입력 서브모드로 들어가 적당한 구두점을 넣고, 절대 키패드 모드로 돌아가기 위해 버튼을 한번 내지 두번 누르는 것이다. 버튼을 한 번 혹은 여러번 누르면, 상대적 모드와 절대적 모드 간의 전환이 가능하고, 어느 한 가지 모드, 이를테면 절대적 모드 안에서는 키보드, 숫자판, 구두점 입력 서브모드 혹은 기타 옵션을 선택하는 것이 가능하다.
영문자, 숫자 및 펑션 서브키보드를 이용해서 각 키 위에 서브키보드의 키를 겹쳐 키보드의 크기를 줄이는 기술 또한 알려져 있다. 영문자 서브키보드를 숫자와 펑션 서브키보드 위에 겹쳐 놓는 것을 한가지 예로 들 수 있다. 숫자 입력을 위해, 숫자들은 각 키 위에 인쇄되어 있지 않고 인접한 여러 키가 만나는 지점, 즉 키 사이의 간극에 인쇄되어 있다. 따라서 4개의 "쿼터 (quarter)" 키들은 원하는 숫자를 등록하기 위해 함께 조작되지만, 각 가상 숫자키는 완전한 규모를 갖는다 (full-sized). 각 숫자에 관련된 4개의 문자키 하부에는 감지 영역 (sensing area), 즉 포인트 혹은 구성 요소 (element) 혹은 영역 (region)이 존재하며, 사용자의 손가락이 원하는 숫자를 등록하면 충분한 수의 감지 영역이 활성화된다. 상기 기술로 키보드의 크기를 신용카드 크기로 줄일 수 있다. 상기 종류의 키 레이아웃의 예로는 미국특허번호 5,612,690 등이 있으며, 여기에서는 미국특허번호 5,612,690이 참고문헌으로 인용된다.
숫자와 펑션 서브키보드, 혹은 숫자 또는 펑션 서브키보드 상에 영문자 서브키보드를 겹치는 것처럼, 각각의 키 위에 다양한 서브키보드의 키를 겹쳐놓는 기술을 도 7~8과 함께 상기한 축소키 개념과 결합시켜, 본 발명에 따른 키보드 혹은 키보드 오버레이의 크기를 한층 더 감소시키는데 사용할 수 있다. 예를 들어 도 7의 레이아웃에서, 숫자 및 펑션 키, 또는 숫자 키, 펑션 키는 그림에서 보여진 세개의 문자키 (three-letter keys) 간의 물리적 혹은 가상 간극에 위치할 것이다. 그 결과로 생기는 복합 이미지는 전술한 방법대로 응용 출력 (application output) 상에 겹쳐질 것이다.
줌 (zoom)
다른 실시예들에 따라, 전술한 기술과 일치하는 방법으로 줌업/줌다운 기능 은 터치 스크린 혹은 다른 터치-감응식 입력 장치로 통합된다. 일단 가상 혹은 물리적 키에 의해 적당한 줌 모드가 활성화되면, 터치감응 표면에 사용자의 손가락 하나, 둘, 셋 혹은 그 이상이 접촉하여, 적당한 수의 감지 영역;과 그 위의 "지대 (zone)", 혹은 양자 중 어느 하나가 활성화되고, 그 결과 스크린 크기 그리고/또는 디스플레이되는 배율 정도를 제어하게 된다. 한가지 실시예에 따르면, 한 개의 손가락을 접촉하면 일반 스크린 크기 그리고/혹은 일반 배율이 적용되고, 두 개의 손가락을 접촉하면 두 배의 크기/배율로 줌업되며, 세 개의 손가락을 접촉하면 세배의 크기/배율로 줌업된다. 줌다운 기능도 비슷하게 설정될 수 있다. 순차적인 단계상승 및 단계하강은 불필요하다. 예를 들어, 세 배의 크기/배율에서 일반 크기/배율로 감소시키는 동작은, 두 배의 크기/배율 모드로 들어가지 않고 단순히 한 손가락을 터치하면 된다.
따라서 사용자는 파일 메뉴로 들어가는 불편을 겪지 않고서 줌 특성으로 빠져나와 줌인과 줌아웃 기능을 마우스 따위를 이용해 선택할 수 있다. 가상적, 물리적 혹은 음성에 의해 작용하는 줌 기능 선택 버튼이 활성화되고, 동시 혹은 그 이후에 사용자의 손가락(혹은 포인팅 장치)이 한 시점에서 터치스크린을 얼마큼 점유하는지를 터치스크린/슬라이드패드가 스스로 결정하면서 사용된 손가락 수에 알맞는 특정 스크린 크기/배율을 제공한다. 좀 더 상세한 실시예에 따르면, 터치감응 입력 장치 상에서 활성화된 감지 영역 혹은 접촉 지대의 수에 의존하여 적당한 줌 기능성이 나타난다.
상기 특성들은 휴대가능하고 착용가능한 컴퓨터에 특히 적절하게 응용되는데, 팔목에 장착하는 스크린처럼 소형 스크린이 상기 컴퓨터에 사용되며 이 스크린은 일반적으로 통상적인 크기와 다르다. 기존 소프트웨어를 이용하기 위해서, 사용자는 어떤 경우에는 보다 큰 줌인 포맷으로, 어떤 경우에는 아이템들이 전체 페이지를 어떻게 조망하고 있는지에 관해 알 수 있도록 줌아웃 포맷으로 스크린 특성을 보고자 할 수 있다.
기타 하드웨어
상기 터치 스크린에서의 문제점은, 소형 컴퓨터와 소형 스크린을 사용 시에 사용자의 손이 종종 스크린 자체보다 더 크다는 사실이다. 그러므로 본 발명의 실시예에 따라, 280에서 보여주는 것처럼 수축가능한 (retractable) 손잡이 260 (도 9~10)은 터치스크린 270에 대해 펼쳐져 있는 위치와 수축되어 들어간 위치 사이를 움직여서, 터치스크린 270의 왼편 혹은 오른편 중 어느 한쪽에서 편리하게 고정할 수 있는 메커니즘을 제공한다. 손잡이 260을 왼편에서 오른편으로 이동시키기거나 그 반대로 이동시키기 위해서, 290에서 보이는 것처럼 손잡이를 터치스크린 위로 돌릴 수 있도록 추축 (pivot) 285가 제공된다. 속으로 들어간 위치에서, 손잡이는 터치스크린의 뒷면에 붙잡혀 있어서 추축 운동을 가능하게 한다. 손잡이를 이동시키는 도중 혹은 펼쳐진 위치에 있을 때 일어날 수 있는 추축 운동을 막기 위해서, 볼 또는 유사한 돌출부가 측면의 홈 속에 물려 있다. 따라서 본 발면의 실시예는 도 10에서 보여주는 것처럼 왼손잡이와 오른손잡이 사용자 모두에게 커다란 편의를 제공할 뿐 아니라, 서로 다른 작업을 하기 위해 다른 손을 쓰고자 할 경우에도 편의를 제공한다. 손잡이 260은 도 11에서처럼 운반 시에 쓰거나, 도 12에서처럼 목에 걸어 쓰는 실시예도 가능하며, 도 13에서처럼 VELCRO 띠 따위를 이용해 손목밴드로의 실시예도 가능하다. 게다가 또다른 실시예에 따라, 양면 터치스크린에 음성이나 터치로 스크린을 뒤집을 수 있는 기능을 제공하면, 손잡이를 한 쪽에서 다른 쪽으로 추축운동하지 않고서도 손잡이로 터치스크린을 왼손으로 혹은 오른손으로 잡도록 만들 수 있다.
전술했듯이, 본 발명의 실시예들은 음성 인식의 실시예 또는 수동조작이 불필요한 실시예, 아니면 동시에 두 실시예로 응용된다. 마이크/스피커를 터치감응식 입력 장치의 전면에 배치하여, 사용자가 따로 마이크/스피커를 갖고 있지 않아도 상기 장치를 보고 말할 수 있도록 할 수 있다. 음성 명령은 키보드 오버레이와 음성 입력 모드를 동시에 혹은 독립적으로 켜고 끌 수 있도록 변화시키는데에 쓸 수 있고, 콘트라스트, 키보드 표시 종류, 키보드/커서 모드 등을 변화시키는데에도 쓸 수 있다. 뿐만 아니라 음성 명령은 터치스크린 자체를 활성화하는데에 쓸 수 있으므로, 이를테면 사용자의 호주머니 속에서 우연히 켜지는 것을 방지할 수도 있다.
유의할 사실은, 본 응용의 상세한 특성들 뿐 아니라 참고 문헌과 통합된 상기 응용에서 기술된 특성들도 첨가 및 조합하여 특정 상황에 적합화시킬 수 있다는 점이다. 다양한 기타 수정과 변경은 통상 기술자에게 명백히 이해될 수 있을 것이다.

Claims (27)

  1. 스크린 주변 시스템으로서, 주 이미지를 제공하는 컴퓨터 장치와; 스크린 주변 시스템의 사용자가 볼 수 있는 복합 이미지를 생성하고 디스플레이하기 위한 터치감응식 입력 장치를 포함하되, 상기 복합 이미지는 상기 컴퓨터 장치에 의해 제공되는 주 이미지와, 상기 주 이미지 위에 놓이며, 입력 기능을 활성화하기 위한 적어도 하나의 키 표시를 동시에 포함하고, 상기 스크린 주변 시스템은 상기 주 이미지와 상기 적어도 하나의 키 표시를 형성하기 위하여 가변 픽셀 제어를 구비하며, 상기 가변 픽셀 제어는 주 이미지를 형성하는 선택된 픽셀들에 의존하는 복합 이미지 내에 적어도 하나의 키 표시를 형성하기 위하여 선택된 픽셀들을 제어하는 것을 특징으로 하는 스크린 주변 시스템.
  2. 제 1 항에 있어서, 상기 가변 픽셀 제어는 상기 컴퓨터 장치에 의해 제공된 적어도 하나의 키 표시와 주 이미지 사이의 콘트라스트 조정을 제공하는 것을 특징으로 하는 스크린 주변 시스템
  3. 제 2 항에 있어서, 상기 콘트라스트 조정은 적어도 하나의 키표시의 두께, 휘도, dotted-ness 중 적어도 어느 하나를 변화시키는 것을 특징으로 하는 스크린 주변 시스템.
  4. 제 1 항에 있어서, 상기 적어도 하나의 키 표시는 점선 (dotted line)으로 표시되는 것을 특징으로 하는 스크린 주변 시스템.
  5. 제 1 항에 있어서, 상기 적어도 하나의 키 표시는 키보드 전체를 표시하는 것을 특징으로 하는 스크린 주변 시스템.
  6. 제 1 항에 있어서, 상기 터치감응식 입력 장치는 사용자가 입력 장치를 순간적으로 터치하는 것에 의해 입력 기능을 활성화시키는 키보드 모드와, 사용자가 상기 터치감응식 입력 장치와 결합된 커서를 이동시키는 커서 모드로 동작되며, 상기 커서 모드는 설정 시간동안 입력 장치를 지속적으로 터치하는 것에 의해 상기 키보드 모드로부터 진입되는 것을 특징으로 하는 스크린 주변 시스템.
  7. 제 1 항에 있어서, 상기 컴퓨터 장치는 상기 주 이미지와 적어도 하나의 키 표시를 병합하는 것에 의해 상기 복합 이미지를 형성하는 것을 특징으로 하는 스크린 주변 시스템.
  8. 제 7 항에 있어서, 상기 컴퓨터 장치는 비트-블록 형태 (bit-block-type)의 전송 동작을 이용하여 상기 주 이미지와 적어도 하나의 키 표시를 병합하는 것을 특징으로 하는 스크린 주변 시스템.
  9. 제 8 항에 있어서, 상기 비트-블록 형태의 전송 동작은 주 이미지 픽셀 세트, 적어도 하나의 키 표시 픽셀 세트, 상기 주 이미지 픽셀들이 적어도 하나의 키 표시 픽셀들과 병합되도록 제어하는 이미지 마스크 세트의 3가지 세트의 논리 조합으로 수행하는 것을 특징으로 하는 스크린 주변 시스템.
  10. 제 1 항에 있어서, 상기 복합 이미지의 각 픽셀은 주 이미지 픽셀들 또는 적어도 하나의 키 표시 픽셀 들 중에서 어느 한쪽 100%로 구성되는 것을 특징으로 하는 스크린 주변 시스템.
  11. 제 1 항에 있어서, 상기 컴퓨터 장치는 적어도 하나의 키 표시 전체 픽셀 중에서 복합 이미지에서 보여지지 않는 키보드 영역을 나타내는 X%를 제거하고, 상기 컴퓨터 장치는 주 이미지 전체 픽셀 중에서 복합 이미지에서는 보여지지 않는 주 이미지 영역을 나타내는 (100-X)%를 제거하며, 상기 컴퓨터 장치는 픽셀이 제거된 키 표시와 픽셀이 제거된 주 이미지를 병합하여 상기 복합 이미지를 형성하는 것을 특징으로 하는 스크린 주변 시스템.
  12. 제 1 항에 있어서, 상기 복합 이미지는 적어도 하나의 키 표시와 주 이미지 표시의 혼합된 음영 (blended shadow)을 포함하는 것을 특징으로 하는 스크린 주변 시스템.
  13. 제 12 항에 있어서, 상기 컴퓨터 장치는 적어도 하나의 키 표시와 주 이미지의 혼합을 조절함으로써 상기 혼합 음영의 휘도/암도 (brightness/darkness)를 제어하는 것을 특징으로 하는 스크린 주변 시스템.
  14. 제 1 항에 있어서, 상기 컴퓨터 장치는 어떤 응용 소프트웨어를 실행하고, 상기 주 이미지는 상기 컴퓨터 장치에 의해 실행된 상기 소프트웨어에 의해 발생하는 출력 이미지인 것을 특징으로 하는 스크린 주변 시스템.
  15. 제 1 항에 있어서, 상기 터치감응식 입력 장치는 상기 터치감응식 입력 장치와 접촉하는 사용자의 손가락 수에 의존적인 줌업/줌다운 기능을 제공하는 것을 특징으로 하는 스크린 주변 시스템.
  16. 제 1 항에 있어서, 상기 터치감응식 입력 장치는 사용자가 상기 터치감응식 입력 장치의 선택된 영역과 접촉하는 횟수에 의존적인 상대적 입력 모드와 절대적 입력 모드 사이의 변환을 허용하는 것을 특징으로 하는 스크린 주변 시스템.
  17. 제 1 항에 있어서, 상기 터치감응식 입력 장치는 사용자가 상기 터치감응식 입력 장치의 선택된 영역을 접촉하는 횟수에 의존적인 키보드 영문자 및 숫자 세트 변환을 허용하는 것을 특징으로 하는 스크린 주변 시스템.
  18. 제 1 항의 상기 스크린 주변 시스템을 포함하는 것을 특징으로 하는 착용 가능한 컴퓨터 시스템.
  19. 컴퓨터 장치가 제공하는 주 이미지 위에 적어도 하나의 키 표시를 겹치되, (a) 적어도 하나의 키 표시가 입력 기능을 활성화시키는 동시에 상기 적어도 하나의 키 표시를 형성하기 위해 가변 픽셀 제어를 사용하고, 상기 적어도 하나의 키 표시를 형성하기 위해 선택된 픽셀이 상기 주 이미지를 형성하기 위해 선택된 픽셀에 의존하게끔 상기 가변 픽셀 제어가 유도하는 동시에 주 이미지를 형성하는데에 상기 가변 픽셀 제어를 사용하는 단계와; (b) 컴퓨터 장치가 생성한 상기 주 이미지와 주 이미지 위에 겹쳐지는 상기 적어도 하나의 키 표시를 상기 복합 이미지가 동시에 포함하면서, 상기 스크린 주변 시스템의 사용자가 볼 수 있는 상기 복합 이미지를 생성하고 디스플레이하는 단계;로 이루어지는 것을 특징으로 하는 방법.
  20. 제 19 항에 있어서, 단계 (b)는 상기 적어도 하나의 키 표시와 상기 주 이미지를 병합하는 단계를 포함하는 것을 특징으로 하는 방법.
  21. 제 20 항에 있어서, 상기 병합 단계는 비트-블록 형태의 전송 동작의 단계를 포함하는 것을 특징으로 하는 방법.
  22. 제 21 항에 있어서, 단계 (b)가, (aa) 상기 주 이미지에 대한 픽셀; (bb) 상기 적어도 하나의 키 표시에 대한 픽셀; (cc) 상기 주 이미지의 어떤 픽셀이 상기 적어도 하나의 키 표시의 어떤 픽셀과 병합될 것인지를 제어하기 위한 이미지 마스크 (image mask) 등, 세가지 세트의 픽셀의 결합을 포함하는 것을 특징으로 하는 방법.
  23. 제 21 항에 있어서, 단계 (b)는, (c) 적어도 하나의 키 표시 전체 픽셀 중에서, 상기 복합 이미지에서는 보이지 않는 키보드 영역을 나타내는 X%를 제거하는 단계, (d) 주 이미지 전체 픽셀 중에서, 상기 복합 이미지에서는 보이지 않는 주 이미지 영역을 나타내는 (100-X)%를 제거하는 단계, (e) 상기 픽셀이 제거된 키 표시와 상기 픽셀이 제거된 주 이미지를 병합하여 상기 복합 이미지를 형성하는 단계 등, 세 단계를 포함하는 것을 특징으로 하는 방법.
  24. 제 19 항에 있어서, 상기 복합 이미지가 상기 적어도 하나의 키 표시와 상기 주 이미지의 혼합된 음영을 포함하는 것을 특징으로 하는 방법.
  25. 제 24 항에 있어서, 단계 (b)는 상기 적어도 하나의 키 표시와 상기 주 이미지의 픽셀 혼합을 제어하는 것에 의해, 상기 혼합된 음영의 휘도/암도를 제어하는 것을 특징으로 하는 방법.
  26. 적어도 두 베이스 이미지 (base image)로부터 복합 이미지를 생성하되, (a) 첫번째 상기 베이스 이미지를 디스플레이하는 단계, (b) 두번째 상기 베이스 이미지의 이미지를 만드는 단계, (c) 상기 첫번째 베이스 이미지 상의 오버레이로서 상기 두번째 베이스 이미지를 디스플레이하는 단계, (d) 디스플레이 이벤트 (display event)를 기다리는 단계, (e) 실행을 하지 않거나, 디스플레이 이벤트의 형태에 의존하여 상기 첫번째 베이스 이미지의 오버레이로서 상기 두번째 베이스 이미지를 다시 그리는 단계 등을 포함하는 것을 특징으로 하는 방법.
  27. 제 26 항에 있어서, 단계 (e)는, 디스플레이 이벤트동안 다시 그린 디스플레이의 영역이 상기 두번째 베이스 이미지와 중복되는지의 결정을 포함하는 것을 특징으로 하는 방법.
KR1019997001648A 1996-08-28 1997-08-28 터치 스크린 장치 및 방법 KR100627378B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US2478096P 1996-08-28 1996-08-28
US2802896P 1996-10-09 1996-10-09
US3619597P 1997-01-21 1997-01-21
US60/028,028 1997-01-21
US60/024,780 1997-01-21
US60/036,195 1997-01-21

Publications (2)

Publication Number Publication Date
KR20000035912A true KR20000035912A (ko) 2000-06-26
KR100627378B1 KR100627378B1 (ko) 2006-09-22

Family

ID=27362393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019997001648A KR100627378B1 (ko) 1996-08-28 1997-08-28 터치 스크린 장치 및 방법

Country Status (7)

Country Link
US (1) US6121960A (ko)
EP (1) EP0922275A4 (ko)
JP (1) JP2000517445A (ko)
KR (1) KR100627378B1 (ko)
AU (1) AU727387B2 (ko)
CA (1) CA2264167A1 (ko)
WO (1) WO1998009270A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101076896B1 (ko) * 2004-11-23 2011-10-25 마이크로소프트 코포레이션 우발적인 접촉 감응식 장치 활성화를 감소시키는 방법
KR20150114433A (ko) * 2014-03-31 2015-10-12 삼성디스플레이 주식회사 터치 이벤트들의 레이턴시를 감소시키는 방법 및 그 시스템
KR20160128926A (ko) * 2015-04-28 2016-11-08 삼성디스플레이 주식회사 터치 경로에 대응하는 디스플레이 패널에 대한 마스크 오버레이를 생성하기 위한 방법 및 시스템

Families Citing this family (354)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8183998B2 (en) * 1996-12-16 2012-05-22 Ip Holdings, Inc. System for seamless and secure networking of implantable medical devices, electronic patch devices and wearable devices
US6169789B1 (en) * 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US20060033724A1 (en) * 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7760187B2 (en) 2004-07-30 2010-07-20 Apple Inc. Visual expander
US6130665A (en) * 1998-04-01 2000-10-10 Telefonaktiebolaget Lm Ericsson Touch screen handling
US6392637B2 (en) * 1998-08-13 2002-05-21 Dell Usa, L.P. Computer system having a configurable touchpad-mouse button combination
US6396477B1 (en) * 1998-09-14 2002-05-28 Microsoft Corp. Method of interacting with a computer using a proximity sensor in a computer input device
US7358956B2 (en) 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US6456275B1 (en) 1998-09-14 2002-09-24 Microsoft Corporation Proximity sensor in a computer input device
US7256770B2 (en) * 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
US6433774B1 (en) * 1998-12-04 2002-08-13 Intel Corporation Virtualization of interactive computer input
USRE43082E1 (en) 1998-12-10 2012-01-10 Eatoni Ergonomics, Inc. Touch-typable devices based on ambiguous codes and methods to design such devices
US7168048B1 (en) 1999-03-24 2007-01-23 Microsoft Corporation Method and structure for implementing a layered object windows
US7472910B1 (en) * 1999-03-30 2009-01-06 Canon Kabushiki Kaisha Animation display apparatus, arcade game machine, control method and apparatus thereof, and storage medium
US6982695B1 (en) * 1999-04-22 2006-01-03 Palmsource, Inc. Method and apparatus for software control of viewing parameters
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US10728381B2 (en) * 1999-06-04 2020-07-28 Raman K. Rao Reconfigurable mobile device interfaces supporting authenticated high quality video, audio, TV and multimedia services
CN1378718A (zh) * 1999-09-07 2002-11-06 西奎公司 一种用于个人数字助理以及集成网络浏览和数据输入装置的小型键盘
EP1098244A3 (en) * 1999-11-02 2001-06-13 CANAL + Société Anonyme Graphical user interface
CN102819428B (zh) 1999-09-27 2018-11-13 汤姆森许可公司 窗口***
EP1094385A1 (en) * 1999-09-27 2001-04-25 CANAL+ Société Anonyme Windowing systems
US6909424B2 (en) * 1999-09-29 2005-06-21 Gateway Inc. Digital information appliance input device
US6466198B1 (en) * 1999-11-05 2002-10-15 Innoventions, Inc. View navigation and magnification of a hand-held device with a display
US6501463B1 (en) * 1999-12-10 2002-12-31 Siemens Technology -To-Business Center Llc Electronic whiteboard system using a tactile foam sensor
US7434177B1 (en) 1999-12-20 2008-10-07 Apple Inc. User interface for providing consolidation and access
US6686938B1 (en) 2000-01-05 2004-02-03 Apple Computer, Inc. Method and system for providing an embedded application toolbar
EP1118929A3 (en) * 2000-01-19 2004-04-07 Siemens Aktiengesellschaft Interactive input with limit-value monitoring and online help for a palmtop device
US7138983B2 (en) * 2000-01-31 2006-11-21 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP4878667B2 (ja) * 2000-02-17 2012-02-15 富士通コンポーネント株式会社 座標検出装置及び座標検出方法
US6630924B1 (en) * 2000-02-22 2003-10-07 International Business Machines Corporation Gesture sensing split keyboard and approach for capturing keystrokes
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
DE10110864B4 (de) * 2000-03-27 2015-08-13 Heidelberger Druckmaschinen Ag Druckmaschine mit Sichtfenster und mit im Bereich des Sichtfensters angeordneten Steuer- und/oder Anzeigeelementen
US7450114B2 (en) * 2000-04-14 2008-11-11 Picsel (Research) Limited User interface systems and methods for manipulating and viewing digital documents
US7576730B2 (en) 2000-04-14 2009-08-18 Picsel (Research) Limited User interface systems and methods for viewing and manipulating digital documents
WO2001086621A1 (en) * 2000-05-09 2001-11-15 John Edwin Mccloud Portable electronic device with rear-facing touch typing keyboard
US6741235B1 (en) * 2000-06-13 2004-05-25 Michael Goren Rapid entry of data and information on a reduced size input area
US7792676B2 (en) * 2000-10-25 2010-09-07 Robert Glenn Klinefelter System, method, and apparatus for providing interpretive communication on a network
US6501464B1 (en) * 2000-10-31 2002-12-31 Intel Corporation On-screen transparent keyboard interface
US7079673B2 (en) * 2002-02-05 2006-07-18 University Of Medicine & Denistry Of Nj Systems for analyzing microtissue arrays
US7171030B2 (en) * 2000-11-30 2007-01-30 University Of Medicine & Denistry Of New Jersey Systems for analyzing microtissue arrays
EP1352303A4 (en) * 2001-01-08 2007-12-12 Vkb Inc DATA INPUT DEVICE
DE20101768U1 (de) * 2001-01-31 2002-03-14 Siemens Ag Anzeige- und Bedienvorrichtung, insbesondere Touch Panel
US7012595B2 (en) * 2001-03-30 2006-03-14 Koninklijke Philips Electronics N.V. Handheld electronic device with touch pad
DE10121607B4 (de) * 2001-05-04 2008-11-06 Völckers, Oliver Einrichtung zur Steuerung eines Cursors bzw. Mauszeigers über eine Eingabetastatur mit integrierter Maussteuerung und Verfahren zur Betätigung der Zeigersteuerung
TW516358B (en) * 2001-05-10 2003-01-01 Darfon Electronics Corp A data input apparatus and an auxiliary data input apparatus
US7730401B2 (en) * 2001-05-16 2010-06-01 Synaptics Incorporated Touch screen with user interface enhancement
EP1399803B1 (en) * 2001-06-12 2010-06-09 Research In Motion Limited Portable electronic device with keyboard
US20030001899A1 (en) * 2001-06-29 2003-01-02 Nokia Corporation Semi-transparent handwriting recognition UI
US20030013522A1 (en) * 2001-07-10 2003-01-16 Muir David Hugh Automatic electronic display alignment
US7761175B2 (en) 2001-09-27 2010-07-20 Eatoni Ergonomics, Inc. Method and apparatus for discoverable input of symbols on a reduced keypad
CN1559029A (zh) * 2001-11-16 2004-12-29 米厄里戈公司 扩充式键盘
US6888537B2 (en) 2002-02-13 2005-05-03 Siemens Technology-To-Business Center, Llc Configurable industrial input devices that use electrically conductive elastomer
US6882337B2 (en) * 2002-04-18 2005-04-19 Microsoft Corporation Virtual keyboard for touch-typing using audio feedback
US7190351B1 (en) 2002-05-10 2007-03-13 Michael Goren System and method for data input
US7415677B2 (en) * 2002-06-05 2008-08-19 Sap Aktiengesellschaft Temporary communication areas for a computer user interface
US7456823B2 (en) * 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
US6776546B2 (en) * 2002-06-21 2004-08-17 Microsoft Corporation Method and system for using a keyboard overlay with a touch-sensitive display screen
AU2003244973A1 (en) 2002-07-04 2004-01-23 Koninklijke Philips Electronics N.V. Automatically adaptable virtual keyboard
JP3630153B2 (ja) 2002-07-19 2005-03-16 ソニー株式会社 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
US8643667B2 (en) * 2002-08-02 2014-02-04 Disney Enterprises, Inc. Method of displaying comic books and similar publications on a computer
US20040046742A1 (en) * 2002-09-06 2004-03-11 Deanna Johnson Keyboard for tablet computers
US20040138849A1 (en) * 2002-09-30 2004-07-15 Albrecht Schmidt Load sensing surface as pointing device
JP4234471B2 (ja) * 2003-03-14 2009-03-04 富士通株式会社 入力情報処理装置、方法及びプログラム
US20040212595A1 (en) * 2003-04-28 2004-10-28 Debiao Zhou Software keyboard for computer devices
US7116311B2 (en) * 2003-05-09 2006-10-03 Microsoft Corporation Embedded text input
US9024884B2 (en) 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
US8200865B2 (en) 2003-09-11 2012-06-12 Eatoni Ergonomics, Inc. Efficient method and apparatus for text entry based on trigger sequences
US20050104855A1 (en) * 2003-11-19 2005-05-19 Paradigm Research Technologies Llc Double side transparent keyboard for miniaturized electronic appliances
US20050114115A1 (en) * 2003-11-26 2005-05-26 Karidis John P. Typing accuracy relaxation system and method in stylus and other keyboards
JP4388359B2 (ja) * 2003-12-17 2009-12-24 株式会社ケンウッド 車載用マンマシン・インタフェース装置、方法、及びプログラム
WO2005065034A2 (en) * 2004-01-05 2005-07-21 Dikla Hasson System and method for improving typing skills
US7250938B2 (en) * 2004-01-06 2007-07-31 Lenovo (Singapore) Pte. Ltd. System and method for improved user input on personal computing devices
US11455799B2 (en) 2004-01-30 2022-09-27 Airspace Reality Image networks for mobile communication
US8965460B1 (en) 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US10140514B1 (en) 2004-01-30 2018-11-27 Ip Holdings, Inc. Capturing and sharing images with mobile device users including for a limited duration of time
JP2005267424A (ja) * 2004-03-19 2005-09-29 Fujitsu Ltd データ入力装置、情報処理装置、データ入力方法、データ入力プログラム
US7176888B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Selective engagement of motion detection
US7365737B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Non-uniform gesture precision
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US7180501B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited Gesture based navigation of a handheld user interface
US7301529B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
US7301527B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Feedback based user interface for motion controlled handheld devices
US7301526B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Dynamic adaptation of gestures for motion controlled handheld devices
US7180502B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited Handheld device with preferred motion selection
US7365736B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Customizable gesture mappings for motion controlled handheld devices
US7173604B2 (en) * 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US20050212753A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US7903084B2 (en) * 2004-03-23 2011-03-08 Fujitsu Limited Selective engagement of motion input modes
US7280096B2 (en) * 2004-03-23 2007-10-09 Fujitsu Limited Motion sensor engagement for a handheld device
US7365735B2 (en) * 2004-03-23 2008-04-29 Fujitsu Limited Translation controlled cursor
US7176887B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Environmental modeling for motion controlled handheld devices
US7301528B2 (en) * 2004-03-23 2007-11-27 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7176886B2 (en) * 2004-03-23 2007-02-13 Fujitsu Limited Spatial signatures
US7180500B2 (en) * 2004-03-23 2007-02-20 Fujitsu Limited User definable gestures for motion controlled handheld devices
US20050275661A1 (en) * 2004-06-10 2005-12-15 Cihula Joseph F Displaying a trusted user interface using background images
US20050277448A1 (en) * 2004-06-10 2005-12-15 Motorola, Inc. Soft buttons on LCD module with tactile feedback
US7515135B2 (en) * 2004-06-15 2009-04-07 Research In Motion Limited Virtual keypad for touchscreen display
EP1607847A1 (en) * 2004-06-15 2005-12-21 Research In Motion Limited Method and apparatus for changing the transparency level of a virtual keypad on a touchscreen display.
US20060007178A1 (en) * 2004-07-07 2006-01-12 Scott Davis Electronic device having an imporoved user interface
US7719523B2 (en) 2004-08-06 2010-05-18 Touchtable, Inc. Bounding box gesture recognition on a touch detecting interactive display
US20060036968A1 (en) * 2004-08-11 2006-02-16 Aurobinda Pradhan Confirming a processing action
US20060066590A1 (en) * 2004-09-29 2006-03-30 Masanori Ozawa Input device
US8744852B1 (en) 2004-10-01 2014-06-03 Apple Inc. Spoken interfaces
US20060164392A1 (en) * 2005-01-21 2006-07-27 Chaokuo Mao Integrated mouse and the keyboard device
US7487461B2 (en) * 2005-05-04 2009-02-03 International Business Machines Corporation System and method for issuing commands based on pen motions on a graphical keyboard
CN101218100B (zh) * 2005-07-08 2011-07-13 佳能株式会社 热喷墨墨和使用该热喷墨墨的墨盒
GB2428153A (en) * 2005-07-08 2007-01-17 Sharp Kk Interactive multiple view display
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US20070086825A1 (en) * 2005-10-15 2007-04-19 Min Byung K Circular keyboard
US8459885B2 (en) * 2005-10-15 2013-06-11 Byung Kon Min Clock face keyboard
DE102005050696A1 (de) * 2005-10-18 2007-06-21 Siemens Ag Mechanische Taste, mechanisches Tastenfeld und elektronisches Gerät
US20070150364A1 (en) * 2005-12-22 2007-06-28 Andrew Monaghan Self-service terminal
US20070202914A1 (en) * 2006-02-27 2007-08-30 Texas Instruments Incorporated Wireless telephone handset with internet browsing capability
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US7705231B2 (en) 2007-09-07 2010-04-27 Microsoft Corporation Automatic accompaniment for vocal melodies
US10026177B2 (en) 2006-02-28 2018-07-17 Microsoft Technology Licensing, Llc Compact interactive tabletop with projection-vision
US20100039395A1 (en) * 2006-03-23 2010-02-18 Nurmi Juha H P Touch Screen
KR20070113018A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 그 실행방법
KR101327581B1 (ko) * 2006-05-24 2013-11-12 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
KR101269375B1 (ko) * 2006-05-24 2013-05-29 엘지전자 주식회사 터치스크린 장치 및 이의 이미지 표시방법
KR20070113025A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 터치스크린 장치 및 이의 작동방법
KR20070113022A (ko) 2006-05-24 2007-11-28 엘지전자 주식회사 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법
US20090213086A1 (en) * 2006-04-19 2009-08-27 Ji Suk Chae Touch screen device and operating method thereof
TW200805131A (en) 2006-05-24 2008-01-16 Lg Electronics Inc Touch screen device and method of selecting files thereon
KR100830467B1 (ko) * 2006-07-13 2008-05-20 엘지전자 주식회사 터치 패널을 갖는 영상기기 및 이 영상기기에서 줌 기능을수행하는 방법
JP4761553B2 (ja) * 2006-08-03 2011-08-31 キヤノン株式会社 プレゼンテーション装置及び制御方法
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
KR100764652B1 (ko) * 2006-10-25 2007-10-08 삼성전자주식회사 터치스크린을 가지는 단말기의 키 입력 장치 및 방법
US7602378B2 (en) * 2006-10-26 2009-10-13 Apple Inc. Method, system, and graphical user interface for selecting a soft keyboard
US8570278B2 (en) 2006-10-26 2013-10-29 Apple Inc. Portable multifunction device, method, and graphical user interface for adjusting an insertion point marker
US7856605B2 (en) 2006-10-26 2010-12-21 Apple Inc. Method, system, and graphical user interface for positioning an insertion marker in a touch screen display
US20080150903A1 (en) * 2006-12-21 2008-06-26 Inventec Corporation Electronic apparatus with dual-sided touch device
US7855718B2 (en) 2007-01-03 2010-12-21 Apple Inc. Multi-touch input discrimination
US8130203B2 (en) 2007-01-03 2012-03-06 Apple Inc. Multi-touch input discrimination
US8269727B2 (en) 2007-01-03 2012-09-18 Apple Inc. Irregular input identification
US7876310B2 (en) 2007-01-03 2011-01-25 Apple Inc. Far-field input identification
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US8022942B2 (en) * 2007-01-25 2011-09-20 Microsoft Corporation Dynamic projected user interface
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20080252609A1 (en) * 2007-04-16 2008-10-16 Yan-Zhi Lu Image display and touch input integration module
US8125457B2 (en) * 2007-04-27 2012-02-28 Hewlett-Packard Development Company, L.P. Switching display mode of electronic device
KR101066736B1 (ko) * 2007-06-12 2011-09-21 엘지전자 주식회사 휴대용 단말기
US20080320418A1 (en) * 2007-06-21 2008-12-25 Cadexterity, Inc. Graphical User Friendly Interface Keypad System For CAD
US20080320383A1 (en) * 2007-06-25 2008-12-25 Microsoft Corporation Presentation of numerous and arbitrarily sized figures within a document
KR101365595B1 (ko) * 2007-08-16 2014-02-21 삼성전자주식회사 Ｇｕｉ기반의 디스플레이부를 구비한 디바이스의 입력 방법및 그 장치
WO2009032151A1 (en) * 2007-09-05 2009-03-12 Wms Gaming Inc. Gaming system having dynamic player inputs
US20090091541A1 (en) * 2007-10-09 2009-04-09 Stephen Chen Method for controlling appearing and disappearing of screen keyboard tables
US20090128504A1 (en) * 2007-11-16 2009-05-21 Garey Alexander Smith Touch screen peripheral device
KR101352994B1 (ko) * 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20090219252A1 (en) * 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
US8650507B2 (en) 2008-03-04 2014-02-11 Apple Inc. Selecting of text using gestures
US8201109B2 (en) 2008-03-04 2012-06-12 Apple Inc. Methods and graphical user interfaces for editing on a portable multifunction device
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
TWI364688B (en) * 2008-04-25 2012-05-21 High Tech Comp Corp Key adapted for an input device
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10031549B2 (en) * 2008-07-10 2018-07-24 Apple Inc. Transitioning between modes of input
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US20100038151A1 (en) * 2008-08-14 2010-02-18 Stephen Chen Method for automatic switching between a cursor controller and a keyboard of depressible touch panels
US20100042564A1 (en) * 2008-08-15 2010-02-18 Beverly Harrison Techniques for automatically distingusihing between users of a handheld device
CA2740401C (en) * 2008-09-23 2014-11-18 Aerovironment, Inc. Predictive pulse width modulation for an open delta h-bridge driven high efficiency ironless permanent magnet machine
JP2010086230A (ja) 2008-09-30 2010-04-15 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9041660B2 (en) 2008-12-09 2015-05-26 Microsoft Technology Licensing, Llc Soft keyboard control
DE102008061831A1 (de) * 2008-12-11 2010-06-17 Wincor Nixdorf International Gmbh Anzeige-und Bedienvorrichtung
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US8839154B2 (en) * 2008-12-31 2014-09-16 Nokia Corporation Enhanced zooming functionality
US20100164878A1 (en) * 2008-12-31 2010-07-01 Nokia Corporation Touch-click keypad
JP5099040B2 (ja) * 2009-02-23 2012-12-12 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US8370736B2 (en) 2009-03-16 2013-02-05 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
US20100275126A1 (en) * 2009-04-27 2010-10-28 Scott David Lincke Automatic On-Screen Keyboard
EP3629139A1 (en) * 2009-04-30 2020-04-01 Wacom Co., Ltd. Operating a touch screen control system according to a plurality of rule sets
DE102009019563A1 (de) * 2009-04-30 2010-11-04 Volkswagen Ag Verfahren und Vorrichtung zum Anzeigen von in Listen geordneter Information
US8558796B2 (en) * 2009-05-07 2013-10-15 Headwater Partners Ii Llc Overlay keyboard for touch screen devices
US9367216B2 (en) * 2009-05-21 2016-06-14 Sony Interactive Entertainment Inc. Hand-held device with two-finger touch triggered selection and transformation of active elements
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110148436A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated System and method for determining a number of objects in a capacitive sensing region using signal grouping
US20110148438A1 (en) * 2009-12-18 2011-06-23 Synaptics Incorporated System and method for determining a number of objects in a capacitive sensing region using a shape factor
US9336326B2 (en) * 2009-12-29 2016-05-10 Cellco Partnership Browser based objects for copying and sending operations
EP2341413B1 (en) * 2009-12-31 2016-11-16 Sony Computer Entertainment Europe Limited Entertainment device and method of content navigation
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
DE202011111062U1 (de) 2010-01-25 2019-02-19 Newvaluexchange Ltd. Vorrichtung und System für eine Digitalkonversationsmanagementplattform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
CN102844733A (zh) * 2010-02-26 2012-12-26 喀普康有限公司 计算机装置、存储介质以及控制方法
KR101655812B1 (ko) * 2010-05-06 2016-09-08 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
US20120011460A1 (en) * 2010-07-12 2012-01-12 Action Star Enterprise Co., Ltd. System capable of simulating variety of output/input devices
US8289702B2 (en) * 2010-08-11 2012-10-16 Sihar Ahmad Karwan Universal rearward keyboard with means for inserting a portable computational display
KR101044320B1 (ko) * 2010-10-14 2011-06-29 주식회사 네오패드 가상 키입력수단의 배경화면 컨텐츠 제공 방법 및 시스템
WO2012065885A1 (en) * 2010-11-15 2012-05-24 Movea Smart air mouse
US8797283B2 (en) 2010-11-22 2014-08-05 Sony Computer Entertainment America Llc Method and apparatus for performing user-defined macros
US20120146913A1 (en) * 2010-12-13 2012-06-14 Hand Held Products, Inc. Portable data terminal stylus with rolling ball tip
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US8907903B2 (en) 2011-01-13 2014-12-09 Sony Computer Entertainment America Llc Handing control of an object from one touch input to another touch input
WO2012110678A1 (en) * 2011-02-15 2012-08-23 Nokia Corporation Displaying a panel
US9035940B2 (en) * 2011-03-08 2015-05-19 Nokia Corporation Apparatus and associated methods
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8661339B2 (en) 2011-05-31 2014-02-25 Apple Inc. Devices, methods, and graphical user interfaces for document manipulation
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US9529448B2 (en) * 2011-08-31 2016-12-27 Farzan Fallah Data entry systems and methods
US8730174B2 (en) 2011-10-13 2014-05-20 Blackberry Limited Device and method for receiving input
CN102439556A (zh) * 2011-10-20 2012-05-02 华为终端有限公司 一种软键盘显示方法和移动终端
US8682395B2 (en) * 2012-01-27 2014-03-25 Blackberry Limited Communications device and method having non-touch based input screen
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
KR101956082B1 (ko) 2012-05-09 2019-03-11 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169846A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying additional information in response to a user contact
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
GB201212878D0 (en) * 2012-07-20 2012-09-05 Pike Justin Authentication method and system
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
JP5522755B2 (ja) * 2012-09-14 2014-06-18 Ｎｅｃシステムテクノロジー株式会社 入力表示制御装置、シンクライアントシステム、入力表示制御方法およびプログラム
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9547375B2 (en) * 2012-10-10 2017-01-17 Microsoft Technology Licensing, Llc Split virtual keyboard on a mobile computing device
CN107831991B (zh) 2012-12-29 2020-11-27 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
JP6138274B2 (ja) 2012-12-29 2017-05-31 アップル インコーポレイテッド ユーザインタフェース階層をナビゲートするためのデバイス、方法、及びグラフィカルユーザインタフェース
US10142496B1 (en) 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
JP2014157520A (ja) * 2013-02-18 2014-08-28 Fujitsu Ten Ltd 表示装置、及び、表示方法
US9300645B1 (en) 2013-03-14 2016-03-29 Ip Holdings, Inc. Mobile IO input and output for smartphones, tablet, and wireless devices including touch screen, voice, pen, and gestures
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
WO2014144949A2 (en) 2013-03-15 2014-09-18 Apple Inc. Training an at least partial voice command system
WO2014148936A1 (en) * 2013-03-18 2014-09-25 Obschestvo S Ogranichennoy Otvetstvennostyu "Slickjump" Method for rendering advertisments on touchscreen devices
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP3008964B1 (en) 2013-06-13 2019-09-25 Apple Inc. System and method for emergency calls initiated by voice command
JP2015022567A (ja) * 2013-07-19 2015-02-02 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
JP6149604B2 (ja) * 2013-08-21 2017-06-21 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9323447B2 (en) 2013-10-15 2016-04-26 Sharp Laboratories Of America, Inc. Electronic whiteboard and touch screen method for configuring and applying metadata tags thereon
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9606986B2 (en) 2014-09-29 2017-03-28 Apple Inc. Integrated word N-gram and class M-gram language models
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) * 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
KR20170052213A (ko) * 2015-11-04 2017-05-12 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DE112017004107T5 (de) 2016-08-16 2019-05-02 Finetune Technologies Ltd. Umgekehrter Tastaturaufbau
US11016661B2 (en) 2016-08-16 2021-05-25 Finetune Technologies Ltd. Device and method for displaying changeable icons on a plurality of display zones of a reverse keyboard assembly
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10503400B2 (en) * 2017-04-13 2019-12-10 Mark Bynum Communication device for users with limited physical dexterity
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN108803986A (zh) * 2018-05-07 2018-11-13 瑞声科技(新加坡)有限公司 一种移动终端虚拟按键的调整方法及装置
US11379113B2 (en) 2019-06-01 2022-07-05 Apple Inc. Techniques for selecting text
CN114035697B (zh) * 2021-11-26 2023-10-03 中国电子技术标准化研究院 一种低辐射抗电磁干扰的键盘鼠标模拟装置及方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4725694A (en) * 1986-05-13 1988-02-16 American Telephone And Telegraph Company, At&T Bell Laboratories Computer interface device
US4763356A (en) * 1986-12-11 1988-08-09 AT&T Information Systems, Inc. American Telephone and Telegraph Company Touch screen form entry system
US4827253A (en) * 1987-05-18 1989-05-02 Dubner Computer Systems, Inc. Video compositing using a software linear keyer
US4954970A (en) * 1988-04-08 1990-09-04 Walker James T Video overlay image processing apparatus
CA2002912A1 (en) * 1988-11-14 1990-05-14 William A. Clough Portable computer with touch screen and computer system employing same
JPH02155029A (ja) * 1988-12-07 1990-06-14 Hitachi Ltd マルチウインドウ表示制御方式
US5031119A (en) * 1989-06-12 1991-07-09 Tandy Corporation Split screen keyboard emulator
JPH03137686A (ja) * 1989-10-24 1991-06-12 Mazda Motor Corp タッチパネル装置
US5581243A (en) * 1990-06-04 1996-12-03 Microslate Inc. Method and apparatus for displaying simulated keyboards on touch-sensitive displays
US5491495A (en) * 1990-11-13 1996-02-13 Wang Laboratories, Inc. User interface having simulated devices
US5148155A (en) * 1990-11-13 1992-09-15 Wang Laboratories, Inc. Computer with tablet input to standard programs
US5283560A (en) * 1991-06-25 1994-02-01 Digital Equipment Corporation Computer system and method for displaying images with superimposed partially transparent menus
FR2680420B1 (fr) * 1991-08-14 1994-06-17 Truchet Philippe Dispositif electronique pour transformer un systeme informatique standard en ordinateur dit sans clavier afin d'en simplifier l'utilisation.
US5491651A (en) * 1992-05-15 1996-02-13 Key, Idea Development Flexible wearable computer
US5523775A (en) * 1992-05-26 1996-06-04 Apple Computer, Inc. Method for selecting objects on a computer display
US5612719A (en) * 1992-12-03 1997-03-18 Apple Computer, Inc. Gesture sensitive buttons for graphical user interfaces
DE69315969T2 (de) * 1992-12-15 1998-07-30 Sun Microsystems Inc Darstellung von Informationen in einem Anzeigesystem mit transparenten Fenstern
CA2109681C (en) * 1993-03-10 1998-08-25 Donald Edgar Blahut Method and apparatus for the coding and display of overlapping windows with transparency
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
JP2813728B2 (ja) * 1993-11-01 1998-10-22 インターナショナル・ビジネス・マシーンズ・コーポレイション ズーム／パン機能付パーソナル通信機
US5870100A (en) * 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101076896B1 (ko) * 2004-11-23 2011-10-25 마이크로소프트 코포레이션 우발적인 접촉 감응식 장치 활성화를 감소시키는 방법
KR20150114433A (ko) * 2014-03-31 2015-10-12 삼성디스플레이 주식회사 터치 이벤트들의 레이턴시를 감소시키는 방법 및 그 시스템
KR20160128926A (ko) * 2015-04-28 2016-11-08 삼성디스플레이 주식회사 터치 경로에 대응하는 디스플레이 패널에 대한 마스크 오버레이를 생성하기 위한 방법 및 시스템

Also Published As

Publication number Publication date
WO1998009270A1 (en) 1998-03-05
AU4327597A (en) 1998-03-19
AU727387B2 (en) 2000-12-14
KR100627378B1 (ko) 2006-09-22
CA2264167A1 (en) 1998-03-05
JP2000517445A (ja) 2000-12-26
EP0922275A4 (en) 2002-08-21
EP0922275A1 (en) 1999-06-16
US6121960A (en) 2000-09-19

Similar Documents

Publication Publication Date Title
KR100627378B1 (ko) 터치 스크린 장치 및 방법
JP3630153B2 (ja) 情報表示入力装置及び情報表示入力方法、並びに情報処理装置
KR100375054B1 (ko) 표시장치 및 그 조작방법
US8386060B2 (en) Apparatus for remotely controlling computers and other electronic appliances/devices using a combination of voice commands and finger movements
US6295372B1 (en) Method and apparatus for handwriting input on a pen based palmtop computing device
EP1828878B1 (en) System and method for viewing digital visual content on a device
US20100109999A1 (en) Human computer interaction device, electronic device and human computer interaction method
WO2017155623A1 (en) Virtual input device using second touch-enabled display
WO2007137111A2 (en) Handheld electronic device with data entry and/or navigation controls on the reverse side of the display
US20030001863A1 (en) Portable digital devices
WO2011049989A1 (en) Method and use apparatus for using different graphical display technologies to enable user interactivity
JP2000056877A (ja) タッチパネル式レイアウトフリーキーボード
KR101085239B1 (ko) 양면 입력부가 구비된 휴대용단말기
JP2011203808A (ja) 携帯情報端末
JPH07160398A (ja) ペン入力装置
JPH07162750A (ja) オンスクリーン制御装置
WO2008045010A1 (fr) Procédé pour saisir du texte ou des commandes au moyen d'un dispositif numérique portable et ordinateur-bracelet prévu pour sa réalisation
KR200323538Y1 (ko) 컴퓨터의 마우스 커서 포인트 돋보기 장치
KR20020000816A (ko) 온 스크린 키보드를 내장한 디스플레이 장치
JP2002251250A (ja) 携帯型情報機器
KR20020038436A (ko) 손바닥 크기의 통합 키보드 마우스
JPH10240213A (ja) 映像表示装置
JP2014135708A (ja) 文字入力方法と装置
Sakamura TRON Enableware: Empowering Disabled People on the BTRON Environment
JPS62100872A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120827

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130827

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140826

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 11