KR100847851B1 - 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스 - Google Patents

텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스 Download PDF

Info

Publication number
KR100847851B1
KR100847851B1 KR1020060003319A KR20060003319A KR100847851B1 KR 100847851 B1 KR100847851 B1 KR 100847851B1 KR 1020060003319 A KR1020060003319 A KR 1020060003319A KR 20060003319 A KR20060003319 A KR 20060003319A KR 100847851 B1 KR100847851 B1 KR 100847851B1
Authority
KR
South Korea
Prior art keywords
function
pen device
user
string
pen
Prior art date
Application number
KR1020060003319A
Other languages
English (en)
Other versions
KR20060082427A (ko
Inventor
제임스 매그래프
알렉산더 치스호름
트레이시 엘. 에지콤브
Original Assignee
리이프프로그 엔터프라이시스, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리이프프로그 엔터프라이시스, 인코포레이티드 filed Critical 리이프프로그 엔터프라이시스, 인코포레이티드
Publication of KR20060082427A publication Critical patent/KR20060082427A/ko
Application granted granted Critical
Publication of KR100847851B1 publication Critical patent/KR100847851B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G21/00—Table-ware
    • A47G21/14—Knife racks or stands; Holders for table utensils attachable to plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G2400/00—Details not otherwise provided for in A47G19/00-A47G23/16
    • A47G2400/02—Hygiene
    • A47G2400/025—Avoiding contact with unclean surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)
  • Document Processing Apparatus (AREA)

Abstract

본 발명은 텍스트 및 경계 영역의 인식을 통해 펜 장치용의 사용자 인터페이스를 구현하는 방법 및 시스템을 제공한다. 본 발명의 방법은 문자열을 인식하는 단계와, 이러한 문자열의 인식에 기초하여 문자열과 관련된 기능 또는 어플리케이션을 액세스하는 단계를 포함한다. 이러한 기능 및 문자열과 관련된 기능에 따라 출력이 제공된다. 또는, 문자열의 선택에 의해, 문자열의 인식된 결과가 현재 활성화된 어플리케이션에 자동으로 적용된다. 본 발명의 방법은 경계 영역 내의 작동을 인식하는 단계와, 이러한 작동에 기초하여 경계 영역에 관련된 기능을 자동으로 액세스하는 단계를 포함한다. 경계 영역 내에서 인식된 문자열은 문자열 및 경계 영역에 따라 출력을 생성한다.
텍스트, 문자열, 펜 장치, 사용자 인터페이스, 기록 가능한 표면

Description

텍스트 및 경계 영역의 인식을 이용하는 장치 사용자 인터페이스{DEVICE USER INTERFACE THROUGH RECOGNIZED TEXT AND BOUNDED AREAS}
도 1은 본 발명의 실시예가 구현될 수 있는 장치의 블록도.
도 2는 본 발명의 실시예가 구현될 수 있는 다른 장치의 블록도.
도 3은 본 발명의 일실시예에 따라 마크 패턴이 제공된 페이퍼 시트의 예를 나타내는 도면.
도 4는 본 발명의 일실시예에 따라 페이퍼 시트 상의 마크 패턴의 확대도.
도 5는 본 발명의 일실시예에 따라 장치 사용자 인터페이스 프로세스의 단계에 대한 컴퓨터 제어 흐름도.
도 6은 본 발명의 일실시예에 따른 계층적 장치 사용자 인터페이스 프로세스의 단계에 대한 컴퓨터 제어 흐름도.
도 7은 본 발명의 실시예에 따른 메뉴 아이템 트리 디렉토리를 나타내는 도면.
도 8a는 본 발명의 일실시예에 따른 메뉴 아이템 음성 프롬프팅 프로세스(menu item audible prompting process)를 나타내는 도면.
도 8b는 본 발명의 일실시예에 따른 메뉴 아이템 선택 프로세스를 나타내는 도면.
도 8c는 본 발명의 일실시예에 따른 서브-메뉴 아이템 선택 프로세스를 나타내는 도면.
도 9는 본 발명의 일실시예에 따른 표면 상의 복수의 상이한 유형의 그래픽 아이템 아이콘을 나타내는 도면.
도 10은 본 발명의 일실시에에 따른 경계 영역 사용자 인터페이스 프로세스를 컴퓨터로 구현한 단계를 나타내는 흐름도.
도 11은 본 발명의 일실시예에 따른 계산기 경계 영역 어플리케이션을 나타내는 도면.
도 12a는 본 발명의 제1 실시에에 따라, 문자열 인식 사용자 인터페이스 처리의 컴퓨터 구현 단계를 나타내는 흐름도.
도 12b는 본 발명의 제2 실시예에 따라, 문자열 인식 사용자 인터페이스 처리의 컴퓨터 구현 단계를 나타내는 흐름도.
도 13a는 본 발명의 일실시예에 따라, 사전 문자열 인식 어플리케이션의 제1 예를 나타내는 도면.
도 13b는 본 발명의 일실시예에 따라, 사전 문자열 인식 어플리케이션의 제2 예를 나타내는 도면.
본 발명의 실시예는 대화형 장치, 컴퓨터, 전자 장치, 전자 기기, 장난감 등 의 제어 및 이용에 관한 것이다. 본 명세서에는 텍스트 및 경계가 지워진 경계 영역의 인식을 통해 장치에 대한 사용자 인터페이스를 구현하는 방법 및 시스템을 개시하고 있다.
광학식 판독기 또는 광학 펜 등의 장치는 표면으로부터 반사되는 광을 검출기 또는 영상표시기로 방출시키는 것이 일반적이다. 광학식 장치가 표면에 대해 상대적으로 이동하면서(또는 그 반대의 경우), 연속하는 이미지가 신속하게 캡처된다. 이 캡처한 이미지를 분석하여, 광학식 장치의 표면에 대한 상대적 이동을 추적할 수 있게 된다.
어떤 종류의 광학 펜은 매우 작은 점인 도트(dot)가 인쇄된 페이퍼에 사용된다. 이 도트는 페이퍼 상에 대략 0.3 밀리미터(0.01 인치에 해당함)의 공칭 간격을 가진 패턴으로 인쇄된다. 이 페이퍼 상의 임의의 영역 내의 도트의 패턴은 그 영역에 대해서 고유한 것이다. 광학 펜은 표면을 초당 대략 100번 이상 스냅샷을 행한다. 각각의 스냅샷에서 캡처된 도트 부분을 해석함으로써, 광학 펜은 페이퍼 상에서의 상대적인 위치를 정확하게 판정할 수 있게 된다.
표면에 대한 광학 펜의 상대적인 위치와 관련된 정보를 이용하는 어플리케이션이 고안되어 왔다. 블루투스(Bluetooth) 등의 무선 통신 특성을 가진 광학 펜은 다른 장치와 연결될 수 있으며, 전자 메일(e-mail)이나 팩스를 전송하는데 이용된다.
내장 컴퓨터 시스템의 성능이 개선되고 그 기능이 복잡하게 됨에 따라, 이러한 성능을 액세스하기 위한, 인식이 쉽고 사용하기 용이한 방식이 필요하게 되었 다. 통상적인 종래 기술의 광학 펜은, 하나 이상의 소프트웨어 프로그램, 루틴, 내장 장치 등을 구동시키기 위해, 광학 펜의 제어 또는 하나 이상의 버튼/스위치를 동작시키는 사용자에 의해 의도한 기능을 구현한다. 이 광학 펜은 컴퓨터 시스템을 포함하거나 컴퓨터 시스템과 통신이 가능하게 될 수 있다. 펜 장치 자체에 제공된 한정된 수 및 한정된 구성이 스위치, 버튼 등을 통해 또는 어떠한 원격 접속된 컴퓨터 시스템 장치를 통해 점차 강력해지고 있는 광학 펜의 성능을 액세스하는 것은 만족스러울만한 구성이 되지 못한다.
종래의 해결 방안으로서, 광학 펜이 사용자가 정의한 명령을 인식하도록 하는 것과, 광학 펜의 일부 기능을 호출하도록 명령하는 것(예컨대, PCT 공개공보 WO/01/48590 A1)이 있다. 예를 들어, 사용자의 필기(user's writing)를 인식하여(예컨대, 실시간으로), 광학 펜에 이용되는 명령으로서 해석될 수 있다. 이 해결 방안이 갖는 문제점은, 광학 펜의 기능의 제어 및 대화(상호작용)가 사용자의 필기(예컨대, 사용자가 페이퍼 상에 명령어를 기입하는 것)를 실시간으로 인식할 것을 필요로 한다는 사실을 포함한다. 이 해결 방안은, 광학 펜의 더욱 복잡한 기능과의 대화에 의해, 사용자가 광학 펜에 의해 제공되는 상이한 선택, 옵션, 또는 기능에 액세스하기 위해 하나 이상의 명령어를 반복적으로 기입하여야 한다는 점 때문에, 충분히 만족스럽지 않다. 이 해결방안은 매우 단순한 단일의 단계를 갖는 어플리케이션(예컨대, "턴오프", "저장" 등)에 대해서는 만족스러울 수 있지만, 이 해결방안은 더 복잡하고 만족스러운 풍부한 기능성이 요구되는 경우에서는 매우 번거롭고 제한적이다.
관련 출원의 상호 참조
본 출원은 공동출원인인 제임스 마그래프(James Marggraff) 등에 의해, "Scanning Apparatus"(스캐닝 장치)란 명칭으로, 2004년 3월 17일에 출원된 미국특허출원 제10/803,806호(사무소 사건번호 020824-004610US)의 일부계속출원이며, 이 출원의 전체 내용은 본 명세서에 참조로서 포함되는 것으로 한다.
본 출원은 공동출원인인 제임스 마그래프(James Marggraff) 등에 의해, "User Created Interactive Interface"(사용자가 작성한 대화형 인터페이스)란 명칭으로, 2004년 6월 3일에 출원된 미국특허출원 제10/861,243호(대리인 사건번호 020824-009500US)의 일부계속출원이며, 이 출원의 전체 내용은 본 명세서에 참조로서 포함되는 것으로 한다.
본 출원은 제임스 마그래프(James Marggraff) 등에 의해, "TERMINATION EVENTS"(터미네이션 이벤트)란 명칭으로, 2005년 1월 12일에 출원된 미국특허출원(대리인 사건번호 LEAP-P0320)과 관련되어 있으며, 이 출원의 전체 내용은 본 명세서에 참조로서 포함되는 것으로 한다.
본 출원은 제임스 마그래프(James Marggraff) 등에 의해, "PROVIDING A USER INTERFACE HAVING INTERACTIVE ELEMENTS ON A WRITABLE SURFACE"(기록 가능한 표면 상에 대화형 요소를 갖는 사용자 인터페이스 제공 방법)란 명칭으로, 2005년 1월 12일에 출원된 미국특허출원(대리인 사건번호 LEAP-P0324)과 관련되어 있으며, 이 출원의 전체 내용은 본 명세서에 참조로서 포함되는 것으로 한다.
따라서, 광학 장치에 의해 제공되는 상이한 선택, 옵션, 및 기능에 대하여 보다 효율적인 액세스를 가능하게 하고, 관련된 컴퓨터 시스템을 갖는 펜 장치의 더 복잡한 기능성과의 대화를 가능하게 하는 사용자 인터페이스 방법 및 장치가 필요하다. 또한, 사용자가 펜에 이용되는 컴퓨터 시스템의 운영 체제와 대화할 수 있도록 하는 사용자 인터페이스 및 기술과 그 이용이 필요하다. 본 발명에 따른 실시예는 이러한 장점 및 그외 다른 장점을 제공한다.
일실시예에서, 본 발명은 텍스트 및 경계 영역의 인식을 통해 장치에 대한 사용자 인터페이스를 구현하는 방법으로서 실행된다. 본 발명의 방법은 문자열(예컨대, 단어)을 인식하고, 이러한 인식에 따라 문자열에 관련된 기능에 액세스하는 것을 포함한다. 문자열에 관련된 정보에 따라 출력이 제공되며, 이 정보는 문자열과 관련된다. 일실시예에서, 기능은 문자열과 지속적으로 관련된다. 따라서, 펜 장치에 의해 문자열이 선택될 때마다, 개별 시간 동안 기능이 호출된다. 일례에서, 문자열을 둘러싸는 경계 영역이 정의된다. 펜 장치에 의해 경계 영역 내의 임의의 포인트의 선택은, 문자열의 선택을 나타낸다. 기능의 예에는, 문자열(예컨대, 단어)이 하나의 언어(예컨대, 영어)를 다른 언어로 번역하는 번역 기능, 단어에 대하여 정의가 제공되는 사전 기능, 시소러스 기능 등이 포함된다.
본 발명의 방법은 경계 영역 내의 행위(예컨대, 사용자 필기)를 인식하는 단계와, 그 행위 시에 경계 영역에 관련된 어플리케이션 프로그램 또는 기능에 자동으로 액세스하는 단계를 포함한다. 기능의 예에는, 계산기 경계 영역 내에 입력된 문자를 숫자로 인식하는 계산기 기능 등이 포함된다. 이러한 방식에서, 경계 영역 내에서 인식된 텍스트 문자 또는 문자열은 문자열에 따라 그리고 경계 영역과 관련된 어플리케이션 또는 기능에 따라 출력을 자동을 생성한다. 이것은 어플리케이션과 관련된 경계 영역에서의 사용자 필기에 따라 자동으로 선택되는, 사용자가 어플리케이션 프로그램을 다른 것을 선택할 필요 없이, 달성된다.
이 출력은 통상적으로 음성 출력 장치(예컨대, 장치에 결합된 스피커)를 통해 제공되는 음성 출력이다. 기능은 문자열 및/또는 경계 영역과 영구적으로 관련되어 있어서, 문자열에 대한 후속하는 작동(예컨대, 두드리는 것)에 의해 기능의 후속하는 액세스(예컨대, 일정 시간 이후에)가 가능하게 된다.
개략적으로, 본 발명은 텍스트 및 경계 영역의 인식을 통해 펜 장치용의 사용자 인터페이스를 구현하는 방법 및 시스템을 개시한다. 본 발명의 방법은 문자열을 인식하는 단계와, 이러한 인식에 기초하여 문자열에 관련된 기능 또는 어플리케이션을 액세스하는 단계를 포함한다. 출력은 기능에 따라 제공되며, 기능은 문자열과 관련된다. 또는, 문자열의 선택은 현재 활성인 어플리케이션에 대한 문자열의 인식된 결과를 자동으로 적용한다. 본 발명의 방법은 경계 영역 내의 작동을 인식하는 단계와, 작동 시에 경계 영역에 관련된 기능을 자동으로 액세스하는 단계를 포함한다. 경계 영역 내에서 인식된 문자열은 문자열과 경계 영역에 따른 출력을 생성한다.
본 발명의 이들 목적 및 그외 다른 목적과 장점들에 대해서는, 첨부 도면을 참조하여 이하의 상세한 설명에 의해 당업자라면 명백하게 알 수 있을 것이다.
첨부 도면은 본 명세서에 통합되어 그 일부분을 형성하며, 본 발명의 실시예를 나타내고, 본 발명의 원리를 설명하는데 도움을 준다.
실시예의 상세한 설명
첨부 도면에 도시되어 있는 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 본 발명이 이들 실시예와 관련하여 설명될 것이지만, 본 발명을 이러한 실시예로 제한하려는 것은 아님을 이해할 수 있을 것이다. 반대로, 본 발명은 첨부된 청구범위에 의해 한정된 바와 같은 본 발명의 정신 및 사상 내에 포함될 수 있는 변경 실시예, 수정 실시예 및 등가의 실시예를 포함하는 것으로 받아들여져야 한다. 더욱이, 본 발명의 이하의 상세한 설명에서, 다수의 구체적인 세부구성이 본 발명의 완전한 이해를 제공하기 위해 설명되어 있다. 그러나, 본 기술 분야에 익숙한 사람이라면 본 발명을 이러한 구체적인 세부구성이 없이도 구현할 수 있을 것이라는 점을 이해할 것이다. 즉, 널리 공지된 방법, 프로시져(과정), 구성요소 및 회로는 본 발명의 특징을 불필요하게 모호하게 하지 않도록 하기 위해 구체적으로 설명되지 않는다.
용어 및 명칭
이하의 상세한 설명의 일부분은 컴퓨터 메모리 상에서 수행될 수 있는 데이터 비트에 대한 처리 과정, 단계, 논리 블록, 처리 및 기타 기호 표시를 통해 제공된다. 이들 설명 및 표시는 데이터 처리 기술분야에 익숙한 사람에 의해 그들의 작업의 본질을 그 기술분야에 익숙한 사람에게 가장 효율적으로 전달하는데 사용될 수 있는 수단이 된다. 본 명세서에 설명되어 있는 과정, 컴퓨터에 의해 실행되는 단계, 논리 블록, 프로세스 등은 일반적으로는 요구된 결과를 산출하는 자체 모순이 없는 시퀀스(a self-consistent sequence)의 단계 또는 명령이 될 것이다. 이 단계는 물리적인 양에 대한 물리적인 조작을 요구하는 단계이다. 통상적으로, 이러한 양은 컴퓨터 시스템에서 저장, 전송, 합성, 비교 및 조작될 수 있는 전기 신호 또는 자기 신호의 형태를 취하기는 하지만, 이것은 필수적인 사항은 아니다. 이와 같이 물리적인 양을 전기 신호 또는 자기 신호의 형태로 표시하는 것은, 주로 공통적인 사용을 이유로, 이들 신호를 비트, 값, 엘레멘트, 기호, 문자, 항(term), 숫자 등으로서 지칭할 때에 편리한 것으로 입증되었다.
그러나, 이들 표현 및 유사 표현의 전부가 적합한 물리적 양에 연관되는 것이고, 이들 양에 적용된 단지 편리한 호칭에 불과하다는 점에 유의하기 바란다. 이하의 설명에서 명백한 바와 같이 이와 다른 것으로 특별하게 언급되지 않는다면, 본 명세서의 전반에 걸쳐, "처리", "연산", "구성", "발생" 등과 같은 표현을 이용하는 설명은 마이크로컨트롤러, 컴퓨터 시스템 또는 유사한 전자 연산 장치의 동작 및 처리를 지칭하는 것으로 이해하여야 하며, 이러한 장치는 레지스터 및 메모리 내의 물리적(전자적) 양으로서 표현된 데이터를 처리하여, 이러한 데이터를 물리적 양으로서 유사하게 표현된 다른 데이터로 변환한다.
본 발명의 실시예
도 1은 본 발명의 실시예가 구현될 수 있는 펜 장치(100)의 블록도이다. 일반적으로, 펜 장치(100)는 펜 형태의 컴퓨터 시스템 또는 광학 장치로서 지칭되거나, 보다 구체적으로는 광판독기, 광학 펜 또는 디지털 펜으로서 지칭될 수도 있 다. 펜 장치는 컴퓨터 시스템 및 이 컴퓨터 시스템 상에 상주하는 운영 시스템을 포함할 수도 있으며, 어플리케이션 프로그램 또한 상주할 수도 있다.
도 1의 실시예에서, 펜 장치(100)는 하우징(62) 내부에 프로세서(32)를 포함한다. 일실시예에서, 하우징(62)은 펜이나 다른 기록 또는 표시 기구의 형태를 갖는다. 프로세서(32)는 펜 장치(100)의 기능을 구현하기 위해 사용된 정보 및 명령을 처리하도록 동작 가능하며, 이에 대해서는 후술될 것이다.
본 실시예에서, 펜 장치(100)는 프로세서(32)에 접속된 오디오 출력 장치(36) 및 디스플레이 장치(40)를 포함할 수도 있다. 다른 실시예에서, 오디오 출력 장치 및/또는 디스플레이 장치는 펜 장치(100)와 물리적으로 분리되지만, 유선 접속 또는 무선 접속 중의 하나를 통해 펜 장치(100)와 통신한다. 무선 통신을 위해, 펜 장치(100)는 송수신기 또는 송신기(도 1에 도시되지 않음)를 포함할 수 있다. 오디오 출력 장치(36)는 스피커 또는 오디오 잭(예컨대, 이어폰 또는 헤드폰용의)을 포함할 수도 있다. 디스플레이 장치(40)는 액정 디스플레이(LCD) 또는 일부 다른 적합한 유형의 디스플레이가 될 수도 있다.
도 1의 실시예에서, 펜 장치(100)는 펜 장치(100)를 작동시키고 제어하기 위해 프로세서(32)에 연결된 입력 버튼(38)을 포함할 수도 있다. 예컨대, 입력 버튼(38)은 사용자가 펜 장치(100)에 정보 및 명령을 입력할 수 있도록 하거나, 펜 장치(100)를 턴온 또는 턴오프할 수 있도록 한다. 펜 장치(100)는 배터리 등의 파워 소스(34)를 포함한다.
펜 장치(100)는 또한 프로세서(32)에 접속된 광원 또는 광방출기(44) 및 광 센서 또는 광검출기(42)를 포함한다. 광방출기(44)로는, 예컨대 발광 다이오드(LED)가 가능하며, 광검출기(42)로는 예컨대 전하 결합 소자(CCD) 또는 상보형 금속 산화물 반도체(CMOS)가 가능하다. 광방출기(44)는 표면(70) 또는 표면의 일부분을 조사한다. 표면(70)에서 반사된 광은 광검출기(42)에서 수신되어 광검출기(42)에 의해 레코딩된다.
표면(70)으로는 페이퍼 시트가 가능하지만, 본 발명은 이러한 것으로 제한되지는 않는다. 예컨대, 표면(70)에는 LCD(액정 디스플레이 장치), CRT(음극선관), 터치 스크린, 전자 잉크를 포함하는 표면, 재구성 가능한 페이퍼, 또는 다른 유형의 전자적으로 활성화되는 표면(예컨대, 랩탑 또는 타블렛 PC의 디스플레이)이 포함될 수도 있다.
일실시예에서, 소정 마킹의 패턴이 표면(70) 상에 인쇄된다. 광방출기(44) 및 광검출기(42)를 유지하는 펜 장치(100)의 끝단은 표면(70)을 마주보고 또는 표면에 인접하여 위치된다. 펜 장치(100)가 표면(70)에 대하여 이동될 때, 그 마킹의 패턴이 광방출기(44) 및 광검출기(42)에 의해 판독되어 레코딩된다. 더 상세히 후술하는 바와 같이, 일실시예에서, 표면(70) 상의 마킹은 표면(70)에 대하여 펜 장치(100)의 위치를 결정하기 위해 사용된다(도 3 및 도 4를 참조). 또 다른 실시예에서, 표면(70) 상의 마킹은 정보를 부호화하기 위해 사용된다(도 5 및 도 6을 참조). 표면(70)의 캡쳐된 이미지는 마킹을 복호화하여 부호화된 정보를 복원하기 위해 펜 장치(100)에 의해 분석(처리)될 수 있다.
정보를 부호화하기 위한 표면 마킹과 전자 장치에 의한 이러한 마킹의 판독/ 기록에 관한 추가의 정보를 아노토(Anoto)에게 양도되어 있는 다음의 특허 및 특허 출원에서 찾아볼 수 있으며, 이들의 전체 내용이 본 명세서에 참고로 통합되어 있다: 미국 특허 번호 제6,502,756호, 2002년 6월 26일자 출원된 미국 특허 출원 번호 10/179,966, WO 01/95559, WO 01/71473, WO 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01/71475, WO 00/73983 및 WO 01/16691.
도 1의 펜 장치(100)는 또한 프로세서(32)에 접속된 메모리 유닛(48)을 포함한다. 일실시예에서, 메모리 유닛(48)은 메모리 카트리지 또는 메모리 카드로서 구현된 착탈 가능한 메모리 유닛이다. 또 다른 실시예에서, 메모리 유닛(48)은 프로세서(32)를 위한 정보 및 명령을 저장하기 위한 랜덤 액세스(휘발성) 메모리(RAM) 및 판독 전용(비휘발성) 메모리(ROM)를 포함한다.
도 1의 실시예에서, 펜 장치(100)는 광검출기(42) 및 광방출기(44)와 동일하게 펜 장치(100)의 끝단에 위치된 기록 기기(52)를 포함한다. 기록 기기(52)는, 예컨대 펜, 연필, 마커 등이 될 수도 있으며, 고정형 또는 전진 돌출형(retractable)이 될 수도 있다. 특정 어플리케이션에서는 기록 기기(52)가 요구되지 않을 수도 있다. 그러나, 다른 어플리케이션에서, 사용자는 글자 등의 문자, 숫자, 기호 등을 포함한 표면(70) 상에 마크(예컨대, 그래픽 성분)를 형성하기 위해 기록 기기(52)를 사용할 수 있다. 이들 마크는 펜 장치(100)에 의해 스캐닝되어(이미지화되어) 표면(70) 상의 자신의 위치에 따라 펜 장치(100)에 의해 해석된다. 사용자에 의해 발생된 마크의 위치는 표면(70) 상에 인쇄되는 소정 마크의 패턴을 이용하여 결정될 수 있으며, 이에 대해서는 후술하는 도 3 및 도 4에 대한 설 명을 참조하기 바란다. 일실시예에서, 사용자에 의해 발생된 마킹은 필기 문자를 인식하는 광학 문자 인식(OCR) 기술을 이용하여 펜 장치(100)에 의해 해석될 수 있다.
전술한 바와 같이, 표면(70)은 예컨대 페이퍼와 같이 그 위에 기록할 수 있는 어떠한 표면도 가능하지만, 페이퍼 이외에 다른 물질로 이루어진 표면이 사용될 수도 있다. 또한, 표면(70)은 평탄형이거나 평탄형이 아니어도 무방하다. 예컨대, 표면(70)은 장갑의 표면으로서 실시될 수도 있다. 더욱이, 표면(70)은 종래의 페이퍼의 페이지(예컨대, 8.5×11 인치)보다 더 작거나 더 크게 될 수도 있다.
도 2는 본 발명의 실시예가 구현될 수 있는 또 다른 장치(200)의 블록도이다. 장치(200)는 전술한 바와 같은 프로세서(32), 파워 소스(34), 오디오 출력 장치(36), 입력 버튼(38), 메모리 유닛(48), 광검출기(42), 광방출기(44) 및 기록 기기(52)를 포함한다. 그러나, 도 2의 실시예에서, 광검출기(42), 광방출기(44) 및 기록 기기(52)는 하우징(62) 내의 광학 기기(201)로서 구현되며, 프로세서(32), 파워 소스(34), 오디오 출력 장치(36), 입력 버튼(38) 및 메모리 유닛(48)은 하우징(74) 내의 플랫폼(202)으로서 구현된다. 본 실시예에서, 광학 기기(201)는 케이블(102)에 의해 플랫폼(202)에 접속되지만, 무선 접속이 그 대신에 사용될 수 있다. 도 2에 의해 예시된 구성요소는 전술한 것과는 다른 조합으로 광학 기기(201)와 플랫폼(202) 사이에 배치될 수 있다.
도 3은 본 발명의 일실시예에 따른 소정 마크의 패턴이 제공된 페이퍼(15)를 도시하고 있다. 도 3의 실시예에서, 페이퍼(15)는 소정 마크의 패턴(18)으로 이루 어지는 광학적으로 판독 가능한 위치 코드(17)의 형태로 부호화 패턴이 제공된다. 도 3에서의 마크(18)는 도시를 명료하게 하기 위해 전반적으로 확대되어 있으며, 실제로는 인간의 시각 시스템에 의해 용이하게 구분되지 않을 수도 있으며, 페이퍼(15) 상의 그레이스케일로서 보여질 것이다. 일실시예에서, 마크(18)는 도트(dot)로 구현되지만, 본 발명은 이러한 것으로만 제한되지는 않는다.
도 4는 도 3의 위치 코드(17)의 확대된 부분(19)을 도시하고 있다. 장치 "100"(도 1) 및 "200"(도 2)과 같은 광학 장치는 어떠한 영역의 위치 코드(17)의 이미지를 레코드하도록 위치된다. 일실시예에서, 광학 소자는 래스터 포인트(22)에서 교차하는 래스터 라인(21)을 갖는 래스터의 형태로 마크(18)를 레퍼런스 시스템에 맞춘다. 마크(18)의 각각은 래스터 포인트(22)에 연관된다. 예컨대, 마크 "23"은 래스터 포인트 "24"에 연관된다. 이미지/래스터 내의 마크에 대하여, 마크에 연관된 래스터 포인트로부터의 마크의 변위가 결정된다. 이러한 변위를 이용하여, 이미지/래스터 내의 패턴이 레퍼런스 시스템 내의 패턴에 비교된다. 레퍼런스 시스템 내의 각각의 패턴은 표면(70) 상의 특정 위치에 연관된다. 그러므로, 이미지/래스터 내의 패턴을 레퍼런스 시스템에서의 패턴과 매칭시킴으로써, 표면(70) 상의 패턴의 위치 및 그에 따라 표면(70)에 대한 광학 장치의 위치가 결정될 수 있다.
정보를 부호화하기 위한 표면 마킹과 전자 장치에 의한 이러한 마킹의 판독/기록에 관한 추가의 정보를 Anoto에게 양도되어 있는 다음의 특허 및 특허 출원에서 찾아볼 수 있으며, 이들의 전체 내용이 본 명세서에 참고로 통합되어 있다: 미 국 특허 번호 제6,502,756호, 2002년 6월 26일자 출원된 미국 특허 출원 번호 10/179,966, WO 01/95559, WO 01/71473, WO 01/75723, WO 01/26032, WO 01/75780, WO 01/01670, WO 01/75773, WO 01/71475, WO 00/73983 및 WO 01/16691.
다시 도 1을 참조하면, 표면(70) 상의 4개의 위치 또는 영역이 문자 A, B, C 및 D로 나타내어져 있다(이들 문자는 표면(70) 상에 인쇄되어 있지 않고, 본 명세서에서 표면(70) 상의 위치를 나타내기 위해 사용된 것임). 표면(70) 상에 다수의 이러한 영역이 존재할 수도 있다. 고유한 마크의 패턴이 표면(70) 상의 각각의 영역에 연관된다. 표면(70) 상의 영역은 일부 마크가 중첩 영역 사이에 공유되는 경우에도 그 마크의 패턴이 그 영역에 여전히 고유의 것이기 때문에 중첩할 수도 있다.
펜 장치(100)를 사용하는(구체적으로, 기록 기기(52)를 사용하는) 도 1의 예에서, 사용자는 표면(70) 상의 A 위치에 있는 예컨대 원으로 둘러싸인 글자 "M"으로 이루어진 문자를 작성할 수도 있다(일반적으로, 사용자는 표면(70) 상의 어떠한 위치에서도 문자를 작성할 수 있을 것이다). 사용자는 펜 장치(100)로부터의 프롬프트(예컨대, 음성 프롬프트)에 응답하여 이러한 문자를 작성할 수도 있을 것이다. 사용자가 문자를 작성할 때, 펜 장치(100)는 문자가 작성되는 위치에 고유하게 존재하는 마킹의 패턴을 레코드한다. 펜 장치(100)는 그 마킹의 패턴을 방금 작성한 문자와 연관시킨다. 그에 후속하여 펜 장치(100)가 원으로 둘러싸인 "M" 위에 위치될 때, 펜 장치(100)는 그와 연관된 마크의 패턴을 인식하고, 그 위치를 원으로 둘러싸인 "M"에 연관되고 있는 것으로서 인식한다. 실제로, 펜 장치(100)는 문자 자체를 인식하기 보다는 문자가 위치되는 위치에서의 그 마킹의 패턴을 이용하여 문자를 인식한다.
일실시예에서, 전술한 문자는 펜 장치(100)의 하나 이상의 명령어에 연관되는 "그래픽 성분"을 포함한다. 명령어를 포함한 펜 장치(100)에 의해 구현된 기능에 연관되고 이 기능을 액세스하기 위해 사용되는 이러한 그래픽 성분은, 펜 장치(100)의 액세싱 기능 및 어플리케이션에 연관되지 않은 다른 필기 문자, 마크 등과 구별하기 위해 이후 "그래픽 성분 아이콘"으로서 지칭된다. 직전에 설명한 예에서, 사용자는 특별한 명령어를 식별하는 그래픽 성분 아이콘을 작성(기록)할 수 있고, 그래픽 성분 아이콘(예컨대, 필기 문자) 위에 단순히 펜 장치(100)를 위치시킴으로써 그 명령어를 반복적으로 호출할 수 있다. 일실시예에서, 기록 기기는 그래픽 문자 위에 위치된다. 즉, 사용자는 그 명령이 펜 장치(100)에 의해 호출될 때마다 그 명령어를 위해 문자를 기록할 필요가 없으며, 그 대신 사용자는 그 명령어에 대한 그래픽 성분 아이콘을 1회 기록하고, 동일한 기록된 그래픽 성분 아이콘을 이용하여 그 명령어를 반복적으로 호출할 수 있다. 이 속성은 "지속성"으로 지칭되며, 상세히 후술될 것이다. 이러한 과정은 사용자에 의해 기록되지 않고 표면 상에 미리 인쇄되어 그럼에도 불구하고 펜 장치(100)에 의해 선택 가능한 그래픽 성분 아이콘에 관해서도 필요하다.
일실시예에서, 그래픽 성분 아이콘은 글자 또는 숫자를 둘러싸는 라인을 갖는 글자 또는 숫자를 포함할 수 있다. 글자 또는 숫자를 둘러싸는 라인은 원, 타원형, 정방향, 다각형 등이 될 수도 있다. 이러한 그래픽 성분은 일반적인 글자 및 숫자 대신에 사용자에 의해 선택될 수 있는 "버튼" 등의 모양을 가질 수도 있다. 이러한 종류의 그래픽 성분 아이콘을 작성함으로써, 사용자는 펜 장치(100)에 의해 데이터로서 처리될 수도 있는 일반적인 글자 및 숫자와 기능 아이콘 등의 그래픽 성분 아이콘을 시각적으로 구별할 수 있다. 또한, 이러한 종류의 그래픽 성분 아이콘을 작성함으로써, 펜 장치는 또한 비기능 또는 비메뉴 아이템 유형 그래픽 성분과 기능 또는 메뉴 아이템 유형 그래픽 성분을 더 우수하게 구별할 수 있을 것이다. 예컨대, 사용자는 대화형 "메뉴" 그래픽 성분 아이콘을 작성하기 위해 원으로 둘러싸인 글자 "M"인 그래픽 성분 아이콘을 작성할 수도 있다.
펜 장치(100)는 그 안에 글자 "M"을 갖는 중첩 원 또는 정사각형을 단어에서의 글자 "M"과 구별되는 기능적 그래픽 성분으로서 인식하도록 프로그래밍될 수도 있다. 그래픽 성분 아이콘은 특정 간격(예컨대, 1인치, 1.5인치 등) 내에서 그에 인접한 소형의 "체크 마크" 기호를 포함할 수도 있을 것이다. 체크마크는 그래픽 성분 아이콘에 연관될 것이다. 이러한 기능적 그래픽 성분을 인식하여 이들을 다른 비기능적 그래픽 성분과 구별하기 위한 컴퓨터 코드가 펜 장치 내의 메모리 유닛에 상주할 수 있다. 프로세서는 이 그래픽 성분 아이콘을 인식할 수 있고, 펜 장치(100)가 이 그래픽 성분 아이콘에 연관된 다양한 기능, 조작 등을 수행할 수 있도록 이들 그래픽 성분 아이콘을 식별할 수 있다. 이들 실시예에서, 메모리 유닛은 사용자에 의해 생성된 임의의 그래픽 성분을 표면 상의 이들의 위치와 상관시키기 위한 컴퓨터 코드를 포함할 수도 있을 것이다. 펜 장치(100)는 "다운-터치", "다운-스트로크" 또는 하방으로 이동하여 표면 상에 위치되고 있음(예컨대, 사용자 가 기록을 개시할 때)을 인식하고, "업-스트로크" 또는 표면으로부터 상방으로 들어 올려지고 있음(예컨대, 사용자가 기록을 종료할 때)을 인식한다. 이러한 다운-스트로크 및 업-스트로크는 펜 장치(100)에 의해 예컨대 특정 기능이 언제 호출되는지와 어떠한 특정 기능/어플리케이션이 호출되는지(예컨대, OCR 처리를 트리거링할 때)에 관한 표식자(indicator)로서 해석될 수 있다. 구체적으로, 업-스트로크가 바로 후속되는 다운-스트로크(예컨대, 펜 장치로 표면을 두드림(tap))는 어플리케이션에 따라서는 특별한 행동에 연관될 수 있다(예컨대, 그래픽 성분 아이콘, 문자열 등을 선택하는 행동).
"그래픽 성분"이라는 일반적인 표현은 사용자에 의해 작성된 어떠한 적합한 마킹(예컨대, 사용자 기록의 선택 가능한 아이템)을 포함할 수도 있으며, 펜 장치의 하나 이상의 기능을 액세스하기 위해 사용되는 기능적 그래픽 성분을 지칭하는 그래픽 성분 아이콘과는 구별 가능하다는 것을 이해하여야 한다.
전술한 바와 같이, 그래픽 성분 아이콘은 펜 장치(100)에 의해 작성되거나(예컨대, 사용자에 의해 그려지거나), 또는 미리 존재하는 것(예컨대, 페이퍼 상의 인쇄된 요소)가 될 수 있다. 일례의 그래픽 성분은 기호, 글자 및/또는 숫자와 같은 표식(indicia), 문자, 단어, 형상, 라인 등을 포함하지만, 이러한 것으로만 제한되지는 않는다. 이들은 규칙적인 형상을 가질 수도 있고, 비규칙적인 형상을 가질 수도 있다. 사용자 기록의 그래픽 성분 및 사용자 작성의 그래픽 성분은 통상적으로 펜 장치(100)를 이용하여 작성된다. 또한, 그래픽 성분 아이콘은 일반적으로 문자(예컨대, 글자 "M")를 둘러싸는 라인(예컨대, 원)을 통합하여 사용자와 펜 장치(100) 모두에게 이들을 보다 구별이 용이하게 할 수 있다. 예컨대, 일실시예에서, 문자 둘레를 원으로 마무리한 후의 업-스트로크는 특히 사용자가 그래픽 성분 아이콘을 방금 작성하였다는 것을 펜 장치(100)에게 알려준다.
도 5는 본 발명의 일실시예에 따른 컴퓨터 구현 프로세스(550)의 단계에 대한 흐름도를 도시하고 있다. 이 프로세스(550)는 사용자 입력을 그래픽 성분, 기록, 마크 등의 형태로 해석하고 요청된 기능을 사용자에게 제공할 때에 본 발명의 일실시예에 따른 사용자 인터페이스 프로세스의 기본 작동 단계를 나타낸다.
이 프로세스(550)는 단계 551에서 개시하며, 이 단계에서는 펜 장치(100)의 컴퓨터 구현 기능이 작성된 그래픽 성분 아이콘(예컨대, 사용자에 의해 작성된)을 인식한다. 이와 달리, 그래픽 성분이 표면 상에 미리 인쇄되어, 그 위치가 펜 장치(100)에 알려져 있을 수도 있다. 단계 551에서, 사용자가 처음으로 그래픽 성분을 기록하고 있다면, 펜 장치(100)는 사용자 기록의 그래픽 성분을 식별하기 위해 기록 내용 위에서 OCR(광학 문자 인식)을 수행하기 위해 광센서 및 프로세서를 사용한다. 일실시예에서는 표면 상의 그 고유 위치 또한 레코드된다. 단계 552에서는 인식 후에 그래픽 성분 아이콘에 관련된 기능이 액세스된다. 이 기능은 예컨대 사용자에 의한 후속의 활성화를 위한 기능의 소정 리스트(예컨대, 메뉴 선택 또는 서브메뉴 옵션)를 발음할 수 있는(예컨대, 음성으로 제공할 수 있는) 메뉴 기능이 될 수 있다. 단계 553에서는 이 기능에 따른 오디오 출력이 제공된다. 이 오디오 출력은 예컨대 사용자가 선택 목록 내에서 어떠한 특정 선택을 행하였는지에 대한 발음이 될 것이다. 단계 554에서는 이 기능이 그래픽 성분 아이콘에 지속적으로 연관되어, 후속 행동(예컨대, 펜 장치(100)를 가볍게 두드림)에 의해 이 기능의 후속 액세스(예컨대, 어느 정도 시간 경과 후)가 가능하게 된다. 예컨대, 메뉴 기능의 경우, 나열된 메뉴 선택 항목은 메뉴 그래픽 성분 아이콘을 간단히 작동함으로써(예컨대, 가볍게 두드림으로써) 어느 정도의 시간 경과 후에 사용자에 의해 액세스될 수 있다.
펜 장치(100)의 출력은 오디오 출력 외에 시각적 출력(예컨대, 디스플레이, 표시 조명 등을 통해)이 함께 제공되거나, 또는 오디오 출력 대신에 시각적 출력이 제공될 수도 있다. 시각적 출력 및/또는 오디오 출력은 펜 장치(100)로부터 직접 제공되거나, 또는 펜 장치(100)에 통신 가능하게 접속된 또 다른 장치(예컨대, 개인용 컴퓨터, 스피커, LCD 디스플레이 등)로부터 제공될 수 있다.
복수의 상이한 그래픽 성분이 표면 상에 언제든 존재할 수도 있고, 그 선택은 예컨대 어플리케이션을 호출하거나 서브메뉴 옵션을 호출하는 등과 같은 펜 장치(100)에 의해 실행될 다양한 기능을 제공할 수도 있음을 이해할 수 있을 것이다.
이러한 방식으로, 본 발명의 실시예는 컴퓨터 시스템, 특히 예컨대 펜 장치(100)와 같이 펜을 기반으로 하는 컴퓨터 시스템의 기능을 네비게이션하기 위한 사용자 인터페이스 수단을 구현한다. 그래픽 성분 아이콘에 의해 구현된 바와 같은 사용자 인터페이스는 펜 장치(100) 내에서 실행하는 다수의 소프트웨어 어플리케이션과 대화하는 방법을 제공한다. 전술한 바와 같이, 펜 장치(100)로부터의 출력은 오디오 출력을 포함할 수 있으며, 그러므로 사용자 인터페이스 수단은 사용자가 펜 장치(100)의 어플리케이션 및 기능과의 "다이알로그"를 수행할 수 있게 된다. 즉, 사용자 인터페이스는 사용자로 하여금 이 사용자와 펜 장치(100)가 서로 대화할 수 있도록 하는 그래픽 성분 아이콘과 같은 상호 인식된 아이템을 작성할 수 있도록 한다. 전술한 바와 같이, 상호 인식된 아이템은 통상적으로 사용자가 페이퍼 등과 같은 표면 상에 그려서 작성한 기호, 마크 또는 아이콘이다.
상이한 그래픽 성분 아이콘은 상이한 의미와 상이한 방식의 사용자와의 대화를 갖는다. 일반적으로, 소정 그래픽 성분 아이콘의 경우, 대화의 방식은 펜 장치의 상이한 컴퓨터 구현 기능을 호출할 것이다. 이에 대한 예시로서, 상기 예의 메뉴의 경우, 메뉴 기능은 사용자가 그래픽 성분에 관련되어 있는 기능의 목록을 차례차례 반복하도록 할 것이다(예컨대, 메뉴 그래픽 성분 아이콘 상의 두드림(tap)의 수는 기능의 목록을 차례차례 반복시킨다). 펜 장치로부터의 오디오는 그 두드림이 행해질 때에 기능 또는 모드를 발음할 수 있다. 그리고나서, 발음된 기능/모드 중의 하나가 일부의 추가의 대화(예컨대, 그 그래픽 성분 아이콘에 연관된 이전에 그려진 체크마크 그래픽 성분을 그리거나 선택함으로써)를 통해 사용자에 의해 선택될 수 있다. 추가의 대화가 선택된 후, 기능, 옵션 및 특정의 선택된 기능의 서브메뉴가 사용자에 의해 액세스될 수 있다. 이와 달리, 음성으로 제공된 서브-옵션 중의 하나가 메뉴 그래픽 아이콘이라면, 메뉴 그래픽 아이콘은 사용자가 표면 상에 그 아이콘의 표시를 그리고 그것을 선택함으로써 선택될 수 있다.
도 6은 본 발명의 일실시예에 따른 프로세스(650)의 컴퓨터 구현 단계의 흐름도를 도시하는 도면이다. 이 프로세스(650)는 본 발명의 일실시예에 따른 대화형 장치(예컨대, 펜 장치(100))의 다수의 내장된 계층적 기능을 액세스하기 위한 사용자 인터페이스 프로세스(예컨대, 차례차례 네비게이션하는)의 기본적인 조작 단계를 도시한다. 이 프로세스(650)는 도 8a, 도 8b 및 도 8c를 참조하여 설명된다.
이 프로세스(650)는 단계 651에서 개시하며, 이 단계에서는 펜 장치(100)의 컴퓨터 구현 기능이 도 8a에 도시된 작성된 그래픽 성분 아이콘을 메뉴 아이콘 "M"으로서 인식한다. 단계 551과 마찬가지로, 그래픽 성분 아이콘은 사용자에 의해 기록되거나 또는 표면 상에 미리 인쇄될 수도 있다. 그 한 경우에, 그래픽 성분 아이콘은 그 아이콘에 연관되어 그 자체가 추가의 선택을 제공할 수도 있는 추가의 그래픽 성분 아이콘의 선택 목록(예컨대, 계층적 배열)을 제공할 수 있다. 단계 652에서는, 도 8a에 도시된 바와 같이, 그 그래픽 성분 아이콘이 인식된 후, 그 그래픽 성분 아이콘에 관련된 기능의 제1 계층의 메뉴가 액세스된다. 이 예에서, 메뉴 아이콘 "M"이 인식된 후, 단계 651에서의 메뉴 아이콘 "M"은 서브-옵션의 목록(예컨대, system "S", games "G", reference "R" 및 tools "T")이 도 8a에 도시된 바와 같이 한 번에 한 옵션씩 음성으로 제공될 수 있다(예컨대, 음성 프롬프트를 통해). 이 옵션은 펜 장치(예컨대, 펜 장치 "100")에 의해 단계 651의 메뉴 아이콘의 연속적인 선택에 응답하여 제공된다.
단계 653에서는, 도 8b에 예시된 바와 같이, 이 예에서 발음된 기능 중의 하나인 'reference' 그래픽 성분 아이콘 "R"이 메뉴 그래픽 성분 아이콘(예컨대, 두드림)의 적합한 수의 작동 및 연관된 체크마크 아이콘(870)의 활성화를 통해 선택된다. 단계 "654"에서는 작동된 기능이 기능의 제2 계층의 메뉴에 대한 제2 그래 픽 성분 아이콘의 작성을 촉구할 수도 있다. 이 예에서는 'reference' 아이콘 "R"인 제2 그래픽 성분 아이콘이 사용자에 의해 표면 상에 그려질 것이다. 도 8c에 도시된 바와 같이 그 아이콘의 선택은 서브메뉴 아이템의 제2 목록이 전술한 방식으로 음성으로(예컨대, 음성 프롬프트를 통해) 제공되도록 할 것이다(예컨대, thesaurus "TH", dictionary "D" 및 help "H"). 이에 후속하여, 단계 655에서는 제2 그래픽 성분 아이콘의 발음된 기능 중의 하나가 제2 계층 레벨 기능 중의 하나를 선택하기 위해 적합한 수의 동작을 통해 활성화된다.
이러한 방식으로, 하나의 메뉴가 추가의 서브-메뉴를 갖는 다수의 서브-메뉴를 호출할 수 있다. 그러므로, 상이한 레벨의 그래픽 성분 아이콘이 계층적으로 배열될 수 있다. 일반적으로, 기능에 대한 메뉴를 제공하는 상위 레벨의 그래픽 성분 아이콘은 그룹 그래픽 성분 아이콘으로 지칭된다. 어플리케이션 그래픽 성분 아이콘은 전반적으로 구성 옵션 또는 소정 어플리케이션에 대한 어플리케이션 설정치에 대한 메뉴를 제공하는 제2 레벨의 그래픽 성분 아이콘이다. 예컨대, 어플리케이션 그래픽 성분 아이콘은 그룹 그래픽 성분 아이콘의 특별한 케이스로서 고려될 수 있다. 일반적으로, 어플리케이션 그래픽 성분 아이콘은 구체적인 어플리케이션 관련 디폴트 동작이 연관되어 있다.
이러한 방식으로, 사용자는 메뉴 아이템의 목록으로부터 메뉴 아이템을 선택할 것이다. 메뉴 아이템은 디렉토리 명칭, 서브디렉토리 명칭, 어플리케이션 명칭, 또는 특정 데이터 세트의 명칭을 포함할 수도 있다. 디렉토리 또는 서브디렉토리 명칭의 예는 "tools"(예컨대, 다수의 상이한 환경 하에서 적용 가능한 대화형 의 유용한 기능에 대하여), "reference"(예컨대, 사전과 같은 참고 자료에 대하여), "games"(예컨대, 상이한 게임에 대하여) 등을 포함하며, 이러한 것으로만 제한되지는 않는다. 구체적인 어플리케이션(또는 서브디렉토리)의 예는 "calculator", "spell checker" 및 "translator"를 포함한다. 데이터 세트의 구체적인 예는 외국어 단어와 그들의 의미의 세트, 전화번호 목록, 캘린더, 해야할 목록 등을 포함할 수 있다. 메뉴 아이템의 추가의 예가 도 7의 아래쪽에 도시되어 있다.
다양한 메뉴 아이템에 대하여 특정의 오디오 명령이 제공될 수 있다. 예컨대, 사용자가 "캘린더" 메뉴 아이템을 선택한 후, 펜 장치는 사용자에게 숫자 0∼9와 연산자 ±, -, ×, /, = 를 페이퍼 상에 그리고 수학 계산을 수행하기 위해 숫자를 선택하도록 명령할 것이다. 또 다른 예에서, 사용자가 "translator" 메뉴 아이템을 선택한 후, 펜 장치는 사용자에게 제2 언어의 명칭을 기록하고 그것을 원으로 둘러싸도록 명령할 수 있다. 사용자가 이러한 동작을 행한 후, 펜 장치는 사용자에게 단어를 영어로 쓰고 그리고나서 기록한 단어의 제2 언어로 번역된 단어를 듣기 위해 원으로 둘러싸인 제2 언어를 선택하도록 추가로 명령할 수 있다. 그렇게 한 후에, 펜 장치의 오디오 출력 장치가 그 단어를 제2 언어로 발음할 것이다.
도 7은 각각의 옵션의 그래픽 성분 아이콘 표시를 포함하는 본 발명의 일실시예에 따른 메뉴 아이템 트리 디렉토리를 도시하는 도면이다. 메뉴 아이템 트리 디렉토리는 메뉴 그래픽 성분 아이콘으로부터 개시하는 오디오 메뉴를 구현할 수 있다. 도 7의 상단으로부터 개시하는 제1 오디오 서브디렉토리로서 T(tools) 서브디렉토리가 도시되어 있다. T(tools) 서브디렉토리 아래에는, TR(translator) 서 브디렉토리, C(calculator) 서브디렉토리, SC(spell checker) 서브디렉토리, PA(personal assistant) 서브디렉토리, AL(alarm clock) 서브디렉토리, 및 TU(tutor) 서브디렉토리가 존재할 수 있다. TR(translator) 서브디렉토리 아래에는, SP(Spanish), FR(French), 및 GE(German) translator 기능이 존재할 수 있다. PA(personal assistant) 서브디렉토리 아래에는, C(calendar), PL(phone list), 및 TD(to do list) 기능 또는 서브디렉토리가 존재할 수 있다. R(reference) 서브디렉토리 아래에는, TH(thesaurus) 기능, D(dictionary) 서브디렉토리, 및 H(help) 기능이 존재할 수 있다. D(dictionary) 서브디렉토리 아래에는, E(English) 기능, SP(Spanish) 기능, 및 FR(French) 기능이 존재할 수 있다. G(games) 서브디렉토리 아래에는, WS(word scramble), FP(funky potatoes), 및 DO(doodler) 등의 게임이 존재할 수 있다. 본 발명의 다른 실시예에서는 다른 게임이 존재할 수도 있다. S(system) 서브디렉토리 아래에는, SE(security) 기능 및 P(personalization) 기능이 존재할 수 있다.
이하에서는 상기 디렉토리, 서브디렉토리, 및 기능의 일부에 관한 세부내용을 설명한다. 메뉴 아이템 트리 디렉토리에 의해 예시된 바와 같이, 사용자는 다양한 메뉴 아이템의 발음을 청취하고 그리고나서 요구된 메뉴 아이템을 선택함으로써 어떠한 요구된 경로로 진행하거나 네비게이션할 것이다. 요구된 메뉴 아이템의 후속 선택은 어떠한 적합한 방식으로도 이루어질 것이다. 예컨대, 일부 실시예에서, 사용자는 펜 장치가 작성된 그래픽 성분을 "다운 터칭(down touching)"(예컨대, 다운-스트로크)하도록 함으로써 오디오 메뉴를 차례 차례로 스크롤할 수 있도 록 한다. "다운 터칭"은 펜 장치 내의 전자 장치에 의해 어떠한 적합한 메카니즘을 이용함으로써 "작동"으로서 인식될 것이다. 예컨대, 펜 장치는 선택된 그래픽 성분을 향한 하향 이동에 연관된 이미지 변화를 인식하도록 프로그래밍될 수도 있을 것이다.
또 다른 실시예에서, 펜 장치의 끝단이 페이퍼에 압력을 가할 때 압력 스위치가 작동하도록 펜 형태의 장치 내에 감압성 스위치(pressure sensitive switch)가 제공될 수도 있다. 이 감압성 스위치는 펜 장치에게 오디오 메뉴를 통해 스크롤하도록 알려준다. 예컨대, 펜 장치가 원형으로 둘러싸인 글자 "M"을 선택한 후에는(이에 의해 펜 형태의 장치 내의 감압성 스위치가 작동됨), 펜 장치 내의 오디오 출력 장치가 "tools"을 발음할 것이다. 사용자는 원형으로 둘러싸인 글자 "M"을 두 번째로 선택하여 오디오 출력 장치가 메뉴 아이템 "reference"를 발음하도록 할 수도 있다. 이것은 오디오 메뉴를 통해 스크롤하도록 요구될 때에는 종종 반복될 수 있다. 특정 메뉴 아이템을 선택하기 위해, 사용자는 페이퍼 상의 구분 마크를 작성하거나, 구체적인 의사표현 행위(gesture)를 스캐닝 장치에게 제공한다. 예컨대, 사용자는 서브디렉토리 "tools"를 선택하기 위한 단어 "tools"을 청취한 후 원형으로 둘러싸인 글자 "M" 다음에 "체크마크"(또는 다른 그래픽 성분)를 그릴 수도 있을 것이다. 이와 같은 방법을 이용하여 사용자는 메뉴 아이템 트리에서 의도된 디렉토리, 서브디렉토리 또는 기능을 향해 네비게이션할 수 있을 것이다. 펜 형태의 장치를 상방향으로 스크롤하도록 하기 위해 상이한 그래픽 성분 또는 상이한 의사표현 행위의 작성이 사용될 수도 있다. 이와 달리, 메뉴를 통해 스크롤하 기 위해 펜 형태의 장치 내에 버튼 또는 다른 액츄에이터가 제공될 수도 있다. "tools"가 선택된 후, 이 "tools"는 그 서브디렉토리 메뉴에 관한 것을 제외하고는 전술한 바와 같이 기능할 것이다.
다른 실시예에서, 메뉴 그래픽 성분 아이콘(예컨대, 원을 갖는 글자 "M")을 작성한 후, 사용자는 메뉴 그래픽 성분 아이콘을 선택할 것이다. 스캐닝 장치 내의 소프트웨어는 원으로 둘러싸인 글자를 메뉴 기호인 것으로 인식하고, 사용자의 터치없이도 스캐닝 장치가 메뉴 아이템 "tools", "reference", "game" 및 "system"을 일정 시간 간격을 두고 순차적으로 발음하도록 한다. 오디오 명령이 사용자에게 제공될 수도 있다. 예컨대, 펜 장치는 "tools 디렉토리를 선택하고, 글자 'T'를 기록하여 그것을 원으로 둘러싸라"("To select the 'tools' directory, write the letter 'T' and circle it")라고 말할 것이다. 메뉴 아이템을 선택하기 위해, 사용자는 글자 "T"를 작성하고 이것을 원으로 둘러쌀 것이다. 이것은 사용자가 서브디렉토리 "tools"를 선택하였다는 것을 펜 장치에게 나타낸다. 그리고나서, 펜 장치는 "tools" 디렉토리 아래의 메뉴 아이템을 사용자에게 발음할 수 있다. 그러므로, 그 디렉토리, 서브디렉토리 또는 기능을 나타내는 그래픽 성분을 페이퍼 상에 작성하고 이들과 대화함으로써 메뉴 아이템트리 내의 특정 디렉토리, 서브디렉토리 또는 기능으로 직접 진행할 수 있다. 이와 달리, 메뉴 아이템이 이미 표면 상에 존재한다면, 사용자는 그 메뉴 아이템의 기능을 선택하기 위해 언제든 그 메뉴 아이템과 대화할 수 있다.
도 7에 도시된 그래픽 성분 아이콘의 디렉토리, 서브디렉토리, 옵션 메뉴 등 내에서의 아이템의 순서는 사용자에 의해 변경될 수 있다는 것에 유의하기 바란다. 예컨대, 사용자는 특정 어플리케이션을 액세스하고 그 어플리케이션을 이용하여 하나 이상의 디렉토리, 서브디렉토리 등의 아이템이 음성으로 제공되는 순서를 변경할 수 있다. 유사하게, 사용자는 소정 디렉토리/서브디렉토리 등 내의 하나 이상의 아이템에 연관된 특정 오디오 출력을 변경할 수 있다. 예컨대, 사용자는 어느 한 아이템에 대하여 자기 자신의 목소리를 녹음하거나, 미리 녹음된 음악(예컨대, MP3 등)을 사용하거나 등등을 할 수 있으며, 사용자는 아이템의 음성으로 제공된 출력에 따를 수도 있다. 또한, 하나 이상의 디렉토리, 서브디렉토리 등에 대한 추가의 아이템이 예컨대 펜 형태의 장치에 제공된 소프트웨어 또는 펌웨어 업데이트(예컨대, 신규 소프트웨어를 기반으로 하는 기능을 업로딩)를 통해 추가될 수 있음을 유의하여야 한다.
복수의 인스턴스(instance)의 그래픽 성분 아이콘(예컨대, 복수의 메뉴 아이콘)의 각각의 상태는 각각의 특정 인스턴스에 지속적으로 연관될 수 있다. 예컨대, 2개 이상의 그래픽 성분 아이콘이 공통 표면 상에 존재하는 곳의 경우(예컨대, 사용자에 의해 작성되거나, 미리 인쇄되는 등), 여러 가지 옵션의 디렉토리 중의 그 아이콘의 디렉토리 내에서의 그 아이콘의 상태 또는 그 아이콘의 특정 위치가 각각의 아이콘에 대하여 기억될 수 있다. 예컨대, 제1 메뉴 아이콘이 현재 옵션 3(예컨대, "games")에 있고, 제2 메뉴 아이콘이 현재 옵션 1(예컨대, "tools")에 있다면, 사용자는 그 곳에서 벗어나 다른 어플리케이션(예컨대, calculator, dictionary 등)을 이용하여 다른 태스크를 수행할 수 있고, 어느 정도의 시간 경과 후 제1 또는 제2 메뉴 아이콘 중의 하나로 복귀할 수 있으며, 이들 아이콘은 자신의 최종 상태를 정확하게 유지할 것이다(예컨대, 제1 메뉴 아이템에 대해서는 "games", 제2 메뉴 아이템에 대해서는 "tools").
유사하게, 복수의 인스턴스의 그래픽 성분 아이콘(예컨대, 복수의 메뉴 아이콘)의 각각의 상태는 복수의 인스턴스 도중에 정리될 수 있고, 각각의 특정 인스턴스에 지속적으로 연관될 수 있다. 정리된 상태를 이용하여, 2개 이상의 그래픽 성분 아이콘(예컨대, 사용자에 의해 작성되거나, 미리 인쇄되는 등에 의한)이 공통 표면 상에 존재하는 곳에서, 각각의 아이콘에 대하여 이들의 상태가 기억될 수 있지만, 그 상태는 옵션이 각각의 인스턴스에 걸쳐 존재하도록 정리될 수 있다. 예컨대, 제1 메뉴 아이콘이 현재에는 옵션 2(예컨대, "system")에 있다면, 제2 메뉴 아이콘은 그 아이콘이 옵션 3(예컨대, "tools")에 있게 되도록 정리된 상태를 가질 것이다. 사용자는 다른 중간 태스크를 수행하고, 어느 정도의 시간 경과 후에 제1 또는 제2 메뉴 아이콘 중의 하나로 복귀할 수 있으며, 이들 아이콘은 자신의 정리된 상태를 정확하게 유지할 것이다(예컨대, 제1 메뉴 아이콘에 대해서는 "system", 제2 메뉴 아이콘에 대해서는 "tools").
도 9는 본 발명의 일실시예에 따라 다수의 그래픽 성분 아이콘이 기록되어 있는 표면(910)(예컨대, 페이퍼)을 도시하는 도면이다. 도 9는 그룹 그래픽 성분 아이콘(예컨대, 메뉴 아이콘 "M" 및 게임 아이콘 "G") 및 어플리케이션 아이콘(예컨대, calculator 아이콘 "C")의 예를 도시하고 있다. 그래픽 성분 아이콘은 사용자에 의해 페이퍼(910) 상에 기록될 수도 있고, 미리 인쇄될 수도 있다. 전술한 바와 같이, 그룹 그래픽 성분 아이콘은 일반적으로 목록 옵션을 음성으로 제공한다. 예컨대, 펜 장치(100)를 위치 "901"에서 반복적으로 가볍게 두드림으로써 도 7에 대한 설명에서 언급한 바와 같이 메뉴 디렉토리의 옵션(예컨대, system, games, reference 및 tools)으로 진행된다. 예컨대, 메뉴 아이콘을 2회 가볍게 두드림으로써, 펜 장치(100)가 "system"을 음성으로 제공하도록 되고, 그리고나서 게임 서브디렉토리의 선택을 나타내는 "games"를 음성으로 제공하도록 될 것이다. 그리고나서, 게임 서브디렉토리는 위치 "902"(예컨대, 체크마크)를 터치함으로써 활성화되며, 이 활성화는 오디오 톤을 통해 사용자에게 확인될 수 있다.
이에 후속하여, 펜 장치(100)는 사용자에게 도 9에 도시된 바와 같은 게임 그래픽 성분 아이콘을 작성하도록 음성으로 촉구한다. 펜 장치(100)로 위치 "903"에 있는 게임 아이콘을 반복하여 두드림으로써, 펜 장치(100)가 도 10에서 설명한 바와 같은 게임 서브디렉토리의 옵션(예컨대, word scramble, funky potatoes 및 doodler)을 진행하도록 된다. 게임 서브디렉토리 아이템 중의 선택된 아이템은 위치 "904"에 있는 탭(예컨대, 게임에 연관된 체크마크)을 통해 선택되거나, 이와 달리 탭이 아직 존재하지 않는 경우에는 체크마크를 그림으로써 선택될 수 있다.
다시 도 9를 참조하면, 계산기 아이콘 "C"를 터치함으로써 계산기 어플리케이션이 개시된다. 이러한 방식으로, 계산기 아이콘은 메뉴 아이템의 리스트 또는 서브디렉토리 옵션을 제공하지 않고, 이 경우에는 계산기 어플리케이션인 어플리케이션 자체를 직접 개시시킨다. 계산기 어플리케이션이 호출된 후, 펜 장치(100)는 활성화를 확인해주며(예컨대, 오디오 톤을 제공함으로써), 사용자에게 계산기를 사 용하도록 준비하기 위한 일련의 행동을 차례차례 음성으로 촉구한다(예컨대, 사용자에게 숫자 "0∼9"와 연산자 "±, -, ×, / 및 ="를 표면 상에 그리고나서 수학 계산을 수행하기 위한 숫자를 선택하도록 명령함으로써).
도 9는 또한 펜 장치(100)의 "프롬프트-앤드-빌리브(prompts and believe)" 기능을 이용하여 작성된 사용자 기록의 단어(906)(예컨대, 문자열)를 도시하고 있다. 본 발명의 실시예에 따르면, 일부 단어, 문자열, 마크, 기호 또는 다른 그래픽 성분은 OCR을 이용하여 처리될 필요가 없다는 점에 유의하기 바란다. 예컨대, 특정 단어, 그래픽 성분 등은 펜 장치(100)로부터의 음성 프롬프트에 응답하여 사용자에 의해 작성될 수 있으며, 이때 펜 장치는 사용자에게 특정 단어(예컨대, "president")를 기록하도록 촉구(프롬프트)하고, 그에 후속하여 기록된 단어의 위치를 그 관련사항(예컨대, 프롬프트로부터의 위치)와 함께 저장한다. 작성된 단어의 후속 선택은 전술한 방식으로 위치확인에 의해 인식된다. 예컨대, 펜 장치(100)는 사용자에게 단어 "president"(906)를 기록하도록 명령할 수 있다. 프롬프트에 응답하여, 사용자는 단어 "president"를 기록하며, 펜 장치(100)는 프롬프트에 응답하여 사용자가 기록한 것이 실제로 단어 "president"라는 것을 단어의 후속 선택에 응답하여 처리하거나 신뢰할 것이다. 즉, 펜 장치(100)는 프롬프트에 응답하여 사용자가 기록한 것이 무엇이던 간에 그것과 라벨 "president"를 연관시킨다. 어플리케이션에 따라서는, 사용자는 단어에 밑줄을 치거나, 단어를 박스로 감싸거나, 몇몇 구별하기 위한 마크/그래픽 성분을 추가하도록 촉구될 수 있다.
사용자가 촉구된 단어의 기록을 행할 때, 펜 장치(100)는 예컨대 비활성화( 예컨대, 사용자가 더 이상 기록하지 않음)를 데이터 입력 종료 이벤트로서 인식함으로써 사용자가 완료하였다는 사실을 인식한다. 이러한 방식으로, "타임아웃" 메카니즘은 데이터 입력의 종료를 인식하기 위해 사용될 수 있다. 또 다른 완료 이벤트는 단어가 전술한 바대로 밑줄이 쳐지거나 박스로 감싸지게 되는 경우일 것이다. 완료 이벤트의 추가의 예는 2005년 1월 12일자로 Marggraff 등을 발명자로 하여 출원된 미국 특허 출원 "TERMINATION EVENTS"에 개시되어 있으며, 그 특허 출원의 전체 내용은 본 명세서에 참조되어 있다.
이러한 방식으로, 본 발명의 실시예의 "프롬프트-앤드-빌리브" 특징은 사용자와 펜 장치(100) 간에 상호 이해되는 의미를 갖는 그래픽 성분의 작성을 가능하게 한다. 단어 "president"에 대해서는 OCR 처리가 행해지지 않는다는 점에 유의하기 바란다. "프롬프트-앤드-빌리브" 기능을 이용하여 작성된 그래픽 성분은 다른 어플리케이션, 옵션, 메뉴, 기능 등에 연관될 수 있으며, 이에 의해 프롬프트-앤드-빌리브 그래픽 성분의 선택(예컨대, 가볍게 두드림으로써)은 상기의 다른 어플리케이션, 옵션, 메뉴, 기능 중의 어떠한 것도 호출할 수 있다. OCR 처리에 대한 필요성을 제거함으로써 펜 장치(100) 상의 연산 요구량을 감소시킬 수 있고, 그에 따라 사용자 인터페이스의 응답성을 향상시킬 수 있다.
도 10은 본 발명의 일실시예에 따른 프로세서(570)의 단계를 나타내는 흐름도이다. 이 프로세스(570)는 본 발명의 일실시예에 따라, 대화형 장치[예컨대, 펜 장치(100)]의 기능 및 어플리케이션을 액세스하기 위한 경계 영역 사용자 인터페이스 프로세스의 기본적인 동작 단계를 나타낸다.
프로세서(570)는 단계 571에서 개시하며, 이 단계 571에서는, 경계 영역이 정의된다. 단계 572에서, 펜 장치(100)의 컴퓨터로 구현되는 기능은 표면의 경계 영역 내에서의 작동을 인식한다. 이 작동은 경계 영역 내의 펜 장치의 접촉(예컨대, 펜의 끝을 위치시키는 것), 경계 영역 내에서의 펜 장치의 스트로크 또는 마크(예컨대, 문자 또는 마크를 그리는 것)가 될 수 있다. 본 명세서에서 설명하는 바와 같이, 경계 영역은 표면 상의 경계선으로 둘러싸인 영역을 의미한다. 이러한 경계 영역의 한가지 예는 페이퍼의 표면 상에 사용자가 작성한 박스 그림이 될 수 있다. 페이퍼의 박스 내의 영역은 경계 영역을 포함한다. 단계 571에서, 경계 영역은 펜 장치에 의해 음성 명령어 또는 프롬프트에 의해 사용자에 의해 그려질 수 있다. 다시 말해서, 어플리케이션의 선택 이후 사용자에 의한 첫번째 행위가 사용자가 박스를 그리는 것이 될 수 있다. 박스 또는 그외 둘레 부분을 그린 후에, 펜 장치는 박스와 어플리케이션 또는 기능을 연관시킨다.
단계 573에서, 경계 영역 내에서 작동이 검출되면, 경계 영역과 관련된 기능 또는 어플리케이션이 자동으로 호출된다. 경계 영역은, 이 경계 영역 내의 작동을 인식할 때 펜 장치가 호출하는 특정의 기능(또는 어플리케이션)에 영향을 미치는 특정의 기능과 연관되는 것이 일반적이다. 특정 기능의 예로는, 계산기 경계 영역으로부터의 사용자 입력이, 인식 프로세스를 개선하기 위하여 글자에 대한 숫자로서 우선하여 인식되는 계산기 기능이 있다. 이 예에서, 계산기를 나타내는 경계 영역 내의 임의의 사용자 필기는, 계산기 기능을 자동으로 호출하며, 이 기능이 사용자의 필기에 적용된다. 이것은, 사용자의 필기가 이미 이루어져 있고 사용자가 필기 도구(예컨대, 펜 장치(100)를 이용해서 단지 선택만 한 경우에도 마찬가지로 적용된다.
단계 574에서, 경계 영역에 특정되는 기능에 따른 출력이 제공된다. 예를 들어, 상기 설명한 계산기를 계속해서 설명하면, 출력은 사용자가 입력하는 수학적 연산의 결과를 나타내는 음성 출력이 될 수 있다. 계속해서, 단계 575에서, 특정의 기능은 지속성을 달성하는 경계 영역과 연관된다. 상기 설명한 바와 같이, 이러한 지속성에 의하여, 다른 중간 작업과 다른 중간 행위를 수행하는 것이 가능하게 되고, 나중에 그 문자열로 되돌아가는 것이 가능하며, 펜 장치에 의해 문자열의 선택하기만 하면 의도하는 방식으로(예컨대, 문자열은 계속해서, 시소러스, 사전, 번역기 등으로서 동작한다) 기능을 가질 수 있다.
도 11은 본 발명의 일실시예에 따른 계산기 경계 영역 어플리케이션을 나타낸다. 도 11은 사용자가 페이퍼의 비어 있는 부분에 페이퍼 계산기를 작성할 수 있는 방식을 나타낸다. 이 예에서, 사용자가, 상기 설명한 바와 같이 "계산기" 애플리케이션을 선택한 후, 사용자로 하여금 이 경계 영역 내에, 숫자 "0∼9"와 연산자 "+, -, ×, / 및 =" 를 기록하도록 촉구한다. 사용자는 이들 숫자의 둘레에 원을 만들어서 포함하고, 가산, 감산, 승산, 제산, 및 동등(equal) 등의 연산을 위한 수학 연산자를 포함하는 그래픽 성분(210)을 작성한다. 다른 실시예로서, 도 11에 도시된 숫자들의 둘레에는 원을 형성할 필요가 없다. 펜 장치(100)는 작성한 그래픽 성분의 위치와, 작성된 실제의 그래픽 성분을 인식한다.
사용자는 적어도 2개의 그래픽 성분을 선택하여, 이러한 선택에 관련된 음성 출력을 수신할 수 있다. 예를 들어, 사용자가 "4"±"7" "="이라는 그래픽 성분의 시퀀스를 선택하면, 펜 장치(100)가 "eleven"(11)이라는 음성을 제공할 수 있다. 이 페이퍼 계산기는 상기 설명한 바와 같이 지속적이며, 일정한 시간이 지난 후에 재사용이 가능한데, 이는 펜 장치가 그래픽 성분의 위치를 메모리 유닛에 저장하고 있기 때문이다. 본 실시예는 학생들이 물리적인 계산기를 가지고 있는 않은 학교에서 유용할 수 있다.
경계 영역은 사용자에 의해 미리 인쇄된 또는 그려질 수 있다는 것이 중요하다. 예를 들어, 페이퍼 계산기는 상기 설명한 방식으로 프롬프트에 따라 사용자가 작성할 수 있으며, 또는 페이퍼 계산기가 페이퍼 시트(213) 상에 미리 인쇄되어 있을 수 있다. 어느 경우에서나, 사용자가 경계 영역(211)에 기록을 행할 때, 계산기 어플리케이션만이 구동되며, 펜 장치는 글자가 아닌 숫자만을 확인함으로써, 인식 프로세스를 능률적으로 할 수 있다.
또한, 중요한 것은, 사용자가 경계 영역에 할당된 어플리케이션 또는 기능을 활성화하기 위하여 그래픽 성분 아이콘을 선택할 필요가 없다는 것이다. 경계 영역이 작성된 방식에 따라, 경계 영역(예컨대, 계산기)과 관련된 기능은 지속성을 가지며, 후속하는 작동에 따라 자동으로 호출된다. 또 다른 중요한 것으로서, 사용자는 복수 개의 경계 영역을 정의할 수 있으며, 이들 각각의 경계 영역은 상이한 어플리케이션에 할당되어 있다. 예를 들어, 도 11을 보면, 사용자는 상기 설명한 방식으로, 계산기 경계 영역(211)을 정의할 수 있으며, 동일한 페이스 시트(213) 상의 사전 경계 영역(212)(예컨대, 레퍼런스(reference) 서브메뉴 "R" 및 툴 (tools) 서브메뉴 "T")을 정의할 수 있다. 사전 경계 영역(dictionary bounded area)(212)은 경계 영역(212) 내에 입력된 문자열(예컨대, "rampart")의 정의를 음성으로 제공하는 기능을 한다. 따라서, 경계 영역(212) 내에 입력된 텍스트는 사전 기능과 연관되며, 단어(예컨대, 글자)로서 인식되고, 경계 영역(211)에 입력된 텍스트는 계산기 기능과 연관되며, 숫자(예컨대, 등식 등)로서 인식된다. 이와 달리, 사용자는 복수 개의 경계 영역 중 두 개의 영역 이상이 동일한 기능의 인스턴스에 해당하는 복수 개의 경계 영역을 정의할 수 있다.
도 12a는 본 발명의 일실시예에 따라, 컴퓨터로 구현하는 프로세스(580)의 단계들을 나타내는 흐름도이다. 이 프로세스(580)은 본 발명의 일실시예에 따라 펜 장치[예컨대, 장치(100)]의 기능을 액세스하기 위한 문자열 인식 사용자 인터페이스의 기본적인 동작 단계를 나타낸다. 이 프로세스(580)은 펜형 컴퓨터 시스템의 동작 모드, 소위 "활성 텍스트"(active text)를 설명하고 있다.
프로세스(580)은 단계 581에서 개시하고, 이 단계 581에서, 장치(100)의 컴퓨터로 구현되는 기능은 사용자가 펜 장치로 기록할 수 있는 문자열(예컨대, 단어)을 인식한다. 단계 582에서, 문자열의 인식에 기초하여, 현재 선택된 또는 문자열과 관련된 기능이 액세스된다. 단계 583에서는, 그 기능 및 문자열에 따라 출력이 제공된다. 기능의 예에는, 예컨대 단어에 대해서 하나의 언어(예컨대, 영어)를 다른 언어로 번역하는 번역 기능, 단어에 대해 그 정의를 제공하는 사전 기능, 시소러스 기능 등이 포함된다. 계속해서, 단계 584에서는, 특정의 기능이 문자열과 관련되어, 지속성을 얻도록 한다. 상기 설명한 바와 같이, 이러한 지속성에 의해, 사용자는 다른 중간 작업과 다른 중간 행위를 수행하는 것이 가능하게 되고, 나중에 그 문자열로 되돌아가는 것이 가능하며, 펜 장치에 의해 문자열의 선택하기만 하면 의도하는 방식으로(예컨대, 문자열은 계속해서, 시소러스, 사전, 번역기 등으로서 동작한다) 기능을 가질 수 있다. 단계 585에서, 일정 시간이 지난 후, 사용자는 펜 장치를 이용하여(예컨대, 문자열에 접촉함으로써), 문자열을 선택한다. 계속해서, 단계 586에서는, 문자열의 선택에 따라, 펜 장치가 문자열과 관련된 기능을 자동을 선택하고, 출력을 다시 제공(예컨대, 번역된 출력의 제공, 정의의 제공 등)한다.
이러한 방식으로, 사용자는 텍스트(예컨대, 단어)를 기록할 수 있고, 펜 장치는 이 단어와, 페이퍼 상의 위치를 기억한다. 이에 따라, 텍스트는 상이한 기능(예컨대, 그래픽 성분 아이콘 등)을 호출할 수 있는 페이퍼 상의 활성 영역이 된다.
도 12b는 본 발명의 일실시예에 따라 컴퓨터로 구현하는 프로세스(590)의 단계를 나타내는 흐름도이다. 프로세스(590)에서, 텍스트에 대해 실행되는 기능은 현재 선택된 어플리케이션에만 의존하며, 이어서 문자열은 데이터로서만 취급된다. 이에 대하여 프로세스(590)에서 설명한다.
프로세스(590)은 단계 591에서 개시되며, 단계 591에서는, 사용자가 문자열을 기록한다. 단계 592에서, 펜 장치는 문자열을 특정의 단어로서 자동으로 인식한다. 단계 593에서, 제1 어플리케이션(현재 활성화된 것)이 그 특정의 단어에 적용되며, 적용의 결과(그 특정의 단어에 대해 동작된 것)가 펜 장치에 의해 음성으 로 제공된다. 예를 들어, 사용자가 텍스트를 선택하면, 특별한 어플리케이션 전용 기능이 시작될 수 있으며, 이 경우 선택된 어플리케이션에 따라 다른 기능이 호출될 수 있다. 단계 594에서는, 제2 어플리케이션이 활성화된다. 단계 595에서, 사용자는 다시 문자열을 선택하고, 특정의 단어가 자동으로 재호출된다. 단계 596에서, 제2 어플리케이션은 특정의 단어에 자동으로 적용되고, 제2 어플리케이션의 결과(그 특정의 단어에 대해 동작된 것)가 음성으로 제공된다.
본 실시예에서, 중요한 것은 문자열(예컨대, 단어)과 관련된 기능을 변경하기 위하여, 하나 이상의 그래픽 성분 아이콘이 이용될 수 있다는 것이다. 예컨대, 사전 어플리케이션, 번역 어플리케이션 등이 이들 각각의 그래픽 성분 아이콘에 의해 선택될 수 있다. 마찬가지로, 복수 개의 그래픽 성분 아이콘은 동일한 단어로부터 이에 대응하는 복수 개의 상이한 기능을 호출(예컨대, 정의를 가져오는 것, 번역을 수행하는 것 등)할 수 있다.
이에 따라, 예컨대, 프로세스(590)에 의해 인터페이스 방법이 가능하게 되며, 번역 어플리케이션 활성화를 이용하여(예컨대, 번역 그래픽 아이템 아이콘을 접촉함으로써), 단어의 선택에 의해 특정 단어의 다른 언어로의 번역이 행해진다. 그러나, 사전 어플리케이션이 활성화되면(예컨대, 사전 그래픽 아이템 아이콘을 접촉함으로써), 사용자가 특정의 단어를 선택할 때, 펜 장치가 그 특정의 단어에 대한 정의를 제공한다. 이러한 방식으로, 사용자는 그 특정의 단어와 관련된 다수 개의 어플리케이션을 갖는다. 이와 반대로, 프로세스(580)에 의하면, 번역 어플리케이션 활성화를 이용하여, 단어의 선택에 의해 특정 단어의 다른 언어로의 번역이 행해진다. 사용자는 다른 중간 작업(예컨대, 계산기 어플리케이션, 게임 등)을 수행할 수 있다. 이어서, 어느 정도의 시간이 지난 후에, 하나의 어플리케이션은 문자열과 관련된 상태를 유지하기 때문에, 사용자는 그 특정의 단어의 번역을 다시 듣고 싶을 때 그 문자열을 다시 선택(예컨대, 접촉시킴으로써)하기만 하면 된다(예컨대, 펜 장치는 그 특정의 단어의 번역을 음성으로 제공한다). 이러한 번역은, 하나의 어플리케이션만이 특정의 단어와 관련되어 있기 때문에, 자동으로 수행된다.
상기 예에서, 중요한 것은, 마크, 단일 문자, 또는 문자열(예컨대, 단어)에 에 대해, 이것이 사용자에 의해 처음 기록된 것이기 때문에(예컨대, 도 11에 도시된 "rampart"), 한 번만 광학적 문자 인식(OCR: optical charater recognition)이 수행될 필요가 있다는 것이다. 상기 설명한 바와 같이, 펜 장치(100)는 표면(213) 상의 그래픽 성분의 위치가 결정[예컨대, 표면(213) 상에서 부호화된 데이터를 판독하는 펜 장치(100)에 의해]될 수 있는 기능을 포함한다. 이에 의하면, 펜 장치(100)는 특정의 단어에 대한 위치를 기억하게 된다. 따라서, 펜 장치(100)는 표면(213) 상의 특정의 단어의 동일한 위치를 인식함으로써[예컨대, 사용자가 일정 시간 경과 후에 그 특정의 단어에 펜 장치(100)를 접촉시킬 경우] 그 특정의 단어의 후속하는 선택을 식별할 수 있다. 사용자에 의한 단어의 후속하는 선택 시에, 앞서 수행된 OCR 프로세스의 결과가 재호출되고, 이들 결과는, 예컨대 활성 어플리케이션(예컨대, 사전)에 의해 이용된다. 따라서, OCR 프로세스의 결과(예컨대, 단어, 문자, 숫자 등)를 저장하는 능력과, 이들 결과를 나중에 하나 이상의 어플리케 이션에서 이용하기 위해 후속하여 재호출하는 능력은, 본 발명의 실시예에 의해 구현되는 사용자 인터페이스의 응답 특성과 성능을 향상시킨다. 자원 집약형 OCR 프로세스는 펜 장치(100)의 컴퓨터 시스템 자원에 의해 한 번만 수행되기만 하면 된다.
중요한 것은, 경계 영역이 문자열(예컨대, 단어)와 관련된 기능에 영향을 미치거나 그 기능을 변경하는데 이용될 수 있다는 것이다. 예를 들어, 사전 어플리케이션에 대응하는 경계 영역은 단어가 경계 영역 내에 기록될 때(또는 이미 기록되어 있는 경우에는 선택될 때), 그 단어의 정의를 항상 제공할 수 있다. 마찬가지로, 문자열은 경계 영역과 관련된 기능에 영향을 미치거나 그 기능을 변경하는데 이용될 수 있다.
도 13a 및 13b는 본 발명의 일실시예에 따라 문자열 인식 어플리케이션의 예를 나타낸다. 도 13a 및 13b에 도시된 바와 같이, 사용자는 그래픽 성분(302)에 원으로 둘러싸인 D를 기입할 수 있다. 펜 장치(100)가 단어 "dictionary"(사전의 의미)를 발음한 후, 사용자는 사전 기능이 선택된 것을 나타내기 위하여 펜 장치(100)로 체크부호(304)를 작성한다. 그래픽 성분(302)을 작성한 후, 펜 장치(100)는 라인(306)으로 둘러싸인(예컨대, 경계 영역) 단어 "French"(308)를 포함하는 다른 그래픽 성분(305)을 사용자로 하여금 작성하도록 촉구할 수 있다. 펜 장치(100)는 사용자로 하여금 단어를 기록하도록 촉구할 수 있으며, 사용자는 문자열 "Hello"(310)를 기록할 수 있다. 사용자는 단어 "Hello"와 그래픽 성분(305)을 선택하여, 펜 장치(100)에 의해 발음되는 단어 "Bon jour"를 들을 수 있다.
상기 예에 의해 도시된 바와 같이, 사용자에 의해 작성되는 적어도 2개의 그래픽 성분은 언어 명칭으로 이루어지는 제1 그래픽 성분(예컨대, 문자열)과, 그 언어의 동일 의미를 갖는 다른 언어로 된 단어로 이루어지는 제2 그래픽 성분을 포함할 수 있다. 사용자는 단어를 선택하고 언어의 명칭을 선택할 수 있으며, 그 언어의 단어를 말하는 합성된 음성을 듣는 것을 포함하여 적어도 하나의 음성 출력을 듣게 될 수 있다. 이 언어는 스페인말, 프랑스말, 독일말, 중국말, 일본말 등 영어 이외의 언어도 가능하며, 단어는 영어로 될 수 있다. 영어를 다른 나라의 언어로 나타내는 사전이 펜 장치의 메모리 유닛에 컴퓨터 코드로서 저장될 수 있다.
이상과 같은 본 발명의 특정 실시예에 대한 설명은 예시와 설명을 위한 것으로서, 본 명세서는 정확한 형태로 본 발명을 모두 나타내거나 제한하기 위한 것이 아니며, 상기 개시의 관점에서 명백하게 많은 변형과 변경이 가능하다. 본 명세서의 실시예는 본 발명의 원리를 설명하고 응용하기 위해서 선택 및 개시된 것이며, 당업자라면 본 발명을 이용하고 다양한 변형에 의하여 특정의 용도에 맞게 변경할 수 있을 것이다. 본 발명의 범위는 첨부된 청구범위와 그 등가 표현의 범위 내로 정의될 수 있다.
본 발명에 의하면, 광학 장치에 의해 제공되는 상이한 선택, 옵션, 및 기능에 대하여 보다 효율적인 액세스가 가능하게 되고, 관련된 컴퓨터 시스템을 구비한 펜 장치의 더 복잡한 기능과의 대화(상호작용)가 가능하게 된다.

Claims (51)

  1. 사용자 명령어를 해석하는 방법에 있어서,
    기록 가능한 표면의 경계가 지워진 경계 영역 내에서의 펜 장치의 작동을 인식하는 단계;
    상기 펜 장치의 기능과 상기 경계 영역을 연관시키는 단계;
    상기 펜 장치의 작동에 기초하여, 상기 경계 영역에 연관된 상기 펜 장치의 상기 기능을 액세스하는 단계; 및
    상기 기능에 따라 상기 펜 장치로부터 출력을 제공하는 단계
    를 포함하며
    상기 펜 장치의 기능과 상기 경계 영역을 연관시키는 단계는, 상기 표면 상의 복수의 그래픽 성분 아이콘 옵션 중 하나를 선택함으로써 실행되는
    사용자 명령어의 해석 방법.
  2. 제1항에 있어서,
    상기 출력은 상기 기능과 관련된 음성 출력을 포함하는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  3. 제1항에 있어서,
    상기 기능의 후속하는 액세스를 가능하게 하기 위하여, 상기 기능의 상기 경계 영역과의 연관 특성을 저장하는 단계를 추가로 포함하는 사용자 명령어의 해석 방법.
  4. 제3항에 있어서,
    상기 기능의 상기 경계 영역과의 연관 특성을 저장하는 것에 의하여, 상기 펜 장치의 상기 경계 영역과의 대화를 통해 미리 정해진 시간 동안 상기 기능을 지속적으로 이용할 수 있도록 하는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  5. 제1항에 있어서,
    상기 경계 영역은 사용자가 상기 펜 장치를 이용하여 상기 표면 상에 그린 것임을 특징으로 하는 사용자 명령어의 해석 방법.
  6. 제5항에 있어서,
    상기 표면은 페이퍼를 포함하여 이루어지는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 복수 개의 옵션 중 하나의 선택에 따라 상기 경계 영역의 작성을 프롬프트(prompt)하는 단계를 추가로 포함하는 사용자 명령어의 해석 방법.
  9. 삭제
  10. 제1항에 있어서,
    상기 펜 장치의 작동은 상기 경계 영역 내에 사용자가 기록한 텍스트를 포함하며, 상기 사용자가 기록한 텍스트를 특정의 단어로서 자동으로 인식하는 것을 포함하는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  11. 제10항에 있어서,
    상기 출력을 제공하는 단계는, 상기 경계 영역에 관련된 상기 기능에 상기 특정의 단어를 자동으로 적용하여 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  12. 제11항에 있어서,
    상기 결과는 음성으로 제공되는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  13. 제1항에 있어서,
    상기 기능의 각각에 대응하는 복수 개의 상기 경계 영역에 대해 복수 개의 상기 기능의 후속하는 액세스를 가능하게 하기 위하여, 상기 복수 개의 기능의 상기 복수 개의 경계 영역과의 연관 특성을 각각 저장하는 단계를 추가로 포함하는 사용자 명령어의 해석 방법.
  14. 사용자 명령어를 해석하는 방법에 있어서,
    기록 가능한 표면상의 문자열을 인식하는 단계;
    상기 문자열을 펜 장치의 기능과 연관시키는 단계;
    상기 문자열의 인식에 기초하여, 상기 문자열과 연관된 상기 펜 장치의 상기 기능을 액세스하는 단계; 및
    상기 기능에 따라 상기 펜 장치로부터 출력을 제공하는 단계
    를 포함하고,
    상기 문자열을 펜 장치의 기능과 연관시키는 단계는, 복수의 그래픽 성분 아이콘 옵션 중 하나를 선택함으로써 실행되는
    사용자 명령어의 해석 방법.
  15. 제14항에 있어서,
    상기 출력은 상기 기능과 관련된 음성 출력을 포함하는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  16. 제14항에 있어서,
    상기 기능의 후속하는 액세스를 가능하게 하기 위하여, 상기 기능의 상기 문 자열과의 연관 특성을 저장하는 단계를 추가로 포함하는 사용자 명령어의 해석 방법.
  17. 제16항에 있어서,
    상기 기능의 상기 문자열과의 연관 특성을 저장하는 것에 의하여, 상기 문자열의 상기 펜 장치와의 대화를 통해 미리 정해진 시간 동안 상기 기능을 지속적으로 이용할 수 있도록 하는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  18. 제14항에 있어서,
    상기 문자열은 사용자가 상기 펜 장치를 이용하여 상기 기록 표면 상에 그린 것임을 특징으로 하는 사용자 명령어의 해석 방법.
  19. 제18항에 있어서,
    상기 기록 표면은 페이퍼를 포함하여 이루어지는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  20. 삭제
  21. 제19항에 있어서,
    상기 복수 개의 옵션 중 하나의 선택에 따라 상기 문자열의 작성을 프롬프트하는 단계를 추가로 포함하는 사용자 명령어의 해석 방법.
  22. 제14항에 있어서,
    상기 문자열은 상기 경계 영역과 관련되고 미리 정해져 있는 기능을 갖는 미리 인쇄되어 있는 경계 영역 내에서 인식되는 것을 특징으로 하는 사용자 명령어의 해석 방법.
  23. 제22항에 있어서,
    상기 경계 영역과 관련된 상기 기능에 따라 상기 경계 영역 내에서 인식된 문자열에 관련된 상기 기능을 처리하는 단계를 추가로 포함하는 사용자 명령어의 해석 방법.
  24. 제14항에 있어서,
    그래픽 성분 아이콘의 복수 개의 옵션 중 하나를 선택함으로써 상기 문자열을 가지고 이용하기 위한 복수 개의 기능 중 하나를 선택하는 단계를 추가로 포함하는 사용자 명령어의 해석 방법.
  25. 제14항에 있어서,
    상기 펜 장치에 의한 상기 문자열의 선택을 인식하는 단계;
    상기 문자열과 관련된 상기 기능을 액세스하는 단계; 및
    상기 기능에 따라 상기 출력을 제공하는 단계
    를 추가로 포함하는 사용자 명령어의 해석 방법.
  26. 삭제
  27. 삭제
  28. 기록 가능한 표면으로부터 이미지를 검출하는 광학 센서;
    상기 광학 센서에 결합되는 프로세서;
    상기 프로세서에 결합되어, 실행시에 상기 프로세서로 하여금 사용자 명령어를 해석하도록 하는 방법을 실행시키는 명령어를 포함하는 메모리
    를 포함하며,
    상기 방법은,
    상기 기록 가능한 표면 상에서 작성된 그래픽 성분 아이콘을 인식하는 단계;
    상기 그래픽 성분 아이콘에 관련된 기능을 액세스하는 단계;
    사용자가 기록한 문자열을 특정의 단어로서 인식하는 단계;
    상기 특정의 단어 및 상기 기능에 따라 출력을 제공하는 단계; 및
    상기 기능을 상기 사용자가 기록한 문자열과 연관시키는 단계
    를 포함하고
    상기 기능을 상기 사용자가 기록한 문자열과 연관시키는 단계는, 복수의 상기 그래픽 성분 아이콘 옵션 중 하나를 선택함으로써 실행되는,
    대화형 장치.
  29. 제28항에 있어서,
    상기 출력은 상기 기능과 관련되며 상기 사용자가 기록한 문자열과 관련되는 음성 출력을 포함하는 것을 특징으로 하는 대화형 장치.
  30. 제28항에 있어서,
    상기 방법이, 상기 기능의 후속하는 액세스를 가능하게 하기 위하여, 상기 기능의 상기 사용자가 기록한 문자열과의 연관 특성을 저장하는 단계를 추가로 포함하는 대화형 장치.
  31. 제30항에 있어서,
    상기 기능의 상기 사용자가 기록한 문자열과의 연관 특성을 저장하는 것에 의하여, 상기 펜 장치를 이용하는 상기 문자열과의 대화를 통해 미리 정해진 시간 동안 상기 기능을 지속적으로 이용할 수 있도록 하는 것을 특징으로 하는 대화형 장치.
  32. 제28항에 있어서,
    상기 사용자가 기록한 문자열은 상기 표면 상에 상기 펜 장치에 의해 작성되는 것을 특징으로 하는 대화형 장치.
  33. 제32항에 있어서,
    상기 표면은 페이퍼를 포함하여 이루어지는 것을 특징으로 하는 대화형 장치.
  34. 삭제
  35. 제28항에 있어서,
    상기 프로세서로 하여금 사용자 명령어를 해석하도록 하는 방법은, 상기 기능에 따라 상기 문자열의 작성을 프롬프트하는 단계를 추가로 포함하는 대화형 장치.
  36. 제28항에 있어서,
    상기 프로세서로 하여금 사용자 명령어를 해석하도록 하는 방법은,
    상기 기능에 따라 경계 영역의 작성을 프롬프트하는 단계; 및
    상기 경계 영역 내의 상기 문자열의 작성을 프롬프트하여 상기 기능을 구현하도록 하는 단계
    를 추가로 포함하는 대화형 장치.
  37. 제36항에 있어서,
    상기 프로세서로 하여금 사용자 명령어를 해석하도록 하는 방법은, 상기 경계 영역에 관련된 상기 기능에 따라 상기 경계 영역 내에서 인식된 상기 문자열을 처리하는 단계를 추가로 포함하는 대화형 장치.
  38. 제28항에 있어서,
    상기 프로세서로 하여금 사용자 명령어를 해석하도록 하는 방법은, 그래픽 성분 아이콘의 복수 개의 옵션 중 하나를 선택함으로써, 상기 문자열로서 이용하기 위한 복수 개의 기능 중 하나를 선택하는 단계를 추가로 포함하는 대화형 장치.
  39. 삭제
  40. 삭제
  41. 기록 가능한 표면 상의 이미지를 감지하는 광학 센서;
    기록 도구;
    버스에 결합되는 프로세서;
    스피커;
    상기 버스에 결합되고, 실행시에 사용자 명령어를 해석하는 방법을 실행하는 명령어를 포함하는 메모리
    를 포함하며,
    상기 사용자 명령어를 해석하는 방법은,
    제1 어플리케이션에 대하여 상기 기록 가능한 표면의 제1 경계 영역을 정의하는 단계;
    제2 어플리케이션에 대하여 상기 기록 가능한 표면의 제2 경계 영역을 정의하는 단계;
    상기 제1 경계 영역에서의 사용자가 기록한 제1 데이터에 따라, 상기 사용자가 기록한 제1 데이터를 제1 표현으로 인식하고, 상기 제1 표현을 상기 제1 어플리케이션에 자동으로 적용함으로써, 제1 결과를 생성하는 단계; 및
    상기 스피커를 이용하여 상기 제1 결과를 음성으로 제공하는 단계
    를 포함하고,
    상기 제1 어플리케이션 및 상기 제2 어플리케이션은 펜 장치에서 실행되도록 동작 가능하며,
    상기 제1 경계 영역을 정의하는 단계 및 상기 제2 경계 영역을 정의하는 단계는, 상기 기록 가능한 표면 상의 이미지와 대화하는 단계, 및 상기 제1 경계 영역 및 상기 제2 경계 영역을 그릴 것을 프롬프트하는 단계를 포함하는
    것을 특징으로 하는 펜 장치.
  42. 제41항에 있어서,
    상기 사용자 명령어를 해석하는 방법은,
    상기 제2 경계 영역에서의 사용자가 기록한 제2 데이터에 따라, 상기 사용자가 기록한 제2 데이터를 제2 표현으로 인식하고, 상기 제2 표현을 상기 제2 어플리케이션에 자동으로 적용함으로써, 제2 결과를 생성하는 단계; 및
    상기 스피커를 이용하여 상기 제2 결과를 음성으로 제공하는 단계
    를 포함하는 것을 특징으로 하는 펜 장치.
  43. 제41항에 있어서,
    상기 제1 어플리케이션에 대하여 상기 제1 경계 영역을 정의하는 단계는,
    상기 펜 장치가 상기 기록 가능한 표면 상의 이미지와 대화하는 것에 응답하여 상기 제1 어플리케이션이 선택되는 것을 인식하는 단계;
    상기 표면 상에 상기 제1 경계 영역을 그릴 것을 프롬프트 하는 단계가 상기 스피커를 이용하는 단계;
    상기 펜 장치를 이용하여 상기 제1 경계 영역을 그린 것에 응답하여 상기 제1 경계 영역을 정의하는 단계; 및
    상기 제1 경계 영역을 상기 제1 어플리케이션과 연관시키는 단계
    를 포함하는 것을 특징으로 하는 펜 장치.
  44. 제43항에 있어서,
    상기 제2 어플리케이션에 대하여 상기 제2 경계 영역을 정의하는 단계는,
    상기 펜 장치가 상기 기록 가능한 표면 상의 이미지와 대화하는 것에 응답하여 상기 제2 어플리케이션이 선택되는 것을 인식하는 단계;
    상기 표면 상에 상기 제2 경계 영역을 그릴 것을 프롬프트 하는 단계가 상기 스피커를 이용하는 단계;
    상기 펜 장치를 이용하여 상기 제1 경계 영역을 그린 것에 응답하여 상기 제2 경계 영역을 정의하는 단계; 및
    상기 제2 경계 영역을 상기 제2 어플리케이션과 연관시키는 단계
    를 포함하는 것을 특징으로 하는 펜 장치.
  45. 사용자로부터의 입력을 수신하는 방법에 있어서,
    기록 가능한 표면의 경계 영역 내에서의 펜 장치의 작동을 인식하는 단계;
    상기 펜 장치의 기능을 상기 경계 영역과 연관시키는 단계;
    상기 펜 장치의 작동에 기초하여, 상기 경계 영역에 관련된 상기 펜 장치의 상기 기능을 액세스하는 단계; 및
    상기 기능에 따라 상기 펜 장치로부터 출력을 제공하는 단계
    를 포함하며,
    상기 펜 장치의 기능을 상기 경계 영역과 연관시키는 단계는, 상기 표면 상의 복수의 그래픽 성분 아이콘 옵션 중 하나를 선택하여 실행되는
    사용자로부터의 입력의 수신 방법.
  46. 제45항에 있어서,
    상기 출력은 상기 기능과 관련된 음성 출력을 포함하는 것을 특징으로 하는 사용자로부터의 입력의 수신 방법.
  47. 제46항에 있어서,
    상기 음성 출력은 상기 펜 장치를 통해 제공되는 것을 특징으로 하는 사용자로부터의 입력의 수신 방법.
  48. 제47항에 있어서,
    상기 음성 출력은 상기 펜 장치와 통신하는 제2 장치를 통해 제공되는 것을 특징으로 하는 사용자로부터의 입력의 수신 방법.
  49. 제45항에 있어서,
    상기 출력은 상기 기능과 관련된 시각적 출력을 포함하는 것을 특징으로 하는 사용자로부터의 입력의 수신 방법.
  50. 제49항에 있어서,
    상기 시각적 출력은 상기 펜 장치를 통해 제공되는 것을 특징으로 하는 사용자로부터의 입력의 수신 방법.
  51. 제50항에 있어서,
    상기 시각적 출력은 상기 펜 장치와 통신하는 제2 장치를 통해 제공되는 것을 특징으로 하는 사용자로부터의 입력의 수신 방법.
KR1020060003319A 2005-01-12 2006-01-11 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스 KR100847851B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/035,155 2005-01-12
US11/035,155 US20060066591A1 (en) 2004-03-17 2005-01-12 Method and system for implementing a user interface for a device through recognized text and bounded areas

Publications (2)

Publication Number Publication Date
KR20060082427A KR20060082427A (ko) 2006-07-18
KR100847851B1 true KR100847851B1 (ko) 2008-07-23

Family

ID=36678406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060003319A KR100847851B1 (ko) 2005-01-12 2006-01-11 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스

Country Status (5)

Country Link
US (1) US20060066591A1 (ko)
JP (1) JP2006195996A (ko)
KR (1) KR100847851B1 (ko)
CN (1) CN1855014A (ko)
WO (1) WO2006076077A2 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340476B2 (en) * 2005-03-18 2012-12-25 The Invention Science Fund I, Llc Electronic acquisition of a hand formed expression and a context of the expression
US8749480B2 (en) 2005-03-18 2014-06-10 The Invention Science Fund I, Llc Article having a writing portion and preformed identifiers
US8787706B2 (en) * 2005-03-18 2014-07-22 The Invention Science Fund I, Llc Acquisition of a user expression and an environment of the expression
US7809215B2 (en) 2006-10-11 2010-10-05 The Invention Science Fund I, Llc Contextual information encoded in a formed expression
US8823636B2 (en) * 2005-03-18 2014-09-02 The Invention Science Fund I, Llc Including environmental information in a manual expression
US7813597B2 (en) 2005-03-18 2010-10-12 The Invention Science Fund I, Llc Information encoded in an expression
US20060212430A1 (en) 2005-03-18 2006-09-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Outputting a saved hand-formed expression
US7936339B2 (en) * 2005-11-01 2011-05-03 Leapfrog Enterprises, Inc. Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface
US7956846B2 (en) * 2006-01-05 2011-06-07 Apple Inc. Portable electronic device with content-dependent touch sensitivity
US20080115056A1 (en) * 2006-11-14 2008-05-15 Microsoft Corporation Providing calculations within a text editor
US8116570B2 (en) * 2007-04-19 2012-02-14 Microsoft Corporation User interface for providing digital ink input and correcting recognition errors
WO2008150916A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Enhanced audio recording for smart pen computing systems
WO2008150911A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Pen-based method for cyclical creation, transfer and enhancement of multi-modal information between paper and digital domains
CA2688634A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Multi-modal smartpen computing system
WO2008150919A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Electronic annotation of documents with preexisting content
US20090021495A1 (en) * 2007-05-29 2009-01-22 Edgecomb Tracy L Communicating audio and writing using a smart pen computing system
WO2008150912A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Organization of user generated content captured by a smart pen computing system
WO2008150923A1 (en) * 2007-05-29 2008-12-11 Livescribe, Inc. Customer authoring tools for creating user-generated content for smart pen applications
US8194081B2 (en) * 2007-05-29 2012-06-05 Livescribe, Inc. Animation of audio ink
US8254605B2 (en) * 2007-05-29 2012-08-28 Livescribe, Inc. Binaural recording for smart pen computing systems
US9250718B2 (en) * 2007-05-29 2016-02-02 Livescribe, Inc. Self-addressing paper
US8477095B2 (en) * 2007-10-05 2013-07-02 Leapfrog Enterprises, Inc. Audio book for pen-based computer
US8566752B2 (en) 2007-12-21 2013-10-22 Ricoh Co., Ltd. Persistent selection marks
US8149227B2 (en) * 2008-04-03 2012-04-03 Livescribe, Inc. Removing click and friction noise in a writing device
US20090251441A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Multi-Modal Controller
US20090251338A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Ink Tags In A Smart Pen Computing System
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking
US8944824B2 (en) * 2008-04-03 2015-02-03 Livescribe, Inc. Multi-modal learning system
US8446297B2 (en) 2008-04-03 2013-05-21 Livescribe, Inc. Grouping variable media inputs to reflect a user session
US8446298B2 (en) * 2008-04-03 2013-05-21 Livescribe, Inc. Quick record function in a smart pen computing system
US7810730B2 (en) 2008-04-03 2010-10-12 Livescribe, Inc. Decoupled applications for printed materials
US9058067B2 (en) * 2008-04-03 2015-06-16 Livescribe Digital bookclip
US8300252B2 (en) * 2008-06-18 2012-10-30 Livescribe, Inc. Managing objects with varying and repeated printed positioning information
WO2010027645A1 (en) * 2008-08-18 2010-03-11 Augusta Technology Usa, Inc. One-touch dial with fast contact lookup
WO2011008862A2 (en) * 2009-07-14 2011-01-20 Zoomii, Inc. Markup language-based authoring and runtime environment for interactive content platform
US20120210261A1 (en) * 2011-02-11 2012-08-16 Apple Inc. Systems, methods, and computer-readable media for changing graphical object input tools
US20130104039A1 (en) * 2011-10-21 2013-04-25 Sony Ericsson Mobile Communications Ab System and Method for Operating a User Interface on an Electronic Device
US9542013B2 (en) 2012-03-01 2017-01-10 Nokia Technologies Oy Method and apparatus for determining recipients of a sharing operation based on an indication associated with a tangible object
US9684389B2 (en) * 2012-03-01 2017-06-20 Nokia Technologies Oy Method and apparatus for determining an operation to be executed and associating the operation with a tangible object
US9684388B2 (en) * 2012-03-01 2017-06-20 Nokia Technologies Oy Method and apparatus for determining an operation based on an indication associated with a tangible object
KR102130037B1 (ko) * 2012-06-29 2020-07-03 삼성전자주식회사 스타일러스 펜을 사용하는 입력 이벤트를 핸들링하는 방법 및 디바이스
GB2557237B (en) * 2016-12-01 2022-05-11 Crane Payment Innovations Ltd Method and apparatus for money item processing
KR20240039887A (ko) 2022-09-20 2024-03-27 연세대학교 산학협력단 표시어를 자동 인식하기 위한 문자 인식 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014615A1 (en) 2001-06-25 2003-01-16 Stefan Lynggaard Control of a unit provided with a processor
WO2004084190A2 (en) 2003-03-18 2004-09-30 Leapfrog Enterprises, Inc. Scanning apparatus

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPQ131399A0 (en) * 1999-06-30 1999-07-22 Silverbrook Research Pty Ltd A method and apparatus (NPAGE02)
US3782734A (en) * 1971-03-15 1974-01-01 S Krainin Talking book, an educational toy with multi-position sound track and improved stylus transducer
NL7904469A (nl) * 1979-06-07 1980-12-09 Philips Nv Inrichting voor het lezen van een gedrukte kode en het daarvan omzetten in een audio-signaal.
US4686332A (en) * 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4337375A (en) * 1980-06-12 1982-06-29 Texas Instruments Incorporated Manually controllable data reading apparatus for speech synthesizers
US4464118A (en) * 1980-06-19 1984-08-07 Texas Instruments Incorporated Didactic device to improve penmanship and drawing skills
US4604065A (en) * 1982-10-25 1986-08-05 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4604058A (en) * 1982-11-01 1986-08-05 Teledyne Industries, Inc. Dental appliance
US4627819A (en) * 1985-01-23 1986-12-09 Price/Stern/Sloan Publishers, Inc. Teaching or amusement apparatus
US4748318A (en) * 1986-10-22 1988-05-31 Bearden James D Wand for a hand-held combined light pen and bar code reader
US4793810A (en) * 1986-11-19 1988-12-27 Data Entry Systems, Inc. Interactive instructional apparatus and method
US4787040A (en) * 1986-12-22 1988-11-22 International Business Machines Corporation Display system for automotive vehicle
GB8702728D0 (en) * 1987-02-06 1987-03-11 Price Stern Sloan Publishers Teaching & amusement apparatus
GB2207027B (en) * 1987-07-15 1992-01-08 Matsushita Electric Works Ltd Voice encoding and composing system
US4924387A (en) * 1988-06-20 1990-05-08 Jeppesen John C Computerized court reporting system
US5059126A (en) * 1990-05-09 1991-10-22 Kimball Dan V Sound association and learning system
US5260697A (en) * 1990-11-13 1993-11-09 Wang Laboratories, Inc. Computer with separate display plane and user interface processor
JP3120085B2 (ja) * 1991-11-21 2000-12-25 株式会社セガ 電子装置及び情報担体
EP0996083B1 (en) * 1992-09-28 2003-03-26 Olympus Optical Co., Ltd. Information reproducing system for optically reading a dot code from a recording medium
WO1994015272A1 (en) * 1992-12-22 1994-07-07 Morgan Michael W Pen-based electronic teaching system
US6935566B1 (en) * 1997-02-03 2005-08-30 Symbol Technologies, Inc. Portable instrument for electro-optically reading indicia and for projecting a bit-mapped image
US6853293B2 (en) * 1993-05-28 2005-02-08 Symbol Technologies, Inc. Wearable communication system
JP3546337B2 (ja) * 1993-12-21 2004-07-28 ゼロックス コーポレイション 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法
JP2939119B2 (ja) * 1994-05-16 1999-08-25 シャープ株式会社 手書き文字入力表示装置および方法
WO1996015837A1 (en) * 1994-11-21 1996-05-30 Compaq Computer Corporation Interactive play with a computer
US5760773A (en) * 1995-01-06 1998-06-02 Microsoft Corporation Methods and apparatus for interacting with data objects using action handles
US5730602A (en) * 1995-04-28 1998-03-24 Penmanship, Inc. Computerized method and apparatus for teaching handwriting
US5978773A (en) * 1995-06-20 1999-11-02 Neomedia Technologies, Inc. System and method for using an ordinary article of commerce to access a remote computer
AU6646096A (en) * 1995-08-03 1997-03-05 Interval Research Corporation Computerized interactor systems and methods for providing same
US7498509B2 (en) * 1995-09-28 2009-03-03 Fiberspar Corporation Composite coiled tubing end connector
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
US5889506A (en) * 1996-10-25 1999-03-30 Matsushita Electric Industrial Co., Ltd. Video user's environment
US5937110A (en) * 1996-12-20 1999-08-10 Xerox Corporation Parallel propagating embedded binary sequences for characterizing objects in N-dimensional address space
WO1998043221A1 (en) * 1997-03-21 1998-10-01 Educational Testing Service Methods and systems for presentation and evaluation of constructed responses assessed by human evaluators
KR100224618B1 (ko) * 1997-03-27 1999-10-15 윤종용 다목적 학습기의 페이지 전환 방법
CA2286707C (en) * 1997-05-09 2006-06-06 Neomedia Technologies, Inc. Method and system for accessing electronic resources via machine-readable data on intelligent documents
KR100208019B1 (ko) * 1997-07-16 1999-07-15 윤종용 다목적학습기
US6201903B1 (en) * 1997-09-30 2001-03-13 Ricoh Company, Ltd. Method and apparatus for pen-based faxing
WO1999019823A2 (en) * 1997-10-10 1999-04-22 Interval Research Corporation Methods and systems for providing human/computer interfaces
JPH11122401A (ja) * 1997-10-17 1999-04-30 Noritsu Koki Co Ltd 音声コード付き写真作成装置
US6456749B1 (en) * 1998-02-27 2002-09-24 Carnegie Mellon University Handheld apparatus for recognition of writing, for remote communication, and for user defined input templates
US6665490B2 (en) * 1998-04-01 2003-12-16 Xerox Corporation Obtaining and using data associating annotating activities with portions of recordings
JP4144935B2 (ja) * 1998-06-08 2008-09-03 ノーリツ鋼機株式会社 音声付き写真を作成するための受付方法、及び受付装置
US6577299B1 (en) * 1998-08-18 2003-06-10 Digital Ink, Inc. Electronic portable pen apparatus and method
JP2000206631A (ja) * 1999-01-18 2000-07-28 Olympus Optical Co Ltd 撮影装置
US20020000468A1 (en) * 1999-04-19 2002-01-03 Pradeep K. Bansal System and method for scanning & storing universal resource locator codes
AUPQ291299A0 (en) * 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US7099019B2 (en) * 1999-05-25 2006-08-29 Silverbrook Research Pty Ltd Interface surface printer using invisible ink
US7170499B1 (en) * 1999-05-25 2007-01-30 Silverbrook Research Pty Ltd Handwritten text capture via interface surface
US6830196B1 (en) * 1999-05-25 2004-12-14 Silverbrook Research Pty Ltd Identity-coded surface region
US6476834B1 (en) * 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6502756B1 (en) * 1999-05-28 2003-01-07 Anoto Ab Recording of information
FI107096B (fi) * 1999-06-03 2001-05-31 Nokia Networks Oy Lähetin-vastaanottimen testaus
SE516561C2 (sv) * 1999-06-28 2002-01-29 C Technologies Ab Läspenna för inläsning och behandling av text
US6304989B1 (en) * 1999-07-21 2001-10-16 Credence Systems Corporation Built-in spare row and column replacement analysis system for embedded memories
US6564249B2 (en) * 1999-10-13 2003-05-13 Dh Labs, Inc. Method and system for creating and sending handwritten or handdrawn messages
US6304898B1 (en) * 1999-10-13 2001-10-16 Datahouse, Inc. Method and system for creating and sending graphical email
US7295193B2 (en) * 1999-12-23 2007-11-13 Anoto Ab Written command
US20030046256A1 (en) * 1999-12-23 2003-03-06 Ola Hugosson Distributed information management
US6532314B1 (en) * 2000-01-28 2003-03-11 Learning Resources, Inc. Talking toy scanner
US6738053B1 (en) * 2000-02-16 2004-05-18 Telefonaktiebolaget Lm Ericsson (Publ) Predefined electronic pen applications in specially formatted paper
US6442350B1 (en) * 2000-04-04 2002-08-27 Eastman Kodak Company Camera with sound recording capability
US7094977B2 (en) * 2000-04-05 2006-08-22 Anoto Ip Lic Handelsbolag Method and system for information association
US6661405B1 (en) * 2000-04-27 2003-12-09 Leapfrog Enterprises, Inc. Electrographic position location apparatus and method
US6668156B2 (en) * 2000-04-27 2003-12-23 Leapfrog Enterprises, Inc. Print media receiving unit including platform and print media
US20020023957A1 (en) * 2000-08-21 2002-02-28 A. John Michaelis Method and apparatus for providing audio/visual feedback to scanning pen users
US6704699B2 (en) * 2000-09-05 2004-03-09 Einat H. Nir Language acquisition aide
US20020041290A1 (en) * 2000-10-06 2002-04-11 International Business Machines Corporation Extending the GUI desktop/paper metaphor to incorporate physical paper input
US6647369B1 (en) * 2000-10-20 2003-11-11 Silverbrook Research Pty Ltd. Reader to decode sound and play sound encoded in infra-red ink on photographs
WO2002075473A2 (en) * 2001-03-15 2002-09-26 International Business Machines Corporation Method and system for accessing interactive multimedia information or services from braille documents
US7107533B2 (en) * 2001-04-09 2006-09-12 International Business Machines Corporation Electronic book with multimode I/O
US6954199B2 (en) * 2001-06-18 2005-10-11 Leapfrog Enterprises, Inc. Three dimensional interactive system
US6608618B2 (en) * 2001-06-20 2003-08-19 Leapfrog Enterprises, Inc. Interactive apparatus using print media
US6966495B2 (en) * 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
US20020197589A1 (en) * 2001-06-26 2002-12-26 Leapfrog Enterprises, Inc. Interactive educational apparatus with number array
US6732927B2 (en) * 2001-06-26 2004-05-11 Anoto Ab Method and device for data decoding
US20030001020A1 (en) * 2001-06-27 2003-01-02 Kardach James P. Paper identification information to associate a printed application with an electronic application
US20030024975A1 (en) * 2001-07-18 2003-02-06 Rajasekharan Ajit V. System and method for authoring and providing information relevant to the physical world
US7114126B2 (en) * 2001-07-18 2006-09-26 Wireless Generation, Inc. System and method for real-time observation assessment
JP4261145B2 (ja) * 2001-09-19 2009-04-30 株式会社リコー 情報処理装置、情報処理装置の制御方法、その方法をコンピュータに実行させるためのプログラム
US20030071850A1 (en) * 2001-10-12 2003-04-17 Microsoft Corporation In-place adaptive handwriting input method and system
US20030089777A1 (en) * 2001-11-15 2003-05-15 Rajasekharan Ajit V. Method and system for authoring and playback of audio coincident with label detection
US6816702B2 (en) * 2002-03-15 2004-11-09 Educational Testing Service Consolidated online assessment system
GB2400969A (en) * 2002-02-06 2004-10-27 Leapfrog Entpr Inc Write on interactive apparatus and method
US6915103B2 (en) * 2002-07-31 2005-07-05 Hewlett-Packard Development Company, L.P. System for enhancing books with special paper
US20040121298A1 (en) * 2002-11-06 2004-06-24 Ctb/Mcgraw-Hill System and method of capturing and processing hand-written responses in the administration of assessments
US7415667B2 (en) * 2003-01-31 2008-08-19 Ricoh Company, Ltd. Generating augmented notes and synchronizing notes and document portions based on timing information
US20050024346A1 (en) * 2003-07-30 2005-02-03 Jean-Luc Dupraz Digital pen function control
US20060033725A1 (en) * 2004-06-03 2006-02-16 Leapfrog Enterprises, Inc. User created interactive interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014615A1 (en) 2001-06-25 2003-01-16 Stefan Lynggaard Control of a unit provided with a processor
WO2004084190A2 (en) 2003-03-18 2004-09-30 Leapfrog Enterprises, Inc. Scanning apparatus

Also Published As

Publication number Publication date
WO2006076077A3 (en) 2007-01-18
JP2006195996A (ja) 2006-07-27
KR20060082427A (ko) 2006-07-18
WO2006076077A2 (en) 2006-07-20
CN1855014A (zh) 2006-11-01
US20060066591A1 (en) 2006-03-30

Similar Documents

Publication Publication Date Title
KR100847851B1 (ko) 텍스트 및 경계 영역의 인식을 이용하는 장치 사용자인터페이스
KR100806241B1 (ko) 기록된 그래픽 장치용의 사용자 인터페이스
KR100815534B1 (ko) 기록 가능한 표면 상의 대화형 요소와 대화할 수 있는사용자 인터페이스
KR100814052B1 (ko) 사용자 기록을 사용자 기록 가능 요소와 연관시키는 방법및 기기
KR100806240B1 (ko) 데이터 입력의 종료를 식별하는 시스템 및 방법
US7853193B2 (en) Method and device for audibly instructing a user to interact with a function
US20060033725A1 (en) User created interactive interface
US20070280627A1 (en) Recording and playback of voice messages associated with note paper
EP1681623A1 (en) Device user interface through recognized text and bounded areas
KR100805259B1 (ko) 사용자에 의해 생성되는 대화형 인터페이스
WO2006076118A2 (en) Interactive device and method
CA2535505A1 (en) Computer system and method for audibly instructing a user

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee